任務2-3數據存儲與加載3數據在人工智能中的核心作用：數據是驅動人工智能模型智能進化的關鍵燃料，也是整個人工智能生態系統發展的基石。它不僅是模型訓練與優化的基礎，還直接影響到系統的智能化水平和最終性能。數據存儲與加載機制的重要性：一個高效、安全、可擴展的數據存儲與加載機制對于人工智能系統的順暢運行至關重要。它確保了數據在系統中的流通無阻，提高了數據處理效率，同時增強了系統的安全性和靈活性，為系統的長期維護和擴展提供了堅實基礎。技術創新與優化方向：項目實踐不僅加深了我們對數據存儲與加載機制的理解，還激發了我們對技術創新的追求。通過不斷探索和優化數據存儲與加載流程，我們可以進一步提升人工智能系統的整體性能和運行效率，從而更好地服務于實際應用場景，推動人工智能技術的持續進步和發展。本任務旨在對采集后的數據進行有效的存儲以及加載，以方便后續的任務。根據采集到的數據特點，采用不同的數據存儲方式，包括TXT格式數據存儲、CSV格式數據存儲、Excel格式數據存儲以及MongoDB數據庫數據存儲。同時，將存儲后的數據重新加載，并進行數據展示。2.3.1基于Python的TXT格式數據存儲在Python中，將數據存儲到.txt文件（文本文件）是一個常見的操作。以下是一些基本的示例，說明如何使用Python將數據寫入和讀取.txt文件。（1）寫入TXT文件使用open()函數以寫入模式（'w'或'a'，其中'w'表示寫入，會覆蓋已有文件內容，'a'表示追加，會在文件末尾添加內容）打開一個文件，并使用write()方法將數據寫入文件。#寫入數據到txt文件data="Hello,World!\n"#\n表示換行符withopen('myfile.txt','w',encoding='utf-8')asf:f.write(data)2.3.1基于Python的TXT格式數據存儲（2）讀取TXT文件使用open()函數以讀取模式（'r'）打開一個文件，并使用read()方法讀取文件內容。#讀取txt文件內容withopen('myfile.txt','r',encoding='utf-8')asf:content=f.read()print(content)2.3.2基于Python的CSV格式數據存儲在Python中，CSV（CommaSeparatedValues，逗號分隔值）格式的數據存儲和讀取是非常常見的。CSV文件是一個簡單的文本文件，其中包含由逗號或其他分隔符分隔的表格數據。Python的內置CSV模塊提供了方便的函數來讀取和寫入CSV文件。（1）寫入CSV文件使用csv.writer()函數來創建一個寫入器對象，該對象能夠將數據寫入CSV文件。importcsv#定義要寫入的數據

data=[['Name','Age','Country'],['Alice','25','USA'],['Bob','30','Canada'],['Charlie','35','UK']]#寫入CSV文件

withopen('mydata.csv','w',newline='',encoding='utf-8')asfile:writer=csv.writer(file)forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式數據存儲（2）讀取CVS文件使用csv.reader()函數來創建一個讀取器對象，該對象能夠讀取CSV文件中的數據。importcsv#讀取CSV文件

withopen('mydata.csv','r',encoding='utf-8')asfile:reader=csv.reader(file)forrowinreader:print(row)#每行數據將被打印為一個列表2.3.2基于Python的CSV格式數據存儲（3）使用DictWriter和DictReaderCSV模塊還提供了DictWriter和DictReader類，它們允許以字典的形式處理CSV數據。寫入CSV文件（使用DictWriter）importcsv#定義要寫入的數據（字典列表）

data=[{'Name':'Alice','Age':'25','Country':'USA'},{'Name':'Bob','Age':'30','Country':'Canada'},{'Name':'Charlie','Age':'35','Country':'UK'}]#定義字段名

fieldnames=['Name','Age','Country']#寫入CSV文件

withopen('mydata_dict.csv','w',newline='',encoding='utf-8')asfile:writer=csv.DictWriter(file,fieldnames=fieldnames)#寫入字段名

writer.writeheader()#寫入數據行

forrowindata:writer.writerow(row)2.3.2基于Python的CSV格式數據存儲（3）使用DictWriter和DictReaderCSV模塊還提供了DictWriter和DictReader類，它們允許以字典的形式處理CSV數據。讀取CSV文件（使用DictReader）importcsv#讀取CSV文件

withopen('mydata_dict.csv','r',encoding='utf-8')asfile:reader=csv.DictReader(file)forrowinreader:print(row)#每行數據將被打印為一個字典2.3.3基于Python的Excel格式數據存儲在Python中，Excel格式的數據存儲通常使用第三方庫，如openpyxl（用于處理.xlsx文件）或xlwt和xlrd（用于處理較舊的.xls文件，但xlrd從2.0.0版本開始不再支持.xlsx文件）。由于.xlsx是更現代的Excel文件格式，下面將展示如何使用openpyxl來讀取和寫入Excel文件。1）安裝openpyxl庫首先，需要安裝openpyxl庫。可以使用pip來安裝：pipinstallopenpyxl2.3.3基于Python的Excel格式數據存儲（2）寫入Excel文件使用openpyxl創建一個新的Excel文件并寫入數據。fromopenpyxlimportWorkbookfromopenpyxl.utilsimportget_column_letter#創建一個新的工作簿

wb=Workbook()#選擇活動工作表

ws=wb.active#寫入標題行

ws.append(["Name","Age","Country"])#寫入數據行

data=[["Alice",25,"USA"],["Bob",30,"Canada"],["Charlie",35,"UK"]]forrowindata:ws.append(row)#保存工作簿

wb.save("mydata.xlsx")2.3.3基于Python的Excel格式數據存儲（3）讀取Excel文件使用openpyxl讀取Excel文件中的數據。fromopenpyxlimportload_workbook#加載工作簿

wb=load_workbook(filename="mydata.xlsx")#選擇活動工作表，或者通過名稱選擇工作表

ws=wb.active#或者wb["Sheet1"]#遍歷并打印所有行

forrowinws.iter_rows(values_only=True):print(row)#如果你知道要讀取的數據的位置，也可以直接訪問單元格

cell_value=ws['A1'].value#獲取第一行第一列的值

print(cell_value)2.3.4基于Python的MongoDB數據庫存儲1.

MongoDB數據庫介紹MongoDB是一個強大而靈活的文檔型NoSQL數據庫，它以其獨特的存儲機制、高性能、可擴展性和易用性而廣受歡迎。MongoDB采用BSON（BinaryJSON）作為其數據存儲格式，這使得它能夠存儲復雜且多變的數據結構，非常適合用于非結構化或半結構化數據的存儲和管理。2.3.4基于Python的MongoDB數據庫存儲2.MongDB數據庫安裝和使用要使用Python將數據存儲到MongoDB數據庫中，需要安裝pymongo庫，這是MongoDB的官方Python驅動程序。安裝完成相關庫后，可創建、連接數據庫，然后可以進行數據的插入、查詢、更新和刪除。表2-3-1任務工單數據存儲與加載的任務工單如下表2-3-1所示班級：組別：姓名：掌握程度：任務名稱采集數據的存儲任務目標根據數據的特點，將采集到的數據按照一定的格式進行存儲，并且能夠將數據進行導入和展示。存儲數據文本工具清單Python、openpyxl、pymongo、xml、MongoDB操作步驟1.

爬取數據存儲環境配置：創建虛擬環境，安裝相關涉及數據存儲的python模塊。2.

編寫數據采集爬蟲代碼，編寫數據存儲代碼。3.

進行腳本測試，存儲數據以及數據加載測試。考核標準1.實現與性能：[能否正常存儲和讀入數據]2.穩定性和可靠性：[長時間穩定運行，異常處理能力]3.

數據質量：[數據的完備性、多樣性]2.3.5數據存儲與加載實戰步驟一數據存儲環境搭建（1）參照任務2.1任務實施的步驟一，創建一個Python版本為3.8的虛擬環境。（2）配置數據采集存儲所需模塊。激活虛擬環境：condaactivatedata_save如圖2-3-3所示，圖中最左邊的狀態由（base）轉變為（data_save）。2.3.5數據存儲與加載實戰步驟一數據存儲環境搭建pipinstallopenpyxl-i/simple安裝openpyxl和pymongo模塊pipinstallpymongo

-i/simple步驟二文本數據采集及txt格式存儲以下是數據存儲文件創建和數據保存部分代碼

#檢查文件是否成功創建

ifos.path.exists('data.txt'):

print("數據已保存到data.txt文件中。")

#讀取txt文件并顯示數據

withopen('data.txt','r',encoding='utf-8')asfile:

print("txt文件中的數據：")print(file.read())else:print("保存文件失敗。")else:print("請求網頁失敗，狀態碼：",response.status_code)步驟三電影數據采集及CSV格式存儲以下是數據存儲文件創建和數據保存部分代碼步驟四Excel表格的數據存儲在本步驟