項目3

數據處理《人工智能數據服務》項目導入數據處理技術是解鎖信息、驅動智能決策的關鍵，涵蓋預處理、清洗、分析及可視化。本章通過實踐任務，深化學生理解，并應用于金融風控、醫療健康、智慧城市等多領域，培養復雜數據環境下的解決問題能力與創新思維，緊密關聯國家發展與社會需求。項目導入實踐任務將幫助學生掌握數據清洗、挖掘與可視化，培養數據質量意識。強調準確性、完整性，錘煉技術精準性、專業嚴謹性及責任感，為數據分析奠定堅實基礎。學習數據處理技術，學生將掌握先進技術，樹立倫理為先、創新驅動、團隊協作的理念，成為責任感強、具創新精神的復合型人才，助力國家信息化與數字經濟發展。任務列表任務4

數據增廣任務5特征工程任務1圖像數據處理任務2文本數據處理任務3數據清洗知識&技能圖譜任務3-1探索圖像背后的故事：圖像數據處理1知識&技能圖譜圖像是信息傳遞的重要載體。無論是社交媒體上的照片、監控攝像頭捕捉的畫面，還是醫學診斷中的影像資料，圖像都承載著豐富的信息。然而，計算機算法并不能像人類一樣直接理解這些圖像，它們需要我們將圖像數據轉化為算法能夠理解的格式與配置。這就需要用到圖像數據處理技術。本任務將提供4張圖像，利用python的opencv模塊，完成圖像數據進行顏色變換、形狀變換和像素操作等處理。圖像數據集如圖所示，圖像的大小，相對位置，顏色格式均有不同。實驗圖像

實驗圖像3.1.1圖像數據處理的定義圖像數據處理一般指數字圖像處理，數字圖象處理是利用計算機對數字圖象進行各種操作和處理的技術。它通過調整圖象的亮度、對照度、清晰度等特征，實現圖象增強、圖象復原、圖象分割、圖象壓縮等目的。圖像數據處理3.1.2圖像數據處理的應用場景圖像數據處理在醫學影像、遙感圖象、工業檢測、安防監控、圖象識別等領域都有廣泛的應用。通過圖像數據處理，可以提高圖象質量、提取圖象特征、實現自動化的目標檢測和識別，為各個領域帶來更多的便利和效益。圖像數據處理3.1.2圖像數據處理的應用場景（1）醫學影像圖像數據處理在醫學影像領域中起到了重要的作用。它可以匡助醫生對病人進行診斷和治療，如CT掃描、MRI、X光等。圖像數據處理3.1.2圖像數據處理的應用場景（2）遙感圖象圖像數據處理在遙感圖象領域中用于地理信息系統、農業、林業、環境保護等方面。它可以提取地表特征、監測環境變化、進行資源調查等。圖像數據處理3.1.2圖像數據處理的應用場景（3）工業檢測圖像數據處理在工業檢測中用于產品質量控制、缺陷檢測、表面檢測等。它可以提高生產效率和產品質量，減少人力成本和錯誤率。圖像數據處理3.1.2圖像數據處理的應用場景（4）安防監控圖像數據處理在安防監控中用于視頻分析、人臉識別、行為檢測等。它可以提供更加智能和高效的安防解決方案。圖像數據處理3.1.2圖像數據處理的應用場景（5）圖象識別圖像數據處理在圖象識別領域中用于人臉識別、車牌識別、物體識別等。它可以實現自動化的目標檢測和識別圖像數據處理3.1.2圖像數據處理的應用場景圖像數據處理是進一步處理的關鍵，沒有前期的圖像數據處理，模型將無法更好的理解圖像。圖像數據處理有助于改進程序算法的性能，從而在各類應用中提供更準確的結果。圖像數據處理3.1.3圖像數據處理的方法圖像數據在計算機中通常以數組的形式表示。這是因為圖像本身可以看作是一個由像素點組成的二維矩陣，每個像素點都有其對應的顏色或灰度值。當我們將圖像數據導入到計算機中，這些像素值會被存儲在一個多維數組中。圖像數據處理3.1.3圖像數據處理的方法在RGB色彩模式下，圖像中的每個像素點都由紅、綠、藍三個顏色通道組成。這三個通道的值分別代表了該像素點在紅、綠、藍三種顏色上的強度，通常取值范圍在0到255之間。因此，在數組中，每個像素點對應三個元素，分別代表這三個通道的值。圖像數據處理3.1.3圖像數據處理的方法圖像數據處理的方法可分為顏色變換，形狀變換，像素操作，根據應用領域和場景的不同，需要選擇合適的圖像數據處理方法，為機器學習模型提供訓練數據，幫助機器更好地理解和解釋圖像內容。OpenCV是一個開源的計算機視覺庫，提供了豐富的圖像數據處理方法和工具。圖像數據處理3.1.3圖像數據處理的方法在圖像數據處理領域，OpenCV被廣泛應用于圖像獲取、預處理、特征提取、對象檢測與識別、圖像分割、圖像增強、圖像壓縮等方面。這個庫支持多種編程語言，如C++、Python、Java等，使得開發者可以方便地在不同平臺上進行圖像數據處理的開發和應用。圖像數據處理3.1.3圖像數據處理的方法1.顏色變換顏色空間是用來表示和描述圖像中顏色信息的數學模型。在數字圖像處理和計算機視覺中，常用的顏色空間包括RGB、CMYK、HSV、YUV等。每種顏色空間都有其特定的表示方式和用途，能夠更好地適應不同的圖像處理需求。圖像數據處理3.1.3圖像數據處理的方法（1）RGB（Red,Green,Blue）顏色空間：RGB顏色空間是最常見的顏色表示方式，它通過紅、綠、藍三原色的組合來表示各種顏色。每個像素由一個紅色分量、一個綠色分量和一個藍色分量組成，可以表示出廣泛的顏色范圍。在計算機顯示器和攝像頭中廣泛應用，但不適合人類感知顏色的特性。圖像數據處理3.1.3圖像數據處理的方法（2）CMYK（Cyan,Magenta,Yellow,Key/Black）顏色空間：CMYK顏色空間主要用于印刷領域，通過青色、洋紅、黃色和黑色的組合來描述顏色。由于印刷過程中使用的墨水是透明的，CMYK顏色空間可以更好地模擬印刷顏色的混合效果。圖像數據處理3.1.3圖像數據處理的方法（3）HSV（Hue,Saturation,Value）顏色空間：HSV顏色空間將顏色信息分解為色調（Hue）、飽和度（Saturation）和亮度（Value）三個分量。色調表示顏色的基本屬性，飽和度表示顏色的純度，亮度表示顏色的明暗程度。HSV顏色空間更符合人類對顏色的感知，常用于圖像處理中調整顏色的效果。圖像數據處理3.1.3圖像數據處理的方法（4）YUV顏色空間：YUV顏色空間將顏色信息分為亮度（Y）和色度（U、V）兩個分量，用于視頻壓縮和傳輸。亮度分量（Y）表示圖像的明暗程度，色度分量（U、V）表示顏色的差異和變化。圖像數據處理3.1.3圖像數據處理的方法除了上述幾種常見的顏色空間，還有其他一些特定顏色空間，如Lab顏色空間、YCbCr顏色空間等，它們各自適用于不同的場景和應用需求。選擇合適的顏色空間可以更好地表示和處理圖像中的顏色信息，從而實現更準確和有效的圖像處理效果。圖像數據處理3.1.3圖像數據處理的方法OpenCV支持多種顏色空間，包括RGB、CMYK、HSV、YUV、GRAY等。在Python中，調用opencv包中的cvtColor()函數就可以將常見的顏色變換實現。圖像數據處理3.1.3圖像數據處理的方法2形狀變換在計算機視覺和機器學習領域，形狀變換通常指的是對圖像進行幾何變換，比如平移、縮放、旋轉、翻轉等。這些變換可以通過一系列OpenCV函數來實現，使得圖像能夠適應不同的需求或糾正由于拍攝條件導致的圖像失真。圖像數據處理3.1.3圖像數據處理的方法（1）平移（Translation）：平移是一種簡單的形狀變換，沿著水平和垂直方向將對象移動到新的位置。通過平移操作，可以調整對象的位置，使其在圖像中的不同位置顯示。在OpenCV中，平移可以通過在仿射變換矩陣中添加平移向量來實現。通常，需要先創建一個單位矩陣，然后將平移向量添加到矩陣的最后一列，最后使用cv2.warpAffine()函數應用這個變換矩陣。圖像數據處理3.1.3圖像數據處理的方法（2）縮放（Scaling）：縮放是指改變對象的大小，可以將對象按比例放大或縮小。縮放操作可以調整對象的大小，使其適應不同尺寸的顯示或分析需求。在OpenCV中，可以使用cv2.resize()函數來實現圖像的縮放。這個函數需要指定原始圖像、目標大小以及插值方法（用于處理縮放過程中可能出現的像素值問題）。圖像數據處理3.1.3圖像數據處理的方法（3）旋轉（Rotation）：旋轉是將對象圍繞某個中心點按特定角度進行旋轉的操作。通過旋轉操作，可以改變對象的朝向或角度，實現圖像中對象的旋轉效果。在OpenCV中，可以通過計算旋轉矩陣并使用cv2.warpAffine()函數來實現旋轉。旋轉矩陣可以通過cv2.getRotationMatrix2D()函數來獲取，該函數需要指定旋轉中心、旋轉角度和縮放因子。圖像數據處理3.1.3圖像數據處理的方法（4）翻轉（Flip）：翻轉是指將對象沿水平或垂直方向進行鏡像翻轉的操作。翻轉操作可以改變對象的方向或鏡像對稱，產生鏡像效果。在OpenCV中，實現圖像的翻轉操作通常不需要復雜的矩陣計算。對于水平翻轉，可以通過對圖像矩陣進行列反轉來實現；對于垂直翻轉，可以通過對圖像矩陣進行行反轉來實現。圖像數據處理3.1.3圖像數據處理的方法（4）OpenCV提供了方便的函數來直接進行這些操作，例如cv2.flip()函數，它接受一個圖像和一個翻轉代碼作為參數，翻轉代碼可以是0（垂直翻轉）、1（水平翻轉）或-1（水平和垂直翻轉）。圖像數據處理3.1.3圖像數據處理的方法3像素操作像素操作是指直接在圖像的像素級別上進行的操作，它允許你讀取、修改或執行其他運算于圖像的每一個像素值。這些操作可以是對單個像素的孤立操作，也可以是對一組像素（例如鄰域操作）的集體操作。像素操作的類型包括以下幾種：圖像數據處理3.1.3圖像數據處理的方法（1）讀取像素值：通過指定圖像的坐標（行和列），你可以獲取該位置像素的顏色值。在彩色圖像中，這通常是一個包含三個通道（如RGB或BGR）的數值。在OpenCV中，你可以使用NumPy數組索引的方式來讀取圖像的像素值。假設你有一個名為image的圖像，你可以這樣讀取特定坐標（行row，列col）的像素值。圖像數據處理3.1.3圖像數據處理的方法（2）修改像素值：與讀取像素值相反，修改像素值是將新的顏色值賦給圖像的特定位置。這可以用于各種目的，如圖像修復、色彩校正或創建特殊效果。在OpenCV中修改像素值與讀取像素值類似，只需將新的顏色值賦給指定位置（行row，列col）的像素即可。圖像數據處理3.1.3圖像數據處理的方法（3）像素運算：這包括在像素級別上執行數學運算，如加法、減法、乘法、除法等。這些運算可以用于圖像融合、對比度調整、亮度調整等任務。在OpenCV中像素運算對圖像的每個像素執行數學運算。OpenCV提供了一些函數來執行這些運算，如cv2.add()用于加法運算。圖像數據處理3.1.3圖像數據處理的方法（4）閾值操作：設置像素值的閾值，將像素值轉換為二值圖像（黑白圖像），常用于圖像分割和邊緣檢測。閾值操作常用于二值化圖像，將像素值根據某個閾值轉換為0或255。在OpenCV中使用cv2.threshold()函數實現閾值操作。圖像數據處理1264SUGGESTION班級：組別：姓名：掌握程度：任務名稱基于opencv的圖像處理任務目標完成圖像的顏色變換，形狀變換，像素操作操作系統Win10、Win11工具清單Python，pycharm，opencv操作步驟1.

顏色變換：使用OpenCV圖像處理庫進行顏色空間轉換2.形狀變換：準確執行形狀變換，并驗證變換結果的正確性3.像素操作：使用OpenCV圖像處理庫進行像素級別的修改和運算。考核標準正確生成變換要求的圖片步驟一顏色變換一、RGB色彩空間1264SUGGESTION1如圖所示，左邊是原圖，右側是以RGB格式加載的圖像RGB色彩空間中，圖像的每一個像素用一個三元組表示，三元組中的3個值依次表示紅色、綠色和藍色，依次對應R、G、B通道。需要注意的是，OpenCV中默認使用BGR色彩空間，它按照B、G、R通道順序表示圖像。1264SUGGESTION1以下是操作步驟：請將要處理的圖片放置在程序文件的同級目錄下，如圖所示：1264SUGGESTION12.打開pycharm，在代碼文件空白位置右鍵并選擇Run來運行該py文件，或者點擊右上角的運行按鈕，也可以按快捷鍵Shift+F10或Ctrl+Shift+F10運行。如圖所示：1264SUGGESTION13.執行代碼這段代碼使用了OpenCV庫來顯示圖像并處理用戶輸入。顯示兩個窗口，一個窗口顯示BGR格式的圖像，另一個窗口顯示RGB格式的圖像。用戶可以按下ESC鍵來關閉窗口，或按下s鍵來保存RGB圖像為文件并關閉窗口。如圖所示：二、GRAY色彩空間1264SUGGESTION1RGB色彩空間并非唯一的色彩空間，如圖所示，GRAY色彩空間（灰度空間）也是常用的色彩空間之一。從RGB色彩空間轉換為GRAY色彩空間的計算公式為：Gray=0.299R+0.587G+0.114B，其中，R、G、B為RGB色彩空間中R、G、B通道的分量值。1264SUGGESTION1顯示兩個窗口，一個窗口顯示BGR格式的圖像，另一個窗口顯示GRAY格式的圖像。用戶可以按下ESC鍵來關閉窗口，或按下s鍵來保存RGB圖像為文件并關閉窗口。64SUGGESTION1YCrCb色彩空間用亮度Y，紅色Cr、藍色Cb表示圖像。從BGR色彩空間轉換為YCrCb色彩空間的計算公式為：Y=0.299R+0.587G+0.114BCr=0.713(R-Y)+deltaCb=0.564(B-Y)+delta其中，delta=128(8位圖像)、delta=32767(16位圖像)、delta=0.5(單精度圖像)12641加載名為'flower1.jpg'的彩色圖像，并將其轉換為YCrCb色彩空間的圖像。然后在兩個窗口中分別顯示原始的BGR圖像和轉換后的YCrCb圖像。用戶可以按下ESC鍵來關閉所有窗口，或按下's'鍵來保存轉換后的YCrCb圖像并關閉所有窗口。四、HSV色彩空間1264SUGGESTION1HSV色彩空間使用色調(Hue，也稱色相)、飽和度(Saturation)、亮(Value)度表示圖像。色調H表示顏色，用角度表示，取值范圍為[0°，360°]，從紅光開始逆時針方向計算。飽和度S表示顏色接近光譜色的程度，或表示光譜色中混入白光的比例。光譜色中白光的比例越低，飽和度越高，顏色越深、艷。光譜色中白光比例為0時，飽和度達到最高。飽和度的取值范圍為[0，1]。亮度V表示顏色的明亮的程度，是人眼可感受到的明暗程度，其取值范圍為[0，1]。1264SUGGESTION1代碼主要顯示兩個窗口，一個窗口顯示BGR格式的圖像，另一個窗口顯示HSV格式的圖像。用戶可以按下ESC鍵來關閉窗口，或按下s鍵來保存HSV圖像為文件并關閉窗口。步驟二形狀變換64SUGGESTION11.在文件目錄中右擊項目名“pythonProject1”，在彈出的快捷菜單中選擇“New”—“PythonFile”命令，新建Python文件，如圖所示：SUGGESTION12.將py文件命名為shape，按Enter鍵建立，如圖所示：五、縮放變換64SUGGESTION1縮放是指改變圖像的尺寸大小，使其變大或變小。在OpenCV中，可以使用resize函數實現縮放變換。12641運行結果如下圖所示：六、平移變換64SUGGESTION1平移是指在圖像平面上按照指定的平移量沿著x軸和y軸方向移動圖像的位置。在OpenCV中，可以使用warpAffine函數實現平移變換。1264SUGGESTION1運行結果如下圖所示：七、旋轉變換64SUGGESTION1旋轉是指按照指定的角度將圖像繞著一個中心點進行旋轉，改變圖像的方向和角度。在OpenCV中，可以使用getRotationMatrix2D和warpAffine函數實現旋轉變換。getRotationMatrix2D函數用于計算旋轉矩陣，warpAffine函數用于對圖像進行旋轉變換。164SUGGESTION1運行結果如下圖所示：八、翻轉變換4SUGGESTION1在計算機視覺和圖像處理中，圖像的翻轉是一種常見的數據增強技術。通過翻轉圖像，我們可以增加數據集的多樣性，從而提高模型的泛化能力。我們將使用OpenCV庫來實現RGB圖像的隨機水平或垂直翻轉。cv2.flip()是OpenCV庫中的一個函數，用于翻轉圖像。它可以將圖像水平或垂直翻轉。該函數需要兩個參數，一個是需要翻轉的圖像，另一個是翻轉的方式。164SUGGESTION1運行結果如下圖所示：步驟三像素操作九、讀取像素值4SUGGESTION1首先，確保要處理的圖片和程序文件處在同一目錄下。下圖為例圖：4SUGGESTION1代碼通過指定一個特定的像素坐標(x,y)，通過image[y,x]獲取了圖像中指定位置(x,y)處的像素值。由于OpenCV讀取的圖像是以BGR格式存儲的，所以這里需要注意通道順序。將獲取到的B、G、R三個通道的像素值分別賦給變量b、g、r。從運行結果可以看到，(50,50)位置的BGR像素值為(27,53,22)。十、修改像素值SUGGESTION1新建modifyPixel的py文件，與dog.jpg放在同一目錄下。默認以BGR（藍綠紅）格式讀取圖片。之后，將指定位置(x,y)處的像素值修改為新的像素值(0,255,0)，即綠色。設定(x,y)為坐標點(50,50)，這意味著我們將對圖片中第50行、第50列的像素進行操作。通過這段代碼，可以將圖片中特定位置的像素顏色更改為任意色值，這在進行圖像處理、標注特定區域等任務時非常有用。164SUGGESTION1164SUGGESTION1運行結果如下圖所示：十一、像素運算411.像素運算在圖像處理中有很多應用，其中加法運算是其中之一。一些常見的像素運算應用包括如下：(1)圖像融合:將兩張圖片進行融合，生成一張新的圖像。例如，在計算機視覺中，圖像融合常用于將虛擬對象添加到真實場景中。(2)增強圖像對比度:通過加法運算，可以增加圖像的對比度。將圖像的亮度增加到一定程度可以使圖像更加清晰。(3)圖像混合:將兩張圖片按照一定的權重進行混合，可以實現圖像的特效效果，比如模糊、透明度調整等。(4)圖像修復:在圖像修復中，可以使用加法運算來合并多張圖像的信息，從而修復圖像中的缺損部分。4SUGGESTION12.將背景圖片，上述的小狗圖片與像素運算的程序文件放在同一目錄下。背景圖片：12613.新建addPixel的py文件并與dog圖片、background圖片放在一起4SUGGESTION14.生成的圖片：1261此外，提醒同學們，部分同學可能會出現以下報錯：cv2.error:OpenCV(4.9.0)D:\opencv\modules\core\src\arithm.cpp:650:error:(-209:Sizesof