人形機器人視覺感知技術***(姓名)

***(學院)***@***.

第7章人形機器人視覺感知技術

《人形機器人技術基礎與應用》7.1概述目錄7.2二維視覺感知7.3三維視覺感知7.4視覺感知應用7.1概述人形機器人通過感知周圍環(huán)境，以進行正確的導航、避障和交互等。視覺感知技術以高維度的方式感知環(huán)境；人形機器人結合了二維視覺感知技術和三維視覺感知技術，為其提供了全面的環(huán)境理解能力。二維視覺物體識別、文字識別、顏色和紋理分析等優(yōu)勢：成本低、處理速度快局限：缺乏深度信息，難以準確估計物體的距離和三維形狀三維視覺深度感知、空間建模、姿態(tài)估計等優(yōu)勢：提供豐富的空間信息局限：成本較高，數據處理復雜，計算資源需求較大協同工作，互相補充，7.2二維視覺感知7.2.1二維圖像圖像（image）是計算機視覺領域最常見的數據模態(tài)，常見的圖像數據包括彩色圖像、深度圖像以及灰度圖像。（a）彩色圖像

（b）深度圖像

（c）灰度圖像圖7-2計算機視覺領域常見數據模態(tài)7.2二維視覺感知

HW

7.2二維視覺感知

7.2二維視覺感知

7.2二維視覺感知7.2.2二維圖像處理技術基礎1.圖像增強與預處理在深度學習中，數據增強和預處理可以幫助模型更好地泛化，并對抗數據集中的變動和噪聲。圖像增強（ImageAugmentation）通過對原始圖像進行各種變換，生成新的訓練樣本，增加數據集的多樣性。

常見的圖像增強方法包括：翻轉（Flipping）、旋轉（Rotation）、縮放（Scaling）、平移（Translation）、裁剪（Cropping）、顏色變換（ColorJittering）以及向圖像中添加高斯噪聲或者椒鹽噪聲。7.2二維視覺感知圖像預處理（ImagePreprocessing）使圖像適合于模型的輸入要求，并提高模型的訓練效果。常見的圖像預處理方法包括尺寸調整（Resizing）、歸一化（Normalization）等。

【PyTorch】2.3transforms圖像增強(一)_randomhorizontalflip-CSDN博客7.2二維視覺感知7.2.2二維圖像處理技術基礎2.圖像特征提取神經網絡是理解和處理圖像數據的核心工具，用于對輸入圖像進行分析并提取關鍵特征。圖7-3圖像特征提取流程7.2二維視覺感知卷積神經網絡卷積層（ConvolutionalLayer）：卷積操作使用一組稱為濾波器（或卷積核）的權重矩陣在圖像上滑動，生成特征圖。激活函數（ActivationFunction）：常用的激活函數是ReLU（RectifiedLinearUnit），它將卷積層的線性輸出轉換為非線性，使得網絡能夠擬合復雜的函數。池化層（PoolingLayer）：通過下采樣操作減少特征圖的尺寸。常見的操作有最大池化（MaxPooling）和平均池化（AveragePooling）。全連接層（FullyConnectedLayer）：通常應用于網絡的最后幾層，特征圖被展平并連接到全連接層，用于生成最終的輸出。7.2二維視覺感知卷積神經網絡

7.2二維視覺感知3.常見二維視覺任務圖像分類（ImageClassification）是將輸入圖像分配到預定義的類別中。常見的圖像分類數據集包括CIFAR-10、ImageNet。CIFAR-107.2二維視覺感知目標檢測（ObjectDetection）需要識別圖像中的物體類別，還需要確定物體在圖像中的位置。COCO數據集是最常見的用于目標檢測任務的數據集。7.2二維視覺感知圖像分割（ImageSegmentation）將圖像中的每個像素分配到一個類別。圖像分割可以分為語義分割（SemanticSegmentation）和實例分割（InstanceSegmentation）。前者將每個像素標注為一個類別，但不區(qū)分同類物體的不同實例，后者不僅標注每個像素的類別，還區(qū)分同類物體的不同實例。SemanticSegmentationInstanceSegmentation7.2二維視覺感知圖像生成（ImageGeneration）旨在從噪聲或其它輸入中生成新的圖像。常見的方法包括生成對抗網絡（GAN）和變分自編碼器（VAE）。深度學習：基于DCGAN生成手寫數字圖像-知乎7.2二維視覺感知關鍵點檢測（KeypointDetection）是識別圖像中物體的特定關鍵點。常見的應用包括人臉識別中的面部關鍵點檢測和人體姿態(tài)估計。圖7-4人體關鍵點檢測與圖像生成實例7.2二維視覺感知7.2.3目標檢測與識別1.目標分類算法簡介在目標分類任務中，通過學習從訓練數據中提取有效特征來區(qū)分和識別不同的目標類別，包括人、動物、車輛等。圖7-5目標分類應用實例傳統方法主要是手工設計的特征提取器和分類器，如SIFT、HOG和SVM等基于深度神經網絡的方法主要有卷積神經網絡（CNN）和Transformer網絡等7.2二維視覺感知7.2.3目標檢測與識別基于深度學習的目標分類算法在實際應用中需要考慮包括處理復雜背景、遮擋、尺度變化和光照變化等問題，以及如何在小樣本（FewShot）和零樣本（Zero-shot）情況下進行有效分類。隨著深度學習的不斷發(fā)展，遷移學習、對比學習、生成對抗網絡以及擴散模型等新的深度模型框架成功應用，目標分類的性能和泛化能力進一步提升，以滿足不斷增長的實機應用需求。7.2二維視覺感知7.2.3目標檢測與識別目標檢測不僅需要確定目標所屬的類別，還需要標記出目標在圖像中的位置（邊界框），如圖7-6所示。圖7-6目標檢測應用實例在自動駕駛中，目標檢測可以用于識別道路上的交通標志、行人、車輛和障礙物。2.目標檢測算法簡介7.2二維視覺感知7.2.3目標檢測與識別傳統的目標檢測算法主要基于手工設計（Hand-Crafted）的特征和分類器，如Haar特征和級聯分類器。基于深度神經網絡特別是基于卷積神經網絡（CNN）的方法，如FasterR-CNN、YOLO和SSD等，通過在網絡中引入專門的檢測頭和區(qū)域建議網絡，實現準確和高效的目標檢測。7.2二維視覺感知7.2.3目標檢測與識別3.目標檢測算法分類目標檢測算法由時間前后可分為傳統檢測方法（TraditionalDetectionMethods）和基于深度學習的檢測方法（DeepLearningBasedMethods)7.2二維視覺感知7.2.3目標檢測與識別基于深度學習的方法可以分為兩種范式：一階段檢測器（One-stageDetector）和二階段檢測器（Two-StageDetector）。一階段檢測器是指直接通過一個深度神經網絡同時進行目標檢測和分類。常用的一階段檢測器包括YOLO（YouOnlyLookOnce）系列、SSD（SingleShotMultiBoxDetector）、Retina-Net和DETR等。一階段檢測器具有快速的檢測速度和較好的實時性能，適用于需要快速處理大量目標的場景。7.2二維視覺感知7.2.3目標檢測與識別二階段檢測器將目標檢測任務分為兩個階段：區(qū)域提取和目標分類。常用的二階段檢測器包括RCNN（Region-basedConvolutionalNeuralNetworks）、SPPNet、FasterR-CNN和MaskR-CNN等。二階段檢測器包括一個基礎的骨干網絡提取圖像特征。通過區(qū)域提取網絡（如RPN）生成候選目標區(qū)域，進行精細的目標分類和邊界框回歸。二階段檢測器在準確性方面通常具有較好的表現，適用于對目標位置要求精細的任務。7.2二維視覺感知7.2.3目標檢測與識別4.經典算法R-CNN（Region-basedConvolutionalNeuralNetworks）圖7-8展示了R-CNN的基本架構：算法結合了區(qū)域提議方法和卷積神經網絡（CNN）進行特征提取；其主要流程包括區(qū)域提議、特征提取以及最后的分類及邊界框回歸。7.2二維視覺感知7.2.3目標檢測與識別FasterR-CNNFasterR-CNN算法通過引入區(qū)域提議網絡（RegionProposalNetwork，RPN）取代選擇性搜索算法（SelectiveSearch），實現端到端的目標定位和分類。7.2二維視覺感知7.2.4經典算法：YOLOYOLO（YouOnlyLookOnce）系列算法是一種基于深度學習的目標檢測算法，具備快速的檢測速度和較好的準確性。YOLO系列算法的核心思想是將目標檢測任務轉化為一個回歸問題，通過單次前向推理直接在圖像上預測目標的類別和邊界框。YOLO系列算法目前已經發(fā)展到第十個版本（YOLO-v10）。YOLO框架采用單階段檢測，實現了端到端的目標檢測，適用于對實時性要求較高的應用場景。7.2二維視覺感知7.2.4經典算法：YOLOYOLO網絡架構包括輸入層、卷積層、全連接層以及輸出層。7.2二維視覺感知7.2.4經典算法：YOLO

7.2二維視覺感知7.2.4經典算法：YOLO

7.2二維視覺感知7.2.4經典算法：YOLO

7.2二維視覺感知7.2.4經典算法：YOLOYOLO的工作原理包括圖像分塊、邊界框預測、類別預測以及非極大值抑制過程。7.2二維視覺感知7.2.4經典算法：YOLO

7.2二維視覺感知7.2.4經典算法：YOLO置信度分數和類別概率結合起來，用于確定每個邊界框的最終類別和置信度。例如，若某個邊界框的置信度為0.8，而類別概率中“狗”這一類的概率為0.7，則該邊界框包含“狗”的最終置信度為0.8*0.7=0.56。為了減少重復檢測，YOLO通過非極大值抑制（NMS）來移除冗余的邊界框，只保留置信度最高的檢測框和預測結果。7.2二維視覺感知7.2.4經典算法：YOLOYOLOv1的損失函數

7.2二維視覺感知7.2.4經典算法：YOLOYOLOv1作為YOLO系列的最初版本，使用24層卷積網絡，最后由兩個全連接層輸出預測結果。YOLOv2引入了批量歸一化和錨框（anchorboxes），并允許更高的分辨率輸入。YOLOv3改進了網絡架構，采用了更深的骨干網絡（Darknet-53），同時采用了多尺度特征融合的策略，能夠有效地檢測各種尺度的目標。YOLOv4進一步優(yōu)化了檢測精度和速度，使用了CSPDarknet53作為骨干網絡，并引入了其他的檢測優(yōu)化技術。YOLOv5雖然并非官方發(fā)布，但成為工程和實際應用中使用次數最多的YOLO算法，具有更高效的檢測性能和效率。7.2二維視覺感知7.2.4經典算法：YOLOYOLO常用評價指標YOLO常用評價指標包括準確率（Accuracy）、精度（Precision）、召回率（Recall）以及根據后兩個指標算出的平均精度均值（MeanAveragePrecision，mAP）。

7.2二維視覺感知7.2.4經典算法：YOLO平均精度均值（mAP）用于衡量檢測算法在多個類別上的綜合性能。通過計算不同召回率下的精度并取平均值得到平均精度（AveragePrecision，AP），每個類別都有一個AP值。對所有類別的AP值求平均，即得到平均精度均值mAP。多點插值法計算mAP7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計1.目標追蹤算法簡介目標追蹤（ObjectTracking）旨在從給定的視頻序列中，根據初始幀中目標的位置或邊界框，連續(xù)追蹤目標對象在后續(xù)幀中的位置和狀態(tài)。目標追蹤任務可以分為單目標追蹤（Single-ObjectTracking，SOT）和多目標追蹤（Multi-ObjectTracking，MOT）兩種形式。7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計2.目標追蹤經典算法ByteTrackByteTrack是一種高性能的目標檢測和跟蹤算法，結合了目標檢測和目標跟蹤的優(yōu)點，能夠在實時性和準確性之間取得良好的平衡。ByteTrack使用卷積神經網絡（CNN）來提取圖像特征，并通過在線學習的方式進行目標跟蹤。其關鍵技術包括：聯合訓練、跨幀特征編碼和在線學習。7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計OC-SORT（Observation-CentricSORT）OC-SORT是一種用于多目標跟蹤的算法，其基本架構如圖所示：7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計3.目標追蹤與機器人狀態(tài)估計機器人狀態(tài)估計（RobotStateEstimation）是指通過傳感器數據和運動模型，對機器人的位置、姿態(tài)和速度等狀態(tài)進行估計的過程。

7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計基于視覺的狀態(tài)估計技術包括視覺里程計、SLAM以及目標對象的識別和追蹤。

(a)檢測機器人(b)檢測機器人視角7.2二維視覺感知7.2.5目標追蹤與狀態(tài)估計通過目標追蹤，機器人可以實時獲取目標的位置和運動信息，并作出相應的決策。機器人狀態(tài)估計可以為目標追蹤提供更準確的背景信息，例如通過估計機器人的移動速度和姿態(tài)，可以更好地預測和補償目標的運動狀態(tài)估計。7.3三維視覺感知7.3.1三維點云

7.3三維視覺感知7.3.1三維點云如圖所示，點云中的每個點都描述了其位置、顏色及法向量（紅色箭頭所示方向）。7.3三維視覺感知7.3.1三維點云點云數據的四種獲取方式：（1）激光雷達掃描：是獲取點云最常用方法之一，其工作原理是飛行時間技術（Time-of-Flight,ToF）。（2）結構光掃描：利用投射到物體表面的光圖案（如條紋、網格或點陣），通過不同視角的相機捕捉物體表面反射的光模式，并根據畸變進行計算出每個點在空間中的坐標。（3）深度相機：常見技術包括紅外結構光和飛行時間技術。（4）攝影測量：通過多視角的二維圖像進行重建，利用圖像的重疊區(qū)域進行匹配與視差計算生成點云。7.3三維視覺感知7.3.1三維點云點云的重要屬性：（1）無序性：三維點云是一組沒有特定順序的點。（2）稀疏性：點云中點的分布不是均勻密集的。（3）變換不變性：對于表示某個幾何對象的點云，在平移、旋轉、縮放等變換操作后，不影響對該幾何對象的特征描述。7.3三維視覺感知7.3.2三維點云處理技術基礎VoxNetVoxNet將三維點云進行了體素化轉換為三維體素占用網格，并使用三維卷積網絡處理體素數據，其網絡的主要結構如圖所示。7.3三維視覺感知7.3.2三維點云處理技術基礎PointNetPointNet能夠直接處理原始的點云數據，有效處理了點云數據的無序性和變換不變性。7.3三維視覺感知7.3.2三維點云處理技術基礎PointNetPointNet網絡的核心網絡模塊包括兩個主要部分：T-Net（TransformationNetwork）和多層感知機。T-Net模塊的作用是將點云數據進行規(guī)范化處理，消除輸入點云數據因掃描角度和位置不同而造成的干擾。多層感知機的作用是進行特征提取。獲取到點云數據的全局特征后，再進行分割任務和分類任務等。7.3三維視覺感知7.3.2三維點云處理技術基礎PointNet++PointNet難以學習到精細的全局特征，同時，點云的平移會導致三維坐標發(fā)生變化，從而導致分類結果出現錯誤。PointNet++的核心思想是在局部區(qū)域重復迭代地使用PointNet提取特征，用生成的點去繼續(xù)生成新的點，在生成的點集中又去定義新的局部區(qū)域，從而實現不同層級特征的學習。7.3三維視覺感知7.3.2三維點云處理技術基礎PointNet++特征提取：定義了子集抽象操作。重復子集抽象將使每個點代表的區(qū)域更大，對最后的數據進行全局池化，得到用于分類的全局特征。7.3三維視覺感知7.3.3物體姿態(tài)估計六自由度物體位姿估計（6degreesoffreedomposeestimation，簡稱6DoF）旨在估計給定圖像中的目標物體相對于相機的姿態(tài)。可以分為實例級（Instance-Level）和類別級（Category-Level）。實例級6D位姿估計是針對特定的已知物體進行位姿估計;類別級6D位姿估計針對特定類別的物體進行位姿估計，而不局限于特定的物體實例。1.位姿估計算法簡介7.3三維視覺感知7.3.3物體姿態(tài)估計

7.3三維視覺感知7.3.3物體姿態(tài)估計基于深度學習的實例級6D物體位姿估計方法分為兩類：直接回歸方法和基于匹配的方法。直接回歸方法直接使用神經網絡提取輸入圖像的特征，并進行端到端的位姿預測。基于匹配（對應）的方法是建立輸入數據和CAD模型之間對應關系，又分為稀疏對應和密集對應：基于稀疏對應的方法利用神經網絡檢測輸入圖像或點云中的物體關鍵點，建立數據和CAD模型之間的對應，然后確定物體姿態(tài)。基于密集對應的方法是通過預測每個物體像素或物體點云在CAD模型上的密集對應，實現更準確的物體姿態(tài)估計。7.3三維視覺感知7.3.3物體姿態(tài)估計如圖所示為稀疏匹配和密集匹配方法的區(qū)別。7.3三維視覺感知7.3.3物體姿態(tài)估計DenseFusion是采用深度學習方法進行密集對應預測的經典方法。DenseFusion使用兩個分支分別提取經過分割和裁剪后的RGB和深度圖像的特征，將RGB特征和深度特征逐像素拼接，并利用特征融合網絡獲得全局特征。然后將全局特征級聯到每個像素的特征向量上，并利用位姿預測網絡輸出每個像素點對應的位姿估計結果和一個置信度值，最終選擇置信度最大的像素點對應的位姿估計結果。DenseFusion還提出了一種基于深度學習的迭代優(yōu)化方法。7.3三維視覺感知7.3.3物體姿態(tài)估計

7.3三維視覺感知7.3.3物體姿態(tài)估計規(guī)范化對象坐標空間（NormalizedObjectCoordinateSpace,NOCS）是基于深度學習的類別級6D物體位姿估計的先驅方法。在NOCS中，首先使用預訓練的實例分割算法從輸入的RGBD圖像中分割出目標物體；然后使用基于區(qū)域的神經網絡預測NOCS表征。接下來，使用Umeyama算法將相機坐標系中預測的NOCS與對象坐標系中的規(guī)范NOCS對齊來恢復6D姿態(tài)和對象大小。NOCS還發(fā)布了第一個類別級物體位姿的數據集REAL275&CAMERA25.7.3三維視覺感知7.3.3物體姿態(tài)估計6D位姿估計顯著提升了機器人的智能化水平和操作精度，其主要應用領域包括機器人操作、手—物交互檢測和航空航天操作等。在機器人操作中，6D位姿估計是實現精確和靈活操作的核心技術在人機協作中，6D位姿估計確保了人與機器人之間的安全互動2.物體位姿估計在機器人中的應用7.3三維視覺感知7.3.3物體姿態(tài)估計OnePose算法是一種用于單幀圖像中的物體六自由度（6-DOF）姿態(tài)估計算法，其基本架構如圖所示。3.經典算法簡介算法包括特征提取、關鍵點檢測、姿態(tài)估計、優(yōu)化和矯正等步驟。7.3三維視覺感知7.3.3物體姿態(tài)估計SPP（SuperPoint）SuperPoint是一種常見的關鍵點描述符，采用端到端的深度學習方法，用于圖像中的關鍵點檢測和描述符生成，其基本架構如圖所示。7.3三維視覺感知7.3.3物體姿態(tài)估計SPP（SuperPoint）SuperPoint網絡由共享編碼器、關鍵點檢測頭以及描述符生成頭組成。共享編碼器網絡用于提取圖像的特征圖，網絡輸出被同時用于關鍵點檢測以及描述符生成。關鍵點檢測頭在特征圖上進行卷積運算，生成一個關鍵點概率圖（HeatMap），每個像素值表示該位置是關鍵點的概率。描述符生成頭在共享特征圖上進一步卷積，生成密集的描述符圖（DenseDescriptorMap），每個像素位置對應一個特征描述符。SuperPoint在計算資源的使用上更為高效，適合實時應用。7.3三維視覺感知7.3.3物體姿態(tài)估計PnP（Perspective-n-Point）

7.4視覺感知應用7.4.1人臉檢測與識別相比于傳統的人臉識別方法，深度學習方法能夠自動提取人臉特征，有效提高識別準確率，人臉檢測與識別效果如圖所示。常用的人臉識別數據集有PubFig、CelebA、Colorferet、MTFL、FaceDB等，涵蓋了不同場景、表情、光照條件下的大量人臉圖像。7.4視覺感知應用7.4.1人臉檢測與識別多任務卷積神經網絡（Multi-taskCascadedConvolutionalNeuralNetworks，MTCNN）MTCNN能夠將人臉檢測與人臉關鍵點檢測集成在同一個模型中實現。MTCNN網絡結構是一個三級聯級網絡，由三個連續(xù)的子網絡組成，分別是:候選網絡（ProposalNetwork，P-Net）精煉網絡（RefineNetwork，R-Net）輸出網絡（OutputNetwork，O-Net）7.4視覺感知應用7.4.1人臉檢測與識別MTCNN網絡示意圖7.4視覺感知應用7.4.1人臉檢測與識別P-Net是MTCNN的第一個子網絡，主要用于快速篩選候選人臉區(qū)域，其網絡結構如圖所示。采用了一系列的卷積層和池化層，輸出候選人臉區(qū)域的邊界框和置信度得分。P-Net生成的候選框包括了不同尺度和長寬比的可能人臉區(qū)域。7.4視覺感知應用7.4.1人臉檢測與識別R-Net是MTCNN的第二個子網絡，用于對P-Net生成的候選人臉區(qū)域進行進一步的篩選和精細化，其網絡結構如圖所示。它接受P-Net生成的候選框作為輸入，按照人臉框的位置對原圖進行切圖，通過卷積神經網絡對每個候選框進行特征提取和分類，輸出人臉的邊界框和置信度得分。R-Net的輸出經過非極大值抑制（Non-MaximumSuppression，NMS）來消除重疊的候選框。7.4視覺感知應用7.4.1人臉檢測與識別O-Net是MTCNN的第三個子網絡，用于進一步提高人臉檢測的準確性并定位人臉的關鍵點，其網絡結構如圖所示。它接收R-Net生成的高精度候選框的位置在原圖上進行切圖作為輸入，通過卷積神經網絡提取特征并輸出人臉的邊界框、置信度得分和人臉關鍵點的位置。O-Net的關鍵點定位包括眼睛、鼻子和嘴巴等重要特征點。7.4視覺感知應用7.4.2人臉表情識別人臉表情識別技術源于1971年心理學家Ekman和Friesen的一項研究，他們提出人類主要有六種基本情感，每種情感以唯一的表情來反映當時的心理活動，這六種情感分別是憤怒（anger）、高興(happiness)、悲傷(sadness)、驚訝(surprise)、厭惡(disgust)和恐懼(fear)，如圖所示。常見的面部表情數據集有JAFFE、KDEF、GENKI、RaFD、Fer2013等，包含了不同年齡、不同性別、不同膚色、不同頭部姿態(tài)的表情圖片數據。7.4視覺感知應用7.4.2人臉表情識別人臉表情識別（FacialExpressionRecognition，FER）的深度學習技術圖7-31基于深度學習的人臉表情識別常規(guī)流程示意圖7.4視覺感知應用7.4.2人臉表情識別基于深度學習的人臉表情識別一般分為四個步驟:首先輸入圖像。其次進行圖像預處理。預處理主要包括人臉對齊、數據增強、和歸一化三個步驟。人臉對齊可以減少面部尺度和平面類旋轉導致的變化，如圖所示：數據增強原圖片平移、旋轉、添加噪音、對比度變換等方式來增強數據，從而避免模型過擬合。歸一化主要包括光照歸一化和姿勢歸一化。7.4視覺感知應用7.4.2人臉表情識別再進行人臉表情的特征提取。常用的深度網絡有三類：卷積神經網絡（CNN）、循環(huán)神經網絡（RNN）和深度信念網絡（DeepBeliefNetwork，DBN）。最后通過提取的特征將表情分類。7.4視覺感知應用7.4.3行為識別與預測行為識別與預測是通過分析視頻或圖像數據，預測對象的未來行為并識別其潛在意圖，可以分解為兩個任務：1）行為識別：識別視頻數據中已完成的人類行為的類別；2）行為預測：預測視頻數據中未完成的人類行為的類別。7.4視覺感知應用7.4.3行為識別與預測基于深度學習的行為識別與行為預測主要方法可以分為四類：a）基于雙流（two-stream）架構的方法：將連續(xù)的圖片幀分為兩部分，一為光流流（Optica