機器人雙目識別系統原理與搭建第1頁，共21頁，2023年，2月20日，星期五閱讀文獻的前期思想：方法內容思想可行精確懷疑學習目標機器人雙目：利用仿生學模擬人眼視覺標定與定位：利用已有技術，對機器人視野范圍內的事物進行空間立體分析，找到所要三維坐標，從而實現機器人對物體的具體操作。第2頁，共21頁，2023年，2月20日，星期五匯報提綱一、所讀論文二、國內外關于該課題的研究現狀三、研究內容和解決的關鍵問題四、采取的研究方法步驟、技術路線和可行性分析五、疑問與想法第3頁，共21頁，2023年，2月20日，星期五所讀文獻1、機器人雙目視覺系統的標定與定位算法2、基于雙目立體視覺的三維定位技術研究3、基于雙目立體視覺的三維信息獲取技術研究4、基于雙目立體視覺的移動機器人目標定位5、基于雙目立體視覺技術的成熟番茄識別與定位第4頁，共21頁，2023年，2月20日，星期五國內外關于該課題的研究現狀立體視覺的開創性工作是從60年代中期開始的，美國MIT的Roberts首先成功地用程序完成了對三維積木世界的解釋，把過去的二維圖像分析推廣到了三維，并且在隨后的20年中迅速發展并形成了一門新的學科。1、華盛頓大學與微軟公司寬基線立體視覺系統：對跨越的幾千米內的地形進行精確的定位導航2、麻省理工學院計算機系提出了一種新的用于智能交通工具的傳感器融合方法，能夠在高速環境下對視頻圖像中的目標位置進行分割3、CMU大學基于圖像的三維重構系統4、Katholieke大學可變內參數下的攝像機自標定技術：可自動實現自標定和分層重構5、日本大阪大學自適應的雙目視覺伺服系統：對運動方式未知的目標的自適應跟蹤6、浙江大學透視成像原理：采用雙目體視方法實現了對多自由度機械裝置的動態、精確位姿檢測第5頁，共21頁，2023年，2月20日，星期五該課題的研究現狀涉及面廣（航空測繪、軍事應用、醫學診斷及工業檢測等）可用性研究趨勢評估指標的轉變（重視內容、智能分析、多領域的應用）方法多樣（邊緣檢測、區域圖像分割及最小二乘算法等）第6頁，共21頁，2023年，2月20日，星期五研究內容：實現該過程一般包括如下幾個功能模塊：圖像獲取、攝像機標定、識別、定位、立體匹配。主要研究雙目立體視覺系統的各項關鍵技術及其具體實現，使之能夠精確定位手術器械，從而為機器人具體操作提供一定的輔助作用。第7頁，共21頁，2023年，2月20日，星期五解決的關鍵問題：機器人雙目視覺的可用性指標標定的要求定位的要求識別的要求第8頁，共21頁，2023年，2月20日，星期五采取的研究方法步驟和技術路線需求評估構建研究個案優化驗證驗證方法的有效性標定內部參數兩攝像機之間的位置關系++外部參數定位（目標點的深度測量）平臺構建（兩臺攝像機、兩個圖像采集卡以及兩臺驅動電機）識別彩色圖像轉換灰質圖像閾值圖像分割第9頁，共21頁，2023年，2月20日，星期五機器人雙目視覺的機構平臺如圖所示，兩臺攝像機位置相對固定，同時拍攝同一場景的圖像，水平軸和豎直軸分別裝有驅動電機以實現系統的仰俯和旋轉動作。第10頁，共21頁，2023年，2月20日，星期五機器人雙目視覺的機構平臺或者使用雙目攝像機更便捷，但是需要一塊視頻采集卡/item.htm?spm=686.1000925.0.0.hxqXcX&id=45072212067雙目攝像機購買鏈接/item.htm?spm=686.1000925.0.0.hxqXcX&id=45378827214視頻采集卡購買鏈接第11頁，共21頁，2023年，2月20日，星期五標定攝像機針孔成像數學模型：式中：s為比例常數,A為攝像機內部參數(固定不變),[R

t]為攝像機外部參數(表示攝像機坐標系與世界坐標系的轉換關系,隨世界坐標系的選定而變化),Mw和m分別表示目標點世界坐標及其對應的像點像素坐標的極坐標。第12頁，共21頁，2023年，2月20日，星期五識別實時準確地識別采集到的圖像中的目標對象，是機器人視覺系統的關鍵，而目標識別的實質是圖像分割。在圖像分割之前，要將彩色圖像進行灰度變換，例如可以將彩色圖像變換為灰度圖像。式中I——灰度值；R，G和B——RGB顏色空間中像素的3個分量第13頁，共21頁，2023年，2月20日，星期五識別目標圖像和背景圖像必須存在較大的色差，根據這個特征，對圖像中的每個像素進行了色差處理，以增強背景和目標對象的反差，圖像中每一個像素的色差表示為C=R-I，即：第14頁，共21頁，2023年，2月20日，星期五識別根據灰度圖像的直方圖，采用合適的閾值進行圖像分割，設T是所取閾值，閾值分割理論如下公式所示。當圖像中像素的色差值小于所設定的閾值時，將像素的灰度值設置為0；當圖像中像素的色差值大于或等于所設定的閾值時，將像素的灰度值設置為255。目標對象與背景之間的色差值存在較大的差異。只要閾值選擇恰當，就可以得到較好的分割效果。第15頁，共21頁，2023年，2月20日，星期五定位雙目立體視覺計算目標點深度值的模型如圖所示，f為CCD攝像機的焦距，b為兩攝像機的中心距離，R為目標點的深度值，XL和XR分別是目標點在左右圖中的位置。第16頁，共21頁，2023年，2月20日，星期五定位目標點在立體圖像對中的視差為其在兩圖中水平方向上的距離，即視差D=|XL－XR|。根據三角測量原理，可獲得深度值R與視差D的關系：第17頁，共21頁，2023年，2月20日，星期五立體匹配

立體匹配是在兩幅存在視點差異，幾何、灰度畸變和噪聲干擾的圖像間進行，尋求同一空間景物在不同視點下投影圖像的像素間的一一對應關系，亦即給定一幅圖像中的一點，尋找另一幅圖像中的對應點，使得這兩點為空間同一物體點的投影，進而可以求出二者視差，用以恢復圖像的深度信息，并可以進一步求得某些特征的空間坐標以及由稀疏的三維數據恢復整個曲面。第18頁，共21頁，2023年，2月20日，星期五立體匹配立體匹配方法很多，但無論對于哪一種立體匹配方法的設計，都必須解決以下三個方面問題：匹配基元選擇：選擇適當的圖像特征作為匹配基元，如點、直線、區域、相位等；匹配準則：將關于物理世界的某些固有特性表示為匹配所必須遵循的若干規則，使匹配結果能真實反映景物的本來面目；算法結構：利用適當的數學方法設計能正確匹配所選基元的穩定算法。第19頁，共21頁，2023年，2月20日，星期五疑問和想法疑問和想法：雙目視