1、 基于卷積神經網絡的視覺里程計 摘 要：經典的視覺里程計系統提取稀疏或密集的特征并匹配以執行幀到幀的運動估計，但是都需要針對它們所處的特定環境進行仔細的參數調整。受深度網絡的最新進展和以前關于應用于 VO 的學習方法的啟發，探索了使用卷積神經網絡來學習視覺位姿估計任務。通過對公開數據集進行實驗，驗證方法性能。最后，對算法進行總結分析并對展望其發展趨勢。Key：視覺里程計;位姿估計;深度學習; 卷積神經網絡DOI：10.16640/ki.37-1222/t.2019.21.0830 引言視覺里程計1，也稱為幀間估計，是視覺SLAM2（simultaneous localization and m

2、apping）中的核心內容。經典的基于幾何的視覺里程計方法分為特征點法與直接法。但是其依據于大量的計算，并且估計結果對相機參數極為敏感。近年來，人工智能、深度學習再次掀起了熱潮，基于深度學習的視覺任務豐富多樣，在分類、跟蹤等問題上都取得了很好的效果。但是多學習外觀特征，而視覺里程計需要學習圖片的幾何特征。本文提出了一種基于卷積神經網絡的視覺里程計方法，將數據集進行預處理，將圖片序列中相鄰的兩張RGB圖片進行串聯，每張圖片的通道數為3，得到一個通道數為6的張量，輸入到神經網絡中。參考Vgg網絡結構進行特征提取工作。將提取的特征輸入到全鏈接層將張量壓縮為位姿特征向量。通過KITTI數據集進行實驗，

3、輸出圖片之間的相對位姿，并轉化為絕對位姿和地面真實軌跡進行對比。1 相關內容1.1 經典的幾何方法經典的幾何幀間估計方法有著悠久的解決方案設計的歷史。最開始是基于稀疏的特征跟蹤，研究者們設計了很多具有魯棒性的角點、邊緣點、區塊等比較有代表性的點的特征提取與匹配的算法，在這些特征的基礎上估計相機的運動，如SIFT，SURF，ORB等。Eigel3等人開發了最經典的直接方法之一LSD-SLAM。直接方法在過去幾年中得到了最多的關注，Mur-Artal等人的ORB-SLAM4算法進行稀疏特征的跟蹤也達到了令人印象深刻的魯棒性和準確性。1.2 深度學習法深度學習采用端到端的方式進行大量的自動學習，并嘗

4、試從數據中推斷它們。從學習方式分為有著明確標簽的有監督學習（supervised learning）與沒有明確標簽采用聚類的思想的無監督學習（unsupervised learning）。Posenet5利用卷積神經網絡（CNN）實現相機姿態估計，訓練卷積神經網絡從一個單一的RGB圖像回歸相機的姿態，并在大型室外場景與室內場景進行實驗。Walch6在其去掉全連接層2048維的輸出向量基礎上加入循環神經網絡架構實現相機姿態回歸，捕捉像素關系。DeepVO7由兩個并行AlexNet的級聯卷積層組成并在末端串聯，提取圖片的低級特征到高級特征。2 算法結構2.1 基于CNN的特征提取部分將連續的兩張圖

5、片串聯為6個通道進行特征提取，卷積層卷積核全部使用33的卷積核和22的池化核，其中兩個33卷積層的串聯相當于1個55的卷積層，3個33的卷積層串聯相當于1個77的卷積層。其中3個33的卷積層參數量只有77的一半左右，有效的減少了參數量。由捕捉大的特征逐漸到捕捉小的特征進行過渡。通過多個小的卷積核堆疊來替代大的卷積核，增加了非線性激活函數，這有效的增加了特征學習的能力。2.2 全連接層在卷積層后面加入全連接層，將特征張量的維度降下來。以輸出6維度的相機位姿。隱藏單元數為4096，1024，512，128，最后壓縮為6維的表示圖片之間相對位姿的特征向量。全連接層后面也連接著非線性激活函數。整體的網

6、絡結構如圖1所示。2.3 損失函數3 實驗3.1 實驗平臺與特征提取過程實驗平臺為顯卡RTX2080ti一塊，ubuntu16.04操作系統。在開源框架pytorch上實現。選擇KITTI數據集進行實驗，采用有監督的學習方法。將數據集中gps等采集的變換矩陣表示的位姿轉化為3維的平移與3維的歐拉角表示，更利于反向梯度傳輸。首先將數據集計算圖片的均值與標準差，對其進行歸一化處理。3.2 訓練過程網絡在00，01，02，08上進行訓練，驗證數據集按照0.2的比例分割來源于訓練集的。采用Adam優化算法，設置初始學習率為0.0005。batch梯度下降方法，Batchsize為16。網絡訓練一個ep

7、och大概需要5分鐘，模型的驗證誤差與訓練誤差整體收斂到一個較小的范圍大概需要130epoch，約26小時。訓練與驗證的損失曲線如圖2所示，其中紅色代表隨著迭代次數增加的訓練損失，藍色代表隨著迭代次數增加的驗證損失，可以從損失函數曲線看出，兩個損失都可以收斂到較好的范圍并且相差不多。3.3 測試過程按照場景由訓練得到的模型進行測試，在每個文件夾所處的序列圖像中，將圖片堆疊輸入到網絡中，得到預測的相對姿態，有姿態解算將得出的相對姿態轉化為絕對姿態，并計算平移損失、旋轉損失以及總損失。如圖3所示。綠色的為KITTI上GPS等得出的位姿作為真實地面軌跡。紅色的為KITTI數據集通過深度神經網絡測試得

8、到相對姿態并進行姿態解算得到的相對于第一幀的絕對姿態。隨著訓練epoch的增加，測試模型的誤差一直在減少，畫出的軌跡收斂性也有明顯的提升，圖3中的軌跡是訓練到130epoch時，得到的均勻較好的軌跡曲線。從幾個測試的序列看出，基于卷積神經網絡的位姿估計方法都獲得了準確的軌跡形狀，但都存在軌跡漂移的現象，和經典的位姿估計方法如ORB得到的軌跡準確度還有差距。基于深度神經網絡的視覺位姿估計精度仍需提升。4 結論與發展趨勢本文提出了一種基于卷積神經網絡的視覺位姿估計方法。將兩張原始的RGB圖片以串聯的方式輸入到神經網絡中。經過實驗發現在訓練過程的參數設置很重要，合適的參數會使得網絡得到好的收斂，并測

9、試出好的結果。在訓練保存出較好的模型及優化器下性能較優，位姿估計較為準確。但是其和經典的幾何方法算法性能還有待提高，但是可以作為其有效的補充。實驗可以將數據集進行擴充，使得在相機面臨豐富運動時更加準確。可以采用新的視覺傳感器，如對光線或天氣變化十分敏感，探索新的傳感器融合。將后端優化，閉環檢測或整體過程基于深度學習實現的研究還相對更少，但是其是提高基于深度學習的相機位姿估計性能的有效途徑。Reference：1NISTER D，NARODITSKY O，BERGEN J R.Visual odometryC.Computer Vision and Pattern Recognition，200

10、4.CVPR 2004.Proceedings of the 2004 IEEE Computer Society Conference on.IEEE，2004.2BIRK A，PFINGSTHORN M.Simultaneous Localization and Mapping （SLAM）M.Wiley Encyclopedia of Electrical and Electronics Engineering.John Wiley & Sons，Inc.2016.3ENGEL J，THOMAS Sch?ps，CREMERS D.LSD-SLAM：Large-Scale Direct M

11、onocular SLAMC.European Conference on Computer Vision.Springer，Cham，2014：834-849.4MUR-ARTAL R，MONTIEL J M M，Tardos J D.ORB-SLAM： a versatile and accurate monocular SLAM systemJ.IEEE Transactions on Robotics，2015，31（05）：1147-1163.5KENDALL A，GRIMES M，CIPOLLA R.PoseNet：A Convolutional Network for Real-Time 6-DOF Camera RelocalizationC.IEEE International Conference on Computer Vision.2015.6WALCH F，HAZIRBAS C，Leal-Taix，Laura，et al