1、室內機器人的視覺定位與建圖室內機器人的視覺定位與建圖清華大學博士生開題報告博士生：高翔導師：宋靖雁 教授 指導老師：張濤 教授清華大學自動化系 導航中心2015.41.選題背景2.相關研究3.研究內容與創新點4.進度安排5.已有成果1.選題背景 協同定位與建圖 Simultaneous Localization and Mapping1.選題背景 機器人 搭載各種傳感器的移動平臺 激光、相機、聲吶、深度相機等 軌跡 地圖1.選題背景 SLAM 自主機器人的核心技術； 21世紀機器人領域發展最快的十大技術之一； 機器人研究領域的圣杯 Adam14； 應用：導航、遠程操作、服務、生產等。 已有三十

2、多年的研究（86年起） 仍處于研究室階段，未在市場上利用 原因：理論假設較為簡單，而實際環境復雜多變Adam14: Adams M, Vo B N, Mahler R, et al. Slam gets a phd: New concepts in map estimation. IEEE Robotics Automation Magazine, 2014, 21(2):2637.1.選題背景SLAMSensor Laser Camera SonarLocalization Feature RegistrationMapping Metric TopologicalLoop Closure

3、Appearance LearningAdvanced Topics Dynamic Multi-robotSLAM并不是單一的某個算法，它是一個具有許多子問題的系統。2.相關研究 問題的提出：1986-1989 Smith系列論文空間位置的表達與估計（On the representation and estimation of spatial uncertainty）Smith86 環境：路標(Landmark)的集合； 觀測數據：視野內路標與機器人的距離與夾角 目的：計算機器人的軌跡與路標位置Smith86: Smith R C, Cheeseman P. On the represen

4、tation and estimation of spatial uncertainty. International Journal of Robotics Research, 1986, 5(4):5668.2.相關研究2.相關研究 模型：1,kkkkkhkxf xuwzh x v運動方程：觀測方程：盡管傳感器的具體形式千差萬別，但抽象的公式是統一的。2.相關研究 前期的大量研究：在此模型上，構建擴展卡爾曼濾波器（Extended Kalman Filter）求解：111(,)kkkTTkkxf xuPAPAWQW111,0()kTTkkhh xKPHHPHVRUxxK zh預測部分更新部

5、分2.相關研究 例子： Lowe的基于SIFT雙目視覺SLAM。Se02 Davison的實時單目SLAM。Davison07Se02: Se S, Lowe D, Little J. Mobile robot localization and mapping with uncertainty using scale invariant visual landmarks. The international Journal of robotics Research, 2002, 21(8):735758.Davison07: Davison A, Reid I, Molton N, et al

6、. Monoslam: Real-time single camera SLAM. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(6):10521067.2.相關研究EKF局限性： 保存所有路標的均值與協方差矩陣：O(n2) 線性化假設 高斯噪聲假設 對數據關聯的敏感性 路標地圖不夠直觀2.相關研究 隨后幾年的發展： 粒子濾波器（Particle Filter）Sim07，對數據關聯容錯性高，計算量相對較大。 FastSLAM Montemerlo02，結合EKF與PF的優勢。 線性EKF Pa

7、z08，分治法求解EKF。Sim07: Sim et al. A Study of the Rao-Blackwellised Particle Filter for Efficient and Accurate Vision-Based SLAM, International Journal of Computer Vision, 74(3):303-318Montemerlo02: Montemerlo et al., FastSLAM: A factored solution to the simultaneous localization and mapping problem, Ei

8、ghteenth National Conference On Artificial Intelligence (AAAI-02), 2002, 593-598Paz08: Paz et al., Divide and conquer: EKF SLAM in O(n), IEEE Transactions on Robotics, 2008, 24(5):1107-11202.相關研究 濾波器以外的思路：優化方法，起源于SFM的BA方法Triggs00 看作對各變量的約束，建立優化問題。1,kkkkkhkxf xuwzh x v1,11( )( )kmnTi ki ki ki ki kkiJ

9、zhxRzhxTriggs00: Triggs et al., Bundle adjustment: a modern synthesis. Vision algorithms: theory and practice, Springer, 2000.2.相關研究 圖優化：優化變量=節點 約束=邊 優化問題=G(V,E) 考慮所有時間的約束，稱為全SLAM（Full SLAM）2.相關研究 基于圖優化的方法稱為姿態圖（Pose Graph） 優點： 直觀 利用所有數據 對數據關聯容錯率高 易于表達回環檢測 稀疏性Sibley09Sibley09: Sibley et al., Adaptive

10、 relative bundle adjustment, Robotics: science and systems, 2009.2.相關研究 例子 FrameSLAM Konolige08 RGB-D SLAM Endres14Konolige08: Konolige K, Agrawal M. Frameslam: From bundle adjustment to real-time visual mapping. IEEE Transactions on Robotics, 2008, 24(5):10661077.Endres14: Endres F, Hess J, Sturm J

11、, et al. 3-d mapping with an rgb-d camera. IEEE Transactions on Robotics, 2014, 30(1):177187.3.研究內容與創新點a) RGB-D相機的特征選擇b) 利用深度學習方法進行回環檢測c) 動態環境下的SLAMd) 多機器人協作SLAM3.研究內容與創新點a) RGB-D相機的特征選擇 目前RGB-D SLAM仍使用傳統的視覺SLAM方法。3.研究內容與創新點 視覺方法缺點：特征位于物體邊緣-深度不穩定 選擇深度穩定的點進行匹配3.研究內容與創新點 平面特征點 先估計平面 恢復平面上圖像 提取特征 創新點 利

12、用新興的深度相機 有效地利用RGB-D數據 更精確，失誤率低3.研究內容與創新點b) 深度學習回環檢測 回環檢測是SLAM中的重要一環 識別機器人曾到達過的地方3.研究內容與創新點b) 深度學習回環檢測 傳統方法：基于詞袋模型（Bag-of-Words）Cadena12 需要人工設計特征 對光照變化適應性差 深度學習方法 自動學習特征 從原始數據出發Cadena12: Cadena C, Galvez-Lopez D, Tardos J D, et al. Robust place recognition with stereo sequences. IEEE Transactions on

13、Robotics, 2012, 28(4):871885.3.研究內容與創新點b) 深度學習回環檢測 無先驗信息：非監督學習 使用層疊降噪自動編碼器（stacked auto-encoder）3.研究內容與創新點b) 深度學習回環檢測創新點： 深度學習技術尚未應用于SLAM領域； 為回環檢測問題帶來新的理解 無需人工設計特征3.研究內容與創新點c) 動態環境下的SLAMd) 多機器人協作SLAM SLAM的高級話題 沒有得到充分的研究 沒有公認的方法 是SLAM技術走向實用的必經之路3.研究內容與創新點 例子 CoSLAM Zou13 SLAM+ Salas-Monreno13 Coopera

14、tive SLAM Benedettelli12Zou13: Zou D, Tan P. Coslam: Collaborative visual SLAM in dynamic environments. IEEE Transactions On Pattern Analysis And Machine Intelligence, 2013, 35(2):354366.Salas-Monreno13: Salas-Moreno R F, Newcombe R A, Strasdat H, et al. Slam+: Simultaneous localisation and mapping

15、at the level of objects. 2013 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2013. 13529.Benedettelli12: Benedettelli D, Garulli A, Giannitrapani A. Cooperative slam using m-space representation oflinear features. Robotics and Autonomous Systems, 2012, 60(10):12671278.4.進度安排2015.

16、4 -2015.10 深度學習與閉環檢測2015.11-2016.5動態環境SLAM2016.6 -2016.12 多機器人協作SLAM2017.1 -2017.5 整理工作，撰寫論文5.已有成果發表論文：1.Xiang Gao, Tao Zhang. Robust RGB-D Simultaneous Localization and Mapping Using Planar Point Features, Robotics and Autonomous Systems, 2015, accepted. (SCI 收錄)2.Xiang Gao, Tao Zhang, Jingyan Song

17、. Task Planning and Simulation Platform for On-Orbit Service Multi-Robot System, Guidance, IEEE Chinese Navigation and Control Conference (CGNCC), 2014, 33-37. (EI收錄)3.高翔, 王正, 丁見亞, 楊倩, 基于復合葉片特征的計算機植物識別方法, 植物學報, 2014, 49(4): 450-461.(中文核心)4.Qiang Meng, Tao Zhang, Xiang Gao, Jing-yan Song, Adaptive sliding mode fault-tolerant control of the uncertain stewart platform based on offline