.一體化教學設計授課教師：授課班級：學時數：8授課日期：一體化教學場所：教學目標能力目標知識目標素質目標1.掌握視覺傳感器內參標定的步驟；2.掌握激光雷達與視覺傳感器聯合標定外參的步驟；1.通過課程講解了解視覺傳感器標定的相關知識；2.通過課程講解了解激光雷達與視覺傳感器聯合標定的相關知識；1.專心聽課認真記錄筆記；2.積極參與討論；3.個人積極回答問題；4.認真填寫工作頁；5.養成良好的課后復習習慣；6.課后翻閱相關資料加深對課程的了解。教學重點1.視覺傳感器標定的目的與方法；2.激光雷達的標定目的與方法；3.激光雷達與視覺傳感器聯合標定；4.RMONCAM魚眼單目視覺傳感器內參；5.視覺傳感器與Robosense-16線激光雷達聯合標定外參。教學準備1.激光雷達與視覺傳感器的聯合標定功能課件；教學活動1.通過多媒體課件講解，讓學生們了解視覺傳感器標定的目的與方法；2.通過多媒體課件講解，讓學生們了解激光雷達的標定目的與方法；3.通過多媒體課件講解，讓學生們了解激光雷達與視覺傳感器聯合標定的目的與方法；4.通過視頻教學講解、實操演示和學生動手實操，讓學生們掌握RMONCAM魚眼單目視覺傳感器內參開發實訓操作。5.通過視頻教學講解、實操演示和學生動手實操，讓學生們掌握利用視覺傳感器與Robosense-16線激光雷達聯合標定外參開發實訓操作。課后作業教學體會2.一體化教學實施教學流程教學內容教學方法教學手段學生活動時間分配（min）教學引入提問：激光雷達與視覺傳感器如何實現聯合標定？課前提問多媒體課件分組討論10教學告知1.視覺傳感器標定的目的與方法；2.激光雷達的標定目的與方法；3.激光雷達與視覺傳感器聯合標定；4.RMONCAM魚眼單目視覺傳感器內參；5.視覺傳感器與Robosense-16線激光雷達聯合標定外參。講授多媒體課件示范教學課前預習15教學準備1.利用激光雷達與視覺傳感器的聯合標定；講授多媒體課件講解課前預習10教學實施1.視覺傳感器標定的目的與方法；2.激光雷達的標定目的與方法；3.激光雷達與視覺傳感器聯合標定；4.RMONCAM魚眼單目視覺傳感器內參；5.視覺傳感器與Robosense-16線激光雷達聯合標定外參。講授演示練習多媒體課件講解實操演示課前預習分組討論動手實操25教學總結1.激光雷達與視覺傳感器的聯合標定；2.RMONCAM魚眼單目視覺傳感器內參標定；3.視覺傳感器與Robosense-16線激光雷達聯合標定外參;4.數據融合檢驗標定效果。提問啟發引導多媒體課件講解1.回答問題2.完成學生工作頁303.任務考核及答案3.1基礎知識認識工單（1）相機標定的目的就是確定空間物體表面某點的三維幾何位置與其在圖像中對應點之間的相互關系，建立攝像機成像的幾何模型。（2）攝像機參數包括內參、外參、畸變系數，畸變系數包括徑向畸變和切向畸變。（3）視覺傳感器標定方法有傳統視覺傳感器標定法、主動視覺傳感器標定方法和自標定法。（4）激光雷達與視覺傳感器聯合標定的作用是建立點云的point和圖像pixel之間的對應關系。3.2RMONCAM魚眼單目視覺傳感器內參開發活動實施工單步驟操作根據實際情況在“”上填上正確答案1內參標定準備（1）內參標定需要準備標定板，用的是12x9，棋盤格單格邊長為3.6cm的專業標定板。2錄制一個視覺傳感器話題的Bag（1）打開虛擬機，在窗口選擇并連接視覺傳感器；（2）在窗口區域內單擊鼠標右鍵，然后選擇“打開終端”；（3）在終端窗口區域內輸入命令“roscore”，然后按回車鍵運行ROS轉接點；（4）在窗口區域內單擊鼠標右鍵，然后選擇“打開終端”新建一個“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動視覺傳感器launch文件打開視覺傳感器。3打開標定工具（1）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware”→“ros”（路徑）（2）在“ros”文件夾內右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車；（3）輸入指令“rosrunautoware_camera_lidar_calibratorcameracalibrator.py--size11x8--square0.036image:=/usb_cam/image_raw”，啟動標定工具。4視覺傳感器標定及保存（1）標定界面是黑白的，當拿出標定板對著視覺傳感器時，它會自動識別標定板里面內角的參數并用其它顏色線條標注；（2）標定參數分別為舉起標定板移動，當右上角的X：移動到視覺傳感器視野范圍的最左邊，最右邊）、Y：（移動到視覺傳感器視野范圍的最上方，最底部）、Size：（移動標定板充滿整個視覺傳感器視野范圍）、Skew：（改變標定板的角度，斜著拿標定板）變為綠色時（X，Y和Size一起標定：保持標定板傾斜啟動到視野的最左，最右，最上，最下），標定按鈕”CALIBRATE”可用，單擊即可計算內參矩陣。（3）等待計算機后臺計算后，窗口會出現視覺傳感器矩陣數據。（4）單擊“SAVE-保存”按鈕，單擊后，出現一個保存的路徑，會顯示出保存的時間等（以時間命名），如果想找回保存的文件，可以按照保存時間去找出來。保存完畢后，單擊“COMMIT”按鈕退出標定工具，保存完后，使用快捷鍵“CTRL+C”關閉視覺傳感器實時同步窗口（不能關閉終端窗口），注意這里會多保存一個Autoware類型的YAML文件格式，也就是后面外參標定要導入的文件，3.3視覺傳感器與Robosense-16線激光雷達聯合標定外參開發活動實施工單步驟操作根據實際情況在“”上填上正確答案1聯合標定準備（1）準備標定板和錄制Bag包，在電腦上回放用于標定工具的話題輸入。2啟動視覺傳感器launch文件（1）打開虛擬機，在窗口選擇并連接視覺傳感器；（2）在窗口區域內單擊鼠標右鍵，然后選擇“打開終端”；（3）在終端窗口區域內輸入命令“roscore”，然后按回車鍵運行ROS轉接點（注意這個窗口不用關閉）；（4）再次窗口區域內單擊鼠標右鍵，然后選擇“打開終端”新建一個“終端”輸入命令“roslaunchusb_camusb_cam-test.launch”來啟動視覺傳感器launch文件打開視覺傳感器。3驅動激光雷達（1）打開激光雷達；（2）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“lidar_catkinws”后，在文件夾內右鍵打開終端，輸入命令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchrslidar_sdkstart.launch”，最后按下回車鍵，激光雷達點云數據界面會在顯示器上打開；（4）切換到視覺傳感器的終端，輸入指令“roslaunchusb_camusb_cam-test.launch”按下回車鍵，彈出視覺傳感器窗口后，切回到激光雷達點云的窗口界面后，單擊界面里面的“Add”→“Bytopic”→“usb_cam”→“image_raw”→“image”，再單擊下面的“OK”鍵；（5）使用鼠標調整視覺傳感器窗口大小，將其與激光雷達的朝向位置一致，可以通過舉起標定板來確定位置；（6）打開一個終端，添加指令“rosbagrecord-Ocamera_rslidar_calibration0916.bag；/usb_cam/image_raw/rslidar_points”錄制激光雷達與視覺傳感器標定包，然后按下回車鍵錄制；（7）錄制的時候，因為是16線激光雷達，所以拿標定板的時候離激光雷達不能太遠，不然就不能清楚地看到標定板了，錄制時建議的站位分別是：近處左邊，近處中間，近處右邊；中間左邊，中間中間，中間右邊；遠處左邊，遠處中間，遠處右邊；（8）錄制的時候建議每個位置移動改變標定板的姿態，每個姿勢停留1-2秒左右，為防止模糊需要上仰，下俯，左偏，中間不動，右偏移動標定板。錄制標定包的關鍵就是錄制多個位置、改變拿標定板的姿勢和必須保證能清楚的看到標定板，錄制完成后，在終端指令欄目上按一下回車鍵結束錄制，然后找出錄制的文件；（9）回放數據包前，需要將視覺傳感器實時窗口和激光雷達關閉，然后運行激光雷達驅動；（10）回放Bag使用如下命令，加上--pause意思是啟動即暫停，防止跑掉數據，按空格繼續回放，輸入指令“rosbagplay--pausecamera_rslidar_calibration0916.bag，然后按下回車播放，此時狀態是“PAUSED”暫定狀態，需要按空格鍵才能播放。（11）單擊“文件夾”→“HOME”→“ros+cam+lidar”→“autoware-1.10.0”→“ros”后，在文件夾內右鍵打開終端，輸入指令“sourcedevel/setup.bash”按回車，再輸入指令“roslaunchautoware_camera_lidar_calibratorcamera_lidar_calibration.launchintrinsics_file:=/home/alvis/20210916_1119_autoware_camera_calibration.yamlimage_src:=/usb_cam/image_raw”，最后按下回車鍵，然后彈出image-view2窗口；（12）當上面的image-view2出現視覺傳感器畫面時，然后按空格回放然后再暫停回放，然后將兩個畫面大小調到基本一致這樣子標定效果會更好；（13）單擊Add添加要訂閱的Image和PontCloud話題，分別設置每個訂閱話題的topic、FixedFrame設置為rslidar不然會沒有點云顯示、切換點云查看視角，用鼠標滑輪調整點云距離，確保能看到標定板；（14）做標定的時候，建議選擇九個點來做標定，左右兩個畫面選擇的點位置保證基本一致。同時切換出image-view2的界面，單擊工具欄放大圖像，然后手動選擇一個像素點和點云進行單次標定，觀察圖像和點云，并在image-view2中用鼠標選擇一個像素點，單擊rviz工具欄的PublishPoint，然后在rviz中選擇一個對應的點云數據點，當你的鼠標右下角出現一個淺紅色的路標記號時即可單擊該數據點，觀察image-view2的窗口是否出現points的提示信息；（15）重復以上步驟，選擇9個不同的像素點云對，因為需要足夠的數據才能計算外參矩陣，當第9個點選擇完后，該工具會自動計算外參標定矩陣，可以觀察到終端畫面顯示9:9標定完畢后，它會自動保存文件，最終的標定文件保存在home目錄下，外參標定結束。3.3數據融合檢驗標定效果步驟操作根據實際情況在“”上填上正確答案1打開數據包（1）標定矩陣有了之后，利用autoware提供的融合工具來查看標定的效果，先來回放數據，在終端輸入指令“rosbagplay--pausecamera_rslidar_calibration0819.bag/rslidar_points:=/points_raw”后按下回車鍵，它是一個暫停的狀態；（2）回到Autoware主界面，在終端輸入指令“./run”后按下回車鍵運行，提示輸入密碼（密碼是“root”）；（3）輸入密碼后會彈出一個RuntimeManager窗口，然后單擊“Sensing”→“CalibrationPublisher”→選擇參數“/usb_cam”→單擊“Ref”，在文件文件夾里面選擇“20210916_115455autowarelidarcamera_calibration.yaml”外參標定文件，然后單擊“OK”；（4）單擊“PointsImage”選擇CameralD“/usb_cam”后單擊“OK”；（5）單擊“RViz”窗口選擇“ImageTopic”和“PointTopic”參數；（6）單擊AuToWare終端按下空格鍵，然后就能看到融合標定效果了，這個效果有點偏差，在錄制的時后標定板位置有點偏差；1.一體化教學設計授課教師：授課班級：學時數：8授課日期：一體化教學場所：教學目標能力目標知識目標素質目標1.能獨立完成毫米波雷達與視覺傳感器的聯合標定。1.通過課程講解掌握標定的定義和分類；2.通過課程講解掌握毫米波雷達與視覺傳感器標定融合的意義；3.通過課程講解掌握毫米波雷達與視覺傳感器標定融合的方式；4.通過課程講解掌握毫米波雷達與視覺傳感器的安裝與調試的方法及步驟；5.通過課程講解掌握毫米波雷達和視覺傳感器標定融合的實現步驟。1.專心聽課認真記錄筆記；2.積極參與討論；3.個人積極回答問題；4.認真填寫工作頁；5.養成良好的課后復習習慣；6.課后翻閱相關資料加深對課程的了解。教學重點1.毫米波雷達與視覺傳感器標定融合的方式；2.毫米波雷達與視覺傳感器的安裝與調試的方法及步驟；3.毫米波雷達和視覺傳感器標定融合的實現步驟。教學準備1.基于毫米波雷達與視覺傳感器的標定融合課件；教學活動1.通過多媒體課件講解，讓學生們了解毫米波雷達與視覺傳感器標定融合的方式；2.通過多媒體課件講解，讓學生們了解毫米波雷達與視覺傳感器的安裝與調試的方法及步驟；3.通過多媒體課件講解，讓學生們了解毫米波雷達和視覺傳感器標定融合的實現步驟。課后作業教學體會2.一體化教學實施教學流程教學內容教學方法教學手段學生活動時間分配（min）教學引入提問：在智能駕駛技術中，單一的傳感器是不能夠解決所有問題的，那會有哪些解決方法呢？課前提問多媒體課件分組討論10教學告知1.毫米波雷達與視覺傳感器標定融合的方式；2.毫米波雷達與視覺傳感器的安裝與調試的方法及步驟；3.毫米波雷達和視覺傳感器標定融合的實現步驟。講授多媒體課件示范教學課前預習15教學準備1.基于毫米波雷達與視覺傳感器的標定融合課件；講授多媒體課件講解課前預習10教學實施1.毫米波雷達與視覺傳感器標定融合的方式；2.毫米波雷達與視覺傳感器的安裝與調試的方法及步驟；3.毫米波雷達和視覺傳感器標定融合的實現步驟。講授演示練習多媒體課件講解實操演示課前預習分組討論動手實操25教學總結毫米波雷達與視覺傳感器標定融合的方式、毫米波雷達和視覺傳感器標定融合的實現步驟。提問啟發引導多媒體課件講解1.回答問題2.完成學生工作頁303.任務考核及答案3.1開發基礎知識認識工單相機與毫米波雷達的融合方式有：原始數據級融合、特征級融合、目標級融合。毫米波雷達與視覺傳感器的標定問題，就是要將毫米波檢測的目標轉換到圖像上。具體分為三個步驟：1、將毫米波雷達坐標系的坐標轉換到世界坐標系2、將世界坐標系的坐標轉換到相機坐標系3、相機坐標系->圖像坐標系->像素坐標系3.2基于激光雷達實現SLAM功能開發活動實施工單3.2.1準備工作步驟準備工作（根據實際使用的工具作答）根據實際情況在“”上填上正確答案1安裝設備在進行毫米波雷達與視覺傳感器的標定融合之前，需要將視覺傳感器和毫米波雷達安裝到應用實訓臺上。注意事項：（1）安裝攝像頭時，1號攝像頭需要調整到與地面平行；（2）安裝毫米波雷達的時候，需要注意毫米波雷達的安裝方向。2場地準備（1）把應用實訓臺架推到規定的位置；（2）在毫米波雷達下方的地面上貼一條黃色標志線，標志線需要與應用實訓臺架平行。（3）以毫米波雷達下方為圓心，圈出一個角度為40°的扇形報警區域3.2.2視覺傳感器標定的實施工單步驟視覺傳感器的標定（根據實際使用的工具作答）根據實際情況在“”上填上正確答案1打開“視覺傳感器與毫米波雷達標定融合“軟件2選擇視覺傳感器，選擇“RMONCAMA21080P“3在左上角“攝像頭狀態”，選擇“打開“按鈕，打開視覺傳感器4打開攝像頭之后，選擇“拍攝”按鈕，借助標定板，拍攝五個不同角度的照片5完成照片拍攝之后，選擇“標定”按鈕，進行標定3.2.3調試毫米波雷達的實施工單步驟毫米波雷達的調試（根據實際使用的工具作答）根據實際情況在“□”位置上打“√”或根據實際情況在“”上填上正確答案1設置報警區域角度和報警區域距離，報警區域角度為20°，報警區域距離為5m2選擇“打開設備“按鈕，打開毫米波雷達，進行CAN通訊3打開毫米波雷達之后，坐標系是否有數據是R否￡結論毫米波雷達是否正常是R否￡3.2.4毫米波雷達和視覺傳感器融合的實施工單步驟毫米波雷達和視覺傳感器的融合（根據實際使用的工具作答）根據實際情況在“□”位置上打“√”選擇“融合“按鈕，進行毫米波雷達和視覺傳感器的標定融合。結論視覺傳感器檢測到的圖像和毫米波雷達探測到的點是否重合是R否￡1.一體化教學設計授課教師：授課班級：學時數：8授課日期：一體化教學場所：教學目標能力目標知識目標素質目標1.能獨立完成基于激光雷達實現SLAM的開發；2.能獨立完成基于激光雷達和IMU實現SLAM的開發。1.通過課程講解了解SLAM建圖和Hector_SLAM；2.通過課程講解了解IMU內參標定的方法及激光雷達與IMU外參標定的方法；3.通過課程講解了解多傳感器融合算法LIO-SAM介紹；4.通過課程講解了解基于激光雷達實現SLAM的開發過程；5.通過課程講解了解基于激光雷達和IMU實現SLAM的開發過程。1.專心聽課認真記錄筆記；2.積極參與討論；3.個人積極回答問題；4.認真填寫工作頁；5.養成良好的課后復習習慣；6.課后翻閱相關資料加深對課程的了解。教學重點1.IMU內參標定的方法；2.激光雷達與IMU外參標定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達和IMU實現SLAM的開發過程。教學準備1.基于激光雷達與IMU實現SLAM功能課件；教學活動1.通過多媒體課件講解，讓學生們了解IMU內參標定的方法；2.通過多媒體課件講解，讓學生們了解激光雷達與IMU外參標定的方法；3.通過多媒體課件講解，讓學生們了解多傳感器融合算法LIO-SAM；4.通過視頻教學講解、實操演示和學生動手實操，讓學生們掌握基于激光雷達和IMU實現SLAM的開發過程。課后作業教學體會2.一體化教學實施教學流程教學內容教學方法教學手段學生活動時間分配（min）教學引入提問：激光雷達結合IMU是如何實現SLAM建圖的？課前提問多媒體課件分組討論10教學告知1.IMU內參標定的方法；2.激光雷達與IMU外參標定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達和IMU實現SLAM的開發過程。講授多媒體課件示范教學課前預習15教學準備1.基于激光雷達與IMU實現SLAM功能課件；講授多媒體課件講解課前預習10教學實施1.IMU內參標定的方法；2.激光雷達與IMU外參標定的方法；3.多傳感器融合算法LIO-SAM；4.基于激光雷達和IMU實現SLAM的開發過程。講授演示練習多媒體課件講解實操演示課前預習分組討論動手實操295教學總結基于激光雷達實現SLAM的開發過程、基于激光雷達和IMU實現SLAM的開發過程。提問啟發引導多媒體課件講解1.回答問題2.完成學生工作頁303.任務考核及答案3.1開發基礎知識認識工單SLAM，也稱為CML，即同時定位與地圖構建，或并發建圖與定位。目前用在SLAM上的傳感器主要分為激光SLAM和視覺SLAM。本課程的基于激光雷達實現SLAM功能的開發是基于圖優化的Hector_SLAM方案，該方案僅有前端掃描匹配的模塊，無后端優化的過程。IMU內參標定使用的是Allan方差法。激光雷達與IMU外參標定方法為lidar_align，是瑞士蘇黎世理工大學-自動駕駛實驗室開源的一種校準3D激光雷達和6自由度位姿傳感器外參的方法。LIO-SAM是在局部范圍內進行掃描匹配以顯著提高系統的實時性能。3.2基于激光雷達實現SLAM功能開發活動實施工單3.2.1準備工作步驟準備工作（根據實際使用的工具作答）根據實際情況在“”上填上正確答案1運行節點掃描的效果：2（1）安裝ros-melodic-tf2-sensor-msgs。（2）安裝pointcloud_to_laserscan包。（3）創建launch文件。并將固定文本（具體內容請查看學生手冊）輸入文件中。目的：實現三維點云數據轉二維點云數據3（1）打開一個新的終端，啟動3d雷達驅動。（2）再打開一個新的終端，啟pointcloud_to_laserscan節點。如果想要顯示二維點云，還需要在Rivz中添加LaserScan。然后將Topic話題改為/scan，Style話題改為Points。4（1）安裝qt4-default（2）安裝hector_slam（3）修改tutorial.launch文件兩個修改點：1、將<paramname="/use_sim_time"value="false"/>中的true改為false。2、添加兩個tf變換坐標。5修改mapping_default.launch文件6修改rslidar中的frame_id，并重新編譯rslidar_ros將private_nh.param("frame_id",config_.frame_id,std::string("rslidar"));中的rslidar改為laser。7創建slam.launch文件，在創建的空文本中輸入如下：這里需要注意的是，第一個和第三個都啟動了rviz，需要將第一個launch文件中的rviz注釋掉。①的目的：啟動激光雷達②的目的：將三維point轉換為二維scan③的目的：執行hector_slam功能3.2.2基于激光雷達的SLAM建圖的實施工單步驟基于激光雷達的SLAM建圖（根據實際使用的工具作答）根據實際情況在“”上填上正確答案1（1）啟動slam.launch文件（2）移動應用實訓臺，會對周圍的環境進行建圖（3）查看建圖效果：灰色表示：激光雷達沒有探測到的未知區域黑色的點表示：激光雷達探測到障礙點白色表示：激光雷達已探測的不存在障礙物的區域3.3基于激光雷達和IMU實現SLAM開發活動實施工單3.3.1IMU的內參標定IMU的內參標定根據實際情況在“”上填上正確答案1、IMU為什么要進行內參標定？答：受各種因素影響，微機械IMU放置一段時間后，其誤差參數和慣性元件參數會發生變化，不能滿足導航、制導的精度要求，因此必須定期對其相應參數重新標定。2、IMU在采集數據時，會產生哪兩種誤差？答：確定性誤差和隨機性誤差1連接串口2編譯安裝Eigen線性代數庫3編譯安裝CeresSolver非線性最小二乘求解工具包，在編譯過程可能會出現無法定位libcxsoarse3.1.2的問題。解決辦法：（1）打開sources.list；（2）將下面的源粘貼到最上方sources.list；（3）更新源；（4）重新輸入依賴項安裝命令安裝依賴項。4編譯code_utils安裝依賴項把code_utils工具包放入ROS工作空間src文件夾下，進入ROS工作空間，執行catkin_make命令進行編譯如果出現編譯出錯狀況，解決方法如下：①把src/code_utils/src/sumpixel_test.cpp中的#include”backward.hpp”改為#include”code_utils/backward.hpp”；②在src/code_utils-master/include/code_utils/dlt/dlt.h中添加頭文件include“vector”。編譯imu_utils把code_utils工具包放入ROS工作空間src