1、面向計算機視覺課程的綜合性實驗平臺摘 要：針對計算機視覺課程的特點，提出建立面向 課程的綜合性實驗平臺，具體介紹全景拼接實驗、生物特征 識別實驗、三維模型檢索實驗和深度學習實驗 4 個實驗平臺 的特點，結合同濟大學計算機視覺課程的實際教學，介紹此 實驗平臺的建設方案和經驗。關鍵詞：計算機視覺；全景拼接；生物特征識別；三維 模型檢索；深度學習文章編號： 1672-5913（ 2017） 05-0136-04 中圖分類號： G6421 背景計算機視覺是最近 20 年發展起來的一門新興學科 1 ， 是一門研究如何使機器“看”的科學；更進一步說，是利用 計算機對傳感器如圖像傳感器、深度信息傳感器、聲音

2、傳感 器等采集的信號進行分析，從而達到對客觀世界進行理解的 目的。作為一門科學學科，計算機視覺試圖建立能夠從圖像 或者多維數據中獲取“信息”的人工智能系統，因此計算機 視覺也可以看作研究如何使人工系統從圖像或多維數據中 “感知”的科學。近 5 年，隨著人工智能領域技術如深度學習技術的飛速 發展，計算機視覺學科在很多問題上，如人臉識別、目標檢測與跟蹤、像素級分割、場景理解、三維重建等，也取得突 破性的進展， 其應用范圍也變得日益廣闊。 在這種大背景下， 全球各大高校陸續開設了計算機視覺課程，比較有代表性的 課程包括斯坦福大學李飛飛教授開設的 Computer Vision ： Foundatio

3、ns and Applications 課程 2 、華盛頓大學 Ali Farhadi 教授開設的 Computer Vision 課程 3 等。同濟大學軟件學院的 計算機視覺課程 4開設于 2010 年秋季學期，是全國范圍內 較早在本科階段開設此課程的院系。2 教學難點與應對策略 計算機視覺是一門理論性和實踐性都很強的課程，學生 較難掌握。學習本門課程需要綜合運用多門課程的知識，如 微積分、線性代數、概率論、高等幾何、數字圖像處理、機 器學習等，這對教師和學生都有很高的要求。同時，由于該 學科是一門新興學科，學科理論與方法目前仍處于快速發展 階段，因此，如何把當前該領域最新的思想和方法融入教

4、學 環節中，一直是任課教師所面臨的巨大挑戰。為了加深學生對課上講授理論內容的理解和認識，任課 教師對大部分關鍵理論和算法都給出代碼實現并配以驗證 性實驗，學生可以利用上機課時對代碼內容進行學習。雖然 這種方式非常有利于學生對課堂理論內容的理解和掌握，但 是在教學實踐過程中，這種教學形式還存在一些不足之處，主要體現在兩個方面（ 1）目前，課程的代碼實現都是針對獨立的算法，注 重培養學生對關鍵算法的理解能力，而代碼和知識點都較為 分散，沒有形成針對一個大型任務的整體實驗平臺，不利于 培養學生解決整體復雜問題的能力。（ 2）目前，課程的上機實驗都是驗證性實驗，教師不 僅給出所有的代碼實現，還配置好運

5、行環境，準備好實驗數 據，而上機的主要目的是讓學生通過閱讀和調試代碼對課上 所學理論內容加以理解和消化；但是我們發現，部分學習自 制力較差的學生不僅在上機時間沒有按照要求參與實驗，而 且也沒有認真閱讀和調試實驗程序。我們分析認為，產生這 種情況的部分原因是教師沒有給學生明確分配需要完成的 任務，導致其參與度降低。為了解決上述問題，我們建議打造 4 個面向計算機視覺 課程的綜合性實驗平臺，覆蓋課程大約90%的知識點?？傮w的思路是：所有實驗都根據課程進度劃分為若干個相對獨立 的模塊，實驗的整體性框架代碼和模塊的框架性代碼都由教 師提供，模塊的一些關鍵部分則空出來，留給學生完成；每 次上機前，由教師

6、描述本次上機的目的和需要學生完成的具 體任務，學生可以在上機時段根據課堂內容對模塊空缺的關 鍵部分進行完善；當各綜合性實驗結束時，實驗程序可以處 理一個相對完整和復雜的問題。這樣不僅有利于培養學生解 決整體復雜問題的能力，還能提升學生對上機課的參與程度， 培養學生的學習興趣。具體來說，根據目前的教學內容，我 們可以建設 4 個綜合性實驗平臺，包括全景拼接實驗平臺、 生物特征識別實驗平臺、三維模型檢索實驗平臺和深度學習 實驗平臺。3 綜合性實驗平臺的建設 根據現行計算機視覺課程的教學內容，我們可以設計 4 個綜合性實驗平臺。其中，總體框架性代碼和模塊的框架性 代碼都由教師提供；隨著課堂教學的展開

7、，學生須利用上機 課時完成相應模塊核心代碼的編寫工作，且模塊核心代碼所 使用的算法會在理論課上講授。3.1 全景拼接實驗平臺 全景拼接是一種把兩張或多張圖像根據重合內容拼接 成一張大的圖像的技術。這些圖像需要滿足一定的假設條件， 即圖像所拍攝的景物基本上處于同一個物理平面，兩張圖像 的內容之間需要存在顯著的重合。把兩張圖像拼接成一?圖像的示例如圖1所示，其中，圖1 （a）和1 （b ）是同濟大 學軟件學院正門的有部分區域重疊的兩張圖像，圖1 （c）是把1（ a）變換到1（ b）所在坐標系的結果，圖 1（ d）是利 用基于特征點的自動全景拼接算法對1（ a）和1（ b）進行拼合的最終結果。本實驗

8、主要涉及的知識點包括圖像濾波、高斯尺度空間( Gaussian scale space)、 Harris 角點檢測( Harris corner detector )、基于 LoG (laplacian of Gaussian)尺度空間的尺 度不變點檢測、 SIFT( scale invariant feature transform )描述 子、射影幾何( projective geometry )、齊次線性方程組最小 二乘法、隨機采樣一致性(RANdom SAmpling Consensus，RANSAC模型擬合等。3.2 生物特征識別實驗平臺生物特征識別 ( biometrics )指的

9、是用人體固有的生理特 征或行為特征識別個人身份的技術，在刑偵、安防、銀行、 社保等領域有著廣泛的應用。本實驗平臺包含兩個系統，一 個是基于 WebCam 攝像頭的人臉識別系統， 另一個是非接觸 式掌紋掌脈識別系統。基于 WebCam 攝像頭的人臉識別系統的運行界面如圖2 (a)所示。由于絕大部分學生有個人電腦并配有 WebCam，因此此實驗完全可以在學生個人 電腦上完成。此實驗系統實際上包含兩個組成部分：一部分 是人臉檢測 ( face detection )，需要從視頻流中實時檢測出人 臉所在的區域；另一部分是人臉識別( face recognition )，就 是把系統檢測到的人臉區域和注

10、冊人臉數據集進行比對，從 而確定系統檢測到的人臉的身份信息。本實驗涉及的知識點 主要包括圖像濾波、 Viola-Jones 人臉檢測算法、向量與矩陣 的微分法、基于 Eigen-Face的人臉識別算法、基于稀疏表示( sparse representation )的人臉識別算法等。采集系統主要包含一個雙CCD相機和一個包含可見光以及940nm近紅外光LED模組的定制光源，可以同時采集手掌的 掌紋信息和靜脈信息。學生可以在該硬件平臺上完成整個基 于掌紋掌脈信息的身份鑒別系統。此實驗涉及的知識點主要 包括掌紋掌脈采集系統的設計與制造過程、掌紋ROI提取、生物特征圖像質量評價、 Gabor 濾波器、

11、競爭編碼( competitive coding )、基于 Hamming 距離的比對、基于掌 脈信息的活體檢測等。3.3 三維模型檢索實驗平臺隨著 3D 數據采集設備的普及， 3D 數據也變得越來越豐 富。本實驗會構造一個三維模型檢索系統。 2013 年，同濟大 學軟件學院數字媒體方向購置了一臺型號為 Creaform Go Scan 3D的三維掃描儀，如圖3( a)所示。在本實驗中，教師首先要教授學生 3D 掃描儀的使用并構建三維物體模型數 據庫，圖3(b)展示了學生掃描的洗發水瓶和空調遙控器的 三維模型； 然后，學生需要完成一個三維剛體模型檢索系統， 該系統可以根據一個輸入的三維模型從三

12、維數據集合中挑 選出與之最相似的三維模型。此實驗涉及的知識點主要包括 三維掃描儀的使用、三維曲面重采樣、基于Fast Marching 的測地距離(geodesic distance)的計算、歐氏奇異性消除、基 于 ICP( iterative closest point )算法的三維模型比對等。3.4 深度學習實驗平臺自從2012年Alex Krizhevsky等在NIPS上發表了把深度 卷積神經網絡( deep convolutional neural network ，DCNN) 應用于解決大規模圖像分類問題的成果以后5 ，機器學習和計算機視覺領域掀起了一股研究和應用深度學習技術的熱 潮

13、，并確實在許多不同領域取得了很大成功。深度學習技術 近來的巨大成功一方面得益于大規模帶有標記的數據的出 現，一方面是由于計算技術的進步，如 GPU 等。深度學習實 際上是一種對數據表示( representation )的學習技術，深度 學習模型由多層簡單模塊疊加形成，每一層都會對輸入進行 變換，以增加數據表達的選擇性和不變性，因此，可以從原 始數據中學習到它們的具有不同抽象層次的多層表示。深度 學習技術的一個顯著特點就是它對數據特征的學習不是手 工的，而是用通用的學習策略從數據中自動學習到的。在計算機視覺課程中，教師介紹深度神經網絡的基本知 識。在本試驗中，要求學生構建一個基于卷積神經網絡的

14、人 體上半身檢測系統，實現從視頻流中實時檢測出畫面中出現 的行人的頭肩部分。本實驗主要涉及的知識點包括圖像濾波、 Softmax 回歸( softmax regression )、深度卷積神經網絡 (deep convolutional neural networks ， DC N N)、 Pool ing 策略、非線 性激勵策略、訓練集測試集與驗證集、隨機梯度下降法 (stochastic gradient descent )等。4 實驗平臺建設效果評估從 2015 年開始，綜合性實驗平臺已在我們的計算機視 覺課程中完整地應用了兩個周期，獲得了同濟大學相關專家 和學生的好評，并引起強烈的反響

15、。一方面，綜合性實驗平 臺的引入客觀上提升了學生在計算機視覺課程實踐環節中 的參與度，從而有助于學生更加深入牢固地掌握課上所講授 的理論內容；另一方面，綜合性實驗平臺極大地提升了學生 綜合運用所學知識解決實際問題的動手能力，培養了他們對 于計算機視覺這門學科的學習興趣。在課程結束時，不少學 生表示希望將來能在相關領域從事開發或者研究工作。5 結語經過 6 年的探索實踐和沉淀積累，同濟大學的計算機視 覺課程已經形成了較為完善、具有特色的知識點體系，在教 學方法上也積累了豐富的實踐經驗。為了提升計算機視覺課 程的教學效果，培養學生綜合運用多學科知識解決實際視覺 問題的能力，我們建設了 4 個綜合性

16、實驗平臺。這些實驗平 臺已經應用在我們的教學實踐活動中，并初步取得了良好的 效果，達到了實驗平臺建設的目的。在今后的教學實踐中， 我們將認真聽取相關專家和學生的建設性意見和建議，對實 驗平臺不斷進行完善，與時俱進，從而持續提升該課程的教 學質量。參考文獻：1 Sonka M ， Hlavac V， Boyle R. Image processing， analysis， and machine visionM. Stamford ： CENGAGE Learning， 2008 ： 1-5.2 The vison lab. Stanford university CS 131 computer vision： Foundations and applicationsEB/OL. 2016-12-26. http ： //teaching/cs131_fall1617/index.html.3 Computer visionEB/OL. 2016-12-26. https ： //courses/cse576/16sp/.4 Zhang L.Computer visionEB/OL.