視閾跟蹤技術的研究

信息加工在很大程度上取決于視覺。大約80%-90%的外部信息是由人們的眼睛獲得的。由于人的視線具有直接性、自然性和雙向性等其它信息所無法具備的特點，人們對視線的研究有著濃厚的興趣。眼動的早期研究可以追溯到古希臘，但是真正使用儀器設備對眼動進行觀察和實驗是從中世紀才開始的。直到1901年Dodge和Cline才開發出第一臺精確的、非強迫式的眼追蹤設備。目前，視線跟蹤技術逐步成熟，應用越來越廣泛。主要應用于圖片/廣告研究（網頁評估、設計評估等）、動態分析（航空航天相關領域、體育運動、汽車、飛機駕駛、打字動作分析等）、產品測試（廣告測試、網頁測試、產品可用性測試等）、場景研究（商場購物、店鋪裝潢、家居環境等）和人機交互等各種領域，另外在理解人的意圖的智能計算機、具有交互功能的家用電器、虛擬現實和游戲等領域也有很好的應用前景。1對眼動的研究目前，關于眼動的研究文獻和硬件設備很多，由于每個作者和設備生產商使用的概念和參數指標不同，造成了各種方法、模型和設備性能無法比較，給眼動的研究帶來許多困難。我們參閱了大量的文獻，對眼動的概念和參數指標給出了明確的界定。1.1眼相注意事項lsm眼動主要有三種形式：注視（fixations），跳動（saccades）和平滑尾隨跟蹤（smoothpursuit)。(1）注視。表現為在被觀察目標上的停留，這些停留一般至少持續100ms～200ms以上。在注視時，眼并不絕對靜止，眼球為了看清物體總是不停地做輕微的抖動（jitter），其幅度一般小于1度。絕大多數信息只有在注視時才能獲得并進行加工。(2）跳動。注視點間的飛速跳躍，是一種聯合眼動（即雙眼同時移動），其視角為1°～40°，持續時間為30ms～120ms，最高速度為400°/s～600°/s。在眼跳動期間，由于圖像在視網膜上移動過快和眼跳動時視覺閾限升高，幾乎不獲得任何信息。(3）平滑尾隨跟蹤。眼睛能平滑地追蹤運動速度為1°/s～30°/s的目標，這種緩慢、聯合追蹤眼動通常稱為平滑尾隨跟蹤。平滑尾隨跟蹤必須有一個緩慢移動的目標，在沒有目標的情況下，一般不能執行。1.2．用戶機時長為6個月的情況。針對初(1）總注視次數。是衡量搜索效率的一個指標，注視次數越多，可能意味著顯示區域的布局越不合理。但也應該考慮注視次數和任務時間的關系（例如：任務時間越長需要的注視次數也越多）。(2）注視持續時間。反映的是提取信息的難易程度。持續時間越長往往意味著被測試人員從顯示區域獲取信息越困難。(3）注視次數。區域重要程度的一個標志。顯示區域越重要，被注視的次數越多。(4）注視點序列。注視點在興趣區之間的轉換，能夠度量用戶界面布局的合理性。(5）第一次到達目標興趣區的時間。在顯示區域搜索特定的目標時，第一次到達目標區域的時間。也是用戶界面布局合理性度量的一個重要指標。2面部跟蹤的基本原則和實現技術2.1視網膜成像技術由光源發出的光線經紅外濾光鏡過濾后只有紅外線可以通過；紅外線經過半反射鏡后，部分到達反射鏡，經反射鏡發射到達眼球；眼球對紅外線的反射光經同一反射鏡到達能鎖定眼睛的特殊的瞳孔攝像機，通過連續的記錄從人的眼角膜和瞳孔反射的紅外線，然后利用圖像處理技術，得到眼球的完整圖像；再經軟件處理后獲得視線變化的數據，達到視線跟蹤的目的。2.2基礎視線跟蹤技術的應用人眼的注視點由頭的方位和眼睛的方位兩個因素決定。目前Stiefelhagen等人將視線跟蹤技術按其所借助的媒介分為以硬件為基礎和以軟件為基礎兩種。(1）以硬件為基礎的視線跟蹤技術的基本原理是利用圖像處理技術，使用能鎖定眼睛的眼攝像機，通過攝入從人眼角膜和瞳孔反射的紅外線連續地記錄視線變化，從而達到記錄分析視線跟蹤過程的目的。以硬件為基礎的方法需要用戶戴上特制的頭盔或者使用頭部固定支架，對用戶的干擾很大。視線跟蹤裝置有強迫式與非強迫式、穿戴式與非穿戴式、接觸式與非接觸式之分，其精度從0.1°至1°不等。(2）以軟件為基礎的視線跟蹤技術是先利用攝像機獲取人眼或臉部圖像，然后用軟件實現圖像中人臉和人眼的定位與跟蹤，從而估算用戶在屏幕上的注視位置。2.3視網膜互通性測試眼動測量方法，經歷了早期的直接觀察法，主觀感知法，后來發展為瞳孔-角膜反射向量法、眼電圖法（EOG）、虹膜-鞏膜邊緣法、角膜反射法、雙普金野象法、接觸鏡法等。其具體的原理如下:(1）瞳孔-角膜反射向量法。通過固定眼攝像機獲取眼球圖像，利用亮瞳孔和暗瞳孔的原理，提取出眼球圖像內的瞳孔，利用角膜反射法校正眼攝像機與眼球的相對位置，把角膜反射點數據作為眼攝像機和眼球的相對位置的基點，瞳孔中心位置坐標就表示視線的位置。(2）眼電圖法（EOG）。眼球在正常情況下由于視網膜代謝水平較高，因此眼球后部的視網膜與前部的角膜之間存在著一個數十毫伏的靜止電壓，角膜區為正，視網膜區為負。當眼球轉動時，眼球的周圍的電勢也隨之發生變化；將兩對氯化銀皮膚表面電極分別置于眼睛左右、上下兩側，就能引起眼球變化方向上的微弱電信號，經放大后得到眼球運動的位置信息。(3）虹膜-鞏膜邊緣法。在眼部附近安裝兩只紅外光敏管，用紅外光照射眼部，使虹膜和鞏膜邊緣處左右兩部分反射的光被兩只紅外光敏管接收。當眼球向左或向右運動時，兩只紅外光敏管接收的紅外線會發生變化，利用這個差分信號就能測出眼動。(4）角膜反射法。角膜能反射落在它上面的光，當眼球運動時，光以變化的角度射到角膜，得到不同方向上的反光。角膜表面形成的虛像因眼球旋轉而移動，實時檢測出圖像的位置，經信號處理可得到眼動信號。(5）雙普金野象法。普金野圖像是由眼睛的若干光學界面反射所形成的圖像。角膜所反射出來的圖像是第一普金野圖像，從角膜后表面反射出來的圖像微弱些，稱為第二普金野圖像，從晶狀體前表面反射出來的圖像稱為第三普金野圖像，由晶狀體后表面反射出來的圖像稱為第四普金野圖像。通過對兩個普金野圖像的測量可以確定眼注視位置。(6）接觸鏡法（ContactLens）。是將一塊反射鏡固定在角膜或鞏膜上，眼球運動時將固定光束反射到不同方向，從而獲得眼動信號。六種常用的眼動測量方法性能的比較如表1所示。3視聽跟蹤技術的硬件實現3.1眼動數據處理流程目前的視線跟蹤系統主要有兩種類型：(1）頭盔式眼動跟蹤系統由頭盔式眼動儀和配套計算機組成。在眼動儀的配置選項中包含三維環境下的磁場頭追蹤儀，在記錄眼動數據的同時記錄頭部位置變化，不但可以提高眼動數據的準確性，還可以記錄視覺深度；無線傳輸系統使頭盔和眼動儀之間無線傳輸數據；視頻分析軟件簡化了景象分析流程。(2）攝像頭式眼動跟蹤系統主要由攝像頭式眼動儀和配套計算機組成。被測試者無需佩帶任何測試儀器，攝像頭校準后自動捕捉被試的眼動。能夠處理大量圖片的眼動測試并進行在線分析。3.2東南角嘴唇型色譜分析視線跟蹤設備應該具有以下性能：具有良好的視野；高速記錄雙眼位置，具有較高數據采集率；優越的空間解析度，低噪音；具有一定的精度，平均注視位置誤差小；頭盔按工效學原理設計，輕便耐用；系統易于設置、校正和確認；具有實時操作反饋功能；在線數據分析，可分辨眼跳、注視、回掃等多種眼動模式；強勁的應用程序界面和其它應用程序兼容。3.3國內視覺測量測試方法根據英國Derby大學行為科學研究所的DividWooding教授建立的眼動儀數據庫網站（http：//ibs.derby.ac.uk/emed/）公布的結果，目前世界上約有44家生產眼動儀的廠家。目前，利用電流記錄法生產眼動儀的公司有法國的Metrovision公司生產大ModelMonEOG眼動儀；利用電磁感應法生產眼動儀的公司有荷蘭SKALAR公司；利用光學記錄法中角膜和瞳孔的反射原理來設計的眼動儀最多，主要的生產廠家有德國的SMI公司，加拿大的SR公司，美國應用科學實驗室（ASL），日本的ISCAN公司的。國內對視覺測量的研究始于70年代末，80年代初。一般都是引進國外的設備作實驗研究，西安電子科技大學在自主開發研制眼動儀樣機方面做了很多工作。我們對主要眼動儀公司的產品性能進行了比較，結果如表2。4眼動數據分析目前，主要的眼動儀制造商的數據處理軟件是基于ScanEval軟件包開發的。ScanEval是一個對視線跟蹤系統數據進行記錄和分析處理的軟件包。能夠提供大量的統計和獲取數據的方法，能夠對眼動數據進行實時的分析和反饋。這個工具包在訓練系統評估，界面設計和評價以及人機工效等很多方面具有較大的用途。對眼動數據的處理主要有濾除噪聲（Filternoise），識別定位（RecognizeFixations），及局部校準與補償（CompensateforLocalCalibrationErrors）等。最重要的功能是提取出反映用戶注視區域或感興趣區（AreaofInterest-AOI）的眼睛的定位坐標。5傳統視線跟蹤技術的難點視線跟蹤技術主要存在的問題有:(1）數據提取問題。目前視線跟蹤系統的典型采樣速率為50Hz到500Hz，為采樣點提供水平和垂直坐標。隨著實驗時間的延長，很快就積累了大量的數據，對大量采集數據的存儲和分析是一個困難的問題。數據分析首先是把注視點和眼跳動分開，由于對注視點等概念沒有統一的定義，使得在概念定義上的微小差異也能導致提取和分析結果的巨大偏差。雖然設備制造廠商都提供分析軟件，但由于軟件使用的參數定義不同，結果也就沒有可比性。另外由于被測試人員的頭部和身體的運動而導致場景不停的改變也為數據提取帶來了新的挑戰。(2）數據解釋問題。目前，視線跟蹤數據的分析主要有基于認知理論和模型的自上而下分析法和自下而上的數據觀察法。由于眼動存在固有的抖動和眨動，導致從眼動數據中提取有意（intentional）信息較為困難。解決此問題的方法是利用某種先驗模型（priorimodal）來對眼動數據處理過程加以約束。但是應用研究并不總是有很強的理論和模型來指導的。在許多情況下，研究人員必須使用數據驅動來發現數據的模型。例如：為了研究顧客的購買喜好，Russo和Leclerc在1994年簡單地通過觀察被測試人員眼睛運動，記錄下來注視點序列，在注視序列中發現一般通用的模型。另外，由于對數據解釋中使用的參數缺乏統一的定義，有時不同的研究人員對同一參數的理解甚至是矛盾的，因此要正確的解釋視線跟蹤數據也是非常困難的。(3）精度和自由度問題。以硬件為基礎和以軟件為基礎的視線跟蹤技術相比，其精度可以達到很高（0.1°），但所應用的設備卻限制了人的自由，使用起來很不方便；相反以軟件為基礎的視線跟蹤技術，對用戶的限制大大降低，如用戶的頭部可以移動，但其精度相對來說低得很多，只有2°左右，要想得到準確的注視焦點比較困難。(4）米達斯接觸（MidasTouch）問題。所謂米達斯接觸（MidasTouch）問題（米達斯是希臘神話中的一位國王，能點石成金）指的是由于用戶視線運動的隨意性而造成計算機對用戶意圖識別的困難。用戶可能希望隨便看什么而不必非“意味著”什么，更不希望每次轉移視線都可能引發一個動作。因此，視線跟蹤技術的挑戰之一就是避免“米達斯接觸”問題。(5）算法問題。由于視線跟蹤技術還沒有完全成熟和眼動本身的特點（如：存在固有的抖動，眨眼等）造成數據中斷，會存在許多干擾信號，使得我們把注視焦點與屏幕元素相關聯時存在困難；另外，視覺通道只有和其它通道（如：聽覺等）配合才能發揮更大的作用，提出合