1、電子科技大學 人機交互復習總結人機交互概念 ：人機交互是研究人、計算機以及它們相互影響的技術。狹義的講，主要是研 究兩者之間的信息交換，它主要包括人到計算機和計算機到人的信息交換兩部分。人機界面 : 計算機與人之間通信和對話的接口， 它作為計算機系統的重要組成部分， 主要是 指人類與計算機系統之間的通信方式，它是人機雙向信息交換的支持軟件和硬件。人機交互 VS 人機界面：人際交互是指用戶與計算機系統之間的通信， “交互 ”定義為一種通信， 即雙向的信息交 換。人機界面指人類用戶與計算機系統之間的通信媒體或手段。 是人機雙向信息交換的支持 軟件和硬件， “界面”定義為通信的媒體或手段，物化體現是

2、有關的支持軟件和硬件。人機 界面也稱為用戶界面。人機交互通過一定的人機界面來實現， 在界面開發過程中， 有時把他們作為同義詞使用。發展歷程：命令行界面（CLI）圖形用戶界面（GUI），也稱WIMP界面多通道人機界面（MMI）發展趨勢： 強調“以人為本 ”， “自然、和諧 ”的交互方式，交互技術圍繞集成化（多樣化、 多通道）、網絡化（在不同設備、不同網絡、不同平臺之間的無縫過度和擴展，在任何地方 用多種簡單的自然方式進行人機交互） 、智能化（非精確的信息交流，使人機之間的交互像 人與人交互一樣自然、方便） 、標準化（制定國際標準）展開。人機交互的范疇 ： 2-指導哲學 3-相互交叉和滲透 1-實

3、現技術【認知心理學： 研究人的高級心理過程， 主要是認知過程。 從心理學的觀點研究人機交 互的原理。人機工程學：運用生理學、心理學和醫學研究人、機器、環境相互間的合理關系，保證 人安全、健康、舒適的工作，提高整個系統工效的新興邊緣學科。分為硬件和軟件兩方面。虛擬現實：真實感、沉浸感和交互性。 自然和諧的人機交互是虛擬現實的一個研究內容。 多媒體：輸入 -將文字、聲音、圖形、圖像集成在一起，多模態多通道輸入。輸出-引入動畫、音頻、視頻等動態媒體，豐富表現信息的形式，提高用戶接收信息的效率。更直觀。 信息處理 -多媒體信息融合，單一媒體的分析處理。人工智能：多通道系統力求對語義的理解。側重于信息的

4、理解與解釋。 軟件工程：軟件的設計、實現、測試、開發管理】人機交互的三元素 ：人 （指導哲學 ）、交互設備、交互軟件 人機交互的研究內容： 多種獨立模態的交互技術、智能用戶界面（多模態信息融合 ）、虛擬現實中的人機交互（3D交互）人機交互模型： 對人機交互系統中的 交互機制 進行描述的結構概念模型Norman執行-評估模型：一個直觀的交互模型，分為執行和評估兩個階段， 通常由7步構成： 建立目標， 形成意圖， 動作描述， 執行動作， 理解系統狀態， 解釋系統狀態， 評估系統狀態。 該模型指出了交互過程的某些特點，有助于在概念上理解交互過程，但完全以用戶為中心， 對于計算機系統而言僅僅考慮到系統

5、的界面部分，因此是不完整的模型。運行鴻溝：用戶意圖與允許的行為之間的不匹配。 評估鴻溝：系統表示與用戶期望之間的不匹配。用戶概念模型：一種用戶能夠理解的系統描述，使用一組集成的構思和概念，描述系統應做什么、如何運作、外觀如何等。分為基于活動的和基于對象的。基于活動：指示（按按鈕）、對話（電話機器服務）、操作與導航（虛擬現實）和探索與 瀏覽（上網）。各類活動可以并存。基于對象：界面比擬（桌面、電子表格，搜索引擎）、交互范型（我們在構思交互設計時的某種主導思想或思考方式，設計時的靈感來源）界面比擬 是指采用“比擬”的方法將交互界面的概念模型與某個（或某些）物理實體之間的某些相似性體現在交互界面設計

6、中。GOMS預測模型：用戶與系統交互時使用的知識和認知過程的模型，GOMS代表目標、操作、方法、選擇規則。目標：用戶要達到什么目的。操作：達到目標使用的認知過程和物理行為。方法：為達到目標而采用的具體步驟。選擇規則：選擇具體方法。優點：可以預測專家用戶如何使用一個系統，避免對用戶進行可用性測試。能夠定量預測用戶執行情況，從而對不同界面或系統進行比較分析，有助于確定產品的有效性。缺點：無法預測普通用戶的使用情況。適用范圍有限，只適合分析數據錄入類型的計算機任務，而且只能預測專家級用戶的執行情況，無法分析出錯的情況。交互框架模型：交互分為四個部分：系統、用戶、輸入和輸出，交互過程表現在信息在這四

7、個部分之間的流動和對信息描述方式的轉換上。交互周期中有四個階段：目標建立、執行、表示和觀察1. 用戶以用戶語言在頭腦中形成任務，并將任務翻譯成機器可以識別的“輸入語言”2. “輸入語言”被翻譯成能被系統直接執行的一系列操作，即“核心語言”3. 將系統的當前值以“輸出語言”的形式呈現出來。用戶觀察輸出，將其翻譯為用“用戶語言”表達的交互結果，與原目標進行比較和評價。圖形用戶界面模型：【圖3.3形用戶界面槪念欖型三個思想：桌面隱喻，即在界面中用人們熟悉的桌面上的物品來清楚的表現計算機可處理的能力。WIMP是組成圖形用戶界面的基本單元 直接操作以及所見即所得的界面多通道用戶界面的特點：使用多個感覺（

8、側重于多媒體信息的接受）和效應（側重于交互過程中控制與信息輸入） 通道。兩者密不可分、相互配合，應允許充分的并行協作的多通道協同配合。允許非精確的交互。允許使用模糊的表達手段可以避免不必要的認知負荷，有利于提高交互活動的自然性與高效性。主張以充分性代替精確性。三維和直接操縱。人生活在三維空間，習慣于看、聽和操縱三維的客觀對象，并希望及時看到這種控制的結果。多通道的人機交互的自然性反應了這種本質的特點。交互的雙向性。人的感覺和效應通道通常具有雙向性，多通道用戶界面使用戶避免通道切換，從而提高自然性和效率。交互的隱含性。追求交互自然性的多通道用戶并不需要用戶顯式的說明每個交互成分， 而是在自然的交

9、互過程中隱含的說明。虛擬現實交互的特點：立體感的視覺顯示置身于環境中的顯示動態的顯示以多種媒體和多種形式與計算機進行交互閉環的交互方式用戶界面設計的一般原則：一致性（用語與用詞的一致性、 操作方法的一致性、界面格局的一致性、數據格式的一 致性、系統響應的一致性）易用性容錯性（重要操作提醒、操作完整性檢測、輸入正確性校驗、命令執行的回溯UNDO、自動糾正錯誤、拒絕執行）易學性有效性（使用快捷鍵）美觀性反饋性（詞法級、語法級、語義級）針對性（對不同層次的用戶設計不同的操作環境）】WEB布局的設計原則： 邏輯性、一致性、新穎性和實用性、采用容易掃視的表達方法、清 晰表達網頁上的超鏈接交互設備輸入：鼠

10、標、鍵盤、跟蹤球、操縱桿、觸摸屏、手寫板、光筆、數字化輸入板、手勢板、 三維輸入設備輸出：顯示器、打印機、揚聲器數據交互：人通過輸入數據的方式與計算機進行交流的一種方式，是人機交互的重要內容與方式。數據交互的方式：問答式對話數據輸入交互、菜單選擇、填表、直接操縱、關鍵詞、條形碼、光學字符識別、聲音、圖像輸入設備：鍵盤、鼠標（定位，單擊，釋放，雙擊，拖動）、跟蹤球、操縱桿、觸摸屏、手寫板、光筆、數字化輸入板、手勢板、三維輸入設備輸出設備：顯示器、打印機語音交互：研究人們如何通過自然的語音或機器合成的語音同計算機進行交互的技術。它是一個多學科交叉的邊緣學科，需要語言學、心理學、工程和計算機技術等領

11、域的專業知識，不僅要對語音識另U和語音合成技術進行研究，還要對人在語音通道下的交互機理、行為方式等進行研究。語音識別和語音合成的相結合，即構成一個“人機通信系統”。語音交互的優缺點：優點：人類最習慣的交流方式；認知負荷小（不需要長期占用注意力）；資源占用少（空 間和照明）；交互效率高（信息量大）；缺點：環境要求嚴（不能在噪聲環境中）；信息的模糊性；非結構化；短暫性；記憶負荷大語音識別：是將音頻數據轉化成文本或其他形式的計算機可以處理的信息的技術。它的研究目的是讓機器“聽懂”人類的語言。語音識別分類：（1）孤立語音識別系統：以單字或單詞為單位的識別系統。連續語音識別系統：利用連續發語音詞表中相關

12、聯的幾個單字或單詞，識別之前對連續語音進行切分，最后給出連續發音的識別結果。（自然語音最大特點是連續語音）（2）能識別詞匯量小于100個的稱為小詞匯量識別；大于100個的稱為中等詞匯量識別； 大于1000個的稱為大詞匯量識別。（3）特定人（SD）語音識別系統需要用戶完成一個建立特定個人語音檔案的過程，通過 朗讀事先準備的文本，識別軟件為用戶創建符合用戶聲音和說話模式的語音模型。非特定人（SI ）語音識別系統針對多個用戶的使用而設計，無需建立個人語音庫，不必使用者訓練就可以識別各種語音。特定人和非特定人語音識別系統之間的研究差距：語音學差異。不同地方的說話人發音有很大不同。生理差異。不同說話人會

13、造成語音頻譜特性不同。發音習慣與心理狀態差異。對說話的語音頻譜特性造成影響。“非特定人+自適應”是當前眾多語音識別系統采用的使用框架。語音識別：模式匹配方法分為兩步：第一步，建立標準語音庫（標準語音模板），系統首先建立有若干訓練語句的標準語音數據庫供訓練者使用，即訓練；第二步，將輸入的語音信號經過處理后與標準語音模板相匹配，即識別，包括失真估計、識別決策和專家知識運用；建立語音模板的方法：選擇一種識別方法，然后從輸入的語音信號中提取該方法要求的 語言特征參數，保存起來形成語音模板。模板匹配方法：概率統計方法（特征參數比較，失真測度最小判斷結果，失敗時，運用 專家知識）。語音信號輸入T預處理_特

14、征分析 L模式匹配T識別決策 f識別輸出 與提取j準模板專家如識三個技術模塊：特征提取、模式匹配、標準模板庫生成三模塊所涉及的技術：語音識別單元的選擇、特征數據類型的選擇、模式匹配方法與模 型訓練技術語音識別單元： 單詞（句）單元、音節單元（漢字）、音素單元（西文）識別單元的分割技術：端點檢測技術（過零率和能量特征參數獲得分割精度） 特征參數提取： 語音識別：特征參數的比較和識別（1）特征提取：從語音信號中提取對語音識別有用的信息（根據語音單元特點提取）（2）參數要求：最少特征表達信號，提高模式比較速度；最大限度不失真表示信號。模型訓練：按照一定準則，從大量已知模式中獲取表征該模式本質特征的模

15、型參數的過 程；模式匹配：根據一定準則，使未知模式與模型庫中的某一個模型獲得最佳匹配的過程。語音識別的后處理：語音信息處理在語音聲學信號識別的基礎上，利用語言學知識進一步糾正識別錯誤；還能提供一定的反饋信息 給聲學信號識別系統，幫助聲學信號識別系統提高識別性能。語言信息處理方法：基于語料庫的統計方法、基于文法的語法分析方法語音識別方法： 模式匹配法（動態規劃方法 DP即動態時間規整 DTW）、統計概率模型 方法（隱馬爾科夫模型 HMM ）、人工神經網絡方法 ANN三種語音識別方法比較：DTW方法優點是保留語音序列的時序信息， 識別算法簡單有效。缺點是動態規劃（DP） 法計算量較大，不能進行動態

16、訓練，即不能用多次的發音來訓練一個語音樣本， 只能采用多 套樣本。一般用于中小字表、特定人或孤立詞的語音識別系統中。HMM方法的特點是便于建立各種層次的語音識別基元（音素、音劃、字、詞組合句子）的語音模型，容易 綜合各種不同性質的 參數信息（聲道參數、語法、語義、語音模型等），缺點是建模本身存在不完善性，對于語音信號的時序反映能力較低等。適合于非特定人、大字表、連續語音的識別。ANN技術在語音識別中主要用來完成分類工作，多用于小字表的分類識別。對于復雜 的識別問題（大字表、非特定人、噪聲環境等、神經網絡方法普遍存在收斂緩慢、局部最優 和推廣能力差的缺點。在端點檢測、非線性特征參數提取和預處理方

17、面，其效果和DTW類 似。語音合成：通過計算機把數字信息變成語音輸出，語音識別和語音合成是語音處理的互逆過程。實現途徑：存儲語言信號，需要時再重現（聲音還原）；讓機器像人類說話，模擬人的語言功能，完成內容到聲音的實現過程。語音合成方法：波形編輯方式；參數編輯方式；按規則合成方式圖像識別的三個層次、關系圖像處理：對圖像進行各種加工以改善視覺效果，輸入輸出均為圖像。圖像識別：對圖像中感興趣的目標進行監測和測量，通過抽取客觀信息建立圖像的描述。圖像感知：在識別的基礎上，進一步研究圖像中各目標的性質和聯系，得出對圖像內容的理解和客觀場景的解釋，從而指導和規劃行動。關系：密切聯系，又有明顯區別， 主要體

18、現在輸入和輸出的關系上。圖像感知輸入一幅圖像，輸出對該圖像的解釋。圖像處理的輸入和輸出都是圖像，主要工作是對圖像進行加工。圖像識別對輸入模式進行分類，它具有圖像感知的內容， 但理解的結果與圖像感知相比不如后者全面豐富。通常，圖像感知包括圖像處理和模式識別的內容。圖像識別過程：特征提取（灰度特征、幾何特征、統計特征）：從原始數據中提取出對分類識別有用的信息。 分類判決：處理第一步獲取的信息，完成特征信息與目標參數間的相互關聯的判決 圖像識別方法：統計方法：以數學的決策理論為基礎， 建立統計學識別模型，通過對圖像大量統計分析， 找出規律性認識，抽出反映圖像本質特點的特征進行識別。句法模式識別方法：

19、 從圖像的結構特性出發分析、識別、描述圖像。統計法未考慮圖像結構，句法模式未考慮環境中的噪聲干擾，兩者結合更好。從識別邏輯觀點看：組合式（全部特征抽出進行判斷），順序式（每抽一次特征，進行 判斷）人臉圖像識別過程：面相檢測：在動態的場景與復雜的背景中 判斷是否存在面相并分離出面相；跟蹤：是指對被檢測到的 面相進行動態目標跟蹤；識別：是對被檢測到的 面相進行身份確認和 在面相庫中進行目標搜索。手寫字體識別【手寫文字的聯機識別主要解決將輸入數據識別并轉換成字符或詞句，然后存儲顯示，或者加以解釋和執行。卜|*詞典語法庫手寫字識別解釋器執行單元壬73基于手寫字識別的人機交互過程脫機（手寫字符/單詞識別處理）/聯機（數據采集與預處理技術、筆記分割技術、特征 提取、建模以及匹配技術、后處理技術）手寫體識別】數字墨水：在tabletPC上書寫或繪制的任何內容。墨跡把書寫速度、壓力、筆勢等信息轉化 為數