1、多媒體技術基礎 第九章 多模態人機交互技術 從最早的手工操作到命令語言，再到廣泛使用的圖形用戶界面，操作的直觀性有了明顯的改善通過本章學習，可以了解（或掌握）多模態人機交互技術的概念科學計算可視化信息可視化虛擬現實技術9.1人機交互技術概述9.1基本概念 人機交互式研究人、計算機以及它們相互影響的技術。 人機界面是計算機與人之間通信和對話的接口，是計算機系統的重要組成部分。9.1.人機界面的發展歷史1.手工操作2.命令行界面3.圖形用戶界面WIMP界面，即以窗口、圖表、菜單和指點裝置為基礎的人機界面技術9.1.3人機交互的發展趨勢 目前，人機交互技術正朝著以人為中心，減少人機隔閡，建立和諧的人

2、機環境這一目標發展。 多模態人機交互技術所涉及的研究范圍包括感知模型，語音識別，手寫識別，姿勢識別，表情識別，眼動跟蹤，自然語言理解，觸覺感知與表示，多模態通道信息融合，高性能視覺和聽覺處理平臺等。 1.采用多模態交互可以充分利用各種模態的特性，完成其在功能上的劃分和互補。2.使用多模態可以提高交互方式的靈活性。3.多模態并非多個模態的集合，而是它們之間的整合。也就是說，將手勢、語音與其他模態結合起來，采用具體的整合模型或算法，得到高一級的語義特性并且實現特定的應用。 9.2.2多模態人機交互的特點1）使用多個感覺和動作模態2）三維的和直接操縱的要求3）允許模糊交互4）交互雙向性5）交互的隱含

3、性 它所要達到的目標自然性、高效性和兼容性9.2.3多模態整合1.多模態整合實例1）手的運動軌跡跟蹤與語音識別的整合（1）手勢（2）直接操縱（3）用聲音輔助的手勢表達形狀2）語音識別與唇讀的整合3）其他9.3可視化 可視化是指充分利用人們對可是模式快速識別的自然能力，將數據信息和知識轉化為一種視覺形成的過程。 有效的可是畫界面使得人們能夠觀察、操縱、瀏覽、探索、過濾、發現、理解大規模數據能夠方便的與之進行交互，從而可以有效地發現隱藏在內部的特征和規律。9.3.1科學計算可視化 科學計算可視化是指運用計算機圖形學和圖像處理技術，將科學計算過程中及計算結果的數據轉換為圖像及圖像在屏幕上顯示出來，進

4、行交互處理的理論、方法和技術。 科學計算可視化技術的主要特點歸納為如下三點。交互性、多維性和可視性。9.3.2信息可視化 目前可視化在以下四個方面發揮著重要作用：1）層次信息的可視化2）多位信息可視化3）文檔（文本）信息可視化4）Web可視化9.4虛擬現實 虛擬現實（VR,Virtual Reality）是一計算機技術為核心構造的一個虛擬的世界，但在人們的感覺中，他卻好像真實的世界一樣。9.4.1虛擬現實技術的基本概念 通常是指用頭盔顯示器和傳感手套等一系列新型交互設備構造的一種計算機軟硬件環境。人們通過這些設施以自然的技能向計算機傳送各種命令，得到計算機對用戶的視覺、聽覺及觸覺等多種感官的反饋。隨著人們動作的變化，這些感官也隨之改變。9.4.2虛擬現實的特性 三個 “I” 這就是沉浸Immersion、交互Interaction和想象Imagination。 首先，要是參與者有真實的體驗。 第二，系統要能提供方便的，豐富的，主要是基于自然技能的人機交互手段。 第三，因為虛擬現實不僅僅是一種媒體或用戶的高端接口，而且還是針對某個特定領域、解決某些問題的應用。9.4.3虛擬現實系統的分類1.非沉浸類虛擬現實系統1）全景視頻系統2）基于座艙的系統3）桌面虛擬現實CAD