1、山東大學(xué)計算機學(xué)院Lecture 42內(nèi)容提要n人機交互輸入模式n基本交互技術(shù)n圖形交互技術(shù)n筆交互技術(shù)Lecture 434.1人機交互輸入模式 n由于輸入設(shè)備是多種多樣的，而且對一個應(yīng)用程序而言，可以有多個輸入設(shè)備，同一個設(shè)備又可能為多個任務(wù)服務(wù)，這就要求對輸入過程的處理要有合理的模式。q請求模式(Request Mode)q采樣模式（Sample Mode）q事件模式（Event Mode）Lecture 444.1人機交互輸入模式 n請求模式q在請求模式下，輸入設(shè)備的啟動是在應(yīng)用程序中設(shè)置的。應(yīng)用程序執(zhí)行過程中需要輸入數(shù)據(jù)時，暫停程序的執(zhí)行，直到從輸入設(shè)備接受到請求的輸入數(shù)據(jù)后，才繼續(xù)

2、執(zhí)行程序。程序工作，輸入設(shè)備等待程序請求遇到請求指令輸入設(shè)備工作，程序等待接收數(shù)據(jù)請求滿足圖4-1 請求模式的工作過程4.1人機交互輸入模式 n采樣模式q輸入設(shè)備和應(yīng)用程序獨立地工作。輸入設(shè)備連續(xù)不斷地把信息輸入進來，信息的輸入和應(yīng)用程序中的輸入命令無關(guān)。應(yīng)用程序在處理其它數(shù)據(jù)的同時，輸入設(shè)備也在工作，新的輸入數(shù)據(jù)替換以前的輸入數(shù)據(jù)。當(dāng)應(yīng)用程序遇到取樣命令時，讀取當(dāng)前保存的輸入設(shè)備數(shù)據(jù)。q優(yōu)點：這種模式對連續(xù)的信息流輸入比較方便，也可同時處理多個輸入設(shè)備的輸入信息。q缺點：當(dāng)應(yīng)用程序的處理時間較長時，可能會失掉某些輸入信息。程序工作數(shù)據(jù)采樣數(shù)據(jù)生成數(shù)據(jù)緩存區(qū)輸入設(shè)備工作圖4-2 采樣模式的工作

3、過程4.1人機交互輸入模式 n事件模式q輸入設(shè)備和程序并行工作。輸入設(shè)備把數(shù)據(jù)保存到一個輸入隊列，也稱為事件隊列，所有的輸入數(shù)據(jù)都保存起來，不會遺失。應(yīng)用程序隨時可以檢查這個事件隊列，處理隊列中的事件，或刪除隊列中的事件。應(yīng)用程序事件檢查事件調(diào)用過程模塊處理類型1事件的過程處理類型n事件的過程輸入設(shè)備圖4-3 事件模式4.2 基本交互技術(shù)n定位q確定平面或空間的一個點的坐標(biāo)，是交互中最基本的輸入技術(shù)之一。q直接定位：用定位設(shè)備直接指定某個對象的位置，是一種精確定位方式。q間接定位：通過定位設(shè)備的運動控制屏幕上的映射光標(biāo)進行定位，是一種非精確定位方式。其允許指定的點位于一個坐標(biāo)范圍內(nèi)，一般用鼠標(biāo)

4、等指點設(shè)備配合光標(biāo)來實現(xiàn)。圖4-4 3DS Max中的精確定位4.2 基本交互技術(shù)n筆劃q筆劃輸入用于輸入一組順序的坐標(biāo)點。它相當(dāng)于多次調(diào)用定位輸入，輸入的一組點常用于顯示折線或作為曲線的控制點。4.2 基本交互技術(shù)n定值q定值（或數(shù)值）輸入用于設(shè)置物體旋轉(zhuǎn)角度、縮放比例因子等4.2 基本交互技術(shù)n選擇q選擇是在某個選擇集中選出一個元素，通過注視、指點或接觸一個對象，使對象成為后續(xù)行為的焦點，是操作對象時不可缺少的一部分。n鍵盤 Ctrl+An鼠標(biāo)圖4-6 選擇4.2 基本交互技術(shù)n字符串4.3圖形交互技術(shù)nWIMP界面由窗口(Windows)、圖標(biāo)(Icons)、菜單(Menus)、指點設(shè)備

5、(Pointing Device)四位一體，形成桌面(Desktop)4.3圖形交互技術(shù)n幾何約束q幾何約束可以用于對圖形的方向、對齊方式等進行規(guī)定和校準(zhǔn)。q對定位的約束（網(wǎng)格吸附） 圖4-9 Adobe Photoshop 網(wǎng)格線4.3圖形交互技術(shù)n幾何約束q方向約束n例如要繪的垂直或水平方向的線，當(dāng)給定的起點和終點連線和水平線的交角小于45時，便可繪出一條水平線，否則就繪垂直線。繪制印刷線路板、管網(wǎng)圖或地籍圖時非常有用。n在Word繪圖中，通過鎖定縱橫比，在拖動線段一個端點時，線段只是沿原來方向放縮4.3圖形交互技術(shù)n引力場q引力場也可以看作是一種定位約束，通過在特定圖素（如直線段）周圍假

6、想有一個區(qū)域，當(dāng)光標(biāo)中心落在這個區(qū)域內(nèi)時，就自動地被直線上最近的一個點所代替，就好像一個質(zhì)點進入了直線周圍的引力場，被吸引到這條直線上去一樣。q引力場的大小要適中，太小了不易進入引力區(qū)，太大了線和線的引力區(qū)相交，光標(biāo)在進入引力區(qū)相交部分時可能會被吸引到不希望選的線段上去，增大誤接的概率。 4.3圖形交互技術(shù)n拖動q要把一個對象移動到一個新的位置時，如果我們不是簡單地用光標(biāo)指定新位置的一個點，而是當(dāng)光標(biāo)移動時拖動著被移動的對象，這樣會使用戶感到更直觀，并可使對象放置的位置更恰當(dāng)。q圖形模式和圖像模式4.3圖形交互技術(shù)n橡皮筋技術(shù)q被拖動對象的形狀和位置隨著光標(biāo)位置的不同而變化。q不斷地進行畫圖擦

7、除畫圖的過程4.3圖形交互技術(shù)n操作柄技術(shù)q可以用來對圖形對象進行縮放、旋轉(zhuǎn)、錯切等幾何變換。先選擇要處理的圖形對象，該圖形對象的周圍會出現(xiàn)操作柄，移動或旋轉(zhuǎn)操作柄就可以實現(xiàn)相應(yīng)的變換。4.3圖形交互技術(shù)n三維交互技術(shù)q面臨問題n三維交互技術(shù)采用六自由度輸入設(shè)備。所謂六自由度，指沿三維空間X、Y、Z軸平移和繞X、Y、Z軸旋轉(zhuǎn)，而現(xiàn)在流行的用于桌面型圖形界面的交互設(shè)備，如鼠標(biāo)、軌跡球、觸摸屏等只有兩個自由度(沿平面X、Y軸平移)。n窗口、菜單、圖符和傳統(tǒng)的二維光標(biāo)在三維交互環(huán)境中會破壞空間感，用戶難以區(qū)分屏幕上光標(biāo)選擇到對象的深度值和其他顯示對象的深度值，使交互過程非常不自然。三維交互技術(shù)n直接

8、操作q三維光標(biāo)必須有深度感，即必須考慮光標(biāo)與觀察者距離，離觀察者近的時候較大，離觀察者遠的時候較小。q為保持三維用戶界面的空間感，光標(biāo)在遇到物體時不能進入到或穿過物體內(nèi)部。q為了增加額外的深度線索，輔助三維對象的選擇，可以采用半透明三維光標(biāo)。q三維光標(biāo)可以是人手的三維模型圖4-17 虛擬手三維交互技術(shù)n三維Widgetsq三維交互界面中的一些小工具n三維空間中漂浮的菜單、用于拾取物體的手的三維圖標(biāo)、平移和旋轉(zhuǎn)指示器等。q1992年美國Brown大學(xué)計算機系提出三維Widget設(shè)計原則n三維Widget的幾何形狀應(yīng)能表示其用途（eg:一個用來扭曲物體的Widget，最好本身就是一個扭曲的物體）n

9、適當(dāng)選擇Widget控制的自由度由于三維空間有六個自由度，有時會使三維交互操作變得過于復(fù)雜，因此在用戶使用某種Widget時，可以固定或者自動計算某些自由度的值n根據(jù)三維用戶界面的用途確定Widget的功能。例如，用于藝術(shù)和娛樂的三維用戶界面的Widget，只要能夠完成使畫面看起來像的操作就可以了，而用于工業(yè)設(shè)計和制造的用戶界面，則必須保證交互操作參數(shù)的精確性。三維交互技術(shù)n三視圖輸入q用二維輸入設(shè)備在一定程度上實現(xiàn)三維的輸入。n如果輸入一個三維點，只要在兩個視圖上把點的對應(yīng)位置指定后便唯一確定了三維空間中的一個點；n把直線段上兩端點在三視圖上輸入后便可決定三維空間的一條直線；n把一個面上的各

10、頂點在三視圖上輸入后，也唯一確定了三維空間中的一個面；n如果把一個多面體上的各面均用上述方法輸入， 也就在三維空間中輸入了一個多面體。4.4 語音交互技術(shù)n語音合成n語音識別q計算機通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本文件或命令的技術(shù)，其所涉及的領(lǐng)域包括：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等。q目前主流的語音識別技術(shù)是基于統(tǒng)計的模式識別的基本理論。n語音識別系統(tǒng)大致可分為語音特征提取，聲學(xué)模型與模式匹配，以及語言模型與語義理解語音識別系統(tǒng)n1. 語音特征提取q輸入的模擬語音信號首先要進行預(yù)處理，包括預(yù)濾波、采樣和量化、加窗、端點檢測、預(yù)加重等。q基于語音幀

11、的特征提取方法：將語音信號分為有重疊的若干幀，對每一幀提取語音特征。語音識別系統(tǒng)n2. 聲學(xué)模型與模式匹配q聲學(xué)模型對應(yīng)于語音到音節(jié)概率的計算。在識別時將輸入的語音特征同聲學(xué)模型進行匹配與比較，得到最佳的識別結(jié)果q目前采用的最廣泛的建模技術(shù)是隱馬爾科夫模型HMM建模和上下文相關(guān)建模n隱馬爾科夫模型HMM建模qHMM刻畫語音信號需作出兩個假設(shè)n一是內(nèi)部狀態(tài)的轉(zhuǎn)移只與上一狀態(tài)有關(guān)n另一是輸出值只與當(dāng)前狀態(tài)（或當(dāng)前的狀態(tài)轉(zhuǎn)移）有關(guān)q語音識別中使用HMM通常是用從左向右單向、帶自環(huán)、帶跨越的拓撲結(jié)構(gòu)來對識別基元建模，一個音素就是一個三至五狀態(tài)的HMM，一個詞就是構(gòu)成詞的多個音素的HMM串行起來構(gòu)成的H

12、MM，而連續(xù)語音識別的整個模型就是詞和靜音組合起來的HMM。n上下文相關(guān)建模方法q建模時考慮了協(xié)同發(fā)音的影響q協(xié)同發(fā)音是指一個音受前后相鄰音的影響而發(fā)生變化，從發(fā)聲機理上看就是人的發(fā)聲器官在一個音轉(zhuǎn)向另一個音時只能逐漸變化，從而使得后一個音的頻譜與其他條件下的頻譜產(chǎn)生差異。q英語的上下文相關(guān)建模通常以音素為基元語音識別系統(tǒng)n3. 語言模型與語義理解q語言模型計算音節(jié)到字的概率。n規(guī)則模型n統(tǒng)計模型q用概率統(tǒng)計的方法來揭示語言單位內(nèi)在的統(tǒng)計規(guī)律，其中N-Gram模型簡單有效，被廣泛使用。qN-Gram模型基于這樣一種假設(shè)，第n個詞的出現(xiàn)只與前面n-1個詞相關(guān)，而與其它任何詞都不相關(guān)，整句的概率就

13、是各個詞出現(xiàn)概率的乘積。這些概率可以通過直接從語料中統(tǒng)計n個詞同時出現(xiàn)的次數(shù)得到。常用的是二元的Bi-Gram和三元的Tri-Gram。微軟語音軟件開發(fā)包nMicrosoft Speech SDKqSpeech API（SAPI）nAPI for Text-to-Speech把文本轉(zhuǎn)化為語音輸出q金山詞霸的單詞朗讀功能ISpVoice * pVoice = NULL;HRESULT hr = CoCreateInstance(CLSID_SpVoice, NULL, CLSCTX_ALL, IID_ISpVoice, (void *)&pVoice);pVoice-Speak(LHel

14、lo world, 0, NULL);nAPI for Speech Recognition語音識別應(yīng)用程序接口,聲波轉(zhuǎn)換成文字4.5筆交互技術(shù)n筆式用戶界面，中國科學(xué)院軟件研究所戴國忠研究員等提出了PIBG 范式qPIBG范式:P(Physical object)、IB(Icons,Buttons)、G(Gesture)qWIMP范式:W(windows)、I M (icons，menus)、P(pointing systems) 相對應(yīng)。4.5.1 手寫識別技術(shù)n脫機識別：機器對于已經(jīng)寫好或印刷好的靜態(tài)的語言文本圖像的識別；n聯(lián)機識別：用筆在輸入板上寫：用戶一邊寫，機器一邊進行識別，可實時

15、人機交互。n手寫體識別的方法和識別率取決于對手寫約束的層次，這些約束主要是手寫的類型、用戶的數(shù)量、詞匯量的大小以及空間的布局。聯(lián)機手寫識別n系統(tǒng)通過記錄文字圖像抬筆、落筆、筆跡上各像素的空間位置，以及各筆段之間的時間關(guān)系等信息，對這些信息進行處理。n在處理過程中，系統(tǒng)以一定的規(guī)則提取信息特征，再由識別模塊將信息特征與識別庫的特征進行比較，加以識別。（筆輸入的識別特征庫是基于許多人習(xí)慣的書寫筆順的統(tǒng)計特征建立的。）n最后轉(zhuǎn)化為計算機所使用的文字代碼。漢字手寫輸入板預(yù)處理模式表達（特征提取）判別（分類或句法分析）字典（特征模板集合或句法規(guī)則集合）漢字代碼脫機手寫識別n困難：q脫機手寫識別得到的描述

16、則是點陣圖像，要得到筆段的點陣通常需要細化運算。細化會損失一些信息，并且不可能得到時間順序信息。q脫機識別中，筆畫與筆畫之間經(jīng)常粘連，很難拆分，而且筆段經(jīng)過與另一筆段交叉分成兩段后，也難以分清是否應(yīng)該連起來。n結(jié)構(gòu)識別、統(tǒng)計識別以及神經(jīng)網(wǎng)絡(luò)方法脫機手寫識別n結(jié)構(gòu)識別方法q漢字的組成結(jié)構(gòu):由筆劃(點、橫、豎、撇、捺等)、偏旁、部首構(gòu)成q通過把復(fù)雜的漢字模式分解為簡單的子模式直至基本模式元素，對子模式的判定以及基于符號運算的匹配算法，實現(xiàn)對復(fù)雜模式的識別。q優(yōu)點是區(qū)分相似字的能力強，缺點是抗干擾能力差。脫機手寫識別n統(tǒng)計識別方法q將漢字看為一個整體，其所有的特征是從整體上經(jīng)過大量的統(tǒng)計而得到的，然

17、后按照一定準(zhǔn)則所確定的決策函數(shù)進行分類判決。q統(tǒng)計識別的特點是抗干擾性強，缺點是細分能力較弱。n神經(jīng)網(wǎng)絡(luò)q具有學(xué)習(xí)能力和快速并行實現(xiàn)的特點，因此可以通過神經(jīng)網(wǎng)絡(luò)分類器的推廣能力準(zhǔn)則和特征提取器的有效特征提取準(zhǔn)則，對手寫字符進行識別。數(shù)字墨水技術(shù)n通過三階貝塞爾曲線來描述筆輸入的筆跡，存儲方式使得數(shù)字墨水文件很小，從而可以更有效地進行存儲。n數(shù)字墨水的處理包括數(shù)字墨水的表示、壓縮和顯示，智能的墨水分析技術(shù)，墨水標(biāo)記和注解技術(shù)，墨水的智能操作以及墨水存儲和搜索等一系列有關(guān)技術(shù)。q墨水解析技術(shù)可以將筆輸入的文字串解析成單字，從而將復(fù)雜的語句級手寫識別化繁為簡，分解成語句解析和單字識別兩個部分。n微軟已實現(xiàn)了數(shù)字墨水技術(shù)對英文、德文、法文、韓文、日文、簡體和繁體中文等語言的支持。nWindows XP