1、第六章 人機交互與人機界面人機交互定義 人機交互（human computer interaction）是指用戶與計算機系統之間的通信，它是人與計算機之間各種符號和動作的雙向信息交換。這里,“交互”定義為一種通信，即信息交換，并且是一種雙向信息交換.可由人向計算機輸入信息，也可由計算機向用戶反饋信息。本章討論內容 本章介紹人機交互所涉及的基本問題,主要討論基于圖形設計與編輯的應用開發中所用到的人機交互技術：基本圖形輸入設備和基本交互任務人機交互輸入模式常見的輔助交互技術的實現等第六章人機交互與人機界面6.1節 基本圖形輸入設備和基本交互任務6.1.1 基本的圖形輸入設備1. 定位設備(Loca

2、tor) 2. 筆畫設備（Stroke）3. 定值設備（Valuator）4. 選擇設備（Choice）5. 拾取設備（Pick）6. 字符串設備（String)1. 定位設備(Locator) 定位設備用于指定用戶空間的一個位置. 如指定一個圓的圓心等。 輸入方式包括直接或間接在屏幕上輸入,設置數值坐標等。間接輸入設備:1)最普通的定位設備:鼠標及屏幕上的光標。2)操縱桿、數字化儀及按鍵盤上的方向鍵也可以控制光標的移動。直接輸入設備光筆、觸摸屏2. 筆畫設備（Stroke）筆畫設備用于指定用戶空間中一組有序點的位置如指定一條折線的頂點組、指定一條自由曲線的控制點等。輸入方式與定位設備的輸入方

3、式一致。物理設備許多用于產生定位輸入的物理設備均可以用作筆畫設備，如鼠標、軌跡球和圖形輸入板等。 3. 定值設備（Valuator）定值設備為應用程序輸入一個值.如在旋轉某一對象時輸入一個旋轉角度、縮放對象時輸入一個比例因子以及輸入文字高度、字體大小比例因子等。輸入方式直接輸入數值通過字符串取值通過比例尺輸入執行上下記數控制命令等。物理設備包括旋鈕、鍵盤、數字化儀、鼠標、方向鍵、編程功能鍵等 4. 選擇設備（Choice）選擇設備為應用程序在多個選項中選定一項.如選擇功能或圖形元素等。輸入方式包括直接或間接在屏幕上進行選擇字符串選擇時間掃描手寫輸入聲音輸入等物理設備包括光筆、觸摸屏、數字化儀、

4、鼠標、操縱桿、跟蹤球,字符串輸入設備、編程功能鍵、聲音識別儀等。 5拾取設備（Pick）拾取設備在處理的模型中選取一個對象，從而為應用型操作確定目標。輸入方式:直接在屏幕上選取時間掃描字符串選取。物理設備包括各種定位設備、編程功能鍵、字符串輸入設備等。 6字符串設備（String)字符串設備向應用程序輸入字符串.如為某對象確定名字、為某圖紙輸入加注文字等。輸入方式:鍵盤輸入手寫輸入聲音輸入菜單輸入物理設備有字母鍵盤、數字化儀、光筆、聲音 識別儀、觸壓板等。三維交互設備 PHIGS除了將圖形輸入設備分為以上六類之外，還支持三維輸入設備，以便使三維空間定位、拾取等操作更為方便。如三維位置測試儀、數

5、據手套、數據頭盔的三維定位等。 一些人機交互設備3維鼠標力反饋設備3維顯示器6.1.2 基本交互任務1. 定位2. 筆畫3. 定值4. 選擇 5. 拾取6. 字符串1. 定位定位是確定平面一點(x, y)或空間一點(x, y, z)的坐標。直接定位直接定位是用定位設備直接指定某個點的位置,如鍵盤輸入。直接定位方法可以準確地給點定位.間接定位間接定位指通過定位設備的運動控制屏幕上的光標進行定位。如在移動鼠標時，根據鼠標移動的相對距離去控制屏幕上光標的移動。定位 另外，使用數字化儀不僅可像鼠標那樣產生輸入點的相對坐標，還可輸入點的絕對坐標。如果我們要輸入一張圖紙，用數字化儀輸入圖上各點的絕對坐標是

6、最合適的方法。2. 筆畫筆畫輸入用于輸入一組坐標點，相當于多次調用定位輸入.輸入的一組點常用于顯示折線或作為曲線的控制點。筆畫設備鼠標、軌跡球、游戲棒連續移 動的信號經轉換成為一組坐標值。圖形輸入板的連續模式可通過按 鍵激活。當光標在圖形輸入板表 面上移動時，就產生一組坐標值。3. 定值 定值（或數值）輸入用于設置物體旋轉角度、縮放比例因子等。它是要在給定的數字范圍內輸入一個值。可用鍵盤鍵入數值.可用軟件的方法在屏幕上繪制一刻度尺或比例尺，用戶可用定位設備控制光標在尺子上移動實現數值的輸入。用刻度盤實現數值輸入的原理也一樣，操作員控制從圓心出發的線段繞圓心旋轉，根據顯示的角度讀數或比例數據來定

7、值.如果要輸入一個精確的數，最好還是用鍵盤輸入。4. 選擇選擇是在某選擇集中選出一個元素，它可以用于指定命令，確定操作對象或選定屬性等。選擇功能可用功能鍵.可用鼠標移動光標到要選圖 元附近的位置，按下鼠標的 按鈕，通過軟件選擇距光標 最近的圖元。畫圖中的選項菜單功能使用最普遍，也是非常重要的一種交互方法。使用菜單可改善應用系統用戶接口的友好性。4. 選擇 對話框和鍵盤上的按鍵也可提供選擇功能。對話框的內容極豐富，在對話框中通常用于選擇功能的是選擇開關及radio按鈕（單選按鈕，以小圓框打點表示被選中）。鍵盤選擇也極為簡單，如擊數字鍵“1”表示使用綠色繪制，“2”表示使用藍色繪制等 .5. 拾取

8、 拾取的功能是選擇圖形對象，用于選擇場景中即將進行變換或編輯的部分。拾取一個對象的方法有：指定名稱法:通過指定欲拾取對象的名稱實現.特征點法:選擇時讓圖形的特征點（如線段的端點，圓心等）以強光醒目顯示,來拾取對象.邊界盒法:對每一個子圖預先求一個邊界盒或比邊界盒大一點的邊界盒。分類法:分別將點,折線,弧等在有關按鍵的控制下進行拾取。 6. 字符串鍵盤是目前輸入字符串最常用的設備.寫字板輸入字符曾經也很流行書寫時筆畫的次序可被系統記錄下來，因而比脫機掃描輸入識別具 有更多信息，具有更高的識別率。語音輸入也是字符串輸入以及功能選擇的一種輸入方法.語音輸入需要使用語音識別技術。 第6章人機交互與人機

9、界面6.2 人機交互輸入模式現在常用的三種基本交互模式請求模式(request mode)樣本模式（sample mode）事件模式（event mode）請求模式 在請求模式下，輸入設備的初始化是在應用程序中設置的.即通過輸入設置命令（或語句）,對相應的設備設置所需要的輸入模式后,該設備才能作相應的輸入處理。在請求命令中要指定是哪個應用程序調用的和調用的是哪個輸入設備。當程序運行時，輸入設備處于等待狀態，等待程序的請求.當程序運行到request語句時就向輸入設備提出輸入請求，同時程序停止運行，等待輸入設備輸入數據。輸入設備立即進入工作狀態，直到請求滿足之后，程序才繼續運行。輸入設備重新處于

10、等待狀態.因此，在請求方式下，程序和輸入設備輪流處于工作狀態和等待狀態，由程序支配輸入設備的啟動。 程序工作，輸入設備等待程序請求程序工作，輸入設備等待程序請求遇到請求指令（遇到請求指令（request)輸入設備工作，程序等待接收數據輸入設備工作，程序等待接收數據請求滿足請求滿足圖圖6.3 請求模式的工作過程請求模式的工作過程請求方式的工作過程 當把一臺或多臺輸入設備定義為樣本模式后，這些設備會連續不斷地把信息輸入進來，而不必等待應用程序的輸入語句，即信息的輸入和應用程序中的輸入命令無關。當應用程序遇到取樣命令時，就把相應物理設備此時的值作為取樣數值.樣本模式樣本模式優點該模式不像請求模式那樣

11、要求用戶有一明顯的動作，它對連續的信息流輸入比較方便，也可同時處理多個輸入設備的輸入信息。缺點當處理某一種輸入耗費的時間較長時，可能會失掉某些輸入信息。程序工作程序工作數據采樣數據采樣數據生成數據生成數據緩存區數據緩存區輸入設備工作輸入設備工作圖圖6.4 樣本模式的工作過程樣本模式的工作過程在取樣輸入模式的工作過程中，程序和輸入設備同時運行.輸入設備不斷地產生數據，并把數據輸入數據緩存區，數據緩存區的內容不斷刷新。程序在運行時若遇到采樣語句，就到數據緩存區中讀取數據。這樣，程序所取得的就是最新的數據。 取樣方式的工作過程事件模式 當設備設置成事件模式后，輸入設備和程序并行工作。所有被設置成事件

12、方式的輸入數據（或事件）都被存放在一個事件隊列中，該隊列是以事件發生的次序排列的。 當用戶在輸入設備上完成一個輸入動作(如按一下按鈕)便產生一個事件，輸入的信息及該設備的編號等便被存放到事件隊列中。不同的應用程序可到隊列中來查詢和提取與之有關的事件。 在事件模式下,輸入設備和程序獨立運行。輸入設備所產生的數據被組織成事件節點，插入事件隊列中等待程序的處理。程序運行到事件處理語句時，就從事件隊列中取出隊首事件進行處理。如果事件隊列為空，程序則等待一定的時間片，等待事件的發生。事件模式的輸入過程6.2.4 輸入方式的混合使用 現代的計算機圖形輸入系統往往不是單一地使用一種輸入方式，而是多種輸入方式

13、的混合使用，即一個應用程序可以使用多種控制方式,使用幾種不同的輸入設備. 第6章人機交互與人機界面6.3 常見的輔助交互技術 6.3 常見輔助交互技術 幾何約束 拖拽 三維輸入定位約束 定位約束技術在屏幕上定義一個可見或不可見的網格.網格線是等間距的水平線和垂直線，其交點為網格點。在使用網格時，任何方式輸入的點都將被定位到離該點最近的網格點上。假設定義網格線為 x=ai,y=bj i,j=0,1,2,n， 設輸入點的坐標為（x, y），則離它最近的網格點的坐標為：(a(int(x+a/2)/a),b(int(y+b/2)/b)該技術用于繪制水平或垂直的線段。繪制時,若終點和起點的連線與水平線的

14、夾角小于45，則繪出一條水平線（如下圖）,否則繪制垂直線。避免人眼或定位設備帶來的誤差，可以應用于印刷線路板或大規模集成電路的設計。2. 方向約束可以看做是一種定位約束，用光標進行選圖操作時，為了使光標可以較容易地定位選擇區域中的圖形，可以將圖形的選擇區域適當變大，這就是引力場方法。例如，在每條線段的周圍假想有一個區域，光標中心落在這個區域內時，就自動地被直線上離光標最近的一點所代替，如同一個質點進入直線周圍的引力場后，被吸引到這條直線上去一樣。注意引力場區域大小的選擇要適當。 圖6.7 引力場 3. 引力場6.3.2 拖 拽 要把一個對象放到新的位置.如果光標移動的同時,對象也跟著光標移動.

15、會使用戶感覺更直觀，從而使得對象的定位更為精確.圖6.8 拖拽圖元到新的位置 在圖形模式下在圖形模式下將一個圖形由一個位置移動到另一個位置,在移動的軌跡上按特定的象素操作模式(如異或方式)進行圖形的重新繪制.這樣,拖動的圖形不會破壞它掃過軌跡上的圖形。在圖像模式下在圖像模式下當一個圖形由一個位置移動到一個新的位置時,實際上是進行了圖像的整體移動.即首先保存目的坐標處拖動圖像大小范圍的屏幕圖像，然后將被拖動的圖像移動到該位置，當拖動圖像離開該位置而移動到下一個新位置時，再恢復該位置處保存的屏幕圖像。 圖形模式示例(點右鍵選擇播放)圖像模式示例1 (點右鍵選擇播放)圖像模式示例2 (點右鍵選擇播放

16、)注意,示例需安裝Flash查件,方能正常播放. 拖拽的另一種形式不同的只是拖動對象的形狀隨著光標位置的不同而變化比較容易找到通過一點和一個圓相切的直線的位置。橡筋的形狀可以是任意的，可以是矩形、圓、圓弧、自由曲線，也可以是更復雜的圖形。“橡皮筋”技術橡皮筋演示(點右鍵選擇播放) 拖拽技術是當前人機交互中普遍使用的技術，它可以使用戶的操作更直觀，定位更精確.拖動有時耗費很大，尤其當圖像很大或圖形很復雜時，拖拽可能變的很慢。 6.3.3 在三視圖上作三維輸入 輸入一個立體圖時，常常是將點、線、面單獨輸入的。而對一個點、一條線或一個面來說，只要在三視圖上給出足夠的信息，總是可以唯一地確定它在三維空

17、間中的對應圖形。例如輸入一個點時，只要在任意兩個視圖中確定點的位置,便可唯一地確定三維空間中的一個點的坐標（x，y，z）.6.3.3 在三視圖上作三維輸入 在三視圖上輸入直線段上兩端點便確定了三維空間的一條直線.把一個面上的各頂點在三視圖上輸入后，就唯一地確定了三維空間中的一個面。如果把一個多面體的各面均用上述方法輸入，也就在三維空間中輸入了一個多面體。用三視圖來輸入立體圖是目前一種主要的輸入手段.yzyABCABC ABC 圖圖6.10 用三視圖輸入三維圖形用三視圖輸入三維圖形xzx 一個立體圖形的輸入,可以由繁到簡,分解為一步步構造的過程.1. 要生成6.13所示的圖形，可以先生成圖6.1

18、1所示的二維半圖形.再在平面ABCD上用推移方法拉伸出一個柱體來。2. 為了確定平面ABCD，可用交互的辦法指定A、B、C不共線的三點，也可以通過指定平面上一點和平面法向來確定。6.3.4 結構平面 B CDA B CD A B CD6.116.13A6.3.5 新的交互技術 1. 視線跟蹤 2. 手勢識別3. 語音識別識別手勢的手機新的交互技術4. 表情識別5. 自然語言理解6. 手寫識別第6章人機交互與人機界面6.4節 OpenGL中的交互式繪圖技術 OpenGL實例 粒子系統近視點遠視點OpenGL不僅可以繪制物體,還可以標記物體,以確定在指定區域上繪制了哪些物體并返回繪圖的信息。繪制物

19、體是在OpenGL缺省的繪圖模式下進行的，而標記物體和反饋繪圖信息則是在選擇模式和反饋模式下完成的。繪圖模式，選擇模式和反饋模式構成了OpenGL開發三維圖形應用程序的基礎。在繪圖模式下，物體的幾何參數，光照與材質參數，紋理參數等構成了交互程序的繪制基礎.選擇模式則為用戶提供了一種拾取物體的機制，因而成為交互式程序設計的重要方法。反饋模式將繪圖信息加以組織并返回給應用程序，成為程序設計的重要資料。6.4.1 6.4.1 選擇模式選擇模式 在OpenGL中，使用int glRenderMode（GLenum mode）來選擇不同的模式。其中m o d e 是 一 個 符 號 常 量 ， 可 以

20、是GL_RENDER,GL_SELECT,GL_FEEDBACK之一，默認的是GL_RENDER，也就是繪圖模式，GL_SELECT指定選擇模式，GL_FEEDBACK指定反饋模式。 選擇模式用來判斷哪些圖元將被繪制在窗口的某個區域內。選擇操作通過返回一個整型名稱數組來工作，這個數組存放了名稱堆棧當前的內容,這個數組由函數glSelectBuffer()來提供。 選擇模式選擇模式 一旦圖元與拾取區域相交，將有一個選擇命中產生.該命中記錄將被寫入函數glSelectBuffer提供的選擇數組中。拾取區域是gluPickMatrix()指定的。 當OpenGL處于選擇模式時，不以GL_SELECT

21、為參數調用glRenderMode()，可以退出選擇模式，這時glRenderMode()返回選中記錄的個數，這些記錄存放在glSelectBuffer()提供的數組中。 6.4.2反饋模式 信息反饋為程序設計提供了重要的運行資料。在反饋模式下，場景渲染的信息存入反饋數組中，不往屏幕輸出。 反饋數組中的每組數據均有一個標記，用以說明圖元的類型，接著是描述圖元的頂點坐標，顏色和紋理等相關數據。退出反饋模式時，這些數據就被寫入到反饋數組中。在應用反饋模式時，還可以插入一個標記。通過標記把一組數據與另一組數據分開來，以便于識別和處理。 1.確定反饋信息的類別和反饋數組。數組是存儲浮點值的數組,由gl

22、FeedbackBuffer()函數來完成；2.將glRenderMode()函數的參數設為GL_FEEDBACK，使OpenGL進入反饋模式。3.重新繪制物體,并按要求插入標記。重新繪制物體時,并不向幀緩存中寫入繪圖信息。在反饋數組中,每組數據均有一個標記,用以說明了這組反饋信息描述的是基本幾何對象還是像素數據。4.退出反饋模式，處理反饋數據。應用反饋模式的基本步驟第6章人機交互與人機界面 6.5 人機交互的發展 計算機所表現的信息除了文字、圖形外，還包括聲音、靜止圖像、動態圖像、動畫等。多媒體技術是將正文、聲音、圖形、靜止圖像、動態圖像等與計算集成在一起的技術。多媒體技術應用于計算機系統，將使人們得到更直觀的信息，從而簡化用戶的操作，擴展應用范圍。1. 多媒體技