CVRV2002

基于Web的分布式虛擬環境中的智能虛擬人研究

導師 張申生教授博士生 戴開宇論文摘要

在分布式虛擬環境中建立具有智能行為的虛擬人有著重要的意義。本文分析了分布式虛擬環境對智能虛擬人行為的要求。提出了一個虛擬人的體系結構。著重分析了其在動態環境下面向目標的行為選擇和實現方法，并給出其形式化描述。最后給出了基于VRML的參數化人物動作生成方法。我們應用該體系構造了一個基于Web的虛擬城市的導游人物，取得了很好的效果。10/28/2023分布式虛擬環境(1)虛擬現實概念

以模擬方式為使用者創造一個實時反映實體對象變化與相互作用的三維圖像世界,在視、聽、觸、嗅等感知行為的逼真體驗中,使參與者可以直接參與和探索虛擬對象在所處環境中的作用和變化，產生沉浸感

虛擬現實應有的特征（三I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現實與通常CAD系統所產生的模型是不一樣的，它不是一個靜態的世界，而是可以對使用者的輸入作出反應。虛擬現實環境可以通過控制與監視裝置影響或被使用者影響。想象（Imagination）:它的應用能解決在工程、醫學、軍事等方面的一些問題,這些應用是ＶＲ與設計者并行操作,為發揮它們的創造性而設計的,這極大地依賴于人類的想象力。10/28/2023分布式虛擬環境(2)分布式虛擬環境（DistributedVirtualEnvironment)

利用計算機構造的一個真實世界的模擬，地理上分布的用戶可以通過網絡共享該環境，并與周圍的環境以及在相互之間進行交互。共享虛擬環境涉及到虛擬現實、分布對象、網絡、人機交互、智能代理等領域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質是一種人機交互界面

分布式虛擬環境必須具有以下功能：能很好的可視模擬真實世界：三維模擬構造真實世界；支持多媒體內容；通過硬件給用戶觸覺等真實感受。數據共享：該環境中的數據可以在一定規則下被進入該用戶共享。用戶應該看到的是一個統一的視圖。因為用戶使用的系統可能是異構的，所以該系統應該具有平臺獨立性。交互性：用戶能通過一定的輸入設備與環境和其他用戶進行交互。10/28/2023分布式虛擬環境(3)分布式虛擬環境的應用軍事訓練

SIMNET&DIS

教育與培訓

pedagogicalagentSteve;JackMOO網絡會議與遠程協作

Sony公司基于DIVE的一個系統娛樂和虛擬社區

Cybertown(使用Blaxxun）電子商務

VRcommerceofIBM更加直觀可視化三維表達，可以定制更具有個性化

豐富的購買行為可以更好的表達用戶的購買習慣更具交互性顧客：共同商量購買一個商品，和其他顧客交流

獲得及時咨詢，幫助立刻確定購買行為

商家：及時對顧客咨詢幫助其確定購買行為；

得到顧客的反饋信息，調整商業策略10/28/2023分布式虛擬環境(4)分布式虛擬環境發展的原動力因特網技術的廣泛使用:Internet已經成為娛樂、商業等的重要媒體硬件基礎：網絡帶寬的提高（寬帶網的逐漸普及），個人計算機圖形處理能力的增強軟件基礎：虛擬現實技術和網絡技術的結合日益復雜的數據使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過網絡實現人與人之間實時、形象的交流10/28/2023分布式虛擬環境(5)著名分布式虛擬環境項目介紹DIVEhttp://www.sics.se/dive/由瑞典InstituteofComputerScience開發運行在SGIRIX,PC

NT4,PC

Linux/Mesa,SunSolaris,HPHPUX上核心代碼使用C語言寫成提供API和TCLScript接口1991年第一版本SIMNET&DIS美國DARPA(DefenseAdvancedResearchProjectsAgency)1983年開始的一項研究，交付官方使用于1990年，用于模擬組隊作戰環境特點：對象-事件模型，自治模擬節點，預測算法DIS網絡軟件架構的核心是協議數據單元（PDU）

沒有中央服務器,可擴展性好10/28/2023分布式虛擬環境(6)NPSNET-IV美國海軍研究生院開發具有關節可以靈活動作的人物，攀登以及下坡等能力。通過MBONE網絡互連支持空中以及地點的各種工具。與SIMNET/DIS兼容

PARADISE1993年斯坦福開始的一個項目集中解決帶寬問題，使用IP組播技術采用了AOI（興趣區域）服務器作為信息傳播中介。將實體根據狀態變化頻率分類，采用不同精度的預測算法10/28/2023分布式虛擬環境(7)基于Web和VRML的分布式虛擬環境

BlaxxunInteractiveInc/

1995年成立，總部在德國慕尼黑VirtualWorldsPlatform5.1多人服務器BlaxxuncontactVRML客戶端程序blaxxun3DJava解釋VRMLVnet/~jeffs/vnet/

VRML+Java

DeepMatrix

VRML+Java10/28/2023智能虛擬人（1）在分布式虛擬環境中構造智能虛擬人的意義

使得分布式虛擬環境具有更好的交互性和智能性。從而使得分布式虛擬環境內容更加豐富，也更加逼真，更具有吸引力。幫助實現構造分布式虛擬環境的目的，從而具有更加廣泛的應用，他們實質代表了一種更加形象的服務：教學培訓：虛擬教師，可以實時回答問題并做示范電子商務：導購人員，咨詢娛樂游戲：游戲中的參與者城市社區：導游提供了一種研究人類自身的方法（人工智能）。如：認知學等在建造物理機器人之前，可以在虛擬環境中進行通過建造虛擬機器人進行仿真。

10/28/2023智能虛擬人（2）相關項目介紹JACK賓夕法尼亞大學人物建模和仿真中心研發/生物醫學數據精確的人體模型，從人體測量的統計數據得到。該模型包括逼真的行為控制、符合真實人體比例的縮放、以及諸如障礙物回避等。

主要用于產品設計的人類工程方面的考慮。可以對虛擬產品設計通過虛擬人進行測試。由用戶給予各種約束和任務，JACK可對許多指標給出計算結果。編程接口：并行轉換網絡（PaT-Nets）狀態轉換圖.結點:執行體；邊:條件參數化動作表示方法（PAR）用于連接自然語言命令和動作執行動畫。JACK相關項目JackMOOJACK+LambdaMOO(byPavelCurtisatXeroxParc)SmartAgent.

10/28/2023智能虛擬人（3）Oz/afs//project/oz/web/oz.html卡耐基梅隆計算機學院研究開發三個側重點:believableagents,表達,高度交互性的劇情.對于believableagents來說，個性是最重要的，強調的是藝術的真實抽象，有感染力，讓人置信。而不是人工智能強調的能力。Oz強調建立特殊唯一的believableagent。提出了一個TOK架構來構造稱為BroadAgent的具有感知、行為、情緒、語言等廣泛能力的智能代理，由控制反應和面向目標的行為的Hap模塊、負責情緒和社會關系的Em模塊組成以及一個自然語言系統Glinda組成

Hap是系統的核心模塊，提供支持描述believableagent行為的機制。使用“反應型規劃”的策略來實現在復雜環境中的快速反應，而不追求代理的非常智能化

10/28/2023智能虛擬人（4）IMPROV/projects/improv/NewYork大學計算機系媒體研究實驗室的一個研究項目

一種行為動畫的方法。提供給了一個腳本語言用于構造實時的基于行為的人物動畫。行為可以以由創作者維護的內部狀態以及外部事件為條件。通過指定該虛擬人物在某種情形下采取各種行為的可能性，來使該人物具有個性。由具備高層能力的行為引擎和控制底層幾何變化的動畫引擎組成。高層使用腳本定義動作序列來表示一個行為，而底層通過定義幾何變化來構造原子行為。運用噪聲技術，產生隨機的微小的運動，使得人物活動更加真實。10/28/2023基于Web的分布式虛擬環境（1）VRML

它的出現主要是為了在Internet范圍內建立一個全球統一的基于網絡的三維標準.V1.0(1994)-->V2.0(1996)->VRML97(ISO)-V3.0(X3D)完整的三維建模語言:完整描述三維場景的物體、光、材料、環境特性和真實感效果分布處理方式:支持多個分布式文件的多種對象和機制,包括內聯式嵌入其他VRML文件,通過超鏈接指向其它文件三維交互功能:能夠檢測用戶和虛擬環境中幾何造型交互動作(如按動開關，碰撞檢測),用戶在虛擬環境中的行為以及時間推移。檢測器提供的這些信息通過由VRML定義的整個事件體系產生視覺或聽覺效果,給用戶造成和境界互動的交互式體驗平臺無關性多媒體集成（背景音樂,空間立體聲支持，電影貼圖）10/28/2023基于Web的分布式虛擬環境（2）

原型節點(PROTO)便于用戶利用已有節點定義面向對象的新的節點。使用腳本節點(Script)用戶可以定義更加復雜的執行邏輯，支持VrmlScript以及Java等語言。10/28/2023基于Web的分布式虛擬環境（3）EAI(ExternalAuthoringInterface)

EAI允許一個JavaApplet主要以三種方式訪問VRML的場景：

可以發送一個事件到VRML場景中節點的事件入口

可以收到VRML場景中節點的事件出口發出的最新值當VRML場景中節點的事件入口發出一個事件時，能得到一個通知，激活callback方法

VRML本身不具備網絡通訊能力，Java提供了該功能。Java彌補VRML計算，程序設計方面的不足，可以加入復雜的邏輯10/28/2023基于Web的分布式虛擬環境（4）圖1B/S結構的分布式虛擬環境框架Web服務器分布式虛擬環境服務器虛擬人物控制器

瀏覽器AppletVRML插件客戶端1服務器端客戶端2客戶端n。。。本地圖形數據庫拷貝用戶操作界面EAI全局數據庫及語義服務器下載

C-S結構（Java安全性）全局數據庫以及語義服務器，用于記錄全局幾何信息以及一些非幾何的語義信息

在網絡上傳輸的只是發生改變的幾何信息或者控制信息

虛擬人控制器決定虛擬場景中自主的虛擬人需要采取的行為

10/28/2023分布式虛擬環境中的智能虛擬人建模（1）

設計考慮虛擬人對周圍環境刺激的反應應該是迅速以及穩定的，傳統人工智能耗費時間的復雜的邏輯推理和符號處理并不適合于設計這樣的虛擬人。分布式環境中是一個動態環境，不斷有新的情況發生。虛擬人要能處理突發事件。該虛擬人應該具有比較廣泛的能力。與傳統人工智能針對某個方面進行深入分析達到很強的智能相比，該虛擬人具有綜合智能，盡管各個方面的智能由于一些限制還不是很強。但卻給人以一個整體的逼真的人物的感覺。

設計應該與前述基于Web的分布式虛擬環境對應。在每個客戶端的VRML世界中都包含了一個虛擬人的圖形拷貝，而行為決策和各種語義邏輯應該放在服務器端

10/28/2023分布式虛擬環境中的智能虛擬人建模（2）虛擬人物控制器用于感知各種外界以及內部的刺激，并根據局部信念、規劃以及行為庫、內部精神狀態進行行為規劃和實現。它包括兩個主要模塊：行為引擎主要用于做高層行為決策和分解，將分解到的最底層的原子行為傳給動作引擎，動作引擎將其語義轉化成幾何變化信息，并通過Socket封裝協議發送控制信息給客戶端的幾何修改器。

內部精神狀態

采用一組變量描述虛擬人的內部精神狀態，

規劃及行為庫是支持虛擬人控制器作出行為選擇的知識庫。規劃以及行為庫的設計是可以擴充的.人物幾何造型行為引擎動作引擎外界環境幾何修改器內部精神狀態VRMLEAI虛擬人物控制器規劃及行為庫客戶端服務器端虛擬人物物理模型局部信念圖2虛擬人物整體框架感知-改變10/28/2023分布式虛擬環境中的智能虛擬人建模（3）局部信念表示由該虛擬人維護的信念，包括對自己狀態的維護以及其他環境中相關性很強的信息。

幾何修改器接收由動作引擎發過來的控制命令以及其中的參數，直接修改VRML中的屬性，從而使得人物的幾何形體發生變化，表示一定的動作。使用EAI實現。動作的成功完成或者失敗都應該發回一個反饋信息給服務器端的虛擬人控制器，主動感知與被動感知主動感知：全局環境數據庫管理器管理整個分布式虛擬環境中的事件，并把事件發送給相應的接收者被動感知：虛擬人在行為規劃中，主動查詢全局數據庫獲得相關信息10/28/2023分布式虛擬環境中的智能虛擬人建模（4）一個規劃可以描述為下面六元組：Pi：：=(Triggeri,Propertyi,Pci,Bsi,Statei,Efi)

Triggeri

：是引發該規劃的事件；

Propertyi記錄了該規劃的一些特殊屬性，如優先級大小，以及可否被其他規劃搶占等；

Pci是一組實行該規劃需要滿足的前提條件，

Bsi表示一組完成該規劃需要采取的行為，

Statei是該規劃目前執行的狀況，為活動狀態集中的某個狀態，

Efi表示該規劃成功后將對環境以及自身產生的一組后果。10/28/2023分布式虛擬環境中的智能虛擬人建模（5）

行為是由一組動作序列組成的，所以B也可以如此定義：B::=Ф（Actioni，i=0，1，..）。其中Ф是一種復合函數，表示了動作的組合。動作可以通過原子動作的組合遞歸定義如下：①原子動作是一個動作。②如果Action1,Action2是動作，則Action1∧Action2是動作，∧表示連接，即Action2在Action1完成后執行。③如果Action1,Action2是動作，則Action1∨Action2是動作，∨表示并行，即Action2可以和Action1同時執行。④如果Action1,Action2是動作，則Action1+Action2是動作，其中表示可選，即Action1和Action2兩個分支過程中選擇其中一個執行即可。⑤如果Action1,Action2,Action3是動作，則（Action1∨Action2）*Action3是動作，其中*表示非等待連接，即Action1和Action2中有任何一個動作完成即可執行Action3.

10/28/2023分布式虛擬環境中的智能虛擬人建模（6）規劃行為庫可以采用產生式系統結合計算程序庫來實現。一個產生式系統包含一系列產生式規則，規則形如：IF條件THEN采取的規劃條件相當于前述的Trigger，它基于虛擬智能人物的信念以及對環境的感知。虛擬人控制器以一定的時鐘步對規則庫所有規則進行檢測，將所有條件都符合的規劃放入待執行的規劃隊列虛擬人控制器從該隊列中選取優先級別最高的規劃執行外界環境的變化和執行規劃的過程中，信念也將發生動態的變化，這樣當前規劃可能被具有更高級別的規劃打斷，或者當前規劃的前提條件在執行的過程中已經不復成立，從而取消。隨著規劃的執行（表現為采取的行為個數增加），該數值將增加，即一個規劃的優先級別是動態的。在規劃行為庫中所有的規則最后，設計一個條件一直為真的規劃。一般是為了維護虛擬人的逼真性使其隨機采取一些行為10/28/2023分布式虛擬環境中的智能虛擬人建模（7）基于H-Anim的人物造型以及動作實現

http://ece.uwaterloo.ca/~h-anim/

H-Anim標準是為了提供一個具有良好兼容性、靈活性、簡單性的人物模型構造方法而提出來的標準。

標準通過原型構造擴充VRML2定義了三個主要的新的節點，在這些節點中可以包含豐富的信息，比如身體段的質量，包圍整個身體段或者人物的長方體尺寸，關節的運動范圍等

：

Joint節點：定義關節Segment節點：定義身體段。Site定義相對于該Segment的位置，可用于往身體段上附著衣服以及定義反向動力學方法的終端效應器等Displacer節點用于定義一組具有特殊特征或者配置的頂點，可以用于肌肉變形動畫等Humanoid節點：包含指向Joint節點和Segment節點的引用數組以及作者版本等信息10/28/2023分布式虛擬環境中的智能虛擬人建模（8）H-An