第十章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造目錄CONTENTS10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1目錄CONTENTS10.1基于VR的人機交互關鍵技術10.1.1硬件配置要求10.1.2開發環境配置10.1.3HTCVIVE手柄控制10.1.4UGUI設計10.2基于

HoloLens2的人機交互關鍵技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術10.1基于VR的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1HTCVive是由HTC與Valve聯合開發的一款VR頭顯（虛擬現實頭戴式顯示器）產品。由以下三個部分構成：一個頭戴式顯示器、兩個單手持控制器、一個能于空間內同時追蹤顯示器與控制器的定位系統（Lighthouse）。HTCVive

VR設備從最初可以給游戲帶來沉浸式的體驗，延伸到可以在更多領域施展想象力和應用開發潛力。一個最現實的例子是，可以通過虛擬現實搭建場景，實現在醫療、教學以及煤礦領域的應用。第10章人機交互關鍵技術10.1.1硬件配置要求戰略性新興領域教材建設團隊-重型高端裝備制造1

GPU：NVIDIA?

GeForce?

GTX970、AMD

Radeon?

R9290同等或更高配置

CPU：Intel?Core?i5-4590/AMD

FX?8350同等或更高配

RAM：4GB或以上

視頻輸出：HDMI1.4、DisplayPort1.2或以上

USB端口：1xUSB2.0或以上端口

操作系統：Windows?

7SP1、Windows?

8.1或更高版本、Windows?

10第10章人機交互關鍵技術10.1.2開發環境配置戰略性新興領域教材建設團隊-重型高端裝備制造1下載并安裝Steam平臺選擇“庫”選項選擇“工具”選項搜索SteamVR并下載安裝SteamVR就緒運行SteamVR第10章人機交互關鍵技術10.1.2開發環境配置戰略性新興領域教材建設團隊-重型高端裝備制造1插好VR頭戴顯示器運行房間設置新建一個Unity工程，在AssetStore窗口中搜索SteamVR并下載將“[CameraRig]”拖入場景并運行完成配置第10章人機交互關鍵技術10.1.3HTCVIVE手柄介紹戰略性新興領域教材建設團隊-重型高端裝備制造11-菜單按鈕

2-觸控板

3-系統按鈕

4-狀態指示燈5-Micro-USB端口

6-追蹤感應器

7-扳機

8-手柄按鈕狀態指示燈綠色：表示HTCVive手柄目前狀態正常，可以正常使用；藍色：表示操控手柄已經成功和頭戴式設備配對；閃爍藍色：表示操控手柄正在和頭戴式設備進行配對；橙色：表示手柄正在充電，當手柄變為綠色時，表示充電完畢；閃爍紅色：手柄低電量，即將沒電；第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造110.1.3HTCVIVE手柄控制l

Controller(left):左側手柄（相當于人的左手）。l

Controller(right):右側手柄（相當于人的右手）。l

Camer(head):頭盔。l

Camer(eye):相當于人的眼睛。l

Camer(eye):相當于人的耳朵。l

Model：主要是為了在虛擬環境下創建手柄模型。第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1我們在讀取手柄的輸出信息時，用到SteamVR_TrackedObj組件。步驟如下：1.

獲取SteamVR_TranckedObj組件下的Index變量。例：GetCommpent<SteamVR_TrackedObj>().Index;2.

然后通過SteamVR_Controller類下的Input接口獲取實現手柄按鍵輸入類型。輸入類型包括以下幾種：l

GetPress:長按。l

GetPressDown:按下l

GetPressUp:抬起l

GetTouch:一直觸摸l

GetTouchDown:觸摸l

GetTouchUp:觸摸抬起l

TriggerHapticPulse:震動10.1.3HTCVIVE手柄控制第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造110.1.3HTCVIVE手柄控制3.

獲取按鍵類型通過SteamVR_Controller.ButtonMask類獲取。ButtonMask上述所說的所有按鍵。如：扳機鍵SteamVR_Controller.ButtonMask.Trigger。4.

手柄輸入實例：扳機鍵按下：int

index=(int)GetCommpent<SteamVR_TrackedObj>().IndexSteamVR_Controller.Input(index).GetPressDown(SteamVR_Controller.ButtonMask.Trigger);手柄震動：SteamVR_Controller.Input(index).TriggerHapticPulse(200)。參數標示震動強度。第10章人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1創建Canvas，將Canvas的RenderModel設為WorldSpace創建所需UI10.1.4UGUI設計目錄CONTENTS10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.2.1基于HoloLens2的混合現實技術10.2.2基于HoloLens2的機械裝備AR/MR巡檢技術10.3基于人體動作識別的交互關鍵技術第10章人機交互關鍵技術10.2基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1混合現實（MixedReality，簡稱MR）技術是一種將虛擬世界和現實世界相結合的技術，它的主要價值在于將數字信息帶入到個人對現實世界的感知中，而不是簡單的數據顯示，通過與被視為環境自然部分的沉浸式集成來實現對現實的增強。借助HoloLens2設備的優秀能力（例如本能手勢操作、語音命令、眼動凝視交互)，用戶周圍的混合世界變得可交互和可操作。視頻，帶視頻的PPT見視頻資源視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1負責真實場景種疊加全息影像負責感知外部環境信息負責虹膜識別，采集眼部數據第10章人機交互關鍵技術10.2.1基于HoloLens2的混合現實技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）開發環境準備Windows10VisualStudio2019/2022Unity2020/2021MRTK第10章人機交互關鍵技術10.2.1基于HoloLens2的人機交互關鍵技術戰略性新興領域教材建設團隊-重型高端裝備制造1構建Unity項目切換平臺設置項目導入MRTK導出VS工程創建和設置場景配置MRTK導入TextMeshPro部署到真機設備發布MR應用（2）應用開發與部署流程第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1基于HoloLens的機械裝備AR/MR巡檢技術是一種利用混合現實技術來改進機械裝備巡檢過程的解決方案。通過將MR任務界面疊加到實際機械裝備附近，任務面板可以實時獲取設備狀態信息、執行操作指導，并進行故障排查等工作。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計—按鈕（Button）介紹其中BoxCollider組件用于設置按鈕碰撞器形狀；PressableButtonHoloLens2組件用于實現按鈕交互的形態改變及各交互狀態事件；PhysicalPressEventRouter組件為路由組件，用于設置何時(Touch、Press、Click)將手勢操作事件轉發到Interactable組件，即控制什么操作觸發OnClick事件；Interactable

組件負責處理各類交互輸人和事件，包括設置語音命令、OnClick事件；AudioSource組件用于提供操作時的音效反饋；ButtonConfigHelper組件是一一個簡化按鈕使用的幫助類組件，它提供了最直接使用按鈕的界面，利用它可以輕松設置按鈕顯示文字、圖標、OnClick事件，實現按鈕功能，但該組件設置的參數最終都被轉發到各功能組件中，其本身并不負責處理。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（1）MR用戶界面設計—Slate面板介紹Slate面板用于創建可定制、交互性強的任務界面，它提供了靈活的布局選項、樣式定制功能以及事件處理能力。通過Slate面板可以快速構建適應HoloLens應用程序需求的界面，提供了良好的交互體驗，如圖所示。第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計通過上面的學習，我們已經知道制作MR巡檢系統界面的方法，接下來我們將學習如何通過Hololens2使用該系統。HoloLens2設備支持多種模態交互方式（手勢、語音和凝視交互），這種多模態交互設計為使用者提供了豐富、自然和有效的操作體驗。手勢交互語音交互凝視交互第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—手勢交互HoloLens2手勢交互方式，用于與附近的全息影像進行觸摸操作。當人體的手部靠近全息影像時，食指尖上會出現一個白色圓圈，這是觸摸光標，通過它來點擊、滾動或抓取全息影像，實現自然手勢交互。視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—語音交互Hololens2語音交互方式，能通過識別語音命令的關鍵詞和對應的響應事件，實現輸出語音指令的能力。其工作場景通常用于控制與選擇，用于確定事件的執行。例如視頻中通過語音控制機器人轉動。視頻，帶視頻的PPT見視頻資源第10章人機交互關鍵技術10.2.2基于HoloLens2機械裝備AR/MR巡檢技術戰略性新興領域教材建設團隊-重型高端裝備制造1（2）交互方式設計—凝視交互Hololens2凝視交互的實現基于眼動跟蹤功能，眼球跟蹤系統可以根據眼睛數據來生成一個眼睛方向向量，表示正在看的方向。眼睛方向向量可以與全息圖像或真實世界的物體相交，從而確定凝視目標。通過一種次要的確認輸入，例如手勢、按鈕或語音命令，可以對凝視目標進行操作。視頻，帶視頻的PPT見視頻資源目錄CONTENTS10.3基于人體動作識別的交互關鍵技術10.1基于VR的人機交互關鍵技術10.2基于

HoloLens2的人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述10.3.2AzureKinect與Unity3d的配置第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1AzureKinect設備簡介AzureKinect設備是實現體感交互方法最先進的硬件設備之一，搭載了100萬像素TOF高級深度相機、1200萬像素全高清攝像頭以及方向傳感器等，具有復雜的計算機視覺和語音模型、高級AI傳感器以及提供了深度、視覺、聲音、方向四大類傳感器SDK，可以實現對人體的3D輪廓掃描，主要硬件結構及功能見表所示。第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1硬件名稱功能麥克風陣列由4個麥克風組成，可以確定聲源位置并實現自動去噪。紅外投影機向外投射紅外光譜，產生可以被紅外攝像頭讀取的隨機的斑點圖樣（散斑）。紅外攝像頭分析計算采集的散斑數據，建立出可視范圍的深度圖像。USB線纜USB3.0接口，傳輸Kinect采集到的數據流。且因為Kinect功率較大，需要配合獨立電源使用。彩色攝像頭采集

RGB數據流。Kinect主要硬件結構及功能第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1在運行基于AzureKinect的人體跟蹤演示之前，需要確保計算機具有以下規格的配置：(1)

第7代Intel?CoreTMi5處理器及以上（四核2.4GHz或更快）(2)

4GB內存及以上(3)

顯卡為NVIDIAGeForceGTX1070及更高版本(4)

具有專用的USB3端口(5)

Windows10要編寫和執行代碼、運行demo，你需要安裝以下軟件：(1)

VisualStudio2019及以上(2)

Unity3d(3)

AzureKinectBodyRrackingSDK(4)AzureKinectSensorSDK第10章人機交互關鍵技術10.3.1基于Kinect的人體跟蹤技術概述戰略性新興領域教材建設團隊-重型高端裝備制造1

第10章人機交互關鍵技術10.3.2AzureKinect與Unity3d的配置戰略性新興領域教材建設團隊-重型高端裝備制造11.

AzureKinectSensorSDK的安裝/en-us/previous-versions/azure/kinect-dk/sensor-sdk-download第10章人機交互關鍵技術10.3.2AzureKinect與Unity3d的配置戰略性新興領域教材建設團隊-重型高端裝備制造11.

AzureKinectSensorSDK的安裝第10章人機交互關鍵技術10.3.2AzureKinect與Unity3d的配置戰略性新興領域教材建設團隊-