PAGE10PAGE10目錄TOC\o"1-3"\h\u176351緒論 2235271.1研究背景 212291.2研究意義 214601.3國內外研究現狀 4327431.4研究內容 629512軟件系統設計與實現 7264112.1軟件系統整體架構 7207722.2語音軟件設計與實現 8294952.2.1AiuiHandle 810484 916399 1027965 1131717 1210972.3AIUI云服務開發 1310551 1311922 15304002.4自定義云服務設計與實現 16141822.4.1AIUI 161041 1991292.5上位機軟件設計與實現 2224522 226039 2313520 23132422.6本章小結 2715173系統測試 29272493.1功能性測試 2950553.2非功能性測試 3368363.3本章小結 3399614總結與展望 34250854.1總結 3422614.2展望 3426241參考文獻 361緒論1.1研究背景等先進技術[1]195660智能技術、先進制造技術和移動互聯網技術的融合和發展促進了人類社會生活方展期、智能應用期[2]。[3]2006為標志的第三次高速發展[4]201323.5%201892.52020156.9億美元[5]研究意義展[6]資源，整體布局，精心規劃。信息技術，計算機技術和人工智能的快速發展使工業機器人的關鍵技術日益成熟務機器人[9][10]國內外研究現狀其應用場景不斷擴展，應用模式也不斷豐富[11]。廈門大學設計了一款以安卓手機為主控機的聲控技術迎賓機器人，該機器人擁有[12]中國科學技術大學研發的機器人佳佳是我國首臺特有體驗交互機器人20164月，是一個集美貌與才華于一身的聲控技術機器人[13]1.6米，具其特征和功能的協調，賦予佳佳善良、勤勉和智慧的特征。圖1.1Fig.1.1RobotJiajiaPepper是日本軟銀公司開發的人類情感陪護機器人[14]，它配備語音識別技術以及用于分析表情和語氣的情感識別技術[15]。它能感知人的情緒，通過判斷人的面部表情和語氣來給予反饋[16]。圖1.2機器人PepperFig.1.2RobotPepperHansonRobotics公司開發的人形機器人，是歷史上第一個獲得公民身份的機器人[17]。索菲亞的皮膚并不是其他機器人通常所使用的硅膠，而是一62個面部表情和頸部動作。索菲亞的“眼睛”Google及其他智能系統而具備語音識別功能，能夠很自然的與人交流。研究內容本文設計并實現了一種聲控技術機器人的聲控技術系統，包含以下幾個方面工作內容：①根據聲控技術機器人聲控技術系統的需求分析，對機器人硬件進行選型，搭建合適的硬件平臺。②根據聲控技術機器人需要實現的動作交互功能，擴展了AIUI云服務，通過設計AIUI云服務動作識別技能，實現機器人的動作控制。APPAiuiHandleAIUI的各種事件，實現語音的合成播報以及與理的能力，使機器人可以回答大部分的日常對話。時的口形與發音基本匹配。生的原因。2軟件系統設計與實現2軟件系統設計與實現2軟件系統設計與實現軟件系統是用于管理和控制機器人硬件資源的程序[32]。聲控技術機器人聲控技術系統軟件系統包括語音軟件，云服務軟件和上位機軟件。2.1軟件系統整體架構如圖3.1AndroidAPPAiuiHandle，UartServiceAiuiServiceAIUI云服HTTP件通過串口進行通信。圖3.1Fig.3.1Overallarchitectureofsoftwaresystem2.2語音軟件設計與實現語音軟件指運行在語音板Android操作系統上的APP，本文通過開發APPAiuiHandle實現對語音板的控制。語音軟件的功能包括控制語音板運行，語音板與串口的通信以及與云服務的連接。語音軟件結構如圖3.2所示。圖3.2Fig.3.2Voicesoftwarestructure2.2.1AiuiHandleAiuiHandle控制語音板的運行，APP包含完整的交互處理邏輯，它通過監聽AIUI傳遞的事件AIUIEvent，根據不同的事件類型做出不同的處理。其處理流程如圖3.3所示，具體流程如下：①程序開始時，先判斷接收到的事件類型。②如果是喚醒事件，將事件類型傳遞給參數event，并調用函數handleWakeup(AIUIEventevent)處理喚醒事件。③如果是休眠事件，將事件類型傳遞給參數event，并調用函數handleSleep(AIUIEventevent)處理休眠事件。④如果是結果事件，將事件類型傳遞給參數event，并調用函數handleResult(AIUIEventevent)處理結果事件。handleError(AIUIEventerrorCode)處理錯誤事件。圖3.3AiuiHandle處理流程Fig.3.3AiuiHandleprocessingflow喚醒是指通過喚醒詞語音喚醒語音板，使語音板進入對話階段的過程，AiuiHandle處理喚醒事件函數handleWakeup(AIUIEventevent)的處理流程如圖3.4所示，具體流程如下：①程序開始時，先判斷語音板是否處于喚醒狀態。如果是則調用函數recoverVol()重置語音板音量，并控制語音板停止播放音樂及合成語音，設置當前狀態為喚醒，然后調用函數wakeUpLight()點亮喚醒燈。wakeUpLight()點亮喚醒燈。③調用函數playTone(Contextcontext,StringassetFileName)控制硬件播放喚醒詞。圖3.4Fig.3.4Wakeupeventprocessingflow為了保證語音板能夠長時間的穩定運行，需要設計程序使語音板在結束交互的一分鐘后進入休眠狀態。AiuiHandle處理休眠事件函數handleSleep(AIUIEventevent)的處理流程如圖3.5所示，具體流程如下：接結束方法。②如果語音板不處于休眠狀態，則調用函數justTTS(Stringuuid,Stringtext)控制硬件播放休眠提示語。③設置語音板當前狀態為休眠，調用方法sleepLight()使語音板上的燈關閉。圖3.5Fig.3.5Sleepeventprocessingflownlp（（tppNLP處理結果，后處理服務結果是將語音識別的結果傳到第三方云服務進行自然語言處理，第三方處理完成后將結果回傳到語音板進行合成播報。AiuiHandle處理結果事件函數handleResult(AIUIEventevent)的處理流程如3.6所示，具體流程如下：①程序開始時，先從event參數獲取具體的事件類型。②如果是在線語義結果事件，調用函數handleResult(SemanticResultresult)進行在線語義處理。handleResult(JSONObjectAsrResult,booleanisWakeupState)進行離線命令詞處理。④如果是后處理服務結果事件，先從event參數獲取自定義消息內容，并根據業務邏輯進行自定義消息處理，最后發送后處理結果確認消息。圖3.6Fig.3.6Resulteventprocessingflow錯誤事件是指語音板在運行過程中出現的異常情況，AiuiHandle需要處理這些異常并播報具體的異常信息給用戶。AiuiHandle處理錯誤事件函數handleError(AIUIEventevent)的處理流程如圖4.8所示，具體流程如下：①程序開始時，先從event參數獲取錯誤代碼errorCode。②根據錯誤代碼errorCode獲取錯誤信息。playText(Stringuuid,Stringtext)控制硬件對錯誤信息進行播報。圖3.7Fig.3.7Erroreventprocessingflow2.3AIUI云服務開發AIUIAIUI云服務，AIUI自然語言處理技術得到對話結果并將其回傳給語音板。另外，AIUI是自定義開發的技能。動作識別借助AIUI用。動作識別技能開發流程如下：①技能定義動作識別技能能夠識別用戶發出的動作指令，將識別結果返回給語音板從而控制機器人的面部動作。如：頭動一下，左眼睛眨一下等。②抽象意圖對動作識別技能進行抽象，即此技能可以識別出用戶語音對機器人動作控制③整理語料用戶控制機器人動作的語料包括：{position}{position}可以動一下嗎可以把{position}眨一下{position}{position}眨一下{position}和{position}動一下動一下{position}和{position}{position}{position}和{position}動一下動一下{position}{position}和{position}以上列出了十種用戶可能說出的語料，其中{position}代表機器人動作部位。④邏輯處理AIUI根據用戶的語義和系統設置語料的匹配程度進行動作指令的識別，然后返回具體的動作部位給語音板。⑤技能測試如果用戶說出“眼睛和嘴巴動一下會解析出“眼睛”“嘴巴”位并把結果傳3.8所示。圖3.8Fig.3.8Actionrecognitionresult圖3.9為整個動作指令交互的流程。具體交互流程如下：AIUI云服務。② AIUI使用動作識別技能識別用戶的意圖，將識別結果以結果事件（EVENT_RESULT）的形式回傳到語音板。AIUIparse_msg(self,flag,data)AIUI消息獲取到動作部位。take_general_action(position)信號使機器人做出相應部位的動作。圖3.9Fig.3.9Actioninstructioninteractionprocess2.4自定義云服務設計與實現自定義云服務是運行在云服務器的JavaWeb應用程序。通過自定義云服務，遇到AIUI無法處理的消息時調用第三方云服務幫助處理。2.4.1AIUIAIUIAIUI云服務的。AIUIHTTPGET請求到timestamp和randGET流程如圖3.10。圖3.10AIUI消息校驗流程Fig.3.10AIUImessageverificationprocess語言處理是機器翻譯，信息檢索和聊天機器人領域的基本技術[33]。①TuringAPI聊天機器人作為一種對話問答系統，集成了多年來自然語言處理(NaturalLanguageProcessing)研究與應用的各種成果。包括詞法分析、詞性標注、淺層或學習、本體知識獲取、知識挖掘、知識表示、邏輯推理等[34]。TuringAPI（者、合作伙伴和企業提供服務。TuringAPINLP識庫系統，針對多領域知識特點深度優化，能提供更加強大的對話能力。②ServletServletJava編寫的服務器端程序。它的主要功能是交互式瀏覽和修改數據來生成動態的內容。從狹義上講，ServletJavaServlet接口的任何ServletServlet可以響應任何類型的ServletHTTPHTTPS服務[35]。HTTPHTTPS請求使Servlet容器調用Servletservice()方法，HttpServletRequestHttpServletResponseHTTP請求被HttpServletRequest請求中，HttpServletResponseHTTP響ServletServletContextServletContext。③Servlet請求流程如圖所示：AIUI先把識別到的語音結果以HTTP請求的形式發送到Servlet，ServletAIUI無法處HTTPPOSTTuringAPIServletHTTPAIUI。圖3.11Servlet請求流程Fig.3.11Servletrequestprocess④POST請求處理流程Servlet通過處理AIUI發送給服務器的POST請求進行第三方自然語言處理。POST請求的處理流程如圖3.12所示，具體的處理流程如下：程序開始時，調用函數 request.setCharacterEncoding("UTF-8")和response.setCharacterEncoding("UTF-8")UTF-8，目的是防止中文亂碼。JSON程序。HTTP請求體中的JSONJSON字符串轉化為JSON獲取參數"Msg"Base64解碼。獲取參數"intent"AIUI無法處理的消息，TuringAPI處理流程，否則結束程序。圖3.12POST請求處理流程Fig.3.12POSTrequestprocessingflow⑤TuringAPI處理流程有些語義AIUI無法處理，當AIUI云服務無法處理這部分信息時會返回處理失敗的指令，此時需要借助于第三方的自然語言處理系統TuringAPI。整個處理流程如圖3.13所示，具體流程如下：程序開始時，使用函數getTulingResult(Stringcontent,StringuesrId)調用TuringAPI處理消息。AIUI，AIUI再將結果傳給語音板。APPAiuiHandleTuringAPIAIUI發送后處理結果確認消息。圖3.13TuringAPI處理流程Fig.3.13TuringAPIprocessingflow2.5上位機軟件設計與實現模塊，串口通信模塊和業務邏輯。①通用動作7作，分別定義如下方法：head_action()左眼皮動作：eye_left_action()右眼皮動作：eye_right_action()眼珠動作：eyeball_action()嘴巴動作：mouth_action()②消息類型7程度很高，所以對消息類型進行封裝：握手消息：HAND_REQUESTWIFI配置消息：WIFI_CONF0x02AIUI配置消息：AIUI_CONF0x03AIUI消息：AIUI_MSG0x04主控消息：CTRL_MSG0x05自定義消息：CUSTOM_MSG=0x2A確認消息：OK_MSG=0xFF①舵機控制原理化，從而產生面部動作。②舵機控制流程以頭部左右動作為例：首先初始化串口：ser=serial.Serial('/dev/HLF_HEAD',115200,timeout=0.1)ser.write(codecs.decode('02000e0000',hex(128)[2:]),hex(88)[2:]),'hex_codec'))，控制頭部復位：ser.write(codecs.decode(('02000d00'+hex(108)[2:]),'hex_codec'))。經過上述一系列控制完成頭部的左右動作，其他部位包括眼皮、眼珠和嘴巴的動作控制與頭部動作控制類似。語音軟件與上位機軟件之間通過串口通信的方式進行數據交互。串口之間的通信為雙向通信且不分主從機。①串口通信規則語音板與上位機之間的串口通信采用一對一的雙向通信，雙方均可以向對方10050300毫秒未接收到響應信號，則進行三次的重新發送。UartService負責串口通信服務，作為上位機與語音板之間的通信入口。UartServiceAIUI產生的各種消息AIUI。②串口消息格式語音板和上位機之間的串口消息長度為n+2個字節，每個字節的取值以及所表示的含義如表3.1所示。表3.1Table3.1Serialmessageformat字節值含義說明00xA5同步頭10x01用戶ID20xXX消息類型3~40xXXXX消息數據長度5~60xXXXX消息ID7~n消息數據消息數據n+10xXX內部校驗碼③串口消息種類語音板和上位機之間的串口消息包括握手消息，確認消息，AIUI配置消息，WIFI配置消息，AIUI消息，主控消息和自定義消息。串口消息的傳送方式如圖配置消息，AIUIAIUI消息只能從語音板發送到上位機。圖3.16串口消息種類Fig.3.16Serialmessagetype各種串口消息的具體含義：握手消息雙方在正式通信前發送的消息，用于確認串口通信是否正常。確認消息用于確認接收方已收到來自發送方的消息，消息ID與要確認的消息的ID相同。AIUI消息語音板傳遞給上位機的消息，包含聽寫語義數據返回或者主控消息操作的結果。如WIFI狀態、AIUI結果事件、語音合成結果。WIFi配置消息用于上位機向語音板發送消息以完成WIFI配置。AIUI配置消息用于上位機向語音板發送消息以完成AIUI配置。主控消息上位機發送給語音板的消息，功能包括控制播放、設置音量、查詢音量、查詢WIFI狀態、保存音頻、合成文本。自定義消息用戶自定義的消息類型，用于擴展語音板功能。④串口數據解析流程接收到的十六進制串口消息a.握手消息：A5010104000000A5000000B0WIFI配置消息：A501021800010000020C08E4B98CE5858BE4B8BDE4B8BD3132333435363738B5AIUI消息：A501044C0054001F8B0800000000000000AB564ACECF2B49CD2B51B2AA564A2C4A3754B232D101318C94AC0C749452CB8052219505A94A5686A6B53A4A2560A652626669663C584EA91600560048F442000000BA主控消息：A501053F0059007B2274797065223A2022747473222C22636F6E74656E74223A207B22616374696F6E223A20227374617274222C2274657874223A2022E5A5BDE79A84227D7D5Ce.自定義消息：A5012A01000100012Df. 確認消息：A501FF04005000A500000062AIUI消息格式∑如表3.2n+20字節A51012044C00AIUI00<<8|4C=765~65400ID，第7~n1F~00n+1BA準確性，計算方式為除校驗碼外的所有字節求和取反再加1，即校驗碼=~∑????=0

字節

+1。表3.2AIUI消息格式Table3.2AIUImessageformat字節值（16進制）含義說明0A5同步頭101用戶ID204消息類型3~44C00消息數據長度5~65400消息ID7~n1F~00消息數據n+1BA內部校驗碼AIUI消息解析流程AIUI1F8B0800000000000000AB564ACECF2B49CD2B51B2AA564A2C4A3754B232D101318C94AC0C749452CB8052219505A94A5686A6B53A4A2560A652626669663C584EA91600560048F442000000對 以 上 消 息 進 行 GZIP 解 壓 和 UTF-8 解 碼 ，gzip.decompress(result).decode("UTF-8")得到：{"content":{"arg1":4,"arg2":0,"eventType":15},"type":"aiui_event"}以上JSON格式的字符串是程序能夠處理的數據。⑤發送串口消息流程上位機向串口發送的消息格式與語音板向上位機發送的消息格式一致。按照3.10~2ID，消息類型，構建send_data=array.array('B',[0xA5,0x01,msg_type])3~4位是消息長度msg_lensend_data.extend(struct.pack('<Hmsg_len))，5~6IDsend_data.extend(data[4:6])7~n位是消息數據，構建方法為send_data.extend(msg)，第n+1位為校驗位，構建方法為send_data.append((~sum(send_data)1)&0xff)self.ser.write(send_data)。2.6本章小結本章分析了聲控技術機器人聲控技術系統的軟件系統設計與實現過程。首先設計接下來分別分析各子系統的設計與實現過程，語音軟件設計并實現了APPAIUI云服務分析了動作識別技能的開發流程和動作指令的交互流程。自定義云服務分AIUITuringAPI的處理流程和文本情感識別流AIUI消息流程和面部動作處理流程。最后研究機器人的嘴巴張開度與發音音節的關系并設計嘴部動作匹配流程。4 4 3機器人聲控系統的應用3.1疫情之下語音機器人頂崗上任3.1.2語音機器人的運用3.2老齡化之下伴老機器人傳遞溫情4總結與展望4.1總結服務型智能機器人的一種，其研發得到了越來越多的重視。本文設計并實現了一種聲控技術機器人的聲控技術系統，使聲控技術機器人可以識別人擁有與人類相似的外表并能夠做出表情動作。本文主要工作放在聲控技術機器人聲控技術系統的軟件設計部分，開發APPAiuiHandleAIUIAIUI應用論文最后討論了聲控機器人在如今各行各業的實際運用，體現了它能夠滿足各方面需求的功能。本文設計的聲控技術機器人聲控技術系統相較于一般設計的優勢體現在：第一，模塊化設計。將聲控技術系統分為幾個子系統單獨設計，降低了系統之間的耦合性，便于開發與維護。第二，系統實時在線。與離線系統不同，本文所設計的系統與云端實時連接，并借助第三方云服務，使系統擁有更強大的自然語音處理能力。4.2展望本文設計并實現了一種聲控技術機器人的聲控技術系統，實現了機器人的聲控技術現將這些不足作為日后的研究方向做出規劃和展望，主要包括以下幾個方面：首先聲控技術頭部模型的逼真度和靈活度有待提高。可以發現，本文所使用的機器人頭部模型與真人還有較大的差距，且各部位的靈活度不高，無法做出更復雜的動作和面部表情。日后可采用更加優質的材料和機械裝置實現更生動的表情和更復雜的面部動作。然后機器人的多輪對話能力有待加強。如涉及到訂票、訂餐、搜索等對話場景時，常常需要多輪對話才能確定用戶意圖，而在這種使用場景下機器人往往難以正確應答，所以機器人理解用戶復雜意圖的關鍵在于提高處理多輪對話的能力。其次機器人講話時口形與語音的匹配程度有待提高。由于本文所使用的聲控技術頭部模型的嘴部僅有一個舵機，只能控制嘴巴的張開度，故只能做到基本的匹配。日后可采用更加先進的機械裝置，進一步研究口形與發音的關系，使機器人嘴部能有各個方位的動作，講話時更像人。最后聲控技術機器人可增加自主移動的功能。本文研究的聲控技術機器人僅是一個頭部模型，無法實現自由移動。日后可以為機器人增加機械裝置，實現聲控技術機器人的自主移動，配合聲控技術實現更加豐富的功能。聲控技術機器人的研發仍然有很多問題需要解決，隨著人工智能等技術的發展，將有更多的解決方案被提出，屆時聲控技術機器人將為人類的生活帶來更多便參考文獻[1]譚民,王碩.機器人技術研究進展[J].自動化學報,2013,39(7):963-972.HiraiK,HiroseM,Haikawaetal.ThedevelopmentofHondahumanoidrobot[C].IEEEInternationalConferenceonRobotics&Automation,2002,1321-1326.王振.[J].,2018,4:58-60.HwangJ,JungM,KimJ,etal.Adeeplearningapproachforseamlessintegrationofcognitiveskillsforhumanoidrobots[C].2016JointIEEEInternationalConferenceonDevelopment&Learning&EpigeneticRobotics,2016,59-65.[5]王萬.機器人產業發展研究[J].制造業自動化,2018,40(4):115-119.ZhangC,ChenSmarttalkingrobotXiaotu:participatorylibraryservicebasedonartificialintelligence[J].LibraryHi2015,33(2):245-260.ChenDongRobotmachining:recentdevelopmentandfutureresearchissues[J].InternationalJournalofAdvancedManufacturing2013,66(9-12):1489-1497.HeyerC.Human-robotinteractionandfutureindustrialroboticsapplications[C].2010IEEE/RSJInternationalConferenceonIntelligentRobotsandSystems(IROS),2010,4749-4754.Severinson-EklundhK,GreenA,HelgeHüttenrauch.Socialandcollaborativeaspectsofinteractionwithaservicerobot[J].RoboticsandAutonomousSystems,2003,42(3-4):223-234.SunSunTheHuman-ComputerInteractionAnalysisandConstructiononIntelligentServiceRobot[J].AppliedMechanicsandMaterials,2013,373-375:221-224.LukBCookeDS,GaltS,etal.Intelligentleggedclimbingservicerobotforremotemaintenanceapplicationsinhazardousenvironments[J].RoboticsandAutonomousSystems,2005,53(2):142-152..Android[D].,2015..[D].,2017.AmitRodolpheG.AMass-ProducedSociableHumanoidRobot:Pepper:TheFirstMachineofItsKind[J].IEEERobotics&AutomationMagazine,2018,25(3):40-48.GardeckiA,PodporaM.ExperiencefromtheoperationofthePepperhumanoidrobots[C].2017ProgressinAppliedElectricalEngineering2017,1-6.LafayeJ,GouaillierD,WieberPB.LinearmodelpredictivecontrolofthelocomotionofPepper,ahumanoidrobotwithomnidirectionalwheels[C].2014IEEE-RASInternationalConferenceonHumanoidRobots,2014,336-341.ParkS,LeeH,HansonDandOhPSophia-Hubo'sArmMotionGenerationforaHandshakeandGestures[C].201815thInternationalConferenceonUbiquitousRobots(UR),2018,511-515.劉奇.[D].,2012.IsabelleC,MarittaH,HolgerS,etal.UML4PF-Atoolforproblem-orientedrequirementsanalysis[C].2011IEEE19thInternationalRequirementsEngineeringConference,349-350.ZhangXChiCH,DingC,etal.Non-functionalRequirementAnalysisandRecommendationforSoftwareServices[C].2013IEEE20thInternationalConferenceonServices,2013,555-562.Abdel-HamidO,MohamedAR,JiangH,etal.ApplyingConvolutionalNeuralNetworksconceptstohybridNN-HMMm