靈魂”演講?：邱東洋-騰訊游戲AI?程師AI帶來的機(jī)會通過智能交互技術(shù)探索，提供活躍/維系游戲用戶的創(chuàng)01/王者榮耀小妲己(游戲知識問答/0505/天涯明月刀(絕智阿暖/智能NPC04/浙江衛(wèi)視谷小雨智能語音交互屏04/浙江衛(wèi)視谷小雨智能語音交互屏03/天天象棋無障礙版2023年Nvidia發(fā)布ACEforGames工具，利用L《黑客帝國:覺醒》動態(tài)實(shí)時回應(yīng)玩家，調(diào)整對斯坦福小鎮(zhèn)利用LLM模擬了一個擁有25個智能體}}“絕智阿暖”--智能NPC在《天涯明月刀》手游中的嘗試準(zhǔn)確、擬真、安全??準(zhǔn)確、擬真、安全??自然、準(zhǔn)確、合理?自然、準(zhǔn)確、合理??Audio2Mouth/Face/Gesture?低延時、高吞吐?低延時、高吞吐???準(zhǔn)確、擬真、安全??準(zhǔn)確、擬真、安全??自然、準(zhǔn)確、合理?自然、準(zhǔn)確、合理??Audio2Mouth/Face/Gesture?低延時、高吞吐?低延時、高吞吐???—太?雙秀之中，公孫劍劍術(shù)更強(qiáng)，?獨(dú)孤若從現(xiàn)在開始，你要扮演古?RPG?游天涯明你是阿暖，也叫?暖柔，阿暖是?個?活在宋朝的少?，今年1知識庫構(gòu)建-不僅僅是trunk大小檢索器能力??案：統(tǒng)—句向量編碼器+多維索引Step1:開源對?+領(lǐng)域微調(diào)“太?雙秀”。——太?雙秀之中，公孫劍劍術(shù)更強(qiáng)，?獨(dú)孤若虛…………Step2:多維度度索引stella都表現(xiàn)優(yōu)異。后續(xù)?領(lǐng)域數(shù)據(jù)微調(diào)后，m3e更穩(wěn)定，最后檢索器能力ll②②?輸??次預(yù)訓(xùn)練，適應(yīng)新的RoPE?輸??次預(yù)訓(xùn)練，適應(yīng)新的RoPE基頻2階段SFT?成模塊存儲模塊選擇模塊?成模塊存儲模塊定時流程總結(jié)定時流程總結(jié)①輸?輸出識別敏感測試有害≤0.5%LLM調(diào)教安全邊界能多到更合理的回答4準(zhǔn)確、擬真、安全??準(zhǔn)確、擬真、安全??自然、準(zhǔn)確、合理?自然、準(zhǔn)確、合理??Audio2Mouth/Face/Gesture?低延時、高吞吐?低延時、高吞吐???AudioDecoder AudioDecoder LanguageModelAudioEncoder喜歡我在你耳邊說話的感覺嗎?TextEncoder?挑戰(zhàn)：從語?->控制/TencentGameMate準(zhǔn)確、擬真、安全??準(zhǔn)確、擬真、安全??自然、準(zhǔn)確、合理?自然、準(zhǔn)確、合理??Audio2Mouth/Face/Gesture?低延時、高吞吐?低延時、高吞吐???模塊功能?模型(>1b)開放對話交互能?對話√Retriever知識檢索器ACE內(nèi)容安全檢測√LLM-memory記憶總結(jié)√TTS語?合成LLM-act肢體?為決策√S2G