機(jī)器語言大模型賦能軟件自主可控與安全可信朱文宇清華大學(xué)中國電機(jī)工程學(xué)會中國電機(jī)工程學(xué)會n中國電機(jī)工程學(xué)會n背景…關(guān)鍵問題…典型應(yīng)用總結(jié)…中國電機(jī)工程學(xué)會中國電機(jī)工程學(xué)會安全可信安全可信互聯(lián)網(wǎng))各種通信技術(shù))各種通信技術(shù)301背景-需求1:軟件生態(tài)面臨自主可控難題中國電機(jī)工程學(xué)會關(guān)鍵軟件長期由國外主導(dǎo)面臨斷供、安全、知識產(chǎn)權(quán)風(fēng)險移動端操作系統(tǒng)分布情況移動端操作系統(tǒng)分布情況工業(yè)控制軟件產(chǎn)品：ERP、CRM、SCM挑戰(zhàn)：關(guān)鍵軟件閉源，供應(yīng)鏈風(fēng)險高，自主可控難度大4背景-需求2:軟件生態(tài)面臨安全可信難題中國電機(jī)工程學(xué)會軟件安全風(fēng)險未知落的物作期情落的物作期情漏洞問題層出不窮惡意代碼急劇增長成為網(wǎng)絡(luò)攻擊的重要突破口病毒病毒(伊朗核設(shè)施)iPhone越獄&安卓Rootn電網(wǎng)斷電(烏克蘭)WannaCry(勒索150+國家)電網(wǎng)斷電(烏克蘭)挑戰(zhàn)：目標(biāo)軟件閉源，分析難度大，安全問題隱藏深5中國電機(jī)工程學(xué)會背景關(guān)鍵問題…智能化方案…典型應(yīng)用總結(jié)…602關(guān)鍵問題-軟件開發(fā)與安全碳件設(shè)新貓位碳件設(shè)新自主自主即作系統(tǒng)電電NARI疆軟件分析理解KingdoeNARI疆軟件分析理解Kingdoe⑤⑤應(yīng)用領(lǐng)罐安全可信軟件分析理解n發(fā)現(xiàn)安全問題軟件設(shè)計開發(fā)發(fā)現(xiàn)安全問題軟件測試部署防范安全問題關(guān)鍵問題是分析、理解目標(biāo)(閉源)軟件軟件測試部署防范安全問題關(guān)鍵問題是分析、理解目標(biāo)(閉源)軟件7關(guān)鍵挑戰(zhàn)1:軟件分析——二進(jìn)制信息缺失voidanswer(char*na源代碼源代碼}}intx=40+intx=40+機(jī)器碼符號、類型、邊界等信息逐步優(yōu)化/丟棄匯編碼8n02關(guān)鍵挑戰(zhàn)1:軟件分析——二進(jìn)制信息缺失n中間表示中間表示IR告4=calli64名5=addi6483,17=call#include<sLdlib.h>#include<sLdlib.h>源代碼}returny*y;}}反編譯7f4547f454反匯編無中生有，恢復(fù)缺失的信息 9printf("Hey8s,the}returny*y;}intint}②語義分析嚴(yán)重依賴人工經(jīng)驗代碼軟件代碼功能分析：內(nèi)存分配、加密解密?敏感數(shù)據(jù)如何流動?能分析安全分析鏈性能優(yōu)化逆向漏洞③泛磁泛磁NARI思改運互聯(lián)應(yīng)用領(lǐng)域軟件分析信息缺失軟件分析中國電機(jī)工程學(xué)會人在回路軟件理解軟件理解功能開發(fā)中國電機(jī)工程學(xué)會S*背景……中國電機(jī)工程學(xué)會信息缺失人在信息缺失人在應(yīng)用領(lǐng)域軟件分析軟件理解軟件分析軟件理解A中A中#其出是◎NARIA部晶連改運互聯(lián)信息自信息自動補(bǔ)償。現(xiàn)有大語言模型難以分析二進(jìn)制程序(閉源軟件)自然語言源代碼二進(jìn)制程序(機(jī)器語言)人類需求設(shè)計實現(xiàn)x編譯部署21005011加載運行中國電機(jī)工程學(xué)會中國電機(jī)工程學(xué)會i程序執(zhí)行(機(jī)器語言)進(jìn)程進(jìn)程(時刻1)通用大模型中國電機(jī)工程學(xué)會方案簡介：大語言模型中國電機(jī)工程學(xué)會(自注意力機(jī)制)(自注意力機(jī)制)少量算力(8張4090卡)十萬算力適量算力(10+英偉達(dá)卡*天)百萬算力(1000+英偉達(dá)卡*天)億元算力提示詞提示詞工程推理(按需)Nx知識增強(qiáng)NxN(廠商)N工具使用工具使用Gnrokg適量標(biāo)注數(shù)據(jù)muts適量標(biāo)注數(shù)據(jù)muts模型優(yōu)化模型優(yōu)化專業(yè)數(shù)據(jù)自動生成(源代碼、二進(jìn)制、文本、二進(jìn)制標(biāo)注數(shù)據(jù))關(guān)鍵技術(shù)突破關(guān)鍵技術(shù)突破技術(shù)技術(shù)注、對齊·優(yōu)化模型設(shè)計，深刻理解機(jī)器語言，對齊人類專家·自研機(jī)器語言模型訓(xùn)練方法··自研機(jī)器語言模型訓(xùn)練方法·完善的機(jī)器語言模型基礎(chǔ)設(shè)施IEEES&P·大規(guī)模機(jī)器語言-自然語言-源代碼多模態(tài)對齊數(shù)據(jù)開數(shù)據(jù)<100GB多個關(guān)鍵技術(shù)零的突破多個關(guān)鍵技術(shù)零的突破S修改模型設(shè)計，融入代碼領(lǐng)域知識(指令語義、跳轉(zhuǎn)關(guān)系等)ax40046F:calljsjsrsp,20h11:xor17:pop25:jmpJUMP_14jmp03關(guān)鍵技術(shù)2:基于對比學(xué)習(xí)的語義理解中國電機(jī)工程學(xué)會r03關(guān)鍵技術(shù)3:基于多模態(tài)學(xué)習(xí)的語義理解中國電機(jī)工程學(xué)會利用多模態(tài)技術(shù)，將語義空間與人類意圖對齊，更準(zhǔn)確地表示二進(jìn)制代碼語義03我們的解決方案：機(jī)器語言大模型MLM中國電機(jī)工程學(xué)會版權(quán)保護(hù)版權(quán)保護(hù)性能功能優(yōu)化翻譯軟件性能功能優(yōu)化翻譯軟件遷移工具生成分析分析攻防分析多平臺語義摘要語義語義摘要語義搜索功能分類函數(shù)命名類型輸入格式語義語義比較多架構(gòu)xB6xB6ARMMIPS調(diào)用圖譯調(diào)用圖譯邊界邊界控制流圖關(guān)系中國電機(jī)工程學(xué)會背景智能化方案典型應(yīng)用…軟件逆向分析目標(biāo)軟件反編譯生成C代碼突破卡脖子技術(shù)軟件一致性檢測可執(zhí)行程序源代碼解決采購?fù)袋cAA生態(tài)軟件(無源碼)B生態(tài)軟件信創(chuàng)國產(chǎn)化、老舊軟件升級遷移漏洞挖掘目標(biāo)軟件目標(biāo)軟件漏洞大模型賦能0day、1day漏洞挖掘目標(biāo)軟件軟件成分細(xì)粒度、高速、語義對齊的二進(jìn)制代碼比對軟件A侵權(quán)?中國電機(jī)工程學(xué)會s04Demo-顛覆工作模式的智能逆向分析中國電機(jī)工程學(xué)會s·將黑盒二進(jìn)制程序變成白盒代碼專家一樣理解二進(jìn)制程序語義·將專家從繁瑣的底層代碼分析中解放出來，專注高層分析任務(wù)中國電機(jī)工程學(xué)會S背景…關(guān)鍵問題…智能化方案典型應(yīng)用…05軟件自主可控、安全可信解決方案：大語言模型salesforce輝輝信息人在中國電機(jī)工程學(xué)會KSI*中國電機(jī)工程學(xué)會KSI*軟件分析軟件理解電子半導(dǎo)體軟件分析軟件理解石油石化生產(chǎn)制造石油石化力水濾信息自信息自圖對齊內(nèi)容自動生成05機(jī)器語言大模型MLM(全球首個)中國電機(jī)工程學(xué)會功能安全分析、性能優(yōu)化、功能拓展功能工具性能生成優(yōu)化漏洞工具性能生成優(yōu)化漏洞攻防保護(hù)軟件遷移分析多平臺語義分析語義搜索功能分類語義語義搜索功能