11/research/working-groups/ai-容c）不得重新分發(fā)該草案；(d)商標(biāo)、版權(quán)或其他聲明不得被移除。您可以根據(jù)美國(guó)版權(quán)法的合理使用條款引用草案的部?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有2報(bào)告中文版支持單位行業(yè)第二，為全國(guó)的工業(yè)、政務(wù)、醫(yī)療、教育、交通、金方面的決策權(quán)和控制權(quán)，確保了CSA在這些核心領(lǐng)域的獨(dú)立性和自主性。4?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有報(bào)告英文版編寫(xiě)專(zhuān)家SiahBurkePhilAlgerIlangoAllikuzhiBakrAbdouhVinayBansalVijayBolinaBrianBrinkleyAnupamChatterjeeJasonClintonAlanCurranVidyaBalasubramanianSandyDunnDavidGeeZackHamiltonVicHargraveAntonChuvakinJerryHuangAlessandroGrecoRajeshKambleGianKapoorRicoKomendaVaniMittalAnkitaKumariJasonMortonAmeyaNaikDannyManimboGabrielNwajiakuVishwasManralMeghanaParwatePrabalPathakRuchirPatwaBrianPendletonKunalPradhanAmitSharmaOmarSantosDr.JoshuaScarpinoCalebSimaNataliaSemenovaBhuvaneswariSelvaduraiJamillahShakoorTalShapiraAshishVashishthaAkramSheriffSrinivasTatipamulaMaria(MJ)SchwengerMahmoudZamaniRaphaelZimme5?2024云安全聯(lián)盟大中華區(qū)版權(quán)所有9在人工智能技術(shù)迅速發(fā)展的背景下，大語(yǔ)言模型（LLM）已成為推動(dòng)技術(shù)創(chuàng)新和業(yè)務(wù)轉(zhuǎn)型的核心力量。其在自然語(yǔ)言理解、生成與處是一系列復(fù)雜的風(fēng)險(xiǎn)和挑戰(zhàn)，尤其是在安全性、隱私保為應(yīng)對(duì)這些挑戰(zhàn)，CSA大中華區(qū)發(fā)布《大語(yǔ)言模型威脅分類(lèi)》報(bào)告，旨在為行 12 12 15 17 18 20 25 27 27 28 28 29 29 29 30 31 32 32 33 34 34 34 35 35 36 36 36 36 37 37 38 38 39 39 39 394.7不安全的應(yīng)用程序/插件 40 42本報(bào)告由云安全聯(lián)盟(CSA)人工智能(AI)控制框架工作組基于CSAAI安全計(jì)劃所和定義。本報(bào)告的撰寫(xiě)目的是希望能夠提供一個(gè)共享的語(yǔ)助CSAAI控制工作組和CSAAI技術(shù)本報(bào)告所采納的定義與分類(lèi)體系是建立在現(xiàn)有文獻(xiàn)與組長(zhǎng)充分探討后所形成的。通過(guò)上述過(guò)程，有了這些定義和分類(lèi)，針對(duì)評(píng)估人工智能威脅和風(fēng)致性。建立通用術(shù)語(yǔ)的目的在于其可以避免語(yǔ)義上的混淆，與CSAAI控制框架的關(guān)系本報(bào)告所定義的控制目標(biāo)將涵蓋與網(wǎng)絡(luò)安全有關(guān)的與網(wǎng)絡(luò)安全相關(guān)的安全、隱私、透明度、問(wèn)責(zé)制和可1.大語(yǔ)言模型概述本章節(jié)定義了實(shí)施、管理大語(yǔ)言模型（LLM）系統(tǒng)所必需的基礎(chǔ)組件，涵蓋了圖2）。除上述內(nèi)容外，本章節(jié)還探討了資產(chǎn)保護(hù)的注意事項(xiàng)，此外，本節(jié)還探討1.1.數(shù)據(jù)資產(chǎn)1.用于訓(xùn)練、基準(zhǔn)測(cè)試、測(cè)試和驗(yàn)證的數(shù)據(jù)：這包括用于訓(xùn)練、基準(zhǔn)測(cè)試、測(cè)試這對(duì)打造模型最終的效果是至關(guān)重要的。每個(gè)數(shù)據(jù)元素都被單獨(dú)創(chuàng)建并管理。2.微調(diào)訓(xùn)練數(shù)據(jù)：模型經(jīng)過(guò)初始訓(xùn)練后會(huì)用到一些額外的數(shù)據(jù)對(duì)其進(jìn)行微調(diào)或進(jìn)一步的預(yù)訓(xùn)練，這有利于調(diào)整模型的參數(shù)，使其更緊密地3.檢索增強(qiáng)生成（RAG）：即將外部知識(shí)庫(kù)與大語(yǔ)言模型集成到一起。模型在生索相關(guān)信息，如互聯(lián)網(wǎng)，通過(guò)擴(kuò)展輸入內(nèi)容及提煉模據(jù)進(jìn)行管理，并記錄了每個(gè)所使用的數(shù)據(jù)集的來(lái)源、流程軌敏感度和合規(guī)性檢查等相關(guān)的信息。隨著數(shù)據(jù)內(nèi)容、所有權(quán)對(duì)數(shù)據(jù)卡片進(jìn)行適應(yīng)性更新以確保數(shù)據(jù)的合規(guī)性和可5.輸入數(shù)據(jù)（系統(tǒng)級(jí)提示）：輸入數(shù)據(jù)是指提供給大語(yǔ)言模型的用于確定上下文和邊界的內(nèi)容。在生成式對(duì)抗技術(shù)背景下，這類(lèi)數(shù)據(jù)還可用于查詢(xún)語(yǔ)句、模型最終生成的反饋以及用戶(hù)在使用過(guò)7.模型輸出數(shù)據(jù)：是指模型收到輸入指令后的結(jié)果反饋，包含文本型內(nèi)容、用戶(hù)8.模型參數(shù)（權(quán)重）：是指模型在訓(xùn)練過(guò)程中調(diào)用的系統(tǒng)內(nèi)部參數(shù)或權(quán)重，這些參數(shù)或權(quán)重的設(shè)定會(huì)對(duì)模型的行為產(chǎn)生重要影響9.模型超參數(shù)：是指在模型訓(xùn)練期間所指定的配置參數(shù)，包括學(xué)習(xí)率、批大小或架構(gòu)選取等參數(shù)，這些參數(shù)在塑造模型的整體括所輸入的查詢(xún)語(yǔ)句、模型最終生成的反饋、模型性能指1.2.云上大語(yǔ)言模型運(yùn)維環(huán)境1.運(yùn)行訓(xùn)練環(huán)境的云：該環(huán)境中納管了由云平臺(tái)或云服務(wù)提供商所提供的模型訓(xùn)2.運(yùn)行模型推理的云：該環(huán)境中納管了由云平臺(tái)或云服務(wù)提供商所提供的模型訓(xùn)練和模型推理過(guò)程中所需的計(jì)算資源、存儲(chǔ)設(shè)施、輔）：務(wù)提供商所提供的運(yùn)行AI應(yīng)用程序或AI服務(wù)所需的基礎(chǔ)設(shè)施，它們會(huì)使用已訓(xùn)練好的大語(yǔ)言模型的能力。它類(lèi)似于一個(gè)服務(wù)中心，利用模4.部署環(huán)境的安全性：指的是一系列簡(jiǎn)單的訪(fǎng)問(wèn)機(jī)制和政策，來(lái)規(guī)范外界對(duì)大模5.持續(xù)監(jiān)控：指的是對(duì)大模型運(yùn)維環(huán)境的性能、安全態(tài)勢(shì)、整體狀況持續(xù)監(jiān)測(cè)，包含了對(duì)訓(xùn)練環(huán)境、推理環(huán)境和應(yīng)用組件的監(jiān)測(cè)，確保模6.云托管訓(xùn)練數(shù)據(jù)（存儲(chǔ)）：指的是云平臺(tái)或云服務(wù)提供商所提供的用于模型訓(xùn)練的大量數(shù)據(jù)集，它需要強(qiáng)大的存儲(chǔ)和數(shù)據(jù)管理能力，以在機(jī)器學(xué)習(xí)領(lǐng)域中，“模型”一詞指的是能夠通過(guò)訓(xùn)練來(lái)預(yù)測(cè)或執(zhí)行特定任務(wù)的所選取的模型架構(gòu)、所采用的微調(diào)方法以及使用的開(kāi)通用大模型是大模型發(fā)展的起點(diǎn)。通常指的是大型、借助自我監(jiān)督學(xué)習(xí)技術(shù)對(duì)大量未標(biāo)記的數(shù)據(jù)進(jìn)行學(xué)習(xí)，以獲解。通常，通用大模型為后續(xù)的微調(diào)模型和專(zhuān)業(yè)化模型奠定任務(wù)或領(lǐng)域的需要。對(duì)于一些先進(jìn)和創(chuàng)新的基礎(chǔ)模型，我們可以使用“前沿模型”這一術(shù)語(yǔ)來(lái)表示AI領(lǐng)域中的一個(gè)全新基礎(chǔ)模型。從AI的角度來(lái)看，有時(shí)“基礎(chǔ)模型”微調(diào)模型是從通用大模型演進(jìn)而來(lái)，經(jīng)過(guò)改進(jìn)和調(diào)整域。微調(diào)過(guò)程，是利用了有監(jiān)督學(xué)習(xí)技術(shù)和有標(biāo)記的特開(kāi)源大模型與閉源大模型的主要區(qū)別在于對(duì)模型源件訪(fǎng)問(wèn)的許可。開(kāi)源模型可能會(huì)公布它們部分或全部的訓(xùn)練發(fā)所用的數(shù)據(jù)、模型架構(gòu)、權(quán)重和工具，以開(kāi)源許可證的形特定條款和條件下免費(fèi)使用。然而，閉源模型保持了私有化其源代碼、模型權(quán)重和技術(shù)細(xì)節(jié)，這通常出于保護(hù)知識(shí)產(chǎn)權(quán)許用戶(hù)訪(fǎng)問(wèn)模型進(jìn)行微調(diào)或推理的閉源模型特定領(lǐng)域大模型指的是能夠在特定領(lǐng)域如金融、醫(yī)療模型卡片是用來(lái)描述大模型特征的。它是一種維護(hù)大模性能特征、模型訓(xùn)練的數(shù)據(jù)集、訓(xùn)練順序等。這也型的行為。模型卡片需要隨著文本元數(shù)據(jù)的變化不斷維護(hù)和更更多關(guān)于模型卡片的詳細(xì)信息可以在HuggingFace平臺(tái)上獲取到，該平臺(tái)是一個(gè)專(zhuān)門(mén)的機(jī)器學(xué)習(xí)社區(qū)，能夠提供大模型、數(shù)據(jù)集和1.4.服務(wù)編排緩存服務(wù)指的是一種系統(tǒng)或組件，它們通過(guò)緩其他數(shù)據(jù)來(lái)提高大模型的請(qǐng)求效率和性能，減少冗余計(jì)頻繁訪(fǎng)問(wèn)的數(shù)據(jù)，有助于降低請(qǐng)求響應(yīng)時(shí)間并且減）：安全網(wǎng)關(guān)，也稱(chēng)為L(zhǎng)LM網(wǎng)關(guān)，是作為大語(yǔ)言模型和外部系統(tǒng)交互的中間件。部署服務(wù)簡(jiǎn)化了大語(yǔ)言模型在不同環(huán)境（包括監(jiān)測(cè)服務(wù)在監(jiān)督大語(yǔ)言模型的安全性、性能、安全要。這些服務(wù)使用監(jiān)控工具和技術(shù)收集實(shí)時(shí)信息，來(lái)檢測(cè)異入攻擊等）并發(fā)出警報(bào)，從而實(shí)現(xiàn)系統(tǒng)安全性，通過(guò)主動(dòng)維如模型量化、剪枝、高效的推理策略，來(lái)提高大語(yǔ)言模型的效率，降低計(jì)算開(kāi)銷(xiāo)，通過(guò)引入自定義和集成插件，大語(yǔ)言模型可以實(shí)現(xiàn)行接各類(lèi)系統(tǒng)、應(yīng)用程序和數(shù)據(jù)源。這些插件使模型更具靈活場(chǎng)景或行業(yè)需要調(diào)整模型的功能，而且還提升了與既有架構(gòu)大語(yǔ)言模型通用代理是指與大語(yǔ)言模型協(xié)作以或組件。這些代理可用來(lái)執(zhí)行各種任務(wù)，如l增強(qiáng)大語(yǔ)言模型部署在不同操作環(huán)境中的多功能性和適應(yīng)1.5.AI應(yīng)用容生成到語(yǔ)言翻譯，由大語(yǔ)言模型驅(qū)動(dòng)的AI應(yīng)用已經(jīng)徹底改變了行業(yè)，重塑了我些應(yīng)用程序利用大語(yǔ)言模型強(qiáng)大的功能來(lái)編譯和處理自然AI應(yīng)用也可能對(duì)經(jīng)濟(jì)產(chǎn)生重大影響。隨著企業(yè)日益依賴(lài)AI應(yīng)用以推動(dòng)創(chuàng)新、簡(jiǎn)化運(yùn)營(yíng)并獲取競(jìng)爭(zhēng)優(yōu)勢(shì)，負(fù)責(zé)任的應(yīng)用開(kāi)發(fā)與部署對(duì)于維通過(guò)在AI控制框架中優(yōu)先考慮AI應(yīng)用程序，組織可以積極應(yīng)對(duì)與大語(yǔ)言模型驅(qū)動(dòng)的應(yīng)用相關(guān)的挑戰(zhàn)和風(fēng)險(xiǎn)，同時(shí)發(fā)揮其變能夠幫助AI治理組織、AI委員會(huì)和監(jiān)管機(jī)構(gòu)了解這些應(yīng)用及其使用的AI能2.LLM服務(wù)的生命周期以及整個(gè)生命周期至關(guān)重要。從構(gòu)想和規(guī)劃的籌備階段到每個(gè)階段都被納入一個(gè)綜合框架，該框架旨在改善服務(wù)交一致性。組織可以通過(guò)這種結(jié)構(gòu)化方法清晰有效地管理服這個(gè)階段為整個(gè)LLM開(kāi)發(fā)過(guò)程奠定了基礎(chǔ)，并且極大地影響了模型的質(zhì)在構(gòu)建大語(yǔ)言模型（LLM）的過(guò)程中，數(shù)據(jù)收集應(yīng)專(zhuān)注于識(shí)別那些多樣化、規(guī)模龐大且質(zhì)量上乘的數(shù)據(jù)源，包括文本和代碼等。我們不僅實(shí)踐，還要警惕數(shù)據(jù)中可能存在的偏見(jiàn)。確保我們所收集的的需求，而且能夠反映我們對(duì)長(zhǎng)期管理制度的承諾，以避免不一致和不相關(guān)信息）、分類(lèi)（根據(jù)邏輯主題或），考慮處理器類(lèi)型（如CPU、GPU、TPU）以包括穩(wěn)定的操作系統(tǒng)、豐富的庫(kù)和編程環(huán)境。利用云基礎(chǔ)家提供深入的語(yǔ)言專(zhuān)業(yè)知識(shí)；倫理學(xué)家則評(píng)估模型的在構(gòu)建大語(yǔ)言模型（LLM）的準(zhǔn)備過(guò)程中，我們首先需要明確定義模型的目標(biāo)和用途。這將指導(dǎo)我們?cè)跀?shù)據(jù)選擇和處理過(guò)程中做出負(fù)實(shí)施強(qiáng)有力的隱私保護(hù)措施是至關(guān)重要的。這不僅包括作和模型開(kāi)發(fā)的基石，在數(shù)據(jù)收集、管理和存儲(chǔ)的各階在這一階段，我們的目標(biāo)是將精心準(zhǔn)備的數(shù)據(jù)和強(qiáng)大的學(xué)習(xí)率、批量大小和網(wǎng)絡(luò)層數(shù)等。這些參數(shù)的選擇將直指標(biāo)，如準(zhǔn)確率、困惑度和BLEU分?jǐn)?shù)，這些指標(biāo)將幫助我們識(shí)別模型性能的改進(jìn)們?yōu)槲覀兲峁┝艘粋€(gè)強(qiáng)大的起點(diǎn)。通過(guò)對(duì)這些模型進(jìn)行微調(diào)要，并決定是選擇現(xiàn)成的開(kāi)源或閉源組件，還是開(kāi)發(fā)自算法，如梯度下降法，迭代更新模型參數(shù)，些可以是單詞、子單詞單元或單個(gè)字符。標(biāo)記化的主要目流程中的基礎(chǔ)步驟。正確的標(biāo)記化方法可以顯著提升模型風(fēng)險(xiǎn)的應(yīng)用場(chǎng)景中。通過(guò)增強(qiáng)模型的可解釋性，我們能種優(yōu)化技術(shù)，如模型量化和剪枝，旨在提升模型運(yùn)行效率訓(xùn)練數(shù)據(jù)集以及其他組件的每一次變更。這一做法2.3評(píng)估與確認(rèn)評(píng)估階段是在部署大語(yǔ)言模型（LLM）之前，對(duì)其進(jìn)行嚴(yán)格的性能、可靠性和務(wù)的BLEU分?jǐn)?shù)。定性評(píng)估則可能包括人類(lèi)評(píng)審員對(duì)輸出的流暢性、連貫性和相關(guān)數(shù)據(jù)漂移是指輸入數(shù)據(jù)隨著時(shí)間推移發(fā)生變化，降。當(dāng)模型真實(shí)輸入數(shù)據(jù)與模型訓(xùn)練數(shù)據(jù)有偏離時(shí)，模型的模型漂移是指隨著時(shí)間推移，輸入特征和目標(biāo)變量之間從而導(dǎo)致模型的預(yù)測(cè)能力下降。這種漂移可能由多種數(shù)據(jù)漂移和模型漂移都會(huì)導(dǎo)致機(jī)器學(xué)習(xí)模型的性題進(jìn)行持續(xù)監(jiān)控并采取有效措施至關(guān)重要。持續(xù)監(jiān)控、重IaaC：采用基礎(chǔ)設(shè)施即代碼（InfrastructureasCode）的方法，將基礎(chǔ)設(shè)施的配置和管理過(guò)程自動(dòng)化和代碼化。這可以帶來(lái)更改可追溯性、回如，醫(yī)療保健或金融等特定領(lǐng)域的插件）。同時(shí)，必須安全：在供應(yīng)鏈中應(yīng)優(yōu)先考慮安全性，包括保護(hù)API端點(diǎn)、實(shí)施用戶(hù)身）：進(jìn)行交互，開(kāi)發(fā)結(jié)構(gòu)良好的API，提供清晰的AP檢索增強(qiáng)生成（RAG）：考慮將檢索組件集成到大模型中，以便模型能夠訪(fǎng)問(wèn)）：應(yīng)用程序順暢交互。根據(jù)大模型的上下文環(huán)境，定制可觀(guān)察性：為了跟蹤API使用情況、LLM性能和錯(cuò)誤率，建立全面的日志記錄和監(jiān)控Bug修復(fù)：識(shí)別并解決在模型訓(xùn)練、微調(diào)或部署過(guò)程中出現(xiàn)的代碼錯(cuò)誤或系統(tǒng)重新訓(xùn)練模型：隨著與大語(yǔ)言模型（LLM）交互數(shù)據(jù)特性的變化，可能需要更舉旨在解決概念漂移和性能下降問(wèn)題，或以此為在整個(gè)操作和維護(hù)過(guò)程中，持續(xù)監(jiān)控模型，以識(shí)別模型意行為或偏差。通過(guò)主動(dòng)監(jiān)控和及時(shí)干預(yù)，確保及時(shí)變更管理在維護(hù)模型的穩(wěn)定性和性能方面至關(guān)重要。管理流程，記錄所有的更新并跟蹤其對(duì)性能的影響。另一變更管理程序，有效管理模型的演進(jìn)，減少系統(tǒng)中斷和性為潛在的停機(jī)情況制定計(jì)劃也是模型維護(hù)的關(guān)更新或維護(hù)要有一定的預(yù)見(jiàn)性并制定針對(duì)性工作計(jì)劃。一方保他們了解停機(jī)窗口及伴隨的服務(wù)中斷。并確保利益相關(guān)方通過(guò)主動(dòng)解決停機(jī)問(wèn)題，組織方在滿(mǎn)足用戶(hù)的期望和2.6服務(wù)退出進(jìn)行存檔。按照組織方（此處建議討論統(tǒng)一）的數(shù)據(jù)保留策略全、合規(guī)的存儲(chǔ)。存檔內(nèi)容對(duì)歷史分析、審計(jì)、模型迭代或復(fù)法規(guī)：遵守?cái)?shù)據(jù)治理法規(guī)（如GDPR、CCPA），安全地授權(quán)的訪(fǎng)問(wèn)或潛在濫用。對(duì)于存儲(chǔ)在物理介質(zhì)（如硬盤(pán)、SSD或可移動(dòng)存儲(chǔ)）上的模型，考慮采用物理銷(xiāo)毀方法，確保數(shù)據(jù)無(wú)法被恢復(fù)。即可3.大語(yǔ)言模型服務(wù)影響分類(lèi)我們可以將影響類(lèi)別直接對(duì)應(yīng)到已經(jīng)確立的CIA安全三要素（機(jī)密性、完整性能會(huì)被泄露給未授權(quán)的個(gè)人，這涉及敏感信息，可能包括個(gè)人數(shù)據(jù)、商業(yè)訪(fǎng)問(wèn)。這些干擾可能包括服務(wù)拒絕攻擊、系統(tǒng)故障、意外停機(jī)、過(guò)高的計(jì)4.大語(yǔ)言模型服務(wù)威脅分類(lèi)大語(yǔ)言模型服務(wù)威脅分類(lèi)的初始列表涵蓋一系4.1模型操縱模型操縱涉及試圖逃避檢測(cè)或操縱大語(yǔ)言模型產(chǎn)生不正括直接或間接指令注入（對(duì)抗性輸入）等技術(shù)，旨在利用4.2數(shù)據(jù)投毒數(shù)據(jù)投毒是指操縱大語(yǔ)言模型訓(xùn)練數(shù)據(jù)的一種行據(jù)中注入虛假、誤導(dǎo)性或無(wú)用信息，或利用數(shù)據(jù)集中已有的情況，數(shù)據(jù)投毒都可能使模型受到污染，導(dǎo)致模型學(xué)習(xí)到錯(cuò)4.3敏感數(shù)據(jù)泄露敏感數(shù)據(jù)泄露指的是對(duì)大語(yǔ)言模型服務(wù)在處理或存授權(quán)訪(fǎng)問(wèn)、披露或泄露的威脅。這類(lèi)敏感信息可能涵蓋個(gè)人據(jù)或機(jī)密文件。一旦這些數(shù)據(jù)遭到泄露，可能會(huì)引發(fā)隱私侵4.4模型竊取模型竊取（也稱(chēng)為模型蒸餾）指的是惡意行為者未經(jīng)授模型。攻擊者可能會(huì)嘗試對(duì)模型的架構(gòu)進(jìn)行逆向工程，或者數(shù)。這種行為可能會(huì)導(dǎo)致知識(shí)產(chǎn)權(quán)被盜用，或者模型被未4.5模型故障/失靈等問(wèn)題。此類(lèi)事件可能會(huì)破壞服務(wù)可用性、降低性能4.6不安全的供應(yīng)鏈不安全的供應(yīng)鏈指的是在大語(yǔ)言模型的生態(tài)或服務(wù)的引入而產(chǎn)生的安全漏洞。這些漏洞可能被惡意利服務(wù)的安全性和可靠性，例如通過(guò)使用被篡改的軟件庫(kù)4.7不安全的應(yīng)用程序/插件對(duì)敏感資源進(jìn)行未經(jīng)授權(quán)的訪(fǎng)問(wèn)，這些都會(huì)對(duì)集成系統(tǒng)的4.8拒絕服務(wù)4.9缺少治理/合規(guī)性理與合規(guī)政策的風(fēng)險(xiǎn)。未能遵循治理與合規(guī)標(biāo)準(zhǔn)可能導(dǎo)致法采取全面的方法應(yīng)對(duì)大模型服務(wù)的威脅風(fēng)險(xiǎn)，包括但不措施、進(jìn)行持續(xù)的風(fēng)險(xiǎn)評(píng)估、集成威脅情報(bào)，以及制定針對(duì)從安全控制和風(fēng)險(xiǎn)管理的角度出發(fā)，我們需要大模型的弱點(diǎn)可能表現(xiàn)在多個(gè)方面，如訓(xùn)練數(shù)架構(gòu)的缺陷。例如，模型對(duì)訓(xùn)練數(shù)據(jù)中統(tǒng)計(jì)模式的依賴(lài)