?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：688561政務(wù)大模型是專注在政務(wù)領(lǐng)域的行業(yè)大模型，政務(wù)大模型在通用大模型基礎(chǔ)上，通過(guò)檢索增強(qiáng)生成或者模型微調(diào)等技術(shù)手段，使模型更加貼合政務(wù)的特點(diǎn)和需求。基于政務(wù)大模型的應(yīng)用，為政府決策、公共服務(wù)、帶來(lái)了全新的變政務(wù)大模型安全風(fēng)險(xiǎn)主要包括七個(gè)主要類型，即數(shù)據(jù)安全風(fēng)險(xiǎn)、訓(xùn)練語(yǔ)料安全風(fēng)險(xiǎn)、模型安全風(fēng)險(xiǎn)、應(yīng)用安全風(fēng)險(xiǎn)、軟件供應(yīng)鏈安全風(fēng)險(xiǎn)、生成內(nèi)容風(fēng)政務(wù)大模型的安全治理框架是保障其安全、合規(guī)運(yùn)行的基礎(chǔ)。全面的安全其中，合規(guī)是首要原則，涉及多項(xiàng)法律法規(guī)、規(guī)章制度的遵循。安全技術(shù)保障是政務(wù)大模型安全治理框架的核心，涵蓋從基礎(chǔ)安全措施、數(shù)據(jù)安全、大政務(wù)大模型的安全治理上，需要政府、企業(yè)、研究機(jī)構(gòu)、監(jiān)管機(jī)構(gòu)等各方協(xié)作，形成良性互動(dòng)生態(tài)體系，構(gòu)建安全、可靠、有序的環(huán)境，充分發(fā)揮政務(wù)?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：6885611生成式人工智能快速發(fā)展，政務(wù)大模型為數(shù)字政府賦能人工智能已成為引領(lǐng)科技革命和產(chǎn)業(yè)變革的戰(zhàn)略性新興產(chǎn)業(yè)，以大模型為代表的生成式人工智能，是人工智能技術(shù)發(fā)展的重要方向。基于大模型的生成式人工智能，從文本處理到聲音、圖像、視頻等多媒體處理，從理解知識(shí)到創(chuàng)大模型正在賦能千行百業(yè)。在政府行業(yè)，大模型推動(dòng)政府邁入智能化。在數(shù)字政府建設(shè)中，大模型將提升政府服務(wù)水平，提高政務(wù)服務(wù)的體驗(yàn)，同時(shí)優(yōu)化決策制定、加強(qiáng)政府內(nèi)部協(xié)同、提升城市治理能力，為打造服務(wù)化、智能化、1.1政務(wù)大模型應(yīng)用廣泛，各地陸續(xù)開(kāi)展應(yīng)用實(shí)踐政務(wù)大模型在政務(wù)領(lǐng)域有著廣泛的應(yīng)用場(chǎng)景。首先，在公共服務(wù)方面，政務(wù)大模型可以提供智能化的政務(wù)咨詢和辦事指引。為公眾提供準(zhǔn)確、個(gè)性化的其次，在政務(wù)辦公方面，大模型可以輔助公文寫(xiě)作、文檔處理、會(huì)議紀(jì)要整理、內(nèi)部知識(shí)管理等日常工作。它還可以分析部門(mén)間的數(shù)據(jù)，發(fā)現(xiàn)管理中的再者，在城市治理等政府監(jiān)管領(lǐng)域，大模型可分析城市運(yùn)行的大數(shù)據(jù)，預(yù)測(cè)和識(shí)別問(wèn)題，支持政府進(jìn)行更科學(xué)的決策和更有效的資源分配，實(shí)現(xiàn)城市管理的智能化和精細(xì)化。例如在城市應(yīng)急管理方面，大模型能夠快速整合道路攝政務(wù)大模型開(kāi)始在一些省市落地。在北京亦莊經(jīng)開(kāi)區(qū)，亦智政務(wù)大模型服務(wù)平臺(tái)正式上線。平臺(tái)實(shí)現(xiàn)了智慧政務(wù)小助手、迎商中心數(shù)字人、智能決策助手、亦城慧眼、實(shí)驗(yàn)室智能監(jiān)管等多個(gè)場(chǎng)景應(yīng)用。在北京市生態(tài)環(huán)境局，打造了生態(tài)環(huán)境“監(jiān)管－監(jiān)測(cè)－監(jiān)察”--“三監(jiān)”聯(lián)動(dòng)大模型，支撐了新階段大氣污染?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：6885611.2政務(wù)大模型，以通用大模型為基礎(chǔ)來(lái)構(gòu)建政務(wù)大模型是專注在政務(wù)領(lǐng)域的行業(yè)大模型，是在通用大模型的基礎(chǔ)上，通過(guò)知識(shí)增強(qiáng)、模型微調(diào)或者增量預(yù)訓(xùn)練來(lái)構(gòu)建。政務(wù)大模型構(gòu)建是一個(gè)循序漸進(jìn)的過(guò)程。首先，可以對(duì)通用大模型進(jìn)行知識(shí)增強(qiáng)，通過(guò)提示詞調(diào)優(yōu)和數(shù)據(jù)檢索提升問(wèn)答效果。再者，通過(guò)微調(diào)和增量預(yù)訓(xùn)練形成政務(wù)領(lǐng)域垂直模型。不同的構(gòu)建方式，都是將大模型技術(shù)與政務(wù)需求緊密結(jié)合，提高大模型對(duì)政務(wù)行圖1：政務(wù)大模型應(yīng)用構(gòu)建方式1.3政務(wù)大模型，在應(yīng)用形式和模型適配上具有多樣性政務(wù)領(lǐng)域涉及多個(gè)層級(jí)的政府機(jī)構(gòu)、不同的職能部門(mén)，以及廣泛的公共服務(wù)范疇。這種復(fù)雜的應(yīng)用環(huán)境要求大模型具有多樣化的特征，以適應(yīng)不同的需求和場(chǎng)景。大模型應(yīng)用自身的多樣性，疊加數(shù)字政府不同職能部大模型應(yīng)用形式多樣，在與用戶交互界面上，有對(duì)話機(jī)器人、與現(xiàn)有以作為獨(dú)立的應(yīng)用程序，如智能客服，類似于面向互聯(lián)網(wǎng)用戶的大模型對(duì)?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：688561Agent智能體受到關(guān)注，智能體具備自主性、反應(yīng)性和學(xué)習(xí)能模型適配也具有多樣性，政務(wù)大模型可以通過(guò)知識(shí)增強(qiáng)、模型微調(diào)和增量預(yù)訓(xùn)練，學(xué)習(xí)政務(wù)相關(guān)的知識(shí)，提高政務(wù)大模型回答的準(zhǔn)確性。檢索務(wù)業(yè)務(wù)的上下文，大模型在回答問(wèn)題或生成文本時(shí)能夠引用相關(guān)信息，提高生成內(nèi)容的質(zhì)量。大模型如果需要回答精確的數(shù)據(jù)，如智慧問(wèn)數(shù)應(yīng)用，政務(wù)大模型應(yīng)用和模型適配的多樣性，為政務(wù)大模型應(yīng)用落地帶來(lái)復(fù)雜性。在政務(wù)大模型應(yīng)用開(kāi)始，需要仔細(xì)考慮應(yīng)用場(chǎng)景和目標(biāo)，確定應(yīng)用圖2：典型政務(wù)大模型應(yīng)用場(chǎng)景?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：6885612政務(wù)大模型安全風(fēng)險(xiǎn)分類隨著政務(wù)大模型在政府管理、公共服務(wù)中的廣泛應(yīng)用，其強(qiáng)大的自然語(yǔ)言和數(shù)據(jù)處理和分析能力為政府決策、社會(huì)治理帶來(lái)了全新的變革。然而，政務(wù)大模型的應(yīng)用也伴隨著各種潛在的風(fēng)險(xiǎn)，尤其在用戶隱私、數(shù)據(jù)安全、內(nèi)容監(jiān)管等方面，涉及政務(wù)的特定要求和合規(guī)風(fēng)險(xiǎn)。本文將從政務(wù)特點(diǎn)出發(fā)，分析大本文圍繞政務(wù)大模型與應(yīng)用系統(tǒng)展開(kāi)討論安全風(fēng)險(xiǎn)及安全治理方法，通用大模型相關(guān)風(fēng)險(xiǎn)，如“可解釋性差的風(fēng)險(xiǎn)、偏見(jiàn)歧視風(fēng)險(xiǎn)、魯棒性風(fēng)險(xiǎn)等內(nèi)容”2.1數(shù)據(jù)安全風(fēng)險(xiǎn)數(shù)據(jù)是大模型智慧的來(lái)源，通過(guò)獲取外部數(shù)據(jù)及政務(wù)數(shù)據(jù)，進(jìn)行數(shù)據(jù)處理，形成高質(zhì)量訓(xùn)練數(shù)據(jù)集。數(shù)據(jù)處理過(guò)程，面臨多種風(fēng)險(xiǎn)：數(shù)據(jù)違規(guī)收集、數(shù)據(jù)泄露、勒索風(fēng)險(xiǎn)、違規(guī)使用風(fēng)險(xiǎn)等風(fēng)險(xiǎn)；同時(shí)數(shù)據(jù)標(biāo)注環(huán)節(jié)也至關(guān)重要，伴隨數(shù)據(jù)的違規(guī)收集：政務(wù)大模型使用數(shù)據(jù)往往涉及公眾的個(gè)人信息和國(guó)家機(jī)密，若這些數(shù)據(jù)的收集和使用不符合法律規(guī)定，將面臨嚴(yán)重的法律后違規(guī)使用數(shù)據(jù)：使用未授權(quán)或違規(guī)數(shù)據(jù)進(jìn)行數(shù)據(jù)泄露：政務(wù)大模型在研發(fā)和應(yīng)用過(guò)程中，因數(shù)據(jù)處理不當(dāng)、非授權(quán)訪問(wèn)、惡意攻擊等問(wèn)題，可能導(dǎo)致政務(wù)數(shù)據(jù)勒索風(fēng)險(xiǎn)：大模型使用的政務(wù)數(shù)據(jù)若被黑客攻破，可能遭遇數(shù)據(jù)勒索或進(jìn)而影響數(shù)據(jù)的準(zhǔn)確性和一致性。標(biāo)注規(guī)則的不清晰還可能導(dǎo)致關(guān)鍵信?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：688561息被忽略或誤標(biāo)，影響模型的性能與決策能力，尤其是在政務(wù)領(lǐng)域，錯(cuò)標(biāo)注人員風(fēng)險(xiǎn)：標(biāo)注人員的安全意識(shí)直接關(guān)系到數(shù)據(jù)的安全性。若標(biāo)注人員缺乏安全意識(shí)，可能無(wú)意中泄露敏感數(shù)據(jù)，或在標(biāo)注過(guò)程中引發(fā)信息泄露。此外，惡意標(biāo)注人員可能通過(guò)竊取數(shù)據(jù)、投放惡意信息（數(shù)據(jù)標(biāo)注數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)：數(shù)據(jù)標(biāo)注的準(zhǔn)確性、一致性和完整性不足，會(huì)導(dǎo)致2.2訓(xùn)練語(yǔ)料安全風(fēng)險(xiǎn)訓(xùn)練語(yǔ)料在模型訓(xùn)練中至關(guān)重要，它直接決定了模型的學(xué)習(xí)質(zhì)量和生成內(nèi)容的準(zhǔn)確性。如果訓(xùn)練語(yǔ)料存在數(shù)據(jù)投毒或內(nèi)容違規(guī)風(fēng)險(xiǎn)，不僅會(huì)誤導(dǎo)模型學(xué)數(shù)據(jù)投毒：攻擊者可能通過(guò)投放惡意或虛假數(shù)據(jù)干擾大模型的訓(xùn)練，導(dǎo)內(nèi)容違規(guī)風(fēng)險(xiǎn)：訓(xùn)練語(yǔ)料的內(nèi)容包含個(gè)人敏感信息、誤導(dǎo)性信息等不當(dāng)2.3大模型使用安全風(fēng)險(xiǎn)隨著政務(wù)大模型的深入應(yīng)用，其安全風(fēng)險(xiǎn)也日益凸顯。大模型應(yīng)用安全風(fēng)險(xiǎn)是政務(wù)大模型應(yīng)用過(guò)程中不可忽視的關(guān)鍵問(wèn)題，如使用未備案的基礎(chǔ)模型，可能引發(fā)合規(guī)性問(wèn)題；大模型在生成內(nèi)容的過(guò)程中存在輸出不當(dāng)內(nèi)容的風(fēng)險(xiǎn)，可能產(chǎn)生違背法律、社會(huì)倫理或政策導(dǎo)向的結(jié)果，帶來(lái)輿論和社會(huì)風(fēng)險(xiǎn)；此外，使用不合規(guī)的基礎(chǔ)模型：使用不合規(guī)的基礎(chǔ)模型可能導(dǎo)致違規(guī)操作，并面臨法律和行政處罰。如：根據(jù)國(guó)家監(jiān)管要求，政務(wù)大模型的基礎(chǔ)生成不當(dāng)內(nèi)容風(fēng)險(xiǎn)：政務(wù)大模型在生成文本或提供建議時(shí)，可能輸出?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：688561模型泄露風(fēng)險(xiǎn)：政務(wù)大模型的模型權(quán)重、參數(shù)和架構(gòu)一旦泄露，可能被不法分子利用進(jìn)行攻擊或偽造內(nèi)容，甚至可以通過(guò)模型反向推測(cè)訓(xùn)模型篡改風(fēng)險(xiǎn)：政務(wù)大模型一旦被攻擊者通過(guò)惡意手段進(jìn)行未經(jīng)授權(quán)的修改，會(huì)導(dǎo)致大模型生成錯(cuò)誤或誤導(dǎo)性信息，甚至故意篡改政策解2.4應(yīng)用安全風(fēng)險(xiǎn)政務(wù)大模型的應(yīng)用在開(kāi)發(fā)和使用過(guò)程中，面臨著一系列安全風(fēng)險(xiǎn)。如開(kāi)源組件可能存在漏洞，代碼安全風(fēng)險(xiǎn)及代碼泄露問(wèn)題，應(yīng)用上線后面臨的代碼安全風(fēng)險(xiǎn)：政務(wù)大模型代碼的安全性直接影響系統(tǒng)的穩(wěn)定性和可信性。如果代碼開(kāi)發(fā)中缺乏安全措施，可能引發(fā)數(shù)據(jù)篡改、系統(tǒng)崩潰等問(wèn)代碼泄露：政務(wù)系統(tǒng)中包含大量涉及政務(wù)信2.5軟件供應(yīng)鏈安全風(fēng)險(xiǎn)政務(wù)大模型應(yīng)用系統(tǒng)的軟件供應(yīng)鏈風(fēng)險(xiǎn)主要包括開(kāi)源軟件漏洞、惡意代碼植入和供應(yīng)商管理不善，供應(yīng)鏈安全風(fēng)險(xiǎn)直接威開(kāi)源軟件漏洞：政務(wù)大模型應(yīng)用中使用的開(kāi)源軟件可能存在未修復(fù)的漏惡意代碼植入：第三方組件或開(kāi)發(fā)工具可能被植入惡意代碼，危及系統(tǒng)?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：688561供應(yīng)商管理不善：供應(yīng)商的安全能力差異也帶來(lái)風(fēng)險(xiǎn)，如代碼質(zhì)量低、模型復(fù)用的缺陷傳導(dǎo)風(fēng)險(xiǎn)：依托基礎(chǔ)模型進(jìn)行二次開(kāi)發(fā)或微調(diào)，是常見(jiàn)的大模型應(yīng)用建設(shè)模式，如果基礎(chǔ)模型存在安全缺陷，將導(dǎo)致風(fēng)險(xiǎn)傳導(dǎo)惡意植入模型后門(mén)：攻擊者通過(guò)在大模型的訓(xùn)練或部署階段植入惡意代碼或邏輯，使得模型在接收到特定的觸發(fā)提示繞過(guò)正常的安全限制。這類后門(mén)攻擊尤其危險(xiǎn)，它可以讓模型在表面上正常工作，但當(dāng)特定條件滿足時(shí)，模型會(huì)進(jìn)入類似越獄狀態(tài)，允許執(zhí)行2.6生成內(nèi)容風(fēng)險(xiǎn)大模型通過(guò)多源異構(gòu)調(diào)度發(fā)揮更大價(jià)值，大模型生成內(nèi)容安全合規(guī)風(fēng)險(xiǎn)極其重要，如生成違背社會(huì)主義核心價(jià)值觀的內(nèi)容、侵犯知識(shí)產(chǎn)權(quán)、泄露個(gè)人信內(nèi)容違反社會(huì)主義核心價(jià)值觀：政務(wù)大模型涉及政策解讀、公眾溝通等方面，生成的內(nèi)容必須符合社會(huì)主義核心價(jià)值觀，確保正確的政治導(dǎo)向和輿論引導(dǎo)。如果大模型生成的內(nèi)容出現(xiàn)違背國(guó)家政策或不符合主流價(jià)侵犯知識(shí)產(chǎn)權(quán)：政務(wù)大模型在生成政策文件、解讀報(bào)告時(shí)，可能無(wú)意間泄露個(gè)人信息：政務(wù)大模型處理大量個(gè)人信息，如果在生成內(nèi)容時(shí)無(wú)意包含歧視內(nèi)容：大模型可能由于訓(xùn)練數(shù)據(jù)的偏差，生成包含性別、種族2.7大模型自身風(fēng)險(xiǎn)政務(wù)大模型自身面臨著多方面的安全風(fēng)險(xiǎn)，特別是在涉及公眾服務(wù)和敏感信息的政務(wù)場(chǎng)景中，大模型自身安全風(fēng)險(xiǎn)可能會(huì)對(duì)大模型的安全性和穩(wěn)定性帶提示注入攻擊：惡意用戶可能通過(guò)特定提示引導(dǎo)政務(wù)大模型生成錯(cuò)誤或拒絕服務(wù)攻擊：通過(guò)向政務(wù)大模型發(fā)送大量無(wú)效或惡意請(qǐng)求，使得系統(tǒng)資源被耗盡，導(dǎo)致模型響應(yīng)緩慢或完全無(wú)法工作。一旦政務(wù)大模型因?yàn)榫芙^服務(wù)攻擊而無(wú)法及時(shí)處理請(qǐng)求，可能會(huì)導(dǎo)致政務(wù)服務(wù)中斷，影響政提示詞泄露：政務(wù)大模型中可能包含特定的提示詞，這些提示詞用于觸發(fā)某些關(guān)鍵功能或提供額外的上下文信息。如果這些提示詞被泄露，攻擊者可能利用這些信息訪問(wèn)模型的內(nèi)部機(jī)制或繞過(guò)安全限制，獲取敏感通用越獄漏洞：攻擊者通過(guò)利用模型中的安全漏洞或設(shè)計(jì)缺陷，試圖突破模型原有的限制。在政務(wù)大模型場(chǎng)景下，攻擊者可能通過(guò)復(fù)雜的交互引導(dǎo)模型生成或揭露本不該公開(kāi)的機(jī)密信息，從而威脅到國(guó)家安全或重政務(wù)大模型作為推動(dòng)政府?dāng)?shù)字化轉(zhuǎn)型的關(guān)鍵技術(shù)，具有廣泛的應(yīng)用前景，但其潛在風(fēng)險(xiǎn)也不容忽視。為確保大模型的安全、合規(guī)使用，政府機(jī)構(gòu)必須在技術(shù)開(kāi)發(fā)和應(yīng)用過(guò)程中加強(qiáng)風(fēng)險(xiǎn)管理，落實(shí)各類防護(hù)措施，確保大模型為政務(wù)表1：政務(wù)大模型安全風(fēng)險(xiǎn)總結(jié)3政務(wù)大模型安全治理框架探索包容、審慎的大模型安全管理模式，結(jié)合大模型應(yīng)用建設(shè)場(chǎng)景，制定政務(wù)大模型安全治理框架。大模型安全工作應(yīng)結(jié)合模型應(yīng)用的實(shí)際場(chǎng)景，按照由易到難、由低風(fēng)險(xiǎn)到高風(fēng)險(xiǎn)逐步推進(jìn)的思路，選取負(fù)面影響較小、涉及重要的數(shù)據(jù)較少的場(chǎng)景，進(jìn)行先行先試，逐步探索推進(jìn)，確保大模型應(yīng)用的安全性圖3：政務(wù)大模型安全治理框架隨著政務(wù)大模型在政府管理與公共服務(wù)中的廣泛應(yīng)用，其安全治理成為一個(gè)關(guān)鍵問(wèn)題。政務(wù)大模型不僅處理海量的政務(wù)數(shù)據(jù)，還需要遵循國(guó)家的法律法規(guī)，確保數(shù)據(jù)隱私和安全。因此，構(gòu)建一個(gè)全面的安全治理框架，能夠有效確保大模型的安全、合規(guī)應(yīng)用，避免潛在風(fēng)險(xiǎn)。基于合規(guī)要求，本文將從安全機(jī)制、基礎(chǔ)安全措施、數(shù)據(jù)安全、大模型安全、開(kāi)發(fā)安全及運(yùn)行安全等方面，構(gòu)3.1合規(guī)要求在政務(wù)大模型的安全治理框架中，合規(guī)是首要原則，涉及多部法律法規(guī)、《生成式人工智能服務(wù)安全基本要求》等。確保政務(wù)大模型的合規(guī)運(yùn)行，是安3.2安全機(jī)制為了保障政務(wù)大模型在實(shí)際應(yīng)用中的安全性和可控性，需建立一套完善安全機(jī)制，確保大模型技術(shù)在政務(wù)領(lǐng)域的安全、合規(guī)和高效應(yīng)用。這些機(jī)制不僅要應(yīng)對(duì)技術(shù)本身的風(fēng)險(xiǎn)，還需統(tǒng)籌市區(qū)協(xié)同管理，分級(jí)分類對(duì)待不同應(yīng)用場(chǎng)景，3.2.1組織建設(shè)為了保障政務(wù)大模型的安全運(yùn)行，安全組織結(jié)構(gòu)起到至關(guān)重要的作用。該1.統(tǒng)籌方：由政數(shù)局負(fù)責(zé)整體安全戰(zhàn)略的制定與統(tǒng)籌，協(xié)調(diào)各方資源，確2.業(yè)務(wù)方：各委辦局及區(qū)縣負(fù)責(zé)具體政務(wù)場(chǎng)景中的大模型應(yīng)用，確保其在3.支撐方：包括模型商、數(shù)據(jù)商、應(yīng)用開(kāi)發(fā)商和第三方安全機(jī)構(gòu)，為大模型的開(kāi)發(fā)、數(shù)據(jù)管理和安全技術(shù)提供支持。支撐方需按照政府制定的安4.監(jiān)管方：由政數(shù)局和網(wǎng)信辦共同監(jiān)管，確保政務(wù)大模型的運(yùn)行符合國(guó)家3.2.2制度與規(guī)范1.市區(qū)兩級(jí)協(xié)同聯(lián)動(dòng)機(jī)制，確保不同區(qū)縣和委辦局之間的信息共享和協(xié)同2.大模型應(yīng)用分類分級(jí)管理制度對(duì)不同類型的模型進(jìn)行分級(jí)，確保針對(duì)不3.大模型應(yīng)用全過(guò)程安全管控制度貫穿應(yīng)用的各個(gè)階段，從模型開(kāi)發(fā)、測(cè)試、部署到使用及維護(hù)，確保安全風(fēng)險(xiǎn)得到全方位監(jiān)控和防范，保障數(shù)3.2.3安全測(cè)試與評(píng)估1.數(shù)據(jù)集安全評(píng)估：確保用于訓(xùn)練和運(yùn)行大模型的數(shù)據(jù)集來(lái)源合法合規(guī)，并進(jìn)行嚴(yán)格的數(shù)據(jù)隱私保護(hù)和清洗審核，避免模型從源頭引入安全風(fēng)險(xiǎn)2.生成內(nèi)容安全測(cè)評(píng)：對(duì)模型生成的文本、圖像等內(nèi)容進(jìn)行合規(guī)性和倫理審查，確保輸出不涉及敏感、虛假或不當(dāng)信息，防止傳播錯(cuò)誤信息或違3.模型及應(yīng)用安全測(cè)評(píng)：對(duì)模型本身及其在具體應(yīng)用場(chǎng)景中的安全性進(jìn)行全面評(píng)估，保障大模型供應(yīng)鏈、大模型接口、大模型自身防攻擊能力等4.安全措施評(píng)估：評(píng)估模型部署過(guò)程中的各類安全措施，包括數(shù)據(jù)加密、身份驗(yàn)證、防護(hù)機(jī)制等，確保有效防止數(shù)據(jù)泄露、攻擊入侵等安全威脅。5.定期開(kāi)展監(jiān)測(cè)與抽查：通過(guò)定期安全審查和動(dòng)態(tài)監(jiān)控，及時(shí)發(fā)現(xiàn)和解決潛在的安全隱患，并隨機(jī)抽查模型的表現(xiàn)，保障其在長(zhǎng)期運(yùn)行中的安全3.3安全保障安全技術(shù)保障是政務(wù)大模型安全治理框架的核心，它涵蓋了從基礎(chǔ)安全措3.3.1基礎(chǔ)安全保障1.縱深防御：在政務(wù)云和網(wǎng)絡(luò)層面完善縱深防御體系，通過(guò)多層次的安全2.身份管理與授權(quán)：通過(guò)嚴(yán)格的身份驗(yàn)證與訪問(wèn)控制機(jī)制，確保只有經(jīng)過(guò)授權(quán)的用戶才能訪問(wèn)大模型和相關(guān)數(shù)據(jù)，防止權(quán)限濫用或外部惡意訪問(wèn)。3.3.2數(shù)據(jù)安全1.數(shù)據(jù)來(lái)源合規(guī)：所有數(shù)據(jù)的來(lái)源必須符合法律法規(guī)，確保數(shù)據(jù)合法、合2.內(nèi)容安全合規(guī)：用于大模型訓(xùn)練的和知識(shí)增強(qiáng)的數(shù)據(jù)的內(nèi)容必須符合法3.敏感數(shù)據(jù)識(shí)別過(guò)濾：對(duì)輸入的敏感數(shù)據(jù)進(jìn)行自動(dòng)識(shí)別和過(guò)濾，確保隱私4.訓(xùn)練數(shù)據(jù)標(biāo)注安全：對(duì)標(biāo)注人員進(jìn)行嚴(yán)格的訪問(wèn)控制和管理，制定完善的標(biāo)注規(guī)范，以確保高質(zhì)量的數(shù)據(jù)標(biāo)注成果，保障順利標(biāo)注數(shù)據(jù)的保密5.數(shù)據(jù)分類分級(jí)與安全保護(hù)：根據(jù)數(shù)據(jù)的重要性和敏感性進(jìn)行分類分級(jí)管6.數(shù)據(jù)訪問(wèn)控制：嚴(yán)格控制對(duì)數(shù)據(jù)的訪問(wèn)權(quán)限，確保只有經(jīng)過(guò)授權(quán)的用戶3.3.3大模型安全1.模型訓(xùn)練安全：對(duì)大模型的訓(xùn)練過(guò)程進(jìn)行安全管控。在訓(xùn)練過(guò)程中，需采取嚴(yán)格的安全措施以防止數(shù)據(jù)泄露和非法訪問(wèn)。同時(shí)確保數(shù)據(jù)來(lái)源內(nèi)2.模型資產(chǎn)保護(hù)：對(duì)模型的算法、參數(shù)、結(jié)構(gòu)以及相關(guān)文檔進(jìn)行嚴(yán)格的保密和安全防護(hù)。對(duì)模型實(shí)施多重安全防護(hù)措施，包括訪問(wèn)權(quán)限控制、模型加密存儲(chǔ)以及防泄露技術(shù)對(duì)模型資產(chǎn)進(jìn)行保護(hù)，防止模型被非法復(fù)制、3.模型安全評(píng)測(cè)：對(duì)訓(xùn)練完成或擬上線的政務(wù)大模型進(jìn)行安全測(cè)試與評(píng)估，包括語(yǔ)料安全評(píng)估，生成內(nèi)容安全評(píng)估，模型安全評(píng)測(cè)，安全措施評(píng)估。4.模型登記備案：應(yīng)按照網(wǎng)信辦相關(guān)管理要求，開(kāi)展上線備案或登記工作。5.模型分類分級(jí)管理：根據(jù)大模型的功能、使用范圍和敏感程度，將模型劃分為不同的等級(jí)，并針對(duì)各個(gè)級(jí)別設(shè)定相應(yīng)的安全管理要求。分類分級(jí)管理機(jī)制能夠根據(jù)實(shí)際需要靈活調(diào)整管理力度，確保每個(gè)模型的安全3.3.4大模型應(yīng)用系統(tǒng)開(kāi)發(fā)安全1.需求階段：在模型應(yīng)用開(kāi)發(fā)的需求分析階段，同步進(jìn)行安全需求分析，2.供應(yīng)鏈安全：確保政務(wù)大模型應(yīng)用系統(tǒng)的軟件供應(yīng)鏈安全，確保軟件組件和工具來(lái)源可信，防止惡意代碼和供應(yīng)鏈攻擊。供應(yīng)商需符合安全標(biāo)準(zhǔn)并定期審查，嚴(yán)格控制軟件版本管理，避免未經(jīng)授權(quán)的修改，保障系3.數(shù)據(jù)準(zhǔn)備階段：在數(shù)據(jù)收集、清洗和處理過(guò)程中，確保數(shù)據(jù)安全，包括4.模型適配階段：在適配過(guò)程中，必須確保所用的大模型和數(shù)據(jù)符合安全合規(guī)要求，防止數(shù)據(jù)泄露和模型被惡意操控。實(shí)施嚴(yán)格大模型的權(quán)限管5.應(yīng)用開(kāi)發(fā)階段：確保政務(wù)大模型在應(yīng)用開(kāi)發(fā)中的代碼和系統(tǒng)架構(gòu)安全，6.上線部署與評(píng)審：在大模型上線前進(jìn)行嚴(yán)格的安全評(píng)審，并對(duì)模型進(jìn)行3.3.5運(yùn)行安全與內(nèi)容風(fēng)控大模型的運(yùn)行安全涉及內(nèi)容生成和應(yīng)用層面的多重保障，確保生成的內(nèi)容輸入內(nèi)容過(guò)濾：確保大模型在接收到輸入前經(jīng)過(guò)嚴(yán)格的內(nèi)容審查，過(guò)濾掉潛在的敏感詞、違法內(nèi)容或其他不合規(guī)信息，防止惡意輸入輸出內(nèi)容審核：大模型的輸出內(nèi)容必須經(jīng)過(guò)人工或自動(dòng)化的審核機(jī)制，確保生成的內(nèi)容符合社會(huì)主義核心價(jià)值觀、不涉及敏感話題，應(yīng)用訪問(wèn)控制：嚴(yán)格限制對(duì)大模型應(yīng)用的訪問(wèn)權(quán)限，確保只有經(jīng)過(guò)個(gè)人信息保護(hù)：政務(wù)大模型應(yīng)用在處理個(gè)人信息時(shí)，需嚴(yán)格遵循相關(guān)法律法規(guī)，采取加密、脫敏和安全存儲(chǔ)等措施，確保個(gè)人信息安3.3.6運(yùn)行監(jiān)測(cè)為了及時(shí)發(fā)現(xiàn)和應(yīng)對(duì)潛在的安全風(fēng)險(xiǎn)，政務(wù)大模型必須建立完善的運(yùn)行監(jiān)1.大模型監(jiān)管沙盒體系：通過(guò)搭建監(jiān)管沙盒環(huán)境，測(cè)試大模型在實(shí)際場(chǎng)景中的運(yùn)行表現(xiàn)，識(shí)別潛在的安全問(wèn)題和內(nèi)容風(fēng)險(xiǎn)。這有助于在模型正式2.風(fēng)險(xiǎn)監(jiān)測(cè)與事件處置：通過(guò)實(shí)時(shí)監(jiān)控系統(tǒng)，對(duì)大模型的運(yùn)行狀態(tài)、數(shù)據(jù)流動(dòng)、應(yīng)用訪問(wèn)等情況進(jìn)行監(jiān)測(cè)。一旦發(fā)現(xiàn)異常行為或安全事件，能夠政務(wù)大模型的安全治理框架是保障其安全、合規(guī)運(yùn)行的基礎(chǔ)。在這一框架中，合規(guī)要求貫穿始終，各方在安全組織結(jié)構(gòu)中的協(xié)同合作至關(guān)重要，同時(shí)通過(guò)嚴(yán)密的安全技術(shù)保障和運(yùn)行監(jiān)測(cè)，確保大模型的安全性、可靠性和穩(wěn)定性。最終，政務(wù)大模型的安全治理框架能夠幫助政府機(jī)構(gòu)在數(shù)字化轉(zhuǎn)型過(guò)程中，有4政務(wù)大模型風(fēng)險(xiǎn)控制關(guān)鍵舉措4.1大模型分類分級(jí)安全管控4.1.1分類分級(jí)安全管理制度針對(duì)不同類型的大模型，應(yīng)根據(jù)其用途、使用范圍、影響力及風(fēng)險(xiǎn)水平，制定科學(xué)合理的分類分級(jí)安全機(jī)制，由低風(fēng)險(xiǎn)到高風(fēng)險(xiǎn)逐步探索推進(jìn)。對(duì)低風(fēng)險(xiǎn)領(lǐng)域的大模型，進(jìn)行先行先試；高風(fēng)險(xiǎn)領(lǐng)域的大模型，必須采取更加嚴(yán)格的安全措施和審查機(jī)制，確保其在使用過(guò)程中不會(huì)對(duì)社會(huì)產(chǎn)生負(fù)面影響。通過(guò)實(shí)施分級(jí)管理和風(fēng)險(xiǎn)評(píng)估，確保高風(fēng)險(xiǎn)模型在使用前經(jīng)過(guò)嚴(yán)格的審查和評(píng)估，確保其安全性和合規(guī)性，防范潛在風(fēng)險(xiǎn)，維護(hù)4.1.2分類分級(jí)安全管控與保護(hù)措施探索并建立大模型分類分級(jí)安全管控與保護(hù)措施。依據(jù)大模型的分類分級(jí)評(píng)定結(jié)果，制定并部署切實(shí)有效的安全措施，包括對(duì)大模型網(wǎng)絡(luò)進(jìn)行必要的隔離，以減少潛在風(fēng)險(xiǎn)。應(yīng)對(duì)身份授權(quán)和訪問(wèn)權(quán)限進(jìn)行動(dòng)態(tài)細(xì)粒度控制，以確保只有經(jīng)過(guò)授權(quán)的用戶能夠訪問(wèn)相關(guān)資源。通過(guò)先進(jìn)的技術(shù)手段，確保應(yīng)用開(kāi)發(fā)過(guò)程的安全性和應(yīng)用運(yùn)行的安全防護(hù)，從而全面保障大模型在各個(gè)應(yīng)用場(chǎng)景中4.2大模型與應(yīng)用系統(tǒng)安全測(cè)試與評(píng)估對(duì)政務(wù)大模型的合規(guī)評(píng)估進(jìn)行事前、事中、事后的全流程管理。事前，訓(xùn)練完成或處于試運(yùn)行階段的大模型，應(yīng)由第三方專業(yè)機(jī)構(gòu)按照大模型評(píng)測(cè)標(biāo)準(zhǔn)系統(tǒng)全面的安全測(cè)試和評(píng)估；擬上線大模型應(yīng)按照市委網(wǎng)信辦相關(guān)管理要求，開(kāi)展上線備案或登記。事中，大模型項(xiàng)目通過(guò)竣工驗(yàn)收后，向市政數(shù)局提交投入使用申請(qǐng)時(shí)，需補(bǔ)充大模型項(xiàng)目安全測(cè)評(píng)報(bào)告、市委網(wǎng)信辦備案/登記證明等材料。事后，市政數(shù)局定期組織開(kāi)展技術(shù)檢測(cè)和監(jiān)測(cè)抽查，防范不良信息出現(xiàn)，?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：6需求擬上線的大模型和應(yīng)用系統(tǒng)測(cè)評(píng)及備案生成內(nèi)容安全評(píng)估語(yǔ)料/知識(shí)庫(kù)安全評(píng)估模型及應(yīng)用安全測(cè)評(píng)提交安全測(cè)評(píng)報(bào)告提交備案或登記材料監(jiān)督檢查技術(shù)檢測(cè)監(jiān)測(cè)抽查各委辦局需求擬上線的大模型和應(yīng)用系統(tǒng)測(cè)評(píng)及備案生成內(nèi)容安全評(píng)估語(yǔ)料/知識(shí)庫(kù)安全評(píng)估模型及應(yīng)用安全測(cè)評(píng)提交安全測(cè)評(píng)報(bào)告提交備案或登記材料監(jiān)督檢查技術(shù)檢測(cè)監(jiān)測(cè)抽查訓(xùn)練完成或處于試運(yùn)行階段的大模型和應(yīng)用系統(tǒng) 按照市委網(wǎng)信辦要求，開(kāi)展上線備案或登記安全措施評(píng)估投入使用評(píng)審4.3內(nèi)容風(fēng)險(xiǎn)控制模型訓(xùn)練建立多層次的內(nèi)容審核體系，綜合運(yùn)用自動(dòng)化檢測(cè)與人工審核機(jī)制，全面過(guò)濾風(fēng)險(xiǎn)內(nèi)容。加強(qiáng)訓(xùn)練數(shù)據(jù)的篩選與標(biāo)注，剔除潛在風(fēng)險(xiǎn)的數(shù)據(jù)，以確保數(shù)據(jù)源的可靠性和準(zhǔn)確性。部署包括敏感詞過(guò)濾、上下文分析及多層次審核等技術(shù)措施，對(duì)生成內(nèi)容進(jìn)行風(fēng)險(xiǎn)內(nèi)容識(shí)別與過(guò)濾。實(shí)施實(shí)時(shí)監(jiān)測(cè)與反饋機(jī)制，以模型訓(xùn)練數(shù)據(jù)準(zhǔn)備模型應(yīng)用數(shù)據(jù)準(zhǔn)備模型應(yīng)用大模型應(yīng)用大模型應(yīng)用用戶專有數(shù)據(jù)外部數(shù)據(jù)境內(nèi)數(shù)據(jù)境外數(shù)據(jù)內(nèi)容輸出微調(diào)訓(xùn)練大模型應(yīng)用大模型生成模型運(yùn)行訓(xùn)練數(shù)據(jù)集敏感內(nèi)容過(guò)濾預(yù)訓(xùn)練數(shù)模型備案隱私去除模型部署用戶輸入獲取結(jié)果SFT問(wèn)題標(biāo)注?敏感問(wèn)題去除大模型訓(xùn)練輸入內(nèi)容審核輸出內(nèi)容審核意圖識(shí)別選擇模型4.4數(shù)據(jù)安全風(fēng)險(xiǎn)控制以場(chǎng)景牽引、需求導(dǎo)向?yàn)樵瓌t，系統(tǒng)探索政務(wù)大模型業(yè)務(wù)場(chǎng)景下的數(shù)據(jù)安全保護(hù)和隱私保護(hù)措施。綜合運(yùn)用包括數(shù)據(jù)加密、數(shù)據(jù)脫敏、去標(biāo)識(shí)化、隱私計(jì)算及數(shù)據(jù)流轉(zhuǎn)監(jiān)測(cè)等在內(nèi)的多種手段，建立完善的數(shù)據(jù)安全保護(hù)體系，確保政務(wù)數(shù)據(jù)在存儲(chǔ)、傳輸和使用過(guò)程中的安全性。同時(shí)，積極探索區(qū)塊鏈技術(shù)的應(yīng)用，以增強(qiáng)政務(wù)大模型訓(xùn)練數(shù)據(jù)的安全性和透明性，從而提升數(shù)據(jù)管理的可?奇安信集團(tuán)股票簡(jiǎn)稱：奇安信股票代碼：64.5監(jiān)管沙盒機(jī)制建立大模型安全監(jiān)管沙盒體系，對(duì)政務(wù)大模型訓(xùn)練數(shù)據(jù)的流動(dòng)進(jìn)行全方位、實(shí)時(shí)的監(jiān)控和管理。及時(shí)識(shí)別和預(yù)防數(shù)據(jù)濫用、非法訪問(wèn)及未經(jīng)授權(quán)的傳輸行為，確保數(shù)據(jù)安全。強(qiáng)化對(duì)潛在風(fēng)險(xiǎn)的預(yù)警和控制，進(jìn)一步提升政務(wù)數(shù)據(jù)的安圖4：政務(wù)大模型監(jiān)管沙盒機(jī)制5政務(wù)大模型安全治理展望大模型快速演進(jìn)，其推理能力不斷增強(qiáng)，幻覺(jué)問(wèn)題不斷優(yōu)化。圍繞大模型的相關(guān)技術(shù)也隨著發(fā)展，例如出現(xiàn)多個(gè)智能體協(xié)作，調(diào)用不同能力的大模型，5.1大模型監(jiān)管逐漸規(guī)范，行業(yè)細(xì)化規(guī)范隨著大模型的快速發(fā)展，不斷有新的法律法規(guī)和標(biāo)準(zhǔn)出現(xiàn)，來(lái)規(guī)范大模型的有序安全發(fā)展。政務(wù)大模型也需要遵守這些法律規(guī)范，以及強(qiáng)制性標(biāo)準(zhǔn)的合政務(wù)大模型需要遵守通用大模型以及人工智能方面的法律法規(guī)。在數(shù)據(jù)政府領(lǐng)域，針對(duì)政務(wù)大模型，可能會(huì)出現(xiàn)專門(mén)的行業(yè)監(jiān)管標(biāo)準(zhǔn)，指導(dǎo)政務(wù)大模型政務(wù)大模型涉及敏感的政務(wù)數(shù)據(jù)，其運(yùn)行直接影響公共利益和國(guó)家安全。與商業(yè)大模型