執?摘要開源基礎模型已成為創新的重要驅動?之?根據斯坦福?學《2024年AI指數報告》1，2023年全球總共發布了149個基礎模型，?2022年發布的數量翻了?倍還多，?且更??例是開源的。在這些新發布的模型中，有%是開源的，相?之下，2022年只有44.4%，2021年只有33.3%的模型是開源的。根據全球開源社區HuggingFace的調研2，Llama1和Llama2現在已經衍?出了3萬個新模型。多位專家預計，即將推出的Llama3M00B將會是“?個GPT-M級別的開源模型”。如何治理開源AI已成為短期內重要的未解決議題之?的政策和實踐。在制定相關政策時，各國需要綜合考開源AI也成為多項政策探索的核?。盡管這些政策旨在平衡技前沿AI開源的主要爭論領先的基礎模型研發機構近年決定開源其模型或限制對其模型的訪問，引發了關于是否以及如何開放能??益增強的基礎模型的爭論。AI開源成為潛在不安AI開源是“確保對技術信任的唯?途徑”，強調開放性對于促進創新此外，從企業視?看，有關開源和閉源的討論和實踐或多或少地帶有商業利益的考量。1StanfordHAI,“2024AIIndexReport”,2024-04-15,/report/.2ClemDelangue,“Llama3iso?ciallythemodelfromreleaseto#1trendingonHugging-injusta,,/.超越簡單化的“開放與封閉”爭論雖然開放基礎模型帶來了發展與安全之間的緊張關系不可能完全消除，但我們提倡可以超越簡單化的?維視?，探索更豐富的發布政策設計空間。將AI模型簡單地劃分為開源或閉源是?種過于簡化的做法。開源AI的概念尚未得到清晰定義，與開源軟件不同，AI模型的“源代碼”可能包括多種組件，這些組件的開放程度可以各AI研發機構治理評測指出，傾向于開放模型的機構和傾向于封閉模型的機構各有所?。本報告的討論范圍設定參考了斯坦福?學基礎模型研究中?的“開放基礎模型”概念圖3推動基礎模型負責任開源的務實?案AI不同程度開源可能引?更?的潛在?險。因此，我們建議推動負責任開源，這包括兩個層?：建議根據基礎模型的?命周期和AI模型，負責任主要體現在提?透明度、確保合規和促進創新。?對于能?更強的前沿模型，需要實施與模型的潛在?險相稱的評測和安全緩解措施。3RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.建議開發者應考慮開源的替代?雖然嚴格意義上我們討論的是“負責任發布”，但我們希望通過突出“負責任開源”的概念，推動開源AI安全治理的討論，并促進負責任開源實踐的發展。?向四類?標群體和國際合作分別提出建議本報告是為中國的基礎模型研發機構、AI開源社區、AI治理/政策/?法專家、AI投資?和我們倡導在全球范圍內AI技術和治理能?，推動形成具有?泛共識的??險模型治理框架和標準規范。術語定義本報告聚焦?基礎模型的負責任開源。?規模機器學習模型相關術語，主要參考斯坦福?學、智源研究院：模型開源和開放相關術語，主要參考斯坦福?學、?津?學研究機構：開源AI)：概念尚未得到清晰定義，不同機構都?它來表?不同程度的“公開可?”；開放源代碼促進會(OSI)等機構正致?于明確定義開源AI。FoundationModels)：基礎模型在發布時，其權重是?泛可?的；不嚴格區分時，也會稱為“開源基礎模型”“開放模型”“開源模型”。封閉基礎模型(ClosedFoundationModels)：基礎模型在發布時，其權重不是?泛可?，可能受?定限制或完全封閉；不嚴格區分時，也會稱為“閉源基礎模型”“封閉模型”“閉源模型”“受限模型”。負責任開源(Responsible開源項?的維護者和貢獻者在開源過程中遵循?定的道德和法律標準，確保技術的構建和發布對社會和個?是安全和有益的，這可能包括安全性、透明度、可訪問性、包容性、合規性、社區治理和?態和創新影響等??。模型能?相關術語，主要參考全球AI安全峰會、前沿模型論壇：AI)：?能?的通?AI模型，能執??泛的任務，并達到或超過當今??智能?險相關術語，主要參考?津?學研究機構：Risk)：?種可能發?的事件或過程，若發?將導致全球約10%或更多??喪?，或造成類似損害。致謝本報告的主要貢獻者：）、謝旻希、程遠、段雅?北京?學??智能研究院：楊耀東感謝安遠AI伙伴潘漢?、張玲、王婧?對內容的貢獻。?錄?車?金 ITOC\o"1-2"\h\z\u各國積極發布基礎模型相關政策，開源部分取向不同 1歐盟《AI法案》創全球?部全?AI監管法，設獨特開源豁免規定 1美國?宮《AI?政命令》關注?泛可?的模型權重所帶來的挑戰 3英國政策?件謹慎對待開放與封閉之爭，防范監管捕獲 6法國將開源AI作為其“創新優先”發展AI的核?戰略之? 7中國??智能法的兩份專家建議稿對開源問題做不同處理 9其他全球南?國家?勵AI?險與收益研究，以開放科學應對全球發展 111.7?結 12審慎開放vs?勵開放，前沿AI開源的主要爭論 13爭論主要在于前沿AI的濫?和失控?險 13?場?：審慎開放，防范?險的開放?檻須標準更? 15?場?：?勵開放，邊際?險的嚴謹證據仍相當有限 19兩種?場的異同點 24爭論之外的?場三：是否開源主要取決于商業考量 252.6?結 26開源vs閉源，是錯誤的?分法 27不同于開源軟件，開源AI的概念尚未得到清晰定義 27從“完全開放”到“完全封閉”之間存在多種模型發布選項 29基礎模型安全性評測：開放vs封閉模型均顯?出對各種攻擊的脆弱性 33AI研發機構治理評測：傾向于開放vs封閉模型的機構各有所? 38負責任開源之?：促進開放發布從構建到使?的全流程負責任實踐 43負責任開源之?：在封閉發布中探索實現開源等效收益的替代?案 493.7?結 59對推動基礎模型負責任開源的建議 60基礎模型研發機構 60AI開源社區 61AI治理、政策和?法專家 62AI投資?和資助? 63負責任開源的國際合作 63各國積極發布基礎模型相關政策，開源部分取向不同我認為，如何監管開源??智能，是短期內最重要的未解決問題。?加?·?庫斯(GaryMarkus)4AI相關政策時，通常需要綜合考慮促進創新?態、技術安全與可控性、隱AI的治理政策框架。AI的治理上，雖然都希望能平衡發展與安全，但整體監管取向和具體條款設計有所不同。歐盟《AI法案》創全球?部全?AI監管法，設獨特開源豁免規定AI技術的監管上?在了世界前列。接下來《AI法案》還需得到歐盟理事會的正式批準，但最艱難的?法階段已經過去，距離最終出臺僅?步之遙。法案?2021年以來?直在制定中。?那時起，該技術已經發?了快速?顯著的發展，該提案也經歷了多次修訂以跟上步伐。的出現引發了控制基礎模型的?輪修訂。談判在2023年2?底達到?熱化程度。法國、德國和意?利為了保護本國的開發者，試圖削弱對基礎模型的限制6。最后敲定的協議條款對被認為具有特別危險性的AI的使?做出了限制，但減輕了中?型公司和模型開源、開發的負擔。4DavidHarris,“Open-SourceAIIsUniquelyDangerous”,2024-01-12,/open-source-ai-2GGG932122.5EuropeanParliamentArti?cialIntelligenceAct2024-04-23t.6GianVolpicelli,“PowergrabbyGermanyandItalytokillEU'sAIbill”,2023-11-20,到?前為?，歐盟主要通過以下這些法案對開源模型或軟件的安全管理做出規定：時間主要法案對開源AI或軟件的規定2024年3?《AI法案》AI系統可2024年3?《產品責任指令》不應適?于在商業活動之外開發或提供的免費且開源軟件及其源代碼。2024年3?《?絡彈性法案》根據開源軟件的所屬和開發?式，實施分層安全管理。2020年10?《開源軟件戰略(2020-2023年)》建?世界?流的公共服務，?勵更多地使?開源軟件來進?構建，?勵共享和重復使?軟件、應?程序，以及數據、信息和知識，以期通過共享源代碼來為知識社會作出貢獻。歐盟對開源AI或軟件做出規定的主要法案（本報告?制）注：《?絡彈性法案》《產品責任指令》《AI法案》歐洲議會已批準，還需歐盟理事會正式批準后?效歐盟《AI法案》對開源AI設定了?些獨特的規定。但如果AI系統是免費開源的，則產品，?如那些提供付費技術?持或1025AI模型，這些模型必須遵守更為嚴格的規定，包括提供詳細的技術?檔和進?安全測試。系統可以豁免，但這也為根據開源許可證開發的科研?途的模型轉為商業?途提供了可能，從?繞過了部分安全法規。此外，歐盟《產品責任指令》的草案7也擴?了AI系統的適?范圍，涵蓋所有AI產品，為了不妨礙創新或研究，該指令也明確說明不應適?于在商業活動之外開發或提供的免費且開源軟件及其源代《?絡彈性法案》的草案進?步引起爭議，尤其是關于上游開源開發者可能要為下游產品的安全缺陷承擔責任的條款，引發了開源社區的?泛反響，?封公開信稱該法案可能會對軟件7EuropeanParliament,“NewProductLiabilityDirective”,2023-12-14,https://www.europarl.europa.eu/RegData/etudes/BRIE/2023/7393M1/EPRS_BRI(2023)7393M1_EN.pdf.開發產?“寒蟬效應”8。對此，歐盟提出了分層安全管理的概念9，要求單獨開發并控制產品內開源軟件的商業實體需要承擔所有的合規性責任，但減輕了對開源軟件基?會或類似?持組織下協作開發的或多?協作開發開源軟件的管理壓?，確保開源項?可以在合理的法律框架內運?。2024年3?，歐洲議會正式批準了《?絡彈性法案》，之后還須得到歐盟理事會的正式通過才能成為法律，?最終?效要到2027年，這就給了各?時間來滿?法律要求并梳理各種合規細節。在監管實踐??，歐盟設?了AI辦公室，負責監督并制定模型的標準和測試實踐10。AI的開發和使?。在某些情況下，例AI模型沒有任何不同。這些新規則的復雜性可能會使其更難在歐盟內推?開源AI。AI法案因可能對技術進步和產業發展產?制約，也受到了?泛質疑12。這些法案的最終效果，還有待時間的檢驗。美國?宮《AI?政命令》關注?泛可?的模型權重所帶來的挑戰?政命令》），該?政命令為AI安全和保障建?了新的標準，意圖保護美國?眾的隱私，促?AI，提升美國在全球的領導?。8EclipseFoundationetal.,“OpentotheEuropeanCommissionontheCyberResilienceAct”,2023-04-17,/news/announcements/open-letter-european-commission-cyber-resilience-act.9Euractive,“EUpolicymakers'advanceonopensourcesoftware,supportperiodinnewcybersecuritylaw”,2023-10-31,rt-period-in-new-cybersecurity-law.10EUArti?cialIntelligenceAct,“TheAIO?ce:Whatisit,andhowdoesitwork?”,https://arti?cialintelligenceact.eu/the-ai-o?ce-summary/.1u,es,1,.12魯傳穎：歐盟推出全球?部AI法案，會形成效應還是陷阱？2024-03-27，/info/zlyaq/7029.13TheWhiteHouse,“ExecutiveOrderontheSafe,Secure,andDevelopmentandUseofIntelligence”,2023-10-30,/brie?ng-room/presidential-actions/2023/10/30/executive-order-on-the-safe-secure-and-trustworthy-development-and-use-of-arti?cial-intelligence/.該?政命令被外界稱為“有史以來政府為推進AI安全領域所采取的最重??動”14，以確AI的前景和管理AI?險??處于領先地位，同時也明確了美國政府下?步?動措2023年發布的《AI?政命令》和針對基礎模型的《透明度法案》，也涉及了對開源模型的要求：時間主要法案對開源AI或軟件的規定2023年12?《2023年AI基礎模型透明度法案》152023年10?《關于安全、可靠和可信的AI?政命令》沒有直接提到開源，?是要求商務部?通過公開咨詢征求各利益相關?對具有?泛可?權重的雙?途基礎模型相關的潛在?險、利益、其他影響以及適當的政策和監管?法的意?，并向總統提交報告。2023年9?《CISA開源軟件安全路線圖》16?度關注開源軟件漏洞“連鎖”效應、供應鏈“投毒”等兩類特有?險，實?美國政府?絡和關鍵基礎設施“?核?”重點保護，強化開源?態系統“?范圍”聯動協作。2023年3?《2023年開源軟件安全法案》17強調了開源軟件作為公共數字基礎設施的重要性，但需針對其安全性挑戰加強監管。2022年9?《2022年保護開源軟件法案》18建議美國?絡安全和基礎設施安全局(CISA)創建“?險框架”，以降低使?開源軟件系統的?險。14BBC,“USannouncesglobalactionyet'onAIsafety”,2023-10-31,e/g.15USCongress,“AIFoundationModelActof2023”,2023-12-22,/bill/118th-congress/house-bill/G881.16CybersecurityandInfrastructureSecurityAgency,“CISAOpenSourceSoftwareSecurityRoadmap”,2023-09,/sites/default/?les/2023-09/CISA-Open-Source-Software-Security-Roadmap-508c.pdf.17USCongress,“S.917-SecuringOpenSourceSoftwareActof2023”,2023-03-22,/bill/118th-congress/senate-bill/917/text.8S,3-gneetf,,e/.《關于安全、可靠和可信的AI?政命令》沒有直接提到開源(OpenSource)?詞，?是對更具體的具有?泛可?模型權重的雙重?途基礎模型(Dual-UseFoundationModelswithWidelyAvailableModelWeights)進?了規定，主要集中在第4節（確保AI技術的安全性和安保性）的第4.6?節。該?政命令指出，“當雙重?途基礎模型的權重被?泛可?時，例如當它們在互聯?上公開發布時，創新可能會帶來巨?的收益，但也會帶來巨?的安全?險，例如移除模型內的安全措施。”具體規定如下：“在命令發布之?起270天內，商務部?應通過通信和信息助理部?，并與國務卿協商，通過公開咨詢過程征求私營部?、學術界、?間社會及其他利益相關者對于具有?泛可?權重的雙?途基礎模型相關的潛在?險、利益、其他影響以及適當的政策和監管?法的意?。并將收集到的意?，與其他相關機構負責?協商后向總統提交?份報告。”這個任務既需要技術洞察?，也需要政策制定的智慧。對于開源AI有可能促進如?物和化學武器等危險材料?產的問題，?宮?政命令在第4.1?結提到了化學/?物/輻射/核威脅(CBRN)的?險，美國國會?前正在考慮多項法案19來應對這些威脅。第4.2?節要求?模型開發者必須分享紅隊測試中的表現結果，對使??于1026FLOPs訓練的任何模型，提出了報告安全測試結果和關鍵信息的要求，另要求?物序列數據相應的?檻是1023FLOPs。AI模型權重所帶來的挑戰，并AI技術發展，?能保護國家安全和公共利益的政策框架。《2023年AI基礎模型透明度法案》則是在此基礎上，要求聯邦貿易委員會在九個?內制開源基礎模型或基于其他基礎模型重新訓練或調整的模型制定特別規定，顯?了對開源AI的?定?持。在早些時候，國會已經提出了多項關于開源軟件的法案，如《2022年保護開源軟件法?險框架和安全職責，增強開源軟件的。《CISA開源軟件安全路線圖》進?步強調了聯合協作和安全責任，明確了開源軟件的數字公共物品屬性，?度關注開源軟件漏洞“連鎖”效應、供應鏈“投毒”等兩類特有?險。20。?些智庫專家?持，認為這是美19EdwardMarkey,“Sens.Markey,BuddAnnounceLegislationtoAssessHealthSecurityRisksofAI”,2023-07-18,ecurity-risks-of-ai.20安全內參,“拜登AI?政令評論：美國技術監管?式?轉變？或是回避‘開放式創新模式’”，2023-11-01，/articles/G02G5學者的代表致函拜登總統21擔憂??在政策制定過程中的聲?有限，并建議未來應為中?企業AI的發展的同時，也在努?確保其在不增加國家安全?險的前提下進?創新和應?。政府與公眾的合作，以及透明和公正的監管是實現這??標的關鍵。英國政策?件謹慎對待開放與封閉之爭，防范監管捕獲英國的開源產業政策由來已久，政府?勵創新，并在開源技術的開發上投?了?量的資?和?才，這讓其對?勵開放創新和AI競爭的?場?脈相承。如果沒有沒有?夠的保護措施，也可能造成傷害。組織AI的監管引?了復雜性。在英國舉辦的?屆全球AI安安全宣?》等成果與共識之外，開源模型的?險和利弊成為?個主要爭論點22。英國還在峰會上宣布成?AI安全研究所，并將“開源系統以及采?各種形式的訪問控制部署的系統”和“破壞保障措施或利?不安全的模型權重”作為其優先事項之?23。英國對于對開源AI或軟件政策?件包括：時間政策?件對開源AI的規定或?場2024年2?《?語?模型和?成式AI》報告24積極的市場成果將需要?系列在開源和閉源基礎上推動前沿的模型。呼吁政府將“開放創新和AI競爭”作為明確的政策?標。2023年3?《?種?持創新的AI監管?法》25開源模型可以提?對基礎模型的變?能?，但如果沒有?夠的保護措施，也可能造成傷害。組織在開發和提供基礎模型的?式上的差異，為AI的監管引?了?泛的復雜性。英國對開源AI或軟件做出規定的主要政策?件（本報告?制）2024年2?，英國上議院的通信和數字委員會發布《?語?模型和?成式AI》報告，強調21MartinCasado,“We'vesubmittedatoPresidentBidenregardingtheAIOrderanditspotentialforrestrictingopensourceAI”,2023-11-04,/martin_casado/status/172051702G538778G5722謝旻希,“為什么中國的參與必不可少？我參加?屆全球??智能安全峰會的所?所思（萬字回顧）”,2023-11-09,/s/_SWLDzKDOMNb0Mha1SNKFg.23UKGovernment,“IntroducingtheAISafetyInstitute”,2024-01-17,24UKParliament,“HouseofLords-LargelanguagemodelsandAI”,2024-02-02,tt.25“Apro-innovationapproachtoAIregulation”,2023-08-23,建議，包括、審查災難性?險、賦予監管機構權?等，并呼吁政府將“開放創新和AI競爭”作為明確的政策?標。年發布的《?種?持創新的AI監管?法》政組織在開發和提供基礎模型的?式上的差異，為AI的監管引?了?泛的復雜性。英國是開源技術的領導者之?，早在2004年就?次發布開源產業政策，并于2009年2?進年2?在歐盟開源政策峰會發布了其三階段報告，12.6萬名貢獻者參與了創建、開發和維護開源的?作；這?數字將近歐盟26萬名開源開發者中的?半。英國希望在政府內部?勵創新，?勵開源思維，在外部幫助發展?個充滿活?的市場。AI帶來的機遇，也嚴肅對待由法國將開源AI作為其“創新優先”發展AI的核?戰略之?AI的發展，并將其視為國家競爭?的關鍵。在這?背景下，法國將開源AI的發展。法國總統?克?在多個場合強調了創新和發展的重要性，并主張在治理之前優先考慮創新。2023年6?，?克?在歐洲科。法國的這??場與其在歐盟中的作?形成了?定AI創新26這?術語在?常使?中，指的是監管有利于受監管?業或特殊利益集團?不是公共利益的現象。WendyLi,“Regulatorycapture'sthirdfaceofpower”,2023-02-07,/10.1093/ser/mwad002.27betsbigonopen-sourceAI”,2023-08-04,發展的同時，需要平衡與歐盟政策的關系，因此法國國家信息和?由委員會(CNIL)作為法國的?政機構，在執?歐盟監管政策的同時，也在積極推動符合法國利益的AI創新政策28。時間法規或政策?件對開源AI或軟件的規定2016年《數字共和法案》增強數字領域的透明度、開放性和私?數據保護。法案中明確要求公共部?和某些私?部?開放其數據，?勵數據的?由流通和使?，同時強調保護個?隱私和數據安全2023年5?CNIL《AI?動計劃》2018年3?國家AI戰略《AI造福?類》15億歐元，?以推動AI研究、創新和商業化。政策重點?勵開源AI平臺和?具的發展，旨在建??個開放和協作的AI?態系統。法國對開源AI或軟件做出規定的主要法規或政策?件（本報告?制）法國政府對于開源AI的監管傾向于制定靈活的政策，以適應技術快速發展的需求，保證開源項?的活?不被過度監管抑制。政策明確?勵創新和數據的開放使?，但同時確保了數據安全和??隱私的保護。這種平衡的監管框架為Mistral?模型等開源AI項?提供了發展的?壤。法國的開源AI推?策略也體現在對?才的重視上。法國擁有強?的數學和信息科學基礎，這為其在??智能領域的研究提供了堅實的基礎29。法國政府通過PIA(InvestmentsfortheFutureAI的創新和應?。其中，圖靈獎得主、?席AIAI研究領域的地位愈發顯著。在產業層?，法國也涌現出了?批在開源AI領域具有國際影響?的公司。例如，HuggingFace的聯合創始?都是法國?，該公司已成為全球開源AI社區的重要參與者。法國AI初創公司MistralAI開發的旗艦模型對標GPT-M，展?了法國在?模型領域的強?實?30。MistralAI的成8,,,.29安全內參,“法國??智能發展現狀、重要舉措及啟?”,2023-09-25,/articles/59182.30智東西,“法國版OpenAI殺瘋了，1760億參數MoE登開源榜?，3張A100顯卡可跑”,2024-04-11,/newsDetail_forward_2G50G922.AI發展的?個例證31。此外，法國還有歐洲?個致?于AI開放科學研究的獨?實驗室。AI的發展，并在國際舞臺上展AI競爭中保持領先地位，也為全球開源AI社區的發展做出了貢獻。中國??智能法的兩份專家建議稿對開源問題做不同處理AI項?。但暫未發布針對基礎模型開源的相關政策法規，相關?法還在制定中。2023年10?，中國政府在第三屆“?帶?路”國際合作?峰論壇上發布了《全球??智能治理倡議》，圍繞??智能發展、安全、治理三??系統闡述了??智能治理中國?案。在國際治理中，中國政府站在全球南?的?度呼吁開源??智能技術，并倡導需要開展?向發展中國家的國際合作與援助，不斷彌合智能鴻溝和治理能?差距。時間主要倡議或建議稿對開源AI的規定或?場2024年4?《??智能?范法2.0版（專家建議稿）》32(2023年8?1.0版，9?1.1版33)重視??智能開源發展，提出促進開源社區建設、制定專?合規指引、明確責任減免規則等?持措施。2024年3?《中華??共和國??智能法（學者建議稿）》34推進開源?態建設，建?開源治理體系，免費開源的??智能/基礎模型可豁免本法。2023年10?《全球??智能治理倡議》35?勵全球共同推動??智能健康發展，共享??智能知識成果，開源??智能技術。中國對開源AI或軟件做出規定的主要倡議或建議稿（本報告?制）2023年度?法?作計劃》。其中顯?，《??智31機器之能,“拿下微軟合作、旗艦模型對標GPT-M，認識?下「歐洲版OpenAI」”,2024-03-01,/articles/202M-03-0132馮戀閣,“《??智能?范法2.0（專家建議稿）》重磅發布重視AI開源發展、構建知識產權創新規則”,2024-04-16,/article/202M0M1G/herald/Mdf710?ed0?e037cdfGc5Maa3G99G1.html.33馮戀閣,“《??智能?范法1.1（專家建議稿）》重磅發布”,2023-09-07,/article/20230907/herald/982ae3bb7b82597bMdc1f990dedGMad2.html.34數字法治，“重磅?發|《中華??共和國??智能法（學者建議稿）》”，2024-03-16,/s/2i9zAXJ5dJKlKNMfMppUDw.35中央?絡安全和信息化辦公室,“全球??智能治理倡議”，2023-10-18,/2023-10/18/c_1G9929103288M978.htm.議稿，均對開源問題做出了探討，都明確了重視開源??智能發展的積極?場。具體??，《??智能?范法2.0（專家建議稿）》相較于《中華??共和國??智能法（學者建議2023年8?，中國社會科學院國情調研重?項?《我國??智能倫理審查和監管制度建設狀況調研》課題組發布《??智能法?范法1.0(專家建議稿)》，9??發布1.1版，表?“?持建設、運營開源開發平臺、開源社區和開源項?等，推進開源軟件項?合規應?”。2024年4?，《??智能?范法2.0（專家建議稿）》發布，2.0在此前版本的基礎上不斷更新，將重視??智能開源發展，提出促進開源社區建設、制定專?合規指引、明確責任減免規則等?持措施。2.0（專家建議稿）》對于開源AI?較有特?的條款包括：1）第???對開源??智能研發規定專?的稅收優惠辦法。2）第五?九條（創新監管）國家??智能主管機關針對開源??智能研發者制訂專?的合規指引，推動開源??智能創新發展。3）第七??條（開源??智能的法律責任減免）存此外，由中國政法?學數據法治研究院牽頭的專家組，于2024年3?發布了《中華??共）》，其中開源AI的相關政策相對簡要和寬松。提出國家應推進建?開源治理體系，?勵?智能開發者、提供者應當對開源框架、基礎軟硬件和部署環境的漏洞和安全?險進?定期檢查和監測，并實時監測可能的攻擊。明確表?開源的基礎模型不需要對衍?利?承擔連帶責任、基礎模型屬于開源模型的應豁免相應的法律責任，免費開源的??智能不適?于本法。除此之外，國內學者專家也對于AI開源發展與法律規制舉辦了若?研討36,37。以發展與安全的平衡為例，部分專家認為，盡可能進?精準規制、敏捷治理，避免??切式的安全冗余設36SPPM法與公管交叉研究,“??智能?法之開源發展與法律規制會議順利召開”,2024-01-27/s/HMs7V-Jc1GPwxMoBygDROg.37中國法學創新?，“AI善治論壇在京召開發布《??智能法（學者建議稿）》”，2024-03-19,/dyna/content.php?id=2G910.?的安全評估等?段，實現?律與他律的有效結合，確保開源?模型?態在安全與健康的基礎上不斷推動創新38，我們期待就這?議題展開更深?的探討。其他全球南?國家?勵AI?險與收益研究，以開放科學應對全球發展AI平衡和解決與AI系統在彌合數字鴻溝和實現所有17項可持續發展?標??所發揮作?有關的潛在利益和?險，包括擴?開源AI系統等數字解決?案的作?”。2023年9?，《哈?那G77+中國峰會的最終宣?》40強調了對開放科學合作的需要以及推它呼吁促進?個包容和公平的技術進步環境，避免壟斷中東地區，阿聯酋積極采?開源治理模式，對?模型發放開源許可證(Open-sourceLicense)。此外，阿聯酋政府還向Falcon基?會承諾3億美元的資?，?持該?營利性機構的應?程序。有觀點認為，阿聯酋致?于開源AI的承諾在外交上取得了成功，贏得了來?全AI開發之外。其中?部分動機是為阿聯酋找到?個領域，并增強國家競爭?41。此外，巴西促進能夠驗證數據集和機器學習模型中歧視性趨勢的開源代碼的傳播42。?洲AI治理數據保護相關?法，但?前未涉及針對開源治理的重點討論43。38傅宏宇,“《中華??共和國??智能法（學者建議稿）》：產業期待中的中國?案”,2024-03-18,/a/7G51033M3_38M789.39聯合國,“聯合國?會通過?程碑式決議，呼吁讓??智能給?類帶來'惠益'”,2024-03-21,/zh/story/202M/03/112755G.40CubanMinistryforForeignA?airs,“FinalDeclarationofHavana'sG77+ChinaSummit”,/?nal-declaration-of-havanas-g77china-summit/.41Billy“TheUAEIsonaMissiontoBecomeanAIPower”,2024-03-22,/G9583G9/arti?cial-intelligence-united-arab-emirates/.42BrazilGovernment,“SummaryoftheBrazilianArti?cialIntelligence2022-02-24,r.43ThomsonReutersFoundation,“AIGovernanceforAfrica2023-11-22,01%20and%202.pdf.肯尼亞前任外?RaychelleOmamo表?，南?國家更關注的是發展，以及誰能更好地在基礎設施建設、?員培訓和公共健康等領域?持和幫助??國家，?不會關?是不是給某個國家貼上標簽。全球南部的許多國家仍將數字發展置于地緣政治協調之上44。?結技術發展的重視程度，也體現了對于開源AI?險與收益的不同理解和評估。???，監管機構試圖通過制定相關法規來確保AI技術的安全性和可控性，防?潛在的濫AI政策上的不同選擇和實施路徑。與此同時，產業界和學術界對于開源AI的?險和收益也展開了激烈的討論，展現出不同的AI治理政策制定的啟?和影響。44肖茜,“在慕安會感受歐美AI治理的協調與分歧”,2024-02-22,/info/subemail_wzjx/G931.審慎開放vs?勵開放，前沿AI開源的主要爭論到?前為?，AI領域的開源?直是有益的。但未來我們可能會到達?個地步，不開源在減少?險的層?會對社會更有益，盡管這會在創新速度等??有所損失。顯然，這有利有弊。?約書亞·本吉奧(JoshuaBengio)45林納斯定律：只要有?夠多的眼睛，所有的錯誤都是顯而易?的。?埃?克·雷蒙德(EricRaymond)462023年9?底，抗議者聚集在Meta舊??辦公室外，抗議其公開發布AI模型的政策，聲稱Llama系列模型發布代表了潛在不安全技術的“不可逆轉的擴散”47。但也有?表?，?乎沒有證據表明開源模型造成了任何具體損害，AI研發的開源是“確保對技術信任的唯?途徑”。爭論主要在于前沿AI的濫?和失控?險?多數AI應開放并?爭議圖靈獎得主Bengio在討論開源AI潛在的濫??險時認為48：模型開源?般由研發機構??決定。?前?多數AI是有益/?害的，應該共享。但未來更強的AI可能因濫??產?不可逆轉的，?旦落?惡意?為者?中，國家和社會就?法控制。當ElonMusk等指責SamAltman“呼吁監管”只是為了保護OpenAI的領導地位時，SamAltman回應稱49，“應該對那些超過某??度能?閾值的?型公司和封閉模型進?更多監管，?對?型初創公司和開源模型的監管應該較少”。全的新興?險》50指出：開源AI模型可能是?項重要的公共產品。然?，前沿AI模型可能需要?相對于它們更?、更專?或能?較弱的同類模型受到更多限制。45AzeemBengio,Bengio:AI'shumanisticfuture”,2024-02-14,https://www.exponentialview.co/p/yoshua-bengio-towards-ais-humanistic.2014-05/subject/25881855/.47EddGentDecryIrreversibleProliferation'ofAI”,2023-10-06,/meta-ai.48Bengio2023-12-09,/.49ETtech,“Regulation?AI,saysOpenAICEOSamAltman”,2023-06-09,.50MarkusAnderljungetal.,“FrontierAIRegulation:ManagingEmergingRiskstoPublicSafety”,2023-11-07,/abs/2307.03718.Anthropic在《第三?測試是AI政策的關鍵組成部分》51??中認為：當今絕?多數（甚。然?，我們相信，未來前沿AI系統完全開放傳播的?化與社會安全?化之間可能很難調和。前沿AI可能因濫?和失控引發災難性?險CBRN)、虛假信息的濫??險，以及操縱欺騙、模型?主性導致的濫?和失控?險。當前證據表明開放模型和封閉模型之間存在顯著的性能差距52，但隨著開源模型的能??益接近GPT-M級別53，對于前沿AI模型是否應開源的爭論預計將更加激烈。?險類別描述?絡安全濫?CBRN濫?利?AI輔助?段創建化學/?物/輻射/核威脅相關的?險。虛假信息濫?利?AI?成傳播有害或虛假信息給公共安全帶來相關的?險。操縱欺騙濫?/失控利?AI?成內容使?們改變其信念或據此采取?動相關的?險。?主性濫?/失控更強的模型?主性使?為體能夠適應環境變化并規避被關閉，從?可能被規模化濫?。?主性也是?我復制、?我改進、資源獲取的前提。由于?前的安全技術還不夠完善，其?為可能會違背設計者或使?者的初衷（不對?）。即使沒?故意濫?，也可能成為災難性?險的來源。前沿AI可能涉及的濫?和失控?險（本報告?制）注：《布萊切利AI安全宣?》，重點關注?絡安全、?物技術、虛假信息《安全、可靠和可信AI?政命令》，重點關注?絡安全、CBRN、欺騙《北京AI安全國際共識》，重點關注?主復制或改進、權?尋求、協助武器制造、?絡安全、欺騙4）OpenAI的PreparenessCBRN、操縱（含欺騙）、?主性5）Anthropic的ResponsibleScalingPolicy1.0，重點關注?絡安全、CBRN、?主性和復制51Anthropic,“Third-partytestingasakeyingredientofAIpolicy”,2024-03-25,/news/third-party-testing.52StanfordHAI,“2024AIIndexReport”,2024-04-15,/report/.53Meta,“IntroducingLlama3:ThemostcapableopenlyavailableLLMtodate”,2024-04-18,/blog/meta-llama-3.?場?：審慎開放，防范?險的開放?檻須標準更?產業界Anthropic專注于開發安全、可控的AI系統，前沿模型均未開源54???，Anthropic認識到科學進步很?程度上依賴于研究的開放和透明?化，AI領域的許多?命性進展都是建?在開源研究和模型的基礎上的。開源系統通過允許更多?測試技術并識別潛在弱點，有助于提?安全環境的穩健性。另???，Anthropic也表達了對于前沿AI系統完全開源可能帶來的?險的擔憂。他們認為，隨著AI模型的能??益增強，如果（“如果”是?個關鍵且尚未解決的問題）存在可能導致有害影響或災難性事故的?險，那么當前的開源?化可能需要調整，以確保AI系統的安全和社會責任。，例如通過分類器檢Anthropic強調，盡管這些安全措施可能成本?昂，但為了預防AI系統可能導致的嚴重濫AI系統或系統?為的不可接受濫??為上達成?泛共識。最后，Anthropic指出，作為?家主要開發封閉系統的公司，他們沒有正當性來決定哪些他們呼吁需要合法的第三?來開發和應?被?泛認可的測試和評估?法，以及定義AI系統濫??為的標準，并對受控（例如通過API）或公）的模型進?這些測試，以?成關于AI領域安全特性的基本信息。AI事故的?險，這可能對?和社區造成重?傷害，并可能導致對AI?業不利的法規。OpenAI開源策略經歷了從相對開放到逐步收緊的過程2015-2019年的早期階段，OpenAI秉持開放、協作、造福?類的理念，主張通過開源推等平臺的源代碼，希望學術界和業界能?泛參與、共同進步。但隨著語?模型等AI系統變得越來越強?，OpenAI開始意識到技術濫?和誤?可能帶來發布時采取了分階段發54Anthropic,“Third-partytestingasakeyingredientofAIpolicy”,2024-03-25,/news/third-party-testing.任、可控發展的重視。2019年底，OpenAI宣布從?營利組織轉為"封頂利潤"的有限責任公司，以獲取更多的商業資源和靈活性。這導致了商業利益在其決策中的?重上升。為了保護??的競爭優勢和創新成果，OpenAI開始減少對開源模型和訓練代碼，同時發布的研究成果也?幅減少，像GPT-3這樣的?模型只開放API，希望既能惠及社會，?能在?定程度上控制技術的傳播和應?，但OpenAI的品牌名稱導致了?定程度的混亂56。總的來說，OpenAI的開源策略是在開放共享、?險防控和商業利益之間不斷權衡、動態調整的。這種平衡和博弈，也反映了當前整個AI領域在開源問題上的復雜性和兩難性。GoogleDeepMind開源了AlphaFold2和Gemma，但不開源前沿模型Gemini2024年2?，GoogleDeepMind的?席執?官DemisHassabis在接受《紐約時報》專訪時57，談及如何看待通過開源使基礎模型可?增加了被惡意使?其能?的?險這?批評。DemisHassabis提到，開源和開放科學對于AGI技術的發展顯然是是有益的。但他也指出開源可能帶來的?險，特別是對于強?的AGI技術，因為其通?性，?旦開源就可能被惡意利?。他解釋說，GoogleDeepMind決定開源Gemma模型的原因是因為Gemma是輕量級的版本，相對于前沿模型Gemini來說，它的能?已經得到了很好的測試和理解，因此GoogleDeepMind認為這種規模的模型相關的?險并不?。他還強調了安全性、魯棒性和責任性的重要性，特別是在接近AGI時，必須更加謹慎地考他認為，對于開源的極端主義者，必須更多地考慮這些問題，因為這些系統變得越來越強?。?此前，DeepMind還開源了AlphaFold2，但也通過內部機構審查委員會，外部?物研AlphaFold2的收益盡可能地?泛可?，同時保持對其局限和準確性的透明度58。總的來說，DemisHassabis和DeepMind?持開源，但同時也強調了在開源時需要考慮的安全性和潛在?險，特別是在AGI技術??。他們傾向于在確保?險可控的情況下進?開源，以促進技術的健康發展和?泛應?。/research/gpt-2-1-5b-release.56DavidHarris,“Open-SourceAIIsUniquelyDangerous”,2024-01-12,/open-source-ai-2GGG932122.57HardFork,“GoogleDeepMindC.E.O.DemisHassabisontheChatbotstoA.G.I.”,2024-02-23,es.58GoogleDeepmind,“Howourprincipleshelpedde?neAlphaFold'srelease”,2022-09-14,https://deepmind.google/discover/blog/how-our-principles-helped-de?ne-alphafolds-release.AI合作伙伴關系建議謹慎發布前沿模型2023年10發布《安全基礎模型部署指南》59，為AI模型提供商提供了?個框架，AI能?和?途。為了解決這些深遠的影響，PAI強調需要采取集體?動和共享安全原則。這種協作?法涉及各個不同利益相關?，包括?業界、?間機構、學術界和政府。?標是為負責任的模型開發和部署建?集體共識的最佳實踐，從?落實AI安全原則。指南的主要特點：為了適當地解決?險，模型部署指南的?針是根據每個AI模型?泛的適?性。模型部署指南適?于從現有到前沿的基礎模型全譜系。學術界探討了開放?能?基礎模型的潛在?險和替代?案益和替代?案進?了評估。AI控AI，并可關閉模型本?設計的安全措施。59GuidanceforSafeFoundationModelDeployment”,2023-10-24,60Elizabeth“Open-SourcingHighlyCapableFoundationModels”,2023-09-29,?偏向于攻擊，因為惡意?為者可以更容易地發現和利?漏洞，開源也不利于修復漏洞以及改進措施在下游實施。?組織安全合作，?勵和實現更?泛地參與AI開發、評估和治理過程。鑒于這些潛在?險、攻防失衡和替代?案，為幫助建?負責任開源的最佳實踐，在安全的前提下保留開源的優勢。作者為開發者、標準制定機構和政策制定者提出了以下建議：除了評估模型的危險能?和直接濫?之外，還必須考慮模型微調或修改可引發的濫?。開發者應考慮開源的替代?案，在獲得技術和社會效益的同時，?沒有太?的?險。AI開發和治理決策的?泛監督等。標準應基于對發布不同組件特定組合所帶來的?險的理解。政府應對開源AI模型進?監督，并在?險?夠?時實施安全措施。AI開發者或許不會?愿采??險評估和模型共享標準，政府需要通過法規來執?此類措施，并建?有效執?此類監督機制的能?。Mila等機構的學者提出可下載模型微調的?益便捷可能會增加?險2023年12?，Mila、英國AI安全研究所、劍橋?學等機構的研究?聯合發布論?《可下61AlanChanetal.“HazardsfromIncreasinglyAccessibleofDownloadableFoundationModels”,,g.基礎模型的權重，3.2節將進?步討論）。論?討論了以下?個主要??：（如改進）來降低微調的技術?檻和成本，使得更?泛的??群體能夠便捷地使?這些模型。潛在緩解措施和收益：論?討論了可能的緩解策略，例如使預訓練模型更難針對特定記憶信息。同時，論?也指出了微調的可訪問性提?可能帶來的潛在好處，如促進學術研究、適應新的?例、避免權?不平衡等。論?強調了在開放模型和提?微調可訪問性的同時，需要平衡潛在的收益和?險，并并投?場?：?勵開放，邊際?險的嚴謹證據仍相當有限產業界領先的AI開源機構：僅列舉開源了其最強模型的機構等多個重要的項?。他考量?法開源。在?模型??，2022年5?發布?語?模型，2023年2?發布Llama模型，都為?商業研究?途免費開放，并在2023年7?和2024年4?分別開源了可直接商?的?模型Llama2和Llama3。?席科學家楊?昆認為64，開源的?模型能夠吸引AI必須是開源的，因為當?模型成為通信結構的重要組成部分時，我們都需要有?個通?的基礎設施。62Henderson,“Self-DestructingModels:IncreasingtheCostsofHarmfulDualUsesofFoundationModels”,,g.63HAI,“HowtoPromoteResponsibleOpenFoundationModels”,2023-10-3,/news/how-promote-responsible-open-foundation-models.64“HownottobestupidaboutAI,withLeCun”,2023-12-22,BigScience是?個由學術界和?業界合作發起的國際開源研究項?，旨在訓練和開源有益于科學發展的?規模AI模型，在推動?模型開源和多樣性???在前列。2022年5?他們發布BLOOM-17GB等?規模多語?開源對話模型，希望讓不同語?和?化背景的??都能使?先進AI技術。該項?由Hugging聯合創始?ThomasWolf構想，他希望與?公司競爭，的?規模語?模型，讓更多?能使?和研究。EleutherAI發布系列等免費商?授權的開源模型，這些模型有不同規模，全部采?公開數據進?訓練，旨在幫助研究?員理解?模型訓練的不同階段。Connor是AI研究??發揮了重要作?，但Connor也批評是“最不負責任的AI參與者”，StabilityAI是?家致?于開發先進的圖像?成軟件開源AI的公司。其代表作StableDi?usion軟件在業界享有盛譽，最強?的開源圖像?成模型之?，被?泛應?于圖像識別、?成和編輯等領域，推動了AI藝術創作的發展和普及。AI戰略的重要組成部分，致?于推動AI技術的研究、開發和應?。TII在開源?模型領域取得了重?進展，推出180B模型，為全球研究?員和開發者提供了寶貴的資源。TII將180BAI研究的合作和發展，成為阿聯酋和中東地區積極發展AI技術的體現。IBM和聯合發起AI聯盟，合作推動開放、安全、負責任的AI發展2023年12?，IBM和Meta聯合發起AI聯盟(AIAlliance)67。這是?個國際性的技術開發者、研究?員和采?者社區。AI聯盟由超過50個創始成員和協作者組成，包括AMD、CERN、?歌、英特爾、Hugging等知名機構。該聯盟旨在通過開放創新和科學，聚焦于加速負AI硬件加速器?態系統的繁榮，以及?持全球AI技能培訓和探索性研究。65StasBekman,“千億參數開源?模型BLOOM背后的技術”,2022-07-14,https://huggingface.co/blog/zh/bloom-megatron-deepspeed.6,,,.67AIAlliance,“AIAllianceAnnounces25+NewMembers,LaunchesAISafetyandAIPolicyWorkingGroupstoEnableOpen,Safe,andResponsibleAIforAll”,2024-02-08,https://thealliance.ai/news.負責任創新實驗室發布聚焦于負責任AI的?愿承諾協議2023年11?，總部位于舊??的負責任創新實驗室(ResponsibleInnovationLabs,RIL)68發布了針對初創公司及其投資者的?個?業驅動的負責任AI承諾。這些承諾包括五個關鍵?動步驟：確保組織對負責任AI的認同、通過透明度建?信任、預測AI的?險和收益、審計和測試以確保產品安全、進?定期和持續的改進。這??愿性協議旨在提供實?指導，由多部AI初創公司、學術界和美國商務部。協議聚焦于負責任AI的?愿承諾，為早期階段的初創公司提供了針對其特定需求的資源。RIL的?標是為?益增多學術界Mozilla發起《關于AI安全和開放的聯合聲明》主張以公開訪問和審查增強安全性69聲明指出，當前正處于AI治理的關鍵時期。為了減輕當前和未來AI系統可能帶來的傷害，?不同領域的專家，如Meta的楊?昆、斯坦福?學的吳恩達、哥倫?亞?學的CamilleFran?ois、Mozilla的MarkSurman、加州?學伯克利分校的DeborahRaji、諾?爾和平獎得主MariaRessaRappler、EleutherAI的StellaBiderman等1800多位簽署者。從開源到開放科學，聲明呼吁采取多樣化的?法：為專注于創造負責任AI的新參與者降低進??檻。當談到AI安全和安保時，強調“開放性是?種解藥，?不是毒藥”。普林斯頓?學等機構的學者探討開放基礎模型的社會影響，?求促進討論的精確性7068ResponsibleInnovationLabsIntroducingtheResponsibleAICommitments2024-04-23(引??期),/responsible-ai.69Camilleetal.,“JointonAISafetyandOpenness”,2023-10-31,/letter/.70SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,/open-fms/.（通過允許更?泛的?訪問）、本地適應和推理（??可??）。這些特性帶來許多收益：?閉源軟件更容易受到攻擊或更不安全72。對模型權重的?泛訪問可實現某種形式的使?其框架對開放基礎模型的?險進?評分研究。表明該步驟已明確完成；?表?部分完成；?表?不存在該步驟（完整論?清單）7371RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.72GuidoSchryen,“IsOpenSourceSecurityaMyth?”,2024-04-12,g.73SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,/open-fms/.框架步驟步驟描述以?絡安全（?動漏洞檢測）為例威脅識別指定威脅是什么以及來?誰?所有濫?分析都應系統地識別和描述正在分析的潛在威脅為了提出明確的假設。漏洞檢測?具可?于?動執?發現軟件漏洞的過程。威脅?為者包括個??客、?團體或國家?持的攻擊者。現有?險這種威脅的現有?險是什么？攻擊者受益于漏洞檢測中?然最壞情況的不對稱性：攻擊者只需利?(不考慮開放在許多情況下，公開發布模型的?險已經單個有效漏洞即可成功，?防御者必須防御所有漏洞才能成功。現有基礎模型)存在于現實世界（盡管嚴重程度可能有所?險很?程度上受到攻擊者資源的影響：?練的攻擊者經常在攻擊設不同）。計中使??動漏洞檢測?具。模糊測試?具?期以來?直被?來查找軟件中的漏洞，Metasploit等?具也是如此，Metasploit是?個免費的滲透測試框架，可以幫助?動漏洞檢測。MITRE的AI系統對抗威脅格局是對抗性機器學習的?絡安全威脅矩陣，包括許多利?封閉基礎模型和其他類型的機器學習模型來檢測漏洞的技術。現有防御這種威脅的現有防御是什么？?絡安全防御通常采?縱深防御策略，其中防御是分層的，以確保基(不考慮開放開放基礎模型的許多所謂?險都有現有的于?層中未解決的漏洞的利?不會影響其他防御層。在漏洞檢測設置基礎模型)防御措施。中，防御者可以搶先使?漏洞檢測?具來檢測和修補安全威脅，這同樣取決于他們對資源的訪問。漏洞賞?等激勵策略可以通過激勵漏洞發現者（?客、安全研究?員、公司）報告漏洞，在?定程度上使攻防平衡向有利于防御的?向傾斜。邊際?險這種威脅的?險增量是什么？我們不知道現有證據表明惡意?為者已成功使?開放基礎模型來?動(marginal?旦威脅途徑、現有?險?平以及現有防檢測漏洞。存在暗??具?告，聲稱可以促進?動漏洞檢測，但尚不risk)的證據御措施的范圍明確后，理解開放發布模型清楚這些產品是否依賴于開放基礎模型。在考慮相對于封閉基礎的邊的邊際?險就?常重要。不僅要與現有技際?險時，雖然可以更好地監測封閉基礎模型的濫?情況，但尚不清術（如互聯?）相?較，還要與閉源的基楚此類?途是否會得到可靠性識別。也就是說，使?封閉基礎模型進礎模型的發布相?較。?漏洞檢測并不?定是濫?，這引?了區分?于?動漏洞檢測的封閉基礎模型的合法和惡意使?的重要分類問題。新?險防御改進防御措施以應對新?險有多難？?模型可以納?信息安全?具包中以加強防御。展?了?模型如何擴難易度雖然現有的防御措施為應對開放基礎模型?流?的模糊測試?具OSS-Fuzz的覆蓋范圍。基礎模型還可?于監引?的新?險提供了基線，但可以實施新測來?已部署軟件系統的信號，以發現主動攻擊的跡象。Google在其的防御措施或修改現有的防御措施，以應流?的惡意軟件檢測平臺Virus-Total中利?了?模型，使?模型來幫對總體?險的增加。助解釋特定?件中包含的惡意軟件的功能。縱深防御在輔助防御??將繼續發揮重要作?。?論?于?動漏洞檢測的模型是開放還是封閉的，信號以及以機器規模和速度分析信號的能?都可以為防御者提供不同的?持，因其可以更好地訪問系統。不確定性和分析中隱含的不確定性和假設是什么？對邊際?險和防御難易度的分析假設防御者將繼續更好地訪問最先進假設?些分歧可能源于不同研究?員對開放基的漏洞檢測?具，包括基于開放基礎模型的?具。它還假設防御者投礎模型?態系統未明確的假設。該框架要資使?這些?具來更新他們的信息安全實踐，并且隨著模型能?的提求研究?員對其具體說明，以澄清分歧。?，攻防平衡不會發?巨?變化。?險評估框架對?絡安全?險分析的實例化7474SayashKapooretal.,“OntheSocietalImpactofOpenFoundationModels”,2024-02-27,g.（如上表所?）AI進?防御。對于后者，開放基礎模型?前?前帶來了相當?的邊際?險，?且看似合理的防御似乎很困難。最后，作者希望其概念框架能夠幫助彌補當前實證證據的不?，并提出以下政策建議：AI實踐，以及哪些留給可能修改模型以在?向消費者的應?程序中使?的下游開發者。應采??險評估框架來明確闡明公開發布基礎模型?險確實?法制定良好防御措施。?前這種邊際?險的證據仍然相當有限75。兩種?場的異同點開源開放對加速創新、提?透明度、促進科審慎開放??勵開放?總體態度認為隨著基礎模型能?的增強，當前的開源?化可能需要調整，以確保安全和責任，?持有條件、漸進式的開源收益vs?險承認開源有助于外部監督、加速進步等優點，但認為對于?能?模型，開源的?險可能?于收益強調開源在分配模型?為定義權、促進創新、?持科研、實現透明、減輕單??化等??的重要價值。應客觀評估開源的邊際?險，很多?險在閉源情況下也存在75RishiBommasanietal.,“ConsiderationsforGoverningOpenFoundationModels”,2023-12-13,/issue-brief-considerations-governing-open-foundation-models.審慎開放??勵開放?如何開源主張盡可能完全、直接地開源源代碼、模型、權重等，及時開源有助于發現和修復問題，即使是前沿模型也應盡快開源，但要有配套的安全防護安全保障主張開源前應進?強有?的濫?檢測、使?限制等安全保證，??險時不應開源，政府應加強監管執法提倡在開源的同時加強防御措施，??嚴格管控。呼吁明確開發者和下游開發者的責任劃分監管政策更傾向于嚴格監管。建議制定細粒度的模型開源標準，政府應對??險模型實施必要的安全管控措施擔?監管過嚴會抑制創新，主張更多地依靠?業?律，提醒應評估監管對開源創新?態的影響，政策制定應有充分的?險證據?撐，競爭機構應衡量開放性的價值審慎開放?vs?勵開放?的?場對?（本報告?制）爭論之外的?場三：是否開源主要取決于商業考量在審慎開放和?勵開源這兩種?場的爭論之外，還存在?類觀點認為企業決定是否開源前沿模型，很?程度上取決于其商業利益的考量，??對濫??險的審慎權衡。、xAI，以及國內的智譜AI和百川智能等AI企業采納了開源與閉源并?的策CEO李彥宏所指出字節跳動AILab總監李航引?微軟全球執?副總裁沈向洋的觀點，強調企業的開源決策與其市場地位緊密相關76。?業的領導者可能不會選擇開源，第?名肯定不會開源，第?名想要、Anthropic?前尚未開源，?和Amazon等公司開源并?出于其他考慮，?主要是為了獲取商業利益優勢。此外，?之暗?的CEO楊植麟也表?77，領先的同時，智源研究院和智譜AI等機構簽署的《北京AI安全國際共識》78也表明，?論開源還?結AI開源的爭論中，我們識別了兩種主要?場：??是審慎開放的倡導者，他們AI模型時，商業利益AI的真正含義，探索不同76薛瀾等,“中國在這?波??智能浪潮中處于什么位置？”,2024-03-26,/s/ovBVf8ortxfMoIEW8A23cw.77張?珺,“?之暗?楊植麟復盤?模型創業這?年：向延綿?未知的雪?前進”,2024-03-01,/s/kEKotLcnlFK0jf8gNajXIg.78YoshuaBengioetal.,“北京AI安全國際共識”,2024-03-11,.開源vs閉源，是錯誤的?分法空間，這似乎是?個需要多元專業知識才能解決的社會技術設計問題。?吉?什·薩斯特?(GirishSastry)79不同于開源軟件，開源AI的概念尚未得到清晰定義開源最初是?于描述開源軟件(open-sourcesoftware,簡稱OSS)，它是?種社會契約，意味著軟件的源代碼是公開可訪問的，任何?都可以查看、使?、修改和分發，并且是在開源許可證下發布的。開源軟件的標準定義必須滿??個核?標準80,81，包括免費提供源代碼、允許衍?作品以及不歧視任何使?該軟件的領域或群體等。因此，開源既指源代碼的可?性，也指允許下游不受限制地使?所述代碼的合法許可。然?，隨著像Llama1、Llama2、這樣的AI模型的發布，“開源”這?術語與將Llama2稱為開源模型，但其許可證有?個限制，即擁有超過7億?活躍??的下游開發者不能將其?于商業?途，其輸出也不能?于訓練其他?模型83。因此嚴格來說，根據傳統的開源軟件定義，Llama2并不是?了具有使?限制的OpenRAIL(Open&ResponsibleAI)許可證85。拋開許可證問題，開源軟件僅僅指“免費且公開可下載的源代碼”的概念，并不直接適?于AI，因為系統的構建?式不同86。對于AI系統，“源代碼”可以指推理代碼和/或訓練代碼，79GirishSastry,“Beyond‘Release’vs.‘NotRelease’”,2021-10-18,/commentary/2021/10/18/sastry.html.80OpenSourceInitiative,“TheOpenSourceDe?nition”,2024-02-16,/osd.81ChooseaLicense,“Licenses”,2024-04-23(引??期),/licenses/.82CenterfortheGovernanceofAI,“Open-SourcingHighlyCapableFoundationModels”,2023-09-29,Open-SourcingHighlyCapableFoundationModels.Release”,2023-07-18,/llama/license/.84OpenSourceInitiative,LLaMa2licenseisnotOpenSource”,2023-07-20,/blog/metas-llama-2-license-is-not-open-source.85CarlosMu?ozFerrandis,“OpenRAIL:openandresponsibleAIlicensingframeworks”,2022-08-31,https://huggingface.co/blog/open_rail.86SidSijbrandij,“AIweightsarenotopen'source'”,2023-06-27,/blog/2023-0G-27-ai-weights-are-not-open-source/.正如開放源代碼促進會(OpenSourceInitiative,簡稱OSI)的執?董事StefanoMa?ulli所說的，開源AI的概念尚未得到清晰定義。不同的組織使?該術語來指代不同的事物。這?常令?困惑，因為每個?都?它來表?不同程度的“公開可?”，并提出了?系列新的挑戰，其中最重要的是圍繞訓練數據的隱私和版權問題87。OSI?2022年OSI的開源AI定義?作的2024年時間線8987EddGent,Decry'IrreversibleProliferation'ofAI”,2023-10-06,/meta-ai.88OpenSourceInitiativeJoinTheDiscussiononOpenSourceAI2024-04-23(引??期),/deepdive.89OpenSourceInitiative,“OpenSourceAIDe?nition”,2024-01-26,/wp-content/uplo