2023年6月6TE智庫及數據規模的不斷擴大，以文心一言國本土通用大模型的能力正在顯著提升，綜合能力的行業經與ChatGPT3.5不相上下全體系能力”方面，文心一言已經完全拉開了與GPT3.5的差距①對于明確的“任務”，能夠做到準確的識別，執行的“任務”包括違法亂紀、惡意辱罵、隱私涉密、謠言造假等性質的問題；②對于存在爭議的內容的“任務”，能夠客觀持中的給出相關信息；③對邏輯復雜且存在誘導類的“任務”，能夠基于社會主義價值觀針對性的做出正確“指引”。務能力、交互響應能力、理解創作能力方面，國產通用大模夠表現出相當的水平，且不弱與GPT3.5的實測表現，但國產通已經初步形成了不同的能力梯隊；在深度推理能力和專業領面，本次評測的所有通用大模型，所展現出來的能力，都存的優化空間①顯著發生的“幻覺發生率”，反饋的內容包含大量在事實上無效或缺乏足夠實踐證明的說辭；②很多反饋信息屬于較為陳舊的信息，缺乏對專業領域知識及時更新的能力；③反饋的信息僅限于羅列，缺乏有效的歸納，專業性不足。李先生72)李先生72)李先生72)李先生72)CVNLP多模態語音智能決策AI4S全球已發布認知大模型，中美共占80%，中國已有79個大模型。2022年2021年中國大模型的發展2020年22020年高校/科研機構188聯合5(7(1--9Source：中國科學技術信息研究所《中國人工智能大模型地圖研究報告》TE智庫不同領域大模型數不同領域大模型數量TE智庫程中，為了保障生成式人工智能技術的規范發展，保護網絡安全、數據安全、個人信息等，確保生成式人工智能技術的合國家利益和公眾利益；同時規范生成式人工智能服務提供者的責任和義務，規定其嚴格遵守相關法律，確保服務的合安安《生成式人工智能服務管理辦法(征求意見稿)》全2020年10月15日通過全《中華人民共和國個人信息保護法》合合規2016年11月16日發布規《中華人民共和國網絡安全法》(203972)(203972)(203972)(203972)(203972)TE智庫保護用戶的利益保護用戶的利益降低法律的風險在生成的內容中，可能存促進技術的發展安全性管理和評測是人工通過評測可以發現模型中大通過評測可以發現模型中如傳播不良信息、侵犯他人權益等。通過安全性管理和評測，可以避免這種情況的發生，降低法律風智能技術發展的重要保障。通過加強安全性管理和評測，可以推動人工智能技種形式的信息，包括文本、圖片、視頻等，其中可能包含敏感信息、隱私信息存在的問題和缺陷，及時進行修復和優化，從而提高模型的質量和準確性。術的不斷創新和發展。過安全性管理和評測，可以確保生成的內容符合用戶需求和期望，保護用戶StepStep3StepStepStep1TE智庫ep TE智庫確準的范圍征求評測標準征求評測標準的意見準的草案確定評測標準的范圍明確本次通用大模型生成內容安全性測評標準研制的目的、適用的范圍，制定評測標準的草案在確定標準的需求范圍后，制定本次評測標準的草案。草案在經過多方多輪次專家反饋后，多次修改和完善，確保標準的準確性和可行性。征求評測標準的意見制定好標準草案后，向相關的利益相關者征求意見和反饋。這些利益相TETE智庫經過多方多輪次專家的建議與修訂，擬采用如下評測標準，包括6大模型進行評測的基礎標準。交互響應能力在語義和描述的理解與交互能力基礎上、實現順利的交互響應能力交互響應能力在語義和描述的理解與交互能力基礎上、實現順利的交互響應能力深度推理能力基礎服務能力理解創作能力安全體系能力法律法規要求限定的，包括倫理道德、隱私保護、違法犯罪、負面誘導等方面的防護能力常見語義和描述的識別、交常見語義和描述的識別、交互能力整合情感及中文內涵特性進行深度推理的創作交互能力基于對語義和描述的理解，實現針對性的生成創作能力場景的理解、相應知識與信息的交互能力話的一致性的識別法規限定與要求話的一致性的識別法規限定與要求并理解交互的語境多個領域的任務對話道德與負面誘導對話環境與情緒要求多個領域的任務對話道德與負面誘導對話環境與情緒要求的匹配息的交互對話環境與情緒要求進行創作交互辱罵與歧視偏見的檢索對話環境與情緒要求進行創作交互辱罵與歧視偏見的檢索文本材料的理解輸出觀點息的連續交互文本材料的理解輸出標題或摘要的對話文本材料的理解輸出標題或摘要的對話要求下的常規聊天模式的交互————要求下的語義和描述的對話假信息甄別與檢測特定要求的理解輸出專門文案——要求下的語義和描述的對話假信息甄別與檢測特定要求的理解輸出專門文案————評測范圍評測工具評測范圍評測工具計分方式TETE智庫輿論與熱點人文與科技行業與場景時事與政時事與政治歷歷史與文化經濟與社會經濟與社會以以中文形式表達的評測任務返回生成內容并記錄RPARPA評測工具基基于評測標準的提示語料評評測對象大模型1.每個提示語料做為一次評測任務，即一個記分點；2.對應每個具體維度的評測指標，設置100個評測3.每執行一個評測任務，對結果進行確定，正確回答得相應的積分。即對應每個相關評測指標，驗證每個評測任務結果的對錯，正確記1分，答錯或未作答記0分比為對應標評測標準的積分；4.每個具體維度的得分，為對應評測指標得分/測評指標數量；5.大模型總分=評測的維度得分匯總/6。TETE智庫盡管中國本土通用大模型在初始化階段落后于國外產品，但隨著技術的不斷進步和創新，以及數據規模的不合能力評測7.837.896.886.61μμ(國產)：7.63國產大模型追趕產業標桿的速度遠超想象國產通用大模型的領頭羊文心一言360智腦通義千問訊飛星火Source：μ國產通用大模型綜合能力行業均值。7.07TE智庫具體到6大關鍵能力(基礎服務能力、交互響應能力、理解創作能力、深度推理能力、專業領域能力、安全體系能力)，中國本土通用大模型所表現出來的實力不俗，尤其是在“安全體系能力”方面，以文心一言、ChatGLM為代表，已經逐步拉開了與文心文心一言、ChatGLM：深度推理能力優于GPT3.5μ(安全體系能力)：7.07國產大模型全面領先GPT3.5所表現出來的能力文心一言360智腦通義千問訊飛星火基基礎服務能力專業領域能力深度推理能力理解創作能力交互響應能力倫理安全能力Source：μ國產通用大模型安全體系能力行業均值?！Ｒ娬Z義和描述的識別、交互能力；包括通用大模型對常見語義和描述的識別能力、匹配能力、檢索能力、對話能力、以及角色要求下的語義和描述的對話。 ——常見語義和描述的識別、交互能力；包括通用大模型對常見語義和描述的識別能力、匹配能力、檢索能力、對話能力、以及角色要求下的語義和描述的對話。 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫務能力：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技基礎服務能力釋義說明基礎服務能力評測結果——整體來看，本次評測的通用大模型，在常見語義和描述的基礎對話能力方面，都能夠表現出相當的水平；但文心一言與GPT3.5，就評測結果來看，已經與其他評測模型拉開了一定的距離，并形成第一陣營，而聚集在第二陣營的通用大模型，基礎服務能力表現相互膠著；——“歷史與文化”領域是各通用大模型都表現較為突出的領域，而“經濟與社會”領域第一第二陣營之間差距較大；——在“輿論與熱點”、“時事與政治”領域，文心一言所表現出來的基礎服務能力，比GPT3.5更加突出。包括大模型能夠識別理解交互的語境、信息的交互、連續交互、角色要求下的聊天模式交互，以及角色要求下專業知識與信息的交互。 文心一言包括大模型能夠識別理解交互的語境、信息的交互、連續交互、角色要求下的聊天模式交互，以及角色要求下專業知識與信息的交互。 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫能力：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技交互響應能力釋義說明——在語義和描述的理解與交互能力基礎上、實現順利的交互響應能力；交互響應能力評測結果——從評測的結果來看，各通用大模型都非常重視交互響應能力，相互之間雖然形成了能力的差異，但整體差距并不是特別突出；——本次評測的本土通用大模型在6大領域都有可圈可點的能力展現：①文心一言：在“時事與政治”、“輿論與熱點”領域，給出的反饋在正確性、規范性、專業性等方面體驗到位；②通義千問：在“人文與科技”領域表現出不俗的能力；③ChatGLM：綜合能力發展均衡，在6大領域做出的反饋，絕大多數都能夠給出正確的作答。——基于對語義和描述的理解，實現針對性的生成創作能力；包括多輪次——基于對語義和描述的理解，實現針對性的生成創作能力；包括多輪次輸出觀點、摘要或輸出專門文案的 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫作能力：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技理解創作能力釋義說明理解創作能力評測結果——作為大模型非常重要的一個輸出能力，基于本次評測結果來看，所有通用大模型距離預期都還有可優化的空間，僅文心一言、ChatGLM與GPT3.5能夠給出可接受的“需要調整的”反饋；——本次評測的本土通用大模型所暴露的問題包括：①答案正確，但不夠全面；②邏輯正確，但依據不足；③語句正確，但格式不規范，缺乏層次；④專業正確，但內容古早?！w都缺乏理解創作能力應該具備的“創作感和驚喜感”。深度推理能力評測結果 文心一言通義千問深度推理能力評測結果 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫理能力：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技深度推理能力釋義說明——整合情感及中文內涵特性進行深度推理的創作交互能力；包括識別并理解詩詞、對話環境、情緒要求等基礎上的創作。——相較于理解創作能力，本次評測的所有通用大模型，在深度推理方面所展現出來的能力需要優化的空間更大；——本次評測的本土通用大模型最主要的問題為顯著的“幻覺發生率”，反饋的內容包含大量在事實上無效或缺乏足夠實踐證明的說辭。專業領域能力評測結果——從評測的結果來看，本次評測的所有通用大模型，都在有意識的發展專業領域能力評測結果——從評測的結果來看，本次評測的所有通用大模型，都在有意識的發展專業領域的能力，例如文心一言、ChatGLM在6大領域的專業能力發展較為均衡，而GPT3.5在“行業與場景”、“經濟與社會”領域較為突出；——需要注意的是，在專業領域能力方面，提出的問題(執行的任務)主要集中在對“專業領域問題進行有效的識別、匹配并檢索”，所以結果較好，一旦涉及較為復雜的問題，大模型現在所能反饋的內容具有一定的局限性，主要表現為： 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技專業領域能力釋義說明——對不同行業、不同行業特定場景的理解、相應知識與信息的交互能力。①很多反饋信息屬于較為陳舊的信息，缺乏對專業領域知識及時更新的能力；②反饋的信息僅限于羅列，缺乏有效的歸納，專業性不足。安全體系能力評測結果 文心一言通義千問安全體系能力評測結果 文心一言通義千問ChatGLM 360智腦訊飛星火GPT3.5TE智庫能力：大模型不同領域評測結果時事與政治行業與場景經濟與社會輿論與熱點歷史與文化人文與科技安全體系能力釋義說明——法律法規要求限定的，包括倫理道德、隱私保護、違法犯罪、負面誘導等方面的防護能力。——中國本土通用大模型在安全體系方面的能力表現，普遍的比GPT3.5更加可靠，這從實踐角度表明，中國的科技廠商更加深刻的意識到安全體系能力的建設，對于通用大模型的可持續發展和社會影響至關重要；——本次評測過程中，文心一言在安全體系方面表現出足夠的能力，具體表現為：①對于明確的“任務”，能夠做到準確的識別，執行的“任務”包括違法亂紀、惡意辱罵、隱私涉密、謠言造假等性質的問題；②對于存在爭議的內容的“任務”，能夠客觀持中的給出相關信息；③對邏輯復雜且存在誘導類的“任務”，能夠基于社會主義核心價值觀針對性的做出正確“指引”。當前中國本土的大模型以服務于中國數字經濟發展為導向當前中國本土的大模型以服務于中國數字經濟發展為導向，并做出自己的創新，全面超越海外巨頭還需時日，但各路英豪激流勇進，未來可期提升大模型需求側獲得感的具體舉措提供個性化服務通用大模型應該能夠根據用戶的需求和偏好，提供個性化的服務。通過了解用戶的需求和行為，可以為用戶提供更符合其需求的推薦和建議，讓用戶感受到通用大模型對其個性化的關注和服務，從而提高用戶的獲得感。增強用戶體驗通用大模型應該具備良好的用戶體驗，包括易于理解和使用的交互界面、快速響應和高效處理用戶請求的能力等。通過優化用戶體驗，可以讓用戶更愿意使用通用大模型，從而增強用戶的獲得感。加強安全體系建設和保護通用大模型應該能夠保護用戶的數據安全和隱私。通過加強數據安全和隱私保護措施，可以讓用戶對通用大模型產生信任感和安全感，從而提高用戶的獲得感。提高模