劉志毅劉志毅人工智能科學家?人工智能科學家，現為上海人工智能實驗室應用研究部高級研究員，上海交大安泰AI與營銷研究中心特聘研究員，國家人工智能標準總體組專家，AIIA聯盟可信AI專家委員會委員，上海開源信息技術協會AI?主要研究領域包括人工智能、智能經濟以及數字經濟學《智能經濟：用數字經濟學思維理解世界》國內首部數字經濟領域的技術思想專著《數字經濟學》重大學術影響專著，數字經濟學學科的開拓之作《AI與區塊鏈智能》2019年12月正式發布，國內首部討論AI《智能經濟：用數字經濟學思維理解世界》國內首部數字經濟領域的技術思想專著《數字經濟學》重大學術影響專著，數字經濟學學科的開拓之作《AI與區塊鏈智能》2019年12月正式發布，國內首部討論AI與區塊鏈產業融合的教育部高等教育教材《測算與判斷：人工智能的終極未來》作為中文版本唯一譯者進行了全文翻譯工作，于2022年8月中信出版社正式出版《黑鏡與秩序》2022年7月清華大學出版社正式出版，十余位公共管理、法學、計算機、經濟金融的跨領域領軍學者推薦《PrinciplesofDigital第一本全英文數字經濟學的學術理論專著，由SpringerNature出版并單獨成系列ChatGPT的成功源于NLP領域70年發展的長期積累現代機器人之父紐約大學教授這不是什么革命性的東西。NLPNLP70年發展早期大多數自然語言處理系統都基于給出一組規則，計算機通過將這些規則應用于它所面臨的數據來模擬NLP任的機器學習算法的引入，機器學習范式要求使用統計推理，通過對典型的真實世界的例子的表征學習和深度神的機器學習方法得到廣泛應用。通常使用詞嵌入捕獲單詞的語義屬性，并增加高級NLP任務的CaptioningCaptioningModelTherewereTherewerelotofsheep.TherewereaTherewerealotofsheep.語法糾正GrammaticalErrorCorChatGPT的發展歷程?ChatGPT在海量的文本數據上進行了預訓練ChatGPT在人與人對學習，在BookCorpus數據集(45TB)進行訓少樣本(Few-shot)設ChatGPT的技術突破ChatGPT之所以能夠突破，是因為采用了一系列深括無監督學習、有監督學習、多任務學習、小樣本學習、自監督學習以ChatGPT之所以能夠突破，是因為采用了一系列深括無監督學習、有監督學習、多任務學習、小樣本學習、自監督學習以及基于人類反饋的強化學習。無監督學習有監督學習基于人類反饋的強化學習i除采用一系列深度學習新技術外，ChatGPT還有以下技術特點。的預訓練，再在特定任務上進行微調，可以使得層都可以學習不同的特征和語義，從而提高模型如維基百科等，使得模型具有更好的語言理解能行業應用原子能力智能問數智能對話智能創作智能客服行業應用原子能力智能問數智能對話智能創作智能客服知識搜索智能問答市場對于超大模型的看法廠商宣傳中常提到千億級、萬億級參數為大模型、超大模型。實際在產業落地①預訓練模型學習過海量數據②用戶端模型二次開發僅需少量數據③相比上一代的算法模型有更高的預測準確度大模型的定義是對原有算法模型的技術升級，基于海量數據開發預訓練模型，到最終用戶環境中并不是所有大模型參數都參與訓練，單體模型的參數會全部參與訓練，稀疏模型中大模型的價值開發門檻的降低：用戶可以在Al原子能力的基礎上實現自定義模型，無需關計算資源的降低：預訓練由廠商提供，用戶側只需進行小數據預測效果的提升：研究與實踐均表明，使用大模型的效果比之前的模型效果相比市場上可見的大模型日益豐富OMetaMetaLlaMA字節跳動——微軟、微軟亞洲研究院GooglegooglePaLM基于書生的超高效預訓練模型北京智源人工智能研究院悟道2.0商湯科技書生（INTERN）清華大學GLM-1308、CokeBert（&——北京大學鵬程·盤古α（&鵬程&華為）（資料少，不確定含北大）、NUWA（微軟亞洲）OPPOOPPONVIDIA英偉達NeMoLLM浪潮源1.0智能大模型——華為云鵬程·盤古α（&鵬程&華為）奇點智源SkyCode多語言開源編程大模型瀾舟科技混元AI大模型追一科技RoFormerV2——文心一言鵬程實驗室鵬程·盤古α（&北大&華為）阿里巴巴達摩院智能計算實驗室M6、“通義”大模型LINKER聯匯聯匯科技核心技術層協同發展，共同賦能AI大模型生態AI大模型的技術架構通常涉及多個層次，可以分為基礎層、技術層、能力層、應用層、終端層五大板塊，其中核心技術層涵蓋AI技術群和大基礎層：AI大模型的基礎層涉及硬件基礎和數據、算力、算法模型三大核心要素。隨著AI大模型規模的不斷擴大，對計算資源的需求也在增加。因此，高性能的硬件設備、海量場景數據、強大的算力基礎和升級迭代的算法模型成為了支持AI大模型發展的關鍵。深度學習模型的不斷升級和迭代，增強了AI算法的學習能力；同時，開源模式將使AI大模型成為海量應用、網絡和服務的基礎。目前，Transformer架構在A型包括NLP大模型、CV大模型型等。這些模型采用預訓練和微調的策略，先在大量無標注數據上學習語言或圖像的基本表示，然后針對特定任務進行微調。能力層、應用層及用戶層：在基礎層和技視頻、代碼、策略、多模態生成能力等，具體工業、政務等多個領域，為企業級用戶、政府AI大模型的技術架構用戶層應用層用戶層應用層企業服務金融服務零售電商傳媒/影視教育/科研企業服務金融服務零售電商傳媒/影視教育/科研能力層能力層技術層技術層NLP大模型NLP大模型CV大模型多模態大模型人工智能基礎層AI基礎層AI模型生產工具AI算力基礎數據資源硬件設施智能服務器AI市場高景氣，大模型下游行業需求旺盛人工智能能夠賦能經濟社會發展各領域，下游各個領域的產業升級對大模型的需求持續走高。例如，在泛交通領域,人工智能能夠在自動駕駛、智能座艙、運行管理優化等多個方面為汽車行業創造價值；在醫療方面，人工智能可以提高疾病檢測的效率以及醫學影像領域的智能化分析。據測算，2022年中國人工智能行業市場規模為3,716億人民幣，預計2027年將達到15,372億人民幣，有望在下游制造、交通、金融、醫療等多領域不斷滲透，實現大規模落地應用。AI大模型應用場景豐富AI大模型下游行業對人工智能需求呈現出碎片化、多樣化的特點，從開發、精降低AI應用開發門檻，提高落地部署效率和精度等，進而降低AI規模化部署的成本AI大模型應用場景豐富AI大模型-單位：人民幣億元202120222023E202從決策到生成，AI技術與應用迎來跨越發展前神經網絡專家系統概率推論神經網絡基礎模型大規模模型2011年以前2011年以前2012年至今生成式AI急速發展能夠完成DALL·E2對為訓練數據實現文本到圖像跨模態AI繪畫Transformer為后續大型模Transformer為后續大型模型打下基礎生成圖像但分辨率不高感知器模型Prolog&機器學習算法大數據物體識別物體識別大多數大多數獨創性圖像益智問答打敗人類解答特定領域解答特定領域首個自動化推薦系統AIAI學科成立推薦算法推薦算法AI的急速發展使得AI模型在手寫識別、語音識別、圖AI的急速發展使得AI模型在手寫識別、語音識別、圖理解、語言理解等領域的表現加速超越人類平均機器語言翻譯機器語言翻譯資料來源：Dynabench:RethinkingBenchmarkingAIGC當前典型應用：數字內容生成）（a-video（視頻模型）和data2vec（多模落地場景0201代碼生成一種機器學習模型，專門為代碼生成而訓代碼生成一種機器學習模型，專門為代碼生成而訓練，可以產生各種不同語言的代碼。從注釋和代碼中提取上下文，能力包括：自然語言到代碼。人工智能編程助手，理解用戶的初始提示來自動完成軟件代碼。在一家行業領先的審計、咨詢、稅務和顧問服務機構的六周試點中，有55名開發人員參加，生成式AI生成的代碼準確性為65%，代碼開發速度提高20%。知識管理類應用對財富管理內容的培訓進行微調，以便金融顧問能夠搜索公司中的現有知識，并為客戶輕松創建定制內容。百事公司、Haleon（原GSK）和Saatchi&SaatcHALEON采用其生成式AI來閱讀組織中的信息，提供獨特的兩到三句話摘要回應，直接準確地回答用戶的問題。谷歌發布Bard：由對話應用語言模型驅動的實驗性服務。C3.ai宣布推出C3Generative使用自然語言界面快速定位、檢索和呈現企業信息系統整個語料庫中的所有相關數據。Viable聚合來自服務臺票據、調查、CRM和評論的定性數據，以幫助團隊了解客戶對其產品的看法和感受客戶反饋的準確性從66%提高到90%。特定行業用例?改善醫生的工作流程：生成式特定行業用例?改善醫生的工作流程：生成式AI可以審查醫療記錄，并在?Absci——生成式人工智能藥物創造公司：試圖在計算機上“從頭”設計新的抗體?通用汽車：與歐特克工程師合作，為座椅支架創造了150個新的設計理念，并選擇了比原始組件輕40%和強度20%的最終?Armour：利用生成式設計算法為所有類型的?菲利普·斯塔克和卡特爾使用生成算法將美學和功能結合起來：我們如何才能用最少的材料？設計師和人工智能銷售和營銷將為各種場景生成建議的電子郵件內容，如回復詢問或創建提案，并附上與收件人具體相關數據，如定價、促銷和截止日期。通過可定制內容的自動建議，賣家可以花更少的時間編寫電子郵件和從同事或數據庫中搜索銷售數據。r可以制作博客、社交媒體帖子、網絡副本、銷售電子郵件、廣告和其他類型的面向客戶的內容。可以制作博客、社交媒體帖子、網絡副本、銷售電子郵件、廣告和其他類型的面向客戶的內容。通過提示生成模板，或根據描述創建獨特的文本效果。目前主要集中在圖像方面，未來將包括視頻、3D設計、紋理創作、標志設計等等。在銷售、服務、營銷、商業和IT互動中，超大規模提供人工智能創造的內容。提供即時對話摘要、研究工具和寫作協助。AI大模型技術創新，助推生成式AI應用場景加速落地伴隨AI技術升級和大模型成熟，AI繪畫與ChatGPT的成功破圈，生成式AI技術迎來發展拐點，行業關注度大幅提升。生成式AI是指基于大模型、生成對抗網絡GAN等人工智能技術，通過已有數據尋找規律，并通過適當的泛化能力生成相關內容的技術，可生成如圖像、文本、音頻、視頻等原創內容變體。例如，以ChatGPT、Midjourney、文心一格、商湯商量、Codex為代表的生成式AI應用擁有文本語言理解能力、涌現能力以及思維鏈推理能力，能夠完成文學創作、新聞寫作、數理邏輯推算、代碼生成、圖片生成等多項任務。目前，國內電商、游戲、文娛、設計等行業正在積極使用相關的生成式AI應用來提高自身工作效率，尤其以文生圖應用為主。生成式AI不僅能夠增強并加速下游多領域的設計，而且有潛力“發明”人類可能錯過的新設計、新對象。生成式AI有生成大規模、高質量、低成本內容優勢，在算力和算法支持下生成大量內容，生成的內容質量將持續超越UGC與PGC。未來有望為各行業提供內容支持并促進其內容繁榮，最大化文字生成屬于發展成熟、易于跨界轉化的賽道，而跨模態生成賽道的發展潛力最高。生成式AI應用根據模態劃分為文字生成、音頻生成、圖像生成、視頻生成、跨模態生成。語音合成、文本生成、圖像屬性編輯等技術應用目前較為成熟，跨模態生成、策略生成是高增長潛力的應用場景，在自動駕駛、機器人控制等領域有極高應用價值，隨著未來技術不斷發展成熟大模型發展及相關應用實現落地時間表四2020年前202020222025？2030？2050？垃圾郵件識別翻譯基礎問答基礎文案寫作起草初稿更長的文字完成第二稿垂直微調科學論文高于人類平均水平的終稿寫作產出比職業作家寫得更好的終稿單行代碼自動完成多行代碼生成更長的代碼更高的準確率多程序語言更多垂直領域文本到產品產出比全職開發人員做得更好的文本到產品（終藝術作品Logo設計攝影產品設計模型建筑概念模型產品設計模型建筑模型產出比專業藝術家、設計師、攝影師做得更好的終稿基礎/初稿視頻及3D文件第二稿AIRoblox產出基于個性化夢想的電子游戲和電影可用的大模型：初步探索基本形成準備階段大模型迎來發展新機遇，未來前景可期?人工智能的政策引導逐漸覆蓋到大模型生態，并開始出臺相應的生成式AI監管建議，進一步支撐大模型生態的有序發展；?大模型的神經網絡架構和訓練大模型的AI基礎設施，均逐漸發展成熟，推動大模型的生產更加系統化和工程化；?下游企業用戶的AI部署需求進一步規模化發展，急需在上游大模型支撐下，獲得AI應用開發門檻降低，部署精度提高等基礎價值，進而降低AI規模化部署的成本；?大模型的發展趨于通用化與專用化并進，平臺化與簡易化并進；?依托ModelasaService，大模型建立起面向政企、消費者群體等差異化的商業模式，并逐漸形成基模型、領域、行業大模型一體的商業化架構。旺盛”三輪驅動下，AI大模型迎來了良好的發通過數據交互和任務反饋，優秀的大模型能行各業開放任務，滿足對未來AI應用的期待。來，大模型“訓練基礎設施-底層技術-基礎應用-垂直應用”發展路線逐漸清晰，隨著底層技術逐新，基模型和領域大模型持續完善，大模型應用不斷拓寬，將加速賦能交通、醫療、金融等各個和領域，引發一場以強人工智能和通用人工智能基礎設施支撐下游需求旺盛基礎設施支撐下游需求旺盛頂層設計優化任務反饋智慧文旅智慧交通基模型、數據智慧零售交互智慧醫療AI教育智能手機智能汽車智慧樓宇任務反饋智慧文旅智慧交通基模型、數據智慧零售交互智慧醫療AI教育智能手機智能汽車智慧樓宇 娛樂互聯網智慧金融大模型的多種價值，將加速人工智能的技術進步和規模化應用AI大模型具有降低開發門檻、大模型的五大基本價值大模型通過學習大量數據和任務獲得廣泛知識，捕捉更多細節，更好地泛化到新的數據集和任務中。大模型通過自動學習更多的特征和規律，減少手動特征工程的需求，使開發者能更輕松地構建高質量的模型。大模型可以更好地捕捉和分析信息，用于生成高質量的內容，提升生成效率，例如生成對話、摘要、翻譯等。大模型的五大基本價值大模型通過學習大量數據和任務獲得廣泛知識，捕捉更多細節，更好地泛化到新的數據集和任務中。大模型通過自動學習更多的特征和規律，減少手動特征工程的需求，使開發者能更輕松地構建高質量的模型。大模型可以更好地捕捉和分析信息，用于生成高質量的內容，提升生成效率，例如生成對話、摘要、翻譯等。大模型擁有更多的參數和更深的層次結構，能對復雜的模式和規律進行準確建模，并通過不斷學習和更新自己的參數提高性能和準確度。大模型的開源性和可復制性能夠聚合開發者、高校、實驗室等多方資源，在促進學術研究的發展和技術普及的同時，加速人工智能技術的進步和應用。大模型的能力來自于技術工藝的變化基礎模型（FoundationModel）是區別生成式人工智能技術棧和之前人工智能的關鍵。基礎模型是斯坦福大學基礎模型研究中心創造的基礎模型的開發模型參數模型參數模型參數模型參數訓練數據精選數據集訓練數據過程要素：處理輸入輸出√的確，生成式人工智能可以徹底改變企業與客戶之間的運作和互動方式，甚至可能重新定義我們對來源：Deloitte生成式人工智能的核心商業邏輯：效率，指導，創作，娛樂√低復雜度低復雜度高復雜度在2022年，OpenAI的DALL·E2因其文本生成圖像的能力而引起了全世界的關注。這個模型可以根據簡單的文字提示創建圖像，有直接的提示，比如“叢林中的一只獅子”，還有更加滑稽有趣的提示，比如“以畢加索風格描繪兩只獅子打籃球。”優化計劃、研究和產品開發等任務提供個性化指導或學習內容創作生成或增強內容，復制創意過程建造游戲、虛擬人物和其他娛樂項目與流行文化人物進行聊天生成原創的虛構短篇小說LuminarAILensa這只是市場的初步觀察，隨著工作的深入，類別之間可能會有重疊。而且，隨著未來幾代人工智能的發展（例如，那些能夠實現多工智能），預計會出現新的類別的用例。來源：Deloitte生成式人工智能在消費者和企業領域的應用案例然而，與之前出現的技術一樣，通常在特定行業的“垂直”應用案例存在著更可持續的價值創造機會。√如今，一些企業已經從橫向應用案成熟的成熟的新興的文字圖片語音三維模型文字圖片語音三維模型代碼其他視頻消費與零售生命科學與醫療銀行與金融服務科技傳媒與電信工業制造政AR/VR內容生成....理....試●..●產品測試和反饋生成告發力軟件銷售、客戶體驗和留●●..客戶反饋情感分類決●●●●●..●●....來源：Deloitte國外玩家本土玩家中國AI國外玩家本土玩家GG（VLM具有5620Meta基于大模型推出Search通過精細標注，識別分割畫面上的指定物體。大型語言華為：盤古大模型騰訊：混元大模型百度：文心大模型百億級多模態內容理解大模型Pluto，高效視商湯：日日新SenseNova大模型體系提供自然語言、內容生成、自動化數據標注、自定義模型訓練等大模型及能力，及一系列生成式AI應用于2023年4月17日正式發布千億級大語言模型“天工”浪潮信息：源1.0大模型浪潮信息：源1.0大模型生成式人工智能發展帶來的風險√生成式人工智能確實存在一定風險，如果在擴展規