2023年5月 3 43混合AI對生成式AI規?；瘮U展至關重要 5 6 6 6 6 7 7 73.3AI工作負載的分布式處理機制 8 8 9 3 擴展并發揮其最大潛能——正如傳統計算從大型主機和瘦客戶端演變為當前云端和邊緣終端相結合的模式。與僅在云端進行處理不同，混合AI架構在云端和邊緣終端之間分配并協調AI工作負載。云端和邊緣終端如智能手機、汽車、個人電腦和物聯網終端協同工作，能夠實現更強大、更高效且高度優節省成本是主要推動因素。舉例來說，據估計，每一次基于生成式AI的網絡搜索查詢（qu 混合AI架構可以根據模型和查詢需求的理負載。例如，如果模型大小、提示（prompt）和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終端運行?；旌螦I還能支持模型在終端側和云端同時運行，處理完整模型的多個標記（token），并在需要時更正終端側的處理結果。1/chart/29174/time-to-one-million-users/2/2023/02/05/generative-ai-drives-explosion-compute-looming-need-sustainable-ai/3/technology/tech-giants-ai-like-bing-bard-poses-billion-dollar-search-problem-2023-02-22/42生成式AI簡介和當前趨勢超過3,000個可用的生成式AI應用和特性4。AI正迎來大ChatGPT和StableDiffusion等生成式AI模型能夠基于簡單的提示創作出全新的原創內容，如文本、圖像、視頻、音頻或其他數據。這類模型正在顛覆傳統的搜索、內容創作和推薦系統的方法——通過從普通產業到創意產業的跨行業用例，在實用性、生產力和娛樂性方面帶來顯著增強。建筑師和藝術家可以探索新思路，工程師可以更高效地編寫程序。幾乎所有與文字、圖像、視頻網絡搜索是生成式AI正在變革的諸多應用之一。另一個例子則是Microsoft365Copilo法轉化為演示文稿，嵌入于Word、Excel、PowerPoint、Outlook和Teams等微軟應用中。生成式AI的出現也標志著用戶開始向探索更加多樣化、個性化的數字世界邁出了第一步。由于這不僅將加速沉浸式虛擬體驗的創建，而且能夠降低個人創作者自主內基礎模型的使用推動大量初創公司和大型組織利用文本、圖像、視頻、3D、語言和音頻創建應用。例如，代碼生成（GitHubCopilot）、文本生成（Jasper）、面向藝術家和設計師的圖像生成（Midjourney以及對話式聊天機器人（Character.ai）。4截至2023年4月，生成式AI應用和特性：/5圖1：生成式AI生態鏈使應用數量激增3混合AI對生成式AI規?；瘮U展至關重要年僅需訓練幾次。然而，這些模型的推理成本將隨著日活用戶數量及其使5瑞銀，2023年2月6體驗，并高效利用資源。在一些場景下，計算將主要以終端為中心，在必要時向云端分流任務。3.2混合AI的優勢混合AI架構（或僅在終端側運行AI能夠在全球范例如，當前面向大語言模型推理的云計算架構，將導致無論規模大小的搜索引擎企業負擔更高運遠超1750億。生成式AI搜索可以提供更加出色的用戶體驗和搜索結果，但每一次搜索查詢大語言模型的搜索僅占其中一小部分，每年增量成本也可能達到數十億美元。6將一些處理從云端轉移到邊緣終端，可以減和應用開發者更經濟實惠地探索和打造應用。例如，開發者可以基于完全在終端上運行的StableDiffusion創建應用程序，對于生成的每個圖像承擔更低的查詢成支持高效AI處理的邊緣終端能夠提供領先的耗運行生成式AI模型，尤其是將處理和數據傳輸相6摩根士丹利，《HowLargearetheIncrementalAICosts...and4FactorstoWatchNext》，2023年2月7甚至可能出現拒絕服務的情況8。向邊緣終端轉移計算負載可防止這一現象發生。此外，混合AI 架構中終端側處理的可用性優勢，讓用戶無論身處何地，甚至在無連接的情況下，依然能夠正常終端側AI從本質上有助于保護用戶隱私，因為查作場所等場景中使用的生成式AI，這有助于解決保護公司保的編程助手應用可以在終端上運行，不向云端暴露保密信息，從而消除如今眾多企業面臨的顧慮器人輸入敏感提示，比如健康問題或創業想法。此外，終端側安全能力已經十分強大，并且將不喜好和個性進行定制。所形成的用戶畫像能夠從實際行為、價值觀、痛點、需求、顧慮和問題等方面來體現一個用戶，并且可以隨著時間推移進行學習和演進。它可以用于增強和打造定制化的生成式AI提示，然后在終端側或云端進行處理。個性化不僅僅適用于消費者，企業或機構可以借助它標準化代碼的編寫方式，或者制作具有特殊7/news/onq/2023/02/worlds-first-on-device-demonstration-of-stable-diffusion-on-android8/computing/chatgpt-is-at-capacity-and-is-frustrating-new-people-everywhere/9/news/samsung-software-engineers-busted-for-pasting-proprietary-code-into-chatgpt83.3AI工作負載的分布式處理機制我們期望打造能夠支持不同工作負載分流方布式處理，并能持續演進。例如，如果模型大小、提示和生成長度小于某個限定值，并且能夠提供可接受的精確度，推理即可完全在終端側進行。如果是更復雜的任務，模型則可以跨云端和終在以終端為中心的混合AI架構中，終端將務。許多生成式AI模型可以在終端上充分運行（參閱圖2），也就是說終端可通例如，用戶在筆記本電腦上運行Microsoft365Copilot或必應Chat時，包含高達數百億參數的模型將在終端上運行，而更復雜的模型將根據需求在云端進行處理。對用戶來說，這種體驗是無縫的，因為終端側神經網絡或基于規則而運行的判決器（arbiter）將決定是否需要使用云端，無論是為了有機會使用更好的模型還是檢索互聯網信息。如果用戶對請求處理結果的質量不滿意，那么再次嘗試發起請求時可能就會引入一個更好的圖2：在以終端為中心的混合AI架構中，云端僅用于分流處理終端無法充分運行的AI任務。9對于各種生成式AI應用，比如創作圖像或起草感器輸入端（類似眼睛和耳朵）。例如，當用戶對智能手機說話時，Whisper等自動語音識別將運行大語言模型，再將生成的文本回復發回終端。之后，終端將運行文本生成語音（TTS）模型，提供自然免提回答。將自動語音識別和文本生成語音模型工作負載轉移至終端側能夠節省計算和連接帶寬。隨著大語言模型變為多模態并支持圖像輸入，計算機視覺處理也可以在終端上運行，以進一步分流計算任務并減少連接帶寬，從進且更加個性化的提示。借助終端側學習和終端上的個人數據，比如社交媒體、電子郵件、消息、日歷和位置等，終端將創建用戶的個人畫像，與編排器（orchestrator）程序協作，基于更多情境信息提供更完善的提示。例如，如果用戶讓手機來安排與好友會面的時間并在喜愛的餐廳預訂座位，編排器程序了解上述個性化信息并能夠向云端大語言模型提供更佳提示。編排器程序可在大語言模型缺乏信息時設置護欄并幫助防止產生“AI幻覺”。對于較簡單的請求，較小的大語言模圖3：對于基于終端感知的混合AI，自動語音識別、計算機視覺和文本轉語音在終端側進行。在更先進的版本中，終端側編排器程序能夠向云端提供經過改進且更加個性化的提示。終端和云端的AI計算也可以協同工作來處理AI負載，生成大語言模型的多個toke處于閑置狀態。大語言模型每次推理生成一個token，也就是基本等同于一個單詞，這意味著個token，完整的推理過程可以以此類推。鑒于內存讀取是造成推理性能的瓶頸因素，更高效的做法就是同時運行多個大語言模型以生成多個token，并且從D成一個token就要讀取全部參數會產生能耗和造成發熱，因此使用閑置的算力通過共享參數來推測性并行運行大語言模型，可謂是在性能和能耗上更低）要在終端上按順序連續運行四次才可以。終端向云端發送這四個token，云端高效運行四次目標模型來檢查其準確度，而僅讀取一次完整的模型參數。在個目標模型都有零個、一個、兩個、三個或四個預測token作為輸入。這些token在被云端確認或校正之前被認為是“近似的”。上述推測性解碼過程將持續到完整的答案出現時為止。我們的早期實驗和其他已發布結果10顯示，通過四個token的推測性解碼，平均兩到三個tok可被接受的，這會帶來單位時間內生成token數的增加，并節省能耗。圖4：協同處理混合AI的四個token推測性解碼示例。10Leviathan,Yaniv,MatanKalman和YossiMatias?！禙astInferencefromTransformersviaSpeculative4終端側AI的演進與生成式AI的需求密切相關之間分配處理任務將取決于終端能力、隱私和安全需求、性能需求以及商業模式等諸多因素（參圖5：AI處理的重心正在向邊緣轉移。4.1終端側處理能夠支持多樣化的生成式AI模型關鍵問題在于，哪些生成式AI模型能夠分強大的生成式AI模型正在變小，同時終端側處理側運行的豐富的生成式AI功能，這些功能的模型參數在10億至100億之間12。如StableDiffusion等參數超過10億的模型已經11/products/mobile/snapdragon/smartphones/mobile-ai12假設使用INT4型的參數圖6：數量可觀的生成式AI模型可從云端分流到終端上運行。5跨終端品類的生成式AI關鍵用例5.1智能手機：搜索和數字助手對話式搜索的普及也將增加總體查詢量。隨著對話功能不斷改進，變得更加強大，智能手機將成為真正的數字助手。精準的終端側用戶畫像與能夠理解文字、語音、圖像、視頻和任何其他輸入模態的大語言模型相結合，讓用戶可以自然地溝通，獲取準確、貼切的回答。進行自然語言處理、13/statistics/297137/mobile-share-of-us-organic-search-engine-visits/5.2筆記本電腦和PC：生產力腦和PC上的MicrosoftOffice365為例，全球有超過4億MicrosoftOffice365商業付費席位和個人訂閱者，如果將生成式AI集成至用戶日常工作流將帶來重的任務，現在僅需幾分鐘就能完成。Microsoft365Copilot同時利用大語言模型的功能和MicrosoftGraph與Microsoft365應用中的用戶數據，能夠將提示轉化為強大的生產力工具15。Office工作者可通過后臺運行大語言模型，在Outlook中閱讀或撰寫電子郵件，在WordAI模型（比如自然語言處理、文本生成文本、圖像生成、視頻生成和編程）需要經過海量處理，才能支持這些被重度使用的生產力任務。在以終端為中心的混合AI架構中，大部分處理能夠在5.3汽車：數字助手和自動駕駛得益于車內和車輛周圍環境相關數據所提供的信息，如今AI驗。類似于智能手機和PC，車載數字助手將能夠讓駕乘人員通過免提的友好用戶界面保持無縫數字助手可以訪問用戶個人數據，比如應用、服括攝像頭、雷達、激光雷達和蜂窩車聯網（影響駕駛員常用出行路線的交通和天氣信息更新，汽車充電或購買停車券提醒，此通過簡單地請求即可用已綁定的信用卡預訂自己喜歡的美食。如果汽車能夠識別每提供定制化的音樂和播客等體驗和內容，座艙汽車維修保養和服務也將變得更加自主和無縫。通過分析傳感器輸入、維修保養歷史和駕駛行為等數據，數字助手可以預測何時需要進行保養。利用生成式AI，數字助手可針對汽車如何維修提14微軟財報15/blog/2023/03/16/introducing-microsoft-365-copilot-your-copilot-for-work/感知軟件棧從未遇到過的罕見或陌生物體，經常會對高級駕駛輔助系統和自動駕駛（ADAS/AD）解決方案產生干擾。這種情況通常由光線不佳或惡劣天氣條件造成，會導致駕駛策略軟件棧產生難以預測、有時甚至很危險的結果。為了在未來預防類似情況，必須妥善采集和標記這些極端場路行為主體的軌跡和行為，比如車輛、行人、自行車騎行者和摩托車騎行者。規劃者可以利用這圖7：生成式AI可用于先進駕駛輔助系統/自動駕駛（ADAS/AD），通過預測不同行為主體的軌跡和行為，幫助改進駕駛策略。駕駛策略軟件棧以及感知軟件棧始終在汽車的AI決定了云端無法針對這些AI工作負載在決策過程中發揮任何作用。隨著ADAS/AD解決方案采用5.4XR：3D內容創作和沉浸式體驗渲染工具將賦能內容創作者使用如文本、語音、圖像或視頻等各種類型的提示，生成3D物體和場景，并最終創造出完整的虛擬世界。此外，內容創作者將能夠利用文本生成文本的大語言模型，為能夠發出聲音并表達情緒的虛擬化身生成類人對話?？偠灾?，這些進步將變革用戶在XR設圖8：生成式AI模型將面向XR賦能對話式AI和全新渲染工具。對于沉浸式世界，StableDiffusion等文本生成圖像類的模型很快將賦能內容創作者在3D物體上部署需要“分布式處理”，即頭顯運行感知和渲染軟件棧，與之配對的智能手機或云端運行生成式AI模型。未來幾年，首批文本生成3D和圖像生成高質量的3D物體點云。幾年后，這些模型將通過提升，達到能夠從零物體的水平。在大約十年內，模型將更進一步，支持由文本或圖像生成的高保真完整3D空間和場景。未來，文本生成3D和視頻生成3D類的模型最終或能讓用戶踏入從零開始生成的圖9：生成式AI將有助于基于簡單提示創造沉浸式3D虛擬世界的過程，比如“超現實世界、水母四處游動、美麗的瀑布、神秘的湖泊、巍峨的高山”邊緣終端，為虛擬化身生成自然直觀的對話。此外，文本生成圖