05人工智能技術的突破-大語言模型技術011本章目標了解大語言模型發展現狀及趨勢理解token和向量理解注意力機制重點重點難點2/52引入2-1參數量大3/52引入2-2數據集大4/52大語言模型發展現狀及趨勢GPT的影響4-1GPT影響GPT是QpenAI公司在大語言模型領域推出的里程碑式產品。GPT的出現對人工智能，尤其是自然語言處理領域的技術格局產生了深遠影響。特別值得注意的是GPT-3模型。進一步提升了模型的能力邊界，能夠處理更加復雜的任務，展現了前所未有的語言理解和生成能力。這一突破性進展不僅標志著GPT系列模型的重大飛躍，也為整個人工智能領域的未來發展提供了新的思路和可能性。6/52GPT的影響4-2自然語言處理機器翻譯問答系統文本分析編程&代碼代碼生成代碼解釋代碼修復創意內容生成創作文學作品音樂生成圖像生成教育&學習自動化教學知識檢索數據分析論文寫作商業應用客服服務市場分析娛樂休閑智能家居語音助手7/52GPT的影響4-3自然語言處理機器翻譯問答系統文本分析8/52GPT的影響4-4編程&代碼代碼生成A代碼解釋代碼修復BC9/52GPT的發展史10/52GPT模型的預訓練2-1GPT預訓練第一階段：無監督預訓練GPT-1模型的預訓練采用了標準的語言模型，即根據上文來預測當前的詞，GPT-1模型由12個Transformer模塊組成，每個Transformer模塊只包含解碼器中的掩碼多頭注意力和后面的前饋層。

第二階段：有監督微調首先，對于不同的下游任務來說，要向GPT的網絡結構看齊，把任務的網絡結構改造成和GPT一樣的網絡結構。然后，在做下游任務的時候，利用第一步預訓練好的參數初始化GPT的網絡結構將預訓練學到的語言學知識就被引入到你手頭的任務中。11/52GPT模型的預訓練2-2第二階段-不同下游任務的輸入轉換12/52GPT的使用可選的GPT模型新建對話訪問地址問題輸入框上傳附件、搜索工具、搜索網頁13/52大模型的關鍵發展時期SuperCLUE：AI大模型2024年關鍵進展14/52國內大模型發展國內頂尖大模型進展迅速，較為接近ChatGPT-4o-latest端側小模型表現驚艷國內模型在推理速度和性價比方面很有競爭力DeepSeek-V3和SenseChat5.5-latest取得68.3分表現出色，超過Claude3.5Sonnet和Gemini-2.0-Flash-Exp，較為接近ChatGPT-4o-latest（僅相差1.9分）。國內模型DeepSeek-V3和Qwen2.5-32B-Instruct在高水平能力的基礎上，保持極快的推理速度。DeepSeek-V3、Qwen2.5-72B-Instruct（阿里云）在高水平能力的基礎上，保持低成本的API價格。國內端側小模型進展迅速，部分小尺寸模型表現要好于上一代的稍大尺寸模型，展現出很高的性價比和落地可行性。15/52國內大模型發展2024年最值得關注的中文大模型全景圖16/52國內外大模型月份國內（TOP1）國內（TOP2）國內（TOP3）海外Top32024年12月DeepSeek-V3、SenseChat5.5-latest、360gpt2-01Doubao-pro-32k-241215、NebulaCoder-v5、Qwen-max-latestStep-2-16k、GLM-4-Plus01、01-preview、ChatGPT-4o-latest2024年10月GLM-4-Plus、SenseChat5.5、AndesGPT2.0、Qwen2.5-72B-Instruct（并列）Hunyuan-Turbo、360gpt2-pro、Step-2、DeepSeek-V2.5、Doubao-proBaichuan4、山海大模型4.0、TeleChat2-Large01-preview、Claude3.5Sonnet（20241022）、ChatGPT-4o-latest2024年8月Hunyuan-Turbo-PreviewAndesGPT-2.0、DeepSeek-V2-0628Qwen2-72B-Instruct、SenseChat5.5、Doubao_pro_previewChatGPT-4o-latest、GPT-4-Turbo-2024-04-09、Claude3.5Sonnet2024年6月Qwen2-72BGLM-4-0520、DeepSeek-V2、SenseChat5.0AndesGPTGPT-4o、Claude-3.5-Sonnet-200k、GPT-4-Turbo-04092024年4月Baichuan3GLM-4、通義千問2.1騰訊Hunyuan-pro、文心一言4.0GPT-4-Turbo-0125、GPT-4-Turbo-0409、GPT-42024年2月文心一言4.0GLM-4通義千問2.1GPT4-Turbo-0125、GPT4（網頁）、Claude22023年12月文心一言4.0通義千問2.0AndesGPTGPT4-Turbo、GPT4(網頁)、Claude217/52大模型的未來發展大模型需要與人類對齊，才能在人類的驅動下改正錯誤，實現自我進化把大模型和周圍的虛擬環境結合起來，讓環境提示它的錯誤，從而有反思的機會去改正錯誤通過加上機器人，讓大模型在物理世界也能工作多模態生成對產業的發展非常重要，因為大模型不僅可以生成文本，還可以生成圖像、聲音、視頻、代碼等具身智能AIAgent（智能體）多模態生成與人類對齊一些研究嘗試通過微調多模態模型在多模態場景中生成高質量的思維鏈來探索思維鏈推理。推理能力18/52小結大模型的應用領域有哪些？GPT的訓練過程分為幾個階段？分別是什么？大模型的未來發展趨勢是怎么樣的？19/52理解token和向量token的定義token在NLP中，token是文本的基本單位。token在大語言模型中的作用至關重要，因為它們是模型理解和處理自然語言的基礎單位。token可以是一個完整的詞、詞的一部分(子詞)，甚至是單個字符。Tokenization，即分詞過程，是將文本轉換為token的關鍵步驟。21/52token劃分方式01詞級別分詞05字符級別分詞03BPE02子詞級別分詞04WordPiece一種基于統計頻率的分詞方法，通過反復合并最常見的字符對，生成子詞單元。將文本按照詞語或詞組進行分割，每個詞或詞組作為一個Token。將文本中的每個字符都作為一個Token。這種方法的粒度最細，適用于語言結構不固定、詞匯邊界不明確的場景。將單詞進一步拆分為更小的語義單位，稱為子詞（Subword）。類似于BPE，但合并的原則更加靈活，廣泛用于BERT模型中。22/52從獨熱編碼到wordembedding2-1獨熱編碼?獨熱編碼（One-HotEncoding）是一種將離散變量表示為二進制向量的方法，主要用于機器學習和深度學習中處理分類變量。?其基本原理是為每個分類特征的每個可能值創建一個新的二進制特征，其中只有一個特征在任何給定時間被激活（標記為1），而其他所有特征都被標記為0。23/52從獨熱編碼到wordembedding2-2神經網絡語言模型詞向量的計算24/52向量的定義2-1文本轉向量向量在空間中的表示25/52向量的定義2-226/52向量的意義27/51統一表示向量的使用使得各種不同類型的數據能夠在相同的數學框架下進行處理。相似度計算通過計算向量之間的距離或相似度，可以實現各種任務，如圖像檢索、語義相似度計算、音頻匹配等特征提取向量表示數據的核心特征，這些特征提取對于LLM的理解和決策至關重要跨模態關聯向量表示使得大語言模型能夠建立不同模態數據之間的關聯數學運算與轉換向量支持各種數學運算(如加法、減法、點積等)，這使得大語言模型能夠進行復雜的語義操作可擴展性向量表示的靈活性使得大語言模型可以不斷擴展其能力,適應新的數據類型和任務，而無需徹底改變其基礎架構。27/52常見的embedding模型Embedding模型Word2Vec

通過上下文預測單詞，生成語義上相近的詞向量。GloVe通過計算詞與詞之間在語料庫中的共現概率，生成詞向量。FastText將單詞表示為多個子詞（n-gram）的組合，而不僅僅是一個整體，將單詞分解為子詞。ELMo與傳統的靜態詞嵌入模型不同，ELMo生成的詞向量是動態的，并且取決于上下文。BERT通過雙向編碼器的方式，從左右兩個方向同時理解文本上下文。text-embedding-ada-002OpenAIGPT-3系列的高級文本嵌入模型，將文本轉為高維向量以捕捉語義特征，適用于多種NLP任務BGE(BAAIGeneralEmbedding)基于雙向編碼器與層次化語義理解框架，通過大規模多語言預訓練生成高維向量（如1024維），動態融合上下文信息以捕捉詞匯、短語及篇章級語義關聯。28/52token與embedding之間的關系29/52embedding實例展示向量展示相似度展示30/52理解注意力機制注意力機制4-1Source獨熱編碼Query(Q):查詢向量，用于表示當前要關注的信息。每個注意力頭會根據輸入序列生成自己的查詢向量。Q向量用于與K向量進行相似度計算，以確定哪些值（V）應該被關注。Key(K):鍵向量，代表輸入序列中每個元素的特征。每個輸入元素都有一個對應的K向量，Q與K的相似度決定了該元素對當前查詢的重要性。Value(V):值向量，實際包含的信息。每個K向量都有一個對應的V向量，最終的輸出是通過加權求和V向量得到的，其中權重由Q和K的相似度決定。32/52注意力機制4-233/52注意力機制4-3注意力工作流程34/52最終的AttentionValue=0.1*Value1+0.2*Value2+0.3*Value3+0.1*Value4+0.3*Value5，這個AttentionValue是一個綜合了句子中所有詞信息的向量，但它更偏重于與“喜歡”相關的詞匯，例如“貓”和“狗”?！拔摇钡淖⒁饬嘀乜赡苁?.1；“喜歡”的注意力權重可能是0.2；“貓”的注意力權重可能是0.3；“和”的注意力權重可能是0.1；“狗”的注意力權重可能是0.3；Query和Key1（“我”的鍵向量）：計算相似度，可較低。Query和Key2（“喜歡”的鍵向量）：計算相似度，可能較高，因為它們是同一個詞。Query和Key3（“貓”的鍵向量）：計算相似度，可能較高，因為“喜歡”與“貓”有語義關聯。Query和Key4（“和”的鍵向量）：計算相似度，可能較低。Query和Key5（“狗”的鍵向量）：計算相似度，可能較高，因為“喜歡”與“狗”也有語義關聯。注意力機制4-4步驟1-計算相似度步驟2-計算注意力權重步驟3-加權求和值向量35/52自注意力機制7-1自注意力機制模型架構圖Q、K、V首先可以看到SelfAttention有三個輸入Q、K、V：對于SelfAttention，Q、K、V來自句子X的詞向量x的線性轉化，即對于詞向量x，給定三個可學習的矩陣參數WQ,Wk,Wv，x分別右乘上述矩陣得到Q、K、V。36/52自注意力機制7-2第一步獲取qkv37/52自注意力機制7-3第二步點乘38/52自注意力機制7-4第三步Scale（縮放）+Softmax（激活函數）縮放：在計算查詢向量（Query）和鍵向量（Key）的點積之后，將結果除以一個縮放因子根號dk，其中dk是鍵向量的維度。這個縮放操作的目的是防止點積結果過大，導致Softmax函數的輸入值過大，從而使得Softmax的輸出接近于0或1，導致梯度消失問題。通過縮放，可以將點積結果控制在一個合理的范圍內，保持數值穩定性。而在在Transformer模型中，鍵向量的維度dk通常設置為64。39/52自注意力機制7-5第四步點乘40/52自注意力機制7-6SelfAttention的矩陣計算41/52自注意力機制7-742/52自注意力機制和RNN、LSTM的區別SelfAttentionRNN、LSTMselfAttention在計算過程中會直接將句子中任意兩個單詞的聯系通過一個計算步驟直接聯系起來，所以遠距離依賴特征之間的距離被極大縮短，有利于有效地利用這些特征；SelfAttention對于一句話中的每個單詞都可以單獨的進行Attention值的計算，也就是說SelfAttention對計算的并行性也有直接幫助作用，而對于必須得依次序列計算的RNN而言，是無法做到并行計算的。如果是RNN或者LSTM，需要依次序列計算，對于遠距離的相互依賴的特征，要經過若干時間步步驟的信息累積才能將兩者聯系起來，而距離越遠，有效捕獲的可能性越小。43/52掩碼注意力機制2-1掩碼注意力機制MaskedSelfAttention模型，這里的Masked就是要在做語言模型（或者像翻譯）的時候，不給模型看到未來的信息，掩碼注意力機制是Transformer模型中的一種重要機制，用于控制模型在處理序列數據時對不同元素的關注程度。它主要通過在注意力權重計算過程中引入掩碼（Mask），來實現特定的注意力模式，如防止未來信息泄露、處理不同長度的序列等。44/52掩碼注意力機制2-245/52掩碼注意力機制-常用三種掩碼方式填充掩碼序列掩碼前瞻掩碼目的確保模型在處理填充的輸入數據時不將其視為有效信息。實現特定的注意力模式，如只關注當前詞的左側或右側上下文，或者實現循環（Causal）注意力模式。確保模型在預測下一個詞時只能依賴于當前詞及之前的詞的信息，而不能看到未來的詞應用場景主要在處理由于數據長度不一致而添加的填充操作時使用，在模型的輸入層或注意力機制中忽略這些填充數據。在需要精確控制信息流動的各種場景中使用，例如在遞歸神經網絡和Transformer模型中管理有效數據和填充數據。特別是在自回歸模型如Transformer的解碼器中，確保每一個新產生的元素僅僅基于之前已經存在的元素進行預測。功能讓模型專注于實際的有效輸入數據，避免因處理無意義的填充數據導致性能下降指示哪些數據是有效的，哪些是可以被忽略的，幫助模型更好地學習并做出準確預測。維護生成過程的時間一致性，防止信息泄漏，使得生成的內容更加符合預期邏輯性和連貫性46/52多頭注意力機制2-1多頭注意力機制是Transformer模型中的核心部分，旨在讓模型可以同時從多個不同的“視角”來關注輸入數據的不同部分。多頭注意力機制的核心思想就是將注意力機制分成多個“頭”，每個頭負責從不同的“角度”去學習輸入之間的關系。每個頭可以專注于不同的子空間或信息，從而捕捉到不同類型的關系。多頭注意力機制單頭多頭47/52多頭注意力機制2-248/52多種多樣的注意力機制不同的qkv來源定義不同的qkv計算加速方式不同的模型結構不同的加權計算方式不同的掩碼注意力機制多頭注意力、多層注意力自注意力機制、交叉注意力機制快速注意力、分組注意力點乘注意力、矩陣注意力、基于相似度的注意力、基于MLP的注意力bert（雙向掩碼）、gpt（單向掩碼）49/52小結大語言模型的技術原理token的有幾種分詞方式？你還知道其他的Embedding模型嗎？自注意力機制中的QKV是如何計算的？50/52作業作業1梳理本章內容，整理筆記，繪制思維導圖、完成課后練習作業2：課后習題1~251/5205人工智能技術的突破-大語言模型原理與訓練0253本章目標理解大語言模型工程了解大語言模型的應用了解大語言模型評估重點難點54/52引入數據工程（Data）能力（Capabilities）規模擴展（Scalingup）大模型的核心能力55/52大語言模型工程scalingUP大力出奇跡3-1ScalingLaw在人工智能領域，尤其是在大模型的發展中scalinglaw扮演著至關重要的角色。它描述了模型性能如何隨著模型規模（如參數數量）、數據量和計算資源的增加而提升。這一定律對于理解大模型的能力擴展和優化訓練策略具有重要意義。57/52scalingUP大力出奇跡3-2模型規模與性能計算資源與性能數據量與性能模型參數量增加通常會提升性能，但這種提升遵循冪律關系，即小幅度規模增加可能帶來較大性能改進，而規模進一步增加時，性能提升速率會逐漸放緩。訓練數據量的增加也與模型性能的提升相關聯。更多的數據可以幫助模型學習更豐富的特征，但同樣存在一個飽和點，超過這個點后，性能提升的速率會減緩計算資源的增加，如更多的FLOPs（浮點運算次數），同樣與模型性能的提升相關。58/52scalingUP大力出奇跡3-3性能提升能力增強大模型參數量不斷增長，從億級到百億級性能提升顯著，超100B后邊際效益減弱。詞表從幾千詞擴大到幾萬甚至十幾萬詞，增強語義表達準確性。詞向量維度從512維增至768、1024或2048維，提升語義捕捉能力，但過高維度會增計算開銷。Transformer模型層數從8層增至48層、96層甚至上百層，增強表達和泛化能力，但過多層數可能遇梯度消失等問題。當模型規模超10B時，會出現能力涌現現象，即模型在訓練時未被特別設計的能力，在實際使用時卻能表現出來。如GPT主要任務是預測下一個token，但達百億參數時，能進行上下文學習、具備推理能力、遵循指令生成內容，甚至處理未訓練過的新任務。能力涌現非絕對發生，但為大模型增添吸引力和應用潛力。59/52data大語言模型的來源4-12134如圖書館的公開藏書、研究論文等數據公開數據互聯網數據是大模型的主要數據來源，尤其是社交媒體、博客、新聞等文本數據。互聯網數據例如GitHub上的代碼數據，它對大模型的推理能力提升起到了重要作用。半公開數據未來可能包括圖像、視頻、語音等多模態數據，但如何有效結合這些數據以用于語言模型的訓練仍在研究中。其他領域數據60/52data大語言模型的來源4-261/93數據來源說明維基百科在線百科,嚴謹圖書經典為主的古登堡計劃和自助出版

平臺Smashwords等雜志期刊論文：ArXiv等鏈接WebText,RedditCommon

Crawl開源項目,爬取互聯網數據GitHub程序員聚集地合計700多GB,約有19萬套四大名著的閱讀量,5000億左右的token數量GPT-3的訓練數據61/52data大語言模型的來源4-362/93語言過濾指標過濾統計特征過濾關鍵詞過濾質量過濾句子級別文檔級別數據集級別冗余去除隱私數據發現隱私數據消除隱私消除子詞詞元化字節對編碼wordpiece詞元切分小紅愛吃蘋果，**@她吃完蘋果會寫作業。小紅愛吃蘋果。她喜歡吃蘋果。小紅的身份證號是32343455.小紅愛吃蘋果。小紅/愛吃/蘋果數據處理流程62/52data大語言模型的來源4-4AB數據比例數據順序與輪次例如，維基百科、知乎、互聯網爬取的文本和代碼數據等，它們在訓練中占據的比例會影響模型的文本生成能力、知識覆蓋面和推理能力。在訓練時，數據被分批送入模型，不同類型數據的輸入順序及每輪訓練中的數據比例是否一致，都會對模型的訓練效果產生影響。數據混合策略63/52Capabilities：大語言模型的能力語言表達能力是模型最基本的能力。如ChatGPT等模型，早在2018年GPT-1就已展現此能力，能生成自然語言和代碼語言，未來或能理解動物語言。因語言模型本質是建模語言規律，通過大量數據轉化為模型，使大語言模型在語言處理上出色。模型的推理能力是涌現能力，需100億級以上參數。目前的大模型中，10B以上的基本上都有一定的推理能力，得益于強化學習技術的突破，目前最強的是OpenAI的o1和DeepSeekR1。模型具備知識存儲能力，能存儲海量公開知識，如GPT-2可回答李白相關問題。但存在“幻覺”和災難性遺忘問題，大模型在知識存儲上表現更佳。推理能力知識存儲能力語言表達能力64/52小結大語言模型工程如何處理大語言模型的訓練數據？大語言模型有哪些能力？65/52大語言模型的應用大語言模型應用場景分析3-1如撰寫文章、編寫文案等文本生成將文本從一種語言翻譯成另一種語言翻譯對長文本進行概括，提取出主要內容摘要對文本進行情感分析、主題分類等文本分析2341語言處理場景67/52大語言模型應用場景分析3-2模型回答用戶提出的問題，提供準確且相關的信息智能問答系統它能夠處理客戶的咨詢、問題解答和其他常見服務需求，減少人工客服的負擔，提高響應速度和服務質量客戶服務系統幫助企業和用戶分析數據趨勢、生成報告、提供商業洞察等，通常應用于金融、市場研究等領域。智能數據分析助手231知識助手場景 68/52大語言模型應用場景分析3-3模型將復雜的任務分解成多個可執行的步驟，并依次執行任務分解與執行模型能夠理解編程語言，解釋代碼邏輯，甚至生成新的代碼代碼解釋與生成如調用代碼解釋器、使用軟件接口PlugIn等軟件接口操作231任務執行場景69/52大語言模型應用類型分析在模型即服務中，模型被打造成一種服務，通過API或其他形式提供給用戶使用。例如，OpenAI提供的API服務，開發者可以通過調用API來利用模型的強大能力進行各種自然語言處理任務。模型增強AI賦能指的是將大語言模型嵌入到現有的工作流程和工具中，以提高效率和質量。這類應用通過將模型與現有工具結合，實現工具功能的增強和流程的改進。AI賦能AI原生應用是基于人工智能技術創造出的全新應用場景和需求。這些應用是完全依賴于人工智能技術的創新。如斯坦福小鎮的智能代理（Agent）應用，靠多個智能代理協作完成復雜任務。AI原生70/52應用方法71/93微調技術promptRAG在已有的預訓練模型基礎上，使用特定任務的數據對模型進行再訓練，以優化其在該任務上的表現。結合檢索和生成的技術，通過檢索外部知識來增強模型的回答準確性和相關性。設計特定的輸入提示來引導模型生成預期的輸出，常用于對話系統和文本生成。71/52大模型微調技術大模型微調微調是對預訓練模型進行進一步訓練的過程。被微調的模型可能是預訓練的基座模型，也可能是已經微調過的模型。微調的核心在于引入新數據，調整模型的訓練數據分布，使模型參數進行適度變化。與完全重新訓練不同，微調可以只對部分參數進行小幅度調整，以保留模型原有的知識和能力。72/52全量微調3-1"總結這篇文章的主要觀點。"[相應的總結]"解釋光合作用的過程。"[關于光合作用的詳細解釋]指令遵循微調（SupervisedFine-Tuning,SFT）73/52全量微調3-2對齊微調（AlignmentFine-Tuning）74/52全量微調3-3全量微調的挑戰tokens選擇、隱私處理、混合策略、數據順序和訓練輪次等batchsize、訓練輪次、checkpoint設置等如QKV矩陣運算、自動微分、梯度計算等GPU利用率、顯存管理、精度選擇（如FP16、FP32或TF精度）等計算方法優化超參數調整硬件參數優化數據處理75/52高效微調5-176/52高效微調5-2132loraLoRA方法僅調整模型極小部分參數（通常為千分之一到千分之幾）。PromptTuning通過優化輸入提示（prompt）來調整模型行為，而不直接修改模型參數。Adapter在原有模型層之間插入小型可訓練模塊，僅訓練這些新增模塊。77/52高效微調5-3準備數據實現lora訓練過程評估任務描述假設我們有一個在通用文本上預訓練的大型語言模型（如BERT-large），現在我們想要將其應用于電影評論的情感分析任務，但我們的計算資源有限。實現流程78/52高效微調5-4準備數據收集一個包含標記了積極/消極情感的電影評論數據集。實現LoRA在BERT的每個注意力層中添加LoRA模塊。設置LoRA的秩（rank）為8（這是一個較小的值，可以根據需要調整）。79/52高效微調5-5訓練過程凍結原始BERT模型的所有參數。只訓練新添加的LoRA參數和分類頭。使用電影評論數據集進行訓練。評估在測試集上評估模型性能，比較與全量微調方法的差異。80/52全量微調與高效微調優缺點全量微調優點缺點性能最優：能夠充分利用模型的所有參數，通常在特定任務上達到最佳性能計算資源消耗大：需要訓練所有參數，對硬件資源要求高適應性強：不受限于任務類型或數據集特性，適用范圍廣訓練時間長：由于參數量大，訓練過程耗時，不利于快速迭代無需額外優化：直接對所有參數進行調整，無需復雜的優化策略容易過擬合：在小規模數據集上容易出現過擬合高效微調計算資源消耗低：僅更新少量參數，顯著減少計算資源需求，適合在資源有限的環境中使用性能上限較低：在某些復雜任務上，可能無法達到全量微調的性能水平訓練速度快：由于更新參數少，訓練時間大幅縮短，適合快速迭代適應性有限：對某些特定任務或數據集的適應能力可能不如全量微調，尤其是在任務復雜或數據分布差異較大時泛化能力強：較少的參數更新降低了過擬合的風險，尤其適用于小規模數據集優化難度較高：部分高效微調方法（如PrefixTuning、P-tuning）需要對訓練過程進行精細優化81/52prompt工程2-1提示詞格式提示詞可以是一個單詞、一句話或一段文字。功能提示詞是用來引導人工智能模型生成特定內容的文本輸入。結果通過提示詞，用戶可以指定生成內容的主題、風格或格式。82/52prompt工程2-2輸入觀察結果優化提示詞提示詞工程初始化設計提示詞prompt格式：確定prompt的結構和格式，例如，問題形式、描述形式、關鍵詞形式等。prompt內容：選擇合適的詞語、短語或問題，以確保模型理解用戶的意圖。prompt上下文：考慮前文或上下文信息，以確保模型的回應與先前的對話或情境相關。prompt編寫技巧：使用清晰、簡潔和明了的語言編寫prompt，以準確傳達用戶的需求。獲取問題83/52為什么要用提示詞工程提高生成內容的質量和準確性增強內容的多樣性和創造性節省時間和提高效率適應復雜和專業任務改善用戶體驗84/52RAG2-185/52RAG2-2RetrievalAugmentedGenerationFine-tuning原理RAG結合了檢索（Retrieval）和生成（Generation）兩部分。首先，它通過檢索模塊從外部知識庫中獲取相關信息，然后將這些信息作為上下文傳遞給生成模塊，用于生成回答。Fine-tuning是對預訓練語言模型進行再訓練，使其在特定領域或特定任務上表現更好。通過在包含領域特定知識和問題的訓練數據上進行微調，模型可以更準確地回答相關問題，減少幻覺現象。實現方式檢索模塊生成模塊選擇預訓練模型準備領域特定數據微調訓練應用場景適用于需要動態獲取最新信息的場景，如實時新聞、問答系統。適用于知識庫比較完善且易于更新的系統。適用于特定領域的應用，如醫學、法律等。適用于數據量較大且領域知識穩定的場景。區別依賴性：RAG依賴于外部知識庫的檢索，而Fine-tuning依賴于高質量的領域特定數據。靈活性：RAG更靈活，可以動態獲取最新信息；Fine-tuning依賴于訓練時的數據，更新較為困難。實現復雜度：RAG需要構建和維護檢索系統，Fine-tuning需要大量高質量標注數據和計算資源進行再訓練。RAG與Fine-tuning對比86/52RAG的工作原理6-1數據輸入獲取案例用戶輸入：“人工智能的發展歷程是怎樣的？”文檔方面：準備人工智能相關的資料87/52RAG的工作原理6-2信息檢索-檢索相關文檔文檔切分：將長文檔切分成較小的段落或片段。文本向量：將輸入問題和知識庫文檔轉換為向量表示。知識庫和向量數據：構建和存儲包含向量表示的知識庫。檢索和排序：根據輸入問題檢索和排序相關文檔片段。88/52RAG的工作原理6-3信息檢索-檢索相關文檔案例系統從知識庫中檢索相關的文檔。例如，檢索到以下文檔：文檔A：介紹了人工智能的起源和早期發展。文檔B：討論了人工智能在20世紀末的突破。文檔C：描述了近年來深度學習的發展及其影響。89/52RAG的工作原理6-4答案生成prompt預處理答案生成答案篩選格式化輸出輸出答案90/52RAG的工作原理6-5答案生成案例答案可能是：“人工智能的發展歷程可以分為幾個階段：起源和早期發展、20世紀末的突破、以及近年來的深度學習革命。這些階段共同推動了人工智能技術的快速發展和應用。”91/52RAG的工作原理6-692/52RAG最適合的應用場景動態知識環境在需要頻繁更新知識庫或處理最新信息的場景中，RAG表現出色。開放域問答當系統需要回答廣泛且不可預測的問題時，RAG能夠靈活地檢索和整合相關信息。專業領域應用在醫療、法律、金融等專業領域，RAG可以有效結合專業知識庫和語言模型，提供準確的專業回答。大規模信息處理對于需要從海量文檔中快速提取信息的場景，如企業知識管理、學術研究等，RAG能夠顯著提高效率。個性化服務在需要根據用戶背景或歷史交互提供定制化回答的應用中，RAG可以有效整合用戶相關信息。93/52RAG實際應用場景客戶服務系統科研文獻助手法律咨詢系統醫療診斷輔助企業知識管理系統RAG可以協助律師快速檢索相關法律條文、判例和解釋，提供更準確的法律建議。RAG可以幫助客服人員快速檢索產品信息，提供準確的客戶支持。在科研領域，RAG可以幫助研究人員快速定位和綜合大量學術文獻中的關鍵信息。通過檢索最新的醫學文獻和病例，輔助醫生進行診斷和治療決策。在大型企業中，RAG技術可以有效整合和利用企業內部的龐大知識庫。94/52RAG技術的擴充知識預處理語義向量化實時語義搜索答案生成在系統部署前，整理常見問題和標準答案，建立高質量的問答對數據庫。用戶提問時，在向量數據庫中進行語義搜索，匹配用戶問題與預存的問答對。將預處理后的問答對轉化為向量形式，存儲在向量數據庫中。將匹配到的答案交給模型，進行自然語言生成，使答案更貼近人類語言表達。靜態知識庫檢索步驟95/52R