香港中文大學(深圳)TheChineseUniversityofHongKong,Shenzhen香港中文大學(深圳)深圳市人工智能與機器人研究院01n個1Al近代史Al現代史3LLM發展歷程決策式Al生成式Al決策+認知+感知+學習+執行+社會協作重大突破(1980s~2010年)習模型(2011年~2016年)啟“大模型時代”Sora推出(2017年~)來源：艾瑞2023年AIGC場景應用展望研究報告人工智能Al現代史：深度學習的突破和近年來的發展2014年2017年2020年2023年語言處理Transformer語言處理Transformer類架構深度神經網絡生成式對抗神經網絡GAN視覺處理視覺處理CNN類架構引入人工反饋強化學習處理圖像引入人工反饋強化學習處理圖像引入注意力機制引入注意力機制架構預訓練大模型成為趨勢多模態+大模型●BERT的出現降低了NLP從業的準入門檻，那么大模型的出現則是進一步降低了各個行一019229一a21kk1234語言模型簡介你好。你也好。一個前綴輸入你好。人類肯德基瘋狂星期四。一個人類對話場景肯德基瘋狂星期四。什么是語言模型你好。你也好。一個前綴輸入你也好。真實分布真實分布你好。你也好。你好。V我50。語言模型預測分布給定相同前綴，語言模型是輸出能近似人類語語言模型預測分布多頭自注意力多頭自注意力全連接層全連接層層歸一化層歸一化自注意力層歸一化“你好美麗。”論文新聞網絡爬蟲私有知識庫私有知識庫開源數據集開源數據集理)美美麗你好你好美容納大數據的載體，通常由深度神經網絡構成，學習大數據中的統計信息與抽象知識InputSequence大數據大算力大數據大算力(深度神經網絡)promptdataset.每個類型的問題人工設計了指令每個類型的問題人工設計了指令LLM架構與訓練：微調階段-如何賦予LLM邏輯能力?代碼實現計算1-100pythonpython使用了等差數列求和Chain-of-ThoughtLLM架構與訓練：問題來了-回答是有問題的珠穆朗瑪峰10分我也不知道呀0分重復生成我也不知道呀0分世界最高的山峰是?人工排序A>B>C>D 語言模型的社會化語言模型加入代碼數據，重新訓練。加入指令數據，加入代碼數據，重新訓練。加入指令數據，生成分數打分模型自監督學習監督學習強化學習LLM架構與訓練：各個訓練階段綜合來看..百科、網頁等的答案強化學習(cny)基礎模型基礎模型帶著笑臉的修格斯。(由/anthrupad提供)展望與應用電力行業應用大模型的潛在應用領域：●機器代人(機巡、客服、公文寫作等)●信息-物理-社會系統(CPSSE)仿真/數字孿生●電力系統機理研究(Al4S)●在調度運行等核心領域，大模型的推理可靠性與“幻覺”問題，決定了大模型尚不能完全替代人工。●已經應用良好的各種基于因果模型的工具無需替代。●應該采取因果模型+大模型+小模型融合的技術路線。2024,48(6):13-28.基于大語言模型實現高適應性負荷預測(多模態數據融合)·傳統方法局限：1.難以應對特殊事件發生時，短期電力負荷的快速變化或極端波動；2.不能適應超出歷史數據涵蓋范圍的新場景；3.無法基于文本數據(新聞事件)進行預測推理。能夠基于語言有效處理、整合非結構化及海量多源數據，通過Agent篩選實時相關新聞并理解文本邏輯，顯著提升預測的適應性和精確度。新新聞+地理+歷史負荷+氣象數據+典型天Input:predictthedailyloadconsumptioninthenextday.IlistoricIlistoricalDatacovers{Iday}an·mimtes}pert·Theweatherofpredictiondate:{minmamtemperatitemperature,hmidiry.wndpower,andpressire}:·Newsbeforetheprediction:/Newstrle,,briefsunmary!,publicationtime}.{category.[ullarticle}.Output:{Timesertesofactualloadinthepredicrlondate}.LLMs擅長解析和理解非結構化數據LLMAgentLLMAgent智能優化用于負荷預測相關新聞的選擇預訓練模型能夠整合廣泛的社會、經濟和技術知識新聞事件相關的文本數據的引入新聞事件相關的文本數據的引入，有效提升在特定事件發生時負荷預測精確度。NoNewhnigherporarlodduntingpoakhous….wthadropinconsumption..News:疫情封城商業活動帶來居民用電量上升區域大停電·Agent對新聞事件的篩選，在提升大模型輸入token效率的同時增強預測精確度：PERFORMANCEMETRICSOFDIFFERENTMO481006.30693.55523.2321.25475200.06689.35421.8211.61224497.31473.81323.891·預測效果普遍優于現有方法，在不同時間和地理維度的適應性強，顯著提升預測的適應性和精確度：NSWLSTMReformerIaformer444LSTMReformerIaformer444ActualVal*sPredictedValssd48024ActualVabesPr基于LLM的負荷預測顯著提升準確性和可靠性，優化對突發變化的應對，突出了語言處理在整合非結構化信息中的作用，標志負荷預測及時序決策研究范式的轉變。基于前期研究，我們發現可以將調度、市場行為以大語言模型的形式建模(語言模型化),解決傳統調度支撐體系中調度行為沒有更適應復雜開放場景事故處置輔助決策◎調度多模態數據(日志、語音)調度多模態數據(日志、語音)怕系統調員怕系統調員目標:m解決m母線失壓決策輔助性能提升支撐復雜開放場景下的調度決策推理與智能生成性能提升支撐復雜開放場景下的調度決策推理與智能生成調度及市場行為缺少有效建模工具度行為語言模型化與調度決策智能生成的技術框架電力調控運行多模態融合操作監護：電力調控運行多模態融合知識數據集調度統一知識調度統一知識管混合專家模型(MoE)系統人機協同基于多頭注驅動機制人機協同工具使用工具使用大模型集群基于低秩適加速微調混合增強智能95%以上主要日常操作環節業務支持輔助決策：預判結果、自動輔助決策：預判結果、自動提醒和預警惡性基于檢索增強生成的知識庫框架事故處理：事故處理：多主體協同調度大模型數據處理初版領域數據集大模型訓練數據集output":Insulatlondeterlorstlon,oftencsuredbysolsture,overhesting,vtbrat*khaniclstressduriretransforrertheauchralts,iInstructian":xplainthepotentialcausesoftapchangauipuL":"TapchangerfailurncanLecasltyalfumctionufUewchnicalwresistanceloodcontacts,insulationtracking,overhoating,orcontainaticn4autput":"tatfstlesshosthat4一一output":"Toprevcnttransforwerwindingfailures,wsuressuchascnsuringproplevels,aoidingeverteatingd-fng(amltsrheinplerent調度大模型交互頁面osderinteostwlptO+ssrdluosderinteostwlptO+ssrdlumnteocop*01hilyigonskelrZkrrwlcknt0prtknwrterialpnstuis軸aiedihdihnttimlbtO.ACshdsandpstkdplraefcofhpwspun業務場景支持：測試教科書教科書論文NN十提取+分割+標簽+增強提取+分割+標簽+增強據集測試生成調度成+增強達性穩定性測試集評測體系：■評測圍繞調度大模型在事實性、邏輯性、穩定性、公平性、安全性、表達能力六大類二十四個子維度展開評估。測試集題型設定：評測方法：客觀題：GPT-4+評測腳本842穩定性表達性事實性公平性邏輯性穩定性調度測試數據集調度場景(一級指標)8642安全性安全性穩定性表達性事實性公平性邏輯性安全性安全性穩定性■調度相關問題的邏輯性、穩定性和安全性上表現●大模型的“智能涌現”現象，再次表明復雜系統的研究問題無法完全在還原論的框架下解決。·WRT以CPSSE框架刻畫復雜系統，以混合動態仿真來提取對象系統的高維仿真軌跡，基于軌跡動力學的時空保熵映射，將復雜系統的研究從線性的“局部還原”提升為非線性的“整體保熵還原”。●大語言模型可以基于仿真或實測軌跡數據，基于其內化的理論常識，以一定概率在局部自主進行邏輯●基于大模型內化的理論常識，大模型也可以用作嚴格因果模型與近似模型的選擇器。●我們的初步研究表明，大語言模型已具有模仿人進行系統性邏輯思維的能力。因此，可以在CPSSE仿真中，結合真人、因果模型和大語言模型，實現更精確的人機混合仿真。●大模型的推理可靠性與“幻覺”問題，目前尚無法完全解決。現階段，“人機混合智能”可能是最符合電力系統實際的解決方案。終極目標。泛化性較差：對于那些需要快速適應新信息和變化的實際應用場景，傳統的數學方法缺乏靈活性。推理能力：LLMs擁有處理復雜問題和理解復雜語境的能力，這使它們能夠理解和分析復雜的博弈策略。泛化能力：得益于LLM出色的zero-快速適應市場的動態變化。結合大量歷史案例，提高仿真的準確性和效率。代理模擬：將LLM與多代理仿真結合，通過模擬市場中player行為或策略，為市場仿真提供了一種新的思路。代碼解釋器()代碼解釋器()果反饋，自學習獎勵總結經驗，形成長期記憶與尚尚*尚傳遞與經驗知識共享效溝通協議與流程■FAISS:向量高性能查詢查詢基于大模型的市場仿真●市場仿真基礎流程分解得到交易機制信息反饋組織信息反饋交易者，調整決策輸入交易機制市場主體流程分解得到交易機制信息反饋組織信息反饋交易者，調整決策輸入交易機制市場信息公示市場信息公示·程序化、標準化、規范化市場規則匹配出清"三公"原則市場外部性外部干擾基于大模型的市場仿真●大語言模型訓練——以電力市場為例提示語工程·模擬電力交易員工作環境，給出機組工況、斷面阻塞、燃料成本、碳成本、市Q價開色沿外現貨市場o驗市反工大模