本白皮書版權(quán)屬于北京金融信息化研究所有限責任公司，并受法律保護。轉(zhuǎn)載、編摘或利用其他方式使用本白皮書文字或觀點的，應(yīng)注明來源。違反上述聲明者，將被追究相關(guān)法律責任。主

任：潘潤紅副主任：黃程林、莊文君編委會成員（排名不分先后，按姓氏拼音排序）：陳志明、代

鐵、董佳藝、方

科、胡利明、黃

煒、李

鋒、李金龍、李一昂、林冠峰、劉承巖、劉殿興、劉漢西、劉訓(xùn)艷、陸

鑫、潘

華、沈劍平、孫

莉、汪

航、王建軍、王

玲、王

麒、王彥博、吳永飛、肖

京、楊

波、俞

楓、張海燕、張

潔、趙

海、趙煥芳編寫組成員（排名不分先后，按姓氏拼音排序）：曹伯翰、陳

超、陳廣浩、陳

鴻、陳

明、陳志豪、遲倩倩、崔雨萍、刁翔宇、段旭歡、范

容、茍志龍、何

平、何巧媚、何幸杰、胡國強、胡師陽、胡應(yīng)明、黃

彪、黃

韋、金

睿、金

昕、李大偉、李冬妮、李

峰、李

娟、李夢霄、劉

暢、劉

威、羅安揚、羅方華、毛奕凱、彭

晉、戚

翯、邱曉慧、談

健、唐登龍、王

瑩、王煜惠、王

振、溫昱暉、文俊杰、吳青松、徐崚峰、鄢勝利、楊

洋、于

飛、曾培基、占可非、張

彬、張

紳、張笑冬、趙

輝、周思霽、宗

宇主要執(zhí)筆人（排名不分先后，按姓氏拼音排序）：鮑思佳、盧金環(huán)、屈

洋、孫

曦、王帥強主編單位：北京金融信息化研究所中國農(nóng)業(yè)銀行股份有限公司中國郵政儲蓄銀行有限責任公司上海銀行股份有限公司騰訊云計算(北京)有限責任公司螞蟻科技集團股份有限公司參編單位：中國工商銀行股份有限公司中國銀行股份有限公司交通銀行股份有限公司中信銀行股份有限公司中國光大銀行股份有限公司平安銀行股份有限公司招商銀行股份有限公司上海浦東發(fā)展銀行股份有限公司華夏銀行股份有限公司中國民生銀行股份有限公司興業(yè)銀行股份有限公司浙商銀行股份有限公司北京銀行股份有限公司中信證券股份有限公司國泰君安證券股份有限公司華泰證券股份有限公司國信證券股份有限公司中國平安保險股份有限公司中國銀聯(lián)股份有限公司北京國家金融科技認證中心北京銀聯(lián)金卡科技有限公司海光信息技術(shù)股份有限公司北京火山引擎科技有限公司北京瑞萊智慧科技有限公司當前，大模型正掀起新一輪智能化發(fā)展熱潮，賦能千行百業(yè)。大模型具備優(yōu)秀的理解、學(xué)習(xí)、生成和推理能力，其工程化應(yīng)用包含數(shù)據(jù)構(gòu)建、模型算法、模型訓(xùn)練、模型壓縮與加速、模型評測、模型運營和安全可信多個環(huán)節(jié)。金融機構(gòu)和科技企業(yè)正積極探索大模型在金融業(yè)的合理應(yīng)用，已試點應(yīng)用于智能客服、智能辦公、智能研發(fā)、智能投研等多個業(yè)務(wù)場景，進一步推動金融服務(wù)的智慧再造，加速

AI

技術(shù)賦能金融業(yè)務(wù)提質(zhì)增效。大模型在金融業(yè)應(yīng)用還處于初期探索和應(yīng)用試點階段，仍面臨金融應(yīng)用規(guī)范與指南不完善、金融應(yīng)用場景缺少范式、高質(zhì)量金融訓(xùn)練數(shù)據(jù)欠缺、訓(xùn)練算力支撐不充分、算法可信度和安全性不足等諸多挑戰(zhàn)。本課題系統(tǒng)梳理了大模型工程化應(yīng)用的各個技術(shù)環(huán)節(jié)，總結(jié)金融機構(gòu)在大模型技術(shù)路線、使用方式和應(yīng)用場景等方面的實踐經(jīng)驗，重點研究金融機構(gòu)應(yīng)用大模型時在場景、數(shù)據(jù)、算力、算法等方面面臨的突出問題，并提出相關(guān)意見建議，旨在為全行業(yè)提供參考和借鑒，促進大模型在金融業(yè)快速落地應(yīng)用。一、

概述

..........................................................

1二、

大模型技術(shù)與產(chǎn)品發(fā)展現(xiàn)狀

......................................

2（一）

工程化應(yīng)用主要環(huán)節(jié)與技術(shù)

.................................2（二）

國內(nèi)外主要產(chǎn)品情況

.......................................9三、

大模型在金融業(yè)應(yīng)用與探索實踐

.................................

10（一）

技術(shù)路線

................................................10（二）

使用方式

................................................14（三）

應(yīng)用場景

................................................17（四）

應(yīng)用趨勢

................................................29四、

大模型在金融業(yè)應(yīng)用面臨的風(fēng)險與挑戰(zhàn)

...........................

30（一）

金融應(yīng)用規(guī)范與指南亟需完善

..............................30（二）

金融應(yīng)用場景缺少范式

....................................31（三）

高質(zhì)量金融訓(xùn)練數(shù)據(jù)欠缺

..................................32（四）

訓(xùn)練算力支撐普遍不足

....................................32（五）

算法可信度和安全性有待提升

..............................33五、多措并舉提升大模型金融業(yè)應(yīng)用水平

..............................

34（一）

加強金融應(yīng)用的指導(dǎo)與管理

................................34（二）

有序推動金融應(yīng)用場景落地

................................34（三）

積極構(gòu)建高質(zhì)量金融數(shù)據(jù)集

................................35（四）

產(chǎn)用協(xié)同共筑

AI

算力基礎(chǔ)設(shè)施

.............................35（五）

完善算法優(yōu)化與風(fēng)險管控體系

..............................36附錄

..............................................................

38案例一：郵儲銀行基于大模型的智能知識問答

.......................38案例二：某股份制銀行基于騰訊云

TI-OCR

大模型單據(jù)處理

............41案例三：某股份制銀行基于騰訊云金融大模型的智能客服

.............45案例四：某股份制銀行基于中科可控的金融大模型服務(wù)平臺

...........48案例五：北京銀行

AIB

金融智能應(yīng)用平臺

...........................52案例六：上海銀行基于開源大模型的智能辦公助手

...................55案例七：國信證券輔助運營人員服務(wù)客戶場景

.......................57案例八：螞蟻金融大模型應(yīng)用-支小寶

2.0

..........................

59近年來，以人工智能為代表的新一代信息技術(shù)加速應(yīng)用，特別是基于大模型、大數(shù)據(jù)、大算力的

ChatGPT

的發(fā)布，標志著人工智能技術(shù)取得里程碑式突破，推動科技創(chuàng)新進入新階段。隨著大模型技術(shù)的迅猛發(fā)展和場景價值的不斷涌現(xiàn)，該技術(shù)或?qū)⒅厮芏鄠€行業(yè)的工作方式和格局。為穩(wěn)步推動生成式人工智能在各行各業(yè)的有序應(yīng)用，我國陸續(xù)出臺一系列政策法規(guī)和管理辦法，《國務(wù)院

2023

年度立法工作計劃》將人工智能法納入了國家立法計劃，《生成式人工智能服務(wù)管理暫行辦法》提出了促進生成式人工智能技術(shù)發(fā)展的具體措施，《網(wǎng)絡(luò)安全標準實踐指南——生成式人工智能服務(wù)內(nèi)容標識方法》指導(dǎo)生成式人工智能服務(wù)提供者等有關(guān)單位做好內(nèi)容標識工作，《生成式人工智能服務(wù)

安全基本要求》（征求意見稿）給出了生成式人工智能服務(wù)在語料安全、模型安全、安全措施、安全評估等方面的基本要求，《全球人工智能治理倡議》主張建立人工智能風(fēng)險等級測試評估體系，不斷提升人工智能技術(shù)的安全性、可靠性、可控性、公平性。金融業(yè)是數(shù)字化、智能化的先行者，有望成為大模型技術(shù)落地的最佳領(lǐng)域之一。《金融科技發(fā)展規(guī)劃（2022-2025

年）》明確提出要抓住全球人工智能發(fā)展新機遇，以人為本全面推進智能技術(shù)在金融領(lǐng)域深化應(yīng)用，強化科技倫理治理，著力打造場景感1知、人機協(xié)同、跨界融合的智慧金融新業(yè)態(tài)。金融機構(gòu)正在積極探索大模型在智能客服、智能辦公、智能研發(fā)等業(yè)務(wù)場景的應(yīng)用，提升智能技術(shù)的可獲得性，助力金融服務(wù)降本增效。（一）工程化應(yīng)用主要環(huán)節(jié)與技術(shù)大模型相較于中小模型，具有更好的表示能力、泛化能力、學(xué)習(xí)能力和語義表達能力，但其參數(shù)量巨大、訓(xùn)練所需數(shù)據(jù)量和算力資源多、部署運營更為復(fù)雜，工程化落地涉及數(shù)據(jù)構(gòu)建、模型算法、模型訓(xùn)練、模型壓縮與加速、模型評測、模型運營和安全可信等多個復(fù)雜環(huán)節(jié)。1.

數(shù)據(jù)構(gòu)建訓(xùn)練大模型需要海量數(shù)據(jù)做支撐，高質(zhì)量數(shù)據(jù)集的構(gòu)建和處理對于大模型的性能表現(xiàn)至關(guān)重要。訓(xùn)練數(shù)據(jù)集一般需要涵蓋多種類型、多種領(lǐng)域的數(shù)據(jù)來源，并配以相應(yīng)的數(shù)據(jù)預(yù)處理過程。根據(jù)數(shù)據(jù)來源不同，大模型的訓(xùn)練數(shù)據(jù)主要可分為公開數(shù)據(jù)、商業(yè)數(shù)據(jù)和私有數(shù)據(jù)。大模型參數(shù)量需要跟訓(xùn)練數(shù)據(jù)集大小相匹配，簡單堆砌參數(shù)量并不能無限度地提升其性能。通過提升訓(xùn)練數(shù)據(jù)集質(zhì)量和內(nèi)容豐富度、加入一些特定數(shù)據(jù)集、合理利用外掛知識庫資源、合理配置各種類型數(shù)據(jù)配比等方式，可以有效提升大模型的整體性能，減少模型幻覺，并加快模型的收斂速度。高質(zhì)量的數(shù)據(jù)預(yù)處理是提升模型表現(xiàn)和安全可靠性的重要2手段。比如自然語言處理訓(xùn)練數(shù)據(jù)的預(yù)處理手段一般包括：質(zhì)量過濾，過濾重復(fù)數(shù)據(jù)、低質(zhì)量數(shù)據(jù)、虛假內(nèi)容、不合規(guī)內(nèi)容等；數(shù)據(jù)去重，重復(fù)數(shù)據(jù)可能會降低大模型的多樣性，導(dǎo)致訓(xùn)練過程不穩(wěn)定，從而影響模型性能，一般可在句子級、文檔級和數(shù)據(jù)集級等不同顆粒度上進行數(shù)據(jù)去重處理；隱私脫敏，對于包含個人敏感信息的數(shù)據(jù)進行脫敏處理，如身份證號碼、電話號碼等，包括但不限于匿名化、泛化等手段；數(shù)據(jù)去毒，消除帶有種族/性別偏見、社會文化偏見、宗教文化偏見的數(shù)據(jù)，以及低俗、粗鄙和帶有攻擊性的數(shù)據(jù)等；數(shù)據(jù)降維，其目標是在保留基本信息的同時減少數(shù)據(jù)集的復(fù)雜性，從而提高訓(xùn)練效率，一般可通過減少特征維度或樣本大小來實現(xiàn)；數(shù)據(jù)增強，通過人工創(chuàng)建對現(xiàn)有數(shù)據(jù)的變更來增加數(shù)據(jù)量和多樣性，特別是在數(shù)據(jù)量有限的情況下，通過數(shù)據(jù)增強可以提高模型的準確性、泛化能力和魯棒性，也可以應(yīng)對數(shù)據(jù)類別不平衡等問題。完成數(shù)據(jù)預(yù)處理后，可以將數(shù)據(jù)通過分詞等手段，轉(zhuǎn)換為適用于大模型訓(xùn)練的表達形式，形成高質(zhì)量語料。此外，在模型推理過程中，也可以通過整合外部的領(lǐng)域知識庫或?qū)I(yè)數(shù)據(jù)庫，為模型提供額外的背景知識和參考數(shù)據(jù)，尤其是快速且不斷地更新信息，從而提高模型的準確性和魯棒性。2.

模型算法大模型技術(shù)的突破源于自然語言處理領(lǐng)域的

Transformer架構(gòu)。該架構(gòu)使得模型參數(shù)量突破了

1

個億，隨后一系列大模型被推出。基于

Transformer

架構(gòu)的模型可以分為編碼器、解碼器、3編碼到解碼三大類，其主要特點和代表性模型如表

1

所示。表

1

大模型結(jié)構(gòu)主要分類及特點當前，基于

Transformer

解碼器結(jié)構(gòu)訓(xùn)練的大模型成為了自然語言處理領(lǐng)域的主流方案。在此影響下，語音、視覺以及跨模態(tài)等領(lǐng)域的大模型也嘗試應(yīng)用類似模型架構(gòu)，并取得了較好效果，比如語音領(lǐng)域的

OpenAI

whisper

和

DaLL-E

等，圖像生成領(lǐng)域的Stable

Diffusion

開源模型等。3.

模型訓(xùn)練大模型訓(xùn)練涉及預(yù)訓(xùn)練和微調(diào)等重要環(huán)節(jié)。預(yù)訓(xùn)練的主要目的是利用大量無標簽的數(shù)據(jù)，訓(xùn)練出一個有能力捕捉到數(shù)據(jù)中隱藏的底層結(jié)構(gòu)和模式的模型，這一階段的模型通常被稱為“基座模型”。由于大模型的參數(shù)量和訓(xùn)練數(shù)據(jù)量的急劇增長，單個計算設(shè)備的算力已經(jīng)不足以支撐模型訓(xùn)練。當前，一般通過分布式訓(xùn)練來解決預(yù)訓(xùn)練過程中的海量計算任務(wù)和高內(nèi)存資源等問題，但也面臨著計算墻、內(nèi)存墻和通信墻等挑戰(zhàn)。目前解決分布式訓(xùn)練的關(guān)鍵技術(shù)是并行化，將任務(wù)分割并分配到多個處理器或設(shè)備4上，以便同時完成計算，更有效地利用計算資源，減少訓(xùn)練所需時間。微調(diào)的主要目的是在預(yù)訓(xùn)練模型的基礎(chǔ)上，通過有監(jiān)督微調(diào)、強化學(xué)習(xí)等方式，進一步提升模型在下游任務(wù)中的表現(xiàn)，使得模型輸出更符合人類期望。有監(jiān)督微調(diào)，又稱為指令微調(diào)，通過使用有標注的特定任務(wù)數(shù)據(jù)對預(yù)訓(xùn)練模型進行微調(diào)，從而使得模型具備遵循指令的能力。早期的微調(diào)算法會涉及到預(yù)訓(xùn)練模型的全量參數(shù)更新，計算成本較高，目前已提出了多種參數(shù)高效微調(diào)任務(wù)的方法以節(jié)約計算成本，如

LoRA、Adapter、P-tuning

等。強化學(xué)習(xí)技術(shù)是基于人類反饋，進一步調(diào)整模型的行為。其數(shù)據(jù)集一般由經(jīng)過人工評估的反饋數(shù)據(jù)構(gòu)建，這些數(shù)據(jù)反映了模型的輸出與期望輸出之間的差異，基于

Q-learning、深度

Q

網(wǎng)絡(luò)或近端策略優(yōu)化等強化學(xué)習(xí)算法進行訓(xùn)練。大模型訓(xùn)練場景對中高端

AI

芯片需求旺盛，需要統(tǒng)籌規(guī)劃CPU

芯片、GPU

芯片、服務(wù)器、網(wǎng)絡(luò)、存儲、冷卻、算力運營服務(wù)、AI

應(yīng)用服務(wù)平臺等多個方面。在金融機構(gòu)通用服務(wù)器集群基礎(chǔ)上，構(gòu)建基于異構(gòu)芯片體系的

AI

算力資源池，實現(xiàn)對金融機構(gòu)現(xiàn)有

AI

算力資源的統(tǒng)一調(diào)度，保障大模型訓(xùn)練的算力支撐。4.

模型壓縮與加速模型壓縮是指通過各種技術(shù)手段來減小機器學(xué)習(xí)模型的大小、復(fù)雜度和計算量，加速推理過程并減少內(nèi)存使用，以便在資源受限的設(shè)備上部署和運行，如移動設(shè)備、邊緣設(shè)備等。目前，模型壓縮技術(shù)主要包括知識蒸餾、剪枝和量化等解決方案。知識5蒸餾是一種訓(xùn)練小型模型以模仿大型模型行為的方法，保留了大型模型主要功能的同時降低了計算和存儲需求，但通常需要一個預(yù)先訓(xùn)練好的大型模型，且性能上會有一定損失。剪枝是一種去除模型中不重要或冗余參數(shù)的方法，一般可以在不顯著影響模型性能的情況下減小模型的大小和計算需求，但需要確定哪些參數(shù)是不重要或冗余的，以選擇合適的剪枝策略。量化是一種減少模型參數(shù)和運算中數(shù)字精度以降低模型的存儲需求和計算復(fù)雜度的技術(shù)，可適用于多種模型和任務(wù)，并顯著減少存儲和計算需求，但可能會造成一定程度的精度損失，且有時需要特定的硬件支持。模型加速主要研究加速模型的訓(xùn)練和推理過程，伴隨模型參數(shù)增長，正逐漸成為研究熱點。訓(xùn)練環(huán)節(jié)，針對計算量、通信、內(nèi)存可以進行一系列優(yōu)化，例如使用梯度累積或梯度壓縮可以優(yōu)化通信策略、使用半精度浮點數(shù)可以節(jié)省內(nèi)存等。推理環(huán)節(jié)，優(yōu)化手段包括使用

GPU、TPU

和

ASIC

等芯片的專用硬件加速器加速計算過程、使用并行化和分布式推理提高推理吞吐量并減少推理時間、使用緩存和預(yù)取策略降低內(nèi)存訪問延遲、在邊緣設(shè)備上進行推理減少與服務(wù)器端的通信延遲、結(jié)合模型壓縮技術(shù)加速推理過程等。現(xiàn)階段

AI

應(yīng)用中，大量的算法、模型、開發(fā)框架、軟件等開發(fā)都基于通用加速卡架構(gòu)，在考慮硬件算力的基礎(chǔ)上，要結(jié)合加速芯片軟件棧及開發(fā)工具鏈等配套的軟件生態(tài)能力。5.

模型評測模型評測在機器學(xué)習(xí)和自然語言處理領(lǐng)域扮演著至關(guān)重要6的角色。大模型具有更強大的泛化能力，可以處理多種任務(wù)，但大模型的輸出可能存在不真實、不準確、不專業(yè)等問題，因此在大模型上線或升級時，有必要對其進行較為全面、充分的評測，幫助模型迭代優(yōu)化。大模型評測已成為行業(yè)發(fā)展熱點問題，目前國內(nèi)外相關(guān)評測層出不窮。據(jù)初步統(tǒng)計，目前行業(yè)內(nèi)關(guān)于大模型基準測試或特定任務(wù)的測試數(shù)據(jù)集已多達

200

余項，主要推出機構(gòu)可以大體分為學(xué)術(shù)界、產(chǎn)業(yè)界、媒體、社區(qū)以及智庫等。其中一些代表性的評估基準包括

HELM、MMLU、C-EVAL、BigBench、HumanEval、AGIEVal、SuperCLUE、OpenLLM

等。總體來看，大模型評測仍處于早期階段，如何構(gòu)建出全面、充分且能伴隨大模型能力增長不斷迭代的大模型評測基準，仍面臨較大挑戰(zhàn)。6.

模型運營大模型運營包括工程化、部署、管理、調(diào)試、維護和監(jiān)控等多個方面，旨在確保大模型在生產(chǎn)環(huán)境中穩(wěn)定運行，持續(xù)適應(yīng)變化，滿足用戶需求，保障數(shù)據(jù)安全。工程化方面，模塊化和面向?qū)ο蟮木幊炭梢詭椭M織代碼，使其更具可讀性和可重用性，如將數(shù)據(jù)預(yù)處理、模型結(jié)構(gòu)、訓(xùn)練循環(huán)和評估功能分為不同的模塊或類，同時版本控制系統(tǒng)和自動化測試技術(shù)有助于及時跟蹤代碼的修改歷史，確保每個功能模塊和整個系統(tǒng)穩(wěn)定運行。部署方面，要將模型轉(zhuǎn)化為適用于實際環(huán)境的格式，包括序列化、壓縮、硬件優(yōu)化以及容器化工具的使用，以確保模型在不同環(huán)境中的一致7性。管理方面，使用身份和訪問管理工具可以控制資源的訪問權(quán)限，運用數(shù)據(jù)管理工具跟蹤數(shù)據(jù)集的變化。調(diào)試方面，使用可視化工具和日志記錄有助于監(jiān)測模型運行時的詳細信息，這對于診斷問題和優(yōu)化性能至關(guān)重要。維護方面，要制定明確的更新策略以適應(yīng)新數(shù)據(jù)和業(yè)務(wù)需求，同時要建立回退機制，確保出現(xiàn)問題時能夠快速回退到穩(wěn)定版本。監(jiān)控方面，通常包括性能監(jiān)控和異常檢測，基于實時跟蹤和警報設(shè)置，確保模型的可靠運行。7.

安全可信一般而言，大模型的安全可信會從多個維度進行考量和評估，包括但不限于：可靠性，即大模型的輸出內(nèi)容是真實的、一致的等；內(nèi)容安全性，即大模型的輸出應(yīng)避免涉黃、涉暴等非法內(nèi)容，并能遵循當?shù)氐牡赖聹蕜t和法律規(guī)定等；公平無偏性，即大模型輸出應(yīng)避免偏見、刻板印象、不公平等情況；魯棒性，即大模型在面對投毒攻擊、提示詞攻擊等惡意行為或者意外情況時，依然能夠產(chǎn)生穩(wěn)定和可靠的輸出結(jié)果；可解釋性，即大模型能夠解釋其推理過程并能透明展示其內(nèi)容生成方式等；數(shù)據(jù)安全和隱私保護，即對訓(xùn)練和推理大模型的數(shù)據(jù)中可能包含的敏感信息進行相應(yīng)的脫敏和保護處理等。為有效提升大模型的安全可信水平，需要在大模型開發(fā)和運營的全流程采取相應(yīng)的安全措施，包括但不限于：數(shù)據(jù)處理環(huán)節(jié)，建立高質(zhì)量的訓(xùn)練數(shù)據(jù)集，有效去除有毒或錯誤信息、注重訓(xùn)練數(shù)據(jù)的分布比例以避免產(chǎn)生偏見、對訓(xùn)練數(shù)據(jù)中的敏感數(shù)據(jù)進行8脫敏等；模型開發(fā)階段，引入對齊技術(shù)等讓大模型的輸出更符合人類價值觀；模型上線前，需對大模型的安全可靠水平進行充分評測，如紅隊對抗測試等；大模型對客提供服務(wù)時，可以引入安全圍欄技術(shù)，既能幫助大模型攔截外界的惡意提問，又能對生成內(nèi)容進行風(fēng)險過濾和攔截；此外，模型運營過程中，還需要建立持續(xù)的監(jiān)控和定期審核機制，以及時發(fā)現(xiàn)異常情況并持續(xù)迭代優(yōu)化模型。（二）國內(nèi)外主要產(chǎn)品情況自

ChatGPT

引起業(yè)界高度關(guān)注后，國內(nèi)外科技巨頭紛紛加大了對大模型的研發(fā)和投入，以模型為核心，圍繞模型全生命周期設(shè)計、生產(chǎn)并提供產(chǎn)品、技術(shù)和服務(wù)，推動“數(shù)據(jù)、模型、服務(wù)、場景”

的

AI

生產(chǎn)力閉環(huán)連接和迭代優(yōu)化，為大規(guī)模、標準化的人工智能創(chuàng)新提供技術(shù)支撐。在此背景下，大模型相關(guān)產(chǎn)品和服務(wù)迎來了爆發(fā)式增長。此外，許多大模型相關(guān)的開源項目涌現(xiàn)，為研究和創(chuàng)新提供了便利。這些開源項目主要朝著兩個方向發(fā)展：一是相對

ChatGPT

更經(jīng)濟的、平民化的替代品，二是圍繞著大模型建立的外圍應(yīng)用工具。9數(shù)據(jù)來源：金融信息化研究所更新圖

1

國內(nèi)外典型大模型產(chǎn)品發(fā)展時間線1人工智能技術(shù)的應(yīng)用一直是金融機構(gòu)數(shù)字化轉(zhuǎn)型和智能化升級的核心領(lǐng)域，大模型具備的理解、學(xué)習(xí)、生成和推理能力，可觀的知識容量和卓越的多任務(wù)泛化能力，將進一步推動金融服務(wù)的智能化升級。（一）技術(shù)路線1.

技術(shù)選型大模型常見的技術(shù)選型路線包括開源大模型應(yīng)用、產(chǎn)學(xué)研聯(lián)合創(chuàng)新大模型研制和商用大模型采購。大型金融機構(gòu)一般采用三路并行的模式，中小金融機構(gòu)普遍尚未采購商用產(chǎn)品，大都停留在調(diào)研、匯報和

POC

測試階段。1

/RUCAIBox/LLMSurvey10一是開源大模型應(yīng)用。開源大模型是指通過開源方式發(fā)布和共享的大模型，其源代碼和相關(guān)資料對公眾開放，適用于具備一定技術(shù)能力的開發(fā)者、研究機構(gòu)以及對模型定制和二次開發(fā)有需求的機構(gòu)。國內(nèi)外的大模型有近一半選擇了開源的方式，Bloom、GLM、Llama

是目前國內(nèi)外流行度較高的開源大模型。金融機構(gòu)選擇開源大模型的前提是能夠依靠自身或者第三方公司進行大模型應(yīng)用研發(fā)，且具備后期維護、迭代更新的能力。盡管開源大模型已具備較好的實踐效果，但仍面臨數(shù)據(jù)安全合規(guī)風(fēng)險、開源協(xié)議風(fēng)險等挑戰(zhàn)。總體而言，金融機構(gòu)對于開源模型的采用普遍持謹慎態(tài)度，但在前期探索階段通常會采用開源大模型進行測試、研究，同時將其與商用大模型的應(yīng)用效果進行比對。二是產(chǎn)學(xué)研聯(lián)合創(chuàng)新大模型研制。金融機構(gòu)、科技企業(yè)、科研院所、高等院校等通過合作，共享知識、技術(shù)或資源，發(fā)揮各自優(yōu)勢，推動技術(shù)創(chuàng)新和產(chǎn)業(yè)發(fā)展。產(chǎn)學(xué)研聯(lián)合創(chuàng)新有助于金融機構(gòu)在大模型創(chuàng)新應(yīng)用初期推動特定試點場景快速落地。一方面，可以在一定程度上助力金融機構(gòu)加速科技創(chuàng)新及數(shù)字化轉(zhuǎn)型，打造更好的產(chǎn)品和服務(wù)，增強行業(yè)競爭力。另一方面，可以減少金融業(yè)對國外技術(shù)和產(chǎn)品的依賴，加快國產(chǎn)化步伐，提升行業(yè)安全可控能力。專欄一

產(chǎn)學(xué)研聯(lián)合創(chuàng)新大模型研制工商銀行與清華、鵬城實驗室、華為等高等院校、科研院所、科技企業(yè)開展大模型聯(lián)合創(chuàng)新。11交通銀行與華為、科大訊飛共建了聯(lián)合創(chuàng)新實驗室，推進大模型及算力集群技術(shù)、人工智能等先進技術(shù)在金融領(lǐng)域的落地應(yīng)用。北京銀行與火山引擎、華為、中科院自動化所、中科聞歌共建聯(lián)合創(chuàng)新實驗室，圍繞金融大模型體系構(gòu)建、前沿金融科技應(yīng)用等領(lǐng)域開展合作創(chuàng)新，共同探索銀行智能化技術(shù)的最佳實踐。三是商用大模型采購。眾多國內(nèi)外商用大模型正在逐步推廣應(yīng)用。相較于開源大模型，商用大模型可以為金融機構(gòu)提供更加工程化、易用性強、服務(wù)有保障的解決方案。金融機構(gòu)在大模型技術(shù)選型時需要綜合考慮大模型對業(yè)務(wù)質(zhì)量和人員效率的提升效果、大模型持續(xù)創(chuàng)新能力、大模型運行時的穩(wěn)定性和安全性等多個方面。同時，金融機構(gòu)還需結(jié)合自身業(yè)務(wù)特點和實力情況，對資金、人員、配套工具產(chǎn)品完備性等因素進行全面考量，以選擇合適的大模型解決方案。此外，要建設(shè)并維護內(nèi)部統(tǒng)一的大模型資源庫，并在此基礎(chǔ)上建立大模型應(yīng)用開發(fā)平臺，更好地充分利用業(yè)界多種領(lǐng)先的通用大模型。2.

部署方式為制定合適的部署方案，金融機構(gòu)首先需要確定需求和目標，其次要根據(jù)業(yè)務(wù)場景和技術(shù)要求，選擇合適的硬件和軟件環(huán)境，確保能夠支持大模型的運行和優(yōu)化。針對不同應(yīng)用場景，金融機構(gòu)探索采用不同部署方式以更合理地應(yīng)用大模型。根據(jù)部署環(huán)境的不同，可以將大模型部署方式分為私有化部署、行業(yè)云部署和公有云部署等。12一是私有化部署。金融機構(gòu)將大模型部署于自有服務(wù)器，由金融機構(gòu)負責維護和管理。私有化部署可以提供更好的數(shù)據(jù)安全保障，大大減少信息安全隱患，且一般具有較好的應(yīng)用效果，尤其是對于需要運用內(nèi)部語料訓(xùn)練的金融業(yè)務(wù)場景，可以根據(jù)金融機構(gòu)的需求進行定制和優(yōu)化模型，并隨時增減資源。但是，這種部署方式往往會產(chǎn)生高昂的成本，需要金融機構(gòu)投入大量的資金、人力來建設(shè)和維護。二是行業(yè)云部署。由行業(yè)內(nèi)起主導(dǎo)作用或掌握關(guān)鍵資源的組織建立和維護，以公開或半公開的方式，在確保數(shù)據(jù)安全的前提下，向行業(yè)內(nèi)部或相關(guān)組織提供云平臺服務(wù)。將大模型部署在金融云，既能在一定程度上滿足數(shù)據(jù)安全可控的要求，又兼?zhèn)涑杀镜汀U展性強等優(yōu)勢。中小型金融機構(gòu)對行業(yè)云部署的需求更為迫切。三是公有云部署。金融機構(gòu)通過標準接口調(diào)用部署在公有云上的大模型，由云服務(wù)提供商負責維護和管理，具備更低的成本、更高的靈活性和可擴展性。然而，由于金融機構(gòu)無法完全掌控其數(shù)據(jù)的存儲和管理，使用這種部署方式可能面臨數(shù)據(jù)安全風(fēng)險，因此該部署方式可能更適用于互聯(lián)網(wǎng)類的金融企業(yè)或非敏感類業(yè)務(wù)場景。鑒于個人隱私保護和數(shù)據(jù)不出域等相關(guān)要求，私有化部署仍是金融機構(gòu)部署大模型的主要選擇方式。私有化部署使得金融機構(gòu)得以保留對數(shù)據(jù)和系統(tǒng)的完全控制權(quán)，但由于大模型訓(xùn)練和推13理對算力及配套基礎(chǔ)設(shè)施有較高要求，該部署方式更適用于大中型金融機構(gòu)，對于中小型金融機構(gòu)實現(xiàn)難度較大。對于不涉及數(shù)據(jù)保密性的場景，比如證券公司基于公開數(shù)據(jù)生成投資策略及研報撰寫，行業(yè)云或公有云部署具有一定優(yōu)勢。目前，國外已有API

市場化采購服務(wù)，且價格低廉。隨著私有化部署成本不斷提高，中小銀行、證券公司、基金等中小金融機構(gòu)，迫切需要通過行業(yè)云或公有云來降低大模型金融應(yīng)用的門檻。（二）使用方式大模型具備出色的自然語言理解能力，但因其在金融垂直領(lǐng)域的知識儲備不足，回答的專業(yè)性難以滿足要求。金融機構(gòu)需要將金融領(lǐng)域已有的數(shù)據(jù)庫、知識圖譜等專業(yè)知識系統(tǒng)，與大模型的意圖理解能力、語言生成能力和場景掌控能力進行對接，實現(xiàn)大模型的行業(yè)個性化和機構(gòu)定制化。然而，大模型技術(shù)復(fù)雜度高、參數(shù)規(guī)模大、研發(fā)投入高，特別是需要大量的數(shù)據(jù)標注和人工反饋等工程化投入，從頭自研大模型的難度非常大。因此，金融機構(gòu)目前主要采用

API

調(diào)用、提示工程、模型微調(diào)和二次訓(xùn)練等應(yīng)用方式，以降低大模型的應(yīng)用研發(fā)門檻，解決場景數(shù)據(jù)少、模型精度低等問題，推動大模型快速落地測試。比如，農(nóng)業(yè)銀行利用有監(jiān)督的模型微調(diào)和強化學(xué)習(xí)等技術(shù)，融入行內(nèi)知識庫數(shù)據(jù)，訓(xùn)練、收斂出能理解行內(nèi)知識的基礎(chǔ)模型，目前已具備行業(yè)知識問答能力。中信證券將特定問題及與其相關(guān)內(nèi)部文檔材料作為問答輸入，既可獲得較好的應(yīng)用效果，又避免了二次訓(xùn)練的高昂成本。141.

API

調(diào)用API

調(diào)用是指通過

API

接口調(diào)用大模型，實現(xiàn)圖像生成、文本生成、語音合成等功能。公有云大模型大多采用以

API

接口的方式提供服務(wù)。該方式使得金融機構(gòu)在大模型探索應(yīng)用初期能夠快速將大模型在項目中進行測試驗證，且成本低廉。然而，API調(diào)用的方式不僅需要完成一系列的技術(shù)整合和接口開發(fā)，也面臨如何在不降低模型準確性的前提下保障數(shù)據(jù)安全和隱私性、如何高效處理海量數(shù)據(jù)、生成內(nèi)容可控性和魯棒性較差等問題，適合直接落地的金融業(yè)務(wù)場景很少。一般來說，金融機構(gòu)應(yīng)用

API

調(diào)用方式對大模型產(chǎn)品進行測試后，會根據(jù)測試結(jié)果結(jié)合該模型在其他領(lǐng)域的表現(xiàn)進行綜合評價，判斷是否進一步選擇微調(diào)或二次訓(xùn)練的方式進行優(yōu)化。2.

提示工程基礎(chǔ)預(yù)訓(xùn)練大模型內(nèi)含知識豐富,

但很多潛能尚未被激發(fā)，如何有效引導(dǎo)大模型來完成特定任務(wù)存在挑戰(zhàn)。提示工程通過優(yōu)化提示語句激發(fā)大模型所具備的潛在能力，提示語通常是一段文本，用于構(gòu)建問題或?qū)θ蝿?wù)進行恰當表述，以便大模型基于內(nèi)在知識生成合適答案，可通過少樣本、思維鏈路等方式實現(xiàn)。提示工程并不改變模型參數(shù)，對于可指令微調(diào)的大模型來說，構(gòu)造提示語的成本相對較低，大部分成本轉(zhuǎn)嫁為標注成本，通過設(shè)計好的提示語來調(diào)優(yōu)任務(wù)效果。153.

模型微調(diào)基礎(chǔ)預(yù)訓(xùn)練大模型具備較好的通用性知識，但實際應(yīng)用中，每個具體場景都有其獨特的需求和流程，仍需優(yōu)化模型以提升應(yīng)用效果和價值。模型微調(diào)是優(yōu)化模型效果和性能并提高準確性的重要手段，也是當前金融機構(gòu)試用大模型的最常用手段。當大模型缺乏垂直領(lǐng)域知識時，通過模型微調(diào)技術(shù)，以較低的成本即可明顯提升針對特定任務(wù)的應(yīng)用效果。一般來說，當測試結(jié)果良好時，會優(yōu)先選擇模型微調(diào)技術(shù)提升應(yīng)用效果。4.

二次訓(xùn)練二次訓(xùn)練指在已有模型的基礎(chǔ)上，使用新的數(shù)據(jù)集對模型進行重新訓(xùn)練，從而提高模型的性能和應(yīng)用效果。二次訓(xùn)練通常需要對模型參數(shù)進行修改，以適應(yīng)新數(shù)據(jù)集的特點。相較于微調(diào)，二次訓(xùn)練會產(chǎn)生高昂的數(shù)據(jù)、算力、人力以及時間成本，但也可以實現(xiàn)更好的效果和更廣泛的場景化應(yīng)用。一般來說，大型金融機構(gòu)因具備海量垂直領(lǐng)域數(shù)據(jù)基礎(chǔ)，在微調(diào)技術(shù)難以實現(xiàn)期望達到的應(yīng)用效果時，可以選擇該方式高度定制化模型以提升模型的泛化能力和場景化應(yīng)用能力。此外，金融機構(gòu)還采用大模型融合知識庫、知識圖譜等組件的方式，通過引入領(lǐng)域向量庫檢索、數(shù)據(jù)增強等技術(shù)，結(jié)合大模型關(guān)鍵超參優(yōu)化，形成不同模型針對不同行業(yè)和領(lǐng)域的參數(shù)體系，精準匹配業(yè)務(wù)需求，使得大模型回答結(jié)果較為可信。16（三）應(yīng)用場景大模型在金融領(lǐng)域的應(yīng)用前景廣闊，趨動

AI

從勞動密集向腦力密集應(yīng)用，金融機構(gòu)已經(jīng)將大模型試點應(yīng)用于智能客服、智能辦公、智能研發(fā)、智能投研等多個金融業(yè)務(wù)場景，但從能用到好用、易用，再到規(guī)模化應(yīng)用還任重道遠。基于當前金融機構(gòu)主要場景探索實踐來構(gòu)建金融行業(yè)大模型應(yīng)用場景全景圖。數(shù)據(jù)來源：金融信息化研究所圖

2

金融行業(yè)大模型應(yīng)用場景全景圖1.

智能客服傳統(tǒng)的智能客服的服務(wù)方式主要是先識別用戶意圖，再匹配到特定的對話模板，是一個非常龐雜的配置過程，特別是要確保所有渠道對于相似問題的回答保持一致。這種方式不僅維護成本高，維護難度大，而且難以應(yīng)對復(fù)雜多變的自然語言對話，用戶體驗較差。金融機構(gòu)普遍認為大模型雖然仍不具備直接面客的能力，但可以在通用大模型的基礎(chǔ)上，疊加金融客服領(lǐng)域的數(shù)據(jù)和專業(yè)經(jīng)驗，經(jīng)過垂直領(lǐng)域定向訓(xùn)練后，客服機器人可以綜合考慮用戶提示語和用戶習(xí)慣，準確識別用戶意圖，作為客服助手協(xié)助17客服人員開展客戶的陪伴和關(guān)懷，升級真誠話術(shù)，提供

24

小時的多語言支持，有效提升用戶對話體驗，提高服務(wù)質(zhì)量。專欄二

智能客服場景工商銀行利用大模型的語義理解、生成能力，結(jié)合基于知識庫的檢索提取能力，精準理解客戶意圖，生成符合其業(yè)務(wù)特性的結(jié)果，為客戶提供更準確、更個性化的服務(wù)，提升應(yīng)答效率和質(zhì)量，從而提升客戶滿意度。2023

年

3

月，工商銀行進行了大模型智能客服試點測試，一定程度上提升了客戶情緒識別效果，縮減了約

50%的人力維護成本。農(nóng)業(yè)銀行大模型

ChatABC

面向行內(nèi)客服員工提供遠程銀行

AI

輔助客服問答助手服務(wù)。此助手基于遠程銀行問答數(shù)據(jù)完成訓(xùn)練微調(diào)，支持模型在多輪問答中識別客戶的主要意圖，結(jié)合遠程銀行知識庫和知識圖譜，生成擬人問答，輔助坐席人員在問答中獲取知識，有效提升坐席人員的答復(fù)效率。中國銀行正探索將大語言模型運用于客服場景，幫助業(yè)務(wù)人員實現(xiàn)更自然靈活的智能問答功能，有效地應(yīng)用到坐席問答輔助、員工培訓(xùn)、行內(nèi)員工辦公等多個場景。交通銀行正探索使用大模型來準確識別客戶意圖和坐席人員的知識檢索需求，進行相應(yīng)客服知識的提煉和推薦，并在坐席通話結(jié)束后，對服務(wù)內(nèi)容進行自動的標準化分類，生成通話小結(jié)，以提升坐席人員整體工作效率。光大銀行探索大模型技術(shù)與現(xiàn)有智能客服相融合，基于大模型18意圖理解能力對客戶問題進一步理解，以提升客戶問答滿意度；基于大模型技術(shù)探索坐席工單自動生成可能性，對客戶與坐席對話內(nèi)容快速生成摘要工單，提升客戶服務(wù)效率。民生銀行探索運用大模型技術(shù)輔助坐席完成問題回復(fù)和工單生成等工作，實現(xiàn)工單流程自動化，提供內(nèi)容以支持顧問與客戶互動，支持高度擬人化的客服機器人，優(yōu)化客戶體驗，提升客服質(zhì)量。興業(yè)銀行基于大模型技術(shù)實現(xiàn)客服語料智能泛化，對當前語料標注過程中存在的標注工作繁瑣、工作量大等痛點，通過大模型生成符合業(yè)務(wù)需求的語料，以幫助客服運營人員提升標注效率，進而提升智能客服回答準確率，減少客戶投訴。上海銀行正探索在客戶服務(wù)領(lǐng)域運用大模型優(yōu)秀的語言理解能力并結(jié)合行內(nèi)知識庫，在充分洞察客戶訴求的前提下，對復(fù)雜場景進行分解，能夠從知識庫中自動完成有效知識的提取與采編，解決知識庫運維完全依賴人力、多語義理解、語義纏繞等問題，為客戶提供優(yōu)質(zhì)解答。國信證券探索運用大模型技術(shù)自動化生成服務(wù)話術(shù)和客戶指標數(shù)據(jù)，包括：知識問答、行業(yè)分析、行情快報、客戶資產(chǎn)配置建議、資訊推送摘要、投訴建議反饋等，提升運營人員的服務(wù)質(zhì)量和效率。平安保險運用大模型技術(shù)解決傳統(tǒng)知識庫梳理成本高、培訓(xùn)成本高、推薦話術(shù)僵化等問題，在客服人員與客戶通話過程中，實時根據(jù)客戶需求，生成個性化話術(shù)，從而提升客戶滿意度，大大降低坐席人員學(xué)習(xí)成本。192.

智能辦公大模型可以作為辦公助手，發(fā)揮其出色的文本生成能力，輔助完成報告和運營文案生成、郵件起草、公文潤色、紀要撰寫、內(nèi)容審核、輔助糾錯等工作，為員工提供更加便利、快捷的智能辦公工具及個性化的智能辦公解決方案，大幅提升工作效率。此外，大模型還可以實現(xiàn)不同語種的實時翻譯，提升金融機構(gòu)跨境業(yè)務(wù)交流和管理水平。專欄三

智能辦公場景工商銀行通過搜索技術(shù)與大模型結(jié)合，將知識庫檢索到的信息作為大模型的生成依據(jù)，實現(xiàn)自然語言的向量搜索，輔助業(yè)務(wù)人員在業(yè)務(wù)辦理過程中快速查詢到客戶問題的準確應(yīng)答，提升應(yīng)答效率和質(zhì)量，從而提升客戶滿意度。農(nóng)業(yè)銀行大模型

ChatABC

面向行內(nèi)員工辦公場景推出智能問答應(yīng)用。此應(yīng)用著眼于大模型在金融領(lǐng)域的知識理解能力、內(nèi)容生成能力，并融合知識庫，具備研發(fā)服務(wù)領(lǐng)域級知識理解和問答能力，可完成自由閑聊、行內(nèi)知識問答、內(nèi)容摘要等多類型任務(wù)，并以行內(nèi)研發(fā)服務(wù)平臺的問答助手、工單自動化回復(fù)助手、行內(nèi)即時聊天工具等多渠道形式進行試點。交通銀行正探索在辦公軟件中嵌入基于大模型的智能問答助手，為員工提供人資規(guī)章、授信、對公、零售業(yè)務(wù)場景的會話式咨詢。同時，交通銀行利用大模型搭建會議紀要助手，從口語化的會議記錄中提取關(guān)鍵信息，包括討論主題、觀點、結(jié)論等，組織成連20貫自然的語言，生成書面化的會議紀要和待辦事項。郵儲銀行運用大模型技術(shù)搭建智能知識問答系統(tǒng)“靈犀”，系統(tǒng)采用

Langchain

和向量數(shù)據(jù)庫技術(shù)，結(jié)合大模型對自然語言的理解與生成能力，發(fā)揮了垂直領(lǐng)域內(nèi)知識理解能力，賦能業(yè)務(wù)實現(xiàn)專業(yè)知識智能解答，提升業(yè)務(wù)辦理效率。同時，郵儲銀行運用大模型技術(shù)搭建“小郵助手”智能機器人，提供在線業(yè)務(wù)知識問答、熱點問題分類展示，實現(xiàn)業(yè)務(wù)難點、要點即時回復(fù)和精準提示，提升柜員操作體驗及業(yè)務(wù)處理效率，釋放業(yè)務(wù)指導(dǎo)員工作。光大銀行基于大模型技術(shù)構(gòu)建員工助手，應(yīng)用于行內(nèi)通信軟件，快速解答內(nèi)部員工日常辦公問題，構(gòu)建多項智能應(yīng)用，可幫助行內(nèi)員工實現(xiàn)消息智能摘要、日程會議智能提醒、郵件自動編寫、代碼自動生成、系統(tǒng)助手等多項能力，提升辦公效率。同時，光大銀行探索將現(xiàn)有知識庫與大模型相結(jié)合，打造企業(yè)內(nèi)搜場景應(yīng)用，將現(xiàn)有零散知識召回交給大模型，基于大模型理解及生成能力輔助業(yè)務(wù)辦公人員快速定位核心問題并作出合理判斷，以提升業(yè)務(wù)效率。民生銀行通過大模型的理解能力建立多場景文檔助手，對文檔的主要內(nèi)容進行摘要匯總整理，全面提升員工工作效率，實現(xiàn)針對文檔不同場景的個性化需求。興業(yè)銀行探索通過大模型嵌入行內(nèi)

WPS

辦公套件，實現(xiàn)包括

PPT大綱生成，文章內(nèi)容生成，內(nèi)容擴寫與改寫，文章風(fēng)格轉(zhuǎn)變等功能，以減輕總分行一線員工的文字材料撰寫潤色的負擔。北京銀行搭建“京智助手”大模型對話機器人，提供行內(nèi)知識21問答、數(shù)據(jù)分析、任務(wù)執(zhí)行等功能，應(yīng)用于協(xié)同辦公、智能客服、合規(guī)管理等場景。目前，“京智助手”已向全行

10000

多名員工開放，并同步建設(shè)移動端和

PAD

端，已在合規(guī)管理、數(shù)據(jù)分析和流程自動化場景，取得了一定的應(yīng)用成效。上海銀行利用大模型的理解和生成能力，搭建智能辦公助手，一方面接入行內(nèi)知識庫，提升知識檢索能力，并由大模型對于長文檔自動檢索生成知識條目等，另一方面接入行內(nèi)各類辦公系統(tǒng)，提供公文檢查、寫作、總結(jié)潤色等功能，在大幅提升辦公效率的基礎(chǔ)上，極大地提升員工交互體驗。中信證券正在積極探索利用大模型建立跨境實時通訊系統(tǒng)，旨在實現(xiàn)境內(nèi)外員工用母語進行無障礙交流，提高員工工作效率，加強團隊協(xié)作力度，以及提升對國際化客戶的服務(wù)質(zhì)量，加強全球化布局和業(yè)務(wù)發(fā)展。國泰君安將大模型技術(shù)與

OCR、語音識別等技術(shù)相結(jié)合，圍繞智慧辦公場景開發(fā)智能辦公助手和基于大模型的知識庫問答應(yīng)用，提供會議紀要生成、郵件撰寫等常見辦公任務(wù)小工具，通過自然語言問答的形式實現(xiàn)文檔問答，為員工提供一個智能、高效、便捷的工作伙伴，提升辦公效率和工作質(zhì)量。3.

智能研發(fā)大模型在智能研發(fā)場景展示出很大的潛力。大模型具有處理自然語言和生成多種編程語言高質(zhì)量代碼的能力，在系統(tǒng)設(shè)計、代碼生成與補全、代碼翻譯與注釋、輔助測試等方面為科技人員22提供幫助和支持，提升開發(fā)效率和交付質(zhì)量。同時，大模型的閱讀理解和

SQL

生成能力，可以實現(xiàn)指令文字到

SQL

代碼的直接相互轉(zhuǎn)化，業(yè)務(wù)人員無需了解數(shù)據(jù)庫技術(shù)與編程知識也可輕松完成數(shù)據(jù)查詢等工作。此外，通過大模型與

BI

等應(yīng)用系統(tǒng)結(jié)合，可以實現(xiàn)報表自動生成，可視化地展示數(shù)據(jù)查詢分析結(jié)果，使得非技術(shù)人員更直觀且深入地理解、利用數(shù)據(jù)，降低技術(shù)門檻。專欄四

智能研發(fā)場景農(nóng)業(yè)銀行大模型

ChatABC

推出

AI

輔助編程應(yīng)用，面向行內(nèi)研發(fā)員工提供輔助編程服務(wù)。通過行內(nèi)多個系統(tǒng)的代碼和代碼規(guī)范進行微調(diào)，實現(xiàn)

Java、Python、JavaScript、SQL

等語言的代碼生成、代碼補全、代碼解釋等能力，可在前端、后端、單元測試等多類研發(fā)編碼場景提供輔助，提升研發(fā)人員的開發(fā)效率。平安銀行在

ChatBI

項目中應(yīng)用了

BankGPT

的金融理解能力，旨在為業(yè)務(wù)人員和管理層提供即時的數(shù)據(jù)分析服務(wù)，當業(yè)務(wù)人員面臨數(shù)據(jù)相關(guān)的問題時，系統(tǒng)可以迅速給出精確答案，實現(xiàn)提問與回答的無縫對接。民生銀行探索運用大模型技術(shù)輔助用戶完成高質(zhì)量代碼編寫，按需完成代碼生成、代碼補全等功能，促進分析平民化，提升代碼效率，實現(xiàn)質(zhì)量和效率的雙提升。興業(yè)銀行通過大模型嵌入行內(nèi)開發(fā)

IDE

的方式，探索基于大模型技術(shù)實現(xiàn)代碼輔助生成，以提升科技研發(fā)單位的開發(fā)效率和代碼質(zhì)量。23上海銀行通過在軟件開發(fā)過程中引入大模型進行代碼補全、注釋生成、代碼糾錯等自動化輔助功能，極大地提升了開發(fā)人員的開發(fā)效率和代碼質(zhì)量;在代碼測試方面，應(yīng)用大模型生成能力，輔助自動生成測試案例，有效提升測試效率及案例覆蓋度；在數(shù)據(jù)分析方面，上海銀行正在探索大模型與行內(nèi)經(jīng)營管理工具--“掌上行”的有效結(jié)合，通過自然語言交互方式，允許用戶就經(jīng)營指標自由提問，進一步降低數(shù)據(jù)分析的門檻，提升數(shù)據(jù)驅(qū)動經(jīng)營管理的有效性。中信證券探索運用大模型實現(xiàn)股價預(yù)測等模型構(gòu)建，根據(jù)用戶輸入的自然語言，生成相應(yīng)

SQL

語句，準確地完成用戶數(shù)據(jù)查詢需求，以期適配不同數(shù)據(jù)庫、完成多表數(shù)據(jù)查詢。國信證券通過大模型的輔助代碼生成能力，協(xié)助

IT

人員、業(yè)務(wù)產(chǎn)品經(jīng)理、運營人員進行代碼編寫、數(shù)據(jù)分析、輔助代碼生成檢查等工作，提升系統(tǒng)開發(fā)、數(shù)據(jù)分析等內(nèi)部工作效率。4.

智能投研大模型技術(shù)可以幫助投研人員從海量、分散、龐雜的報告中挖掘關(guān)鍵信息，自動抓取財經(jīng)、債市、信用等多個市場板塊的資訊報告內(nèi)容，快速獲取報告的核心觀點、關(guān)鍵數(shù)據(jù)和市場趨勢，分析預(yù)測市場交易情況，智能生成資訊報告和投研簡報，為投研人員提供投資、風(fēng)控等決策輔助。專欄五

智能投研場景工商銀行綜合應(yīng)用大模型的核心信息提取、智能文本生成等能力，實現(xiàn)金融報告的自動生成，有效將投研簡報生成效率從

1

小時24縮短至

5

分鐘，提升了投研人員對海量文本數(shù)據(jù)的整合歸納提煉效率。興業(yè)銀行通過大模型技術(shù)實現(xiàn)研報摘要的智能生成，構(gòu)建了一套包括研報文檔結(jié)構(gòu)化、信息抽取和大語言模型語義理解摘要生成的一體化解決方案，實現(xiàn)研報核心內(nèi)容智能提煉，提高了興銀理財子公司投研團隊查詢、閱讀內(nèi)外部研報的效率，加快了投資決策效率，一定程度節(jié)省人力成本，同時提升了客戶體驗。國泰君安證券利用大模型的自然語言到結(jié)構(gòu)化查詢(NL2SQL)等能力，改進傳統(tǒng)問答系統(tǒng)的精準性和靈活性，實現(xiàn)對投研領(lǐng)域內(nèi)包括行情、公司、基金等數(shù)據(jù)的精確、高效問答。華泰證券正探索運用大模型對文本的學(xué)習(xí)理解能力，學(xué)習(xí)歷史研報的撰寫模式、分析邏輯和行文風(fēng)格等內(nèi)容，從而實現(xiàn)研究報告初稿的自動撰寫。目前已初步搭建內(nèi)容召回、內(nèi)容生成的線上撰寫服務(wù)框架，打通從財務(wù)報告的非結(jié)構(gòu)化文檔解析，利用

embedding技術(shù)構(gòu)建財報知識庫，根據(jù)歷史研報進行高相關(guān)內(nèi)容召回，結(jié)合內(nèi)容召回與大模型服務(wù)，通過建設(shè)

Prompt

工程，打通大模型撰寫能力鏈路。5.

智能營銷結(jié)合金融業(yè)語料進行適應(yīng)性訓(xùn)練后，大模型可輔助生成營銷話術(shù)和營銷文案，幫助客戶更快地獲取最新資訊和產(chǎn)品的信息。同時，通過對話式營銷，大模型可優(yōu)化客戶參與度，提升服務(wù)的效率與質(zhì)量，引導(dǎo)其做出決策。此外，隨著投資者數(shù)據(jù)、產(chǎn)品知25識和營銷文案的不斷積累，大模型技術(shù)可以從海量信息中檢索詞條，并提煉整合，可針對特定客戶實現(xiàn)貼心、高質(zhì)量、有創(chuàng)意的精準營銷，快速生成個性化建議和推薦，并構(gòu)造相應(yīng)的圖文推廣，進一步提升客戶轉(zhuǎn)化率和營銷效率，為客戶提供更加全渠道、個性化、有溫度的金融服務(wù)。專欄六

智能營銷場景平安銀行借助

BankGPT

優(yōu)秀的文案生成能力，針對不同客戶，批量生成個性化營銷文案，從而更有針對性地提升客戶粘性和業(yè)務(wù)轉(zhuǎn)化率，為營銷運營團隊提供支持。同時，平安銀行利用

BankGPT

的自然語言理解能力，助力多媒體運營團隊實現(xiàn)自動化

FAQ

抽取功能。民生銀行探索運用大模型技術(shù)賦能客戶意圖理解營銷場景，通過搜索知識庫、產(chǎn)品庫、聊天記錄等，洞察客戶真實意圖，自動提供廣告等營銷文案、自動生成個性化營銷內(nèi)容、自動提供各類分析報告，提升營銷成功率。平安保險通過大模型的自然語言交互、內(nèi)容生成等能力，智能化分析并提取客戶需求，輔助生成保險產(chǎn)品營銷素材，并根據(jù)客戶標簽屬性提供針對該客群的產(chǎn)品推薦以及推薦理由相關(guān)話術(shù)，基于個人醫(yī)療歷史和分線因素，提供個性化保險建議和方案，有助于產(chǎn)品精算人員制定針對性保險方案。6.

智能運維金融機構(gòu)可以利用大模型生成技術(shù)，實現(xiàn)智能運維分析、運維知識獲取、網(wǎng)絡(luò)安全分析等，進一步提升運維效率。大模型具26備良好的語義搜索能力，在復(fù)雜的數(shù)據(jù)中準確找到所需結(jié)果，助力運維人員快速對接各類型的結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)流程自動化、智能檢索和內(nèi)部資料的輔助審核。此外，對于大模型還可以輔助運維人員完成代碼攻防測試、明文檢測等安全檢測工作。專欄七

智能運維場景上海銀行探索將大模型應(yīng)用于故障分析及解決等場景，結(jié)合歷史生產(chǎn)事件解決工單、運維文檔或問答對等知識庫，當故障發(fā)生時，大模型能夠自動根據(jù)歷史解決經(jīng)驗及知識庫給出故障分析及解決方案，從而為運維人員提供輔助支持，以提升事件解決效率。7.

智能風(fēng)控風(fēng)險控制是金融業(yè)的核心要務(wù)。大語言模型的閱讀理解能力可以輔助提示存在的法律風(fēng)險，降低人為疏漏概率并提升法審人員工作效率。在大模型的通用能力基礎(chǔ)上融合金融行業(yè)的知識和數(shù)據(jù)用于真?zhèn)魏蓑灐⑤浨榉治龅拳h(huán)節(jié)，結(jié)合風(fēng)控數(shù)據(jù)模型，進行風(fēng)險模擬與壓力測試，對可能發(fā)生的風(fēng)險事件作出預(yù)警，實現(xiàn)貸前智能推薦、貸中全面風(fēng)控、貸后監(jiān)測預(yù)警全流程風(fēng)控管理。此外，基于大模型的合規(guī)知識問答助手在金融合規(guī)場景中也發(fā)揮了一定作用。專欄八

智能風(fēng)控場景光大銀行基于大模型理解能力，探索大模型解讀法律法規(guī)政策的可行性，基于業(yè)務(wù)問題快速定位政策文件并給出法律法規(guī)依據(jù)，打造法律法規(guī)領(lǐng)域智能專家，輔助各業(yè)務(wù)場景快速把控政策、法規(guī)27風(fēng)險。華夏銀行探索利用大語言模型技術(shù)疊加合規(guī)圖譜，以高質(zhì)量內(nèi)外規(guī)數(shù)據(jù)為基礎(chǔ)，以結(jié)構(gòu)化合規(guī)知識標簽為輔助，利用大語言模型語義理解、信息匯總和自然語句生成能力實現(xiàn)智能化合規(guī)知識問答功能，降低合規(guī)知識查詢門檻。平安保險運用大模型技術(shù)，基于歷史數(shù)據(jù)和模擬數(shù)據(jù)進行風(fēng)險模擬和壓力測試，評估產(chǎn)品設(shè)計的可靠程度和穩(wěn)定性，以便產(chǎn)品精算人員更好地了解產(chǎn)品可能面臨的風(fēng)險和挑戰(zhàn)，助力產(chǎn)品精算人員制定相應(yīng)保險策略。8.

智能投顧圍繞財富管理專業(yè)知識對大模型進行增量訓(xùn)練，構(gòu)建基于大模型的投資顧問助手，提供圍繞個體的全生命周期智能投顧服務(wù)，實時監(jiān)測市場動態(tài)，調(diào)整投資策略，并根據(jù)客戶的風(fēng)險偏好、收益目標和資產(chǎn)狀況，為客戶提供個性化的投資建議和組合優(yōu)化，大幅提升服務(wù)效率和服務(wù)體驗。專欄九

智能投顧場景國泰君安證券運用大模型的理解分析能力，進行金融資訊熱點話題提取和歸納，對相關(guān)信息做正面/負面消息的評分和整理，生成每天/周/月的熱點話題榜單，既能實時跟蹤行業(yè)網(wǎng)站熱點，又能回顧過去一段時間的熱點話題，基于榜單排名走勢預(yù)測股市熱點信息。大模型在提升金融服務(wù)效率和體驗、降低金融風(fēng)險和成本、創(chuàng)新金融產(chǎn)品和模式等方面有著顯著作用。大模型在金融領(lǐng)域的28應(yīng)用場景具有較大空間，隨著大模型與各個金融場景的深度融合，將進一步提升我國金融業(yè)的智能化水平，進一步深入推動金融機構(gòu)數(shù)字化轉(zhuǎn)型。（四）應(yīng)用趨勢一是金融機構(gòu)將采用先內(nèi)后外、從易到難、場景遷移的方式落地大模型金融應(yīng)用。由于目前大模型直接對客難度較大、可控性不強，金融機構(gòu)主要對內(nèi)應(yīng)用大模型能力，待技術(shù)逐漸成熟，可以考慮對外輸出。此外，金融機構(gòu)也將優(yōu)先選擇風(fēng)險等級低、適配應(yīng)用難度小、業(yè)務(wù)提升效果明顯的場景進行大模型試點落地，逐步將試點應(yīng)用場景遷移到真實、復(fù)雜的業(yè)務(wù)場景，實現(xiàn)大模型對金融產(chǎn)品和服務(wù)的全面升級。二是大小模型協(xié)同進化是大模型發(fā)展的一個必然趨勢。大模型對應(yīng)場景多為開放式和主觀型問題，側(cè)重推理和創(chuàng)造，也可被用于作為連接多個具體任務(wù)模型的通用接口，而小模型對應(yīng)場景多為封閉式問題，不涉及過多主觀推斷，答案的正確性可以被清晰驗證，因此在某些特定場景仍具有更好的表現(xiàn)。大模型對于中小模型并非是替代或?qū)α⒌年P(guān)系，兩者應(yīng)相互協(xié)作、互相搭配，由大模型向邊、端的小模型輸出模型能力，而小模型負責實際的推理與執(zhí)行，同時向大模型反饋算法與執(zhí)行成效，使得大模型的能力持續(xù)強化。金融機構(gòu)將加強研究和推進大小模型協(xié)同、生成式技術(shù)與傳統(tǒng)人工智能技術(shù)協(xié)同，將大模型連接到傳統(tǒng)軟件，提升行業(yè)整體智能化水平。29三是多模態(tài)金融大模型的發(fā)展與應(yīng)用仍有較大潛力。大模型生成效果的提升依賴于垂直場景系統(tǒng)化程度和高質(zhì)量數(shù)據(jù)。金融業(yè)具備專業(yè)領(lǐng)域知識庫，多年來沉淀了大量格式多樣的優(yōu)質(zhì)業(yè)務(wù)數(shù)據(jù)。運用多模態(tài)技術(shù)實現(xiàn)知識的遷移、表示、對齊和推理，使得大模型能更好地構(gòu)建金融領(lǐng)域內(nèi)外部生態(tài)系統(tǒng)，助力金融科技創(chuàng)新和金融業(yè)務(wù)賦能，為金融機構(gòu)提供更多智能化、個性化的服務(wù)和決策支持，同時也為客戶和市場參與者帶來更好的體驗和更穩(wěn)健的金融環(huán)境。四是

AI

Agent

未來可能推動人工智能成為金融業(yè)信息基礎(chǔ)設(shè)施。AI

Agent

是有能力主動思考和行動的智能體，以大模型為大腦驅(qū)動，能夠自主感知環(huán)境、形成記憶、規(guī)劃決策、使用工具并執(zhí)行復(fù)雜任務(wù)，甚至與其他

Agent

合作實現(xiàn)任務(wù)。盡管多智能體的發(fā)展仍面臨較大困境，但隨著算力支撐和技術(shù)研究的不斷演進，AI

Agent

將在各行業(yè)發(fā)揮強勁動力，尤其在與各行業(yè)緊密相連的金融業(yè)，更全面地實現(xiàn)人機融合，為金融機構(gòu)提質(zhì)增效，創(chuàng)造更深度的價值。（一）金融應(yīng)用規(guī)范與指南亟需完善金融業(yè)作為強監(jiān)管行業(yè)，在政策方面一直遵循著高標準和嚴要求。我國已相繼發(fā)布《生成式人工智能服務(wù)管理暫行辦法》《網(wǎng)絡(luò)安全標準實踐指南——生成式人工智能服務(wù)內(nèi)容標識方法》30《生成式人工智能服務(wù)

安全基本要求》（征求意見稿）等文件，對大模型在通用領(lǐng)域的應(yīng)用進行了合理的約束和引導(dǎo)，但是針對大模型在金融領(lǐng)域的應(yīng)用尚且缺少可實施落地的標準規(guī)范和指南，對應(yīng)用過程中的權(quán)責界定尚不明晰，缺少對生成內(nèi)容的問罰機制及大模型廣泛應(yīng)用后可能存在的無序商業(yè)行為的監(jiān)管機制。此外，針對大模型訓(xùn)練和推理的

AI

算力基礎(chǔ)設(shè)施、行業(yè)語料庫標準化建設(shè)也較為欠缺。（二）金融應(yīng)用場景缺少范式大模型選型、架構(gòu)調(diào)整設(shè)計、技術(shù)驗證等環(huán)節(jié)過程復(fù)雜，金融機構(gòu)缺乏大模型技術(shù)融合場景落地的方法論，對大模型的能力邊界認知不足，尚未明確大模型適合哪些業(yè)務(wù)場景、是否有必要替換傳統(tǒng)的

AI

設(shè)備、何時適合落地，尚未健全大模型應(yīng)用創(chuàng)新風(fēng)控管理機制，尚未有典型的落地案例可以向行業(yè)規(guī)模化推廣。大模型支撐多個場景或服務(wù)的行業(yè)應(yīng)用，其測評指標非常復(fù)雜，測試數(shù)據(jù)集設(shè)計構(gòu)建與更新維護難度大、成本高，尚且缺少一個覆蓋面廣、公允度高、滿足不同場景和任務(wù)特征的大模型金融應(yīng)用及其風(fēng)險治理的評估方法或指標體系，致使金融機構(gòu)進行大模型選型及評估存在較大困難，阻礙了大模型金融場景應(yīng)用進程。大模型需要提示工程相關(guān)的內(nèi)置模板，與原有的機器學(xué)習(xí)、深度學(xué)習(xí)等模型工作方式有很大差別，也增加了相關(guān)人員的工作難度。此外，大模型金融應(yīng)用需要與現(xiàn)有系統(tǒng)和業(yè)務(wù)流程進行集成，需要跨組織、跨部門、跨團隊協(xié)作，組織能力面臨挑戰(zhàn)。31（三）高質(zhì)量金融訓(xùn)練數(shù)據(jù)欠缺數(shù)據(jù)是大模型訓(xùn)練的基礎(chǔ)，為了切實解決金融業(yè)務(wù)問題，需要大量高質(zhì)量、多領(lǐng)域的金融數(shù)據(jù)基于業(yè)務(wù)屬性對大模型進行增量訓(xùn)練。金融領(lǐng)域知識存儲形式繁多，包括影像件、PDF、Excel等多種格式，需要通過分類、清洗、問答數(shù)據(jù)集梳理等大量前期處理及后期更新維護工作，針對各種業(yè)務(wù)難點、要點問題的解答還需要搜集大量專家經(jīng)驗，以保持大模型的準確性和有效性，而這會耗費大量人力物力。同時，大模型訓(xùn)練迭代需要一定時間，致使大模型對時事的了解有限。金融數(shù)據(jù)流通仍在探索階段，而單一金融機構(gòu)掌握的數(shù)據(jù)資源較為有限，一定程度上影響了大模型金融應(yīng)用效果。金融數(shù)據(jù)敏感性高，在數(shù)據(jù)分級分類管理、數(shù)據(jù)脫敏清洗、防止數(shù)據(jù)偏見和濫用等環(huán)節(jié)也存在難題。（四）訓(xùn)練算力支撐普遍不足大模型訓(xùn)練和推理需要足夠的算力支撐，在高端

GPU

芯片斷供的背景下，金融機構(gòu)對中高端

AI

算力的需求存在較大缺口。由于金融數(shù)據(jù)敏感度高，金融機構(gòu)普遍選擇私有化部署大模型，而構(gòu)建、訓(xùn)練、優(yōu)化大模型需要高性能的計算資源和大量的存儲資源，硬件設(shè)備的采購和維護需要高昂的資金投入，給金融機構(gòu)帶來較大的成本壓力。大模型的訓(xùn)練與推理對

AI

芯片的要求有所不同，當前我國

AI

芯片能較好地支撐推理，而在訓(xùn)練上仍與國際領(lǐng)先水平有明顯差距，存在計算能力不足、芯片制程工藝有限、算力調(diào)度不靈活、產(chǎn)業(yè)生態(tài)不完備、與大模型兼容適配性不32夠等問題，且在金融業(yè)應(yīng)用普遍缺乏驗證。我國

AI

芯片適配涉及

CPU、操作系統(tǒng)、云平臺、AI

框架、加速框架和算法模型等多個層次，適配工作復(fù)雜且難度大，牽一發(fā)而動全身。（五）算法可信度和安全性有待提升大模型金融應(yīng)用在準確性、安全性、穩(wěn)定性和金融科技倫理等方面面臨挑戰(zhàn)。準確性方面，大模型存在文本及數(shù)據(jù)幻覺問題，其訓(xùn)練數(shù)據(jù)難以溯源、生成內(nèi)容不可信、計算過程不可解釋、推理邏輯不專業(yè)，難以直接應(yīng)用于數(shù)據(jù)準確性要求高、業(yè)務(wù)流程復(fù)雜度高的金融場景。安全性方面，金融場景涉及大量敏感信息，大模型在輸入輸出過程中可能造成數(shù)據(jù)泄露，從而引發(fā)重大的安全事件和惡劣影響，同時特殊的提示詞構(gòu)造、逆向工程等手段可能被非法用于攻擊大模型，繞過內(nèi)容過濾模塊，使攻擊者獲取超出權(quán)限范圍的結(jié)果，甚至竊取大模型的所有權(quán)和使用權(quán)，肆意修改模型代碼或參數(shù)，使其生成不準確、不公平、不合規(guī)的惡意結(jié)果。穩(wěn)定性方面，大模型算法框架不夠完善，開發(fā)環(huán)境不夠友好，適配的框架比較少，且當前大模型算法主要基于國外的機器學(xué)習(xí)平臺和技術(shù)，在我國設(shè)備的操作系統(tǒng)、編程環(huán)境、算法庫等應(yīng)用時可能出現(xiàn)各種意想不到的錯誤和異常，從而影響大模型運行效果和穩(wěn)定性。此外，大模型可能引發(fā)算法歧視、人權(quán)、道德、造假等科技倫理風(fēng)險，影響金融服務(wù)的健康發(fā)展。33（一）加強金融應(yīng)用的指導(dǎo)與管理堅持發(fā)展和安全并重、促進創(chuàng)新和治理相結(jié)合的原則，制定一套完備的適用于金融領(lǐng)域的大模型管理體系，分類分級地制定政策指南，引導(dǎo)大模型在金融業(yè)規(guī)范應(yīng)用，持續(xù)推動業(yè)務(wù)創(chuàng)新發(fā)展。對大模型的訓(xùn)練數(shù)據(jù)、算法設(shè)計、生成內(nèi)容、風(fēng)險治理等方面進行管理，制定從準入階段的評估和備案，到對外提供金融服務(wù)，再到事后反饋的全過程管理機制，確保大模型在金融領(lǐng)域應(yīng)用的合規(guī)性和安全性。明確金融業(yè)涉及大模型使用的各類主體的責任和義務(wù)，并制定合理的問責機制。積極參與大模型國際標準化工作，推動金融行業(yè)的

AI

算力基礎(chǔ)設(shè)施、行業(yè)語料庫標準化建設(shè)，制定合理的標注規(guī)則，加強不同大模型產(chǎn)品之間的互通性和兼容性。（二）有序推動金融應(yīng)用場景落地金融機構(gòu)征集并統(tǒng)籌大模型相關(guān)需求，梳理現(xiàn)有需求場景及方案，形成跟蹤臺賬，探索大模型與金融業(yè)務(wù)融合所需的前提條件和能力邊界，選取業(yè)務(wù)價值高、實施完備度成熟、風(fēng)險可控的業(yè)務(wù)場景優(yōu)先落地應(yīng)用。多技術(shù)路線并舉，技術(shù)點同步驗證，探索應(yīng)用監(jiān)管沙箱等治理方式，加快大模型的試點應(yīng)用步伐，打造大模型金融應(yīng)用最佳案例，并進行規(guī)模化推廣復(fù)用。基于分級分類分域的治理思路，形成多元敏捷協(xié)同的治理體系，推動實現(xiàn)大34模型金融應(yīng)用負責任、可監(jiān)督、可追溯、可信賴。創(chuàng)新大模型金融應(yīng)用評估工作機制和理念，加快普適性好、具有底線約束的標準研制和通用測評體系建設(shè)，將自動評估和人工評估相結(jié)合，提高金融業(yè)大模型應(yīng)用評估工作的質(zhì)量。第三方評估機構(gòu)積極協(xié)助金融機構(gòu)，搭建一套適應(yīng)其業(yè)務(wù)的模型評價體系，并建立評測指標與評測數(shù)據(jù)集反饋和更新機制，促進大模型在金融場景應(yīng)用中的迭代優(yōu)化。（三）積極構(gòu)建高質(zhì)量金融數(shù)據(jù)集金融機構(gòu)梳理場景應(yīng)用數(shù)據(jù)需求，建立并完善大模型應(yīng)用數(shù)據(jù)使用機制，探索一套面向大模型的數(shù)據(jù)“采集、清洗、管理、應(yīng)用”方法和體系，提升數(shù)據(jù)集的規(guī)模、質(zhì)量和多樣性，保障模型微調(diào)與投入生產(chǎn)后的數(shù)據(jù)連貫性、穩(wěn)定性。做好敏感數(shù)據(jù)攔截的審計檢查工作，根據(jù)場景特點和風(fēng)險等級進行數(shù)據(jù)分級分類。研究建立針對數(shù)據(jù)偏見、技術(shù)濫用、數(shù)據(jù)濫用等問題的風(fēng)險管控機制，做好大模型私域管理和權(quán)限隔離，保證數(shù)據(jù)在可控范圍內(nèi)流動，并通過區(qū)塊鏈存證技術(shù)強化管控，確保各個環(huán)節(jié)的數(shù)據(jù)可追查、可溯源且不可篡改。金融業(yè)積極推動大模型訓(xùn)練和行業(yè)標準測評公共語料庫建設(shè)，助力行業(yè)級金融大模型建設(shè)，提升大模型金融應(yīng)用水平。（四）產(chǎn)用協(xié)同共筑

AI

算力基礎(chǔ)設(shè)施產(chǎn)業(yè)機構(gòu)加大我國

AI

芯片的研發(fā)與推廣應(yīng)用，保障大模型推理和訓(xùn)練的算力資源供給，提升硬件安全可控水平。加強產(chǎn)學(xué)35研用協(xié)同創(chuàng)新，共同推動大模型軟硬件生態(tài)建設(shè)，標準化驅(qū)動抽象及依賴，提升框架通用性，合力推進

GPU、DCU、NPU

算力集群和智能計算中心等算力基礎(chǔ)設(shè)施建設(shè)，助力大模型全棧兼容性適配，快速推動大模型私有化部署。通過提供算力資源租賃、移動算力資源車等方式為金融機構(gòu)提供算力解決方案。金融機構(gòu)結(jié)合自身需求，梳理共性硬件資源需求，完善大模型算力中心規(guī)劃，基于國產(chǎn)和非國產(chǎn)算力建設(shè)多源異構(gòu)算力資源池，建立健全算力資源分配流程、資源使用跟蹤與資源回收機制，對國內(nèi)外芯片進行統(tǒng)一納管、虛擬化和調(diào)度，充分、合理利用算力資源，保障算力平臺供給穩(wěn)定性，提升大模型訓(xùn)練推理效率。根據(jù)算力建設(shè)情況，形成大模型算力適配的模型微調(diào)部署方案，在保證模型效果的前提下，通過模型壓縮、小樣本訓(xùn)練等方式進一步降低應(yīng)用成本。同時，推動中高端算力集群配套的網(wǎng)絡(luò)、存儲、冷卻等方面的改造工作。（五）完善算法優(yōu)化與風(fēng)險管控體系產(chǎn)業(yè)機構(gòu)與金融機構(gòu)溝通切實需求，提高大模型算法的透明度、可解釋性和可預(yù)測性，幫助金融機構(gòu)更好地理解算法運作方式和決策依據(jù)。建立用戶參與和反饋機制，納入模型算法改進和優(yōu)化等環(huán)節(jié)之中，提升用戶體驗和技術(shù)的可靠性。積極推進大模型算法、模型和工具等全流程配套體系建設(shè)，提供全套的大模型金融應(yīng)用解決方案，降低大模型金融應(yīng)用落地的技術(shù)門檻和風(fēng)險。金融機構(gòu)做好適合自身場景的基礎(chǔ)大模型選型，研究建立針對大36模型生成內(nèi)容、算法安全的風(fēng)險管控機制，配備專業(yè)人員實時監(jiān)控大模型運行情況。對于涉及敏感數(shù)據(jù)、直接對客或?qū)敵鼋Y(jié)果準確性高的場景謹慎使用大模型技術(shù)，建立“AI

審核+人工審核”兩道關(guān)卡，保障大模型輸入輸出數(shù)據(jù)的安全可控。加強金融科技倫理治理，負責任、有道德地開展大模型技術(shù)創(chuàng)新應(yīng)用，通過開展專業(yè)培訓(xùn)與論壇交流等方式，增強相關(guān)人員的安全風(fēng)險防范意識。在確保用戶個人信息安全和隱私不受侵犯的前提下，金融機構(gòu)與產(chǎn)業(yè)機構(gòu)加強聯(lián)合研究與攻關(guān)，提高大模型算法自研水平，通過共享大模型前沿研究成果、金融業(yè)訓(xùn)練與評測數(shù)據(jù)集等方式，不斷提升金融業(yè)大模型算法安全性、合規(guī)性、專業(yè)性和兼容性。37隨著數(shù)字化時代的到來，數(shù)據(jù)成為關(guān)鍵生產(chǎn)要素，價值愈發(fā)凸顯。在企業(yè)生產(chǎn)經(jīng)營過程中，會產(chǎn)生大量的知識信息，傳統(tǒng)的知識問答系統(tǒng)是基于語言學(xué)意義的專家規(guī)則系統(tǒng)，由人工編制的知識庫對接自然語言接口構(gòu)成。其知識領(lǐng)域狹窄，詞匯總量有限，人工成本較大，常出現(xiàn)語言歧義問題，較難產(chǎn)生實用價值，復(fù)雜甚至沖突的語言規(guī)則使得系統(tǒng)的維護成本增加。隨著人工智能技術(shù)的發(fā)展以及大模型的出現(xiàn)，其強大的上下文理解能力、語言生成能力及學(xué)習(xí)能力，使得它們能夠產(chǎn)生更準確、更連貫的回答，基于大模型的知識問答在知識整合和歸納方面提供了非常大的幫助。郵儲銀行自主打造了基于大模型的智能知識問答系統(tǒng)“靈犀”。“靈犀”是一套完全私有化部署、信息安全可靠的智能問答系統(tǒng)，采用開源、免費、可商用的中文

Llama2

模型，基于社區(qū)活躍的

Langchain

框架，結(jié)合大模型針對自然語言的理解與生成能力，使用向量數(shù)據(jù)庫存儲訓(xùn)練數(shù)據(jù)。以超億級開源數(shù)據(jù)訓(xùn)練參數(shù)為基礎(chǔ)，發(fā)揮了指定領(lǐng)域內(nèi)大模型強大的生成能力，為郵儲銀行在金融領(lǐng)域內(nèi)的人機交互場景提供了自主可控的大模型能力。38“靈犀”采用完全私有化部署模式，無任何信息外泄隱患，同時通過金融銀行領(lǐng)域特定語料的微調(diào)訓(xùn)練，提供金融知識理解能力，結(jié)合大模型生成式與向量化特點，提供面向郵儲銀行知識領(lǐng)域的智能問答系統(tǒng)。（一）更智能的知識問答。系統(tǒng)基于

Langchain

框架及百億參數(shù)中文

Llama2

模型，通過向量檢索的優(yōu)化、大模型提示詞優(yōu)化、超參調(diào)整以及數(shù)據(jù)清洗和整理，不斷提升模型問答結(jié)果的準確性及合理性，系統(tǒng)更智能；（二）多元異構(gòu)硬件支持。系統(tǒng)完全同時適配

CPU

與

GPU

硬件，避免對稀缺資源的過度依賴，通過對模型進行特定格式的轉(zhuǎn)化，以及采用當前十分前沿的模型運行框架，系統(tǒng)能夠在無

GPU硬件資源的條件下無縫運行系統(tǒng)；并通過對運行模型框架部分源碼的修改、相關(guān)軟件包的依賴更改，完成了

CPU

下

x86

及

arm64架構(gòu)的全適配；（三）更少的資源占用。通常大模型至少需要

6G

顯存或

32G內(nèi)存情況下才能加載運行，通過引入特定的模型運行框架以及對模型轉(zhuǎn)化操作，同樣體量的模型只需

0

顯存

10G

內(nèi)存，8

核線程情況下即可運行系統(tǒng)；（四）更具擴展性的特定領(lǐng)域知識庫。系統(tǒng)基于

Langchain框架，統(tǒng)一前置向量數(shù)據(jù)庫存儲并由大模型整合，支持自有知識庫靈活訓(xùn)練及檢索，提升效率的同時也支持自有知識庫無限擴展。39“靈犀”上線以來，通過在向量檢索率提升、提示詞優(yōu)化、超參調(diào)整等方面進行不斷的優(yōu)化，逐步提升模型問答結(jié)果的準確性及合理性。目前已完成信息科技、風(fēng)險管理、個人金融、公司金融等板塊

100

多篇內(nèi)部政策和制度的素材訓(xùn)練，同時完成信貸、不良、資產(chǎn)保全等業(yè)務(wù)條線業(yè)務(wù)制度的學(xué)習(xí)，為郵儲銀行業(yè)務(wù)人員檢索、學(xué)習(xí)相關(guān)制度政策提供效率利器，讓科技賦能業(yè)務(wù)發(fā)展。40在該行單據(jù)處理場景中，此業(yè)務(wù)涉及到大量銀行回單、交易發(fā)票、跨境匯款申請書、業(yè)務(wù)往來郵件、傳真等數(shù)據(jù)，需要整理、錄入系統(tǒng)。若純依賴人工，耗時長、效率低、成本高、易出錯，而用傳統(tǒng)的

OCR

深度學(xué)習(xí)模型，需要經(jīng)過檢測、識別、結(jié)構(gòu)化等階段，多個階段錯誤累積，難以突破檢測識別難點，模型指標上限低且不具備閱讀理解和推理能力，不同場景下模型能力無法復(fù)制、定制成本高。因此，需要借助

OCR

大模型的能力解決以上單據(jù)處理面臨的問題。騰訊云

TI

平臺

TI-OCR

是一款專注于

OCR

細分場景建模的訓(xùn)練平臺，覆蓋了從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)生成、數(shù)據(jù)標注、模型訓(xùn)練、應(yīng)用編排到應(yīng)用測試發(fā)布的全流程。平臺沉淀了騰訊優(yōu)圖強大的

OCR

內(nèi)置模型和專家豐富的模型優(yōu)化經(jīng)驗，能助力非

AI專業(yè)的客戶輕松實現(xiàn)自主構(gòu)建自定義業(yè)務(wù)下的

OCR

應(yīng)用解決方案。（一）支持四種識別模式1.

智能結(jié)構(gòu)化從單一版式或混合版式的圖片中提取出

Key

字段、Value41字段，以及

Key-Value

的鍵值對關(guān)系。2.

固定版式結(jié)構(gòu)化實現(xiàn)對如身份證、火車票、機動車登記證等所有字段位置固定的單一版式類型的數(shù)據(jù)信息進行提取。3.

檢測/識別實現(xiàn)各類表單、票據(jù)、證件、單據(jù)等的包含手寫體、印刷體、中英文的字段提取。4.

智能分揀即通用目標檢測，檢測出圖片中物體所在的框位置及其所屬類別。（二）先進的技術(shù)架構(gòu)整體架構(gòu)上，TI-OCR

訓(xùn)練平臺采用

Master-Worker

的分布式架構(gòu)。Master

節(jié)點負責對外提

HTTP

協(xié)議的產(chǎn)品功能接口，Worker

節(jié)點負責執(zhí)行模型訓(xùn)練和推理等計算任務(wù)。TI-OCR

訓(xùn)練平臺支持最多

100

個

Worker

節(jié)點，每個節(jié)點可以配置一塊或多塊

GPU

卡。模型訓(xùn)練可以使用單機多卡以提升訓(xùn)練速度，也可以在多個節(jié)點上同時運行多個訓(xùn)練/推理任務(wù)，以提升系統(tǒng)吞吐量。數(shù)據(jù)存儲方面，TI-OCR

訓(xùn)練平臺使用

MySQL

存儲元數(shù)據(jù)，使用普通硬盤存儲圖像、模型等數(shù)據(jù)。部署方面，TI-OCR

訓(xùn)練平臺支持單機或者集群模式。在單機模式下，平臺只需要一臺

GPU

機器即可安裝運行，成本低且42幾乎不需要運維；在集群模式下，平臺只需要

1-2

臺低配的

CPU機器，外加可橫向擴展的多臺

GPU

機器，平臺占用資源少，性價比高。容災(zāi)方面，TI-OCR

訓(xùn)練平臺支持主備部署

MySQL，支持使用磁盤陣列，以提供基本的數(shù)據(jù)容災(zāi)能力。計算任務(wù)都采用異步運行模式，Master

節(jié)點異常不會影響訓(xùn)練/推理任務(wù)的運行。圖

1

TI-OCR

訓(xùn)練平臺的技術(shù)架構(gòu)（三）主要技術(shù)特點騰訊云

TI-OCR

大模型具備三大特點：一是基于原生大模型，不經(jīng)過訓(xùn)練，直接支持常規(guī)下游任務(wù)，零樣本學(xué)習(xí)泛化召回率可達

93%；二是通過

prompt

設(shè)計，不經(jīng)過訓(xùn)練，支持復(fù)雜下游任務(wù)，小樣本學(xué)習(xí)泛化召回率可達

95%；三是通過多模態(tài)技術(shù)，小樣本精調(diào)解決傳統(tǒng)

OCR

難題，自研端到端技術(shù)突破檢測識別業(yè)界痛點，比傳統(tǒng)模型召回率提高

3%-20%。43該行利用騰訊云

TI--OCR，對非結(jié)構(gòu)化數(shù)據(jù)進行自動化分揀、提取并轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)對各種格式數(shù)據(jù)的高精度識別，識別準確率

95%以上。通過應(yīng)用騰訊云-OCR，該行在單據(jù)處理中減少了低價值高耗時手工作業(yè)，節(jié)省運營人力成本，實現(xiàn)多元業(yè)務(wù)數(shù)據(jù)處理的標準化、線上化、自動化。44