預訓練大模型與醫療：從算法研究到應用閭海榮

博士

|

清華大學自動化系預訓練大模型概述理解大模型的內在機理賦予模型精準性與可解釋性醫療領域應用清華探索：數基生命CHIMA20Pag2e

2

3TsinghuaConfidential|

lvhairong@CONTENTS預訓練：從大數據到小數據③

精準可解釋

④醫療應

用②

剖析大模型

①

關于預訓練

預訓練大模型（學習共性）大數據（低成本無標注）少量特定領域標注數據（成本高）微調小模型（學習特性）⑤數基生

命模型角度：模型參數不再是隨機初始化，而是通過一些任務（如語言模型）進行預訓練；數據角度：將訓練任務拆解成共性學習和特性學習兩個步驟。CHIMA20Pag2e

3

3TsinghuaConfidential|

lvhairong@以英文電子病歷后結構化為示例③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

英文CHIMA20Pag2e

4

3TsinghuaConfidential|

lvhairong@英文英文電子病歷后結構化電子病歷后結構化電子病歷后結構化A不懂英文B懂英文C懂英文的醫生Transformer架構：預訓練的基石③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

從word2vec到

Transformer從context-free到

context-awareCHIMA20Pag2e

5

3TsinghuaConfidential|

lvhairong@BERT和GPT③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

兩類典型的大語言模型BERT：BidirectionalEncoderRepresentationsfromTransformers雙向模型，同時考慮前文和后文采用掩碼語言模型（masked

language

model）和下一句預測任務（next

sentence

prediction）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義通常用于文本分類、序列標注、問答等任務GPT：GenerativePre-trained

Transformer單向模型，只考慮前文，不考慮后文采用自回歸（autoregressive）的方式生成文本，即逐個生成下一個詞通常用于生成文本、對話、問答等任務CHIMA20Pag2e

6

3TsinghuaConfidential|

lvhairong@BERT訓練③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

BERT主要采用掩碼語言模型（masked

language

model，對應圖Mask

LM）和下一句預測任務（next

sentenceprediction，對應圖NSP）進行預訓練，使得模型能夠學習到上下文關系和詞匯語義。預訓練好的BERT可以用于對輸入文本進行編碼，得到具有語義的向量表示。預訓練好的BERT也可以通過微調（fine-tuning）方式適配各類NLP任務：The

Stanford

Question

AnsweringDataset問答（SQuAD）、命名實體識別（NER）、MNLI任務（大規模分類任務，目標是預測第二個句子相對于第一個句子是包含，矛盾還是中立）CHIMA20Pag2e

7

3TsinghuaConfidential|

lvhairong@BERT表示能力③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

Represented

IntoSymbolic

SpaceLatent

SpaceCHIMA20Pag2e

8

3TsinghuaConfidential|

lvhairong@BERT類模型③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

2018年10月Google

AI提出BERT模型參數量1.15

億,

3.4億數據量約

16GB.2020年2月Google

AI提出的輕量化BERT模型參數量0.2億，0.61億，2.4億數據量約

16GB2019年7月Facebook

AI基于BERT模型的擴展參數量1.15

億,

3.4億數據量約

160GB2021年10月Microsoft

AI在BERT模型上引入解碼與注意力解耦參數量3.4億數據量約

78GBCHIMA20Pag2e

9

3TsinghuaConfidential|

lvhairong@2019年8月清華大學提出知識注入BERT模型，后由Baidu

AI

更新迭代到3.0版本參數量1.15億，1.25億，100億數據量約

12GB，22.9G，4TB2020年3月Google

AI在BERT模型引入GAN參數量3.4億數據量約

16GBGPT發展史③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

解碼器部分為GPT發展奠定基礎2017年6月Google提出Transformer模型2017年6月OpenAI提出Few-shot

GPT-1模型參數量1.17

億數據量約

5GB賦予GPT預測下一個字符串能力2019年2月OpenAI提出One-shot

GPT-2模型參數量15億數據量40GB增加GPT解釋翻譯能力2020年5月OpenAI提出Zero-shot

GPT-3模型參數量1750億數據量40TB賦予GPT處理多任務的能力2022年1月OpenAI提出GPT-3.5模型參數量13億,

60億，1750億數據量40TB賦予GPT推理能力多模態生成CHIMA20Pag2e

103TsinghuaConfidential|

lvhairong@2023年第一季度OpenAI提出GPT-4模型百萬億級別參數量GPT訓練過程③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

Unsupervised

Pre-trainingExpensivetrainingonmassive

datasetsDatasets:300billiontokensoftextObjective:PredictthenextwordExample:arobotmust?GPTUntrainedGPTCHIMA20Pag2e

113TsinghuaConfidential|

lvhairong@GPT應用③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

GPT具有搜索引擎的功能2021年12月賦予GPT理解人類

指令的能力2022年2月CHIMA20Pag2e

123TsinghuaConfidential|

lvhairong@GPT在編寫代碼上的應用2021年12月使GPT具有與人類對話的能力2022年11月模型內部本質上是基于統計的文字生成器③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

133TsinghuaConfidential|

lvhairong@通過對海量文本的學習，自動構建了一個含有1750

億參數的大模型，建立了對這個世界基本的邏輯認知，由此產生了基于邏輯的推理能力實際上是根據對話中的最近

4095

個記號，算出緊接著最可能是哪個記號但，ChatGPT

≠模型模型負責把最近的對話內容翻譯為一張概率表ChatGPT

負責根據這張表選出下一個記號，再讓模型算再下一個記號的概率表可以理解為高階的馬爾可夫鏈③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

ChatGPT根據前

4095

個記號猜下一個記號，所以是一個

4095

階的馬爾可夫鏈后續狀態按一定概率取決于過去狀態的隨機過程，被稱為馬爾可夫鏈m

階馬爾可夫鏈模型可以根據前

m

個記號算出下一個記號的概率分布①

關于預訓練

如果ChatGPT遇到它在訓練時從沒見過的記號串怎么辦？1

階馬爾可夫鏈3

階馬爾可夫鏈CHIMA20Pag2e

143TsinghuaConfidential|

lvhairong@——神經網絡能很好解決這個問題概念：嵌入向量（embedding

vector）③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

153TsinghuaConfidential|

lvhairong@嵌入向量：在GPT里面，把一個記號作為一個

N

維浮點數向量來表示。這種用一個向量來表示一個單詞或記號的方法按神經網絡的術語就叫做嵌入一個單詞對應的向量叫這個單詞的嵌入向量把每個單詞或記號（token）在

GPT

內部都會通過一層簡單的神經網絡映射層對應到一個嵌入向量，這個向量代表了記號的語言特征GPT-3

是

1600

維，GPT-3.5

2048

維位置信息的引入③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

第一步：將離散的順序號轉換成一個與嵌入向量長度相同的向量，稱為位置編碼（positional

encoding）第二步：將位置編碼與嵌入向量相加（即對應的元素相加），結果作為后續處理的輸入向量第三步：輸入向量會被送到多層Transformer進行后續處理，每層Transformer的參數不同，但都會讓輸入先經過一個線性投影層第四步：線性投影層將輸入向量投影到另一個維度空間，剔除不重要的維度，將高維向量簡化為低維向量使用Transformer擺脫了人工標注數據集的缺陷，模型在質量上更優、更易于并行化，所需訓練時間明顯更少①

關于預訓練

CHIMA20Pag2e

163TsinghuaConfidential|

lvhairong@ChatGPT待優化的部分③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

可信性無法保證，還不能提供合理的證據進行可信性驗證01

成本高、部署困難、每次調用花費不菲，對工程能力有很高的要求，GPT-3

模型的訓練成本在875萬

-1093.75萬美元之間03

因為數據的偏見性，很可能生成有害內容05

時效性差，無法實時地融入新知識，知識范圍局限于基礎大規模語言模型使用的預訓練數據時間之前02

反映的是標注人員的偏好，在標注人員分布不均的情況下，可能會引入新的偏見問題06

CHIMA20Pag2e

173TsinghuaConfidential|

lvhairong@在特定的專業領域上表現欠佳，訓練數據是通用數據，沒有領域專業數據04

如何讓ChatGPT更靠譜③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

183TsinghuaConfidential|

lvhairong@兩個關鍵參數：temperature

參數top_p參數ChatGPT

不是每次都選概率最大的記號temperature參數③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

193TsinghuaConfidential|

lvhairong@控制語言模型輸出的隨機性或創造性的參數temperature

參數=

0，模型每次都挑最佳候選字，從不偏離temperature

參數越大，生僻的選擇變得更容易被選中openAI

試驗場（playground）限制

temperature

參數在

0

到

1的區間t=0t=0.4t=2top_p參數③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

限制

top_p

參數在

0到

1的區間拿到候選字的原始概率分布后，先把這些字按概率從高到低排序，按順序依次選取，選到總概率超過

top_p值的時候即停止，剩下的候選字徹底放棄①

關于預訓練

top_p=0，只保留最高頻的一個字top_p=0.5，考慮總概率占

50%

的那些最高頻的字top_p=1，全部候選字都考慮top_p=0CHIMA20Pag2e

203TsinghuaConfidential|

lvhairong@top_p=0.1top_p=1大模型精確性提升思路：知識嵌入③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

大模型語言本身具有很強的語言理解或生成能力，然而為了提高其敘述內容的真實性和嚴謹性，需要采用特定的技術路線，例如將知識圖譜中的事實描述融入大模型的訓練過程中。知識嵌入：Zhang等人通過將知識圖譜的表示向量加入到BERT中對應的tokens編碼內，從而使得模型學習到與知識相關的事實信息，增強了模型在相應知識領域的準確性。[1]相關模型在FewRel和TACRED上的表現參考：CHIMA20Pag2e

213TsinghuaConfidential|

lvhairong@[1]Zhang,Zhengyan,etal."ERNIE:Enhancedlanguagerepresentationwithinformativeentities."arXivpreprintarXiv:1905.07129

(2019).大模型精確性提升思路：知識預測③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)知識圖譜應用于大模型訓練后階段：Liu等人提出了知識生成式大模型提示方法，讓模型進行知識預測，通過將知識圖譜的三元組形式轉化成Question

andanswer的形式，讓模型生成一些知識，然后將這些知識進行聚合，從而得到最終的更為精確靠譜的結果。模型在數值常識（NumerSense）、一般常識（CommonsenseQA

2.0）和科學常識（QASC）基準測試中進行實驗，得出了將外部知識融入到大模型中能夠提升其常識推理任務的精度的結論。[1]CHIMA20Pag2e

223TsinghuaConfidential|

lvhairong@大模型精確性提升思路：少樣本提示③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：/TgqDT3gGaMdkHasLZv/article/details/130211938https://www.promptingguide.ai/zh/techniques/fewshotChatGPT作為一種生成模型，存在一些問題。其中最主要的問題是不確定性和預訓練語料庫中存在的某些局限性，這可能導致ChatGPT在回答一些問題時存在時效性、事實性以及內容不合規等情況。[1]少樣本提示：盡管大型語言模型展現出驚人的零樣本能力（泛化能力），但在復雜的任務中使用零樣本設置時仍然表現不佳。為了提高模型的性能，我們可以采用少樣本提示技術來啟發上下文學習。這種技術可以通過給模型提供示例演示來引導其生成更好的響應。演示作為后續示例的條件，可以有效地提高模型的準確性和可靠性。[2]CHIMA20Pag2e

233TsinghuaConfidential|

lvhairong@大模型精確性提升思路：自我一致性③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：https://www.promptingguide.ai/zh/techniques/cothttps://www.promptingguide.ai/zh/techniques/fewshot由于ChatGPT的訓練機制主要專注于“單字接龍”，其在涉及算術和常識推理的任務中的精確性仍有待提升。自我一致性：由Wang等人提出，其核心思想是在鏈式思考的prompt

[1]基礎上，通過采樣適量的多個不同推理路徑，根據這些方案的一致性情況得出最合理的結果，從而提高模型的準確性和可靠性。[2]CHIMA20Pag2e

243TsinghuaConfidential|

lvhairong@大模型精確性提升思路：提示語工程③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).通過適當的Prompt

engineering，可以提升ChatGPT在相應任務上的精確性。ImpressionGPT：使用“動態prompt”

來構建具有相似診斷報告的“動態上下文”

環境；對生成的報告進行評估，利用評估結果來指導ChatGPT

生成增強的響應，讓ChatGPT能夠從好樣本和壞樣本中學習到相關內容。[1]ChatCAD

：設計了三種不同的Prompt，將視覺模型得到的結果通過Prompt更好的讓語言模型理解，通過ChatGPT與CAD結合，得到了診斷的性能提升。[2]CHIMA20Pag2e

253TsinghuaConfidential|

lvhairong@大模型可解釋性③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

263TsinghuaConfidential|

lvhairong@機器學習模型的可解釋性傳統模型的可解釋性思路模型相關模型無關大模型的可解釋性思路基于attention機制：大模型如BERT和ChatGPT等大都基于attention機制構建，但隨著模型參數量不斷增大，通過attention機制也無法進行模型內部的解釋Prompt

Engineering思路：對話中的post-hoc（事后）可解釋性傳統可解釋性思路③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：Wang,Junlin,etal."Gradient-basedanalysisofNLPmodelsismanipulable."arXivpreprintarXiv:2010.05419

(2020).Meng,Kevin,etal."Locatingandeditingfactualknowledgeingpt."arXivpreprintarXiv:2202.05262

(2022).[2]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).[4]Dai,Damai,etal."Knowledgeneuronsinpretrainedtransformers."arXivpreprintarXiv:2104.08696

(2021).白箱算法的可解釋性與模型構造本身高度相關，因此對于大模型可以根據相關思路設計更具有針對性的可解釋性方法。主流的模型相關可解釋性方法：基于梯度顯著性[1]基于因果啟發[2]基于注意力機制[3]基于神經元分析[4]CHIMA20Pag2e

273TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：多層注意力機制③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Clark,Kevin,etal."Whatdoesbertlookat?ananalysisofbert'sattention."arXivpreprintarXiv:1906.04341

(2019).BERT、GPT等大預言模型的基礎框架為transformer，因此對于此類大模型的可解釋性多與transformer

模型的架構與機制有關。多層注意力機制：在Transformer模型中，通常包含大量的attention層。因此，每個attention層對于模型最終輸出的影響很難用單層的熱力圖來解釋。如果想要探究這類大型模型的可解釋性，就必須從多層注意機制入手，并深入探究多個層之間以及同一層中不同multi-head之間的關系，以及它們對最終結果的影響。[1]注意力中的表層模式注意力模塊的相對位置分隔符標記集中注意力與廣泛注意力CHIMA20Pag2e

283TsinghuaConfidential|

lvhairong@注意力頭探查探查個別注意力頭探查注意力頭組合注意力聚類針對大模型的可解釋性思路：信息流解析③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Lu,K.,etal."InfluencePatternsforExplainingInformationFlowinBERT."

(2020).信息流解析：注重模型處理過程中，過程信息流的可視化，這樣做的意義和價值在于模型的使用者能夠非常清晰的找出模型的輸出結果與哪些輸入有關，以及這些關聯機制在模型的內部是怎樣提現的。由于Transformer中注意力層的數量眾多，其黑箱特性使得信息在其中的傳遞變得錯綜復雜。通過追蹤tokens在Transformer內部結構中的信息流向，能夠幫助追溯預測結果的依據來源，從而增加模型的透明度并提高其可信度。

[1]CHIMA20Pag2e

293TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：Prompt

Engineering（ChatGPT時代）③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]

https://www.promptingguide.ai/zh/techniques/cot通過Prompt

engineering，ChatGPT能夠對相關的結果做出一定的事后解釋，這樣的解釋以自然語言的形式給出，讓人更易理解。鏈式思考：Wei等人引入鏈式思考（CoT）提示通過中間推理步驟實現了復雜的推理能力，這樣的方法不僅可以提升任務結果的準確性，同時也能使得模型的推理過程一定程度上透明化，從而平衡其黑箱特性帶來的過程不可見性，增加結果的可行度。CHIMA20Pag2e

303TsinghuaConfidential|

lvhairong@針對大模型的可解釋性思路：

Prompt

Engineering思路③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Liu,Jiacheng,etal."Generatedknowledgepromptingforcommonsensereasoning."arXivpreprintarXiv:2110.08387

(2021)背景生成知識提示：大模型精準性的板塊所講到的生成式知識大模型提示方法，實際上，這種方法類似于鏈式思考方法，它讓大模型針對一個問題生成特定的知識，并以這些知識作為其思考過程的基礎。然后將這些知識進行聚合，最終得出一個答案。這樣的過程也是一種可解釋性。通過生成式知識提示，我們可以了解大模型在推理和生成答案時所參考的具體知識，從而更好地理解其決策過程。這種方法可以幫助我們發現模型可能存在的偏見或錯誤，并進一步優化模型性能。同時，由于知識的結構化特點，它還可以為人們提供更加結構化的模型解釋，增強模型的可解釋性。CHIMA20Pag2e

313TsinghuaConfidential|

lvhairong@醫療領域應用場景③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

323TsinghuaConfidential|

lvhairong@參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ChatGPT應用于自動印象生成③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Ma,Chong,etal."ImpressionGPT:AnIterativeOptimizingFrameworkforRadiologyReportSummarizationwithChatGPT."arXivpreprintarXiv:2304.08448

(2023).背景在標準的放射學報告中，印象部分是對整個報告描述的總結。自動印象生成（Automaticimpressiongeneration，AIG）成為醫學領域NLP研究的重點。挑戰：對放射科醫生來說，寫下大量“印象”既費力又容易出錯。盡管最近的研究中基于預訓練和微調預訓練模型在醫學文本領域中的自動印象生成方面取得了不錯的效果，但此類模型通常需要大量的醫學文本數據并且泛化性能較差。思路：

ImpressionGPT[1]使用動態提示（dynamicprompt）和迭代優化（iterative

optimization）來增強ChatGPT對放射學報告摘要的適應性。ImpressionGPT技術流程圖CHIMA20Pag2e

333TsinghuaConfidential|

lvhairong@ChatGPT應用于自動印象生成③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

最近的研究表明，設計prompt以引導模型關注輸入的相關方面，可以產生更精確和一致的輸出。因此prompt

engineering對自動印象生成非常重要。①

關于預訓練

首先使用標簽器對報告的“發現”部分進行分類并提取疾病標簽，然后基于疾病類別，在現有的診斷報告語料庫中搜索相似的報告。使用“動態提示”

來構建具有相似診斷報告的“動態上下文”

環境，以便

ChatGPT

可以學習總結與當前疾病相關的診斷報告。CHIMA20Pag2e

343TsinghuaConfidential|

lvhairong@ChatGPT應用于自動印象生成③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

353TsinghuaConfidential|

lvhairong@參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).ImpressionGPT在AIG任務的兩個經典數據集MIMIC-CXR和OpenI上取得了不少的性能提升。對生成的報告進行評估，利用評估結果來指導ChatGPT

生成增強的響應：采用“Instruction

+Response”的形式，讓ChatGPT能夠從好樣本和壞樣本中學習到相關內容。ChatGPT應用于醫學圖像輔助診斷③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Wang,Sheng,etal."Chatcad:Interactivecomputer-aideddiagnosisonmedicalimageusinglargelanguagemodels."arXivpreprintarXiv:2302.07257

(2023).背景用于醫學圖像的計算機輔助診斷

(CAD)

網絡通過使用先進的深度學習算法來支持臨床決策，在醫學領域取得了重大成功。大型語言模型

(LLM)

最近展示了在臨床應用中的潛力，其提供了寶貴的醫學知識和建議。挑戰：LLM目前難以從這些醫學圖像中解釋和提取信息，從而限制了他們全面支持臨床決策過程的能力。思路：

ChatCAD[1]將

LLM

的醫學領域知識和邏輯推理的優勢與現有醫學圖像

CAD

模型的視覺理解能力相結合，為患者提供了一個更加用戶友好和易于理解的系統。ChatCAD技術流程圖CAD與ChatGPT結合后的交互式問答系統示例CHIMA20Pag2e

363TsinghuaConfidential|

lvhairong@ChatGPT應用于醫學圖像輔助診斷③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

使用了三種不同的prompt設計，prompt作為tensor到text的紐帶從醫學圖像得到prompt的策略：將檢查圖像（例如X射線）輸入經過訓練的CAD

模型以獲得輸出Prompt#1

將這些輸出（通常是張量Output

tensor）翻譯成自然語言（LLM的提示句）Prompt#2

將使用評分系統設計，將Output

tensor中的分數分為四類，并用每類對應的自然語言描述五個觀察值中每一個的可能性Prompt#3

是一個簡潔的prompt，報告在Output

tensor中診斷分數高于0.5的疾病，如果五種疾病都沒有預測，則提示“未發現”CHIMA20Pag2e

373TsinghuaConfidential|

lvhairong@ChatGPT應用于醫學圖像輔助診斷③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

383TsinghuaConfidential|

lvhairong@ChatGPT應用于醫學圖像輔助診斷③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

393TsinghuaConfidential|

lvhairong@基于視覺模型的結果和語言模型中預訓練的醫學知識，交互式ChatCAD可以進行有關癥狀、診斷和治療的對話交互式ChatCAD的兩個示例ChatCAD利用ChatGPT與三種不同的prompt設計生成的報告團隊目前在醫療領域的探索與工作③

精準可解釋

④醫療應

用②

剖析大模型

①

關于預訓練

醫學影像報告中的所見->影像學報告中的印象1）構建并融合知識圖譜

+

LLaMa（Meta公司開源的生成式大模型）利用知識圖譜直接顯式的進行形式化拼接，引入預訓練語料，通過微調的開源大模型，得到精確性與可解釋性更好的模型。2）知識圖譜在prompt

engineering中的應用方法知識圖譜的引入可以使其上下文環境更符合現有領域知識，比如用知識圖譜來構建不同疾病之間的關系。通過知識圖譜引入專家知識，在prompt前進行一定約束，可以提供更可靠、有效的prompt。大模型：參數化的知識庫CHIMA20Pag2e

403TsinghuaConfidential|

lvhairong@prompt知識圖譜：形式化的知識庫Prompt是兩類知識相互融合的橋梁⑤數基生

命知識圖譜本身具有可讀性和一定可解釋性，在大模型中引入知識圖譜使得模型的輸入更可靠提出了新的模型架構：EnhancedBERT③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

CHIMA20Pag2e

413TsinghuaConfidential|

lvhairong@使用密集連接的方式可以連接不同層的表示到最頂層，有助于增強BERT表示的能力。融合圖結構，一方面可以使大模型編碼圖結構信息，另一方面有助于提升大模型建模序列中的精確語義信息。使用BookCorpus和WikiPedia訓練4層的tinyBERT和tiny

EnhancedBERT，結果顯示EnhancedBERT相較于原始BERT有較大的提升。醫療領域應用實踐與探索③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

參考：[1]Qiu,Jianing,etal."LargeAIModelsinHealthInformatics:Applications,Challenges,andtheFuture."arXivpreprintarXiv:2303.11568

(2023).一些問題仍待探索在多機構場景中所涉及的數據隱私和安全問題知識圖譜（KG）在prompt

design中的使用，以使其更符合現有領域知識（如不同疾病之間的關系）“人在回路”在prompt優化迭代的過程中的重要作用更豐富的數據集和基準（如包含患者主訴信息的基準數據集）多模態數據6）……CHIMA20Pag2e

423TsinghuaConfidential|

lvhairong@清華大學數基生命交叉創新群體④醫療應

用⑤數基生

命①

關于預訓練

群體顧問戴瓊海中國工程院院士李衍達中國科學院院士董家鴻中國工程院院士WingH.

Wong美國科學院院士②

剖析大模型

群體骨干③

精準可解釋

張靜群體帶頭人張學工生物信息與機器學習專家清華大學自動化系教授國際計算生物學學會會士魏磊閭海榮謝震古槿江瑞汪小我CHIMA20Pag2e

433TsinghuaConfidential|

lvhairong@智能醫療的關鍵：信息獲取、理解與呈遞③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

科學發現生命機理科學發現未能轉化為應用臨床患者可用技術錯失的機會、浪費的資源CHIMA20Pag2e

443TsinghuaConfidential|

lvhairong@損失的生命解決思路：數基生命

-

醫療行業研究與產業發展的新范式③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

機理模型化在數字化實體中，實現貫穿人體分子、細胞、組織、器官和系統的數學模型，讓數字實體“活起來”，模擬生老病死各種生命過程，形成人體“數字孿生”。通過模擬個體健康演化和疾病發生發展過程,推演各種因素作用,定量評估重要生命過程,提供精準的動態健康指導和疾病治療方案。通過全方位、多尺度、多模態生物醫學數據感知，把人體表征為數字化實體。應用智能化CHIMA20Pag2e

453TsinghuaConfidential|

lvhairong@生命數字化通過模型化重構應用生態③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

應用智能化全場景智能化精準醫健機理模型化數據-知識雙驅動構建大模型智能健康管理智能精準醫療智能公共健康數基生命實驗數基設計靶向治療數碳耦合組織工程生命機理數基重現生命數字化全方位跨尺度數據感知群體-個體-系統-器官-組織-細胞-分子宏觀-----------微觀共性平臺技術CHIMA20Pag2e

463TsinghuaConfidential|

lvhairong@數據-知識雙驅動的數基生命大模型③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

人體全方位定量數據感知數基生命大模型從基因、細胞到系統的數字畫像數基-碳基融合生命系統調控數基智能精準醫健數基孿生推演優化醫健全場景數字化CHIMA20Pag2e

473TsinghuaConfidential|

lvhairong@臨床預訓練模型與知識圖譜③

精準可解釋

④醫療應

用⑤數基生

命②

剖析大模型

①

關于預訓練

醫學知識圖譜百萬級醫學知識圖譜海量醫學文獻/數據積累（10TB+）多家頂級醫院合作構建權威知識圖譜智能交互機器人語音識別/合成全自研語音技術基于GPT的語言模型高精度醫療語音識別高噪聲低采樣率語音識別語言大模型+NLP預訓練語言大模型垂直場景小模型深度優化遷移學習+提示學習快速落地復雜多輪對話推理技術智能外呼機器人可視化運維醫學知識管理百萬級基礎知識圖譜+專科知識圖譜

圖譜定制，全面賦能院內外各類場景算法落地覆蓋2000+疾病/50+科室導診數據

精準關聯推薦/清晰圖文釋義，診斷學知識能力導入集結湘雅50+權威專家問診問診數據

路徑3000+癥狀/病史要點遵循診斷學邏輯800+疾病管理知識庫疾病管理

疾病數據覆蓋84個科室1200+健康宣教知識庫55

套疾病全病程管理計劃以多項專利技術、GPT和海量數據為支撐建立面向專業醫學場景的識別模型，識別準確率高達97.5%;應用GAN網絡技術，對高噪聲低采樣率信號進行了優化，場景測試準確率領先其它廠商5%;知識譜圖與語音識別技術相結合，內嵌百萬級醫學專有名詞，支持符號、單等自定義格式輸出利用遷移學習技術實現對垂直場景術語2-3天快速訓練迭代，及時滿足各類語音識別需求支持基于用戶真人語音快速訓練語音