大語言模型的適配與對齊技術(shù)

0大規(guī)模語言模型成為了現(xiàn)代自然語言處理的基礎(chǔ)設(shè)施Scaling

Law昭示了更大的計算量一定會帶來更好的效果（更低的預(yù)訓(xùn)練損失）更大的計算量也會帶來更好的下游任務(wù)表現(xiàn)，將模型應(yīng)用到具體場景的過程就是對齊和適配

大語言模型成為基礎(chǔ)設(shè)施任何大語言模型都需要對齊和適配?場景特化：適配使模型在具體場景完成具體任務(wù)?能力激發(fā)：適配能夠激發(fā)模型在預(yù)訓(xùn)練中學(xué)到的知識?穩(wěn)定魯棒：適配后的模型更傾向于輸出穩(wěn)定和魯棒的結(jié)果?價值對齊：適配能夠?qū)⒛Ｐ偷谋憩F(xiàn)和價值觀和人類對齊

任何模型都需要對齊GPT-4在2022年8月訓(xùn)練完成之后，花費8個月進(jìn)行精細(xì)對齊和適配最強(qiáng)的模型也無法在每一個場景都表現(xiàn)出色（測于2023年10月11日）ChatGPT3.5ChatGPT4

對齊（Alignment）是什么？廣義的對齊

-讓人工智能輸出人類期望的內(nèi)容（價值觀、信息量、專業(yè)度）Howdo

wecreatean

agent

that

behavesin

accordance

with

what

a

human

wants?Jan

Leike

IlyaSustkeverOpenAISuperalignment?

讓ChatGPT寫一段代碼?

讓機(jī)器人移動某個物體?

讓AlphaGo贏下圍棋比賽

對齊（Alignment）是什么？For

Example?

能力增強(qiáng)：教會AI執(zhí)行復(fù)雜任務(wù)，激發(fā)AI系統(tǒng)內(nèi)部能力和知識?

精準(zhǔn)可控：

引導(dǎo)AI正確理解人類意圖，完成任務(wù)?

安全可靠：確保AI不會出現(xiàn)意料之外的危險行為

讓人工智能更可強(qiáng)、更可靠、更安全

為什么要研究對齊問題？能力能力對齊對齊??之前的人工智能系統(tǒng)?

大多只能完成特定任務(wù)?

智能程度低下?

研究者更關(guān)心效果問題研究對齊問題和技術(shù)的時機(jī)已到為什么要研究對齊問題？當(dāng)前（以及未來）的人工智能系統(tǒng)?

能完成諸多復(fù)雜任務(wù)（甚至我們

也無法預(yù)測）?

智能程度高（甚至在某些方面超

過人類）如何科學(xué)、正確地引導(dǎo)它們十分重要！研究對齊問題和技術(shù)的時機(jī)已到為什么要研究對齊問題？?

GPT-3在數(shù)百億語料上進(jìn)行了預(yù)訓(xùn)練，具有1750億參數(shù)，性能十分強(qiáng)大?

但GPT-3并不具備指令理解的能力，只能通過示例學(xué)習(xí)（In-context）來使用?

OpenAI對原始的GPT-3進(jìn)行對齊后，其語言理解能力和安全性都提升巨大為什么要研究對齊問題？

目錄監(jiān)督學(xué)習(xí)（SFT）超級對齊（Superalignment）

強(qiáng)化學(xué)習(xí)（RLHF）

Part1:

SFT10?BERT時代模型微調(diào)

-使用特定任務(wù)標(biāo)注數(shù)據(jù)對預(yù)訓(xùn)練模型進(jìn)行全參數(shù)微調(diào)?

需預(yù)定義任務(wù)形式和標(biāo)注數(shù)據(jù)，多任務(wù)間泛化能力差微調(diào)–模型對齊的最早形態(tài)CaseStudy：關(guān)系抽取

模型越來越大，如何微調(diào)？

?

大模型在微調(diào)中更新所有參數(shù)，需要在計算中占用龐大的顯存?

大模型在微調(diào)中對每一個任務(wù)存儲一個大模型，需要在占用龐大的存儲空間模型的參數(shù)規(guī)模越來越大，使之更加難以微調(diào)任務(wù)種類繁多，難以對所有任務(wù)都進(jìn)行全參數(shù)微調(diào)13模型發(fā)布時間模型參數(shù)量微調(diào)技術(shù)發(fā)展脈絡(luò)：泛化和高效?

將大模型的大部分參數(shù)固定，而只訓(xùn)練其中一小部分?

僅更新少部分參數(shù)–減少計算消耗?

僅存儲輕量級增量模塊–減少存儲開銷?

增量微調(diào)的下游表現(xiàn)與全參數(shù)微調(diào)相當(dāng)參數(shù)高效的增量微調(diào)增量微調(diào)僅更新不到1%參數(shù)15?將問題進(jìn)行形式化描述，并提出Delta

Tuning

（增量微調(diào)）的概念Parameter-efficient

Fine-tuning

of

Large-scale

Pre-trained

Language

Models.

Nature

Machine

Intelligence.?提出了一個統(tǒng)一的框架將已有的參數(shù)高效微調(diào)的方法分為三類?添加式（Addition-based）

方法?指定式（Specification-based）

方法?重參數(shù)化（Reparameterization-based）

方法增量微調(diào)：統(tǒng)一框架下的參數(shù)高效微調(diào)方法16?DeltaTuning：理論和實驗分析-100余個NLP任務(wù)評估?

增量微調(diào)性能可替代全參數(shù)微調(diào)，大幅提升計算效率?

具有高度組合泛化性和遷移性增量微調(diào)：統(tǒng)一框架下的參數(shù)高效微調(diào)方法17Parameter-efficient

Fine-tuning

of

Large-scale

Pre-trained

Language

Models.

Nature

Machine

Intelligence.各類增量微調(diào)方法的收斂性分析適配器方法的遷移性分析?

在Transformer層間插入小的神經(jīng)網(wǎng)絡(luò)模塊(adapters)?

Adapters包含下映射與上映射ht-f(hwa)wa+h.?可調(diào)參數(shù)：0.5%~8%的全參數(shù)Parameter-EfficientTransfer

Learningfor

NLP,2019.參數(shù)高效對齊：Adapter

參數(shù)高效對齊：

Ladder-Adapter?

將Adapter挪到了模型之外進(jìn)行單獨計算?

節(jié)省計算模型外的Adapter模塊不用反向傳播到模型內(nèi)部?

節(jié)省內(nèi)存：模型外的Adapter模塊的隱層維度h較小

參數(shù)高效對齊：

LoRA?在Transformer每層之間插入可訓(xùn)練的低秩矩陣?

LoRA僅微調(diào)1750億參數(shù)GPT-3其中的470萬參數(shù)An

illustration

of

the

LoRA

method.

Using

LoRA

to

optimize

GPT-3

with

only

4.7M

parametersLoRA:

Low-RankAdaptationof

Large

Langauge

Models,

2021.?

將LoRA的rank從靜態(tài)變成動態(tài)調(diào)整，每一個矩陣都有可能不同?

設(shè)計一個門機(jī)制，高效地將矩陣進(jìn)行稀疏更新，對于稀疏的行和列，訓(xùn)練后直接扔掉參數(shù)高效對齊：

SoRA參數(shù)高效對齊：

SoRASoRA在實驗中顯著優(yōu)于LoRA

參數(shù)高效對齊：

SoRASoRA可以作為Scheduler，在訓(xùn)練中發(fā)現(xiàn)轉(zhuǎn)折點

提示：

GPT-3帶來的轉(zhuǎn)折?

GPT-3是擁有1750億參數(shù)的巨大模型，難以全參數(shù)微調(diào)?

GPT-3具備了強(qiáng)大的零次/少次學(xué)習(xí)能力?

不直接更新模型本身的參數(shù)，僅輸入任務(wù)描述與示例?

展示少量數(shù)據(jù)就能掌握新能力，學(xué)習(xí)能力強(qiáng)弱與參數(shù)規(guī)模正相關(guān)Language

Modelsare

Few-Shot

Learners.

NeurIPS

202024

提示：

GPT-3帶來的轉(zhuǎn)折?通過給數(shù)據(jù)增加“提示”，預(yù)訓(xùn)練大模型可以完成訓(xùn)練數(shù)據(jù)的范式統(tǒng)一指令微調(diào)提示學(xué)習(xí)25

提示：

GPT-3帶來的轉(zhuǎn)折?通過給數(shù)據(jù)增加“提示”，預(yù)訓(xùn)練大模型可以完成訓(xùn)練數(shù)據(jù)的范式統(tǒng)一跨任務(wù)零樣本泛化單任務(wù)少樣本學(xué)習(xí)26

適用大模型的微調(diào)方案?

具備強(qiáng)任務(wù)的泛化能力：多種任務(wù)上的指令微調(diào)27它和多任務(wù)學(xué)習(xí)的區(qū)別是什么？

適用大模型的微調(diào)方案?

具備強(qiáng)任務(wù)的泛化能力：多種任務(wù)上的指令微調(diào)28?

針對自然語言處理任務(wù)的指令微調(diào)：選定已有自然語言處理任務(wù)，人工標(biāo)注多樣化的指令，讓模型學(xué)會執(zhí)行和泛化各類自然語言處理任務(wù)?

可以極大增強(qiáng)模型的泛化能力和用戶意圖理解FLAN

(Google)Finetuned

Language

ModelsareZero-shot

Learners.

ICLR

2022Multitask

PromptedTraining

EnablesZero-shotGeneralization.

ICLR

2022T0

(HuggingFace)29指令微調(diào)

指令微調(diào)?

最初的指令微調(diào)嘗試在不同的NLP任務(wù)上?

模型獲得了強(qiáng)大的跨任務(wù)遷移能力?

任務(wù)越多，模型越大，遷移性越好Finetuned

Language

ModelsareZero-shot

Learners.

ICLR

202230?

InstructGPT&ChatGPT：對話形式指令微調(diào)，使用真實用戶指令進(jìn)行微調(diào)指令微調(diào)特性：形式自由InstructGPT中的指令形式更加寬泛，而非嚴(yán)格按照任務(wù)劃31分InstructGPT和ChatGPT的訓(xùn)練步驟：指令微調(diào)->訓(xùn)練獎勵模型->強(qiáng)化學(xué)習(xí)指令微調(diào)帶來的零樣本泛化是通用大模型的核心?

InstructGPT&ChatGPT：對話形式指令微調(diào)，使用真實用戶指令進(jìn)行微調(diào)指令微調(diào)特性：形式自由InstructGPT中的指令形式更加寬泛，而非嚴(yán)格按照任務(wù)劃32分InstructGPT和ChatGPT的訓(xùn)練步驟：指令微調(diào)->訓(xùn)練獎勵模型->強(qiáng)化學(xué)習(xí)

指令微調(diào)特性：形式自由?

ChatGPT之后各類指令微調(diào)模型層出不窮?Alpaca：遵循self-instruct的思路，用ChatGPT自己構(gòu)造問答對?Vicuna：采用ShareGPT的真實用戶數(shù)據(jù)，獲得了明顯更好的效果

指令微調(diào)特性：形式自由?

ChatGPT之后各類指令微調(diào)模型層出不窮

UltraChat?

大模型的指令微調(diào)?從0到60分：

習(xí)得輸出的模板，激發(fā)預(yù)訓(xùn)練中習(xí)得的知識?從60到100分：提升推理、生成和知識性能力，進(jìn)一步對齊人類的期望?

核心：可擴(kuò)展多樣性（Scalable

Diversity）UltraChat是開源社區(qū)數(shù)量最多

、

平均長度最長

、

多樣性最高

、

一致性最高的多輪指令數(shù)據(jù)/thunlp/UltraChat3536?信息獲取（InformationAccess）：關(guān)于世界的問題指令?信息創(chuàng)造（InformationCreation）：生成和創(chuàng)造文本的指令?信息轉(zhuǎn)化（InformationTransformation）：對已有信息的輔助指令用戶模擬UltraChat數(shù)據(jù)構(gòu)造?

UltraLM系列模型

-在UltraChat上訓(xùn)練的多輪指令大模型?社區(qū)內(nèi)第一個在AlpacaEval上達(dá)到80分的開源模型?多輪對話和任務(wù)指標(biāo)兼顧，訓(xùn)練13B、

65B、

70B等不同大小的版本UltraLM-13Bv1在眾多評測中表現(xiàn)優(yōu)異，是當(dāng)時最好的開源模型UltraLM系列模型37?

UltraChat&

UltraLM后續(xù)?新一代UltraChat數(shù)據(jù)，面向更加復(fù)雜的任務(wù)?新一代UltraLM模型，更加全方位的提升UltraLM-13BV1在公開評測上表現(xiàn)優(yōu)異Skeleton-of-Thought:

Large

Language

ModelsCan

Do

Parallel

DecodingUltraLM可以準(zhǔn)確理解復(fù)雜指令Skeleton-of-thought38?

UltraLM在知識、推理和復(fù)雜指令等任務(wù)上表現(xiàn)優(yōu)異UltraChat

Orca?

從傳統(tǒng)的NLP任務(wù)中發(fā)掘指令數(shù)據(jù)?

FLAN數(shù)據(jù)集涵蓋了上千萬不同任務(wù)的指令數(shù)據(jù)?

從中篩選出500萬，由ChatGPT&GPT-4生成答案39Orca:

Progressive

LearningfromComplex

ExplanationTracesofGPT-4?

從傳統(tǒng)的NLP任務(wù)中發(fā)掘指令數(shù)據(jù)?

FLAN數(shù)據(jù)集涵蓋了上千萬不同任務(wù)的指令數(shù)據(jù)?

從中篩選出500萬，由ChatGPT&GPT-4生成詳細(xì)的答案Orca:

Progressive

LearningfromComplex

ExplanationTracesofGPT-4Orca4041?

從傳統(tǒng)的NLP任務(wù)中發(fā)掘指令數(shù)據(jù)?

在推理、復(fù)雜指令等場景下表現(xiàn)出色Orca:

Progressive

LearningfromComplex

ExplanationTracesofGPT-4Orca

SFT總結(jié)?

數(shù)據(jù)工程是SFT的核心?

如何提升數(shù)據(jù)數(shù)量和質(zhì)量是數(shù)據(jù)工程的核心?從0到60分：

習(xí)得輸出的模板，激發(fā)預(yù)訓(xùn)練中習(xí)得的知識?從60到100分：提升推理、生成和知識性能力，進(jìn)一步對齊人類的期望?

在未來，如何保證數(shù)據(jù)的多樣性和可擴(kuò)展性是SFT成功的關(guān)鍵42Part2:

RLHF43

RLHF?

以人類反饋代替了正確答案，人類反饋的是偏好而非答案

RLHF的關(guān)鍵步驟?

使用基本的訓(xùn)練方法訓(xùn)練模型?

在大規(guī)模語料上進(jìn)行預(yù)訓(xùn)練?

基座模型決定對齊后的質(zhì)量目前，開源模型仍然落后于閉源模型，但在不斷接近中?

構(gòu)建偏序數(shù)據(jù)（Preferencedata）?

一般由人類打分（也可以AI打分）?

由偏好數(shù)據(jù)訓(xùn)練獎勵（Reward）模型?

輸入文本

-

>標(biāo)量得分RLHF的關(guān)鍵步驟

RLHF的關(guān)鍵步驟?

使用獎勵模型對回復(fù)進(jìn)行打分?

使用強(qiáng)化學(xué)習(xí)來更新語言模型?

PPO（Proximal

Policy

Optimization）?

獎勵模型也是一個基于

Transformer的語言模型?

可以是任意大小?

使用獎勵模型對回復(fù)進(jìn)行打分?

使用強(qiáng)化學(xué)習(xí)來更新語言模型?

PPO（Proximal

Policy

Optimization）?

獎勵模型也是一個基于

Transformer的語言模型?

可以是任意大小RLHF的關(guān)鍵步驟模型得分盡量高?

使用獎勵模型對回復(fù)進(jìn)行打分?

使用強(qiáng)化學(xué)習(xí)來更新語言模型?

PPO（Proximal

Policy

Optimization）?

獎勵模型也是一個基于

Transformer的語言模型?

可以是任意大小RLHF的關(guān)鍵步驟模型得分盡量高

模型參數(shù)盡量不要偏離太多

DPO?

DPO對應(yīng)的并非是PPO，而是直接從偏好中學(xué)習(xí)vs

強(qiáng)化學(xué)習(xí)方法?

DPO推導(dǎo)出了和從獎勵模型中學(xué)習(xí)用RL學(xué)習(xí)偏好（近乎）等價的算法將強(qiáng)化學(xué)習(xí)直接轉(zhuǎn)化為了監(jiān)督學(xué)習(xí)在數(shù)據(jù)規(guī)模較大時，

DPO和RLHF近似等價

RLHF?

OpenAI,Anthropic,

DeepMind等頭部公司極為重視?

與之相反，極少開源模型使用了RLHF-數(shù)據(jù)少、難訓(xùn)練V.S.?監(jiān)督微調(diào)只有一個正確答案，因此優(yōu)化的目標(biāo)是唯一的：與最終目標(biāo)不符?對于與正確答案不符的回答，給予的懲罰(loss)是相同的：監(jiān)督信號稀疏

Why

RLHF？?

OpenAI的答案

RLHF

inOpenAI?

在InstructGPT,ChatGPT與GPT-4上，

RLHF的范式再次得到驗證?

OpenAI在RLHF方面已經(jīng)發(fā)表了十余篇論文

RLHFin

LLaMA2?或許是“開源社區(qū)”最成功的RLHF嘗試?沒有開源偏好數(shù)據(jù)與獎勵模型?

為了追趕ChatGPT，

Meta標(biāo)注了多達(dá)140萬的偏好數(shù)據(jù)，規(guī)模遠(yuǎn)遠(yuǎn)超過所有開源的人類偏好數(shù)據(jù)RLHFin

LLaMA2

UltraFeedback?

開源社區(qū)中規(guī)模最大、最多樣、標(biāo)注質(zhì)量最高的偏好數(shù)據(jù)集?

從多個來源收集的64k

prompts:

UltraChat,

FLAN,ShareGPT...?

每條prompt由四個不同模型回復(fù)https://github.com/thunlp/UltraFeedback

UltraFeedback?

開源社區(qū)中規(guī)模最大、最多樣、標(biāo)注質(zhì)量最高的偏好數(shù)據(jù)集?

為避免模型過于相似，盡量挑選不同的基座模型?

GPT,

LLaMA,

Bard,

MPT,

Falcon,

StarChat...?

由GPT-4從4個不同維度進(jìn)行比較和打分，并給出解釋?

最終形成了340k的偏好數(shù)據(jù)https://github.com/thunlp/UltraFeedbackUltraFeedback?

與開源數(shù)據(jù)集的對比https://github.com/thunlp/UltraFeedback

UltraFeedback?

基于UltraFeedback訓(xùn)練高質(zhì)量獎勵模型UltraRM?UltraRM-UF僅在UltraFeedback訓(xùn)練，不用任何其他開源數(shù)據(jù)集?UltraRM混合了公開數(shù)據(jù)集/thunlp/UltraFeedback

UltraFeedback?

基于UltraRM進(jìn)一步提升UltraLM模型?

在AlpacaEval上做best-of-n實驗?

Bo1:76.53%;

Bo16:

91.54%?

勝率與reward高度正相關(guān)

UltraFeedback?

基于UltraRM進(jìn)一步提升UltraLM模型?

PPO后的模型超過所有基線模型HuggingFace使用UltraChat和UltraFeedback構(gòu)造的Zephyr-7B模型超過LLaMA2-70B-Chat，并列入HuggingFace官方對齊手冊由TII研發(fā)的1800億參數(shù)的開源大模型Falcon-180B將UltraChat作為官方的對齊數(shù)據(jù)Ai2AI2使用UltraFeedback構(gòu)造的Tuluv2模型在多個benchmark上達(dá)到了開源模型新標(biāo)桿開源社區(qū)反饋?UltraChat和UltraFeedback已經(jīng)成為開源社區(qū)對齊研究的重要支柱?

后續(xù)的開源模型將會進(jìn)一步接近閉源模型?

偏好數(shù)據(jù)可能會讓模型更加專業(yè)化?

更高效的偏好學(xué)習(xí)算法呼之欲出Feelthe

power

of

PreferenceRLHF總結(jié)Part3:Superalignment64

超級對齊OpenAI成立了“SuperAlignment”團(tuán)隊?什么是超級對齊？和一般的對齊有何不同？超級對齊將占據(jù)OpenAI的20%資源IlyaSutskeverJan

Leike強(qiáng)人工智能/通用人工智能的隱憂?人類與AI的能力出現(xiàn)分化，AI能夠在許多方面超過人類處理海量文本氣象預(yù)測下棋科學(xué)研究情感、意識

長期記憶識別圖片閱讀理解

寫代碼超級對齊人類能力AI能力

超級對齊超級對齊最關(guān)注什么？Howdowealignsystemsontasksthat

are

difficult

forhumans

to

evaluate?超級對齊最關(guān)注什么？Measuring

ProgressonScalable

Oversightfor

Large

Language

Models超級對齊大模型處理文本的速度已經(jīng)遠(yuǎn)遠(yuǎn)超過人類，可以在幾秒鐘內(nèi)總結(jié)一本書的內(nèi)容?

如何評判模型對書的總結(jié)是好是壞？?

需要我們親自讀一遍書，做出總結(jié)嗎？?

如果這是一本專業(yè)書籍呢？

?

?

?例子：總結(jié)圖書一種解決思路：“分而治之”?

讓模型對每一段的內(nèi)容進(jìn)行總結(jié)，再將每段的總結(jié)整合為最終的總結(jié)?

人只需要對