模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注廣義線性回歸應用回歸分析李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院1

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型從泰坦尼克號說起1912年4月14日，當時世界上體積最龐大、內部設施最豪華的客運輪船，號稱“永不沉沒”的泰坦尼克號因為與一座冰山相撞，在船體受損后沉入大西洋底。圖

1:泰坦尼克號李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院2

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型從泰坦尼克號說起在這一事件中，社會學家感興趣的問題可能是：是否可以根據乘客的社會屬性（如性別、年齡等）來預測其 是否存活?女士優先，相比于男性乘客，女性乘客是否擁有更高的存活概率，如果是，大概高多少？尊老愛幼，

相比于青壯年，

老人和小孩是否更可能存活下來？性別因素是否還與其他因素如年齡、社會地位起到交互作用？李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院3

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型從泰坦尼克號說起在分析這些問題時，就會發現：響應變量是服從伯努利分布的二分類名義變量（1

表示存活，0

表示遇難），而不是服從正態分布的連續變量。響應變量的條件均值（存活概率）也不是預測變量的線性函 數，否則極有可能會出現不合理的結果（存活概率小于0或 大于1

)。設第

i

個樣本點的響應變量服從均值為

pi

的伯努利分布,對不同的樣本點,由于均值

pi

不同,方差

pi

(1

?pi)也不相同,即存在異方差性。由于數據不滿足一般線性回歸模型最基本的兩大假定，也不滿足同方差假設，不適合繼續使用一般線性回歸模型進行分析。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院4

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型廣義線性回歸模型的意義當響應變量為非正態分布，或者因變量的條件均值為預測變量的非線性函數時，需要引入廣義線性回歸模型。廣義線性回歸模型適用于響應變量為連續型、二分類名義型、多分類名義型（有序和無序）、計數型等多種類型的情形，特別地，當假設響應變量為服從正態分布的連續型變量時，則等價于一般線性回歸模型。廣義線性回歸模型使研究者可以對現實生活中類型繁多的數據進行建模，并進行統計推斷和預測，在生物、醫學和社會經濟數據的統計分析上，具有重要的意義。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院5

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注目錄模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院6

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院7

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注指數分布族廣義線性回歸模型的一個基本假設是響應變量所服從的分布屬于指數分布族。而在一般線性回歸模型中，通常假設在給定預測變量的條件下，響應變量服從正態分布。正態分布也屬于指數分布族，所以說廣義線性回歸模型是對一般線性回歸模型的推廣，正如指數分布族是對正態分布的推廣。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院8

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型指數分布族一覽圖

2:常見指數族分布及其聯系李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院9

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型指數分布族的形式稱變量

Y

為指數分布族隨機變量,如果其概率密度函數

f

(y;θ,?)具有以下形式:其中：θ

為標準參數,是隨機變量

Y

的期望

μ

的函數,記為

θ(μ)b(θ)為標準參數θ

的函數a(?)>0

為規模參數

?

的函數,與

Y

的方差有關c(y,?)則為觀測值與規模參數的函數該分布中隨機變量

Y

的值域

A

應不依賴于

θ

。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院10

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：正態分布不難驗證正態分布屬于指數分布族。設正態分布隨機變量

Y的概率密度函數為:則該密度函數可以改寫成指數分布族的形式，即：其中,y

∈R

不依賴于未知參數

μ

與

σ2

。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院11

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：二項分布對于二項分布,設響應變量

Y

表示在

m

次試驗中成功次數,且單次成功概率為

p,則其概率密度函數為:f

(y;

p)

=

Cy

py

(1?

p)m?ym將其改寫成指數分布族的形式,即:其中,y

∈{0,1,...,m}不依賴于未知參數

p。

11為了保持統一,下文將二項分布的均值

mp

表示為

μ,特別地,如果

m

=1,二項分布退化為伯努利分布,則有

μ

=p

。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院12

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：泊松分布f

(y;

μ)

=對于泊松分布,設響應變量

Y

的均值和方差為

μ,則其概率密度函數為:μye?μy!將其改寫成指數分布族的形式，即:f

(y;

μ)

=

exp[y

log

μ?

μ

?

log(y!)]其中,y

∈{0,1,2,...}不依賴于未知參數

μ

。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院13

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型常見分布的指數族形式

李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院14

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型指數分布族的性質指數分布族具有良好的分析性質。假設

Y

為服從指數分布族的隨機變量，可以證明:分布均值為

E(Y

)=b′(θ)分布方差為

Var(Y

)=a(?)b′′(θ)b′′(θ)可以表示為關于

μ

的函數,即方差函數

V

(μ)對上述三種常見的分布驗證這一結論，可以得到下表中的結果。分布

E(Y

)

Var(Y

)

V

(μ)σ2正態

μ

1二項2mpmp(1

?

p)μ(m

?

μ)/m泊松μμμ2m=1

時,μ

=p,方差函數為

μ(1

?μ)=p(1

?p)。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院15

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型構成廣義線性回歸模型包含以下三個組成部分：隨機成分：表示響應變量的隨機變量

Yi

～f

(yi;θi,?),其中f

(·)是一個指數分布族的概率密度函數。系統成分：預測變量的線性組合,設存在

p

個預測變量,則系統成分為pη

=

X

β

=

β

Xi

i

j

ij3j=03

連接函數：連接響應變量的條件均值

μi

和系統成分

ηi

的函數

g(·),使得

ηi

=g

(μi)3為避免混淆，本章規定：

Xij

表示變量

j

在第

i

個樣本點上的取值；

Xj表示第

j

個隨機變量；

粗體的

Xi

表示第

i

個樣本點的取值向量,即

Xi

=

(1,Xi1,·

·

·

,Xip)；粗體的

X

=(X1,...,Xn)?表示

n

×(p

+1)

維的設計矩陣;β

=(β0,β1,...,βp)?表示系數向量。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院16

/

105

模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注確定連接函數在廣義線性回歸模型中，系統成分是事先給定的，隨機成分的分布需要基于數據作出假設，而由這兩者可以確定相應的連接函數。當

Yi

是服從指數分布族的隨機變量時,μi

=E

(Yi)=b′(θi),因此,也可以說連接函數

g(·)在參數

θi

與系統成分

ηi

之間建立了連接,即

ηi

=g(b′(θi))。4特別地,稱使得

ηi

=θi

成立的

g(·)為典型連接函數（canonicallink

function)。這意味著,ηi

=g(b′(θi))=θi,因此

g(b′(·))必須為等值函數,即

g

(b′(x))=x。4通常假定

g(·)是一個一一對應、連續且可微的函數，存在逆函數

g?1(·)。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院17

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注確定連接函數根據

g(b′(x))=x,對于響應變量服從不同分布的情形,可以反解出對應的典型連接函數（以下簡稱連接函數）。eθ1+eθ例如,

當響應變量服從伯努利分布時,

b′(θ)

=

,

可知連接函數滿足

geθ1+eθ(

)i

i

pi

1?pi=

θ,

于是有

η

=

g

(p

)

=

log

,

通常稱為

logit

連接函數。通過類似的簡單推導,可以得到響應變量服從正態分布或泊松分布時,對應的連接函數。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院18

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特定模型的具體構成綜上，當假設響應變量服從正態分布、伯努利分布、泊松分布時，對應的廣義線性回歸模型中三個組成部分的具體形式如下表所示。55省略系統成分李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院19

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型再談泰坦尼克號在泰坦尼克數據中,可以假設響應變量（1表示存活，0表示遇難）是服從伯努利分布的隨機變量，并通過

logit連接函數將預測變量（性別、年齡等）的線性組合與其建立聯系，擬合廣義線性回歸模型，這就是二分類

Logistic回歸模型。正如一般線性回歸模型,在擬合該模型時需要回答以下問題:如何估計模型中的系數,得到模型的具體表達式?如何判斷模型中系數是否顯著不為

0

，從而推斷預測變量對響應變量的影響？如何根據模型對新樣本的結局進行預測,并評估模型的預測能力?下面以二分類

Logistic回歸模型為例,介紹如何在廣義線性回歸模型中擬合模型,進行參數估計與模型診斷,并對響應變量進行預測。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院20

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院21

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型形式二分類

Logistic回歸模型屬于廣義線性回歸模型,適用于分析響應變量為服從伯努利的二分類變量的數據,例如患者在服用某種藥物后是否痊愈、在臨床試驗中被分到實驗組的小白鼠是否增加體重等。響應變量

Y

表示研究者所感興趣的事件發生或者不發生,分別用

1

和

0

表示,假設有

n

個這樣的隨機變量

y1,...,yn,彼此獨立,并且有

P

(yi

=1)=pi

。已知預測變量觀測值

X1,...,Xn

。響應變量

Y

的概率密度函數為:f

(y;

p)

=

py

(1

?

p)1?y,

y

∈

{0,

1}模型的連接函數為:李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院22

/

105

模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注參數估計對于廣義線性回歸模型中的系數,通常無法得到類似于一般線性回歸模型中那樣的顯示解。例如,在二分類

Logistic

回歸模型中,由連接函數,可知logit

(P

(yi

=

1))

=

Xiβ顯然系數無法直接由

yi

與

Xi

解析得到。回顧一般線性回歸模型,使用極大似然法進行系數的估計,可以證明最終系數估計值等價于最小二乘估計，即那么,在廣義線性模型中,同樣使用極大似然法,可否得到類似形式的估計?如果該估計不具有顯式解,具體如何求解?李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院23

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注極大似然法考慮極大似然法,似然函數為：因此,對數似然函數可表示為：分別對

βj

(j

=0,1,...,p)求導，令導數為

0

，就可以求解出對應的估計值

β?j

(j

=0,1,...,p)。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院24

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注似然函數求導李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院25

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注加權最小二乘李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院26

/

105

模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注

李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院27

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注迭代求解算法由上述推導過程可知，對于特定的廣義線性回歸模型：W

與

z

的取值依賴于

μμ

=

g?1(η)ηi

=

Xiβ也就是說，目標

β

的估計依賴于

W與

z,而要估計

W與

z,又需要先估計

β,這就形成了一個

"雞生蛋,蛋生雞"的循環,因此可以使用迭代算法進行求解:先給定

β的初始估計值更新

W

與

z更新

β

的估計值重復以上步驟

2

和

3

直至估計值收斂李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院28

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注迭代求解算法圖

3:迭代加權最小二乘算法李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院29

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類Logistic回歸模型系數求解在二分類

Logistic

回歸模型中(μi

=pi):由

g

(pi)=log(pi/(1

?pi)),可得

g?1(η)=exp(η)/(1+

exp(η))。由

a(?)=1,V

(pi)=pi

(1

?pi),且

g′(pi)=1/pi

(1

?pi),可得

wi

=1/V

(pi)a(?)(g′(pi))2

=pi

(1

?pi)。圖

4:迭代加權最小二乘算法李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院30

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類Logistic回歸模型系數求解圖

5:二分類Logistic

回歸模型系數求解函數（R

代碼）李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院31

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注置信區間在得到系數的點估計后，可以構造其置信區間：如果響應變量服從正態分布，給定置信水平，則可以顯式地寫出區間的上下界，并基于樣本進行估計。如果響應變量服從其它分布，其置信區間的構建通常需要依賴基于中心極限定理的大樣本性質。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院32

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注置信區間當響應變量是獨立的指數分布族隨機變量時,廣義線性回歸模型的系數估計具有以下大樣本性質:可以證明,在廣義線性回歸模型中,信息矩陣即為:I(β)

=X?W

Xa(?)李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院33

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注置信區間李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院34

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：一般線性回歸模型由于

σ2

未知,可以用其估計值

σ?2

代替,在大樣本條件下可以用正態分布構造置信區間,樣本量較小時使用

t

分布。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院35

/

105在二分類

Logistic

回歸模型中,由于

a(?)=1,于是有:其中,權重矩陣

W

=diag(w1,...,wn),wi

=pi

(1

?pi)。注意到,wi

的取值與

pi

有關,而

pi

是未知量,因此

W

也需要估計。實際上,在加權迭代最小二乘算法中,每一步更新

β后,由

pi

=g?1

(ηi)=g?1

(Xiβ)可以更新

pi

的取值,同時更新矩陣

W

,隨著系數估計越來越穩定,W的取值也會收斂,最后一步得到的

W便可以代入上式，計算出相應的置信區間。Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二元Logistic回歸模型中的置信區間李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院36

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注假設檢驗在求解出系數的估計值后，研究者希望能像分析一般線性回歸模型一樣，進行統計推斷，對模型中的系數進行顯著性檢驗，以分析各個預測變量對于響應變量的解釋作用，以及模型對數據的擬合程度。由大樣本性質，對于單個系數，可以基于正態分布的假設進行檢驗（參照置信區間的構造過程）。而對于模型整體的顯著性檢驗，需要基于似然函數構建檢驗統計量。在一般線性回歸模型中，通常通過殘差平方和來判斷模型擬合程度的好壞并基于此進行擬合優度檢驗，

而在廣義線性回歸模型中，

要實現與之等價的檢驗，

對應的指標為偏差（deviance），也被稱為對數似然統計量。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院37

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注偏差偏差實質上是當前模型（使用部分變量擬合模型）與全模型（包含所有變量，且響應變量完全由系統成分決定）的對數似然之差。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院38

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：一般線性回歸模型可以看到,此時偏差恰好等價于殘差平方和。實際上,偏差正是一般線性回歸模型中的殘差平方和在廣義線性回歸模型中的推廣。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院39

/

105

Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類Logistic回歸模型中的偏差值得注意的是,此時,響應變量只能取

0

或

1,使得

log

yi

或log

(1

?yi)不存在,所以需要根據極限值來定義其取值。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院40

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類Logistic回歸模型中的偏差當

yi

=0

時,有:yi→0iy

ip?ilim

y

log

=

limyi→0log

yi

p?i

1yi=

limp?i

1y

p?i

iyi→0

?

1

y2iyi→0i=

lim

?y

=

0.p?i因此,當

yi

=0

時,可定義

yi

log

yi

=0

。i

i(同理,當

y

=1

時,可定義

(1

?y

)log1?yi1?p?i)=0,由此實現偏差的計算。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院41

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類Logistic回歸模型中的偏差綜上,在二分類

Logistic

回歸模型中,可以將偏差簡潔地表示為:ni

i

i

iD(y,

p?)

=

?2 [y

log

(p?

)

+

(1

?

y

)

log

(1

?

p?

)]i=1可以這樣理解偏差:當

yi

=1

時,偏差的每一項退化為

?2

log(p?i),如果

p?i

接近1,那么偏差會接近

0,反之,p?i

越接近

0,則偏差越大當

yi

=0

時,偏差的每一項退化為

?2

log

(1

?p?i),如果

p?i接近

0,則偏差接近

0,反之,p?i

越接近

1,則偏差越大李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院42

/

105

模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注偏差的性質注意到，在上述偏差的定義中，除了求兩個模型的對數似然之差外，還乘上

a(?)進行標準化，故也稱之為標準化偏差。如果不考慮標準化，那么近似有：D(y,

μ?)=

2[l(θ?)

?

l(θ?)]

～

χ2(p

?

m)a(?)其中,p

表示全模型中的變量總數,m

表示當前模型中所包含變量個數。例如，在一般線性回歸模型中，有D(y,μ?)

a(?)=ni=1σ2(yi?μ?i)2

服從自由度為

p

?m的卡方分布，與多元回歸中的結論是一致的。而在二分類

Logistic

回歸模型中,由于

a(?)=1,所以有ni=1i

i

i

i2?2 [y

log

(p?

)

+

(1

?

y

)

log

(1

?

p?

)]

～

χ

(p

?

m)李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院43

/

105

模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注假設檢驗流程假設模型

M0

中包含

m0

個變量，模型

M1

中包含

m1

個變量。不失一般性，令所有非

0的系數排列在最前面，考慮如下假設檢驗問題：李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院44

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注假設檢驗流程當模型對數據的擬合程度較好時,有

D0

～χ2

(p

?m0)與

D1

a(?)a(?)～χ2

(p

?m1)，

因此在變量滿足獨立性條件時，

有T

～χ2

(m1?m0)。當由樣本計算得到的檢驗統計量

T

的值大于

χ2

(m1?m0)的

100

×α%分位點時，就以

α

顯著性水平拒絕原假設，說明相比模型

M0

，模型

M1

在對數據的擬合優度上存在顯著性的優勢,所以應該使用后者,反之,如果不拒絕原假設,則說明兩個模型在擬合優度上不存在顯著差異，傾向于選擇更為簡單的模型

M0

。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院45

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型解釋在得到系數的估計值并通過假設檢驗驗證其顯著性后,研究者通常希望借此解釋對應的預測變量對響應變量的影響?；仡櫼话憔€性回歸模型，系數

βj表示的含義是

"在控制其它變量保持不變時,變量

Xj每增加一個單位,預測響應變量平均變化的程度"。而在二分類

Logistic

回歸模型中,系數

βj

表示的含義與優勢比

(odds

ratio,以下簡稱

OR)有關。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院46

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注優勢比的定義對于第

i

個觀測,設

P

(Yi

=1)=pi,則定義優勢

(odd)為1?pi

pi

,即

Yi

取

1

相對于

Yi

取

0

的

"優勢"。1+exp(Xiβ)由

pi

=

exp(Xiβ)

,可知

oddi

=exp(Xiβ)。定義觀測

i

相對于

j

的優勢比為

OR=oddi

=exp[(Xi

?Xj

)β]。oddj優勢比大于

1,表明第i

個觀測個體相比于第j

個觀測,其響應變量

Y

取

1

的可能性更大。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院47

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注優勢比的解釋在數據分析中,研究者感興趣的是某個變量

Xj變化時對應的優勢比,它可以反映該變量對響應變量的影響程度,所以需要控制其它變量保持不變,計算當

Xj增加一個單位時,相比于增加前的優勢比。例如,在泰坦尼克號的例子中,如果要研究性別因素對于乘客是否存活的影響,應該控制年齡、艙位檔次這兩個變量不變,計算男性乘客相比于女性乘客的優勢比。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院48

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型優勢比的解釋（以泰坦尼克為例）設模型為logit

(pi)

=

β0+β1

Age

i+β2

Gender

i+β3

Pclass2i

+β4

Pclass3i其中：性別（Gender）是二分類變量,取

1

表示男性,取

0

表示女性年齡（Age）是連續型變量艙位檔次

(Pclass)是有序變量,可以將其視為一個三分類變 量,用兩個啞變量表示,Pclass2

取

1

表示乘客來自二等艙, Pclass3取1表示乘客來自三等艙,這兩個變量都取

0表示乘客 來自一等艙李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院49

/

105Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型優勢比的解釋（以泰坦尼克為例）不妨設存在這樣兩名乘客

A

和

B,年齡均為

30

歲,均乘坐一等艙,A

為男性,B

為女性。那么，根據上述定義，乘客

A

存活的

"優勢"為：oddA

=

exp

(β0

+

30β1

+

β2)而乘客

B

存活的

"優勢"為:oddB

=

exp

(β0

+

30β1)優勢比

OR

為:OR

=

oddA

/

oddB

=

exp

(β2)顯然,如果

β2

顯著大于

0,OR會顯著大于

1,表示在其他條件相同時,男性存活的可能性顯著大于女性。反之,如果

β2顯著小于

0,則表示女性乘客存活下來的

"優勢"更大。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院50

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注優勢比的解釋特別地,如果

Xj是一個二分類的變量（比如用

1

和

0

分別表示男性和女性）,優勢比顯著大于

1則說明取值為

1所表示的那一類（男性）相比于取值為

0所表示的那一類（女性）發生事件的概率要更高。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院51

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注預測在廣義線性回歸模型中,預測實際上是對條件均值

μi

的預測。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院52

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型特例：一般線性回歸模型李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院53

/

105

Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型

多分類Logistic回歸模型二分類

Logistic

回歸模型中的預測對于二分類

Logistic

回歸模型，響應變量表示感興趣的事件是否發生（用

1

和

0

表示），假設其服從伯努利分布，連接1?pi函數為：ηi

=g(pi)=log

pi

,其逆函數為：pi

=g?1

(ηi)=eηi1+eηi.模型的預測值為：生的概率（即響應變量取

1

的概率）。6以泰坦尼克號的例子為例，若

1

表示存活，0

表示遇難，則預測值為乘客存活的概率。進一步，

若需要作出明確的預測，研究者可以確定一個閾值

δ

來判斷乘客是否能存活。例如，當閾值設為

0.5

時，若某位乘客對應的預測值為

0.7，則預測其能夠存活。6注意到其取值確實在區間

(0,1)內，與通常對概率的定義相符合。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院54

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注混淆矩陣將預測值與實際值進行比對,可以得到混淆矩陣,其中:TP(True

Positive)為真陽性,即實際取

1

且預測為

1

的觀測FP(False

Positive)為假陽性,即實際為

0

但預測為

1

的觀測FN(False

Negative)為假陰性,即實際取1但預測為0的觀測TN(True

Negative)為真陰性,即實際取

0

預測為

0

的觀測圖

6:混淆矩陣李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院55

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注根據混淆矩陣,整體的預測準確率為acc

=

(TP

+

TN

)/(TP

+

FN

+

FP

+

TN

)當樣本中取

1

和取

0

的觀測數量存在不平衡現象時,整體準確率并不是一個合適的評價指標。假設存在這樣一個模型,無論輸入什么數據,預測值都為

1,而某樣本中包含

100

個觀測,99

個響應變量取值為

1,僅有1個取值為

0,那么這個模型在該樣本內可以達到99%的準確率。但是,這一模型并不是研究者想要的,因為它實際上對于響應變量取值為

1

的樣本沒有任何識別能力。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院56

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型靈敏度與特異度要綜合評價模型的預測能力,需要引入更全面的指標:真陽性率

(True

Positive

Rate,TPR),或稱靈敏度

(Sensitivity), 指的是實際上取值為

1

的觀測中預測值也為

1

的那部分所 占的比例,表達式為TPR=TP/(TP

+FN

),真陽性率越高, 表明模型對取值為

1

的樣本的識別能力越強。真陰性率

(True

Negative

Rate,TNR),也稱特異度

(Speci- ficity),指的是實際上取值為

0

的觀測中預測值也為

0

的 那部分所占的比例,表達式為

TNR=TN/(TN

+FP

),真陰 性率越高,表明模型對取值為

0

的樣本的識別能力越強。對于某個特定的問題,研究者對兩類樣本的預測精度的要求可能是不同的。例如,在預測犯罪行為時,通常會對模型將非犯罪分子錯分為犯罪分子的錯誤有更高的容忍度,后續再對模型篩選出的可疑對象進行人工甄別，以此提高對犯罪分子的打擊覆蓋率。研究者需要根據所研究問題的實際情況,確定靈敏度與特異度在模型評價時的權重。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院57

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注ROC曲線研究者通過閾值

δ

來確定模型對單個樣本點的預測結果,如果

pi

>δ,則預測

y?i

=1,否則預測

y?i

=0

。顯然,調節閾值

δ

時,模型對整個樣本的預測結果會發生變化,靈敏度和特異度也隨著改變,得到多組結果。以特異度為橫軸,以靈敏度為縱軸,可以得到受試者工作特征曲線

(簡稱

ROC)。圖

7:ROC曲線李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院58

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注ROC曲線如果模型在取不同的閾值時，特異度和靈敏度都較高，曲線中的點會集中分布于坐標軸的左上角，使得整條曲線下方的面積接近1；而如果是隨機猜測，則對應對角線，曲線下面積為0.5。因此，當存在多個備選模型時，研究者可以根據ROC

曲線下面積（AUC）來比較不同模型的預測能力。圖

8:ROC曲線李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院59

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型示例：泰坦尼克數據R包titanic

所提供的數據記錄了著名的泰坦尼克號沉沒事件中各位乘客的存活信息，以及相關的個人信息，例如性別、年齡、艙位檔次（分一等、二等和三等）等，如表所示。將乘客是否存活視為服從伯努利分布的隨機變量，

使用乘客的個人信息作為預測變量，擬合二分類Logistic回歸模型，可以預測不同的乘客在這起海難中被救下的概率，并比較各個變量所發揮的作用。

IDAgePclassGenderSurvived1223male02381female13263female14351female15353male06541male0李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院60

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注可視化探索在擬合模型前，可以先簡單探索預測變量與乘客是否存活的關系。取性別（Gender）、艙位檔次（Pclass）以及是否存活（Survived）這三個變量，得到列聯表如下所示。圖

9:乘客性別、艙位檔次、是否存活列聯表李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院61

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注可視化探索為了更直觀地反映這一結果，還可以畫出如下圖所示的馬賽克圖。圖

10:乘客性別、艙位檔次、是否存活馬賽克圖李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院62

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注可視化探索結合圖表信息，可以得到以下初步結論：不管是在哪個檔次的艙位中，女性的存活率都要明顯高于男性 的：在一等艙中，女性的存活率為

82/(3+82)≈96.47%，而 男性存活的比例只有

40/(61+40)

≈39.60%

，確實體現了女 性優先的原則。不同的艙位檔次之間，存活比例的差異也很明顯：在三等艙 中，女性存活比例為

47/(55+47)

≈46.08%

，而男性則為 38/(215+38)

≈15.02%

，均遠遠低于一等艙的。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院63

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注擬合模型在該數據集中,響應變量為二分類變量,適用二分類

Logistic回歸模型。預測變量中：

性別（Gender）是二分類變量，取

1

表示男性，

取

0

表示女性；

年齡（Age）

是連續型變量；

而艙位檔次（Pclass）是有序變量，為了方便起見，可以將其視為一個三分類變量，在擬合模型時用兩個啞變量表示，Pclass2取

1

表示乘客來自二等艙,Pclass3

取

1

表示乘客來自三等艙,這兩個變量都取

0

表示乘客來自一等艙。使用

logit

連接函數,模型可以表示為:logit

(pi)

=

β0+β1

Age

i+β2

Gender

i+β3

Pclass2i

+β4

Pclass3i李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院64

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注擬合結果分析模型的擬合結果如下表所示。圖

11:二分類Logistic

回歸模型擬合結果(泰坦尼克數據）李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院65

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注性別考慮性別因素,男性（Gender

取1）相比女性

(Gender

取

0）存活的優勢比為

eβ2

，其估計值

eβ?2

=e?2.523

≈0.080

。而性別

(Gender)所對應的系數估計值為

β?2

=?2.523,其標準誤為

0.207,則

95%

置信區間為(?2.523

?

z0.975

×

0.207,

?2.523

+

z0.975

×

0.207)

=

(?2.929,

?2.117)因此，男性（Gender

取

1）相比于女性（Gender

取

0）的存活優李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院66

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注艙位檔次考慮艙位檔次（經濟能力）對存活率的影響。由于設置了啞變量

Pclass2與

Pclass3,相當于是以一等艙的乘客為參照,所以在估計優勢比時應該明確是相對于一等艙乘客的優勢比。Pclass2

對應的系數估計值為

β?3

=?1.310,因此二等艙相對于一等艙的存活優勢比的估計值為

eβ?3

=e?1.310

≈0.270

。同理,Plass3

對應的系數估計值為

β?4

=?2.581,因此三等艙相對于一等艙的存活優勢比的估計值為

eβ?4

=e?2.581

≈0.076

。兩個系數的估計值都是統計學顯著的,可以推斷,無論是二等艙還是三等艙,乘客存活下來的可能性都要顯著低于一等艙。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院67

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注年齡年齡對于存活率也有一定的影響，由其系數估計值為負值，可以推斷，當控制其它變量不變時，年齡越大者的存活可能性越低。值得注意的是，

此處為了方便展示，

只是把年齡當成一個連續變量，而實際上，由于兒童和老者都會在救援中受到優待，存活率隨年齡的增長應該是有先下降后上升的趨勢的。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院68

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注預測在模型中用系數的估計值代替其真值，代入每個乘客的個人信息，得到存活概率的預測值。取閾值0.5，在訓練集上，可以得到預測結果與真實值所構成的混淆矩陣（Confusion

matrix），如下圖所示。整體的預測準確率為

(356+207)/714

≈78.85%

。圖

12:混淆矩陣（泰坦尼克數據）李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院69

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院70

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注多分類問題在實際數據分析中，

有時響應變量可能存在多個無序的類別，例如，當電影公司想要通過觀眾的性別、年齡、社會地位等背景信息預測其最喜愛的電影類型時，響應變量就是一個多分類的變量，其不同取值代表各種類型片。此時，研究者需要借鑒二分類Logistic

回歸模型的思想，使用多分類Logistic

回歸模型進行分析。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院71

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注解決方案基于廣義線性回歸模型，目前主要有兩種思路：把多分類問題拆解為多個二分類問題，分別擬合二分類Logistic 回歸模型，而后通過類似機器學習中的弱分類器集成的方式，由 多個模型投票預測樣本所屬的類別。直接假定響應變量服從多項分布，建立相應的廣義線性回歸模型，直接進行預測。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院72

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型拆解為二分類問題借助二分類Logistic

回歸模型解決多分類問題，有“一對一”和“一對其他”

這兩種具體的方法。一對一:每次取兩個類別的樣本,擬合二分類

Logistic

回歸模型。如果有

K

個類別,則一共要擬合

C2

個模型。每個模型K都會預測樣本屬于兩類中的一類,給對應的類

"記上一票"。統計所有模型的投票結果,票數最多的那一類就是樣本所屬類的預測值。一對其他:每次指定

K個類別的其中一類作為正樣本,以所 有其他類作為負樣本,視為二分類問題,擬合二分類

Logistic 回歸模型。如果有

K個類別,則一共要擬合

K個模型。每 個模型都可以得到樣本屬于所指定類別的概率預測值,比較

K

個預測值,以最大值對應的類作為樣本所屬類的預測值。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院73

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型多分類Logistic回歸模型多分類

Logistic

回歸模型直接假定響應變量

Y

是服從重復次數為

1

的多項分布的隨機變量,一共可取

{1,2,...,K}共K

個值,表示

K

個不同的類別,且有將

Yi

取值為

k

的概率表示為以下對數一般線性回歸模型的形式:log

(P

(Yi

=

k))

=

Xiβk

?

log(Z)其中

Xi

表示第

i

行觀測數據，

βk

表示第

k

類特定的系數向量，

?log(Z)是為了保證取各個類的概率加和為

1

而引入的正則項。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院74

/

105

多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型多分類Logistic回歸模型由上式,有:與二分類

Logistic

回歸模型的

logit

連接函數相對應,該式連接了預測變量的線性組合與響應變量取某一值的概率,被稱作

softmax

連接函數。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院75

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型多分類Logistic回歸模型在實際應用中,為了使系數估計能夠被唯一確定,通常需要指定一個類別作為參照水平,將其對應的系數都設為

0，在此基礎上估計其他類別對應的系數向量。不失一般性,假定選擇將第一個類別作為參照水平,則上述模型可改寫為:當響應變量只包含兩個類別時,該式與

logit連接函數是完全等價的,因此,多分類

Logistic

回歸模型可以看作是二分類

Logistic

回歸模型的推廣。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院76

/

105多分類Logistic回歸模型Possion回歸模型小結與評注模型的一般形式

二分類Logistic回歸模型示例：學生項目數據UCLA

提供的學生項目數據記錄了200

名學生在開學后選擇的項目類型（prog），包括綜合型（general）、學術型（academic）和職業型（vocation）。此外，還記錄了可能對選擇結果有影響的兩個因素：家庭在社會中的經濟地位（ses，分高中低三檔）、學生本人的寫作分數（score）。李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院77

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注可視化探索選擇學術型項目的學生寫作分數普遍更高，而選擇職業型項目的學生分數最低。圖

13:不同項目組學生寫作分數分布箱線圖李揚/林存潔/王菲菲/孫韜/廖軍廣義線性回歸中國人民大學統計學院78

/

105模型的一般形式二分類Logistic回歸模型多分類Logistic回歸模型Possion回歸模型小結與評注可視化探索家庭經濟條件較