多層混合效應(yīng)模型與有限混合模型上海師范大學(xué)商學(xué)院多層混合效應(yīng)模型與有限混合模型授課大綱4.1多層混合效應(yīng)線性回歸4.2多層混合效應(yīng)非線性回歸4.3多層混合效應(yīng)logistic回歸4.4有限混合模型2025/4/143多層混合效應(yīng)模型的數(shù)據(jù)表現(xiàn)為分級或多層結(jié)構(gòu)，低層級單位嵌套或集聚于高層級單位之中，高層次單位內(nèi)同一個(gè)水平的觀測數(shù)據(jù)常常存在一定的集聚性、相關(guān)性，即組內(nèi)觀測是非獨(dú)立的，從而使組間產(chǎn)生了差別，此即所謂的“組內(nèi)同質(zhì)，組間異質(zhì)”。2025/4/144截距和斜率是否隨機(jī)，多層混合效應(yīng)模型可以有四種情況：（1）固定截距+固定斜率（2）固定截距+隨機(jī)斜率（3）隨機(jī)截距+固定斜率（4）隨機(jī)截距+隨機(jī)斜率2025/4/1454.1 多層混合效應(yīng)線性回歸多層次線性混合模型是既包含固定效應(yīng)又包含隨機(jī)效應(yīng)的模型。

（4.1）其中，y是響應(yīng)的n×1向量；X是固定效應(yīng)的n×p維的協(xié)變量矩陣；Z是隨機(jī)效應(yīng)u的n×q維的協(xié)變量矩陣；n×1誤差向量假設(shè)為均值為0、方差矩陣為的多元正態(tài)隨機(jī)變量。2025/4/146模型4.1的固定部分類似于標(biāo)準(zhǔn)OLS回歸的線性預(yù)測值，為待估計(jì)回歸系數(shù)。對于模型4.1的隨機(jī)部分，假設(shè)u具有方差-協(xié)方差矩陣G，并且u與正交，因此：(4.2)隨機(jī)效應(yīng)u不是直接估計(jì)的，而是用總體殘差方差以及R中包含的殘差方差參數(shù)可以預(yù)測的以G元素為特征的方差分量。2025/4/147多層次線性混合模型估計(jì)的Stata命令為：

mixeddepvarfe_equation[||re_equation][||re_equation...][,options]其中，fe_equation的語法為[indepvars][if][in][weight][,fe_options]re_equation的語法為下列之一：2025/4/148對于隨機(jī)參數(shù)和隨機(jī)截距：

levelvar:[varlist][,re_options]對于交叉效應(yīng)模型中因子變量值之間的隨機(jī)效應(yīng)

levelvar:R.varname[,re_options]levelvar是一個(gè)變量，用于識別該級別隨機(jī)效應(yīng)的組結(jié)構(gòu)，或表示包含所有觀察值的一個(gè)組。2025/4/1494.2多層混合效應(yīng)非線性回歸考慮M個(gè)研究對象，其中

個(gè)測量值是樣本j在時(shí)間時(shí)觀察到的。

所謂“研究對象”，我們指的是任何不同的主體，如具有兩個(gè)或多個(gè)相關(guān)觀測值的實(shí)驗(yàn)單位、個(gè)體、小組或集群。2025/4/1410這個(gè)基本的非線性兩層模型可以寫成：（一層的混合效應(yīng)非線性回歸（NLME）只是獨(dú)立數(shù)據(jù)的非線性回歸模型）

(4.3)其中是一個(gè)實(shí)值函數(shù)，它依賴于固定效應(yīng)的p×1向量，q×1隨機(jī)效應(yīng)矢量

，以平均值為0、方差-協(xié)方差矩陣Σ，以及包含樣本內(nèi)協(xié)變量和樣本間的協(xié)變量的協(xié)變量向量。2025/4/1411混合效應(yīng)非線性回歸的Stata命令為：

menldepvar=<menlexpr>[if][in][,options]<menlexpr>將非線性回歸函數(shù)定義為包含大括號{}中指定的模型參數(shù)和隨機(jī)效應(yīng)的可替換表達(dá)式，如exp（{b}+{U[id]}）；有關(guān)詳細(xì)信息，請參見[ME]菜單中的隨機(jī)效果替代表達(dá)式。2025/4/14124.3 多層混合效應(yīng)logistic回歸混合效應(yīng)logistic回歸是包含固定效應(yīng)和隨機(jī)效應(yīng)的logistic回歸影響。在縱向數(shù)據(jù)和面板數(shù)據(jù)中，隨機(jī)效應(yīng)可用于集群內(nèi)建模相關(guān)性。也就是說，同一簇中的觀測值是相互關(guān)聯(lián)的，因?yàn)樗鼈冇泄餐杭夒S機(jī)效應(yīng)。2025/4/1413melogit允許許多級別的隨機(jī)效果。然而，為了簡單起見，現(xiàn)在我們考慮兩級模型，其中為一系列M個(gè)獨(dú)立的簇，并以一組隨機(jī)影響

為條件：

(4.4)對于簇，簇j由個(gè)觀察值組成。響應(yīng)變量是二元值

，按照標(biāo)準(zhǔn)取值定義，如果，

；否則處理。2025/4/14141×q向量

是對應(yīng)于隨機(jī)效應(yīng)的協(xié)變量，可用于表示隨機(jī)截距和隨機(jī)系數(shù)。例如，在隨機(jī)截距模型中,只是標(biāo)量1。隨機(jī)效應(yīng)

是平均值為0且q×q方差矩陣的多元正態(tài)分布的M個(gè)實(shí)現(xiàn)。隨機(jī)效應(yīng)不是作為模型參數(shù)直接估計(jì)的，而是根據(jù)已知的的方差分量進(jìn)行匯總計(jì)算得到。2025/4/1415最后，因?yàn)檫@是邏輯回歸，H（·）是邏輯累積分布函數(shù)，它將線性預(yù)測值映射到成功概率（

）：

(4.5)2025/4/1416多層混合效應(yīng)logistic回歸模型也可用潛在線性響應(yīng)表示，其中僅

是對應(yīng)于潛在變量可以觀察的：

(4.6)式中，為服從以平均值為0、方差為的logistic分布的隨機(jī)誤差項(xiàng)，且與

無關(guān)。2025/4/1417多層混合效應(yīng)logistic回歸估計(jì)的Stata命令為：

melogitdepvarfe_equation[||re_equation][||re_equation...][,options]這里，fe_equation的語法格式為：

[indepvars][if][in][weight][,fe_options]

2025/4/1418re_equation的語法格式為：（1）對于隨機(jī)參數(shù)和截距：

levelvar:[varlist][,re_options]（2）對于交叉效應(yīng)模型中因子變量值之間的隨機(jī)效應(yīng)：

levelvar:R.varnamelevelvar是一個(gè)變量，用于識別該級別隨機(jī)效應(yīng)的組結(jié)構(gòu)，或表示包含所有觀察結(jié)果的一個(gè)組。2025/4/14194.4有限混合模型有限混合模型（FMM）用于對觀察結(jié)果進(jìn)行分類、調(diào)整聚類和對未觀察到的異質(zhì)性進(jìn)行建模分析。在有限混合模型中，假設(shè)觀測數(shù)據(jù)屬于被稱為類的未觀察到的亞種群，概率密度函數(shù)或回歸模型組合用于模擬所研究問題的結(jié)果。在擬合模型后，可以對每次觀察進(jìn)行預(yù)測類成員概率。2025/4/1420FMM是包含兩個(gè)或多個(gè)密度函數(shù)的概率模型。在FMM中，假設(shè)觀察到的響應(yīng)y來自g個(gè)不同類別的的比例為。以最簡單的形式，我們可以將g組分混合模型的密度寫成：(4.7)式中是第i類的概率，和，是第i類模型中觀測響應(yīng)的條件概率密度函數(shù)。2025/4/1421Stata的fmm命令通過最大似然估計(jì)擬合有限混合模型。

在假設(shè)給定的潛在類別內(nèi)，每個(gè)響應(yīng)變量在整個(gè)估計(jì)樣本中獨(dú)立且相同地分布，計(jì)算得到設(shè)定模型的似然值，這些假設(shè)是以潛在類和觀察到的外生變量為條件的。2025/4/1422由相關(guān)的潛在類概率加權(quán)組合每個(gè)潛在類別的條件似然度來計(jì)算似然值。設(shè)為模型參數(shù)的向量，對于給定一個(gè)觀測值，y為觀測響應(yīng)變量的向量，x為觀測響應(yīng)變量的自變量向量。設(shè)C為具有個(gè)類別潛變量。給定觀測值的邊際似然為：(4.8)式中，是潛在類別標(biāo)示向量。當(dāng)時(shí)，c的所有其他元素都為零。2025/4/1423假設(shè)y變量是以x和C為條件的相互獨(dú)立的，因此是單個(gè)條件密度的乘積。對于具有n個(gè)響應(yīng)變量的第i個(gè)潛在類，給定響應(yīng)變量的條件聯(lián)合密度函數(shù)為：(4.9)2025/4/1424FMM模型的所有估計(jì)命令都假設(shè)通過線性預(yù)測依賴于解釋變量向量：

(4.10)則給定觀測值的似然值為：(4.11)2025/4/1425Stata的fmm命令使用多項(xiàng)式邏輯分布來模擬潛在類別的概率。第i個(gè)潛在類的概率為：

(4.12)這里是第i個(gè)潛在類的線性預(yù)測。默認(rèn)情況下，第一個(gè)潛在類是基準(zhǔn)類水平，以便和。fmm命令使用EM算法最大化式(4.11)。在此之前需要定義起始值。2025/4/1426EM算法使用完全數(shù)據(jù)似然值，即所有潛在類指標(biāo)變量c的觀測值。在完全數(shù)據(jù)情況下，給定觀測的似然值為：(4.13)取對數(shù)得到對數(shù)似然函數(shù)值為：(4.14)2025/4/1427第i個(gè)潛在類的預(yù)測概率為：-(4.15)使用擬合的潛在類概率得到的y的預(yù)測總平均值為

(4.16)2025/4/1428