多層混合效應模型與有限混合模型上海師范大學商學院多層混合效應模型與有限混合模型授課大綱4.1多層混合效應線性回歸4.2多層混合效應非線性回歸4.3多層混合效應logistic回歸4.4有限混合模型2025/4/143多層混合效應模型的數據表現為分級或多層結構，低層級單位嵌套或集聚于高層級單位之中，高層次單位內同一個水平的觀測數據常常存在一定的集聚性、相關性，即組內觀測是非獨立的，從而使組間產生了差別，此即所謂的“組內同質，組間異質”。2025/4/144截距和斜率是否隨機，多層混合效應模型可以有四種情況：（1）固定截距+固定斜率（2）固定截距+隨機斜率（3）隨機截距+固定斜率（4）隨機截距+隨機斜率2025/4/1454.1 多層混合效應線性回歸多層次線性混合模型是既包含固定效應又包含隨機效應的模型。

（4.1）其中，y是響應的n×1向量；X是固定效應的n×p維的協變量矩陣；Z是隨機效應u的n×q維的協變量矩陣；n×1誤差向量假設為均值為0、方差矩陣為的多元正態隨機變量。2025/4/146模型4.1的固定部分類似于標準OLS回歸的線性預測值，為待估計回歸系數。對于模型4.1的隨機部分，假設u具有方差-協方差矩陣G，并且u與正交，因此：(4.2)隨機效應u不是直接估計的，而是用總體殘差方差以及R中包含的殘差方差參數可以預測的以G元素為特征的方差分量。2025/4/147多層次線性混合模型估計的Stata命令為：

mixeddepvarfe_equation[||re_equation][||re_equation...][,options]其中，fe_equation的語法為[indepvars][if][in][weight][,fe_options]re_equation的語法為下列之一：2025/4/148對于隨機參數和隨機截距：

levelvar:[varlist][,re_options]對于交叉效應模型中因子變量值之間的隨機效應

levelvar:R.varname[,re_options]levelvar是一個變量，用于識別該級別隨機效應的組結構，或表示包含所有觀察值的一個組。2025/4/1494.2多層混合效應非線性回歸考慮M個研究對象，其中

個測量值是樣本j在時間時觀察到的。

所謂“研究對象”，我們指的是任何不同的主體，如具有兩個或多個相關觀測值的實驗單位、個體、小組或集群。2025/4/1410這個基本的非線性兩層模型可以寫成：（一層的混合效應非線性回歸（NLME）只是獨立數據的非線性回歸模型）

(4.3)其中是一個實值函數，它依賴于固定效應的p×1向量，q×1隨機效應矢量

，以平均值為0、方差-協方差矩陣Σ，以及包含樣本內協變量和樣本間的協變量的協變量向量。2025/4/1411混合效應非線性回歸的Stata命令為：

menldepvar=<menlexpr>[if][in][,options]<menlexpr>將非線性回歸函數定義為包含大括號{}中指定的模型參數和隨機效應的可替換表達式，如exp（{b}+{U[id]}）；有關詳細信息，請參見[ME]菜單中的隨機效果替代表達式。2025/4/14124.3 多層混合效應logistic回歸混合效應logistic回歸是包含固定效應和隨機效應的logistic回歸影響。在縱向數據和面板數據中，隨機效應可用于集群內建模相關性。也就是說，同一簇中的觀測值是相互關聯的，因為它們有共同集群級隨機效應。2025/4/1413melogit允許許多級別的隨機效果。然而，為了簡單起見，現在我們考慮兩級模型，其中為一系列M個獨立的簇，并以一組隨機影響

為條件：

(4.4)對于簇，簇j由個觀察值組成。響應變量是二元值

，按照標準取值定義，如果，

；否則處理。2025/4/14141×q向量

是對應于隨機效應的協變量，可用于表示隨機截距和隨機系數。例如，在隨機截距模型中,只是標量1。隨機效應

是平均值為0且q×q方差矩陣的多元正態分布的M個實現。隨機效應不是作為模型參數直接估計的，而是根據已知的的方差分量進行匯總計算得到。2025/4/1415最后，因為這是邏輯回歸，H（·）是邏輯累積分布函數，它將線性預測值映射到成功概率（

）：

(4.5)2025/4/1416多層混合效應logistic回歸模型也可用潛在線性響應表示，其中僅

是對應于潛在變量可以觀察的：

(4.6)式中，為服從以平均值為0、方差為的logistic分布的隨機誤差項，且與

無關。2025/4/1417多層混合效應logistic回歸估計的Stata命令為：

melogitdepvarfe_equation[||re_equation][||re_equation...][,options]這里，fe_equation的語法格式為：

[indepvars][if][in][weight][,fe_options]

2025/4/1418re_equation的語法格式為：（1）對于隨機參數和截距：

levelvar:[varlist][,re_options]（2）對于交叉效應模型中因子變量值之間的隨機效應：

levelvar:R.varnamelevelvar是一個變量，用于識別該級別隨機效應的組結構，或表示包含所有觀察結果的一個組。2025/4/14194.4有限混合模型有限混合模型（FMM）用于對觀察結果進行分類、調整聚類和對未觀察到的異質性進行建模分析。在有限混合模型中，假設觀測數據屬于被稱為類的未觀察到的亞種群，概率密度函數或回歸模型組合用于模擬所研究問題的結果。在擬合模型后，可以對每次觀察進行預測類成員概率。2025/4/1420FMM是包含兩個或多個密度函數的概率模型。在FMM中，假設觀察到的響應y來自g個不同類別的的比例為。以最簡單的形式，我們可以將g組分混合模型的密度寫成：(4.7)式中是第i類的概率，和，是第i類模型中觀測響應的條件概率密度函數。2025/4/1421Stata的fmm命令通過最大似然估計擬合有限混合模型。

在假設給定的潛在類別內，每個響應變量在整個估計樣本中獨立且相同地分布，計算得到設定模型的似然值，這些假設是以潛在類和觀察到的外生變量為條件的。2025/4/1422由相關的潛在類概率加權組合每個潛在類別的條件似然度來計算似然值。設為模型參數的向量，對于給定一個觀測值，y為觀測響應變量的向量，x為觀測響應變量的自變量向量。設C為具有個類別潛變量。給定觀測值的邊際似然為：(4.8)式中，是潛在類別標示向量。當時，c的所有其他元素都為零。2025/4/1423假設y變量是以x和C為條件的相互獨立的，因此是單個條件密度的乘積。對于具有n個響應變量的第i個潛在類，給定響應變量的條件聯合密度函數為：(4.9)2025/4/1424FMM模型的所有估計命令都假設通過線性預測依賴于解釋變量向量：

(4.10)則給定觀測值的似然值為：(4.11)2025/4/1425Stata的fmm命令使用多項式邏輯分布來模擬潛在類別的概率。第i個潛在類的概率為：

(4.12)這里是第i個潛在類的線性預測。默認情況下，第一個潛在類是基準類水平，以便和。fmm命令使用EM算法最大化式(4.11)。在此之前需要定義起始值。2025/4/1426EM算法使用完全數據似然值，即所有潛在類指標變量c的觀測值。在完全數據情況下，給定觀測的似然值為：(4.13)取對數得到對數似然函數值為：(4.14)2025/4/1427第i個潛在類的預測概率為：-(4.15)使用擬合的潛在類概率得到的y的預測總平均值為

(4.16)2025/4/1428