1、精選優(yōu)質(zhì)文檔-傾情為你奉上穩(wěn)健回歸（M估計(jì)）方法簡(jiǎn)介浙江大學(xué) 唐啟義估計(jì)的穩(wěn)健性(Robustness)概念指的是在估計(jì)過程中產(chǎn)生的估計(jì)量對(duì)模型誤差的不敏感性。因此穩(wěn)健估計(jì)是在比較寬的資料范圍內(nèi)產(chǎn)生的優(yōu)良估計(jì)。如在獨(dú)立同分布正態(tài)誤差的線性模型中，最小二乘估計(jì)(LSE)是有效無(wú)偏估計(jì)。然而當(dāng)誤差是非正態(tài)分布時(shí)，LSE不一定是最有效的。但誤差分布事先不一定知道，故有必要考慮穩(wěn)健回歸的問題。穩(wěn)健回歸(Robust Regression)估計(jì)，如誤差為正態(tài)時(shí)，它比LSE稍差一點(diǎn)，但誤差非正態(tài)時(shí)，它比LSE要好得多。這種對(duì)誤差項(xiàng)分布的穩(wěn)健特性，常能有效排除異常值干擾。DPS提供了穩(wěn)健回歸中常用的最大似然

2、型的M估計(jì)。一般回歸模型:這里1,p為未知回歸系數(shù)，e1,en獨(dú)立同分布，均值為0。最小二乘法是找使表達(dá)式達(dá)到最小作為代價(jià)函數(shù)，即。這樣做會(huì)往往使得那些遠(yuǎn)離數(shù)據(jù)群體的數(shù)據(jù)(很可能是異常值)對(duì)殘差平方和影響比其他數(shù)據(jù)大得多。這是因?yàn)樽钚《斯烙?jì)為了達(dá)到極小化殘差平方和的目的，必須遷就遠(yuǎn)端的數(shù)據(jù)，所以異常值對(duì)于參數(shù)估計(jì)相當(dāng)敏感(如圖1)。M估計(jì)穩(wěn)健回歸的基本思想是采用迭代加權(quán)最小二乘估計(jì)回歸系數(shù)，根據(jù)回歸殘差的大小確定各點(diǎn)的權(quán)wi，以達(dá)到穩(wěn)健的目的，其優(yōu)化的目標(biāo)函數(shù)是：為減少“異常點(diǎn)”作用，我們可以對(duì)不同的點(diǎn)施加不同的權(quán)重，即對(duì)殘差小的點(diǎn)給予較大的權(quán)重，而對(duì)殘差較大的點(diǎn)給予較小的權(quán)重，根據(jù)殘差大小

3、確定權(quán)重，并據(jù)此建立加權(quán)的最小二乘估計(jì)，反復(fù)迭代以改進(jìn)權(quán)重系數(shù)，直至權(quán)重系數(shù)之改變小于一定的允許誤差(tolerance)。其參數(shù)bj可采用迭代加權(quán)最小二乘方法求解。構(gòu)造權(quán)重，許多學(xué)者提出了許多方法，因此得到的穩(wěn)健回歸估計(jì)大同小異。DPS提供了10種不同的定義權(quán)重的公式，供用戶選用。在以下公式中，都用到一個(gè)“標(biāo)準(zhǔn)化”的殘差指標(biāo)ui，med()為中位數(shù)，s為殘差尺度。1. Andrews 法，式中c一般取1.339。2. Biweight法，式中c一般4.685。3. Cauchy法，式中c一般2.385。4. Fair法，式中c一般1.4。5Hampel法這里a,b,c都是參數(shù)，0<a&

4、lt;b<c。一般a=2，b=4，c8.6. Huber法，式中ch一般取1.345。7. Logistic法，式中c一般1.205。8. Median法。9. Talworth法，式中ch一般取2.795。10. Welsch法，式中c一般取2.985。DPS提供了上述介紹的Andrews，Biweight，Cauchy，F(xiàn)air，Hampel，Huber，Logistic，Median，Talworth和Welsch 等10種權(quán)重定義方法供用戶選用,并提供了不加權(quán)的普通最小二乘(OLS)，以便用戶根據(jù)其擬合圖形進(jìn)行診斷。DPS分析的數(shù)據(jù)格式和多元線性回歸分析相同，即：自變量在左邊，最右邊一列是因變量(下圖的左邊)。用鼠標(biāo)選中數(shù)據(jù)后，執(zhí)行菜單下的“多元分析”“回歸分析”“回歸分析”“穩(wěn)健回歸(M估計(jì))”功能，即可出現(xiàn)如下圖所示的工作界面(