多元復回歸分析第一頁，共三十六頁，編輯于2023年，星期五1.復回歸分析：估計問題1.1三變量模型：符號和假設將雙變量的總體回歸模型（PRF）推廣，就得到了三變量的總體回歸模型。其中，Y是應變量，X2和X3是解釋變量，u是隨機干擾項，i是指第i次觀測值（當數據為時間序列時，下標t表示第t次觀測）。系數β1和β2被稱為偏回歸系數。我們繼續在經典線性回歸模型（CLRM）框架下，這樣我們對模型做出如下假設：第二頁，共三十六頁，編輯于2023年，星期五其中（6）是說X2與X3之間沒有精確的線性關系，專業上稱為無共線性或無多重共線性。無共線性是說沒有一個解釋變量可以寫成其余解釋變量的線性組合。如果不存在一組不全為零的數λ2和λ3，使得：如果是這關系存在，我們就說，X2與X3的共線的或線性相關。令一方面，如果這一關系僅當λ2=λ3=0時存在，則X2與X3線性獨立。第三頁，共三十六頁，編輯于2023年，星期五（a）圖表示X2和X3不存在線性關系。（b）圖中，區域Y的3和4區域的變異是由于X2引起的，而Y的4和5區域的變異是由于X3引起的，但是區域4是X2和X3共有的，我們無法精確地區別開來，這樣區域4代表了共線性。無共線性就要求像（a）圖那樣，解釋變量沒有重疊區域。第四頁，共三十六頁，編輯于2023年，星期五1.2對復回歸方程的解釋對式子兩邊求條件期望：這樣，式子給出以變量X2和X3的固定值為條件的Y的條件均值或期望值。如同雙變量回歸分析，復回歸分析是以多個解釋變量的固定值為條件的回歸分析，并且我們所獲取的，是變量X值固定時的Y的平均值或Y的平均響應。第五頁，共三十六頁，編輯于2023年，星期五1.3偏回歸系數的含義偏回歸系數的含義如下：β2度量者在保持X3不變的情況下，X2每變化1單位，Y的均值E（Y|X2,X3）的變換。換句話說,β2給出保持X3不變時Y的均值E（Y|X2,X3）對X2的斜率。類似的,β3度量者在保持X2不變的情況下，X3每變化1單位，Y的均值E（Y|X2,X3）的變換。如何理解保持不變？假定Y代表產出，X2和X3分布代表勞動和資本投入。再假定X2和X3都是生產必須的，且它們用于生產的投入比例可以變換。當勞動投入增加一個單位帶來的產出的增加（勞動的邊際產量）。在這里有一個前提，就是勞動增加的同時，資本投入的數量保持不變，否則我們無法區分在增加的Y中，哪些是由于勞動X2的增加帶來的，哪些是由于資本X3增加帶來的。只有想辦法使得資本X3投入保持不變，才能衡量勞動X2投入對產出增長的真實貢獻。第六頁，共三十六頁，編輯于2023年，星期五1.4偏回歸系數的OLS估計先寫出樣本回歸函數（SRF）：OLS方法是要選擇未知參數的值，使得殘差平方和盡可能的小，用符號表示為：對未知數求微分，并令表達式為零，得到下述正則方程：第七頁，共三十六頁，編輯于2023年，星期五按照用小寫字母表示對樣本離差的慣例，解正則方程得：β2和β3最小二乘估計量的性質：（1）可以從方程2和方程3中通過x2和x3的對調得到另外一個，所有它們本質上是對稱的；（2）兩個方程的分母完全相同；（3）三變量情形是雙變量的自然推廣。第八頁，共三十六頁，編輯于2023年，星期五得到偏回歸系數的OLS估計量，既可以推出這些估計量的方差和標準誤。我們計算標準誤有兩個目的：建立置信區間和檢驗統計假設。下列公式不加證明的給出，相關推導過程請參閱文獻。第九頁，共三十六頁，編輯于2023年，星期五仿照前章，我們能夠證明δ2的一個無偏估計量是（注意：這里的自由度是（n-3），因為我們在估計殘差之前必須要估計參數β1、β2和β3

，所以消耗了3個自由度。）第十頁，共三十六頁，編輯于2023年，星期五1.5OLS估計量的性質1.三變量回歸線（面）通過均值。(為什么？)2.估計的Yi的均值等于真實Yi的均值。證明：第十一頁，共三十六頁，編輯于2023年，星期五3.4.殘差與Y，X2和X3均不相關，于是有5.根據式子：隨著X2和X3的相關系數r23增大，的方差也在增大，在r23=1時，完全共線性，這些方差變得無限大。直觀地看，隨著r23的增大，要知道β2和β3的真值越來越難。而X的樣本值變化越大（x越大），則方差越小，從而能夠更精確的估計β2和β3

。第十二頁，共三十六頁，編輯于2023年，星期五1.6復判定系數R2在三變量模型中，我們想知道Y的變異由X2和X3聯合解釋的比例，提供這一信息的數量被稱為復相關系數，記為R2。第十三頁，共三十六頁，編輯于2023年，星期五式中各項均可以從樣本數據中計算得出，因此R2也很容易得到。R2是一個落在0和1之間的數。如果是1，則所擬合的回歸線100%的解釋了Y的變異；如果是0，則模型不解釋任何Y的變異。R2越靠近1，說明模型的“擬合”越好。1.7校正的R2R2有一個重要的性質，即它是出現在模型中的解釋變量個數的非減函數。隨著解釋變量個數的增加，R2必然增大而不會減少。回憶R2的定義：這里，與模型中X的變量沒有關系。但是RSS即與模型中的X個數有關。隨著X的個數增加，模型的很可能減小（至少不會變大），隨之，R2變大。第十四頁，共三十六頁，編輯于2023年，星期五那么，怎樣解決這個問題呢？我們必須考慮到模型中X變量的個數，那么：也就是說，分子分母均除以其自由度（df），這樣我們就消除了由于解釋變量增加而帶來的R2變大的問題，被稱為校正的R2（adjustedR2）。在計算中要先計算均值，故損失一個自由度，自由度為（n-1）,的自由度中的k，是指包括截距項在內的模型中的參數的個數。在三變量模型中，的自由度是（n-3）。第十五頁，共三十六頁，編輯于2023年，星期五2.復回歸分析：推斷問題2.1再一次正態性假設如果我們的唯一目的是對回歸模型的參數作點估計，則普通最小二乘法（OLS）將足夠使用，并不需要對干擾項ui的概率分布作任何假設，但我們的目的還要對其進行估計和推斷，我們還需要假定ui服從某個概率分布。我們曾經假設ui遵循均值為零、方差為常數的正態分布。有了正態分布的假設，我們發現，偏回歸系數的OLS估計量是最優線性無偏估計（BLUE），此外，估計量本身也是正態分布，其均值等于，而方差遵循自由度為n-3的χ2分布，并且三個OLS估計量均獨立于而分布，在標準誤的計算中，由它的無偏估計替代時，我們有：均服從自由度為n-3的t分布。第十六頁，共三十六頁，編輯于2023年，星期五注意，自由度為n-3是因為我們在計算和之前，我們必須先要估計三個回歸系數，從而給殘差平方和（RSS）的計算加上了三個約束。于是，t分布可用于建立關于真實總體偏回歸系數的置信區域并檢驗統計假設。同理χ2分布可用于檢驗關于真實的假設。一個例子：美國個人消費與個人可支配收入的關系假設我們要研究在過去幾年中美國個人消費支出的行為，用了下述簡單模型：

其中Y：個人消費支出（PCE）

X2：個人可支配收入（PDI）

X3：以年計的時間在用到時間序列數據的回歸分析中，我們通常引進一個時間或趨勢變量。第十七頁，共三十六頁，編輯于2023年，星期五第十八頁，共三十六頁，編輯于2023年，星期五對上述回歸方程結果解釋如下：如果把X2和X3固定在零處，則個人消費支出的均值估計為531.6億美元；偏回歸系數0.7266是說，保持其他變量（X3）不變，個人收入每增加1美元，平均消費支出增加約73美分。同理，若X2不變，平均個人消費支出估計每年約增加27億美元。R2值為0.9988，表明兩個解釋變量解釋了1956-1970年間美國個人消費支出的變異約99.9%。校正的R2值則表明考慮了自由度的作用后，X2和X3仍解釋Y的變異的99.8%。我們根據表8.1中的數據，估計回歸線如下：第十九頁，共三十六頁，編輯于2023年，星期五2.2復回歸中的假設檢驗：總評一旦我們走出簡單的雙變量線性回歸模型的范圍，假設檢驗就會以多種有趣的形式出現，諸如：

1.檢驗關于個別偏回歸系數的假設。

2.檢驗所估計的復回歸模型的總顯著性，也就是要判別是否全部偏回歸系數同時為零。

3.檢驗兩個或多個系數是否相等。

4.檢驗偏回歸系數是否滿足某種約束條件。

5.檢驗所估計的回歸模型在時間上或在不同橫截面單元上的穩定性。

6.檢驗回歸模型的函數形式。因為在經驗分析中常常出現這些類型的一種或多種檢驗，我們將分節討論每一種類型的檢驗。第二十頁，共三十六頁，編輯于2023年，星期五2.3檢驗關于個別偏回歸系數的假設如果假設成立，我們可以用t檢驗統計量對任一偏回歸系數進行檢驗。我們設：虛擬假設的意思是：保持X3不變，個人可支配收入對個人消費支出無（線性）影響。為了檢驗這個虛擬假設，我們利用t檢驗。如果計算的t值超過了選定顯著水平的臨界t值，就可以拒絕假設；否則，就不拒絕它。如果取α=0.05，對于12個自由度有tα/2=2.179（雙尾檢驗）。由于計算的t值14.9060遠遠超過臨界t值2.179，故我們拒絕原假設，在統計上是顯著的，或顯著地異于零。第二十一頁，共三十六頁，編輯于2023年，星期五從圖解上來展示這一情形。我們曾在前面看到假設檢驗和置信區間估計之間存在密切關系：β2的95%置信區間是：具體的數值是：第二十二頁，共三十六頁，編輯于2023年，星期五也就是說，β2以95%的置信系數落在0.6205與0.8327之間。這樣，如果選取了樣本容量為15的100個樣本，構造100個這樣的置信區間，則我們預測其中95個包含著真實的β2值。由于虛擬假設β2=0下，計算的t統計變量的值14.9060沒有落在這個區間內，從而我們拒絕虛假假設H0。事實上，我們注意：各個回歸系數的p值都異常的低，表明每個回歸系數都在一個比5%或1%低得多的顯著水平上，是統計上顯著的。第二十三頁，共三十六頁，編輯于2023年，星期五2.4檢驗樣本回歸的總顯著性上面我們討論的僅僅是對個別的系數的顯著性進行檢驗，下面我們考慮虛擬假設，H0：β2=β3=0，是關于β2和β3聯合地或者同時地等于零的一個聯合假設。對象這樣的一個假設檢驗稱之為對回歸的總顯著性檢驗。我們在上面的討論中逐一地檢驗了偏回歸系數的個別顯著性，為什么還有對樣本回歸進行總顯著性檢驗？事實上，上述單個檢驗我們只能夠保證每個偏回歸系數單獨地來看，在統計上顯著的不為零，但是我們無法保證他們聯合起來共同的不為零。用統計的話說：“檢驗一個個假設，不等于聯合地檢驗同樣的這些假設。其直觀上的理由是，在對幾個假設的聯合檢驗中，任一單一假設都受其他假設所含信息的影響。”那么，我們如何聯合檢驗虛擬假設H0：β2=β3=0？第二十四頁，共三十六頁，編輯于2023年，星期五檢驗復回歸的總顯著性的方差分析法：F檢驗回憶等式：按照方差分析（ANOVA）程序，列出方差分析表：第二十五頁，共三十六頁，編輯于2023年，星期五我們可以證明，在ui的正態分布的假設下，構造一個F變量：服從自由度為2和（n-3）的F分布。上述F有什么用？我們進一步可以證明，若則：若β2=β3=0，便能證明：也就是說，如果虛擬假設成立，上面兩個式子都給出了真實方差的估計。因為，如果虛擬假設成立，說明Y與X2和X3的關系微不足道，Y的變異唯一的來源是ui所代表的隨機因素。因而，如果虛擬假設不成立，X2和X3確實影響了Y，則上述兩個式子之間就不能畫上等號。第二十六頁，共三十六頁，編輯于2023年，星期五從而，F變量的值為偏回歸系數同時為零的假設提供了一種假設檢驗。如果從上式中計算出來的F值大于給定顯著性水平的F表中的臨界值，我們就拒絕H0；否則就不拒絕它。另一種方法是如果所測的F的p值足夠低，可以拒絕H0。如果取5%的顯著性水平，F的臨界值為3.89，顯然所計算出的F值是顯著的，從而我們拒絕H0：β2=β3=0。（如果虛擬假設成立，得到一個大于5129的F值的概率小于5%。）第二十七頁，共三十六頁，編輯于2023年，星期五F檢驗方法的一般性描述：順便提及，大多數回歸軟件在方差分析表中，都給出了在虛擬假設βi=0下的F值。第二十八頁，共三十六頁，編輯于2023年，星期五R2和F之間的一個重要關系式剛才我們給出了一般化的F統計量，對F進行恒等變形。這里我們用到了定義R2=ESS/TSS。當R2越大，F值也就越大。如果R2=1，則F值為無限大。因此，F檢驗既是所估計回歸的總顯著性檢驗，也是R2的一個顯著性檢驗。利用R2和F之間的關系，重新設計方差分析表（ANOVA）：第二十九頁，共三十六頁，編輯于2023年，星期五利用R2來表示F檢驗的好處是計算上的簡便：只有知道R2就可以計算F值。第三十頁，共三十六頁，編輯于2023年，星期五2.5檢驗兩個回歸系數是否相等在經典假設下，可以證明：服從自由度為（n-4）的t分布。而標準誤則可以從下述我們熟悉的公式中得到：第三十一頁，共三十六頁，編輯于2023年，星期五檢驗方法的步驟：1.估計。2.大多數計算機軟件包都提供所估計參數的方差和協方差。從而計算分母中的標