多元回歸與相關(guān)試驗(yàn)統(tǒng)計(jì)方法》第1頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸若依變數(shù)Y同時(shí)受到m個(gè)自變數(shù)，X1，X2、…、Xm的影響，且這m個(gè)自變數(shù)皆與Y成線性關(guān)系，則這m+1個(gè)變數(shù)的關(guān)系就形成m元線性回歸。因此，一個(gè)m元線性回歸的樣本觀察值組成為：一、多元回歸方程同理，一個(gè)m元線性回歸方程可給定為：其中，b0是x1、x2、…、xm都為0值y的點(diǎn)估計(jì)值；b1是的簡(jiǎn)寫(xiě)，它是在x1、x2、…、xm皆保持一定時(shí)，x1每增加一個(gè)單位對(duì)y的效應(yīng)，稱為x2、…、xm不變（取常量）時(shí)x1對(duì)y的偏回歸系數(shù)；多元回歸的線性模型和多元回歸方程式第2頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸多元回歸統(tǒng)計(jì)數(shù)的計(jì)算

同直線回歸一樣，必須使散點(diǎn)圖中的所有點(diǎn)整體上離回歸直線最近,即誤差達(dá)到最小:最小由最小二乘法可求得b

：

b=(X`X)-1X`Y第3頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸這里有：第4頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤由解得的b代入后得到多元回歸方程，滿足最小。這里的Q叫做多元離回歸平方和或多元回歸剩余平方和，它反映了回歸估計(jì)值和實(shí)測(cè)值y之間的差異。為與兩個(gè)變數(shù)的離回歸平方和Q有所區(qū)別，這里記作。由于在計(jì)算多元回歸方程時(shí)用了b1、b2、…、bm和b0等m+1個(gè)統(tǒng)計(jì)數(shù)，故的v=n-(m+1)。因此，定義多元回歸方程的估計(jì)標(biāo)準(zhǔn)誤為：第5頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸在多元回歸分析中，Y變數(shù)的總平方和（SSy）仍然可分解為回歸平方和（記作）和離回歸平方和（）兩部分，相應(yīng)的計(jì)算公式為：第6頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸二、多元回歸的假設(shè)測(cè)驗(yàn)多元回歸關(guān)系的假設(shè)測(cè)驗(yàn)

多元回歸關(guān)系的假設(shè)測(cè)驗(yàn)，就是測(cè)驗(yàn)m個(gè)自變數(shù)的綜合起來(lái)對(duì)Y的效應(yīng)是否顯著。若令回歸方程中b1、b2、…、bm的總體回歸系數(shù)為β1、β2、…、βm,則這一測(cè)驗(yàn)所對(duì)應(yīng)的假設(shè)為H0：β1=β2=…=βm=0對(duì)HA：βi不全為0。第7頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸由于多元回歸中SSy可分解為兩部分，的不同所引起，具有v=m；的不同無(wú)關(guān)，具有v=n-(m+1),由之構(gòu)成的F值：即可測(cè)驗(yàn)多元回歸關(guān)系的顯著性。第8頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》偏回歸關(guān)系的假設(shè)測(cè)驗(yàn)

第一節(jié)多元回歸上述多元回歸關(guān)系的假設(shè)測(cè)驗(yàn)只是一個(gè)綜合性的測(cè)驗(yàn)，它的顯著表明自變數(shù)的集合和y有回歸關(guān)系，但這并不排除個(gè)別乃至部分自變數(shù)和y沒(méi)有回歸關(guān)系的可能性。因此，要準(zhǔn)確地評(píng)定各個(gè)自變數(shù)對(duì)y是否有真實(shí)回歸關(guān)系，還必須對(duì)偏回歸系數(shù)的顯著性作出假設(shè)測(cè)驗(yàn)。偏回歸系數(shù)的假設(shè)測(cè)驗(yàn)，就是測(cè)驗(yàn)各個(gè)偏回歸系數(shù)bi(i=1,2,…,m)來(lái)自βi=0總體的無(wú)效假設(shè)，H0：βi=0對(duì)HA：βi≠0，測(cè)驗(yàn)方法有兩種:第9頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸1、t測(cè)驗(yàn)

二元時(shí)，服從v=n-(m+1)的t分布，因而可測(cè)驗(yàn)bi的顯著性。第10頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸2、F測(cè)驗(yàn)

在包含m個(gè)自變數(shù)的多元回歸中，由于最小平方法的作用，m愈大，回歸平方和Uy/12…m亦必然愈大。如果取消一個(gè)自變數(shù)Xi，則回歸平方和將減少Upi,而顯然，這個(gè)Upi就是y依xi的回歸平方和，也就是在y的變異中由xi的變異所決定的那一部分平方和，它具有v=1。因此，由可測(cè)驗(yàn)bi來(lái)自βi=0的總體的概率第11頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸三、最優(yōu)多元線性回歸方程的統(tǒng)計(jì)選擇一個(gè)實(shí)際的多變數(shù)資料，往往既含有對(duì)Y有顯著效應(yīng)的自變數(shù)，又含有沒(méi)有顯著效應(yīng)的自變數(shù)。因此，在偏回歸關(guān)系的假設(shè)測(cè)驗(yàn)中，通常是一些bi顯著，另一些bi并不顯著；象例10.4那樣所有自變數(shù)都對(duì)Y有顯著作用的情況并不多見(jiàn)，在多元線性回歸分析時(shí)，必須剔除沒(méi)有顯著效應(yīng)的自變數(shù)，以使所得的多元回歸方程比較簡(jiǎn)化而又能較準(zhǔn)確地分析和預(yù)測(cè)Y的反應(yīng)。剔除不顯著自變數(shù)的過(guò)程稱為自變數(shù)的統(tǒng)計(jì)選擇，所得的僅包含顯著自變數(shù)的多元回歸方程，叫做最優(yōu)的（在被研究的自變數(shù)范圍內(nèi)）多元線性回歸方程。第12頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸由于自變數(shù)間可能存在相關(guān)，當(dāng)m元線性回歸中不顯著的自變數(shù)有幾個(gè)時(shí)，并不能肯定這些自變數(shù)對(duì)Y的線性效應(yīng)都不顯著，而只能肯定偏回歸平方和最小的那一個(gè)自變數(shù)不顯著。當(dāng)剔除了這個(gè)不顯著且偏回歸平方和最小的自變數(shù)后，其余原來(lái)不顯著的自變數(shù)可能變?yōu)轱@著，而原來(lái)顯著的自變數(shù)也可能變?yōu)椴伙@著。因此，為了獲得最優(yōu)方程，回歸計(jì)算就要一步一步做下去，直至所有不顯著的自變數(shù)皆被剔除為止。這一統(tǒng)計(jì)選擇自變數(shù)的過(guò)程也稱為逐步回歸。自變數(shù)統(tǒng)計(jì)選擇的具體步驟為：第13頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸第一步：m個(gè)自變數(shù)的回歸分析，一直進(jìn)行到偏回歸的假設(shè)測(cè)驗(yàn)。若各自變數(shù)的偏回歸皆顯著，則分析結(jié)束，所得方程就是最優(yōu)多元回歸方程；若有一個(gè)或一個(gè)以上自變數(shù)的偏回歸不顯著，則剔除那個(gè)偏回歸平方最小的自變數(shù)（設(shè)為Xp）,進(jìn)入第二步分析。第二步：m-1個(gè)自變數(shù)的回歸分析，也是一直進(jìn)行到偏回歸的假設(shè)測(cè)驗(yàn)。這一步的計(jì)算程序是將矩陣X中Xp所占有的那一列（第p+1列）剔除，再由新X計(jì)算XX、（XX）-1和b等，從而獲得新的Q和Upi.如果這一步仍有一個(gè)以上自變數(shù)的偏回歸不顯著，則再將偏回歸平方和最小的那個(gè)變數(shù)（設(shè)為Xq）剔除，進(jìn)入第三步分析。若第一步中有二個(gè)或更多個(gè)自變數(shù)的偏回歸不顯著，這一步可輪流試剔，直到找到最需剔除的一個(gè)，再進(jìn)入第三步。第三步：m-2個(gè)自變數(shù)的回歸分析，又一直進(jìn)行到偏回歸的假設(shè)測(cè)驗(yàn)。這一步的計(jì)算是在X中剔除Xq所占的一行，其余過(guò)程同第二步。第14頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第一節(jié)多元回歸四、自變數(shù)的相對(duì)重要性

最優(yōu)多元線性回歸方程中包含的自變數(shù)Xi都對(duì)依變數(shù)Y有顯著作用，偏回歸系數(shù)bi表示了xi對(duì)Y的具體效應(yīng)。但實(shí)踐中還需評(píng)定這些顯著自變數(shù)的相對(duì)重要性，以利于抓住關(guān)鍵因素，達(dá)到調(diào)整和控制依變數(shù)反應(yīng)量的目的。偏回歸系數(shù)bi本身并不能反映自變數(shù)的相對(duì)重要性，其原因有二：①bi是帶有具體單位的，單位不同則無(wú)從比較；②即使單位相同，若Xi的變異度不同，也不能比較。但如果我們對(duì)bi進(jìn)行標(biāo)準(zhǔn)化，即分子和分母分別除以Y和Xi的標(biāo)準(zhǔn)差，就可消除單位和變異度不同的影響，獲得一個(gè)表示Xi對(duì)Y相對(duì)重要性的統(tǒng)計(jì)數(shù)——通徑系數(shù)（記作pi）：通徑系數(shù)pi又稱標(biāo)準(zhǔn)偏回歸系數(shù)，其統(tǒng)計(jì)意義是：若Xi增加一個(gè)標(biāo)準(zhǔn)差單位，Y將增加或減少pi個(gè)標(biāo)準(zhǔn)差單位。第15頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)

在M=m+1個(gè)變數(shù)中，m個(gè)變數(shù)的綜合一個(gè)變數(shù)的相關(guān)，叫做多元相關(guān)或復(fù)相關(guān)；而在其余M-2個(gè)變數(shù)皆固定時(shí)，指定的兩個(gè)變數(shù)間的相關(guān)，則叫做偏相關(guān)。從相關(guān)關(guān)系的性質(zhì)看，多元相關(guān)和偏相關(guān)的M個(gè)變數(shù)都是隨機(jī)變數(shù)，并無(wú)自變數(shù)和依變數(shù)之分。但在實(shí)踐上，多元相關(guān)和偏相關(guān)的統(tǒng)計(jì)數(shù)也常用于有自變數(shù)和依變數(shù)之分的資料，并作為回歸顯著性的一個(gè)指標(biāo)。第16頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)一、多元相關(guān)多元相關(guān)分析的重點(diǎn)是計(jì)算多元相關(guān)系數(shù)并測(cè)驗(yàn)其顯著性

多元相關(guān)系數(shù)在m個(gè)變數(shù)和1個(gè)變數(shù)的多元相關(guān)中，多元相關(guān)系數(shù)記作，讀作變數(shù)y和m個(gè)變數(shù)的多元相關(guān)系數(shù)。由于m個(gè)自變數(shù)對(duì)y的回歸平方和為，占y的總平方和SSy的比率愈大，則表明y和m個(gè)自變數(shù)的多元相關(guān)愈密切，因此可定義為：即多元相關(guān)系數(shù)為多元回歸平方和與總變異平方和之比的平方根。第17頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)由于是SSy的一部分，故的存在區(qū)間為[0，1]。在一定的自由度下，的值愈接近于1，多元相關(guān)愈密切；愈接近于0，多元相關(guān)愈不密切。因?yàn)槎嘣貧w的平方和一定大于任一個(gè)自變數(shù)對(duì)y的回歸平方和，故多元相關(guān)系數(shù)一定比任一自變數(shù)和y的簡(jiǎn)單相關(guān)系數(shù)算得的相關(guān)系數(shù)的絕對(duì)值都大。

多元相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn)

總體的多元相關(guān)系數(shù)為ρ，則對(duì)多元相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn)為H0：ρ=0，對(duì)HA：ρ≠0，可由F測(cè)驗(yàn)給出：式中的v1=m，v2=n-(m+1)，R2為的簡(jiǎn)寫(xiě)。第18頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)由于在v1、v2一定時(shí)，給定顯著水平a下的F值一定，因此可獲得達(dá)到顯著水平a時(shí)的臨界R值。因此，得到R后，只要查一下附表10，就能確定其顯著性。二、偏相關(guān)偏相關(guān)分析的重點(diǎn)是計(jì)算偏相關(guān)系數(shù)并測(cè)驗(yàn)其顯著性偏相關(guān)系數(shù)

偏相關(guān)系數(shù)和偏回歸系數(shù)的意義相似。偏回歸系數(shù)是在其他m-1個(gè)自變數(shù)都保持一定時(shí)，指定的某一自變數(shù)對(duì)于依變數(shù)y的效應(yīng)；偏相關(guān)系數(shù)則表示在其它M-2個(gè)變數(shù)都保持一定時(shí)，指定的兩個(gè)變數(shù)間相關(guān)的密切程度。第19頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)偏相關(guān)系數(shù)的一般解法是，由簡(jiǎn)單相關(guān)系數(shù)rij(i,j=1,2,…,M)組成的相關(guān)矩陣:

求得其逆矩陣：令xi和xj的偏相關(guān)系數(shù)為rij·，解得cij′后即有：該矩陣以主對(duì)角線為軸而對(duì)稱，即rij=rji。逆陣R-1中的元素也是以主對(duì)角線為軸對(duì)稱的，即第20頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)偏相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn)

與相關(guān)系數(shù)的假設(shè)測(cè)驗(yàn)一樣，偏相關(guān)系數(shù)rij的測(cè)驗(yàn)也需要通過(guò)轉(zhuǎn)換進(jìn)行。若令總體偏相關(guān)系數(shù)為ρij·，則由可測(cè)驗(yàn)H0:ρij·=0對(duì)HA：ρij·≠0。該測(cè)驗(yàn)的t具有v=n-M。

將v=n-M代入公式，可得到對(duì)于給定自由度v和給定顯著水平a時(shí)臨界rij·值，即結(jié)果都列于附表10。所以，算得rij·后，只要和附表10中變數(shù)個(gè)數(shù)為2那一欄的有關(guān)臨界rij·值對(duì)照一下，即可確定其顯著性。第21頁(yè)，共22頁(yè)，2023年，2月20日，星期四試驗(yàn)統(tǒng)計(jì)方法》第二節(jié)多元相關(guān)和偏相關(guān)三、偏相關(guān)和簡(jiǎn)單相關(guān)的關(guān)系當(dāng)應(yīng)用偏相關(guān)和偏回歸的方