1統計分析方法中的回歸分析2回歸分析找出預測模式：簡單回歸(Simpleregression)以一個變項預測另一個有興趣的數量變量。復回歸(Multipleregression)以多個變項預測某一個有興趣的數量變量。羅吉斯回歸(Logisticregression)以多個變項預測某一個有興趣的0-1變量。3最小平方回歸4回歸直線(regressionline)回歸直線是用來描述反應變量y

與解釋變量x

線性關系的直線，在給定x之下通常使用回歸直線的公式來預測y。平均日加溫度數為20度時，根據下圖的回歸直線可算出月平均瓦斯消耗量約為490cu.ft。5回歸直線實例(20,5)6預測誤差回歸直線的選擇直接影響預測值y的準確性。我們以y觀察值-

預測值y稱為誤差，或稱為垂直距離。平均日加溫度數為20度時，若實際月平均瓦斯消耗量為510cu.ft，則 誤差=510-490=20。 7預測誤差圖示預測值觀察值y誤差8最小平方回歸直線依據誤差平方和最小的原則求得的回歸直線，稱為最小平方回歸直線(Leastsquareregressionline)。改變回歸直線的截距與斜率，選擇使誤差平方和最小的直線。9最小平方回歸直線方程式若直線方程式為y=a+bx，則在xi

之下yi

的預測值為 ，則誤差平方和即為 。依據微積分的方法可求得使誤差平方和最小的a,b

值分別為 最小平方回歸直線即為 。10最小平方回歸直線實例統計資料 則 最小平方回歸直線即為 。11最小平方回歸直線-minitab12最小平方回歸直線-minitab圖13最小平方回歸的性質最小平方回歸直線中反應變量y

與解釋變量x的角色無可取代。反應變量y

與解釋變量x互換會得到不同的回歸直線。回歸直線的斜率與相關系數關系密切。 b=r(sy/sx)14兩回歸直線15最小平方回歸的性質(續)回歸直線一定通過點。回歸直線方程式 中， 以 代入可得 即表示點 在回歸直線上。16最小平方回歸的性質(再續)相關系數描述了回歸直線的強度。相關系數平方即為反應變量y的變異中，在變量x回歸后解釋的部分(比例)。17余差(Residuals)觀察值y

與預測值的差稱為余差。 余差總和必為零 18余差圖(ResidualsPlot)余差與對應的解釋變量的散布圖，稱為余差圖。余差圖有助于了解回歸直線的適合性。余差圖為非線性。余差的散布隨著x

值的增加而散開或縮減。19標準余差圖-4-2024x20曲線型余差圖-4-2024x21散發型余差圖-4-2024x22余差圖中的特殊點離群點：余差特出的點，偏離整體余差的分布。Child19干擾點：該點的移除對于回歸直線的計算結果有重大的影響，稱為干擾點。x

值特出(大或小)的點，多為干擾點。Child18

23余差圖實例小孩說第一句話的時間與日后Gesell能力測驗成績的回歸關系。回歸直線如后余差如下，余差圖如后24回歸直線圖Child19Child1825回歸余差圖Child18Child1926特殊點對回歸直線的影響Child18Child1927相關與回歸的迷思28相關性與回歸直線的侷限相關性與回歸直線僅用來描述兩變量之間的線性關系，且其數值受特殊點的影響極大。平均日加溫度數為20度時，根據下圖的回歸直線可算出月平均瓦斯消耗量約為490cu.ft。29外插(Extrapolation)預測以回歸直線預測原解釋變量概括的范圍外資料之對應y值，其準確性的多半不高。以3~8歲孩童身高資料得到的回歸直線，預測25歲成人身高(預測值約為8呎長人)必然不準確。30使用平均數使用平均數資料(月平均瓦斯消耗量)評估相關性，往往高于未平均前資料(每日瓦斯消耗量)的相關性。平均數資料已整合了未平均前資料的離散情況。31復回歸分析32復相關系數變量y與預測變量x1,x2,…,xp之間的相關系數稱為復相關系數。預測變量之線性組合a1x1+a2x2+…+apxp與變量y之相關系數。33復相關系數實例大一微積分成績為y，預測變量為聯考數學成績x1與英文成績x2。大一微積分y，與聯考英數平均成績 x=(x1+x2)/2的相關系數。大一微積分y，與聯考英數加權平均成績 x*=ax1+bx2的相關系數。求a,b

使得corr(y,ax1+bx2)為最大。34復回歸模式變量y與預測變量x1,x2之n組隨機資料為yi,x1i,x2i,i=1,…,n則復回歸模式為 為隨機誤差服從常態 。 為三未知常數，可由隨機資料 yi,x1i,x2i,i=1,…,n估計之。 35回歸方程式之估計最小平方法即為NormalEquations

之解: 令 分別為上列聯立方程組之解，則回歸方程式為36復回歸分析變異數分析表 則拒絕37復回歸實例會計事務所以十位會計師過去資料，利用回歸直線預測

CPA考試分數。資料如下:38相關分析相關分析得

39資料散布圖(Scorevs.GPA.)40GPA對Score之簡單回歸41資料散布圖(Scorevs.Exp.)42Experience對Score之簡單回歸43GPA及Exp對Score之復回歸44復回歸之殘差分析45回歸系數檢定給定i，檢定 已在模式內時是否還需要加入即檢定 檢定統計量為 ，其中 則拒絕

H0。檢定 ，則檢定統計量為46回歸信賴區間

bj

的

100(1-a)%信賴區間為在

x10,x20

情形下，

的

100(1-a)%信賴區間為 其中47復判別系數判別系數k增加則

SSE減少，則

R2

增加修正判別系數 k增加則

SSE減少，但 增加， 則

AdjR2

不一定增加48復判別系數與變量項目數k49指標變量若考慮性別因素，令

x3為指標變量

x3=1為男，x3=0為女，則模式為 一般分類型資料若有2k

類則以

k個指標變量分析。例：以

(x3,x4)=(0,0)為第一季，(0,1)為第二季，(1,0)為第三季，(1,1)為第四季，即以2個指標變量代表四季。50Scorevs.GPA散布圖(bySex)51含指標變量之回歸分析52含指標變量之回歸方程式男,sex=1,Score=7.7+23.1GPA女,sex=0,Score=-9.7+23.1GPA回歸方程式

Score=-9.7+23.1GPA+17.4Sex53含指標變量之回歸殘差圖54含指標變量之復回歸分析55含指標變量之復回歸殘差圖56多項式回歸模式

回歸殘差圖顯示，殘差項仍為

x2的(二次)函數，故宜在模式上加入 項，即 一般多項式回歸，則視需要加入

p次項，模式為57多項式回歸分析58多項式回歸殘差圖59含指標變量之多項式回歸分析60含指標變量多項式回歸殘差圖61回歸模式的選擇模式一：復回歸模式二：含指標變量復回歸模式三：多項式回歸模式四：含指標變量多項式回歸62回歸模式的比較63回歸理論的應用案例兩回歸線是否相等64共線性診斷兩回歸預測因子具高度相關時，可能會對回歸模式有重大的影響。一般稱為共線性(multi-collinearity)問題。共線性問題常用變異膨脹因子(varianceinflationfactor,簡記為VIF)的方法來偵測。65變異膨脹因子(VIF)回歸模式各變量標準化后的新未知參數為b*k及s*2。定義新回歸系數b*k的最小平方估計b