1、數據分析總結復習題第一章 數據的描述性分析一 數據的描述性分析1 ( )2x xn ( x )/ns x= =。n1ii12）tt的pn ( x )/nxii1n ( )x x2is2i1n1 ( )2x xsn1 s/x100% s/xx xin()3gg(nn2)s1n(nx xn(n2)(n42 () i(nn2)(ns2）n為奇數x(2M 12nn( )22xM與(x x， npp 2(np)(np M , Q M Q10.2530.75四分位極差：它是第 3 個四分位數 Q 與第 1 個四分位數之差，即3Q1R Q Q M M1310.750.25 111 Q M QM424133

2、data spearman; run;取,由相關系數陣看出: 0.1所有的 R值均 的 p值均小于 0.1，拒絕假設，認為相應隨機變量對相關性顯著取0.1 , 由相關系數陣看出 :所有的 R值均 的 p值均小于 0.1，拒絕假設，相應隨機變量相關性顯著第二章 回歸分析一線性回歸模型及其參數估計 X Y X X 01122p1p1 Y X X X01122p1p1Y (X X) X YY X T1T二統計推斷1 .回歸方程的顯著性檢驗： SST SSE SSR: 0H，012p1p H 真0 P (F F ) F p n p ( )， p HF0/(n p)2.回歸系數的統計推斷：H00: 0H

3、0kkH真 P (|t |t |)p t t( n p)，Hk0kH0kkk00kks( )k() ( ) n p stkkk2 , x x xTy00101p1 0, 10py 0y tn p MSE( )x (X X) x T0T1002三殘差分析四回歸方程的選取1. 窮舉法Cp2. 逐步回歸法（略）Y,X ,XY X X X 與X，12 230112233 )N y x x x ，i ,24i0112i23i3i檢驗假設H : 00kkH真pt n p ( )，HtkH0kkk00kks(k() ( )n p s tkkk2） ） F FFF 值0p00 0.05Corrected To

4、talX ,X ,X 與Y123顯著 P (|t |t |) s(值t )p0k0kkH0kk 1111 0.05顯著Y 17.8469x 0.3215x 1.2890 x123 5 Yy X X X X X ，i i 0112i23i34i45i5 (0, )2 Ni程序 ; ; Y 2 : 0H012345MSR真HF0MSEp P (F F ) 0.0001H Y 與 , , , , X X X X X00H012345 R20.9982， ? H : 0， k0kkkH真tkkks( )ckkk對 給 出 顯 著 性 水 平 0.05p值 看 出 ，p P t |t H X （ Y k

5、0kH0kkk00kk , , ， ,X X X X X12345(x ,x ,x ,x ,x ) 2799,95300,21.82,776.71 y 00102030405Y x x x x x12345(x ,x ,x ,x ,x ) 2799,95300,21.82,776.71X ,X ,X ,X ,X010203040512345y 0 450.90920.353939410.561527990.00739530021.577921.820.4352776.71388.9241y0令x x ,x ,x ,x ,x ) ），由 2449.49807MSETT20 y 0y t x (X

6、 X) x 388.9241T0T100YX1X2X3X4X5第三章 方差分析一 單因素方差分析1.統計模型,A , ,Ay ,y , ,yi A，A A12ai1i2i , j ,n , ,ay iii (0, ), 且各 相互獨立N2SS SS SSTSSEASSH真 ( ),n aE ( a E，22A2na22 H : 012aSS /(a H為真F F(ana)AAESS /(na) Ep P (F f) P(F(ana) f) H H00 i y y /ni ,a)iiijij1 置信度1，y ti(nna) / i2Ei11 y y t (na) ( )MSijijn1nE22

7、111個my y t(na) ( )2mijijn1nE2二.兩因素等重復試驗下的方差分析1.統計模型( , )y y y, ,A和,A , ,A, , ,B B BA Bij2A1,2a12ijij1ijcb ,a, j ,b， k ,y i cijkijijk (0, ),且諸 相互獨立ijkN2 ijkSS SS SS SS SSTABABESS2SSE為 2 (ab(c，2E( ab c2SS SS SS、 、 ( , ( , ( a b a b222ABAB2222.顯著檢驗: 0 H : HA02a1iH : 0 H: 不全相等B012b1jH : i , , a j , b H:

8、 0AB0ijAB0ijMS真H真HFb ab(cF AF(a (cB0A0FBAEBMSEMSH真F AB F(a(b ab(cA0ABMSE p pp P (F f ) P(F(a (c) f )AHAAAA0p P (F f ) P(Fb (c) f )BHBBBA0p P (F f ) P(F(ab,(c) f )ABHABABAB 03. 無交互效應的各因素均值的估計與比較bc/y ijk yiiij1 k1(y t (ab(c /)iiE2 ，(y y t (ab(c 2MS /bc)i i 2ii E122 m個(y y t(ab(c 2MS /bc)i i 2mi i E121

9、24. 有交互效應時因素各水平組合上的均值估計與比較（略）6 YA和a和 次bc或 , y ijkijijkiiijijki ,a, j ,b， k ,c (0, N 2ijkijkabab 0,0,0, 0ijijiji1j1i1j1SS SS SS SS SSTABABEH :HH: , , ,A011H : : , , ,B0112 , , ,H : i a j b H: 0 AB0ijAB0ij值值p A1SS AAppB2SSBB2SSABABESS T 0.05H A 和 B A 對 Y HAB著H 和H p 和 p H 和H A0B0ABA0B0B7 頁第五章 主成分分析、典型相

10、關分析一主成分分析1.基于協方差矩陣的總體主成分的求法X( , , )X XX pT12p() ) XE()(XE( Tij pp a X a X a X a XY1T1121ppa X a X a X a XYTkkk11k22pa X a X a X a X YTpp11p22pa a 1T；kkY ,Y )a 0 j k；，TjkjkarY ) arY ) arY ) 012p求總體主成分步驟：| I0 0 的 p；12pe ,e , ,e；12m,p e (e ,e ,e ) k，Tkk1k2kpX） kY e Xe X e X e X ；Tkkk11k22kppY( , , )Y Y

11、Y為 pT12pp / P kkkjj1 kp / kjjj1j12.基于樣本協方差矩陣的主成分分析X ，i,nx ( , , , )x x xnTi1i2ip 1 1 (x x)(x x)TnnS (s )(x x )(x x )n1n1jk ppijjikkiii1i1p p1x ( , , )x xx，nTx jx12pniji1 0 12pe ,e , ,ee (e ,e ,e )，T12pkk1k2kp kT,y e xe x e x e x， kpkkk11k22pp / /）p kkjkj1 kpk / /pjjjj1j1j1k k nTy e x e x e x e x （i

12、,n）ikkik1 1k2 i2kp ipy ( , , ) ( , )y yyinTi18i2ip） X X X 123X X X 4563456789 1 2 3 456789 ;run; data corr輸出變量的簡單統計量值 run; data out princomp/*以下程序對各公司按第一主成分進行排名并打印結果 data run; id()print1 score1prin1 y* e* x* 0.5528x* 0.3968x* x* 0.4168x* 0.4440 x* 0.4339x*11123456y*1yex*2y*2 y*2y*1二典型相關分析1.總體典型變量的定義

13、X( , , ) , Y ( , , )X XXY YYq，TT12p12 ( , ) (X ,X , ,X ,Y,Y , ,Y )X Y 112112TT TT12p12q22 () XE()XE() (X ,X ）Tijpp (Y) YE(YYE(Y) Y ,Y ）Tijq (, Y) XE(YE(Y) (X ,Y ）T設 pijpq q. a a a( , , , )U a X a X a X a XaTTk11k221k2kkpkk V b Yb X b X b Yb b ,b , ,b )TkTkk11k22 qkk1 k2(k ,p). a ,bkkkVarU )Vara X)a

14、a VarV )Varb X)b b TkTkTkTkk11 kk22k(2)CovU ,U )CovV ,V )CovU ,V )CovU ,V )k j,kjkjkjkk , 1k pq,U VU VU V1122ppCovU ,V )a bkkTU )VarV )U VVark12kkkkk2.總體典型變量與典型相關系數的求法 A,BA，B111111 12 22 2122 21 11 12 0 p設222為AB 12p,e , ,ef ,f , ,f（2eA、Bp 和12p1 2pX、Yka X e 1,e (e ,e , ,e )Uk2TkTk2T1kkkVb Y f 1Y,f (f

15、 , f , , f )TkT2Tkkkk1k2 , p. ,k U Vk3.樣本典型相關分析kk(X ,X , ,X ) ,Y ,Y , ,Y )，XYTT12p12q(x ,x , ,x ) ,(y ,y , ,y )，nxyTTi1i2i1i2x xxx x xx* (x*,x* ,x* )T (,)11i22pi1i2sssy yiqy y y yi ,ny*(,)T11i22qi111111RRR ( , ) R 1112 X YTTTRR21224.典型相關系數的顯著性檢驗（略）X( , , ) ,Y ( , , ) (X ,Y ) X XXY YYq,TTTTT12p12p qA

16、 B 記 , 112112 ,設111111 12 22 2122 21 11 12221 11122A*1）1 111 12 22 21 1 1 1 11122 *11 1）1 1 2222-21）1）2|A I）22（1）22-1） 1）42, *21*221）122 1 12A I ）*1） 1 1 11A*和B* *， 112211 1111111122211111111222221111111Ua*e*）（ XX）*TT21）21V(b ) Y f ) 1X *21 ） ,*1,*1X,Y )11j22（4）A I A 1）1 1*22* 0 0111 1 2 -12 -1A* 和B

17、* 1111-X）*U*TT21）21V(b ) Y f ) 1X *T21 ）2X,Y 0 , , ）*2U*2V* U* V 2*221A R R R RB R R R RA （ *）*111122*122121 11122112 0 ，22121,0.3180 x 0.7687x V 1.1019x 0.4564x U，112112U 1.2478x 1.0330 x ，V x 1.0030 x212212 cards; data ;/*調用相關分析過程，打印樣本相關系數矩陣 run; 第六章聚類分析一快速聚類（1）歐氏距離快速聚類法Lmk 1d(x ,x ) x x (x x ) (x

18、 x T2ijijijijk L x,x ,x(0)01002 kkG G ,G ,G (0)(0)1(0)2(0)kG L(0)(0)x x /n以G(0)iiliG(0)xilL x ,x ,x G G ,G ,G (0)(0)1(0)2(0) k12 k2系統聚類法（d(x , x )記d,x( ) x(p),x(p)Gpijij12pnp1np和G x ,x ,x n 和 ， (p) G (q)1(q)2(q)nxxpqnpqnpipp i1類G G D G 和G G D 、G G pqpqpqrpqrk4D min d iG , jG pqD mid iG , jG min ,D r

19、k（2）譜系聚類法的步驟x p ,nnnGpp0 dd121nd0dD 21D(p,q)d2n 0 pqdd d1n2nnx G x G G ,G D d G與 0pqppqqRpq去G 與G Gpqrn1D D D D， n(2)(nG G G G312408 236 218 G180 196 174 G(d ) D 02i4j236 196 06 G3218 174 60 G4G0G G G2134GGG8 236 218 G5120 218 174 G180 196 174 GD (di ) D 5218 08G 23410j4x ,x 236 196 06 GGG1x ,x G174

20、80 G 6124218 174 60532G G650 174 D G G6(2)G G x ,x ,x ,x 174 0G7561234 5x1x2x34x068174 對 4解 $cards; ;run;以下調用譜系聚類的cluster方法method=sinsingle表示原始數據標準化后再計算歐氏距離，nonorm阻止兩類合并時距離水平規范化，outtree=tree1表示生成一個用于畫譜系圖的輸出SAStree1(默認 data outtree=tree1; run;/*參與分析的指標變量為*以下調用畫譜系圖的treegraphicshorout=c1輸出分類結果集c1nclust

21、ers=4指定在輸出分類結果數據集中分類個數為4*/ data= out= nclusters=4; run; data=c1;run;（ data outtree=tree2; run; data= out= nclusters=4; run; data=c2;run;（ data outtree=tree3; run; data= out= nclusters=4; run; data=c3;run;（ data outtree=tree4; run; data= out= nclusters=4; run; data=c4;run; 4第五章判別分析一距離判別1. 馬氏距離的定義 x,y

22、GG , ，x,ydd22(x,y)(xy) 1(xy) T(x,G)(x) (x)x 與G T1,G , ,G, 121212(G ,G ) ) ) ,d21G G T121212122. 距離判別準則,G , ,x (x ,x , ,x )2GT12121212p（1） , 不全相等12記d2(x)d2G (x, ) (x ) (x ),1j 2Tjjjjjx Gj(x) (x)xGd d2j02j0jj2 x S jjj1nj xx , j j( )( j)njii1j1njS (x x( j) )(x x( j) ) , j 2( j) ( j)Tn 1jiii1j（2） 總體協方差矩陣相等 ：12(x)W (x)xGG W，j0j0j0j jk1(x) a xb ,其中W而 a ,