1、實(shí)驗(yàn)二用身高和/或體重?cái)?shù)據(jù)進(jìn)行性別分類(lèi)的實(shí)驗(yàn)一、實(shí)驗(yàn)?zāi)康?）加深對(duì)Fisher線(xiàn)性判別方法原理的理解和認(rèn)識(shí)2）掌握Fisher線(xiàn)性判別方法的設(shè)計(jì)方法、實(shí)驗(yàn)數(shù)據(jù)訓(xùn)練樣本集FAMALE.TXT50個(gè)女生的身高、體重?cái)?shù)據(jù)MALE.TXT50個(gè)男生的身高、體重?cái)?shù)據(jù)測(cè)試樣本集test1.txt35個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（15個(gè)女生、20個(gè)男生）test2.txt300個(gè)同學(xué)的身高、體重、性別數(shù)據(jù)（50個(gè)女生、250個(gè)男生）三、實(shí)驗(yàn)內(nèi)容試驗(yàn)直接設(shè)計(jì)線(xiàn)性分類(lèi)器的方法，與基于概率密度估計(jì)的貝葉斯分類(lèi)器進(jìn)行比較。同時(shí)采用身高和體重?cái)?shù)據(jù)作為特征，用Fisher線(xiàn)性判別方法求分類(lèi)器，將該分類(lèi)器應(yīng)用到訓(xùn)練和測(cè)試

2、樣本，考察訓(xùn)練和測(cè)試錯(cuò)誤情況。將訓(xùn)練樣本和求得的決策邊界畫(huà)到圖上，同時(shí)把以往用Bayes方法求得的分類(lèi)器（例如：最小錯(cuò)誤率Bayes分類(lèi)器）也畫(huà)到圖上，比較結(jié)果的異同。四、原理簡(jiǎn)述、程序流程圖1、Fisher線(xiàn)性判別方法1Tmix,i=1,2首先求各類(lèi)樣本均值向量Nix明，§=£（x-miXx-mT,i=1,2然后求各個(gè)樣本的來(lái)內(nèi)離散度矩陣x'Wi再求出樣本的總類(lèi)內(nèi)離散度&=M1&*M2模,根據(jù)公式/=源血一旺求出把X投影到Y(jié)的最好的投影方向。再求出一維Y空間中各類(lèi)樣本均值1m*、'y,i=1,2Niy企，其中V=本次實(shí)驗(yàn)的分界閾值我們用如下

3、方法得到:y0=N1m1'N2m2'N1N2最后，將測(cè)試樣本中的值代入，求出y,并將其與y0來(lái)進(jìn)行比較來(lái)分類(lèi)。2、流程圖求各類(lèi)樣本均值向量I.求類(lèi)內(nèi)離散度矩陣用公式求最好的變換向量W*二維空間向一維y空間投影一維空間樣本均值求取閾值y0決策判斷I計(jì)算各類(lèi)樣本的錯(cuò)誤率五、實(shí)驗(yàn)結(jié)果1、錯(cuò)誤率表格男生錯(cuò)誤個(gè)數(shù)女生錯(cuò)誤個(gè)數(shù)總錯(cuò)誤男生錯(cuò)誤率女生錯(cuò)誤率總錯(cuò)誤率2722910.8%4%9.67%841216%8%12%分析：用訓(xùn)練樣本得到的分類(lèi)器測(cè)試測(cè)試樣本時(shí)錯(cuò)誤率低，測(cè)試結(jié)果較好，但測(cè)試訓(xùn)練樣本時(shí)，其錯(cuò)誤率較高，測(cè)試結(jié)果不好。2、Fisher判別方法圖像(7769683122901conj

4、(y)2199023255SS2-.4S842644471180487/879C093022208二0分析：從圖中我們可以直觀(guān)的看出對(duì)訓(xùn)練樣本Fisher判別比最大似然Bayes判別效果更好。六、總結(jié)與分析本次實(shí)驗(yàn)使我們對(duì)加深Fisher判別法的理解。通過(guò)兩種分類(lèi)方法的比較，我們對(duì)于同一種可以有很多不同的分類(lèi)方法，各個(gè)分類(lèi)方法各有優(yōu)劣，所以我們更應(yīng)該熟知這些已經(jīng)得到充分證明的方法，在這些方法的基礎(chǔ)上通過(guò)自己的理解，創(chuàng)造出更好的分類(lèi)方法。所以模式識(shí)別還有很多更優(yōu)秀的算法等著我們?nèi)W(xué)習(xí)。七、附錄1.fisher.mfunctionw,y0=fisher(AA,BB)A=AA'B=BB

5、9;k1,l1=size(A);k2,l2=size(B);M1=sum(AA);M1=M1'M1=M1/l1;%男生均值向量M2=sum(BB);M2=M2'M2=M2/l2;%女生均值向量S1=zeros(k1,k1);%建立矩陣S2=zeros(k2,k2);fori=1:l1S1=S1+(A(:,i)-M1)*(A(:,i)-M1).');%男生的類(lèi)內(nèi)離散度矩陣endfori=1:l2S2=S2+(B(:,i)-M2)*(B(:,i)-M2).');%女生的類(lèi)內(nèi)離散度矩陣endSw=0.5*S1+0.5*S2;%總類(lèi)內(nèi)離散度矩陣，先驗(yàn)概率0.5w=inv

6、(Sw)*(M1-M2);%兩列wT=w'%wT就是使Fisher準(zhǔn)則函數(shù)JF(w)取極大值時(shí)的解，也就是d維X空間到1維Y空間的最好的投影方向fori=1:l1Y1(i)=wT(1,1)*A(1,i)+wT(1,2)*A(2,i);%求出二維男生樣本集映射到一維時(shí)的量endfori=1:l2Y2(i)=wT(1,1)*B(1,i)+wT(1,2)*B(2,i);%求出二維女生樣本集映射到一維時(shí)的量endm1=sum(Y1)/l1;m2=sum(Y2)/l2;y0=(l1*m1+l2*m2)/(l1+l2);2.determine.m%用fisher線(xiàn)性判別函數(shù)來(lái)判斷clccleara

7、llA1A2=textscan('MALE.txt','%f%f);B1B2=textscan('FEMALE.txt','%f%f);AA=A1A2;BB=B1B2;w,y0=fisher(AA,BB);wT=w'girl=0;boy=0;bad=0;errorgirl=0;errorboy=0;error=0;errorgirlrate=0;errorboyrate=0;errorrate=0;T1T2=textscan('test2.txt','%f%f%*s');TT=T1T2;T=TT'k

8、3l3=size(T);fork=1:50y(k)=wT*T(:,k);ify(k)>y0errorgirl=errorgirl+1;elseify(k)<y0girl=girl+1;elsebad=bad+1;endendendfork=51:300y(k)=wT*T(:,k);ify(k)>y0boy=boy+1;elseify(k)<y0errorboy=errorboy+1;elsebad=bad+1;endendenderrorgirl;errorboy;bad;girl=errorboy+girl;boy=boy+errorgirl;error=errorg

9、irl+errorboy;errorgirlrate=errorgirl/50;errorboyrate=errorboy/250;errorrate=error/l3;3.huatu.mA1A2=textread('MALE.txt','%f%f);B1B2=textread('FEMALE.txt','%f%f);AA=A1A2;BB=B1B2;A=AA'B=BB'k1,l1=size(A);k2,l2=size(B);w,y0=fisher(AA,BB);fori=1:l1x=A(1,i);y=A(2,i);%x是身高，y是

10、體重plot(x,y,'R.');holdonendfori=1:l2x=B(1,i);y=B(2,i);plot(x,y,'G.');holdonenda1=min(A(1,:);%男生身高最小值a2=max(A(1,:);%男生身高最大值b1=min(B(1,:);%女生身高最小值b2=max(B(1,:);%女生身高最大值a3=min(A(2,:);%男生體重最小值a4=max(A(2,:);%男生體重最大值b3=min(B(2,:);%女生體重最小值b4=max(B(2,:);%女生體重最大值ifa1<b1a=a1;elsea=b1;%a是所有人中

11、身高最小值endifa2>b2b=a2;elseb=b2;%b是所有人中身高最大值endifa3<b3c=a3;elsec=b3;%c是所有人中體重最小值endifa4>b4d=a4;elsed=b4;%d為所有人中體重最大值endx=a:0.01:b;y=(y0-x*w(1,1)/w(2,1);plot(x,y,'B');holdon;%身高體重相關(guān)，判別測(cè)試樣本%手動(dòng)先驗(yàn)概率P1=0.5;P2=0.5;FA=B;MA=A;a=cov(FA')*(length(FA)-1)/length(FA);b=cov(MA')*(length(MA)-1)/length(MA);W1=-1/2*inv(a);W2=-1/2*inv(b);Ave1=(sum(FA')/length(FA)'Ave2=(sum(MA')/length(MA)'w1=inv(a)*Ave1;w2=inv(b)*Ave2;w10=-1/2*Ave1'*inv(a)*Ave1-1/2*l