1、第一次課堂作業(yè)n 1.人在識(shí)別事物時(shí)是否可以避免錯(cuò)識(shí)？n 2.如果錯(cuò)識(shí)不可避免，那么你是否懷疑你所看到的、聽(tīng)到的、嗅到的到底是真是的，還是虛假的？n 3.如果不是，那么你依靠的是什么呢？用學(xué)術(shù)語(yǔ)言該如何表示。n 4.我們是以統(tǒng)計(jì)學(xué)為基礎(chǔ)分析模式識(shí)別問(wèn)題，采用的是錯(cuò)誤概率評(píng)價(jià)分類器性能。如果不采用統(tǒng)計(jì)學(xué)，你是否能想到還有什么合理地分類器性能評(píng)價(jià)指標(biāo)來(lái)替代錯(cuò)誤率？1.知覺(jué)的特性為選擇性、整體性、理解性、恒常性。錯(cuò)覺(jué)是錯(cuò)誤的知覺(jué)，是在特定條件下產(chǎn)生的對(duì)客觀事物歪曲的知覺(jué)。認(rèn)知是一個(gè)過(guò)程，需要大腦的參與.人的認(rèn)知并不神秘，也符合一定的規(guī)律，也會(huì)產(chǎn)生錯(cuò)誤2.不是3.辨別事物的最基本方法是計(jì)算 . 從不同

2、事物所具有的不同屬性為出發(fā)點(diǎn)認(rèn)識(shí)事物. 一種是對(duì)事物的屬性進(jìn)行度量，屬于定量的表示方法(向量表示法 )。另一種則是對(duì)事務(wù)所包含的成分進(jìn)行分析，稱為定性的描述(結(jié)構(gòu)性描述方法)。 4.風(fēng)險(xiǎn)第二次課堂作業(yè)n 作為學(xué)生，你需要判斷今天的課是否點(diǎn)名。結(jié)合該問(wèn)題(或者其它你熟悉的識(shí)別問(wèn)題，如”天氣預(yù)報(bào)”)，說(shuō)明:n 先驗(yàn)概率、后驗(yàn)概率和類條件概率？n 按照最小錯(cuò)誤率如何決策？n 按照最小風(fēng)險(xiǎn)如何決策？i為老師點(diǎn)名的事件,x為判斷老師點(diǎn)名的概率1.先驗(yàn)概率: 指根據(jù)以往經(jīng)驗(yàn)和分析得到的該老師點(diǎn)名的概率,即為先驗(yàn)概率P(i )后驗(yàn)概率: 在收到某個(gè)消息之后，接收端所了解到的該消息發(fā)送的概率稱為后驗(yàn)概率。在上

3、過(guò)課之后,了解到的老師點(diǎn)名的概率為后驗(yàn)概率P(i|x)類條件概率:在老師點(diǎn)名這個(gè)事件發(fā)生的條件下,學(xué)生判斷老師點(diǎn)名的概率p(x| i )2.如果P(1|X)>P(2|X)，則X歸為1類別如果P(1|X)P(2|X)，則X歸為2類別3. 1)計(jì)算出后驗(yàn)概率已知P(i)和P(X|i)，i=1,，c，獲得觀測(cè)到的特征向量X根據(jù)貝葉斯公式計(jì)算 j=1,，x2)計(jì)算條件風(fēng)險(xiǎn)已知: 后驗(yàn)概率和決策表計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn)3) 找出使條件風(fēng)險(xiǎn)最小的決策k,則k就是最小風(fēng)險(xiǎn)貝葉斯決策。第3次課堂作業(yè)1.正態(tài)分布概率下采用最小錯(cuò)誤率貝葉斯決策，滿足什么條件時(shí)，分類邊界是線性函數(shù)？2.什么是參數(shù)估計(jì)，什么

4、是非參數(shù)估計(jì)(分別舉例解釋)？1. 在正態(tài)分布條件下，基于最小錯(cuò)誤率貝葉斯決策只要能做到兩類協(xié)方差矩陣是一樣的，那么無(wú)論先驗(yàn)概率相等不相等，都可以用線性分界面實(shí)現(xiàn)。a) 在i=2I P(i)=P(j)條件下，正態(tài)分布概率模型下的最小錯(cuò)誤率貝葉斯決策等價(jià)于最小距離分類器b) i=2I P(i)¹P(j) 判別函數(shù)為最小歐氏距距離分類器c) 2)i= 判別函數(shù)線性分類器2.參數(shù)估計(jì):已經(jīng)隨機(jī)變量服從正態(tài)分布,估計(jì)均值為µ和方差非參數(shù)估計(jì):未知數(shù)學(xué)模型,直接估計(jì)概率密度函數(shù)自己舉例子吧參數(shù)估計(jì):基于貝葉斯的最小錯(cuò)誤率估計(jì)方法非參數(shù)估計(jì): Parzen窗口估計(jì)kN近鄰估計(jì)第4次課堂

5、作業(yè)對(duì)比兩種方法，回答:1.你怎樣理解極大似然估計(jì)。2.你怎樣理解貝葉斯估計(jì)基本思想。1. 極大似然估計(jì):已經(jīng)得到實(shí)驗(yàn)結(jié)果的情況下,尋找著使得這個(gè)結(jié)果出現(xiàn)的可能性最大的那個(gè)數(shù)值作為的估計(jì)2. 貝葉斯估計(jì)基本思想:已知參數(shù)的概率密度函數(shù),根據(jù)樣本的觀測(cè)值,基于貝葉斯決策來(lái)估計(jì)參數(shù)(理解部分,自己加吧加吧)第6次課堂作業(yè)1. 線性分類器的分界面是什么曲線？在線性判別函數(shù)條件下它對(duì)應(yīng)d維空間的一個(gè)超平面g(X)0就是相應(yīng)的決策面方程2.在兩維空間存在一條不過(guò)原點(diǎn)的直線，ax1+bx2+c=0，采用增廣向量形式：那么，在增加一維的三維空間中，TY=0表示的是 ，它的方程表示為 。 Y=1;x2;x1

6、a=c;b;a三維空間中決策面為一過(guò)原點(diǎn)的平面 這樣,特征空間增加了一維，但保持了樣本間的歐氏距離不變對(duì)于分類效果也與原決策面相同，只是在Y空間中決策面是通過(guò)坐標(biāo)原點(diǎn)的3. 設(shè)五維空間的線性方程為55x1 + 68x2 + 32x3 + 16x4 + 26x5 + 10 = 0, 試求出其權(quán)向量與樣本向量點(diǎn)積的表達(dá)式WTX + w0=0中的W , X和w0,以及增廣樣本向量形式中TY的與Y。W=55,68,32,16,26 w0=10X=(x1,x2,x3,x4,x5)A=10, 55,68,32,16,26Y=1, x1,x2,x3,x4,x5)第七次作業(yè)1.線性分類器的分界面是超平面，線性

7、分類器設(shè)計(jì)步驟是什么？2. Fisher線性判別函數(shù)是研究這類判別函數(shù)中最有影響的方法之一,請(qǐng)簡(jiǎn)述它的準(zhǔn)則.3.感知器的準(zhǔn)則函數(shù)是什么？它通過(guò)什么方法得到最優(yōu)解？(1)1. 按需要確定一準(zhǔn)則函數(shù)J。 2. 確定準(zhǔn)則函數(shù)J達(dá)到極值時(shí)W*及W*0的具體數(shù)值，從而確定判別函數(shù)，完成分類器設(shè)計(jì)。(2) Fisher準(zhǔn)則就是要找到一個(gè)最合適的投影軸，使兩類樣本在該軸上投影的交迭部分最少，從而使分類效果為最佳。 (3) 訓(xùn)練樣本的錯(cuò)分最小梯度下降法和迭代法第八次作業(yè)答案1.簡(jiǎn)述最近鄰的決策規(guī)則2.簡(jiǎn)述k-最近鄰的決策規(guī)則3.比較最近鄰決策和最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率1.將與測(cè)試樣本的類別作為決策的方法成

8、為最近鄰法2.找測(cè)試樣本的k個(gè)最近樣本做決策依據(jù)的方法3. 最近鄰法的漸近平均錯(cuò)誤率的上下界分別為貝葉斯錯(cuò)誤率由于一般情況下 P*很小，因此又可粗略表示成第九次作業(yè)¬ 研究模式識(shí)別中事物的描述方法主要靠什么？ ¬ 設(shè)原特征空間表示成x=(x1,x2,x3)T ,即一個(gè)三維空間。現(xiàn)在在x空間基礎(chǔ)上得到一個(gè)二維的特征空間Y:(y1,y2)T 其中若y1=x1，y2=x2,屬哪一種方法：特征選擇還是特征提??？ 若 ，試問(wèn)屬哪種？ 怎樣利用距離可分性判據(jù)J2進(jìn)行特征提??？1. 模式就是用它們所具有的特征(Feature) 描述的。a) 一種是對(duì)事物的屬性進(jìn)行度量，屬于定量的表示方法

9、(向量表示法 )。b) 另一種則是對(duì)事務(wù)所包含的成分進(jìn)行分析，稱為定性的描述(結(jié)構(gòu)性描述方法)。 2選擇提取矩陣Sw-1Sb的本征值為1， 2 D，按大小順序排列為: 1 2 D，選前d個(gè)本征值對(duì)應(yīng)的本征向量作為W即: W =1， 2 d此時(shí): J2 (W) = 1+ 2 + + d第10次課堂作業(yè)¬ 簡(jiǎn)述PCA變換的基本思想？¬ 簡(jiǎn)述PCA變換的過(guò)程¬ 有那些特征選擇的方法1. 主成分分析(PCA)基本思想進(jìn)行特征降維變換，不能完全地表示原有的對(duì)象，能量總會(huì)有損失。希望找到一種能量最為集中的的變換方法使損失最小2.原始輸入: x 變換后特征:y 變換矩陣(線性變

10、換):A則y=ATx考慮以Rx的特征向量作為A的列，則Ry=ATRxA = a1,a2an TRx a1,a2an = a1,a2an T 1a1, 2a2nan =LL為對(duì)角矩陣，對(duì)角線元素為 1, 2n達(dá)到變換后特征不相關(guān)的目的原有N維，只保留m維，如果對(duì)特征向量排序，舍到最小的特征，則損失的能量最小即去掉ym+1yN 3. 特征提取按歐氏距離度量的特征提取方法按概率距離判據(jù)提取特征特征選擇最優(yōu)搜索算法次優(yōu)搜索法：?jiǎn)为?dú)最優(yōu)特征組合，順序前進(jìn)法，順序后退法，增l減r法第十一次課堂作業(yè)¬ 聯(lián)系實(shí)際問(wèn)題或者人的認(rèn)知過(guò)程,談?wù)勈裁词菬o(wú)監(jiān)督學(xué)習(xí)？無(wú)監(jiān)督學(xué)習(xí)能完成什么任務(wù)？然而在實(shí)際應(yīng)用中，

11、不少情況下無(wú)法預(yù)先知道樣本的標(biāo)簽，也就是說(shuō)沒(méi)有訓(xùn)練樣本因而只能從原先沒(méi)有樣本標(biāo)簽的樣本集開(kāi)始進(jìn)行分類器設(shè)計(jì)，這就是通常說(shuō)的無(wú)監(jiān)督學(xué)習(xí)方法。計(jì)算機(jī)視覺(jué)n 圖像分割n 基于內(nèi)容的圖像檢索數(shù)據(jù)挖掘n 推薦系統(tǒng)/協(xié)同過(guò)濾文本分類¬ 簡(jiǎn)述C均值聚類算法？誤差平方和為準(zhǔn)則，實(shí)現(xiàn)極小的聚類選定代表點(diǎn)后要進(jìn)行初始劃分、迭代計(jì)算C均值算法可歸納成： n (1) 選擇某種方法把N個(gè)樣本分成C個(gè)聚類的初始劃分，計(jì)算每個(gè)聚類的均值和誤差平方和jc n (2) 選擇一個(gè)備選樣本y，設(shè)其在第i類n (3) 若Ni=1，則轉(zhuǎn)(2)，否則繼續(xù)n (4) 計(jì)算 n (5) 對(duì)于所有的j，若ej最小，則把y放入第j類n

12、 (6) 重新計(jì)算第i，j類的均值和jcn (7) 若連續(xù)迭代N次(即所有樣本都運(yùn)算過(guò)) 不變，則停止，否則轉(zhuǎn)到2。第十二次課堂作業(yè)¬ 畫出前饋人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。¬ 談?wù)剬?duì)期望風(fēng)險(xiǎn)、經(jīng)驗(yàn)風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn)的理解。1.根據(jù) n個(gè)獨(dú)立同分布觀測(cè)樣本:(x1 , y1 ) , (x2 , y2 ) , , (xn, yn),在一組函數(shù) 中求一個(gè)最優(yōu)的函數(shù)對(duì)依賴關(guān)系進(jìn)行估計(jì) ,使期望風(fēng)險(xiǎn)最小經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化2.學(xué)習(xí)的目標(biāo)在于使期望風(fēng)險(xiǎn)最小化，傳統(tǒng)的學(xué)習(xí)方法中采用了所謂經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化(ERM)準(zhǔn)則 ,即用樣本定義經(jīng)驗(yàn)風(fēng)險(xiǎn)作為對(duì)期望風(fēng)險(xiǎn)的估計(jì) ,設(shè)計(jì)學(xué)習(xí)算法使它最小化3.結(jié)構(gòu)風(fēng)險(xiǎn)最小化 (Structural Risk