第7章機(jī)器感知與語言交流

7.1引言

7.2模式識(shí)別

7.3自然語言處理

延伸學(xué)習(xí)導(dǎo)引

7.1引言

感知能力是一個(gè)智能體所必備的功能要素，也是智能的重要表現(xiàn)和衡量指標(biāo)。感知就是將接收到的來自外部環(huán)境或自身的刺激信號(hào)（量）轉(zhuǎn)換為一種以語言（值）形式表達(dá)的心理量（的過程）。研究機(jī)器感知，首先要涉及圖像、聲音等信息的識(shí)別問題。

機(jī)器感知不僅是對(duì)人類感知的模擬，也是對(duì)人類感知的擴(kuò)展和延伸。

智能體需要與人類進(jìn)行信息交流，最好的交流媒介莫過于自然語言。因此，自然語言處理（包括理解和生成）就成了人工智能的一個(gè)重要研究課題。7.2模式識(shí)別7.2.1基本原理與方法1.模式、模式類與模式識(shí)別

定義

7-1能夠表征或刻畫被識(shí)對(duì)象類屬特征的信息模型稱為對(duì)象的模式（pattern）。

定義

7-2具有某些共同特性的模式的集合稱為模式類，判定一個(gè)待識(shí)模式類屬的過程稱為模式識(shí)別。

2.模式的表示最常用的模式表示形式有向量和字符串。該圖形的模式就可以用字符串S=accbda來描述。3.模式識(shí)別系統(tǒng)工作原理

4.模式識(shí)別方法分類統(tǒng)計(jì)模式識(shí)別結(jié)構(gòu)模式識(shí)別神經(jīng)網(wǎng)絡(luò)模式識(shí)別模糊模式識(shí)別和軟模式識(shí)別自適應(yīng)模式識(shí)別仿生模式識(shí)別7.2.2距離分類法1.標(biāo)準(zhǔn)模式法

2.平均距離法3.

最近鄰法7.2.3幾何分類法

一個(gè)模式類就是相應(yīng)特征空間中的一個(gè)點(diǎn)集。一般來講，在特征空間中一個(gè)模式類的點(diǎn)集總是在某種程度上與另一個(gè)模式類的點(diǎn)集相分離。因此，模式識(shí)別的另一個(gè)思路就是設(shè)法構(gòu)造一些分界面（線），把特征空間Rn分割成若干個(gè)稱為決策區(qū)域的子空間Ri(i=1,2,…,n)，使得一個(gè)模式類剛好位于一個(gè)決策區(qū)域。這樣，對(duì)于待識(shí)模式X，就可以利用空間中的這些分界面來判定X的類屬。分界面（線）方程gi(X)=0中的函數(shù)gi(X)稱為判別函數(shù)。分界面（線）可分為平面（直線）和曲面，相應(yīng)的判別函數(shù)為線性函數(shù)和非線性函數(shù)。下面我們介紹分界平面和線性判別函數(shù)。對(duì)于二分類問題，顯然只需一個(gè)分界平面。設(shè)判別函數(shù)為g(X)=WTX+w0其中W=(w1,w2,…,wn)T為X中各分量x1,x2,…,xn的系數(shù)組成的向量，稱為權(quán)向量；w0為一個(gè)常數(shù)，稱為閾值權(quán)。那么，分界平面方程為g(X)=WTX+w0=08.2.4概率分類法

1.基于最小錯(cuò)誤率的貝葉斯決策

例

8-2假設(shè)對(duì)某地區(qū)人體細(xì)胞的統(tǒng)計(jì)發(fā)現(xiàn)，正常細(xì)胞(c1)和異常細(xì)胞(c2)的先驗(yàn)概率分別為0.9和0.1，即

P(c1)=0.9，P(c2)=0.1現(xiàn)有一待識(shí)細(xì)胞，其特征值為X，若已知其類條件概率密度為

p(X|c1)=0.2，p(X|c2)=0.4試用最小錯(cuò)誤率的貝葉斯決策判斷該細(xì)胞是否正常。

2.基于最小風(fēng)險(xiǎn)的貝葉斯決策7.3自然語言處理7.3.1自然語言處理的途徑、方法和發(fā)展概況

自然語言處理（NLP）包括自然語言的理解、分析、綜合和生成等。狹義的自然語言處理主要指對(duì)文字形態(tài)語言的處理，廣義的自然語言處理也包括非文字形態(tài)語言（如語音、手語等）的處理。

在形式語言理論框架下，自然語言處理相繼形成了基于規(guī)則的形式化機(jī)制、基于統(tǒng)計(jì)的形式化機(jī)制和基于聯(lián)結(jié)的形式化機(jī)制，相應(yīng)地，也就出現(xiàn)了基于規(guī)則的方法、基于統(tǒng)計(jì)的方法和基于聯(lián)結(jié)的方法等三大方法和流派。

基于規(guī)則的方法（理性主義學(xué)派）

基于統(tǒng)計(jì)的方法（經(jīng)驗(yàn)主義學(xué)派）

基于聯(lián)結(jié)的方法（經(jīng)驗(yàn)主義學(xué)派）

7.3.2基于規(guī)則的自然語言理解

1.簡單句理解1)理解的實(shí)現(xiàn)過程(1)理解語句中的每一個(gè)詞。(2)以這些詞為基礎(chǔ)組成一個(gè)可以表達(dá)整個(gè)語句意義的結(jié)構(gòu)。這項(xiàng)工作分成以下三個(gè)部分來進(jìn)行：

語法分析

將單詞之間的線性次序變換成一個(gè)顯示單詞如何與其他單詞相關(guān)聯(lián)的結(jié)構(gòu)。語法分析確定語句是否合乎語法，因?yàn)橐粋€(gè)不合語法的語句就更難理解。語義分析

各種意義被賦予由語法分析程序所建立的結(jié)構(gòu)，即在語法結(jié)構(gòu)和任務(wù)領(lǐng)域內(nèi)對(duì)象之間進(jìn)行映射變換。語用分析為確定真正含義，對(duì)表達(dá)的結(jié)構(gòu)重新加以解釋。2)語法分析

要進(jìn)行語法分析，必須首先給出該語言的文法規(guī)則，以便為語法分析提供一個(gè)準(zhǔn)則和依據(jù)。對(duì)于自然語言人們已提出了許多種文法，例如，喬姆斯基（Chomsky）提出的上下文無關(guān)文法就是一種常用的文法。一個(gè)語言的文法一般用一組文法規(guī)則（稱為產(chǎn)生式或重寫規(guī)則）以及非終結(jié)符與終結(jié)符來定義和描述。例如，下面就是一個(gè)英語子集的上下文無關(guān)文法：

sentence

∷=

noun-phrase

verb-phrase

noun-phrase

∷=

determiner

noun

verb-phrase

∷=

verb

noun-phrase

|

verb

determiner

∷=the

a

an

noun

∷=man

student

apple

computer

verb

∷=eats

operates例7-3一個(gè)基于上述文法的語法分析程序。

sentence(X):-append(Y,Z,X)，noun

phrase(Y),verb

phrase(Z).noun

phrase(X):-append(Y,Z,X),determiner(Y),noun(Z).verb

phrase(X):-append(Y,Z,X),verb(Y),noun_phrase(Z).verb

phrase(X):-verb(X).determiner([the]).noun([H

]):-member(H,[man,student,apple,banana,computer]).verb([H

]):-member(H,[eats,study,programming,operates]).append([],L,L).append([H

T],L,[H

L2]):-append(T,L,L2).member(X,[X

]).member(X,[

T]):-member(X,T).這個(gè)程序是先把所給的句子以符號(hào)表的形式約束給謂詞sentence的變量X，然后對(duì)其進(jìn)行分解和變換。如果最終分解、變換的結(jié)果與語言的文法樹相符，則證明所給的句子語法正確；否則語法錯(cuò)誤。例如，對(duì)于句子Thestudentoperatesthecomputer.要用該程序進(jìn)行語法分析，則應(yīng)給出詢問：

?-sentence([the,student,operates,the,computer]).這時(shí)，系統(tǒng)則回答：Yes分析這個(gè)句子所產(chǎn)生的解樹如下圖所示。這個(gè)解樹稱為該句子的語法分析樹。3)語義分析語義分析就是要識(shí)別一個(gè)語句所表達(dá)的意思。其方法很多，如運(yùn)用格文法、語義文法等。語義文法就是在傳統(tǒng)的短語結(jié)構(gòu)文法的基礎(chǔ)上，將名詞短語、動(dòng)詞短語等不含語義信息的純語法類別，用所討論領(lǐng)域的專門類別來代替。例如，下面一個(gè)語義文法的例子：S→PRESENTtheATTRIBUTEofSHIPPRESENT→whatis|canyoutellmeATTRIBUTE→length|classSHIP→theSHIPNAME|CLASSNAMEclassshipSHIPNAME→Huanghe|ChangjiangCLASSNAME→carrier|submarine

2.復(fù)合句理解

復(fù)合句的理解，就不僅要分析各個(gè)簡單句，而且要找出句子之間的關(guān)系。句子之間關(guān)系包括以下幾種：(1)相同的事物，例如：

小華有個(gè)計(jì)算器，小劉想用它。單詞“它”和“計(jì)算器”指的是同一物體。(2)事物的一部分，例如：

小林穿上她剛買的大衣，發(fā)現(xiàn)掉了一個(gè)扣子。

“扣子”指的是“剛買的大衣”的一部分。(3)行動(dòng)的一部分，例如：

王宏去北京出差，他乘早班飛機(jī)動(dòng)身。乘飛機(jī)應(yīng)看成是出差的一部分。

(4)與行動(dòng)有關(guān)的事物，例如：

李明準(zhǔn)備騎車去上學(xué)，但他騎上車子時(shí)，發(fā)現(xiàn)車胎沒氣了。李明的自行車應(yīng)理解為是與他騎車去上學(xué)這一行動(dòng)有關(guān)的事物。(5)因果關(guān)系，例如：

今天下雨，所以不能上早操。下雨應(yīng)理解為是不能上操的原因。(6)計(jì)劃次序，例如：

小張準(zhǔn)備結(jié)婚，他決定再找一份工作干。小張對(duì)工作感興趣，應(yīng)理解為是由于他要結(jié)婚，而結(jié)婚需要錢而引起的。

“焦點(diǎn)”技術(shù)。舉例：

接著，把虎鉗固定到工作臺(tái)上。螺栓就放在小塑料袋中。螺栓

“焦點(diǎn)”“行動(dòng)規(guī)劃”技術(shù)。舉例：

小王有點(diǎn)餓。他便向行人打聽餐館在哪里。行動(dòng)規(guī)劃：

打聽地址→去餐館→吃飯→不餓

7.3.3統(tǒng)計(jì)語言模型一個(gè)句子就是由若干詞組成的一個(gè)序列。例如：

小明是一個(gè)學(xué)生。Xiaomingisastudent.設(shè)w1,w2,...,wn為n個(gè)單詞，語句S由詞序列w1,w2,...,wn組成，記為S=w1,w2,...,wn(7-13)又設(shè)C為一個(gè)與語句S屬同一語言的語料庫。則有P(S)=P(w1,w2,...,wn)(7-14)由概率的乘法公式，又有P(w1,w2,...,wn)=P(w1)P(w2

w1)P(w3

w1,w2)…P(wn

w1,w2,...,wn-1)(7-15)

設(shè)X為從語料庫C中取單詞值的一個(gè)隨機(jī)變量。則有X(t1)=w1,X(t2)=w2,…,X(tn)=wn隨機(jī)變量X按時(shí)間順序t1,t2,...,tn在C中取值的過程可以看作是一個(gè)隨機(jī)過程（Stochasticprocess）。進(jìn)而視為或者假設(shè)為一個(gè)馬爾科夫過程（Markovprocess），或者說馬爾科夫鏈（Markovchain）。于是，有P(w1)P(w2

w1)P(w3

w1,w2)…P(wn

w1,w2,...,wn-1)=

P(w1)P(w2

w1)P(w3

w2)…P(wn

wn-1)于是，(7-15)式就可以簡化為

P(w1,w2,...,wn)=P(w1)P(w2

w1)P(w3

w2)…P(wn

wn-1)(7-16)

由條件概率的定義，

公式(7-16)也就是語句S的一種數(shù)學(xué)模型，即統(tǒng)計(jì)語言模型（StatisticalLanguageModel）。更準(zhǔn)確地講，公式(7-16)所表示的統(tǒng)計(jì)語言模型稱為二元文法模型（BigramModel）。除了二元模型外，按條件概率中的變量個(gè)數(shù)，還有三元、四元、...、N元模型。

7.3.4神經(jīng)語言模型1．詞元與編碼分詞，將一個(gè)句子切分成一個(gè)個(gè)具有獨(dú)立語義的稱為詞元（token）的語言符號(hào)片段，作為后續(xù)處理的基本單位。詞元主要是單詞或子詞（一個(gè)詞的組成部分），也包括其他字符，如標(biāo)點(diǎn)符號(hào)、數(shù)學(xué)符號(hào)、化學(xué)符號(hào)、表意符號(hào)等等。1)one-hot（獨(dú)熱或單熱）編碼

設(shè)有詞元表（亦稱詞表或詞典）V={w1,w2,...,w

V

}，wi。one-hot編碼就是將V中第i個(gè)詞元wi表示為第i個(gè)分量為1而其余分量皆為0的一個(gè)

V

維向量：(0…,0,1,0,…0)

這意味著詞元wi的one-hot編碼向量（記為oi）的維數(shù)等于相應(yīng)詞表V的長度

V

。原詞表V也就被編碼為一個(gè)

V

V

矩陣。這些one-hot碼向量也就是

V

維實(shí)向量空間R

V

的一個(gè)

V

維子空間：R(0-1)

{(1,0,…,0),(0,1,0,…,0),(0,0,1,0,…,0),…,(0,0,…,0,1)}2)詞嵌入編碼

可把一個(gè)one-hot碼向量看作一個(gè)1

V

矩陣，然后與詞向量表所形成的

V

m矩陣做矩陣乘法運(yùn)算，那么由one-hot碼向量的特點(diǎn)，所得結(jié)果恰好就是相應(yīng)詞元的m維詞向量。還需指出，詞向量又分為靜態(tài)詞向量和動(dòng)態(tài)詞向量。靜態(tài)詞向量就是固定不變的詞向量，而動(dòng)態(tài)詞向量則是可以隨上下文的變化而變化的詞向量。顯然，后者能更好地適應(yīng)一詞多義的情形。詞向量又分為靜態(tài)詞向量和動(dòng)態(tài)詞向量。靜態(tài)詞向量就是固定不變的詞向量，而動(dòng)態(tài)詞向量則是可以隨上下文的變化而變化的詞向量。

獲得詞向量的方法仍然是基于神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)。簡單來講，就是將詞向量的分量作為神經(jīng)網(wǎng)絡(luò)的權(quán)重，從而整個(gè)詞向量表就是一個(gè)權(quán)矩陣，然后利用相關(guān)語料來訓(xùn)練該神經(jīng)網(wǎng)絡(luò)，從而得到相應(yīng)的詞向量。這樣，一個(gè)m維的詞向量就含有m個(gè)網(wǎng)絡(luò)模型參數(shù)，而整個(gè)詞向量表就含有

V

m個(gè)參數(shù)。具體實(shí)現(xiàn)時(shí)，可以與相應(yīng)的語言模型集成在一起進(jìn)行訓(xùn)練，也可以獨(dú)立訓(xùn)練。在這方面，研究者們已提出了許多模型和算法，并做成學(xué)習(xí)軟件。著名的靜態(tài)詞向量學(xué)習(xí)軟件有Word2Vec、GloVe、FastText等。2.前饋神經(jīng)網(wǎng)絡(luò)語言模型1)網(wǎng)絡(luò)結(jié)構(gòu)與數(shù)據(jù)流程輸入層下面小方塊表示所求詞元wt前面依次相鄰的n

1個(gè)詞元wt?n+1,…,wt?2,wt?1的one-hot編碼向量ot?n+1,…,

ot?2,

ot?1。輸入層由n

1組神經(jīng)元組成，自左向右依次對(duì)應(yīng)m維詞向量C(wt?n+1)、…、C(wt?2)、C(wt?1)；這些詞向量就是相應(yīng)詞元的one-hot編碼向量所對(duì)應(yīng)的詞向量，這時(shí)它們實(shí)際上已被拼接成了一個(gè)m

(n

1)維向量x了。詞向量C(wi)可由詞元wi的one-hot編碼向量oi與一個(gè)由全體詞向量所組成的

V

m矩陣（記為黑體C）相乘而得，即C(wi)=oiC（但圖中采用了索引方法）。隱層由若干神經(jīng)元組成。輸出層共有

V

個(gè)節(jié)點(diǎn)，輸出向量為一個(gè)與下面的one-hot編碼向量同維的實(shí)數(shù)向量。輸出向量再經(jīng)softmax函數(shù)做歸一化變換后才是最終輸出：i-thoutput=P(wt=i

context)，i=1,2,…,

V

，即詞表V中各單詞在上下文wt?n+1,…,wt?2,wt?1條件下是所求單詞wt的概率分布。設(shè)網(wǎng)絡(luò)輸出向量y=(y1,y2,…,y

V

)，則最終輸出為說明：（1）輸入層也可以另外直接與輸出層連接（如圖中的虛線箭頭所示），也可以不連接。（2）由于最終的輸出向量的各分量值都在[0,1]區(qū)間且它們之和為1，所以該輸出向量恰好是個(gè)概率分布，即