1、    英漢分詞問題的混合翻譯系統(tǒng)設(shè)計    仲佳琳 楊宇 李奕琛摘 要：在解決處理中文文本的分詞的問題中，分詞是基礎(chǔ)的一項。本文針對分詞問題提出統(tǒng)計與規(guī)則混合運(yùn)用的解決方法，先運(yùn)用pmi，又用語言規(guī)則來彌補(bǔ)統(tǒng)計方面解決不了的問題，即混合翻譯系統(tǒng)設(shè)計。關(guān)鍵詞：計算語言學(xué) 機(jī)器翻譯 統(tǒng)計 規(guī)則詞的分割是中英文差異中最基本的一項。英文的單詞是天然分開的，詞就是最小的能夠獨(dú)立運(yùn)用的語言單位。但中文句子中沒有直觀的詞的界限，詞也不是最小的語言單位。因此分詞在計算語言學(xué)中是最為基礎(chǔ)的一項，與此同時會碰到歧義現(xiàn)象。比如：a. 她憑自己的才能得到了這份工作。b. 你這

2、樣的人才能夠留下來，是我們的幸運(yùn)。a句中的“才能”明顯是一個詞，而b句中的“人才”和“能夠”卻應(yīng)該分開。在這個過程中，針對固定詞表進(jìn)行“一刀切”顯然不可取。由此本文提出了針對分詞問題的混合機(jī)器翻譯系統(tǒng)的設(shè)計：基于統(tǒng)計的機(jī)器翻譯sbmt- 基于規(guī)則的機(jī)器翻譯系統(tǒng) rbmt。首先是統(tǒng)計方法中基于深度學(xué)習(xí)的點(diǎn)互信息pmi，即如何運(yùn)用pmi進(jìn)行中文分詞。從點(diǎn)互信息的定義來看，它表示某兩個字符（漢字）的組合出現(xiàn)在語料庫中的概率，與各自出現(xiàn)概率乘積的比的對數(shù)。點(diǎn)互信息定義如下：其主要基于語料庫，并計算詞語間的語義相似度。若概率越大，兩字相關(guān)性就越緊密，關(guān)聯(lián)度越高。所以直觀上可以理解為兩個字符在語料庫中組成

3、詞語的可能性。若兩個事件不相關(guān)也不互斥，那么同時發(fā)生的概率p（a，b）=p（a）*p（b），此時p（a，b）/p（a）*p（b）=1，pmi（a，b）=0;如果兩個事件相關(guān)，那么同時發(fā)生的概率p（a，b）>p（a）*p（b），此時p（a，b）/p（a）*p（b）>1，pmi（a，b）>0;如果兩個事件互斥，同理可得pmi（a，b）<0。比如通過計算，“中國”這個詞的pmi值是1.8448，即可取;而“我病”的pmi值是-0.9099，即不成詞。因為漢語的特殊性，在分詞的過程中也存在歧義，而不是簡單詞性有可能的不同而導(dǎo)致的歧義，這與英文不同。比如以下兩個句子：a. 她憑自

4、己的才能得到了這份工作。b. 你這樣的人才能留下來，是我們的幸運(yùn)。通過計算，“才能”一詞在兩個句子中都有可能被標(biāo)記出來，即在任何句子中都會被計算為同一個詞。但正確的分詞應(yīng)是如下： b. 你/這樣的/人才/能夠/留下來，是/我們的/幸運(yùn)。如果分詞出現(xiàn)錯誤，整個句子的翻譯會變得非常奇怪， 如：*b. 你這樣/的/人/才能/留下來，是/我們/的/幸運(yùn)。在自然語言處理的過程中，句法分析既可以彌補(bǔ)基于統(tǒng)計方法分詞的漏洞問題，又可以解決分詞后的詞語歧義問題。從整個句子為單位的角度，基于語言規(guī)則，有效限制基于統(tǒng)計的分詞任務(wù)。若是依靠統(tǒng)計方法，就會出現(xiàn)這種機(jī)械性的計算的句子：你這樣/的/人/才能/留下來，是/

5、我們/的/幸運(yùn)。通常來講，句子是由一個名詞詞組加上一個動詞詞組構(gòu)成的。那么這句話逗號前的半句話就會單獨(dú)成句，整體被歸為一個名詞短語和動詞短語齊全的簡單從句，因為“你這樣的人才能夠留下來”的確能獨(dú)立成句，但逗號后面的“是我們的幸運(yùn)”無法與其銜接。雖然前半句可以獨(dú)立成句，在語法上也沒有問題，但它卻不是整句話的含義。因此，沒有了語言規(guī)則的界定，就無法把整個句子考慮其中。在人機(jī)交互的過程中，計算機(jī)沒有思維能力，而所有的指令只能是絕對精準(zhǔn)的信息 。只有通過形式語言的角度，才能把中英文文本處理的法則變成計算機(jī)能“理解”的信息。for循環(huán)結(jié)構(gòu)的設(shè)計就是把兩種不同的方法套用在形式語言for循環(huán)的思想里。在實(shí)際

6、的機(jī)器翻譯過程中，情況會更加復(fù)雜多變，但可以確定的是，自然語言中的一個句子不應(yīng)存在歧義，一個句子只有一個理解。當(dāng)混合兩種解決方法設(shè)計時，就涉及到對整個系統(tǒng)的反復(fù)執(zhí)行。最后，雖然基于規(guī)則的機(jī)器翻譯系統(tǒng)存在一定的缺陷，但要解決翻譯方面的問題，最根本地還是要回歸到語言層面，而不是完全寄托于高端技術(shù)或程序設(shè)計。要取得機(jī)器翻譯的進(jìn)步也不能單單依靠語言學(xué)理論，更要靈活運(yùn)用統(tǒng)計模型和理論。參考文獻(xiàn)1 john hale. finding syntax in human encephalography with beam search.arxiv：1806.04127v1 cs.cl 11 jun 2018.

7、2 王金銓， 王克非. 計算語言學(xué)視角下的翻譯研究.外國語. 2008， （5）.3 楊憲澤. 基于實(shí)例的機(jī)器翻譯處理方法. 計算機(jī)工程. 2003， （12）.4 roger t. bell.translation and translating- theory and practice raymond w. yeung. information theory and network codingm. springer; 2008.5 shannon c e. a mathematical theory of communicationj. bell system technical journal， 1948， 27（3）：379-423.6 bo zheng， wanxiang che， jiang guo， ting liu. enhancing lstm-based word segmentation using unlabeled data.research center for social computing and information retrieval， harbin institute of