1、從基于規則的兩類語句的自然語言處理看詞庫和規則之間的張力上海外國語大學語言研究院金立鑫9/21/20221，引子：自然語言處理的兩大思路基于概念網絡或語料庫的（經驗主義的，Claude Shannon，Schank）：賓州大學樹庫（UPenn Treebank ）最初版本（PTB-1）標注詞類和句法骨架樹信息；擴充版本（PTB-2）增加了語義標記信息和命題庫（PropBank），最近在PTB-2 上標注完整的謂詞-論元（Predicate-Argument ）關系標記，從句法向語義過渡。（周強，2003）9/21/2022基于規則的（或理性主義的）Chomsky，Herbert SimonLo

2、gic Theorist證明了數學原理一書第二章52個定理中的38個定理。 自動機原理輸入詞串，從左到右掃描，掃描到詞節點時查詢詞典獲得特征信息，同時進行規則匹配，根據規則進行合并操作或上升操作，匹配成功則生成并輸出句法樹。（王鵬 等，2003）9/21/20222，詞庫和規則之間的張力在哪兒？兩種思路都離不開“詞庫”或“知識庫”如何確定知識庫中的“基本單位”？基本單位的“屬性”描寫的下限在哪兒？串聯和并聯該如何互補或有機結合？規則要求詞庫中必須具備哪些屬性？下面從以“同步組塊”為基礎理論設計的一個基于規則的處理方法和處理效率上看詞庫和規則（或并聯與串聯）的間的互動（互補）關系9/21/202

3、2下面的問題在語言學中并沒有得到細致描寫：哪些名詞性單位能與“語”組合？哪些名詞性單位能與“大學”組合？哪些名詞性單位能與“老師”組合？哪些名詞性單位能與“城”組合？哪些名詞性單位能與“書”組合？如果不是“語法書”，而是：一背包書：“一背包”不是詞典詞一桌子書：哪些名詞可以直接與“一”組合？一床書，一地書，一沙發書，一冰箱書*一花盆書，*一鞋子書，*一瓶書，*一黑板書9/21/2022把它們直接收入“詞庫”做整體描述，實際上是對“規則”研究不足的彌補老師：規則或許能處理，而且效率高，開銷小，否則如果用詞庫處理開銷太大大學？城？語？到底哪些用“規則”處理效率更高開銷更小，哪些直接收入詞庫效率更高

4、開銷更小？9/21/2022詞庫與規則互補根據語法規則：“舊朋友” “修理衣服” 是合格的，但不合詞庫規則根據詞庫規則：“病態人” “很激動老朋友” 是合格的，但不合語法一頭霧水：用規則處理過程可能相當復雜，詞庫處理或許更簡單自然習得單位還是理論單位？（固化程度較高的，或詞匯化、語法化程度較高的單位不適合規則處理）9/21/2022例子一：你聽我跟你說，那天小雨走了之后事情是這樣的，那天小雨走了之后你聽我跟你說，事情是這樣的，那天小雨走了之后照理說，小雨走了之后/*這次會議很有意思照我看來，這次會議很有意思*俗話說，小雨走了/這次會議很有意思*常言道，小雨走了/這次會議很有意思9/21/202

5、2例子二：不瞞你說，那天小雨走了之后實不相瞞，那天小雨走了之后說真的，那天小雨走了之后說句心里話，那天小雨走了之后說句不客氣的話說正經的理論上、名義上、一定程度上、原則上9/21/2022實際上這些固定的插說語都是自然習得單位，它們可以依據不同的表義功能或語篇功能進行不同抽象程度的描寫或定義。收入詞庫或許效率更高。例如：（以下為上海師范大學潘曉軍的博士論文固化插說成分的關聯化與情態化中列舉到的語料和分類）9/21/2022固定插說語菜單評注性插說語（傳信類：表信息來源，表信息可靠，表信息闡述；情態類：表客觀情態，表主觀情態）關聯性插說語（并列類：并同，對比，時序）；（主從類：總結，條件，進退，

6、轉折或因果）以上均可在詞庫中描寫而不必用規則推導9/21/2022直接來源：據我看，據我所知，恕我直言，聽我說（你聽我說，你聽我跟你說），我覺得，我看，我認為，我說，我想，我要說的是，要我看，要我說，依我看，依我說，以我之見，照我看，照我說，找我來看，在我看來間接來源：按說，按理，按理說，常言道，傳說，話說，據稱，據說，據聞，據悉，老話說得好，且說，卻說，俗話說，一般說，相傳，有道是，照理，照理說，照說，照看來9/21/2022補充：補充說幾句/幾點/一下，附帶說一句/一下，順便說一句列舉：比方說，比如說，就來說，局來說，拿來說，比如說，以為例換言：等于說，換句話說，換言之，或者說，就是說，事

7、情是這樣的，也就是說方式：長話短說，廣義地說，簡單地說，具體說來，確切地說，說句不客氣的話，說來話長，說正經的，嫌疑地說，相對說，嚴格來說范圍：表面上，從一定程度上來說，大體上，大致上，基本上，理論上，名義上，原則上，在一定程度上9/21/2022客觀情態一定：不用說，果不其然，毫無疑問，很顯然，毋庸置疑，顯而易見大概：據此，據此看來，據此可見，據此可知，那么說，如此說來（看來，想來），由此，由此觀之，由此看來，由此看見，照這樣說來，這么說（這么，這樣），這樣一來可能：充其量，看起來，看上去，看樣子，少說9/21/2022并列類并同：除此之外，此外，無獨有偶，相應地，與此相應對比：比較而言，反

8、過來看，相比而言，相比之下，相形之下，與此相比，與此相反，與此相仿，與此相似，與此相同，與此相左時序：剎那間，猝然間，頃刻間，突然間，忽然間，緊跟/接著，猛然間，偶然間，悄然間9/21/2022主從類總結：簡而言之，要言之，一句話，一言以蔽之，總的來看，總的來說，總的說，總起來說，總體而言條件：不論/不管/無論如何。不論/無論/不管怎么說，不然/否則的話，盡管/即便/即使如此，要不然的話，要不是，這樣/那樣的話，再怎么說進退：甭說，別說，不必說，不要說，誠然如此，更有甚者，尤為重要的是，話又說回來，話雖如此，進一步說，理是這個理，話是這么說，推而廣之，退一步說折轉和因果：其實不然，雖然說，是因

9、為，所以說，之所以9/21/2022所有這些固話插說短語都可以作為整體生成輸出，甚至直接對應于外語中的某些功能相同或相近的插說成分（漢外插說成分單位之間的功能異同或表義異同還需要對比研究和描述）但是，這些插說成分或多或少都有不同程度上的變異，并沒有完全固話到類似“成語”的程度，這些變異在詞庫中需要處理。9/21/2022“構式”意義的描述：規則還是詞庫？介于二者之間？（變項是開放的，常項是穩定的）不要太X被X（神經病、代表、墻、就業、和諧、自愿、增長、慈善，自殺、死亡、失蹤、出世、發達、辭職、捐款、小康、學習、省錢、小三、合法、幸福、漲工資、中產、結婚、愛心、高雅）VP的心都有了（VP表示消極

10、意義的？）也就一NP劉丹青（2009）9/21/20223，只有標注是不夠的如果一個系統只能“標注”或“分析”一個現成的現實世界中的句子，而無法判斷一個句子是否合格或無法生成一個句子，該系統不能說是令人滿意的。自動翻譯需要生成（再大規模的語料庫恐怕都不可能在兩種語言的“句子”之間進行嚴格匹配）機器人的自動應答系統需要生成9/21/20221a我知道克林頓1b我認識克林頓1c我了解克林頓2a我知道上海的甜愛路2b我認識上海的甜愛路2c我了解上海的甜愛路1a我知道這件事情1b*我認識這件事情1c我了解這件事情2a我知道這個道理2b*我認識這個道理2c我了解這個道理有些描寫是繞不過去的語法規則無法處

11、理1b和2b9/21/2022“了解”“認識”“知道”（邵菁，2009） 同義詞或近義詞的語義差別也應該在詞庫中得到描寫 詹衛東：顆粒度更細的語言知識9/21/2022陸續 vs 不斷1.最近，不斷傳來好消息。（？陸續） 最近，陸續傳來三個好消息。（*不斷）2.他們公司今年不斷推出新產品。（？陸續） 他們公司今年陸續推出了三四種新產品。（*不斷）3.我不斷聽到一些他在國外的情況。 我陸續聽到一些他在國外的情況。9/21/2022不斷：連續不間斷。陸續：表示有先有后，時斷時續。用“不斷”時，強調“多”，“陸續”沒有這個意思。用“陸續”的句子中，如果賓語是普通名詞，一般需要用表示數量的詞語。用“不

12、斷”的句子不需要。“陸續”能重疊，“不斷”不能重疊。（邵菁，2010） 9/21/2022注意 vs 小心1. 同學們朗讀課文的時候要注意發音和聲調。 （*小心） 吃這種魚的時候要小心魚刺。（？注意）2. 工作越忙你越是要注意身體。（？小心） 小心睡過頭。（*注意）3. 上下山時大家一定要注意安全。 （*小心） 上下山時大家一定要小心（摔倒）。（*注意）9/21/20224. 路上人多車多，開車一定要注意。 路上人多車多，開車一定要小心。5. 她做事一向很注意，生怕給人留下不好的印象。 她做事一向很小心，生怕出差錯。6. 媽媽一時沒注意，小孩就把牛奶打翻了。 （*小心） 我一不小心摔了一跤。（

13、？注意）9/21/2022“小心”后的“對象”是不好的結果或危險的事情，“注意”的對象不是。“注意”是把意志集中在某一方面，“小心”是留神、謹慎。（邵菁，2010）9/21/20221）Colorless furiously green sleep ideas. 規則和詞庫都可以排除以上非句2）Colorless green ideas sleep furiously.似乎詞庫單獨也可以排除以上非句3）She is a block of ice / 扭斷句法的脖子（詞庫和規則如何運作？）4，修辭句理解中的規則和詞庫9/21/2022She is a block of ice.她是一塊冰 我們可

14、以認為，說話人形式上表達的是S is P，但實際上要表達的卻是S is R。現在所謂問題是，聽話人為什么不會理解為S is P，而一定理解為S is R，他是如何將P和R聯系起來的？9/21/2022(1)系統假設說話人遵循了會話合作原則；(2)根據低層次的語法或邏輯規則，該結構無解；(3)系統相信(1)，因此必須尋求低層次以外的語法或邏輯規則的解釋；(4)方法： I，提取S和P(上位概念)的語義特征； II，尋求S和P語義特征之間的相似匹配 III，將S與P相似匹配中的語義特征 (R) 賦予給P IV，S is P獲得解釋：S is R9/21/2022問題沒那么簡單“你的微笑，編織了每一個

15、奇妙。”“編織了奇妙”？(1)同樣有理由相信說話人遵循了會話合作原則(2)查“編織”的“句法選擇限制規則”： HUMAN _NP, -ABSTRACT, +Result(3)“微笑”為-HUMAN，與規則不符(4)根據(1)和(2)將HUMAN臨時賦予“微笑”(5)查V后NP“奇妙”的句法特征為：ABSTRACT，與規則不符(6)根據(1)和(2)將-ABSTRACT臨時賦予“奇妙”9/21/2022(7)查V后NP的句法特征為：V+NP,Result(8)根據(1)和(2)將Result臨時賦予“奇妙”(9)根據(4) (6)和(8)，得：你的微笑（擬人）編織了每一個奇妙（擬物+結果）9/21/2022問題遠不止這么簡單扭斷語法的脖子！（某文學家）“什么時候雨的溫柔又來搖醒那沉睡的傷口。”（十字路口） “我把夢撕了一頁，不懂明天該怎么寫。”（撕夜） 9/21/2022扭斷語法的脖子！(1)有理由相信說話人遵循了會話合作原則(2)查“語法”和“脖子”的特征，無任何交集(3)回溯，查“V斷”，得： VR動詞查VR動詞句法結構特征，得：VR+Patient（受事）(4)賦予“X的脖子”為VR的Patient特征(5)得：扭斷=VR，X的脖子=Patient(6)查詞庫：扭斷(VR) X的脖子 (Patient) =殺死X(7)“扭斷X的脖子”=殺死X，將X代入，得(核心