1、2014.7.14 語料庫的基本特征 語料抽樣：理論與抽樣操作 語料文本的基本處理：主要處理方式和實現方式 雙語語料的對齊：方式和方法 語料檢索：基本檢索和高級檢索(普通、正則和term list) 雙語語料檢索：基本檢索和高級檢索 語料數據后續處理：z-score; log-likelihood; factor analysis; correlation; keyness 微型教學語料庫的創建和使用 翻譯課堂教學用雙語語料的制作和應用Computer-readable: txt, xml, html, doc, pdfConsistency: ohis mother; his mother;

2、 hisnmotherAnnotation: o我們_r; 我們/r; 我們; 我們Header: o有關文本的元信息，涉及文本的作者、文體、出版時間等oChineseEnglishMeiGuoShiWeiYeChou13GShangwuyinshuguan1929B23052相對完整的語料文件范本 語料庫可以視為結構合理的語料文件的集合。往往以數據庫形式存在（如文件夾）。這是語料庫建庫工作中最重要的部分，也是最耗時費力的部分。 語料數據庫建成之后，就可以從庫中提取信息，稱為檢索。檢索效果高低要看能否充分運用檢索手段，但最終依賴語料庫本身能提供多少可能性。 檢索結果的處理需要技巧，事關處理的質

3、量和效率。 有代表性、結構合理的語料文本集合，但不是任意搜集的文本數據庫，也不是越大越好，而是“finite-sized body of machine-readable text”，語料庫通常有抽樣框架。一般說來，處于研究的需要，語料宜盡量平衡，這樣就不能照單全收，需要考慮從中抽取一部分。抽取多少，如何抽取，這個問題可以說眾說紛紜。oBrown/LOB：分層抽樣，大小一致；分層抽樣如文學中小說占35%，散文占8%，戲劇占2%。2nd generation corpora: The Corpus di Italiano Scritto oBNC：大小不一（max：40，000 words）；2

4、5%/75%（lit./inf.）oENPC: 40%/60%(non-lit/lit)；S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 19751995 抽樣字數及分配 語料取樣計算 語料的最常用存儲方式是純文本，純文本顧名思義就是只有文字，不支持任何其他字符格式，如粗體、斜體、下劃線、表格框，等等。語料以這種方式存儲占用空間極小，且幾乎所有檢索軟件都支持。 將語料以這種方式存儲只是檢索的操作，更

5、重要的是讓存儲的文本內容規范，格式盡量一致，而且沒有亂碼，不必要的空格和軟回車、硬回車，等等文本噪音。要做到這些，就需要對語料進行按部就班的處理。使用Microsoft Word可以對文本進行處理。 Word中的替換、Macro的使用 其他語料文本處理工具的使用（Editplus） 規范語料文件的生成：無噪音、符合預期的加工規范（標記充分）。 Header | POS 存儲格式（txt|xml） 輔助軟件的使用：通常會包含包含文本除噪程序的headadder，txtmarker。其實除噪是執行一些替換性的操作（see next slide）$line=s/sn/n/g; #matching a

6、nd replacing all$line=s/(.)n/$1 /g; #matching and replacing all$line=s/rn/#/g; #matching and replacing all$line=s/*/g; #matching and replacing all$line=s/s*$/g; #matching and replacing all$line=s/s0,/s/g; #matching and replacing all$line=s/sn/n/g; #matching and replacing all$line=s/Zn/#/g; #matching

7、 and replacing all$line=s/ +/ /g; #replace more whitespaces with just one$line=s/s+(#2,)/$1/g; #matching and replacing all 添加metadata后的語料樣態 對齊就是源文和譯文對應。翻譯語料的主要特征是對齊。 對齊的語言層級：o 段對齊o 句對齊o 段對齊中的句對齊 對齊方式不同，與創建語料庫的目的有關。比如，如果僅僅用于輔助翻譯，就可以采用句對齊。而要用于翻譯研究，就需要考慮段落層面的語言使用信息，如銜接、話語標記等。對齊軟件有很多，CAT類軟件、Paraconc、專門軟

8、件。 初始對應：源語、目標語文本段對齊，word下完成校對。這一步最重要。 Paraconc可以考慮添加s標記。 對齊：軟件對齊。如aligner，paraconc；Trados，dejavu，bitext2tmx。前兩者提供段對齊和句對齊；后三個軟件一般只提供句對齊。Annotation, 就是加標簽（tagging）.標注的分類：自動標注、人工標注；詞性-句法標注、功能標注；標注標記_、/、。人工標注主要是指功能性標注，如語義標注、翻譯手段的標注，以及為滿足特定研究目的進行的附碼如話輪、間接、直接言語行為，等等。從一定意義上說，人工標注涉及更深語言層面，標注充分對于研究自然更有意義。自動標

9、注主要包含詞性標注和句法標注，可以通過軟件來實現。使用text文本時，缺省編碼為ANSI。用于WordSmith用的語料文本一般應為unicode。許多軟件如Antconc等支持utf-8編碼，這種編碼各種語言通用，最不易出現亂碼。實現方式：txt文本，另存為，“編碼”對話框中選擇utf-8即可。 存儲方式o 語料數據文件最好能在不同的檢索程序上通用，甚至可以在一些現成的管理程序如excel上執行數據信息的計算，分析和管理。要實現這樣的功能，簡單存儲為txt文本顯然不能滿足以上要求。這時就需要一種比較完整地數據存儲方式xml。o 可擴展標記語言 (Extensible Markup Langu

10、age) 可以用來標記電子文件，標記后的文件有結構性的標記語言。既然標記數據就可以通過標記定義數據的類型，而且標記可以根據我們自己的需要自行定義，合乎語法就行。Xml生成 檢索與語言使用的范疇、特征 曲折變化：move, moves, moving, moved 派生：move, movement 詞性：move(v.), wove(n.)； in, at, on, over, upon, from 人稱：I, me, we, us 短語、組合能產：a lot of, a part of, a cup of, a piece of 結構能產：give me a book; send his f

11、ather a message V NP NP ; V NP NP 語言使用的特征決定了檢索不太可能是token，許多情況下要檢索到type，或者需要詞性線索。 檢索語種數量o 主要的單語檢索軟件：Wordsmith， Monoconc，Antconco 雙語檢索：Paraconc， CAT，自行設計的檢索軟件（歷時語料檢索） 基本檢索o 以Antconc為例實施檢索。基本檢索包含token檢索和wild card檢索，檢索前先要熟悉語料的存儲方式。 高級檢索 Antconc中的單語高級檢索：正則表達式檢索，使用正則表達式的term list檢索。 Paraconc中的雙語高級檢索：正則表達式

12、檢索 滿足某些研究需要的正則表達式檢索：歷時語料庫檢索平臺 omegaT檢索 正則表達式的檢索功能有些使用通配符也能做到，但有些則是通配符檢索無法實現的。實際檢索時發現，在詞匯層面，漢語的疊詞以及隔詞重復的精確檢索只能使用正則表達式，使用通配符也能勉強檢索，但無法精確檢索；在句子層面，正則表達式能使準確的句段長度檢索和嚴格的句段內部結構檢索成為可能。 正則表達式的使用看上去有些繁瑣，但只要肯花點時間熟悉元字符的意義，使用起來也比較方便，它還有助于提高檢索的準確性和效率，進而提高語言研究的質量。 語料檢索的目的是發現問題，而語料庫檢索發現的問題主要表現在頻次、頻率上。語料庫的這一長處必須充分發揮

13、，才稱之為語料庫語言研究。 頻次、頻率典型表達為數字，處理數字問題關系到研究結論的可信度，需要使用一些處理方法，常用的處理方法有：o 頻率對比：特定的詞、詞叢、詞性賦碼串；使用WS或Antconc中keyness工具對比詞表、詞叢表o 搭配強度計算：Z-scoreo 頻率差異顯著性計算：log-likelihood計算 一般說來，詞表對比的結果可以重新標注用于分類處理 重復詞項計算 Facotor analysis (SPSS) Correlation analysis (SPSS) 基本思路：已有翻譯為參照，為當下翻譯提供參考；建立術語庫，使術語統一成為可能。 CAT的主體部分是TM和Term Database CAT軟件：Trados，Deja vu，雅信，（免費）OmegaT T