ISCAS機器翻譯和系統融合評測系統張大鯤孫樂中國科學院軟件研究所dakun04@1ISCAS機器翻譯和系統融合評測系統張大鯤孫樂1大綱漢英新聞領域翻譯評測概述系統流程預處理和后處理測試結果系統融合評測2大綱漢英新聞領域翻譯評測2概述訓練語料受限的漢英機器翻譯基于短語的統計機器翻譯系統4元語言模型3元大小寫敏感語言模型進行大小寫還原利用規則對數字進行處理3概述訓練語料受限的漢英機器翻譯3系統流程全部小寫化GIZA++雙向詞對齊短語抽取5個概率4元語言模型3元大小寫敏感語言模型數詞翻譯替換翻譯輸出數詞識別與替換Beam搜索解碼預處理后處理訓練平行語料4系統流程全部小寫化GIZA++短語抽取4元3元大小寫敏感數詞特征短語翻譯概率詞匯化概率反向短語翻譯概率反向詞匯化概率短語懲罰概率（2.718）詞語懲罰（目標語言句子長度）目標語言模型，4元5特征短語翻譯概率5預處理和后處理中文語料中的英文和英文語料全部小寫中文全角字符轉換為半角ＡＢＣ１２３→ABC123StanfordChineseWordSegmenter分詞數字單獨處理6預處理和后處理中文語料中的英文和英文語料全部小寫6訓練語料來源數據提供單位數據文件類型句對數目（約）廈門大學英漢電影字幕平行語料庫廈門大學電影17萬哈工大信息檢索組英漢句子級對齊語料庫哈工大檢索綜合10萬ChineseLDC（資源編號：CLDC-LAC-2003-006）漢英/漢日雙語語料庫（漢英部分）北京大學綜合20萬哈工大機器翻譯組英漢句子級對齊語料庫哈工大機譯綜合5萬ChineseLDC（資源編號：CLDC-LAC-2003-004）中英句子級對齊雙語語料庫計算所、自動化所綜合30萬合計82萬短語數量：1600萬7訓練語料來源數據提供數據文件句對數目廈門大學英漢電影字幕平行開發集調整參數參數WPPT-0.26590.04490.10090.03210.0433-0.2747參數DWLWMLLDMSTL0.09490P–詞語懲罰PT–翻譯模型概率（包括詞匯化概率和短語懲罰）DW–調序的權重LW–語言模型權重ML–最大的短語長度LD–調序的限制范圍MS–棧大小TL–允許的最多翻譯候選項489句4個參考答案BLEU=0.10398開發集調整參數參數WPPT-0.26590.04490.10測試結果IDBLEU4NIST5GTMmWERmPERICT受限語料ISCAS0.18386.81840.65960.78840.56760.2752最好結果0.22647.64260.71280.73070.51640.3352非受限語料最好結果0.28097.52350.72380.68240.50500.38059測試結果IDBLEU4NIST5GTMmWERmPERICT系統融合主要方法(Rostietal.2007)句子級融合重評分，輸出最好的句子短語級融合構造新的短語表，計算概率，重新解碼詞級融合詞對齊，形成詞圖，最優路徑10系統融合主要方法(Rostietal.2007)10系統融合11系統融合11重評分統計在候選翻譯中出現的所有n-gram個數計算每個句子中命中的個數n=7

權重，利用開發集訓練12重評分統計在候選翻譯中出現的所有n-gram個數n=7權重測試使用提供的10個單位提交的17個系統的翻譯結果（沒有使用系統U14的結果）IDBLEU4NIST5GTMmWERmPERICTISCAS0.25098.10130.71960.71540.50050.3336最好結果0.29447.75010.73190.67610.49720.392013測試使用提供的10個單位提交的17個系統的翻譯結果（沒有使用總結漢英新聞領域翻譯評測訓練語料受限基于短語的翻譯系統4元語言模型利用規則對數字進行處理系統融合評測句子級的融合方法利用n-gram進行重評分14總結漢英新聞領域翻譯評測14謝謝!Thanks!15謝謝!15ISCAS機器翻譯和系統融合評測系統張大鯤孫樂中國科學院軟件研究所dakun04@16ISCAS機器翻譯和系統融合評測系統張大鯤孫樂1大綱漢英新聞領域翻譯評測概述系統流程預處理和后處理測試結果系統融合評測17大綱漢英新聞領域翻譯評測2概述訓練語料受限的漢英機器翻譯基于短語的統計機器翻譯系統4元語言模型3元大小寫敏感語言模型進行大小寫還原利用規則對數字進行處理18概述訓練語料受限的漢英機器翻譯3系統流程全部小寫化GIZA++雙向詞對齊短語抽取5個概率4元語言模型3元大小寫敏感語言模型數詞翻譯替換翻譯輸出數詞識別與替換Beam搜索解碼預處理后處理訓練平行語料19系統流程全部小寫化GIZA++短語抽取4元3元大小寫敏感數詞特征短語翻譯概率詞匯化概率反向短語翻譯概率反向詞匯化概率短語懲罰概率（2.718）詞語懲罰（目標語言句子長度）目標語言模型，4元20特征短語翻譯概率5預處理和后處理中文語料中的英文和英文語料全部小寫中文全角字符轉換為半角ＡＢＣ１２３→ABC123StanfordChineseWordSegmenter分詞數字單獨處理21預處理和后處理中文語料中的英文和英文語料全部小寫6訓練語料來源數據提供單位數據文件類型句對數目（約）廈門大學英漢電影字幕平行語料庫廈門大學電影17萬哈工大信息檢索組英漢句子級對齊語料庫哈工大檢索綜合10萬ChineseLDC（資源編號：CLDC-LAC-2003-006）漢英/漢日雙語語料庫（漢英部分）北京大學綜合20萬哈工大機器翻譯組英漢句子級對齊語料庫哈工大機譯綜合5萬ChineseLDC（資源編號：CLDC-LAC-2003-004）中英句子級對齊雙語語料庫計算所、自動化所綜合30萬合計82萬短語數量：1600萬22訓練語料來源數據提供數據文件句對數目廈門大學英漢電影字幕平行開發集調整參數參數WPPT-0.26590.04490.10090.03210.0433-0.2747參數DWLWMLLDMSTL0.09490P–詞語懲罰PT–翻譯模型概率（包括詞匯化概率和短語懲罰）DW–調序的權重LW–語言模型權重ML–最大的短語長度LD–調序的限制范圍MS–棧大小TL–允許的最多翻譯候選項489句4個參考答案BLEU=0.103923開發集調整參數參數WPPT-0.26590.04490.10測試結果IDBLEU4NIST5GTMmWERmPERICT受限語料ISCAS0.18386.81840.65960.78840.56760.2752最好結果0.22647.64260.71280.73070.51640.3352非受限語料最好結果0.28097.52350.72380.68240.50500.380524測試結果IDBLEU4NIST5GTMmWERmPERICT系統融合主要方法(Rostietal.2007)句子級融合重評分，輸出最好的句子短語級融合構造新的短語表，計算概率，重新解碼詞級融合詞對齊，形成詞圖，最優路徑25系統融合主要方法(Rostietal.2007)10系統融合26系統融合11重評分統計在候選翻譯中出現的所有n-gram個數計算每個句子中命中的個數n=7

權重，利用開發集訓練27重評分統計在候選翻譯中出現的所有n-gram個數n=7權重測試使用提供的10個單位提交的17個系統的翻譯結果（沒有使用系統U14的結果）IDBLEU4NIST5GTMmWERmPERICTISCAS0.25098.10130.71960.71540.50050.3336最好結果0.2