1、江蘇省江蘇省英語聽力口語英語聽力口語自動化考試介紹自動化考試介紹牛津大學出版社(中國)有限公司中國科學院自動化研究所 2008年8月2目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機自動閱卷原理計算機自動閱卷原理4. 評估報告及教學反饋評估報告及教學反饋31.1 主要內容主要內容自動閱卷平臺人機對話聽力口語考務平臺考生語音數據考務和考場編排系統題庫管理系統考生成績及個性化診斷報告這是一場英語聽力口語合并的全自動化考試這是一場英語聽力口語合并的全自動化考試出題自動化出題自動化，以海量題庫為基礎；考試自動化考試自動化，采取人機對話方式；判卷自動化判卷自動化，

2、全部閱卷由計算機完成；結果反饋結果反饋，自動化生成評估報告。41.2 本項目四大特點本項目四大特點1.1. 人機對話的測試系統，將聽力和口語合二為一，省時省人機對話的測試系統，將聽力和口語合二為一，省時省力、減少事故；力、減少事故； 現狀：現狀：100100萬考生口語考試，萬考生口語考試，3 3天組織，工作量很大；天組織，工作量很大； 人工：人工：1 1老師老師/ /天天/100/100份卷，總量份卷，總量100100萬考生；萬考生； 機器：機器：1 1個市，個市，2 2臺服務器臺服務器/3/3天判卷；天判卷； 大幅度減少考試可能出現的差錯和事故率。大幅度減少考試可能出現的差錯和事故率。2.2

3、. 海量題庫、人機對話，同一考場不同考卷；海量題庫、人機對話，同一考場不同考卷； 題庫的海量性從考試機制的角度題庫的海量性從考試機制的角度有效阻止了考試作弊現象有效阻止了考試作弊現象； 通過技術手段有效通過技術手段有效抑制猜題、押題抑制猜題、押題等等弊端弊端； 從長遠建設角度，經過從長遠建設角度，經過3 3到到5 5年努力建立起百萬級題庫，并且年更年努力建立起百萬級題庫，并且年更新新10%10%。51.2 本項目四大特點本項目四大特點3.3. 計算機完成全部英語聽力和口語考試及評卷計算機完成全部英語聽力和口語考試及評卷公正性：人工閱卷方式受制于教師體力和精力狀況，很難保證成公正性：人工閱卷方式

4、受制于教師體力和精力狀況，很難保證成績的客觀性、準確性和公平性，不同老師之間可能出現較大差異；績的客觀性、準確性和公平性，不同老師之間可能出現較大差異； 計算機判卷不僅克服了人工判卷中這些很難避免的不利因素，計算機判卷不僅克服了人工判卷中這些很難避免的不利因素，極極大提高閱卷和評估的客觀性和公正性，而且為大提高閱卷和評估的客觀性和公正性，而且為個性化評估和個性化評估和提供提供改進建議改進建議奠定了奠定了堅實堅實的的基礎基礎。4.4. 有效評估，反饋教學有效評估，反饋教學 六級評估報告，從省、市、區縣，到學校、班級和個人；六級評估報告，從省、市、區縣，到學校、班級和個人； 中國第一次以量化方式提

5、供考試評估反饋中國第一次以量化方式提供考試評估反饋； 這樣的評估報告對英語的教與學提供了真正的可信、可視這樣的評估報告對英語的教與學提供了真正的可信、可視化化和可和可操作化的幫助操作化的幫助。6目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機自動閱卷原理計算機自動閱卷原理4. 評估報告及教學反饋評估報告及教學反饋72.1 考試自動化系統架構考試自動化系統架構 面向考試全程，全面、靈活、可定制的方案面向考試全程，全面、靈活、可定制的方案 考前：分級考務管理考前：分級考務管理/考場編排系統、考試服務網站考場編排系統、考試服務網站 考中：測試系統考中：測試系統

6、 考后：自動閱卷系統、報告生成系統考后：自動閱卷系統、報告生成系統82.2 考務管理考務管理/考場編排系統考場編排系統具有省、市、區縣三級管理模式；可對考生考籍進行管理；提供多種具有省、市、區縣三級管理模式；可對考生考籍進行管理；提供多種考場編排方式，生成與考試相關的各種表格與文件，并能靈活打印考場編排方式，生成與考試相關的各種表格與文件，并能靈活打印92.3 考試的組織與管理考試的組織與管理候考室考場1考生提前進入候考室考場2每考場監考員1名每考場系統操作員1名每考場帶隊教師1名每考點考生培訓員1名每考點主考1名注：一個考點可包括一個或多個考場(計算機教室)102.4 考試系統考試系統監考機

7、局域網考試機聽音、錄音聽音、錄音聽音、錄音考生在監考機的控制下，通過考試機實現聽題目、錄回答的過程。注：以現有計算機教室為考場，每考場設有30-40臺考試機112.4 考試系統考試系統-學生人機交互學生人機交互學生端軟件操作簡單易用，包括考號輸入、設備測試、答題學生端軟件操作簡單易用，包括考號輸入、設備測試、答題等，在語音提示下完成考試過程，出現誤操作的幾率很小等，在語音提示下完成考試過程，出現誤操作的幾率很小122.4 考試系統考試系統-考號輸入考號輸入132.4 考試系統考試系統-設備測試設備測試耳麥設備耳麥設備由省政府由省政府統一采購統一采購142.4 考試系統考試系統-設備測試設備測試

8、-錄音樣例錄音樣例 聲音太小聲音太小 聲音太大（飽和）聲音太大（飽和） 設備測試時檢查錄音設備，確保錄音正常，是自動閱卷的設備測試時檢查錄音設備，確保錄音正常，是自動閱卷的基礎。基礎。 聲音合適聲音合適152.4 考試系統考試系統-考試過程考試過程考生面對考生面對計算機，計算機，人機對話人機對話162.4 考試系統考試系統-教師人機交互教師人機交互 教師端軟件全程監控，學生端如有任何異常情況教師端軟件全程監控，學生端如有任何異常情況(設備測設備測試、進度、錄音異常等試、進度、錄音異常等)，及時提示監考老師幫助學生解，及時提示監考老師幫助學生解決問題決問題172.4 考試系統考試系統 - 測試現

9、場測試現場182.4 考試系統考試系統 -其它保障措施其它保障措施 每個考場預設每個考場預設10%的備用考試設備，以備設備故障的考生的備用考試設備，以備設備故障的考生當場或下場重考；當場或下場重考； 考前制定應急處理方案和故障解決手冊，做好對考生設備考前制定應急處理方案和故障解決手冊，做好對考生設備異常、遲到缺考、網絡故障、數據傳輸等個別情況的處理異常、遲到缺考、網絡故障、數據傳輸等個別情況的處理準備。準備。 考試機故障解決手冊考試機故障解決手冊 監考機故障解決手冊監考機故障解決手冊192.5 自動閱卷系統自動閱卷系統評分標準人機對話考試系統考生答案自動閱卷服務器(省政府統一采購)局域網閱卷進

10、度監控系統管理注：以一市10萬考生計算，閱卷中心由兩臺閱卷服務器構成，3天可完成閱卷。202.5 自動閱卷系統自動閱卷系統 導入考生的答卷文件；準確完成自動閱卷和評分；導入考生的答卷文件；準確完成自動閱卷和評分；21目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機自動閱卷原理計算機自動閱卷原理4. 評估報告及教學反饋評估報告及教學反饋223.1 自動閱卷系統技術結構自動閱卷系統技術結構233.2 語音識別用于口語評估的特殊性語音識別用于口語評估的特殊性 限定條件下的語音識別限定條件下的語音識別 專門麥克風，一定題型；專門麥克風，一定題型； 有別于不受任何

11、限制的自然口語識別；有別于不受任何限制的自然口語識別； 口語評估基于標準語音庫，而語音識別基于大量非標準庫口語評估基于標準語音庫，而語音識別基于大量非標準庫 中科院自動化所領先的語音識別技術中科院自動化所領先的語音識別技術 美國雖然還沒有把語音技術應用于他們本國的學生評估，美國雖然還沒有把語音技術應用于他們本國的學生評估，但是把這種技術應用到美國以外學生的英語考試已經很多但是把這種技術應用到美國以外學生的英語考試已經很多年了。年了。243.3 閱卷特征提取閱卷特征提取 完整性完整性 朗讀型題目，能否順利讀完全文，以及順利讀完的比例；朗讀型題目，能否順利讀完全文，以及順利讀完的比例； 話題簡述型

12、題目，能否完整表達題目的語意，清楚表達的語意比話題簡述型題目，能否完整表達題目的語意，清楚表達的語意比例；例； 完整性特征是評分的起評基本特征；完整性特征是評分的起評基本特征； 準確性準確性 單詞級評估，主要包括單詞發音的元音、輔音、重音準確性單詞級評估，主要包括單詞發音的元音、輔音、重音準確性 流利性流利性 句子級評估，主要包括語速、插入（重復、修正）、連貫（連讀、句子級評估，主要包括語速、插入（重復、修正）、連貫（連讀、失去爆破、同化）等失去爆破、同化）等 韻律性韻律性 句子級評估，主要包括意群停頓（節奏）、重讀弱讀、語氣語調句子級評估，主要包括意群停頓（節奏）、重讀弱讀、語氣語調253.

13、4 自動閱卷過程說明自動閱卷過程說明 Making tea with tea bags is faster and easier than making it with leaves in teapots閱卷系統及其輸入：閱卷系統及其輸入：系統輸入：考生朗讀文本及語音系統輸入：考生朗讀文本及語音263.4 自動閱卷過程說明自動閱卷過程說明 綜合各種特征給出評分綜合各種特征給出評分 完整性特征：根據漏讀情況計算完整性完整性特征：根據漏讀情況計算完整性 準確性特征：單詞發音、重音準確性準確性特征：單詞發音、重音準確性 流利性特征：語速、插入、連讀、失去爆破、同化流利性特征：語速、插入、連讀、失去爆

14、破、同化 韻律性特征：意群停頓、重讀弱讀、語氣語調韻律性特征：意群停頓、重讀弱讀、語氣語調 綜合決策模塊：綜合上述特征給出最后評分綜合決策模塊：綜合上述特征給出最后評分綜合決策完整性特征準確性特征流利性特征韻律性特征評分結果門限設置門限設置27目錄目錄1. 考試概要介紹考試概要介紹2. 考試的模式和管理考試的模式和管理3. 計算機自動閱卷原理計算機自動閱卷原理4. 評估報告及教學反饋評估報告及教學反饋284.1 省、市、區省、市、區(縣縣)、校、班級、個人六級評估報告、校、班級、個人六級評估報告評估報告的主要內容包括：評估報告的主要內容包括：1. 考試總分統計：分別按照個人、班級、學校、區考試

15、總分統計：分別按照個人、班級、學校、區(縣縣)、市、省進、市、省進行分析和比較，并可自定義比較單位，如平均分、最高分、單項行分析和比較，并可自定義比較單位，如平均分、最高分、單項分等；分等；2. 主要錯誤的尋找和指正：給出發音、考點、語速、重音等方面的主要錯誤的尋找和指正：給出發音、考點、語速、重音等方面的分檔評價和主要錯誤；分檔評價和主要錯誤；3. 改進建議：針對主要錯誤給出練習改善的建議。改進建議：針對主要錯誤給出練習改善的建議。294.2.1 考試總分統計考試總分統計34分及以上（A檔）34-28分（B檔）28-24分（C檔）24-20分（D檔）20分下（E檔）3341 (80.3%)511 (12.3%)140 (3.4%)82 (2.0%)86 (2.1%)304.2.2 單項分數統計單項分數統計31-4.2.2 發音錯誤比率圖發音錯誤比率圖324.2.2 語速分布圖語速分布圖334.2.3 各大題得分情況分析各大題得分情況分析朗讀短文朗讀短文回答問題回答問題平均分：8.79分 (滿分10分)平均分：8.74 (滿分10分)聽短文或對話回答問題聽短文或對話回答問題復述句子復述句子平均分：9.02分 (滿分10分)平均分：9.44分 (滿