1、一種輔助聾啞兒童漢語發音的教師系統的研究Research on Mandarin Computer Aided Language Learning System for Deaf Children,清華大學生物醫學工程系 答辯學生：劉 剛 指導教師：葉大田 答辯時間： 2007-06-14,內容安排,課題背景,語音信號處理(DSP),二,語音信號識別(ASR),三,CALL系統設計和實現方法,四,總結與展望,五,一,一、課題背景,1.背景 聽力語言障礙的殘疾人 2057萬 7歲以下聾兒 80萬,一、課題背景,聽力障礙發生機理以及解決方法： 器械型康復治療 代償型康復治療 更多方案? 計算機輔助

2、語言學習 (Computer-Aided Language Learning) CALL,一、課題背景,你是語言學家嗎?,你是醫生嗎?,一、課題背景,聾兒 語音,標準 語音,本課題研究方法,DSP+ASR,二、語音信號處理(語音學知識),）語音信號的產生,二、語音信號處理(語音學知識),2）漢語語音的基本特性 漢字音節= 聲母 +（韻母+聲調） 聲調 聲調基頻軌跡,二、語音信號處理(預處理),3)預處理流程,三、語音信號識別(DTW),1) DTW（Dynamic Time Warping）,M,T(i-1),R(j),R(j-1),T(i),N,三、語音信號識別(HMM),s2,t,0.7,

3、s1,s3,0.8,0.7,i,a,0.3,0.2,Frames,s4,1.0,n,0.3,）HMM（Hidden Markov Model）,tian2,四、 CALL系統設計和實現方法,系統結構框圖,四、 CALL系統設計和實現方法,4.1 聲母學習系統 4.1.1 語音原始數據的采集以及預處理 教師聲母語音(DATA_I_D_TR, DATA_I_D_TE ) 同學聲母語音(DATA_I_I_TR, DATA_I_I_TE ) 教師韻母語音(DATA_F_D_TR, DATA_F_D_TE ) 同學韻母語音(DATA_F_I_TR, DATA_F_I_TE ) 聲調語音DATA_Hum_

4、Tone 音節語音DATA_Syllable_Tone， 錄制參數： 抽樣頻率fs為16kHz，量化比特數為16，以wav語音文件格式保存，保存類型為：Windows PCM。,四、 CALL系統設計和實現方法,4.1.2 模型的建立(Bottom-Top),CALL,四、 CALL系統設計和實現方法,4.1.2 模型的建立(Bottom-Top),四、 CALL系統設計和實現方法,4.1.3 模型的參數優化確定 特征參數的選取 聲母HMM模型的狀態數 輸出概率分布函數的類型 訓練輪數,四、 CALL系統設計和實現方法,4.1.3.1 特征參數選取,四、 CALL系統設計和實現方法,4.1.3

5、.2 輸出概率分布函數的類型確定 數據流（Stream）結構 混合高斯（Gaussian Mixture）混合個數 當HMM狀態數設置為4時，集內測試和集外測試的識別率分別固定為：97.74% 和95.24%,四、 CALL系統設計和實現方法,4.1.3.3 聲母HMM模型的狀態數的確定,集外測試,集內測試,四、 CALL系統設計和實現方法,4.1.3.4 訓練輪數的確定,四、 CALL系統設計和實現方法,4.1.4 聲母模型的訓練,四、 CALL系統設計和實現方法,4.1.5 聲母系統的建立 聲母基準系統IBS（Initial Benchmark System)：絕對標準 聲母同學系統ICS

6、（Initial Classmate System )：相對標準,四、 CALL系統設計和實現方法,4.2 韻母系統的建立 韻母基準系統FBS（Final Benchmark System)：絕對標準 韻母同學系統FCS（Final Classmate System )：相對標準,四、 CALL系統設計和實現方法,4.3 聲調學習系統的建立 4.3.1 自相關函數,四、 CALL系統設計和實現方法,4.3.2 基頻軌跡,四、 CALL系統設計和實現方法,4.3.3 DTW模式匹配試驗 兩組帶調音匹配距離矩陣 兩組帶調哼音匹配距離矩陣,四、 CALL系統設計和實現方法,bo1 教師語音 教師音高

7、 學生語音 學生音高 ai4 教師語音 教師音高 學生語音 學生音高,四、 CALL系統設計和實現方法,4.3.6 聲調學習系統的設計 4.3.6.1 方案一：哼音聲調學習法 4.3.6.2 方案二：音節帶調學習法,四、 CALL系統設計和實現方法,4.4.1 視覺反饋 這主要是指系統提供的視覺類的輔助發音信息。包括： 文本信息； 數據信息； 圖形信息. 4.4.2 聽覺反饋 語音 音高,學習對象選擇區,聽覺反饋,視覺反饋,BC8754E67F4EB1325B,四、 CALL系統設計和實現方法,4.5 方案可行性研究 為了檢測本系統用于聾啞兒童語音教學的可行性，針對“b”作了兩組對比實驗：隨機

8、抽取聽力正常者3男3女共6人， 實驗一：受試者在無任何視聽先驗的情況下做發音測試； 實驗二：借助系統提供的可視反饋做發音測試。,五、總結與展望,總結 1) 確定合適的聲學特征。 2) 建立并優化HMM模型。 3) 提出“哼音聲調學習法”。 4) 設計了合理的反饋方式。 展望 1) 針對發音人的口型作圖像處理。 2）設計專家系統 3）針對聾啞兒童做更多地分析 學習聽音-發音-理解語音,致 謝,衷心感謝導師葉大田教授對本人的精心指導，她的言傳身教將使我終生受益。 感謝宮琴副教授,丁海艷老師對論文的嚴格監督和要求。 感謝田珍，陳世雄等實驗室同學的幫助和支持。 感謝在實驗中，參與錄制語音的生醫系內外的多位同學。 感謝閻志進舍友創造的和諧宿舍環境,學術論文,劉剛，葉大田. 針對漢語聲母發音的輔助教師系統