情感語音識別研究綜述

導師：陶智肖仲喆研究生：沈燕內容概要課題背景及意義情感語音研究綜述研究方向選擇課題背景及意義語音是人類最有效、最自然的交流溝通手段,除了包含語義信息外,還攜帶有豐富的情感信息。人們的情感包括生理上的感覺，認知以及人們的行為舉止。情感語音識別可應用于聾啞人學說話；電視調臺；熱線電話。研究綜述——涉及的問題語音情感分類學語音庫聲學參量分類方法研究綜述-語音情感分類學情感語音并沒有統一的模型空間情感模型

情感輪等離散情感模型

高興，憤怒，悲傷，平靜，害怕，厭惡每類模型內部無定論模型的選取依賴于應用[1]林奕琳,韋崗,楊康才,語音情感識別的研究進展.電路與系統學報,2007.12(1):第90-98頁.研究綜述-語音庫的選擇現有的情感語言庫有很多公開庫，私有庫，商用庫[2]I.S.EngbergandA.V.Hansen,“DocumentationoftheDanishEmo-tionalSpeechDatabase(DES),”InternalAAUreport,CenterforPersonKommunikation,Denmark,1996.[3]F.Burkhardt,A.Paeschke,M.Rolfes,W.Sendlmeier,B.Weiss,AdatabaseofGermanemotionalspeech,in:ProceedingsoftheInterspeech2005,Lissabon,Portugal,2005,pp.1517–1520.名稱性質語言Berlinemotionaldatabase[2]公開庫德語Danishemotionaldatabase[3]公開庫丹麥語Natural私有庫普通話BabyEars私有庫英語研究綜述-聲學參量情感語音的最佳特征：全局統計特征&局部特征

特征參數優化多類特征組合[4]M.E.Ayadi,M.S.Kamel,andF.Karray,“SurveyonSpeechEmotionRecognition:Features,ClassificationSchemes,andDatabases,”PatternRecognition,vol.44,no.3,pp.572-587,Mar.2011.研究綜述-情感語音的最佳特征SpeechFeaturesContinuousQualitativeSpectralTEO-BasedPitchDurationFormantsVoicequality:happy,tense,angryLPCCMFCC[5]Kim,E.H.,Hyun,K.H.,“ImprovedEmotionRecognitionWithaNovelSpeaker-IndependentFeature,”IEEETransactionsonMechatronics,2009,14(3):317-325.[6]H.Teager,Someobservationsonoralairflowduringphonation,IEEETrans.Acoust.SpeechSignalProcess.1990,28(5):599–601.研究綜述-特征參數優化

浮動前向選擇（SFFS）主成分分析（PCA）線性判別分析（LDA）[7]D.VerveridisandC.Kotropoulos,“AutomaticSpeechClassificationtofiveemotionalstatesbasedongenderinformation,”inProc.12thEuropeanSignalProcessingConf.,pp.341-344,Vienna,September,2004.[8]Z.Chuang,C.Wu,Emotionrecognitionusingacousticfeaturesandtextualcontent,MultimediaandExpo,2004.IEEEInternationalConferenceonICME’04,vol.1,2004,pp.53–56.[9]M.You,C.Chen,J.Bu,J.Liu,J.Tao,Emotionrecognitionfromnoisyspeech,in:IEEEInternationalConferenceonMultimediaandExpo,2006,2006,pp.1653–1656l.研究綜述-多類特征組合

結合韻律特征與語意信息結合韻律特征、語意信息以及語言結構結合韻律特征以及視頻信息（人臉識別）[10]Chung-HsienWu,Wei-BinLiang,“EmotionRecognitionofAffectiveSpeechBasedonMultipleClassifiersUsingAcoustic-ProsodicInformationandSemanticLabels,”IEEETransactionsonAffectiveComputing,2011,2(1):10-21.[11]T.Otsuka,J.Ohya,Recognizingmultiplepersons’facialexpressionsusinghmmbasedonautomaticextractionofsignificantframesfromimagesequences,in:ProceedingsoftheInternationalConferenceonImageProcessing(ICIP-97),1997,pp.546–549.研究綜述-分類方法

GMM，SV