1、第29卷第9期Vol.29No.9計算機工程與設計ComputerEngineeringandDesign2008年5月May2008基于情感識別的智能教學系統研究吳彥文，劉摘偉，張昆明(華中師范大學信息技術系，湖北武漢430079)要：針對傳統的智能教學系統(ITS)在情感方面的缺失，提出了基于情感識別技術的ITS模型。該系統模型在傳統的教學系統上新增情感識別模塊，利用人臉表情識別以及文本識別等技術所構建，可以獲取和識別學生的學習情感，并根據學習情感進行相應的情感激勵策略，實現情感化的教學。關鍵詞：智能教學系統;情感;學習評價;人臉表情識別;情感激勵中圖法分類號：TP391.41文獻標識碼：

2、A文章編號：1000-7024(2008)09-2350-03StudyofintelligenttutoringsystembasedonaffectiverecognitionWUYan-wen,LIUWei,ZHANGKun-ming(DepartmentofInformationTechnology,HuazhongNormalUniversity,Wuhan430079,China)Keywords：intelligenttutoringsystem;emotion;tutoringevaluation;facialexpressionrecognition;affectivesti

3、mulation0引言11.1傳統的ITS及其情感缺失傳統的ITS結構網絡教學是指在現代學習理論的指導下，利用計算機化智能教學系統(intelligenttutoringsystem，ITS)是一種開放式人機交互教學系統，它引入了人工智能的各種技術，模擬人類教師教學，可以更好地實現因材施教并進行有針對性的指導。盡管ITS在教學模式和教學觀念上有了明顯的變化，能夠很好的在Web環境下實現個性化教學，但卻缺失了學習者的情感信息。心理學的研究表明：情感能夠促進或阻止記憶工作、推理操作和問題解決等，因為由情感體驗所構成的心理背景或心理狀態可以影響和調節知覺、記憶和思維等認知過程2。因此，情緒情感必然影

4、響人的學習和工作效率，悲傷的，消極的情緒肯定會影響學習效率的降低。本文將建立具有一定情感激勵功能的ITS，采用人臉面部表情識別技術構建一個情感模型，通過捕捉和識別學習者的面部表情，來判斷其情感狀態，然后根據學習者特定的情感狀態給出相應的情感鼓勵和情感補償策略，從而解決智能教學中學習者情感的缺失，以達到認知與情感相互協調的個性化教學。1的媒體和網絡通訊技術來組織教學、實施教學和進行交流，從而完成教學過程的各個環節。傳統的ITS通常由知識庫、學生模塊、專家模塊、教學模塊和用戶接口5個模塊組成，其中知識庫主要是存放與教學的內容有關的專業知識；學生模塊是表示學生對知識的理解程度，用來反饋學生的學習情況

5、；專家模塊是用來評價學生當前的知識水平，主要用來為教師進行下一步的教學提供信息和依據；教學模塊是用來存儲與教學內容有關的專業知識，以及與教師解決問題的有關求解知識，在適當的教學策略指導下選擇適當的教學內容呈現給學生；用戶接口模塊是學生和系統之間交流信息的橋梁，為學生提供了表達知識和信息的手段。1.2傳統的ITS情感缺失傳統的ITS具有可以實現資源共享、互動性、智能化和個性化教學的優點，但是將文本形式的教材生吞活剝的照搬到網絡上，用簡單乏味的文字資料信息傳輸代替了原本多姿多作者簡介：吳彥文(1971)，女，上海人，博士，副教授，碩士生導師，研究方向為人工智能教育應用、計算智能、移動教育與移動學習

6、的研究等；劉偉(1982)，男，湖北武漢人，碩士研究生，研究方向為情感計算、表情識別、數據挖掘；張昆明(1957)，男，湖北武漢人，實驗工程師，研究方向為管理信息系統。2350彩的“課堂教學”，丟失了教師人性化的教學，對學生來說是冷漠的，是缺乏情感的，這樣勢必引起學生的反感，從而不會產生良好的學習效果3。實際上，一個真正的個性化教學系統，不僅應當具備認知方面的個性化教學功能，而且還應該具有情感方面的個性化教學功能。2基于情感識別的ITS模型情感是人與環境之間某種關系的維持或者改變，當客觀事物或情境與人的需要和愿望符合時會引起人積極肯定的情感，而不符合時則會引起人消極否定的情感4。在教與學活動中

7、，人類的表情是相當豐富的，當教學內容是他們能夠理解和接受的時候，學習者會用微笑等表情來表現情緒高漲的狀態；反之，學習者會用眉頭緊縮、嘴角下垂、低沉喪氣的表情來表示無法理解教學內容。為了能夠讓學習者更有效的自主學習，教師可以通過捕捉這些情感信息，適當的調整教學策略，以提高教學質量。因此，我們在傳統的ITS中加入了情感信息模塊，提出了基于人臉識別技術的ITS，該系統通過捕捉和識別學習者的情感信息，來判定學習者對所學知識的理解和接受情況，從而給出情感激勵或情感補償策略，以提高學習者的學習效果。根據以上討論，給出了基于情感識別的ITS模型(如圖1所示)。該系統在ITS的基礎上增加了情感識別模塊、情感信

8、息處理模塊和學習評價，教學者可以根據學習者的情感變化，適當的進行情感激勵，使教學質量達到最佳，系統模型的主要功能如下：(1)情感識別模塊：在傳統的ITS上增加了情感識別模塊，該模塊主要是由人臉表情識別技術、文本識別技術組成，主要對學生的面部表情特征和文本情感特征進行獲取，并提取有效的情感信息傳遞到情感信息處理模塊。(2)情感信息處理模塊：情感信息處理模塊主要是對獲取的情感信息進行分析、建模和識別，是為了正確的選擇情感信號，計算出學生在學習過程中的表情、語音和姿態的情感反饋數據，對這些數據進行統計和融合，識別出學生的整體情感反應，并做出適當的學習評價。(3)學習評價：通過對學生的情感反應，系統在

9、認知心理學的支持下形成評價結果，給出相應的情感激勵，同時分析和記錄學生不同時期的學習情況和學習情感的變化，并寫入到學生特征信息庫中，以便專家根據學生的特征調整教學策略。(4)學生特征信息庫：主要用來對學生的信息、學習情況、學習特征和情感信息等進行記錄，使用過的系統的學生都會在學生資料庫中有一條記錄，用來記錄和跟蹤他們的學習狀態和學習情感的變化。3關鍵技術的實現3.1人臉的表情識別技術人的臉部表情是人類情感的一種外在表現形式，常常通過臉部表情來表達內心的情感。人臉的表情是多種多樣的，一般對表情的分析可以從維量分析和分類這兩種角度來研究，人類的表情學家Ekman等人經過研究將人類的表情劃分為6類，

10、即高興、憤怒、厭惡、恐懼、悲傷、驚奇，在心理學界和工程界占有主體地位，人類所有的情緒表情都是在以上6種表情的基礎上，經過復雜的融合之后產生的5。人臉表情識別就是指計算機系統通過對人臉的表情信息進行特征提取，根據心理學、認知學的基本理論加以分析和理解，使計算機具有思考和推理情感信息的能力，進而從人臉信息中分析理解人的情緒。它主要包括3種步驟，首先必須檢測和定位人臉，然后提取面部表情數據，最后進行表情分類識別。本文就對基本的3種表情(平靜、高興、悲傷)粗略的進行分類和識別，根據嘴角和嘴中心的連線與眉心和嘴中心連線之間的夾角不同提出了一種人臉表情識別的算法，先是面部特征點的標注，對所標注的特征點進行

11、精確定位，利用貝塞爾曲線來進行特征點表情重構的二維圖像，貝塞爾曲線數學表達式如下=¡Ü1)(1)=0,1,2,¡ª¡ª¶þÏîʽϵͳ=3時有=3113¡¢×ìÖÐÐĵ㣬ͨ¹ýÁ½µã¼ä¾

12、4;À빫ʽ£¬Ëã³öÁ½µã¼äµÄ¾àÀ룬ÓÐÁË3邊的距離再用三角形余弦定理見式(4)，就可以算出嘴角和嘴中心的連線和眉心與嘴中心連線的中軸線之間夾角+¡ª¡ªÁ½ÖÐÖáÏ

13、ßÖ®¼äµÄ¼Ð½Ç¡£Èç¹û¼Ð½ÇСÓÚ90°則是高興，而夾角2351x角ayz圖2表情識別算法在學習過程中，當學習者開始對新知識進行學習時，可能會表現出正面或負面的學習情感，對學生的情感狀態進行檢測和分析，并判斷學生的情感狀態，如果學習者是處于正面的情感，這樣的狀態是積極的，有助于學習者繼續進行知識的學習。如果學習者是處于負面

14、的情感狀態，使他停止學習，判斷其負面情感類型，并對其進行相應的情感激勵，比如隨著學習過程的推進，學習者在解決一個問題的時候，屢次失敗，他會產生灰心的情感狀態，系統會監視和定位此種狀態，及時的給出鼓勵的情感激勵，讓他能充滿對學習的向往，對下一個知識點產生興趣。我們對學習者情感的變化進行監測和分析，采用情感激勵策略對學生的情感狀態進行調整，使學習者對知識的學習產生興趣，實現情感化的教學。該情感激勵策略的流程圖如圖3所示。在具體的實現過程中，情感激勵主要是指教學內容與學生積極情緒經驗相一致，能夠激發學生的求知欲，同時提高學習者積極的情緒的策略；針對學生的個性和學習方式的不同，也可以通過文本、語音的情

15、感分析對學習者進行情感激勵，生成情感激勵策略，并可以把它們存放在教學策略庫中，系統可以動態的添加或者更新庫，并且可以采用視頻或者文本圖片的方式給學生選擇最適合的情感激勵。3.3實驗結果分析為了測試情感模型在ITS中能夠促進學習者的學習效果，我們選取了華中師范大學自修學院的46名計算機專業的學2352生對某一課程的學習進行實驗，對其分成兩組，其中一組加入情感模型來訓練，對學生的情感信息進行識別和激勵，實驗結果如表1所示。17(降低)(降低)25.5實驗結果表明：加入情感模型的第一組的每人平均成績變化量的相對值是處于正數，該組的成績明顯有所提高，可見，情感信息的識別和激勵對促進學生的學習效果的有一

16、定的幫助。4結束語情感計算作為剛剛興起的技術得到了廣泛的關注，把情感技術引入到ITS中必將使學習方式產生巨大的變革。本文在ITS上加入了情感識別技術，通過捕捉和識別學習者的情感信息，給出相應的情感激勵，為學習者提供個性化的學習環境，提出了基于人臉識別技術的ITS，以達到認知與情感相互協調的個性化教學。但是，在很多方面還需要進一步的改進和完善，比如人臉識別的特征點的提取以及識別分類算法，提高表情識別的精度，建立更加適應于情感識別的智能教學模型，研究更加符合學生心理和認知的情感教學策略模型。參考文獻:1李靜,周竹榮.智能教學系統新進展J.計算機應用研究,2005,22(12):15-20.2張春興.現代心理學M.上海:上海人民出版社,2005.3劉景福,鐘志賢.網絡教育的情感缺失現狀及其對策J.中國遠程教育,2001(6):15-17.4傅小蘭.電子學習中的情感計算J.計算機教育,2004(12):27-30.5楊國亮,王志良.情感建模研究進展J.自動化技術與應用,2004,23(11):1-4.6王國江,王志良,楊國亮,等.人工情感研究綜述J.計算機應用研究,2006,23(11):7-11.7JuanMartínez-Miranda,ArantzaAldea.Emotionsinhumanandarti