1、姓名：姓名： 張京彬張京彬?qū)I(yè)：專業(yè)： 教育技術(shù)學(xué)教育技術(shù)學(xué)研究方向：計(jì)算機(jī)教育應(yīng)用研究方向：計(jì)算機(jī)教育應(yīng)用指導(dǎo)教師：何克抗指導(dǎo)教師：何克抗 教授教授網(wǎng)絡(luò)教學(xué)質(zhì)量保障體系的理論技術(shù)與實(shí)踐2001.3.261、問題的提出2、國內(nèi)外的研究現(xiàn)狀3、課題研究的主要內(nèi)容4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè) 5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā) 6、研究思路和技術(shù)路線 1、問題的提出v問題提出的背景互聯(lián)網(wǎng)絡(luò)的出現(xiàn)并廣泛普及和互聯(lián)網(wǎng)絡(luò)在技術(shù)上的先進(jìn)性和包容性信息社會(huì)的“終身學(xué)習(xí)”理念已經(jīng)深入人心目前，我們國家批準(zhǔn)了50余所網(wǎng)絡(luò)學(xué)院招生，需要確保學(xué)員質(zhì)量需要切實(shí)提高教學(xué)測(cè)評(píng)的效率和反饋的高效性v進(jìn)行課題研究的重要意義可開發(fā)出具有自主

2、知識(shí)產(chǎn)權(quán)的、適應(yīng)于各種形式網(wǎng)絡(luò)教育需要的軟件系統(tǒng)；有助于減輕教師的負(fù)擔(dān)，幫助學(xué)員詳細(xì)了解知識(shí)點(diǎn)掌握情況，鞏固所學(xué)，提高認(rèn)知和解決問題的能力，科學(xué)的衡量教師的勞動(dòng)量 對(duì)深化教育信息化的進(jìn)程，進(jìn)行教育改革，減輕學(xué)生負(fù)擔(dān)有著深遠(yuǎn)的意義課題所取得的成果可直接為開展網(wǎng)絡(luò)教育的學(xué)校提供相應(yīng)的工具支持服務(wù)，并可推廣到其它教育培訓(xùn)服務(wù)部門，可取得明顯的經(jīng)濟(jì)效益和社會(huì)效益2、國內(nèi)外的研究現(xiàn)狀（1/4）v理論方面理論方面，近幾年來有較大發(fā)展，尤其在網(wǎng)絡(luò)題庫的建設(shè)理論、對(duì)學(xué)生成績(jī)的評(píng)價(jià)分析等方面有較大進(jìn)展，但是總體說來還沒有形成完整的網(wǎng)絡(luò)測(cè)評(píng)的理論體系，基本上是傳統(tǒng)教學(xué)中的評(píng)測(cè)理論向網(wǎng)絡(luò)方向的遷移，存在的問題主要是

3、:測(cè)評(píng)理論沒有充分體現(xiàn)量化和非量化、主觀和客觀、過程性和總結(jié)性的緊密結(jié)合，對(duì)過程性評(píng)價(jià)重視不夠沒有全面定義網(wǎng)絡(luò)教學(xué)測(cè)評(píng)需要檢測(cè)的測(cè)評(píng)要素及其合理區(qū)間，不能科學(xué)的反映教師的工作量和學(xué)生的學(xué)習(xí)量2、國內(nèi)外的研究現(xiàn)狀（2/4）v系統(tǒng)構(gòu)建方面整體情況目前，各地出現(xiàn)了一批網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)和或?qū)崿F(xiàn)類似功能的系統(tǒng)，如上海電視大學(xué)的網(wǎng)上教學(xué)支持工具、上海交通大學(xué)遠(yuǎn)程教育中心開發(fā)的遠(yuǎn)程考試系統(tǒng)、北京師范大學(xué)的VClass網(wǎng)絡(luò)教學(xué)系統(tǒng)、清華云舟網(wǎng)絡(luò)評(píng)價(jià)系統(tǒng)、寶冠多媒體網(wǎng)絡(luò)教室等，另外一些有條件的中學(xué)也開發(fā)設(shè)計(jì)了一批功能類似的系統(tǒng)。但是從整體上看，存在著課程、試題、試卷、作業(yè)等教學(xué)資源不易管理，系統(tǒng)功能整合不夠，測(cè)評(píng)反

4、饋信息不充分等方面的問題，部分系統(tǒng)采用了聯(lián)機(jī)測(cè)評(píng)的形式，但是專用的系統(tǒng)，需要針對(duì)不同的測(cè)評(píng)內(nèi)容，做不同的程序開發(fā)，系統(tǒng)通用性較差，一般的非計(jì)算機(jī)專業(yè)的人員難以掌握。總的說來，目前現(xiàn)有測(cè)評(píng)系統(tǒng)的功能還不能令人滿意，還沒有形成統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。2、國內(nèi)外的研究現(xiàn)狀（3/4）v系統(tǒng)構(gòu)建方面具體情況現(xiàn)有系統(tǒng)的主要問題在于：大部分系統(tǒng)的試題、試卷和作業(yè)僅僅支持文本類材料，不支持公式符號(hào)、圖片、視音頻、動(dòng)畫等材料，不支持多媒體試題和多媒體試卷/作業(yè)，遠(yuǎn)遠(yuǎn)沒有發(fā)揮計(jì)算機(jī)網(wǎng)絡(luò)的強(qiáng)大的計(jì)算優(yōu)勢(shì)大部分系統(tǒng)不具有充分的開放性，沒有定義試題、試卷、作業(yè)等資源的導(dǎo)入導(dǎo)出格式標(biāo)準(zhǔn)，沒有提供批量導(dǎo)入和導(dǎo)出工具，不能在廣大范

5、圍內(nèi)收集資源大部分系統(tǒng)功能較簡(jiǎn)單，系統(tǒng)工具少，或者只是試題和試卷/作業(yè)的簡(jiǎn)單匯編，缺少對(duì)試題庫、試卷庫、作業(yè)庫、學(xué)生成績(jī)庫的深層次的統(tǒng)計(jì)分析、教學(xué)診斷和教學(xué)形成性評(píng)價(jià)的支持，不能從海量的原始數(shù)據(jù)中挖掘出有價(jià)值的教育過程信息2、國內(nèi)外的研究現(xiàn)狀（4/4）v系統(tǒng)構(gòu)建方面現(xiàn)有系統(tǒng)的主要問題在于：有些系統(tǒng)性能低下，同時(shí)支持的在線試卷/作業(yè)數(shù)量較少，遠(yuǎn)遠(yuǎn)達(dá)不到系統(tǒng)運(yùn)行的規(guī)模化效應(yīng)有些系統(tǒng)的統(tǒng)計(jì)分析功能簡(jiǎn)單，僅向用戶提供總分、各題得分，班級(jí)平均分、標(biāo)準(zhǔn)差等經(jīng)過簡(jiǎn)單計(jì)算的統(tǒng)計(jì)數(shù)據(jù)，而沒有對(duì)得到的統(tǒng)計(jì)數(shù)據(jù)進(jìn)行解釋和說明，對(duì)用戶的反饋信息千篇一律，沒有更好體現(xiàn)個(gè)別化教學(xué)的思想，缺少深層次的教學(xué)診斷性信息和教學(xué)形

6、成性評(píng)價(jià)信息 總的說來，目前我國的網(wǎng)絡(luò)教學(xué)質(zhì)量測(cè)評(píng)方面的建設(shè)，無論在理論上還是在系統(tǒng)建構(gòu)上都還處于起步階段，還沒有統(tǒng)一的標(biāo)準(zhǔn)和規(guī)范。 3、本課題研究的主要內(nèi)容（1/3）v針對(duì)國內(nèi)外的研究現(xiàn)狀，本課題的研究重心分為三個(gè)部分，如下：真正從網(wǎng)絡(luò)教學(xué)的特點(diǎn)出發(fā)，建立較為完整的網(wǎng)絡(luò)教學(xué)測(cè)評(píng)系統(tǒng)體系結(jié)構(gòu)，明確網(wǎng)絡(luò)教學(xué)測(cè)評(píng)的理論基礎(chǔ)，科學(xué)定義網(wǎng)絡(luò)教學(xué)測(cè)評(píng)需要檢測(cè)的測(cè)評(píng)要素及其合理區(qū)間等；充分考慮目前網(wǎng)絡(luò)測(cè)評(píng)現(xiàn)狀，針對(duì)目前測(cè)評(píng)系統(tǒng)的缺陷，構(gòu)建具有充分開放性的、基于WEB的網(wǎng)絡(luò)教學(xué)測(cè)評(píng)體系框架。3、本課題研究的主要內(nèi)容（2/3）v課題的研究重心之二：設(shè)計(jì)并開發(fā)網(wǎng)絡(luò)教學(xué)質(zhì)量測(cè)評(píng)系統(tǒng)。針對(duì)目前國內(nèi)類似系統(tǒng)的不足，依

7、托CERNET等高速網(wǎng)絡(luò)環(huán)境，對(duì)網(wǎng)絡(luò)教學(xué)所需的網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)及其規(guī)范的關(guān)鍵技術(shù)開展攻關(guān)研究，開發(fā)具有自主知識(shí)產(chǎn)權(quán)的，可適應(yīng)各種形式網(wǎng)絡(luò)教育活動(dòng)需要的軟件系統(tǒng)，主要實(shí)現(xiàn)課程和知識(shí)點(diǎn)大綱管理，標(biāo)準(zhǔn)化試題庫系統(tǒng)的建立和管理，各類公式符號(hào)的編輯、存儲(chǔ)和多媒體類型試題標(biāo)準(zhǔn)的建立和實(shí)現(xiàn)，各種組卷策略和組卷算法的優(yōu)化整理，規(guī)范試卷/作業(yè)的生成、打包、發(fā)布和導(dǎo)入導(dǎo)出，在線測(cè)試、答案回收和監(jiān)考管理，以及學(xué)生樣本的智能選取、試卷的自動(dòng)化批改、點(diǎn)評(píng)和個(gè)性化分析等，并結(jié)合量化和非量化的因素給出測(cè)評(píng)報(bào)告。3、本課題研究的主要內(nèi)容（3/3）v課題的研究重心之三：在實(shí)踐上，針對(duì)課題在理論探討和所設(shè)計(jì)開發(fā)的網(wǎng)絡(luò)教學(xué)質(zhì)量測(cè)評(píng)系統(tǒng)

8、的基礎(chǔ)上，選取目前正在營運(yùn)的一到兩所網(wǎng)絡(luò)學(xué)院作為試驗(yàn)基地，對(duì)課題研究成果進(jìn)行驗(yàn)證并推向?qū)嶋H應(yīng)用，實(shí)地安裝并運(yùn)行該軟件系統(tǒng)，對(duì)所收集的數(shù)據(jù)和系統(tǒng)運(yùn)行結(jié)果進(jìn)行分析比較，根據(jù)所得結(jié)果對(duì)課題的理論和測(cè)評(píng)系統(tǒng)的建構(gòu)進(jìn)行進(jìn)一步的修訂和完善。4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：基本理論基礎(chǔ)基本理論基礎(chǔ)特點(diǎn)特點(diǎn)類別類別對(duì)象對(duì)象要素要素過程過程網(wǎng)絡(luò)教學(xué)測(cè)評(píng)網(wǎng)絡(luò)教學(xué)測(cè)評(píng)5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā)（1/3）v系統(tǒng)主要指標(biāo)和功能指標(biāo)： 支持對(duì)課程、知識(shí)點(diǎn)大綱體系的管理支持公式等特殊符號(hào)的錄入，圖片、視音頻、動(dòng)畫等材料的錄入提供現(xiàn)代教育技術(shù)領(lǐng)域中比較前沿的多種組卷策略和組卷算法，實(shí)現(xiàn)規(guī)范試卷/作業(yè)的自動(dòng)生成和手

9、動(dòng)生成、策略生成等多種成卷方式；支持規(guī)范試卷/作業(yè)的打包、發(fā)布和導(dǎo)入、導(dǎo)出功能系統(tǒng)支持實(shí)施網(wǎng)上測(cè)試的各個(gè)環(huán)節(jié)，支持用戶在線測(cè)試、答案回收和智能監(jiān)考管理；支持學(xué)生樣本的智能選取、試卷的自動(dòng)化批改、點(diǎn)評(píng)和個(gè)性化分析等功能提供基于數(shù)據(jù)倉庫的試題庫、試卷庫、作業(yè)庫的數(shù)據(jù)分析合數(shù)據(jù)挖掘功能提供模板化的解決方案，系統(tǒng)采用模塊化開發(fā)技術(shù)5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā)（2/3）v系統(tǒng)體系結(jié)構(gòu)圖：標(biāo)準(zhǔn)多媒體試題庫模塊標(biāo)準(zhǔn)多媒體試題庫模塊規(guī)范試卷庫和測(cè)試模塊規(guī)范試卷庫和測(cè)試模塊評(píng)價(jià)分析、數(shù)據(jù)挖掘評(píng)價(jià)分析、數(shù)據(jù)挖掘系統(tǒng)層多媒體試題庫個(gè)人級(jí)多媒體試題庫評(píng)價(jià)指標(biāo)體系庫個(gè)人級(jí)多媒體試題庫學(xué)生成績(jī)庫系統(tǒng)參數(shù)庫系統(tǒng)多媒體試題庫評(píng)

10、價(jià)分析庫多媒體作業(yè)庫組卷策略庫系統(tǒng)工具模塊系統(tǒng)工具模塊試卷和測(cè)試支持工具多媒體試題庫支持工具作業(yè)和在線自測(cè)支持工具評(píng)價(jià)分析、數(shù)據(jù)挖掘支持工具系統(tǒng)管理、系統(tǒng)設(shè)置支持工具開放審核下傳使用組卷策略庫模塊組卷策略庫模塊組卷策略向?qū)Ш湍０逄砑觿h除修改屬性在線批閱點(diǎn)評(píng)展示教學(xué)輔導(dǎo)在線瀏覽在線測(cè)試屏幕鎖定時(shí)間限制考場(chǎng)規(guī)則答案回收試卷組卷策略向?qū)Э傮w參數(shù)測(cè)試對(duì)象分?jǐn)?shù)分配規(guī)范作業(yè)庫和自測(cè)模塊規(guī)范作業(yè)庫和自測(cè)模塊教學(xué)輔導(dǎo)自我校對(duì)小組協(xié)作在線測(cè)試在線自測(cè)作業(yè)生成策略向?qū)Э傮w參數(shù)測(cè)試對(duì)象分?jǐn)?shù)分配知識(shí)點(diǎn)選擇題目選擇題型題量生成答案?jìng)€(gè)人評(píng)價(jià)課程知識(shí)點(diǎn)分析用戶分析試卷庫分析和數(shù)據(jù)挖掘作業(yè)庫分析和數(shù)據(jù)挖掘試題庫分析組卷策略管

11、理工具系統(tǒng)工具標(biāo)準(zhǔn)多媒體試題庫組卷策略庫規(guī)范試卷庫和測(cè)試規(guī)范作業(yè)庫和自測(cè)評(píng)價(jià)分析和數(shù)據(jù)挖掘5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā)（3/3）v系統(tǒng)關(guān)鍵技術(shù)和主要模塊描述系統(tǒng)工具模塊多媒體試題庫模塊多媒體試卷庫和測(cè)試模塊評(píng)價(jià)分析和數(shù)據(jù)挖掘試題、試卷和作業(yè)資源的導(dǎo)入與導(dǎo)出試卷、作業(yè)的展示與共享6、研究思路和技術(shù)路線（3/3）v系統(tǒng)關(guān)鍵技術(shù)和主要模塊描述4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（1）網(wǎng)絡(luò)測(cè)評(píng)基本理論基礎(chǔ)返返 回回1、建構(gòu)主義理論2、教育測(cè)量與教育統(tǒng)計(jì)學(xué)3、教育評(píng)價(jià)學(xué)提供目標(biāo)與決策方面的指導(dǎo)提供方法上的指導(dǎo)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（2）網(wǎng)絡(luò)測(cè)評(píng)的特點(diǎn)測(cè)評(píng)對(duì)象廣泛量化和非量化、主觀和客觀、過程性和總

12、結(jié)性測(cè)評(píng)的緊密結(jié)合縮短評(píng)價(jià)周期，對(duì)評(píng)價(jià)結(jié)果可以給以及時(shí)的反饋可以對(duì)運(yùn)用現(xiàn)代教育技術(shù)實(shí)施的智能教學(xué)，如對(duì)探索、發(fā)現(xiàn)、競(jìng)爭(zhēng)、協(xié)作、角色扮演等一系列教學(xué)策略的教學(xué)效果進(jìn)行有效評(píng)價(jià)降低了測(cè)評(píng)的技術(shù)要求和費(fèi)用返返 回回4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（3）網(wǎng)絡(luò)測(cè)評(píng)的類別配置性評(píng)價(jià)測(cè)量現(xiàn)有知識(shí)和能力，了解知識(shí)背景、學(xué)習(xí)條件、學(xué)習(xí)要求、學(xué)習(xí)態(tài)度等，據(jù)此進(jìn)行教學(xué)設(shè)計(jì)、選擇教學(xué)進(jìn)度、策略和方法形成性評(píng)價(jià)測(cè)量知識(shí)掌握和試卷作業(yè)情況、階段教學(xué)效果和學(xué)習(xí)進(jìn)展、存在問題，了解學(xué)習(xí)者主動(dòng)性、態(tài)度，并給出描述、提醒和建議總結(jié)性評(píng)價(jià)評(píng)定教學(xué)目標(biāo)的達(dá)到程度，給出教學(xué)與學(xué)習(xí)效果的最終評(píng)價(jià)結(jié)論，并給出量化和非量化結(jié)合的

13、評(píng)測(cè)報(bào)告。 返返 回回4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（4）網(wǎng)絡(luò)測(cè)評(píng)的對(duì)象返返 回回4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（5）網(wǎng)絡(luò)測(cè)評(píng)的要素針對(duì)不同測(cè)評(píng)對(duì)象和目標(biāo)，網(wǎng)絡(luò)教學(xué)從對(duì)多個(gè)評(píng)價(jià)要素的檢測(cè)和記錄而獲得評(píng)價(jià)的信息和數(shù)據(jù)。對(duì)于非量化要素，主要通過調(diào)查問卷、主觀評(píng)價(jià)、和軼事記錄方式；對(duì)于量化要素，主要通過測(cè)試和對(duì)系統(tǒng)資源的訪問記錄進(jìn)行。量化評(píng)價(jià)要素主要包括（1）用戶登錄與注銷時(shí)間（2）提出/解答問題數(shù)量,瀏覽問題的次數(shù)和提供解決方案次數(shù)（3）發(fā)表的文章及數(shù)據(jù)總量（4）聊天室發(fā)言次數(shù)及發(fā)言數(shù)據(jù)量（5）頁面瀏覽范圍和次數(shù)（6）課程當(dāng)前學(xué)習(xí)位置（7）試卷和作業(yè)完成情況與得分（8）

14、上載數(shù)據(jù)量（9）課件運(yùn)行時(shí)間和間隔（10）課件和教學(xué)材料應(yīng)用次數(shù)（11）系統(tǒng)工具利用頻率等 非量化評(píng)價(jià)要素主要包括（1）各類測(cè)評(píng)量表（2）評(píng)語、軼事記錄、進(jìn)度、態(tài)度、習(xí)慣、想法等（3）活動(dòng)記錄日志（4）用戶之間的相互反饋信件及記錄等返返 回回4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)v網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)：（2）網(wǎng)絡(luò)測(cè)評(píng)的過程返返 回回4、網(wǎng)絡(luò)測(cè)評(píng)理論的建設(shè)確定評(píng)價(jià)對(duì)象和目標(biāo)依據(jù)權(quán)重進(jìn)行處理統(tǒng)計(jì)搜集信息有效性誤差檢查生成試卷問卷量表診斷表分析信息并進(jìn)行綜合判斷反饋前評(píng)價(jià)反饋反饋后評(píng)價(jià)前次評(píng)價(jià)活動(dòng)后次評(píng)價(jià)活動(dòng)準(zhǔn)備階段實(shí)施階段 結(jié)果處理階段 結(jié)果反饋階段選擇信息來源和處理方法測(cè)試或者發(fā)放評(píng)價(jià)量表給出評(píng)價(jià)報(bào)告和解釋5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā)（3/3）v系統(tǒng)工具模塊 系統(tǒng)工具模塊提供對(duì)課程知識(shí)點(diǎn)庫、用戶管理、系統(tǒng)整體設(shè)置、多媒體試題設(shè)置、多媒體試卷/作業(yè)庫、測(cè)評(píng)過程等方面的全面支持，主要包括： 課程知識(shí)點(diǎn)管理工具課程知識(shí)點(diǎn)管理工具 班級(jí)管理工具班級(jí)管理工具 系統(tǒng)設(shè)置工具系統(tǒng)設(shè)置工具 多媒體試題庫管理工具多媒體試題庫管理工具 多媒體試卷多媒體試卷/ /作業(yè)管理工具和測(cè)試工具作業(yè)管理工具和測(cè)試工具 智能樣本選取工具智能樣本選取工具 評(píng)價(jià)分析數(shù)據(jù)挖掘工具評(píng)價(jià)分析數(shù)據(jù)挖掘工具返返 回回5、網(wǎng)絡(luò)測(cè)評(píng)系統(tǒng)的設(shè)計(jì)開發(fā)（