1、    計算機自適應測驗中沉思沖動型認知風格、能力水平、試題難度與試題作答時間的關系分析    摘要：伴隨著教育測量與評價理論的發展，試題作答時間已被逐步納入被試能力水平的計算模型。因此，在計算機自適應測驗中，試題作答時間的影響因素及其關系是否會隨正答概率的變化而變化，受到了研究者的持續關注。文章旨在探討在不同正答概率條件下，自適應性測驗中被試的沉思沖動型認知風格、能力水平、試題難度與試題作答時間之間的關系。通過多組分析模型，文章發現測驗環境由難變易時，個體差異與試題特征對試題作答時間的總效應顯著減少，這有利于提高測驗結果的精確性和有效性，并改善測驗的公

2、平性。關鍵詞：計算機自適應測驗，認知風格，能力水平，試題難度，試題作答時間基金項目：本文為全國教育科學“十三五”規劃課題“計算機自適應測驗中認知風格對試題應答時間的影響機制”（項目編號：bba170069）的階段性研究成果。隨著現代測量理論和計算機技術的發展，計算機自適應測驗（computerized adaptive testing，cat）因能為被試提供與其能力相匹配的試題，并能在最大程度上反映出被試真實的能力水平，受到教育測量與評價領域內研究者的廣泛關注。一般情況下，cat使用最大信息量法進行選題。在單參數或雙參數模型下，被試的正答概率（p）是0.5，然而，häusler等1發

3、現，在cat中，施測較容易的試題（如p=0.7）能夠在提高被試考試動機的同時，并不損害測驗的信度和效度。與紙筆測驗不同的是，cat是一種基于計算機的測驗，它不僅可以記錄試題作答結果，還可以記錄試題作答時間。伴隨著教育測量與評價理論的發展，試題作答時間已被逐步納入被試能力水平的計算模型，因而與cat中試題作答時間相關的因素以及這些因素之間的關系是否會隨正答概率的變化而變化，受到了研究者的持續關注。以往研究發現，試題作答時間與被試的能力水平和試題難度有關2，不同被試間試題作答時間的差異可通過認知風格來解釋3。因而，本研究將探討不同正答概率下認知風格、能力水平和試題難度對cat試題作答時間的影響，期

4、待所得研究結果可為提高測驗結果的精確性和公平性提供指導。一研究綜述1認知風格對能力水平和試題作答時間的影響認知風格具體表現在個體對外界信息刺激的感知、注意、思維、記憶和解決問題過程中所偏愛、習慣化的態度和方式。其中，最常見的一種認知風格類型是沉思沖動型認知風格kagan等4將此風格定義為個體做決定時在應答速度和準確性上存在的差異：沉思型個體傾向于認真思考，用充足的時間審視問題、分析問題、尋找解決方法、確定最佳方案；而沖動型個體傾向于快速給出一個可能的答案。sulisawati等5發現，在學習和記憶的所有評測指標上，沖動型個體明顯少于沉思型個體。2能力水平對試題作答時間的影響能力水平與試題作答時

5、間的關系在不同的實證研究結論中并不一致。如sheppard等6總結了19552005年的172項研究結果，發現能力水平與試題作答時間的相關性趨于中等水平。而naumann等7發現，這一關系在不同的測驗領域中是不同的，在較易的任務（如閱讀或語言任務）中，能力水平與作答時間負相關；而在較難的任務（如復雜推理或問題解決）中，兩者正相關7。3試題難度對試題作答時間的影響在以往的大多數研究中，試題難度與試題作答時間的關系是一致的。已有研究傾向于認為，在不同的認知領域，試題難度與試題作答時間均呈正相關關系8，如閱讀理解、批判性推理、句子糾正、數據推理和問題解決等。4研究假設與模型本研究通過對被試認知風格、

6、能力水平、試題難度和試題作答時間之間關系的分析，認為在cat中無論是p=0.5還是p=0.7，均可提出以下假設：h1：沉思沖動型認知風格對被試的能力水平有顯著影響；h2：沉思沖動型認知風格對試題作答時間有顯著影響；h3：被試的能力水平對試題作答時間有顯著影響；h4：試題難度對試題作答時間有顯著影響。基于上述假設，本研究構建了沉思沖動型認知風格、能力水平、試題難度和試題作答時間的關系模型，如圖l所示。圖1沉思沖動型認知風格、能力水平、試題難度和試題作答時間的關系模型二研究方法1實驗對象與過程本研究選取某師范大學選修“教育科學研究方法”課程的308名三年級師范生參加認知風格測驗，作答結果顯示：有1

7、22名沉思型被試、114名沖動型被試、34名快速準確型被試、38名緩慢非準確型被試，其中的122名沉思型被試、114名沖動型被試被選擇參加接下來的實驗。236名被試接受內含兩個步驟的cat培訓，每個步驟歷時45分鐘：培訓者首先為被試播放一段持續15分鐘的、有關cat基本知識介紹的視頻，然后培訓者針對視頻中的關鍵問題進行細致講解。例如，cat通常從一道中等難度的試題開始，通過動態選題策略為每一名被試提供與其能力相匹配的試題。兩天后，進入步驟2的培訓。培訓者為被試講解在cat中應該注意的問題，如必須在做完當前試題后才能跳轉至下一題試題、不能回顧并修改已做過的試題。20分鐘后，被試可使用培訓者提供的

8、cat系統進行實際操作。cat培訓之后，4名被試因時間沖突，主動退出最后的測驗，共計232名被試（含75名男性，157名女性）分成兩組參加了測驗，分組的具體情況如下：p=0.5的cat中有60名沉思型被試和57名沖動型被試（共117名被試）；p=0.7的cat中有60名沉思型被試和55名沖動型被試（共115名被試）。測驗在一個小型計算機實驗室進行，為了減少被試之間的相互干擾，每次只有4名被試進入實驗室；測驗的時間限制是50分鐘，大部分被試在2035分鐘內完成了測驗，而最快的被試僅用了11分鐘、最慢的被試卻用了45分鐘。cat系統會估計出被試的能力值，并記錄被試的平均試題難度與平均作答時間。初步

9、統計結果顯示，試題的平均作答時間呈正偏態分布，因此需要進行對數變換，以確保其呈近似正態分布。2測量工具的開發（1）沉思沖動型認知風格cairns等9開發了適用于721歲年齡段兒童和青少年的“匹配相似圖形測驗（mfft-20）”。在此基礎上，本研究使用計算機版mfft-20測量被試的沉思沖動型認知風格，量表中包含20道試題，每道試題有一張標準圖和8張相似的選項圖，要求被試在8張選項圖中選擇一張與標準圖完全一致的圖片。如果被試選擇錯誤，那么測驗界面的邊界就會閃爍3次，彈出提示框，并要求被試繼續選擇。只有被試選擇正確，系統才會跳轉到下一試題。（2）cat系統本研究使用的“教育科學研究方法”cat系統

10、中的題庫包括211道符合單參logistic模型的試題，難度參數范圍是-2.892.65，所有的試題都是文本形式，沒有圖像和表格。為了能提供近似的信息量，p=0.5的cat中包含30道試題，難度參數與當前能力估計值最接近的試題被選為下一道；p=0.7的cat中包含35道試題，難度參數與當前能力估計值減ln（7/3）最接近的試題被選為下一道。另外，當p=0.5時，試題平均字符數為90.11，施測于沉思型、和沖動型被試的試題平均字符數分別為89.39和、90.87；當p=0.7時，試題平均字符數為92.20，施測于沉思型、和沖動型被試的試題平均字符數分別為92.13和、92.28。因此，本研究中可

11、忽略試題長度對測試結果的影響。（3）統計分析本研究采用amos 24.0軟件，分兩個步驟對圖1所示的關系模型進行多組路徑分析：使用單組路徑分析建立基線模型，即分別利用總樣本、p=0.5和p=0.7的樣本，獲得關系模型中的路徑系數；進行多組路徑分析，即比較兩組在相同約束條件下的基線模型，不變性檢驗是通過比較基線模型和約束模型之間差異的x2值實現的。三研究結果1描述性統計分析描述性統計分析的結果如表1所示，可以看出：無論是p=0.5還是p=0.7，沉思沖動型認知風格、能力水平、平均試題難度、平均試題作答時間之間均存在顯著正相關關系，說明可以進行下一步模型分析。表1描述性統計分析的結果（n1=117

12、，n2=115）正答概率研究變量平均值標準差認知風格能力水平平均試題難度log（平均作答時間）p=0.5認知風格0.510.50-   能力水平0.600.450.36*-  平均試題難度0.770.360.34*0.72*- log（平均作答時間）3.700.430.44*0.61*0.54*-p=0.7認知風格0.520.50-   能力水平0.550.400.30*-  平均試題難度0.450.180.26*0.56*- log（平均作答時間）3.710.400.40*

13、0.28*0.20*-注：n1是p=0.5時被試的數量，n2是p=0.7時被試的數量；沉思沖動型認知風格是啞變量，沉思型=1，沖動型=0，平均值是沉思型被試所占比例；試題作答時間的單位是秒；*p<0.05，*p<0.01，*p<0.001。2單組分析模型利用總樣本、p=0.5和p=0.7樣本的作答數據分別與圖1中的假設模型進行擬合，結果如表2所示。其中，x2/df<2、tli>0.9、cfi>0.9、rmsea<0.08，說明模型與數據擬合良好。圖2是總樣本與模型擬合的標準化路徑系數，與假設基本一致，大多數參數估計具有統計學意義。其中，沉思沖動型認知風

14、格對能力水平和試題作答時間有顯著影響，能力水平對試題作答時間有顯著影響，試題難度對試題作答時間無顯著影響，這個基線模型將被用于多組分析。表2單組分析模型的擬合指數modelx2dfx2/dfrmseatlicfim01.34011.3400.0380.9900.998m11.71211.7120.0780.9740.996m21.55211.5520.0700.9550.993注：m0是總樣本（n=232），m1是p=0.5的樣本（n=117），m2是p=0.7的樣本（n=115）。圖2利用總樣本（m0）估計模型的路徑系數（虛線代表在0.05水平上不顯著）3多組分析模型（1）跨組不變性檢驗得到

15、基線模型后，本研究通過設置約束條件檢驗p=0.5和p=0.7之間是否存在不變性。無約束模型與形態等同模型（即模型中的因果路徑在兩組被試間完全相同）的擬合指數如表3所示。結果表明，無約束模型和形態等同模型的差異顯著（x2（5）=30.684，p<0.001）；形態等同模型的rmsea>0.1，tli和cfi均小于0.9，說明模型與數據擬合不好，也就是說不同正答概率的cat中認知風格、能力水平、試題難度和試題作答時間之間的關系無法用相同形態來建模。表3跨組不變性的擬合指數（n=232，n1=117，n2=115）模型x2dfptlicfirmsea無約束模型3.26420.1960.9

16、680.9950.052形態等同模型33.94870.000*0.8050.8860.129注：n是總樣本，n1是p=0.5的樣本，n2是p=0.7的樣本。（2）多組模型中的直接和間接影響p=0.5和p=0.7時無約束模型的標準化路徑系數分別如圖3、圖4所示。可以看出，兩組之間存在部分統計意義上相同的效應。例如，從沉思沖動型認知風格到能力水平、試題作答時間的路徑系數都是顯著的，從能力水平到試題難度的路徑系數都在0.001水平上顯著。這一結果符合cat的原理，即被試所做試題的難易程度是由被試作答表現決定的；從試題難度到試題作答時間的路徑系數都不顯著。然而，從能力水平到試題作答時間的路徑系數只在p

17、=0.5時顯著，即能力水平與試題作答時間的關系在兩組之間是不同的。圖3無約束模型的標準化路徑系數（p=0.5）圖4無約束模型的標準化路徑系數（p=0.7）不同正答概率下的間接效應和總效應如表4所示。當p=0.5時，沉思沖動型認知風格通過能力水平、試題難度對試題作答時間的間接效應不顯著（=0.046，p>0.05），通過能力水平對試題作答時間的間接效應顯著（=0.143，p<0.01）；總的間接效應顯著，能力水平通過試題難度對試題作答時間的間接效應顯著。可見，當p=0.5時，在認知風格對試題作答時間的影響中能力水平具有顯著中介作用，在能力水平對試題作答時間的影響中試題難度具有顯著中介

18、作用。而當p=0.7時，沉思沖動型認知風格通過能力水平、試題難度對試題作答時間的間接效應不顯著（=0.004，p>0.05），通過能力水平對試題作答時間的間接效應不顯著（=.048，p>0.05）；總的間接效應不顯著，能力水平通過試題難度對試題作答時間的間接效應不顯著。表4不同正答概率下的間接效應和總效應路徑p=0.5p=0.7間接效應總效應間接效應總效應沉思-沖動型認知風格能力水平0.3600.303沉思-沖動型認知風格試題難度0.260*0.2600.171*0.171沉思-沖動型認知風格試題作答時間.046+.143*=.189*0.4230.004+0.048=0.0520

19、.397能力水平試題難度0.7210.564能力水平試題作答時間0.126*0.5220.0140.170試題難度試題作答時間0.1750.024注：“”代表兩者直接關聯，不存在間接效應；*p<0.05，*p<0.01，*p<0.001。四研究結論與啟示1研究結論針對提出的h1h4假設，本研究通過多組分析模型進行分析，發現在cat中，無論p=0.5還是p=0.7，都能得出以下結論：沉思沖動型認知風格對被試的能力水平有顯著影響，這可以通過沉思沖動型認知風格的概念和理論來解釋，即沉思型被試在面對問題時習慣謹慎、全面地權衡各種可能的解決辦法，然后從中選取最優方案；而沖動型被試在遇到

20、問題時總想盡快給出答案，而事先不會對問題進行全面徹底的思考，這使得沉思型被試在閱讀、推理類比、元記憶方面的能力明顯優于沖動型被試。沉思沖動型認知風格對被試的試題作答時間有顯著的直接影響；當p=0.5時，沉思沖動型認知風格對試題作答時間有顯著的間接效應，但當p=0.7時，沉思沖動型認知風格對試題作答時間無顯著的間接效應；當p=0.5時，沉思沖動型認知風格對試題作答時間的總效應大于p=0.7，這與沉思沖動型認知風格理論是一致的，即當需要解決的問題難度降低時，沉思沖動型認知風格間的差異會逐漸減小。試題難度對試題作答時間的影響均不顯著，這與以往的研究結論并不一致其原因可能在于，一是以往的研究往往通過計

21、算相關系數來分析試題難度與試題作答時間的關系，但本研究采用多組分析模型，同時分析了沉思沖動型認知風格、能力水平、試題難度、試題作答時間之間的關系，消除了誤差干擾，得到了更具信服力的結論；二是與固定序列的測驗不同，cat提供了適合被試能力的試題，這在一定程度上減少了試題難度對試題作答時間的影響。此外，被試能力水平對試題作答時間的影響在p=0.5和p=0.7上存在不同：當p=0.5時，被試能力水平對試題作答時間有顯著的影響，這與前期的研究結論一致，即在復雜問題解決的任務中，高能力被試要比低能力被試花費更多的作答時間；當p=0.7時，被試能力水平對試題作答時間沒有顯著的影響，原因可能在于簡單試題考查

22、的是基礎知識，高能力被試回答這些問題不需要進行深入思考，作答時間會縮短，而低能力被試遇到簡單試題時會減少猜測行為，從而投入更多的作答時間去解決問題。2研究啟示在教育測量與評價領域，越來越多的研究成果表明被試的測驗結果與試題作答時間有關，故試題作答時間應納入能力值估計模型之中。而本研究發現，當測驗環境由難（p=0.5）變易（p=0.7）時，個體差異與試題特征對試題作答時間的總效應顯著減少，故有利于提高測驗結果的精確性。由此可知，可以通過減小測驗難度，來弱化個體差異與試題特征對被試學習風格判斷結果的影響，從而提升測驗的公平性。以往探討個體間差異時，研究者往往采用固定序列的線性測驗，導致被試面臨的是

23、同樣的問題任務78。而本研究利用cat，為被試提供與其能力水平相匹配的問題任務，無疑會使研究結果更具科學性和說服力，得到的研究結論也可以在一定程度上豐富、完善沉思沖動型認知風格理論。此外，部分研究者提出被試的作答行為可以根據試題作答時間分為“快速猜測行為”和“解題行為”，而本研究的研究結論揭示出無論測驗難易，沉思沖動型認知風格對試題作答時間都有顯著影響。因此在未來的研究中，如果能將沉思沖動型認知風格和試題作答時間同時納入作答行為的判斷標準，那么判斷結果將會更加精確、有效。參考文獻：1häusler j, sommer m. the effect of success probabil

24、ity on test economy and self-confidence in computerized adaptive testsj. psychology science quarterly, 2008, （1）: 75-87.2borter n, troche s j, rammsayer t h. speed-and accuracy-related measures of an intelligence test are differentially predicted by the speed and accuracy measures of a cognitive tas

25、kj. intelligence, 2018, 71: 1-7.3yan j h. cognitive styles affect choice response time and accuracyj. personality and individual differences, 2010, （6）: 747-751.4kagan j, rosman b l, day d, et al. information processing in the child: significance of analytic and reflective attitudesj. psychological monographs: general and applied, 1964, （1）: 1-37.5sulisawati d n, lutfiyah l, murtinasari f. difference of mistakes reflective-impulsive students in mathematical problem solving