1、第三節第三節 測驗的信度測驗的信度測量的誤差及其來源測量的誤差及其來源測量的信度測量的信度補：補： 測量的誤差及其來源測量的誤差及其來源 誤差的定義誤差的定義 誤差的種類誤差的種類 誤差的來源誤差的來源測量測量結果結果測量測量因素因素1、誤差的定義、誤差的定義與測量目的無關與測量目的無關不準確不準確或不一致或不一致考研題考研題誤差誤差:與測驗目的無關的因素所導致的測驗結果不一致或不準確的現象與測驗目的無關的因素所導致的測驗結果不一致或不準確的現象.2、誤差的種類、誤差的種類 系統誤差系統誤差隨機誤差隨機誤差隨機誤差與系統誤差的比較隨機誤差與系統誤差的比較類型類型產生原因產生原因特點特點效能效能

2、指指標標隨機隨機誤差誤差不易控制的不易控制的偶然因素偶然因素方向和大小上方向和大小上完全隨機完全隨機影影響響準準確確性性影響影響一致一致性性信信度度系統系統誤差誤差恒定、有規恒定、有規律的因素律的因素穩定地存在于每穩定地存在于每次測量中次測量中 不影不影響一響一致性致性效效度度 經典測驗理論經典測驗理論 信度概念信度概念 信度的評估方法信度的評估方法 信度系數的應用信度系數的應用 影響信度的因素影響信度的因素成熟成熟標志標志20世紀世紀50年代年代Gulliksen心理測驗理論心理測驗理論三大三大支柱支柱基本假設基本假設信度信度效度效度 一、經典測驗理論一、經典測驗理論 Classical T

3、est Theory（CTT）考研題考研題基本假設與真分數基本假設與真分數1、真分數、真分數觀測觀測分數分數誤差誤差分數分數真真分數分數測驗所得測驗所得未加工未加工理論定義理論定義真正特質水平真正特質水平操作定義操作定義 無數次測量結果的均值無數次測量結果的均值 經典測驗理論（經典測驗理論（CTT）假定）假定： 觀察分數（觀察分數（X X）與真分數（）與真分數（T T）之間）之間是一種線性關系，并只相差一個隨機誤差是一種線性關系，并只相差一個隨機誤差（E E）。）。 即：即： X=TX=TE E （1 1）如果對一個人測量無數次，其誤差之和為）如果對一個人測量無數次，其誤差之和為0 0，平均，

4、平均誤差為誤差為0 0。 （2 2） 誤差與真分數相互獨立，相關為誤差與真分數相互獨立，相關為0 0。 （3 3）一個團體的平均真分數等于該團體中所有被試實得）一個團體的平均真分數等于該團體中所有被試實得分數的平均值。分數的平均值。 （4 4）對于一個團體來說，實得分數、真分數、和測量誤）對于一個團體來說，實得分數、真分數、和測量誤差之間有如下關系：差之間有如下關系：關于測量誤差還有如下假設：關于測量誤差還有如下假設：222ETXSSS隨機誤差隨機誤差 在一次測驗中，一個團體的實測分數的變在一次測驗中，一個團體的實測分數的變異數是由與測量目的有關的變異數、穩定但異數是由與測量目的有關的變異數、

5、穩定但出自無關來源的變異數和偶然但出自無關來出自無關來源的變異數和偶然但出自無關來源的變異數所決定的。源的變異數所決定的。2222222222XTETVIXVIESSSSSSSSSS二、信度的定義二、信度的定義22XTXXSSr真分數方差與觀測分數方差的比值真分數方差與觀測分數方差的比值信度指的是測量結果的穩定性程度（或一致性程度）。信度指的是測量結果的穩定性程度（或一致性程度）。信度是反映測量中隨機誤差大小的指標。信度是反映測量中隨機誤差大小的指標。三、三、 信度評估的方法信度評估的方法信度信度重測信度重測信度復本信度復本信度內部一致性內部一致性信度信度評分者信度評分者信度分半信度分半信度

6、同質性信度同質性信度（一）重測信度（一）重測信度（Test-retest reliability）含義含義同一測驗同一測驗同組對象同組對象前后測前后測2次次相關系數相關系數穩定穩定性性程序程序誤差誤差時間時間太短太短練習效應練習效應記憶效應記憶效應A卷卷一一定定時時距距A卷卷太長太長身心變化身心變化 第一，所測的心理特性必須是穩定的。第一，所測的心理特性必須是穩定的。 第二，遺忘和練習的效果基本上相互抵消。第二，遺忘和練習的效果基本上相互抵消。 第三，所測心理特質在兩次施測的間隔時間內第三，所測心理特質在兩次施測的間隔時間內沒有獲得更多的學習和訓練。沒有獲得更多的學習和訓練。 第四第四, ,報

7、告結果時要報告兩次測驗的間隔及有報告結果時要報告兩次測驗的間隔及有關經歷關經歷. . 使用條件使用條件 優點優點省力、省時省力、省時測量屬性相同測量屬性相同提供隨時間變化的資料提供隨時間變化的資料 不足不足時間間隔長短時間間隔長短評價評價 時間間隔越長，重測信度越低；時間間隔越長，重測信度越低； 時間間隔視測驗目的、性質、被試時間間隔視測驗目的、性質、被試 特點而定；特點而定； 年幼兒童，間隔要?。荒觊L成人，間隔可長；年幼兒童，間隔要小；年長成人，間隔可長； 智力測驗間隔不能太短，成就測驗不能太長；智力測驗間隔不能太短，成就測驗不能太長； 一般以一般以2-4周為宜，智力測驗的間隔時間一般在周為

8、宜，智力測驗的間隔時間一般在6個月左個月左右。右。（二）復本信度（二）復本信度（Alternate-form raliability）含義含義兩等值測驗兩等值測驗最短時間內最短時間內對同組對象對同組對象施測結果施測結果r等值等值性性程序程序誤差誤差內容內容取樣取樣A卷卷最最短短時時距距B卷卷復本等值的條件復本等值的條件 各測驗測量的是同一種心理特質；各測驗測量的是同一種心理特質； 各測驗具有相同的內容和形式；各測驗具有相同的內容和形式； 各測驗的題目不應重復；各測驗的題目不應重復； 各測驗題目數量相等；各測驗難度和區分度大體相同；各測驗題目數量相等；各測驗難度和區分度大體相同； 各測驗的分數分

9、布（標準差和平均數）大體相同；各測驗的分數分布（標準差和平均數）大體相同； 復本編制好后，應再測一次，以確保等值。復本編制好后，應再測一次，以確保等值。 第一，前提是有復本測驗。第一，前提是有復本測驗。 第二，被試有條件接受兩個測驗第二，被試有條件接受兩個測驗( (時間和經費等時間和經費等) )。 第三第三, ,報告結果時要報告兩次測驗的間隔及有關經歷報告結果時要報告兩次測驗的間隔及有關經歷. . 使用條件使用條件 優點優點代表性增強，信度更準代表性增強，信度更準一定程度避免練習、記憶效應一定程度避免練習、記憶效應 不足不足編制復本難編制復本難影響積極性影響積極性觸類旁通觸類旁通評價評價重測信

10、度與復本信度有何異同？重測信度與復本信度有何異同？小結與問題小結與問題重測重測信度信度復本復本信度信度內部內部一致性一致性跨時間跨時間一致性一致性跨形式跨形式一致性一致性試題之間試題之間有何關系？有何關系？（三）內部一致性信度（三）內部一致性信度含義含義測驗測驗各題間各題間一致性一致性題目題目一致一致性性分半分半信信度度類型類型同質性同質性信度信度1、分半信度、分半信度（Split-half raliablity）分半分半方法方法奇偶題奇偶題分半分半分析分析程序程序兩半相關：兩半相關：rhh校校 正：正：rnn難易：低難易：低高高分半分半條件條件兩半相似：兩半相似：M、S項目組間相關項目組間相

11、關分布常態分布常態校正方法校正方法斯皮爾曼斯皮爾曼-布朗公式布朗公式方差相等時方差相等時弗拉南根公式弗拉南根公式盧尤公式盧尤公式方差不等時方差不等時使用條件 測驗只能施測一次或沒有復本的情況下使用測驗只能施測一次或沒有復本的情況下使用. 當一個測驗無法分成對等的兩半時不宜使用當一個測驗無法分成對等的兩半時不宜使用.2、同質信度、同質信度（Homogeneity raliability）同質性同質性題目間的內部一致性題目間的內部一致性類型類型庫庫-理信度理信度克龍巴赫克龍巴赫 系數系數各類各類題型題型二值二值記分記分（四）評分者信度（四）評分者信度（Scorer raliability）含義含義

12、評分者評分的一致性評分者評分的一致性方法方法2評分者評分者2個以上者個以上者rXY肯德爾和諧系數肯德爾和諧系數附：確定信度的可接受水平附：確定信度的可接受水平測驗類型測驗類型最低標準最低標準標準化測驗標準化測驗人格測驗人格測驗 非標準化測驗非標準化測驗0.900.80-0.850.60-0.85 典型測驗的一般標準典型測驗的一般標準 典型測驗的信度高低水平典型測驗的信度高低水平測驗類型測驗類型 低低 中中 高高成套成就測驗成套成就測驗 學術能力測驗學術能力測驗 成套傾向性測驗成套傾向性測驗 客觀人格測驗客觀人格測驗 興趣問卷興趣問卷 態度量表態度量表.66 .92 .98.56 .90 .97

13、.26 .88 .96.46 .85 .97.42 .84 .93.47 .79 .98各種信度系數相應誤差變異的來源各種信度系數相應誤差變異的來源信度系數的類型信度系數的類型誤差變異的來源誤差變異的來源再測信度再測信度復本信度（連續施測）復本信度（連續施測）復本信度（間隔施測）復本信度（間隔施測）分半信度分半信度同質性信度同質性信度評分者信度評分者信度時間取樣時間取樣內容取樣內容取樣時間與內容取樣時間與內容取樣內容取樣內容取樣內容的一致性內容的一致性評分者間的差異評分者間的差異友情提示友情提示 實際上，有多少種誤差的來源，就有多少實際上，有多少種誤差的來源，就有多少種信度估計的方法。一般來說

14、，一個測驗種信度估計的方法。一般來說，一個測驗哪種誤差大，就應該用哪種誤差估計。有哪種誤差大，就應該用哪種誤差估計。有時一個測驗需要幾種信度估計。時一個測驗需要幾種信度估計。操作演練操作演練 假設對假設對100100個六年級學生以兩個月的時間間隔先個六年級學生以兩個月的時間間隔先后施測一個創造力測驗的后施測一個創造力測驗的A/BA/B兩個復本，所得的兩個復本，所得的等值與穩定性系數為等值與穩定性系數為0.700.70。 我們還根據被試對每個復本的反應計算出分半信我們還根據被試對每個復本的反應計算出分半信度為度為0.80.0.80. 同時同時, ,我們將另一個評分者隨機抽取我們將另一個評分者隨機

15、抽取5050份卷子另份卷子另外評分，得到評分者信度為外評分，得到評分者信度為0.920.92。 然后，我們對這這三種方法所產生的誤差變異進然后，我們對這這三種方法所產生的誤差變異進行分析。行分析。一個假想測驗的變異數分析一個假想測驗的變異數分析信度類型信度類型誤差變異數誤差變異數誤差變異來源誤差變異來源復本信度復本信度( (間隔間隔) ) 1-0.70=0.301-0.70=0.30時間和內容取樣時間和內容取樣分半信度分半信度1-0.80=0.201-0.80=0.20內容取樣內容取樣上述兩者差異上述兩者差異0.30-0.20=0.100.30-0.20=0.10 時間取樣時間取樣評分者信度評

16、分者信度1-0.92=0.081-0.92=0.08評分者差異評分者差異誤差變異總和誤差變異總和0.20+0.10+0.08=0.380.20+0.10+0.08=0.38真實變異真實變異1-0.38=0.621-0.38=0.62四、信度系數的應用四、信度系數的應用1 1、評價測驗、評價測驗2 2、解釋分數、解釋分數（1 1）個人測驗分數的誤差）個人測驗分數的誤差 （X-1.96SE）T T（X+1.96SE）1XXXSESR（2）兩種測驗分數的比較）兩種測驗分數的比較(差異的標準誤差異的標準誤)所得結果與所得結果與1.96SE(0.05水平水平)進行比較進行比較,即可得出兩個測驗的差異是否

17、顯著即可得出兩個測驗的差異是否顯著.22122ddxxyySESESESESrr五、影響信度的因素五、影響信度的因素 測驗長度測驗長度 樣本特征樣本特征 測驗難度測驗難度 時間間隔時間間隔 考研題考研題（一）測驗長度（一）測驗長度 含義含義測驗試題的數量測驗試題的數量 w 特點特點n測驗越長，試題取樣越具有代表性。測驗越長，試題取樣越具有代表性。n測驗越長，猜測因素影響就越小。測驗越長，猜測因素影響就越小。n增加測驗長度的效果應遵循報酬遞減率原則。增加測驗長度的效果應遵循報酬遞減率原則。XXXXnnrkkrr11w 長度與信度的關系長度與信度的關系 nnXXXXnnrrrrk11R RXXXX

18、為原測驗的信度為原測驗的信度. .R RNNNN為測驗長度增加后測驗的信度為測驗長度增加后測驗的信度. . K K為改變后的測驗長度與原來長度之比為改變后的測驗長度與原來長度之比. . 例例2-16：某測驗有：某測驗有40題，信度題，信度0.65，若增至若增至120題，信度會是多少？題，信度會是多少？ 例例2-17：某測驗有：某測驗有30題，信度題，信度0.75，試問要達到多少題才能使信度達到試問要達到多少題才能使信度達到0.90？85. 0nnr90, 3nk 特點特點樣本越異質，分數分布越廣，有可能高估信度。樣本越異質，分數分布越廣，有可能高估信度。樣本不同，信度就有可能不同樣本不同，信度

19、就有可能不同 。 （二）樣本特征（二）樣本特征1、樣本團體、樣本團體異質性異質性的影響的影響2、樣本團體、樣本團體平均能力水平平均能力水平的影響的影響 特點特點: 團體平均水平太高或太低，分布變窄，可能低估信度團體平均水平太高或太低，分布變窄，可能低估信度. . 選擇測驗時應注意選擇測驗時應注意取樣團體的變異性和能力水平取樣團體的變異性和能力水平建立信度的團體與欲測團體是否一致建立信度的團體與欲測團體是否一致 一般趨勢一般趨勢測驗太難或太易測驗太難或太易,分數范圍縮小分數范圍縮小,降低信度降低信度. 難度與題型難度與題型 簡答題：簡答題：P=0.5時，時，X為為0100，信度最高。，信度最高。 學績測驗選擇題的理想平均難度（洛德）學績測驗選擇題的理想平均難度（洛德）五擇一：五擇一：0.70四擇一：四擇一：0.74三擇一：三擇一：0.77是非題：是非題：0.85 （三）測驗難度（三）測驗難度智力的時間變化智力的時間變化 間隔期間隔期 信度系數信度系數同日或次日同日或次日 0.900.95 1年年 0.85 22.5年年 0.80 5年年 0.750.80 9年