1、、信度信度概念：信度主要是指測量結果的可靠性或一致性。信度只受隨機誤差的影響，隨機誤差越大，信度越低。因此，信度可以視為測試結果受 隨機誤差影響的程度。系統誤差產生恒定效應，不影響信度。每一個測試的實得分數(X)總是由真實分數和誤差(E)兩部分構成的，用公式表示如 下：X=T+E如果我們討論一組測驗分數的特性時，可用方差代表具體分數，得到公式：SA2 (x) =SA2(t)+SA2(e)公式中,5 (x)是實得分數的方差，S2(t)是真分數的方差，SW(e)是誤差的方差在測量理論中，信度被定義為：一組測量分數的真分數方差與中方差(實得方差)的比 率。即：r(xx)=SA2(t)/SA2 (x)

2、由于真實分數的方差是無法統計的，因此轉化為：r(xx)=SA2(x)-SA2(e)/SA2(x)=1-SA2(e)/SA2(x)因此，信度也可以看做是總方差中非測量誤差的方差所占的比例信度的三種類型重測信度：比較相同受試在不同時間所得分數(所測特質、能力或態度上無變化時)重測信度所考察的誤差來源是時間的變化所帶來的隨機影響。在評估重測信度時， 必須注意重測間隔的時間。對于人格測驗，重測間隔在兩周到6個月之間比較合適。在進行重測信度的評估時，還應注意以下兩個重要問題：重測信度一般只反映由 隨機因素導致的變化，而不反映被試行為的長久變化。不同的行為受隨機誤差影響不 同。內部一致性(分半信度)：比較

3、受試完成實驗的兩半的得分分半信度系數是通過將測驗分成兩半，計算這兩半測驗之間的相關性而獲得的信度系數。 測驗愈長，信度系數愈高。同質性信度是指測驗內部的各題目在多大程度上考察了同一 內容。同質性信度低時，即使各個測試題看起來似乎是測量同一特質，但測驗實際上是 異質的，即測驗測量了不止一種特質。同質性分析與項目分析中的內部一致性分析相類 似。評卷者信度估計那些在評分中需要做主觀判斷的人的信度。+最簡單的估計方法就是隨機抽取若干份答卷，由兩個獨立的評分者打分，再求每份答卷 兩個評判分數的相關系數。這種相關系數的計算可以用積差相關方法，也可以采用斯皮 爾曼等級相關方法。影響信度的因素一、樣本特征1、

4、樣本團體異質性的影響2、樣本團體的平均能力水平的影響二、測量長度一般來說，在一個測試中增加同質的題目，可以使信度提高。需注意的是，增加測驗長度的效果應當遵循報酬遞減原則。通過斯皮爾曼-布朗公式的 導出公式可以計算出最少應增加的題目：K=r(kk)*(1-r(xx)/r(xx)*(r(kk)-1)K為改變后的長度與原長度之比，r(xx)為原測試的信度，r(kk)為測驗長度是原來的K倍 時的信度估計。三、測驗難度理論上說，只有測驗難度為50%時，才能使測驗分數分布范圍最大，求得的信度也最高。 事實上，難度為0.50只適合于簡答型題目，對于選擇題目由于猜測因素，難度值應當提高， 洛德提出在學習成績中

5、，為了保證其可靠性，各類選擇題的理想平均難度為:五擇一測，0.70； 四擇一測，0.74；三擇一測，0.77；是非題。0.85在實際情況下，如果某個測驗適用范圍廣，其難度水平通常適用于中等能力水平的被試， 而對較高水平的被試和較低水平的被試可能較易或較難，使得分數分布范圍縮小，信度水平 降低，因此一個標準化的測驗，應根據不同能力水平的報告測驗的難度，以作為選擇測驗的 參考四、重測間隔時間間隔只對重測信度和不同時測量時的復本信度有影響，對其余的信度來說，不存在 時間間隔問題。注：我們對一套問卷的信度檢驗值(一般是指克隆巴赫阿爾法信度系數)有時會出現過 低的情況，可能的原因有：1、試卷本身設計不合

6、理，不是圍繞一個主題或是有矛盾的題目。如果試卷中有題目讓 完全相同的人選擇不同的答案，試卷的信度會降低。2、題目區分度過低，特別指有對錯之分的題目。如果一道題正確率或錯誤率達到90%， 可以從新審視題目設計是否合理。區分度過低的題目中真實偏差的成分較少，隨機偏差的成 分相對較多，試卷的信度會降低。3、無關變量進入信度檢驗。除了重測信度，其他信度檢驗方法都只考慮有序變量，無 序變量，如出身城市，喜好顏色等，如果我們沒有對城市或顏色排序的話，帶入信度檢驗意 義難明，可能會導致試卷的信度降低。4、題目選項反序。對有序變量，如果變量值之間序的意義相反，會降低甚至得出負的信度。 比如檢驗老師對學生評分的

7、信度，如果一個老師的評分以10分為最高分，1分最低，另一 個以1分最高，10分最低。如果不經處理帶入信度計算，信度會降低。信度的指標一、信度系數與信度指數大部分情況下，信度是以信度系數為指標，它是一種相關系數。常常是同一被試樣本所 得到的兩組資料的相關，理論上說就是真分數方差與實得分數方差的比值，公式為：r(xx)=rA2(xt)=SA2(t)/SA2 (x)公式中M2(xt)是真分數標準差與實得分數標準差的比值，稱作信度系數，公式為：r(xt)=S(t)/S(x)可見信度指數的平方就是信度系數。二、測量標準誤信度系數僅表示一組測量的實得分數與真分數的符合程度，但并沒有直接指出個人測驗 分數的

8、變異量。我們可以用一組被試兩次測量結果來代替對同一個人的反復施測，于是有了 信度的另一個指標，公式為：SE=S(x) V 1-r(xx)公式中SE為測量的標準誤，S(x)是所得分數的標準差，r(xx)為測驗的信度系數，從公式 我們可以看出測量的標準誤與信度之間有互為消長的關系：信度越高，標準誤越小，信度越 低，標準誤越大。二、效度效度概念測驗在多大程度上實際測量了它宣稱要測試的內容。效度是科學的測量工具所必須具備的最重要的條件。在社會測量中，對作為測量工具的 問卷或量表的效度要求較高。鑒別效度須明確測量的目的與范圍，考慮所要測量的內容并分 析其性質與特征，檢查測量的內容是否與測量的目的相符，進

9、而判斷測量結果是否反映了 所要測量的特質的程度。效度證據五個來源：測驗內容，反應過程，內部結構，與其他變量之間的關系，測驗結果三傳統效度證據：內容效度，效標效度，構想效度測試效度的維度表面效度(face validity)。指測試應達到的卷面標準，即一套測試題從表面看來是否 是合適的。例如，若一次閱讀理解力的測試包括許多受試者沒有學過的方言詞匯，則可認為 這次測試缺乏表面效度。表面效度是測試出受試者正常水平的一種保證因素。內容效度(content validity)。指一套測試題是否測試了應該測試的內容或者說所測 試的內容是否反映了測試的要求，即測試的代表性和覆蓋面的程度。例如，如果某一套發音

10、 技能測試題僅僅考查發音所必須具備的某些技能，如只考單一音素的發音，而不考查重讀、 語調或音素在詞語中的發音，那么，該測試的內容效度就很低。編制效度(construct validity)。指一套測試題的諸項目對編制該測試所依據的理論的 各個基本方面的反映程度。例如，以結構主義語言理論為基礎，認為系統的語言習慣是通過 句型而獲得的，那么，強調詞匯和語法環境的測試題目就失去了編制效度。經驗效度(empirical validity)0經驗效度是一種衡量測試有效性的量度，通過把一次 測試與一個或多個標準尺度相對照而得出。經驗效度可分為兩種：一是共時效度(concurrent validity)，即

11、將一次測試的結果同另一次時間相近的有效測試的結果相比較，或同教師的鑒 定相比較而得出的系數；二是預測效度(predictive validity)，即將一次測試的結果同后來的 語言能力相比較，或是同教師后來對學生的鑒定相比較而得出的系數。一般來說，對某次測試的效度進行檢驗時，除了要根據教學大綱的要求和觀念有效性的 理論對試卷的內容進行考查以外，還須采用計算相關系數的定量方法，即計算出本次試卷與 另一份已被確定能正確反映受試者水平的試卷之間的相關系數。系數高則有效性大。課堂測 試的效度應在0.4-0.7之間，規模較大的測試其效度應在0.7以上。內容效度測驗題目在多大程度上代表了要測量的構想特制或

12、者屬性。憑借邏輯去判斷一項測量工具是否有效，憑借對概念的了解去鑒別該變量的特征是否 都被考慮到，在理論層次上概念所具有的各種特征，在經驗層次上的測量也應具有，如果 二者相吻合，則表示具有內容效度；否則，便是無內容效度。估計內容效度的方法編制測驗的過程中實施一系列系統性的步驟來確認；測驗編制完成后評價其內容。內容效度構建步驟確定任務范疇細化工作任務的內容確認知識、能力和技術的內容范疇細化所有KSA的內容范疇A.C維度的定義A.C維度的確認設計A.C模擬活動確認每一個維度的行為樣本的適用性標準化與考官培訓效標效度確定測驗分數是否系統性的與其他成功的指標或者校標相關，分為預測效標效度和同時 效標效度

13、同一概念可能有多種測量方法，假如其中一種成為校標，另外一種就可以與之比較而 判斷其效度。當某種測量法A具有內容效度時，另一種測量法B的校標效度則由A決定； 如果測試某樣本，顯示B與A高度相關，即謂B校標效度高。校標關聯效度的證據收集方法預測效標關聯效度，測驗分數和后來一一通常是幾個月后一一得到的校標分數的相關；同時效標關聯效度，測驗分數和同時一一通常是一周內的一一得到的校標分數的相關；效度系數預測效度中的全距限制；預測消毒中，被試被測量的能力或特質的改變；適合診斷行為、情緒或者精神障礙的臨床測驗的效度構想效度以數據證實測驗分數與可觀察行為之間的關系同測驗中暗含的力量所預想的一樣。如果在理論層次上，概念X和概念Y是相關的，那末，在經驗層次上對X的測量與對 Y的測量也相關，假如有另一個對X的測量，則它也應該與Y的測量相關，這就稱作構想 效度。構想存在與設想中的潛在的態度和特質，行為是可觀察和測量的活動，是具體的構想。構想 可用于編訂測驗計劃。對于同一個抽象構想，不同人會有不同定義。構想說明即定義一個心理學構想的三步驟定義域構想相