第6章調查問卷的測試與評估本章結構前測試問卷評估法1.2.預調查和行為編碼法3.信度與效度分析前測試問卷評估法專家評審法受訪者焦點小組法認知訪談法一、專家評審法研究內容角度問卷問題是否符合研究目的,是否滿足研究者的需求受訪者認知角度問題的措辭、結構、順序以及回答的選項等,標出引起歧義的詞語、含糊不清的概念以及回答困難的題目主要用于問卷設計初期的問題評審二、受訪者焦點小組法如詢問人們觀看藝術表演的頻率，受訪者不確定偶遇的藝術表演是否屬于“觀看藝術表演”，很難給音樂活動進行分類明確受訪者對調查主題和相關概念的理解詢問去年觀看古典音樂表演的情況,以及對古典音樂表演的理解了解受訪者在該主題使用的相關術語,檢查問題的用詞和描述是否有歧義、模糊、不準確的情況請參與討論者提供一些觀看古典音樂表演的例子。討論哪些算古典音樂,哪些不算古典音樂。了解受訪者回答問題的主觀意愿和難度三、認知訪談法由訪問者根據設計的問題對有償志愿者進行一對一個人訪談,探索性地了解受訪者對問題的理解并試圖了解他們組織答案的過程有聲思維法你是怎么得出這個答案的?告訴我你是怎么想的?你在回答問題前猶豫了一會,當時在想什么?你覺得這個問題回答起來比較容易還是困難,為什么?三、認知訪談法追問探尋法理解階段:請問您在回答本題時認為生活費都包括哪些項目?記憶檢索階段:請問您是如何計算出結果,是按年計算、按月計算還是按天計算乘以30,抑或是其他方法？篩選判斷:請問您認為旅游費用包含在生活費中嗎?您覺得您的記憶準確嗎？做出回答:您是否確定您的回答呢?如果10分表示完全確定,0分表示完全不確定,請問您給出幾分？三、認知訪談法局限性得到的是定性信息依賴受訪者的口頭報告依賴于非標準化的訪談過程,可靠度還有待進一步評估本章結構預調查和行為編碼法2.1.前測試問卷評估法3.信度與效度分析預調查和行為編碼法預調查測試正式開展調查之前進行的小規模“演習”,是問卷設計流程中的重要環節,目的是對可行性標準和認知標準進行評估收集受訪者的回答信息進行定量分析收集訪員和受訪者反饋的關于調查和問卷的信息,比如印刷錯誤、錯誤的跳答指示等一、對訪員和受訪者的行為進行編碼訪問行為編碼表樣例A.訪員讀題1.正確2.訪員讀題時稍做改動,但沒有改變題意。例如訪員漏讀了“這個”3.訪員讀題時做了較大改動,改變了題意。例如訪員沒有按要求讀出選項B.訪員重復問題1.沒有2.訪員完全重復問題3.訪員部分重復問題C.訪員追問1.訪員用其他追問技術獲得答案0.沒有D.受訪者打斷1.受訪者在讀完問題前就給出答案0.沒有E.受訪者要求澄清1.受訪者不知道詞意,要求澄清0.沒有F.受訪者回答1.給出適當回答2.給出高質量回答3.給出不適當回答4.回答不知道5.拒絕回答一、對訪員和受訪者的行為進行編碼受訪者和訪員行為問題編碼的可能原因問題可能問題訪員讀題有誤措辭不流暢訪員發現冗余或不合語境的措辭在提問時發現有漏詞打斷題干后面有多余的從句受訪者沒有意識到還會有回答選項訪員追問(或不適當的答案)題意不清含糊、未定義的術語含糊的回答任務題序混亂,受訪者無法回憶起前面的回答選項要求澄清含糊、未定義的術語含糊的回答任務題序欠佳,因此受訪者無法回憶起回答選項二、訪員的問題評價表訪員的問題評價表樣例問題編號逐字讀題有困難受訪者有理解問題受訪者有作答困難其他問題(請注明)備注Q1AAA

Q2BAA

Q3ABA

Q4AAA

Q5CCB

Q6AAB

Q7AAA

本章結構信度與效度分析3.2.預調查和行為編碼法1.前測試問卷評估法信度和效度分析前面介紹的問卷評估方法不能反映被識別出來的問題對數據質量和調查估計結果的量化影響，本節將介紹如何通過信度和效度來評價問卷設計質量，尤其是對量表的評價。一、信度和效度信度（Reliability）是指問卷調查結果的一致性、穩定性、可靠性。

效度(Validity)是指問卷能否真正測量到所要測量的東西，也就是能否達到測量的目的，是否正確衡量了研究者所要了解屬性的程度。二、信度評估信度評估

重復檢驗法交錯法折半法

內部一致性二、信度評估重復檢驗法(test-retestreliability)通過同一測量手段對同一群受訪者前后測量兩次,再根據兩次測量的相關系數測度信度例如,對一群人進行問卷調查后,隔一段時間再用同一份問卷對同一群受訪者進行調查,兩次測量結果之間的相關系數就反映問卷的信度優點是可以提供有關測量結果是否隨時間而變異的資料缺點是受時間和經費的限制,現實中往往難以實現二、信度評估用SPSS進行評估重測信度的操作：當變量是數值型變量或順序變量時，選擇【分析】→【度量】→【可靠性分析】，將變量選入【項目】框。點擊【統計量】按鈕，勾選【類內相關系數】，點擊【繼續】。最后點擊【確定】按鈕。當變量是分類型變量時，選擇【分析】→【描述統計】→【交叉表】，將兩次的變量分別選入【行】框和【列】框。點擊【統計量】按鈕，勾選【Kappa】，點擊【繼續】。最后點擊【確定】按鈕。二、信度評估交錯法(alternate-formreliability)指研究者設計兩份問卷,每份使用不同的問題,但測量的是同一個屬性,讓同一群受訪者回答根據兩份問卷的測量結果的相關系數計算問卷信度,該種信度稱為交錯信度。該種方法要求兩份問卷在題數、形式、內容以及難度、鑒別度等方面都要一致。二、信度評估用SPSS進行交錯法評估信度的操作：選擇【分析】→【相關】→【雙變量】，將變量選入【變量】框，再勾選相應的相關系數選項。如果是連續型變量，則勾選【Pearson】相關系數；如果是分類型變量，【Spearman】等級相關系數。最后點擊【確定】按鈕。二、信度評估折半法(split-halfreliability)將一份問卷中的問題隨機分為兩組(通常要求這兩部分問題數目相等),然后考察這兩部分的測量結果的相關系數。如果結果高度相關,問卷就是可信的,否則就是不可信的。將問卷分為兩半的方法很多,常用的是將奇數題和偶數題分開。第四節信度和效度分析用SPSS進行折半法評估信度的操作：選擇【分析】→【度量】→【可靠性分析】，將變量選入【項目】框。在【模型】下拉菜單中選擇【半分】。最后點擊【確定】按鈕。二、信度評估

二、信度評估用SPSS評估內部一致性的操作：選擇【分析】→【度量】→【可靠性分析】，將變量選入【項目】框。在【模型】下拉菜單中選擇【α】。最后點擊【確定】按鈕。用SPSS提高問卷內部一致性的操作方法：選擇【分析】→【度量】→【可靠性分析】，將變量選入【項目】框。在【模型】下拉菜單中選擇【α】。點擊【統計量】按鈕，勾選【如果項已刪除則進行度量】，點擊【繼續】。最后點擊【確定】按鈕。二、信度評估信度的判別標準信度≤0.30不可信0.30<信度≤0.40初步的研究,勉強可信0.40<信度≤0.50稍微可信0.50<信度≤0.70可信(最常見的信度范圍)0.70<信度≤0.90很可信(次常見的信度范圍)信度>0.90十分可信二、信度評估提高問卷的信度適當增加問卷的長度問題的難度適中內容盡量同質調查的程序要標準化效度評價的基本理論模型為：假定

，其中

=第i個受訪者組成的真值，

=第i個受訪者在第t次實驗中的回答值，

=第i個受訪者在第t次實驗中回答值與真值的差異。用

和

之間的相關系數可以評價效度：因此，效度可以用0~1之間的數字表示；數值越大，效度越大。三、效度評估三、效度評估在實踐中，由于真值是未知的，效度的計算比較困難。研究者可以側重從三個角度進行判斷。效度評價

內容效度準則效度建構效度三、效度評估內容效度測量內容的適合性和相符性例：調查顧客對某家餐館的印象，不能只調查參觀周邊環境、停車位等項目的印象,而遺漏對食物質量、衛生狀況以及服務等重要維度的調查三、效度評估準則效度用幾種不同的測量方式或不同指標對同一變量進行測量時的一致性程度例：受訪者在過去的12個月中向醫生進行健康咨詢的次數，被記錄的次數為X1,受訪者回憶的次數為X2,如果在所有可能的實驗中所有回答者回憶的次數X2都與記錄值X1相同,則回憶法的效度將會等于1,如果X1與X2弱相關,則認為X2具有很低的準則效度三、效度評估用SPSS進行準則效度分析的操作方法:選擇【分析】→【相關】→【雙變量】，將變量選入【變量】框。如果是連續型變量，則勾選【Pearson】相關系數；如果是分類型變量，則勾選【Kendall的tau-b】或【Spearman】等級相關系數。最后點擊【確定】按鈕。三、效度評估建構效度指問卷調查結果能夠測量其理論特征例如對婚姻滿意度調查問卷的效度分析中,根據理論預期,婚姻滿意度與婚姻忠誠度相關。三、效度評估對于測量主觀態度的效度評價，可以嘗試兩種方法進行建構效度的分析：第一種方法：假設問題的答案理論上應與其他調查問題的答案高度相關，構建建構效度評價模型，分析它們的相關性。第二種方法：假定在符合預期構想的情況下某些組的答案應該不同，通過對預期有不同回答的受訪人群的實際答案進行比較評價效度。三、效度評估用SPSS進行建構效度分析的操作方法：選擇【分析】→【降