1、第十一章政策評價：政策是否發生作用關鍵問題為什么學校領導應該掌握政策評價知識人們如何確定醞釀中的或完成了的政策評價的質量為什么政策始終具有政治意義學校領導如何推進政策評價過程第十一章政策評價：政策是否發生作用關鍵問題令人不安的話題 評價是所有教育者專業生涯中必不可少的組成部分。教師評價學生，校長評價教師，越來越多的教育管理者也在接受評價。各種各樣的評價制度普遍存在于教育領域的各種方面，相關的術語不斷地出現于學校和學區，諸如觀察、訪談和資料收集等等。許多州建立了指標體系，在學區的眾多工作領域收集信息，分析和比較這些數據，然后公布數據分析結果和比較結果。一些州教育廳甚至運用評價結果對學區進行分類，

2、或者是標明優秀學區和有效學區，或者標上無效學區，分別給予獎勵和處罰。我們處于其中的時代是一種強調責任的時代，這種時代必然也是一種崇尚評價的時代。令人不安的話題 評價是所有教育者專業生涯中必不可少的組成 因此，政策同樣必須接受評價。最理想的情形是，人們不僅應對政策進行公正的和全面的評價，政策制定者也應該基于評價結果制定、修正或終止政策。但是，我們這個世界并非如此令人滿意，許多政策壓根兒從未受到評價，還有一些政策的評價粗制濫造，沒有人依據政策評價結果制定、修正或終止政策。 與政策過程的其他階段一樣，政策評價也是一項極為困難的工作，一個主要原因是，政策評價具有政治意蘊，因為政策評價總是威脅到某些人士

3、。 因此，政策同樣必須接受評價。最理想的情形政策評價相關概念界定本節界定四個關鍵術語： （1）評價；（2）項目（project）;（3）項目系統（program）；（4）關系人（stakeholder）。評價是指對“某一客體的價值和優點進行系統的考查” 。政策評價是一種應用研究，包括在具體的場合下運用規范的研究方法和嚴格的研究標準，實現實用性的研究目的：確定政策達成目標的程度。政策評價相關概念界定本節界定四個關鍵術語： 項目政策一開始常常通過項目付諸實施，后者是“一段特定時間內開展的教育活動”。一旦諸多項目具備組織系統和制度特征，就形成項目系統（program），在項目系統之下，“人們持續地長

4、期開展項目列明的教育活動” 。在這一意義上可以看出，大多數學區擁有持續的閱讀項目系統或專業發展項目系統，反映著學區在這些領域的基本的政策取向。 項目政策一開始常常通過項目付諸實施，后者是“一段特定時間內開關系人所有評價都有一些關系人：即“參與項目系統評價或受其影響的個體或團體” 。在學校制度中，主要關系人一般是指教師、教育管理者、教育職員、學生、家長、教師工會和其他工會、學校委員會成員，以及其他利益攸關的組織。 關系人所有評價都有一些關系人：即“參與項目系統評價或受其影響評價的專業化大約在1973年，評價開始走向成熟，在教育研究中成為一個獨特的專業領域。其誕生的一個重要標志是一些專業刊物問世，

5、包括教育評價與政策分析（Educational Evaluation and Policy Analysis）、評價動態（Evaluation Review）。另一個重要標志是一些教育評價研究書籍出版，包括教育評價教科書。許多大學開設教育評價課程，一些大學甚至在研究生教育階段開辟教育評價研究方向。此外，聯邦政府和幾所名牌大學聯合建立了專事政策評價研究和發展的中心。 評價的專業化大約在1973年，評價開始走向成熟，在教育研究中政策評價的基本特征：評價過程無論是大型全國性組織進行的評價一項適用于全國的教育政策，還是一位基層學校校長評價本校的一個政策項目，兩者之間并沒有本質差別。所有政策評價遵循著基

6、本的和同樣的程序。 政策評價的基本特征：評價過程無論是大型全國性組織進行的評價一政策評價過程的基本環節 確定政策目標選擇評價指標選擇或設計收集數據的工具收集數據分析和總結數據撰寫評價報告依據評價建議作出反應 政策評價過程的基本環節 確定政策目標確定政策目標評價的第一步是，盡可能精確地確定政策目標或目的。評價必須與人們假定政策應該實現的目標聯系起來，政策評價才是合理的。 如果學區推行新的薪酬政策的目標是提高學生的出勤率和鼓舞學生士氣，那么政策評價便應指向薪酬政策在何種程度上實現了提高學生出勤率和鼓舞學生士氣的目標。薪酬政策對學校其他活動發生的影響諸如考試成績與政策成功與否無關。 確定政策目標評價

7、的第一步是，盡可能精確地確定政策目標或目的。選擇評價指標政策目標是否達成，通常并非是顯而易見的事情，因而，在確定政策目標之后，教育者必須選擇指標，這是評價政策目標實現程度的測量工具或標志。例如，在評價薪酬政策中，政策實施過程中5年時間里具有比較意義的是學生出勤率，每個學年伊始實施的學校校風調查得分，就是可行的指標。選擇評價指標政策目標是否達成，通常并非是顯而易見的事情，因而選擇或設計收集數據的工具教育評價的第三步是選擇或設計收集數據的工具。在評價薪酬政策方面，教育評價者可以設計一種表格，記錄過去5年學區出勤數據；還可以選擇一種市場上出售的校風調查問卷，對學生進行調查。選擇或設計收集數據的工具教

8、育評價的第三步是選擇或設計收集數據分析和總結數據在資料收集完成后，對數據進行分析。數字性數據（例如測驗分數）通常運用統計方法進行分析，計算平均數、全距、頻率，判斷這些數據是否在統計上存在顯著差異。這些分析結果通常利用圖形、曲線和表格表示。言語性數據（諸如訪談記錄）通常依據整個評價范圍中言語性數據經常出現的主題分類，然后依據主題進行編碼，這樣就可以看出每個主題的發生情況。電腦程序既可以用來分析數字性數據，也可以用來分析言語性數據。分析和總結數據在資料收集完成后，對數據進行分析。數字性數據（撰寫評價報告仔細分析數據后，教育評價者需要撰寫評價報告，說明評價結果，依據評價結果提出建議。例如，在評價報告

9、中全面討論薪酬政策的評價過程，表明實施新的薪酬政策以來，出勤率得到改善，學生的士氣卻沒有明顯進步。教育評價者可能據此建議繼續推行新的薪酬政策，同時附加新的政策內容，嘗試促進學生的士氣。 撰寫評價報告仔細分析數據后，教育評價者需要撰寫評價報告，說明依據評價建議作出反應學區的領導者們受到了評價報告后，或者用來修改薪酬政策，或者終止薪酬政策。依據評價建議作出反應學區的領導者們受到了評價報告后，或者用來判斷教育政策評價的標準 盡管教育評價的目的是判斷政策的效用，但教育評價自身也必須接受評價。實際上，教育領導者們需要知道如何判斷一項計劃中的或完成了的評價的質量。倘若他們簽訂了合同實施一項評價，那么就需要

10、知道這項計劃中的或完成了的評價是否完善。如果面對一項已經完成的評價，領導者們也需要知道應該對之采取何種態度。 判斷教育政策評價的標準 盡管教育評價的目的是判斷政策的效用，判斷教育政策評價的標準（1）實用程度（usefulness）；（2）可行程度(feasibility)；（3）合適程度(propriety)；（4）準確程度(accuracy)。 判斷教育政策評價的標準（1）實用程度（usefulness）實用程度 報告的言語表述應當清晰，政策目標對象能夠理解，避免使用技術術語和難以理解的統計數據。如果必要，應當采用不同文本的評價報告，運用不同的政策目標對象的語言。 報告內容都必須充分，全面說

11、明接受評價的政策的信息，主要評價結果都應該與實際的情形之間存在清晰的聯系。政策評價報告的篇幅不應該過長，在開首部分，應該包括一個概括的實施過程和意義說明。實用程度 報告的言語表述應當清晰，政策目標對象能夠理解，避免可行程度 時間成本經濟成本工作秩序政治影響意料之中可行程度 時間成本評價必須是可以操作的，而不是給學區或學校帶來不合理的壓力。可行程度的一個重要方面是基于實際，通過實踐可以完成。評價的設計便于在規定的時間范圍內完成，同時避免對相關的教育者履行專業職責造成不適當的干擾。如果一項政策評價要求學生停學一周或兩周，以便進行訪談，或者實施測驗，這樣的政策評價項目就是不可行的或不切實際的。可行程

12、度的另一重要方面是沒有引發政治沖突。本章開篇部分指出，評價是一項“令人不安”的工作。那些不安的人士很有可能試圖阻撓評價的部分內容，從而保護自我和自己的工作。這種情形表明，評價始終無法排除政治因素。一項好的評價不會無視這一事實，而是始終將其列為設計評價的考慮因素。一種最小化圍繞評價發生政治爭議的方法是，評價者在設計評價過程中，與政策目標對象討論，聆聽其建議，顧及所有利益團體和政策目標對象的利益。在評價過程中，項目負責人還應該在訪談、觀察、收集數據時，避免表揚，或者似乎表揚一群人，從而淡化另一群人。在評價報告公布之際，沒有人會大吃一驚和措手不及，或者感到不愉快。可行的評價是經濟上負責任的評價，其預

13、算準確，足以完成評價，相對于評價發生的環境而言，成本適度。合適程度合適程度主要關注法律問題和道德問題。良好的政策評價必須與公認的研究規范一致。第一，在政策評價中，沒有選擇與政策情境存在利益沖突的人士擔任評價者。無論誰來擔任評價者，都必須避免自己的個人、專業、經濟利益與評價結果發生關系，倘若有希望實施評價的親朋好友，那么也應該回避。第二，評價者與委托實施評價的組織應該簽定合同，說明研究（政策評價）目的、評價什么和何時完成。第三，評價者在實施評價時，應當尊重政策目標對象作為人的基本權利，形成合適的信任關系，告知參與者政策評價目的。此外，評價者應當有禮貌地對待全體參與者，征求各種意見，而不應聽任參與

14、者受到其在組織中地位，以及受到種族、性別、年齡的限制，從而對政策評價一無所知。最后，最終的政策評價報告應該是全面公開的，即便評價者在實施評價的過程中發現經濟作弊或其他問題行為。合適程度合適程度主要關注法律問題和道德問題。良好的政策評價必準確程度評價應該是準確的。評價者必須研究政策實施環境，熟悉其文化和社會經濟特點，只有在這樣的基礎上才能形成準確的評價報告。在評價報告中，評價者應該提供足夠詳細的信息，說明數據來源，這樣，報告的讀者才能確定數據的價值以及基于其上的報告結論的價值。 準確程度評價應該是準確的。評價者必須研究政策實施環境，熟悉其評價的目的：（1）總結性評價許多政策評價是總結性評價(su

15、mmative evaluation)。 這一類評價指向已經實施一段時間的政策的質量，尤其是在其實施歷程中處于一種關鍵階段。 否定性的評價結果可能意味著某一政策的終結，因為國會可能否決這項政策，拒絕繼續給予撥款，或者獲得重新生效，條件是該項政策必須接受重大修改。在這一意義上可以說，總結性評價的基本目的就是明確賦予政策實施者一定的責任，這就是為什么施行總結性評價的利害關系重大的原因，也是為什么總結性評價總是通過外部評價者施行的原因。 評價的目的：（1）總結性評價許多政策評價是總結性評價(sum形成性評價(formative evaluation) 形成性評價的目的是在一項政策的實施過程中，幫助政

16、策實施者對政策進行必要的修正，從而對政策進行改進，因而，形成性評價是持續的經常發生的過程。雖然評價者在事先指定的時間撰寫和完成評價報告，其收集相關數據的工作卻是正常性的和持續的。因為形成性評價的意圖是幫助實施者對如何更好地開展正在進行的工作選擇更好的方法，所以不象總結性評價那樣令人忌憚。同時，由于關系不甚重大，內部評價者通常也會參與形成性評價。形成性評價(formative evaluation) 形成“政治控制評價”虛擬性評價（pseudo-evaluation）。 遺憾的是，政策評價并不總是聲譽良好，令人信服。常見的情形是，一項表面上看來是真誠的評價，實際上卻被稱為虛擬性評價的一種。虛擬評

17、價的目的分為兩類。第一類是“政治控制評價” 。這樣的評價是基于政治因素而啟動的，數據的收集，以及最終政策評價報告的發布，都會受到嚴格控制，目的是制造某些人士期望的政策印象。這種預先期望的政策印象既可能是否定性的，也可能是肯定性的，但絕不會真實反映政策實施成功與否，而是提供政策評價委托者所需要的政治理由。 “政治控制評價”虛擬性評價（pseudo-evaluatio公共關系評價公共關系評價目的是“打造學校、學區、項目或政策過程的肯定性的良好的公共形象” 。與政治動因啟動的虛擬性評價一樣，那些公共關系研究項目的委托者通常明確告知評價者，政策評價的結果應該是什么。在這樣的情形下，政策評價的最終報告不

18、僅必須是肯定性的，而且必須在已經樹立起來的良好的公共形象上附加光環。為了實現這樣的目的，評價項目的委托者細心地框定和選擇研究者能夠收集數據的范圍和類型，限制研究者能夠在哪兒工作，可以與誰交談，應該提什么問題。無庸置疑，虛擬性評價是不道德的。公共關系評價公共關系評價目的是“打造學校、學區、項目或政策過政策評價的方法論：量化方法論 量化研究設計包括數值型數據的收集和統計分析。許多數值型數據都可以在學區和學校獲取。圖11.2列出了可以在學區和學校收集的最為常見的數值型數據。量化政策分析有時依托實驗或準實驗設計完成，這些實驗研究調查參與某一項目的小組與沒有參與這一項目的小組之間的統計差異。 政策評價的

19、方法論：量化方法論 量化研究設計包括數值型數據的收量化評價的優點是，結構優秀的量化評價有著很好的信度，許多人尊重使用統計術語或圖形表達的評價結果，或者是使用圖形描述的評價結果。實施過程相對快捷，成本相對低廉。但是，量化評價的主要缺點是由于其結構封閉，研究問題精確具體，因而很難用于追求那些沒有預料到的研究內容，而這些內容可能正是作為評價對象的某些政策的重要效果或作用 量化評價的優點是，結構優秀的量化評價有著很好的信度，許多人尊教育研究量化數據例舉 考試成績在讀學生在讀率（Retention rates）出勤率輟學率生均成本教師工資師生比接受免費午餐或減價午餐的學生比入學率取得碩士學位的教師比例

20、教育研究量化數據例舉 考試成績質化方法論 質化研究設計涉及言語性的和形象性的數據收集。在學校和學區可以收集到許多這樣的數據，研究者也很容易生成這種數據。圖11.3列舉了一些最為常見的質化研究數據類型。質化研究設計常常需要收集多種數據，并對之進行比較，這一過程稱為三角互證（triangulation）。例如，一個評價預防輟學項目的評價小組可能訪談學生和教師，聽課，分析作業和其他與本項目相關的材料。質化評價能夠探索富有意義的內涵和解決問題的觀點。此外，質化評價常常獲取一些量化評價無法發現的卻是富有價值的結論。 質化方法論 質化研究設計涉及言語性的和形象性的數據收集。在學質化數據例舉 訪談記錄焦點小

21、組討論記錄觀察記錄開放問卷個人觀點日記會議記錄正式報告法律文件書籍和類似材料照片 質化數據例舉 訪談記錄指標“指標是指與教育中的某種基本結構相關的單個或復合的統計數值，用以測度這種基本結構（例如，教育政策）的一種或數種情形” 評價者必須界定指標，用于確定實現政策目標的程度如何，這是任何政策評價必不可少的一個環節。選擇評價指標時，必須特別慎重，因為倘若指標不合適，將會產生病態反應。 指標“指標是指與教育中的某種基本結構相關的單個或復合的統計數評價的政治學分析第一，接受評價的政策和政策系統都是政治過程的產品；第二，評價報告影響著政治領域發生的一切，包括一項政策是否應該持續，應該獲得多少撥款；最后，

22、許多人的職業生涯、專業聲望和教育利益取決于評價結果：評價領域的相關者；政策制定者；政策實施者；委托人；評價者； 評價的政治學分析第一，接受評價的政策和政策系統都是政治過程的運用評價報告 沒有行動局部修改政策大幅修改政策終止政策運用評價報告 沒有行動修改政策的主要方法 方法解釋 替代提出新的政策項目，其目標與原有的政策一致，替代原有的政策。鞏固統合兩個或者更多的政策項目，或者統合一些項目的部分內容。分離分離政策項目的某一方面內容，將其融入其他政策或項目之中。削減經費削減政策項目的撥款，政策中的許多措施沒有經費實施。修改政策的主要方法 方法解釋 替代提出新終止政策的時機 管理階層變化經濟發展周期陷

23、于低迷階段預算發生困難組織內部其他崗位空出原有的政策易于被新政策替代的時候 終止政策的時機 管理階層變化問題和活動1.討論為什么人們對評價感到不安。2.找出一項量化評價和一項質化評價，說明兩種評價分別使用了什么方法，比較兩種評價得出的信息和結論。3.找出一份評價報告的結論，運用本章的評價標準，對其進行評價。4.列舉你所知道的一項或數項評價項目，辨別其主要指標。這些指標是否在某種程度上曲解了政策？怎樣對其進行改正？問題和活動1.討論為什么人們對評價感到不安。個案研究：中學建議書引發激烈爭論一位學校督學決定對本學區初中（79年級）的課程和組織進行評價，成立了一個評價小組，包括小學、初中、高中校長和

24、一位教師。督學要求評價小組在開始評價工作后五周內完成一份書面報告。評價小組根據自己對本學區學校制度的了解、信念及其需要，以及通過問卷收集的部分教師、學生的感受準備了一份書面評價報告遞交督學。報告中的內容包括本學區初中學生的學術成績、全美初級中學組織變化趨勢（強調中學概念實施的優點）、現存的和未來預期的入學率、初中課程之間的不連貫和初中年齡段學生的心理和社會發展水平。個案研究：中學建議書引發激烈爭論一位學校督學決定對本學區報告建議改革本學區學校制度，建立中學組織，包括第六、七、八三個年級，而把第九年級并入高中。報告公布后，小學和高中家長十分激動，因為他們關心的問題沒有在報告中反映出來。其中小學家

25、長尤其憤怒，他們擔心六年級學生從小學分離后，孩子的成長沒有了表率。在他們看來，六年級的學生能夠幫助低年級小孩做很多事情，其中最重要的事情就是安全地陪伴著低年級小孩來往于學校和家庭之間。與這一切相映，高中家長深深憂慮在9年級學生進入高中后的學校擁擠現象。兩組家長代表向學校委員會提出抗議。學校委員會同樣非常氣惱，因為報告沒有評價重組學校的缺點和成本，以及其他可供選擇的學校組織變革方案的優點和缺點。結果，學校委員會站在家長一邊，拒絕了中學概念及其實施。問題：1.運用本章討論的評價標準，說明上述評價的缺點。2.如果你是學校委員會成員，你對報告的建議如何表決？為什么？3.督學能夠做些什么來增加評價的可信

26、程度？評價小組能夠做些什么來增加評價的可信程度？4.仔細閱讀上述案例，怎樣理解評價的政治學對政策環境形成的影響？報告建議改革本學區學校制度，建立中學組織，包括第六、七、新聞分析學區相信雙語教育任何時候，只要教育管理部門實施一項變革，就會謠言四起，道聽途說難以抵制地紛至沓來。正如人們預料的那樣，奧斯丁獨立學區開始啟動其建設規劃，處理那些長期教學質量低劣的學校的問題時，這樣的情形又發生了。在流行的謠言和道聽途說中，一種說法是學區管理機關不支持雙語教育。作為學區負責雙語教育的管理者，我們現在就讓這種說法住嘴。這里沒有任何模棱兩可學區管理機關明確支持有效的雙語教育，視此為面向不會或很少說英語的孩子的最好的教育方式。我們的主張基于多項重要原則：日常生活中使用的主要語言，是所有學生獲得智力和社會發展的最強有力的工具。在家庭中習得語言的方式，在所有英語教學課堂上都是學業進步的基礎。新聞分析學區相信雙語教育任何時候，只要教育管理部門實施在雙語教育和英語作為第二語言的課堂教學中，使用日常生活主要語言掌握詞匯、提高理解能力和獲得語言機制，是富有成效的提高學術成績的途徑。伴隨