1、基于AHP的自學考試助學組織評估指標體系及方法的研究高洪軍1研究的背景11自學考試的改革與發展當今時代，強化教育的育人功能，提高受教育者的素質，是各類學校、各種教育形式的共同理念。高等教育法明確規定自學考試是一種高等教育制度，它是我國高等教育的組成部分。目前，自學考試的學業評價以國家考試成績作為唯一的評價手段，應該說有一定局限性，雖然強化了學業評價的平等性，但是削弱了全面性與客觀性。就目前的考試手段，很難對考生的能力、特別是素質進行有效的測評。所以，研究、建立自學考試考生學業綜合評價體系，把考生平時學習與表現情況納入總體評價，是實現自學考試向考試與學習過程并重轉變的關鍵，也是完善自學考試教育制

2、度的重要任務。開展自學考試考生學業綜合評價，是通過建立考生平時學習成績考核、認定辦法，將考生的學習過程考核成績與國家考試成績結合起來，一并納入自學考試考生學業評價體系，使個人自學、社會助學和國家考試三者更加緊密地有機結合起來，引導、激勵自學考試考生全面發展，全面提高綜合素質。自學考試的社會助學以民辦教育為主體。民辦教育目前在我國尚屬探索發展時期，許多助學單位在辦學條件、規范管理、教職工隊伍的素質和穩定性等諸多方面都存在不足。基于此，推行學業評價改革的前提就是要對助學單位進行必要的評估。1.2 教育評估的研究與完善目前，無論是從理論研究，還是從實踐層面上，一個具有中國特色的教育評估體系正在形成。

3、在教育活動的各個領域、各個層次開展了廣泛的教育評估活動，包括全國的、地區的、學校的、學科的、教師的、學生的、校長的各種評估，教育工作者制定了相當數量的各種評估方案或質量標準。但不可否認的是大都存在一定的局限性，主要表現為如何測量評估指標。事實上，教育現象的不確定性主要表現為隨機性和模糊性，對教育現象做出明晰而精確的描述是非常困難的。目前，對學校的評估已經從過去的定性評估過渡到定性與定量相結合，以定量為主的評估方式，并在設置評估指標體系時強調指標的量化。評估的本質是主觀的評測，所以這從理論層面確實是個挑戰。但從具體的操作層面無疑是一個折中的選擇，針對大規模的評估則又是明知的抉擇。依筆者之見，強調

4、指標的量化還遠不夠、應該全部量化，畢竟評估者很難得出客觀的定性結論。指標的量化能更有效促進評估工作的組織，前提是選擇適當方式將定性因素轉化為定量因素。2自學考試助學組織的評估指標體系及評估模型2.1 評估指標體系2.1.1 評估指標體系的特征 助學組織的的評估要受到各種因素的制約。因此，評估指標體系的設計，需要深入了解影響評估的各種因素及其特征，分析它們之間內在關系，在遵循全面與科學性、系統性等原則上，建立正確、客觀的評估指標體系。另外，要體現客觀與可測性、可比與相容性、定量評估與定性評估相結合和動態指標與靜態指標相結合等方面的要求。2.1.2 助學組織評估的指標體系為了科學合理地對助學組織進

5、行綜合評估，評估的指標體系應在遵循上節所給出的原則基礎上，從影響學校工作的諸多因素中，選擇主要的能從不同角度反映總體情況的關鍵因素作為指標體系的內容。自學考試的教育、教學活動廣泛，評估的要求也不盡相同。有行政部門的年度評估、管理部門的示范評選和學業綜合評價等。其形式相似，內容要求不同，在本文中以北京自學考試的示范助學組織評選指標體系作為解剖對象來做說明。經分析和研究，將助學組織評估指標體系設計成三層結構。第一層是助學組織的綜合評估；第二層為綜合評估的六個主要方面（一級指標）包括基本條件、教學管理、行政管理、教學條件、教學效果和助學行為；第三層是將第二層的六個一級指標分解成的若干個二級評估指標。

6、2.2 助學組織評估指標體系的算法模型2.2.1 評估指標體系結構助學組織的評估屬于多目標決策問題，在評估模型方面應根據層次分析理論，按指標的層次關系和隸屬性關系逐層分解，形成層次分析評估模型。所以，本文設計的如圖21所示的助學組織評估指標體系結構，是采用經典評估的結構，一般設置一級指標Fn、二級指標Fnn和測評點。2.2.2 綜合評估線性加權模型此模型是針對大規模教育評估設計的數學模型。這是定性指標定量化管理的有效手段1-3。以兩級指標體系為例，對于第i個一級指標，第k個專家的評估結果如下：表2-1 專家評估結果示例第i個一級指標中的二級指標第k個專家的評估量化值第k個專家對第i個一級指標F

7、i的評估值： 第k個專家的綜合評估值 ,合成各專家意見，得出總體評估值 其中，且 ,反映第k個專家的權重，由評估組織者確定。若各專家水平相當，則可取2.3評估指標體系權重算法的研究2.3.1 AHP層次分析方法概述2.3.1.1 評估算法與選擇AHP算法線性加權評估模型的基礎就是將評估體系的指標量化，即要取得指標的權重。無論是定量指標還是定性指標，都必須按照統一的量化方式處理，用同一的量綱衡量。為了解決評估體系指標的權重量化。本文將依據評估需求和AHP優勢，提供一個有效的解決途徑。2.3.1.2 AHP的背景及發展層次分析法（Analytic Hierarchy Process，簡記AHP）在

8、20世紀70年代中期由美國匹茲堡大學著名的運籌學家薩迪（T. L. Satty）教授等人在為美國國防部研究“根據各個工業部門對國家福利的貢獻大小而進行電力分配”課題時，應用網絡系統理論和多目標綜合評價方法，正式提出的一種定性與定量分析相結合的多準則決策方法。它是指將決策問題的有關因素分解成目標、準則、方案等層次，在此基礎上進行定性分析和定量分析的一種決策方法。它把人的思維過程層次化、數量化，并用數學為分析、決策、預報或控制提供定量的依據。這一方法的特點，是在對負責決策問題的本質、影響因素以及內在關系等進行深入分析之后，構建一個層次結構模型，然后利用較少的定量信息，把決策的思維過程數學化，從而為

9、求解多目標、多準則或無結構特性的復雜決策問題，提供一種簡便的決策方法。尤其是適用于人的定性判斷起重要作用的、對決策結果難于直接準確計量的場合。層次分析法就是為分析這類復雜的社會、經濟、教育以及科學管理領域中的問題提供了一種實用的決策方法。2.3.1.3 AHP與其它算法的比較綜合評估的具體方法有許多種，各種方法的總體思路是統一的，大致可分為熟悉評估對象、確立評估的指標體系、確定各指標的權重、建立評估的數學模型，分析評估結果等幾個環節。其中確立指標體系、確定各指標權重、建立數學模型這三個環節是綜合評估的關鍵環節。(1)AHP法的優勢與局限AHP層次分析法是一種強有力的系統分析加運籌學方法，對多因

10、素、多標準、多方案的綜合評價及趨勢預測相當有效4。它不僅適用于存在不確定性和主觀信息的情況，還允許以合乎邏輯的方式運用經驗、洞察力和直覺。面對由“目標層+準則層+方案層”構成的遞階層次結構決策分析問題，給出了一整套處理方法與過程。AHP法最大的優點是可以簡單明了地處理定性和定量相結合的問題，可以將決策者的主觀判斷與政策經驗導入模型，并加以量化處理。AHP從本質上講是一種科學的思維方式5。AHP法的主要優勢面對具有層次結構的整體問題綜合評價，采取逐層分解，變為多個單準則評價問題，在多個單準則評價的基礎上進行綜合；為解決定性因素的處理及可比性問題，以“重要性”（數學中表現為權重）比較作為統一的處理

11、格式。并將比較結果按重要程度以1至9級進行量化標度。檢驗與調整比較鏈上的傳遞性，即檢驗一致性的可接受程度；對匯集全部比較信息的矩陣集，使用線性代數理論與方法加以處理。挖掘出深層次的、實質性的綜合信息作為決策支持。AHP法的局限性AHP法也有致命的缺點，它只能在給定的策略中去選擇最優的，而不能給出新的策略； AHP法中所用的指標體系需要有專家系統的支持，如果給出的指標不合理則得到的結果也就不準確； AHP法中進行多層比較的時候需要給出一致性比較，如果不滿足一致性指標要求，則AHP法就失去了作用； AHP法的關鍵層次分析法的關鍵在于，層次結構要合理，這需要對具體問題細心的調查研究。盡管求解權重系數

12、有較大的計算量，但一旦求出來，便可在一定范圍內普遍適用。如果所選的要素不合理，其含義混淆不清，或要素間的關系不正確，都會降低AHP法的結果質量，甚至導致AHP法決策失敗。(2)權重系數的精確測度目前，權重系數的精確測度主要有“專家咨詢法（Delphi）、層次分析法、二項系數加權法、環比評分法”等。其中比較有代表性的、較成功的主要是Delphi法和AHP法。而且，權重系數的確定基本上已由個人經驗決策轉向專家集體決策，比如評委投票表決法（簡化了的Delphi法）等等。Delphi法是邀請多位專家匿名賦值，多次論證后求均值。其優點在于容易為人接收、有較高的說服力；缺點在于經驗判斷、無過程驗證，不一定

13、符合實際情況。AHP法是目前使用較多的一種確定權重的方法。此法對各指標之間的重要程度的分析更具邏輯性，再加上數學處理，可信度較大，應用范圍較廣，它由于具有堅實的理論基礎、完善的方法體系而深受歡迎，并在實踐中創造了多種多樣的變形方法。本文中確定權重采用AHP法，就是利用其優勢，并規避、弱化其不足。2.3.2基于AHP的評估指標體系權重的測算方法2.3.2.1構造評估算法的層次分析結構（1）評估算法各因素分析助學組織評估指標是依照現行的北京自學考試示范助學組織評選的指標體系，它包括基本條件、教學管理、教學效果等。指標和標準的科學性，是教育、管理專家和決策者所考慮的問題。當然我們也聘請了相關專家進行

14、了充分的論證，只是本文中對此問題暫不討論。在這里是從算法層面解決評估指標的公正和實用性。（2）構造算法層次分析結構圖建立一個多層次的遞階結構，按目標的不同、實現功能的差異，將算法分為幾個等級層次。層次結構建立在管理者（或分析者）對問題全面深入認識的基礎之上。根據對問題的初步分析，將問題包含的因素，按照是否共有某些特性將他們聚集成組，并將它們之間的共同特性看作為新的層次中的一些因素；而這些因素本身也按照另外一組特性被組合，形成另外更高層次的因素，直到最終形成單一的最高因素，這往往可以看作決策分析的目標。這樣即構成目標層，若干準則層和方案層的層次分析結構模型。在評估算法運用中，結合評估中不同因素的

15、重要程度形成了結構圖。圖2-2就是依據北京自學考試示范助學組織評選的指標體系的分析，構造出的層次分析結構圖。2.3.2.2構造判斷矩陣（1）對各層因素進行兩兩比較確定以上遞階結構中相鄰層次因素間相關程度。通過構造兩兩比較判斷矩陣（正互反矩陣）及矩陣運算的數學方法，確定對于上一層次的某個因素而言，本層次中與其相關因素的重要性排序相對權重。n個因素u1，u2，un，兩兩比較其重要性共要比較n(n-1)/2次。第i個因素u1與第j個因素uj重要性之比為aij。問題是如何得出aij的值。AHP采用19比例標度來確定aij；這是AHP的特點，也是優點。本來，n個因素比較n1次，即可確定順序，為什么要比較

16、n(n-1)/2次呢？這是由事物的復雜性和決策人的局限性決定的，事實證明，n個因素按重要性只有兩兩比較，才能揭示重要性的內在規律，僅僅比較n1次是絕對不行的，因為只比較n1次，其中若有一次失誤，則排序就將遭到破壞。而兩兩比較可減少失誤。判斷矩陣的因素賦值如表2-2。表2-2：AHP 1-9標度的含義 標度含義1表示兩個因素具有同樣的重要性3表示一個因素比另一個因素稍微重要5表示一個因素比另一個因素明顯重要7表示一個因素比另一個因素強烈重要9表示一個因素比另一個因素極端重要2、4、6、8為上述相鄰判斷的中值判斷矩陣形如下表。表2-3 判斷矩陣AA1A2AnA1a11a1nA2a21a2nAnan

17、1an2ann兩兩比較兩個因素的重要性，總是在某種準則（準則層比較是以總目標為準則，方案層比較分別以準則層中各因素為準則）下進行的。至于為什么取19比例標度，而不取別的？是因為人們直覺最多只能判斷出9個等級的差異，再細的差異，人的直覺是分辨不出來的，而兩兩比較判斷矩陣是領域專家靠感覺去分辨和構造的。從理論上講，用115比例標度也未嘗不可，只是人的直覺分辨不出來。對于n個物體，兩兩比較其重要性得判斷矩陣A = (aij)nn，顯然aij滿足：aij 0，aij = 1/aji，aii = 1，共計n(n-1)/2個判斷，所以A是正的互反矩陣，且對角線上因素為1，這樣的n階矩陣可表示為上三角或下三

18、角矩陣。但A的因素aij通常不具有傳遞性，即aij ajk aik，這是由事物的復雜性和人的認識的局限性造成的。如果aij ajk aik成立，則稱A是一致性矩陣。從判斷矩陣A出發到導出因素在某種準則C下按重要性大小的排序，矩陣A的一致性起著至關重要的作用。（2）構造比較判斷矩陣基于經典評估的指標結構與AHP層次分析方法結構的共同性，給采用AHP方法解決評估指標的權重提供了可能性。它通過共同的價值尺度指標的重要性來量化權重，從而實現以定量為主的評估方式。按照AHP層次分析19比例標度的說明和專家對評估指標認識的具體案例(見2-6表),具體構造兩兩比較判斷矩陣。以下是根據評估指標和專家的評價結果

19、列出各個判斷矩陣實例：表2-4 一級指標判斷矩陣示范性助學組織評估 示范性助學組織評估行政管理教學管理教學條件教學效果助學行為行政管理10.1667110.3333教學管理61662教學條件10.1667110.3333教學效果10.1667110.3333助學行為30.5331行政管理、教學管理、教學條件、教學效果和助學行為的判斷矩陣略。2.3.2.3判斷矩陣的一致性檢驗（1）一致性檢驗的意義在上述過程中建立起了判斷矩陣，使得判斷思維數學化，簡化了問題的分析。此外，這種數學化的方法還有助于決策者檢查并保持判斷思維的一致性。應用AHP法，保持判斷思維的一致性是非常重要的。所謂判斷思維的一致性是

20、指專家在判斷指標重要性時，各判斷之間協調一致，不致出現相互矛盾的結果。在多階判斷的條件下出現不一致，極容易發生，只不過在不同的條件下不一致的程度是有所差別的。對于實際問題建立起來的判斷矩陣往往滿足不了一致性，造成這種情況的原因是多種多樣的，如由于客觀事物的復雜性、人們認識上的多樣性和可能產生的片面性。要求每一個判斷都有完全的一致性顯然不太可能，特別是因素多規模大的問題更是如此，但是，要求判斷具有大體上的一致性是應該的。若出現甲比乙極端重要，乙比丙極端重要，丙又比甲極端重要的情況顯然是違反常識的。因此，為了保證應用層次分析法分析得到的結論合理，還需要對構造的判斷矩陣進行一致性檢驗。這種檢驗通常是

21、結合排序步驟進行的。（2）判斷矩陣的一致性檢驗根據矩陣理論可以得到這樣的結論，即如果 QUOTE ， QUOTE ， QUOTE 是滿足式 QUOTE 的數，也就是矩陣A的特征根，并且對于所有的 QUOTE ，有 QUOTE 顯然，當矩陣具有完全一致性時，1 = max = n，其余特征根均為零；而當矩陣A不具有完全一致性時，則有1 = max n，其余特征根 QUOTE ， QUOTE ， QUOTE 有如下關系： QUOTE 由上述結論得出，當判斷矩陣不能保證具有完全一致性時，相應判斷矩陣的特征根也將發生變化，這樣就可以用判斷矩陣特征根的變化來檢驗判斷的一致性程度。因此，在層次分析法中引入

22、判斷矩陣最大特征根以外的其余特征根的負平均值，作為度量判斷矩陣偏離一致性的指標，即用 QUOTE 檢查決策者判斷思維的一致性。顯然，當判斷矩陣具有完全一致性時，CI = 0，反之亦然。從而有：CI = 0，1 = max = n，判斷矩陣具有完全一致性。另外，當矩陣A具有滿足一致性時，max稍大于n，其余特征根也接近于零。不過這種說法不夠嚴密，必須對于“滿足一致性”給出一個度量指標。衡量不同階判斷矩陣是否滿足具有滿意的一致性，還須引入判斷矩陣的平均隨機一致性指標RI值。對于1-9階判斷矩陣，RI的值分別列于下表中。表2-5 RI值1234567890.000.000.580.901.121.2

23、41.321.411.45在這里，對于1、2階判斷矩陣，RI只是形式上的，因為1、2階判斷矩陣總是具有完全一致性。當階數大于2時，判斷矩陣的一致性指標CI與同階平均隨機一致性指標RI之比稱為隨即一致性比率CR。當 QUOTE 時，即認為判斷矩陣具有滿意的一致性，否則就需要調整判斷矩陣，使之具有滿意的一致性。判斷矩陣一致性檢驗通常是伴隨層次排序進行的。2.3.2.4層次單排序通過層次單排序可以測算指標體系的權重計算出某層次因素相對于上一層次中某一因素的相對重要性，這種排序計算稱為層次單排序。具體地說，層次單排序是指根據判斷矩陣計算對于上一層次某因素而言本層次與之有聯系的因素重要性次序的權重。理論

24、上講，層次單排序計算問題可歸結為計算判斷矩陣的最大特征根及其特征向量的問題。但一般來說，計算判斷矩陣的最大特征根及其對應的特征向量，并不需要追求較高的精確度。這是因為判斷矩陣本身有相當的誤差范圍。而且，應用層次分析法給出的層次中各種因素優先排序權重從本質上來說是表達某種定性的概念。因此，一般用迭代法在計算機上求得的是近似的最大特征根及其對應的特征向量。本實例中采用一種簡單的計算矩陣最大特征根及其對應特征向量的方法方根法。（1）計算判斷矩陣每一行因素的乘積Mi QUOTE QUOTE QUOTE ，i =1，2，n （2）計算Mi的n次方根 QUOTE QUOTE QUOTE QUOTE （3）

25、對向量 QUOTE 正規化 QUOTE 則 QUOTE 即為所求的特征向量。（4）計算判斷矩陣的最大特征根max QUOTE 其中(AW)i表示向量AW的第i個因素。根法是一種簡便易行的方法，在精度要求不高的情況下使用。除了根法，還有和法、特征根法、最小二乘法等。結合實例，利用這種方法，容易對各判斷矩陣的各層次單排序進行計算以及求得一致性檢驗結果。（具體過程略）現將結果在表2-6中列出：表2-6 評估指標權重的生成及結論一級 指標1-9度 專家估測指標分值調整后 指標分值二級指標 及分值1-9度 專家估測指標 分值調整后 指標分值二、行政管理18.33152-1、領導班子12.08332-2、

26、管理機構及管理人員12.08332-3、制度建設12.08332-4、資產及財務管理0.3330.69422-5、安全工作0.3330.69422-6、多址辦學0.3330.6942三、教學管理650303-1、管理隊伍18.33553-2、師資隊伍18.33553-3、教學管理制度18.33553-4、教學計劃、教學大綱18.33553-5、教學質量監控18.33553-6、素質教育18.3355四、教學條件18.33154-1、教學環境10.83334-2、教學設備32.49944-3、教學服務設施32.49944-4、教學經費32.4994五、教學效果18.33155-1、學生對教學質量

27、的滿意率12.77675-2、通過率25.5548六、助學行為325256-1、自考政策執行10.94326-2、教考分離32.3936-3、招生宣傳32.3936-4、自考教材32.3936-5、社會評價10.94326-6、合同履行10.94326-7、助學管理55.34446-8、考風與考紀79.666注：一級指標中的“一”為基本條件的判斷，故略去；權重已按比例調整為指標分值。至此，已測算出各級指標的權重。其若能與前節所述的Delphi法的賦值結合使用，將得出更為合理的結論。評估指標體系權重結論的生成數據的修正及結論的形成：AHP測算出的各級指標的權重與Delphi法的賦值結合使用,將得出更為合理的結論。根據專家意見，每個二級指標的權重至少為2分，以便于測評出具體的差異。所以，二級指標條款數較多且權重最低的一級指標行政管理中的2-4、2-5、2-6需要調整權重。二級指標2-4、2-5、2-6為最低的2分，2-1、2-2、2-3比之稍微重要應為3分，則行政管理權重應為15分。教學條件和教學效果與行政管理同樣重要，兩者的權重也應為15分。按照4-2、4-3、4-4同樣重要應該同分及4