空間相關性與分類比例在不同抽樣設計中對準確性測量的影響摘要：本文仿真了四幅結合兩種空間相關性標準、兩種不同的分類比例的二進制的專題圖以研究借助不同抽樣設計的分類準確性效果。11種抽樣類型（從25到1296）按3種常用的抽樣設計，包括簡單隨機抽樣（SRS），系統抽樣（SYS），分層隨機抽樣（StrRS）在4幅仿真地圖上被仿真。常見的誤差矩陣和相關的準確性度量也被考慮進每一個仿真中。同時，3種抽樣設計的不同精度估計也相互比較。某一特別的抽樣方法和抽樣類型的選擇依賴于空間相關性的程度、分類比例的差異以及應用中所需的精度要求。通常，一幅地圖分類比例的差異比空間相關性對抽樣方法的效果影響更大。對于估計個體類的精度，特別在小型類中StrRS的效果比SRS和SYS的效果更好。對于估計總精確度，不同的抽樣設計的效果相似。為了得到更好的KAPPA系數，推薦StrRS用于高類別比例差異的地圖，推薦SRS用于低空間相關性和低類別比例差異的地圖。關鍵詞：精度評估；分類誤差；抽樣；分類比例1.引言隨著遙感技術的發展，從遙感數據得到的專題地圖被廣泛應用于不同的環境建模，監控，以及計劃中。但這些專題地圖通常不能完美的代表現實，還常常包含誤差和不確定性（Foody,2002）。在設計中使用這樣的地圖卻不知道其中的誤差和不確定性會導致嚴重的風險。因此，在最近10年，對專題地圖的準確性評估的需要不斷增長（CongaltonandGreen，1999；CongaltonandPlourde，2002；Congalton，2002；Foody，2002；LunettaandLyon，2004；StehmanandCzaplewski，1998）。基于遙感的專題圖的精確度涉及到一幅地圖或分類的正確性（Foody，2002），或者涉及導出信息與參照數據（或地面實況）相吻合的程度（Campbell1996）。常用的估計遙感專題圖準確度的方法是比較參照數據和專題圖。由于時間，花費上的限制，以及物理訪問的權限，想要獲得地圖上所有像素上的參考信息是不實際的，因此常常需要抽樣參考數據。一旦搜集到參考數據以后，它們會和地圖中此類數據對比，從定量精度指數產生誤差矩陣，例如總體準確度、用戶準確度、生產準確度等，另外也能計算出總體和個體的KAPPA系數（Congalton，1991；Congalton和Green，1999）。抽樣方法和抽樣量（或抽樣大小）是兩個決定精度評估的效率和花費的最重要的因素（Jensen，1996）。現在已經有很多發表的方程和指導方針以確定合適樣本量的選擇（Cochran，1977；Jensen，1996）。其中，二項分布和二項分布的正態常數經常用于計算所需的抽樣大小(Congalton，1991)。然而，這些方程是基于正確的分類抽樣的比例和某些允許的錯誤，可能并不合適產生一個誤差矩陣（Congalton，2004）。當前的文獻不能提供一個一致所需最小樣本量的方法。Genderenetal（1978）表示，為了接受派生專題圖95%的置信區間，至少需要30大小的樣本量。Ginevan（1979）和Hay（1979）按更加保守的方法，得出最小樣本量應為50，以避免拒絕一個精確的地圖。Congalton（2004）根據經驗推薦每個類的誤差矩陣最少使用50的樣本量。然而，在研究大型區域或一幅地圖存在大量類別時最小樣本量應該增加到75-100（Congalton,，2004）。 不同的抽樣方法被用來選擇抽樣單位以進行地圖精度評估。常用的方法包括簡單隨機抽樣、分層隨機抽樣、系統抽樣、系統隨機抽樣、系統不對齊抽樣和集群抽樣（Cochran，1977；Congalton，1977；Stehman，1992）。Congalton（1988b）在三幅不同的土地覆蓋地圖上比較了五個抽樣方案（簡單隨機抽樣、分層隨機抽樣、系統抽樣、系統隨機抽樣、系統不對齊抽樣）不同的空間復雜性。他的結果表明，根據地圖的空間復雜性，簡單隨機抽樣在樣本容量足夠大時總能提供足夠的估計，而系統抽樣和分層系統不對齊抽樣會高估分類誤差及其方差。Stehman（1992）指出，Congalton對系統抽樣偏見的結論與Maling（1989）和Berry和Baker（1968）認為分層系統不對齊抽樣是最公正的抽樣設計的觀點互相矛盾。基于使用兩個精度措施（誤分整體比例，kappa系數協議）的仿真研究，Stehman（1992）發現，除了具有周期模式的地圖，系統抽樣比簡單隨機抽樣更為精確。然而，在專題地圖的精度估計中比較了5中抽樣方法的效果后，Lo和Watson（1998）得出的結論是，分層隨機抽樣最為適合混有簡單和復雜空間模式的植被地圖。上述研究中對立的結論突出了一幅的地圖空間模式和復雜性對不同抽樣方法效果的影響。.之前的研究表明，從遙感分類地圖生成的圖片往往是空間自相關的（Congalton，1988a；Hypannen，1996；Pugh和Congalton，2001）。空間自相關涉及相鄰像素之間分類結果的相關性，并且與地圖上周期性或空間模式有關。Congalton（1991）指出，現有專題地圖上存在的空間相關性將推翻大多數取樣方法中樣本獨立性的假設。若不考慮分類地圖上空間自相關的影響，可能導致抽樣設計對估計精度的偏差（Campbell，1996；Congalton，1988a，2001；Foody，2002；Pugh和Congalton，2001；Stehman，2004a）。幾個研究人員對空間自相關抽樣設計和分析精度評估中潛在的負面影響表示擔憂（Congalton和Green，1999；Dicks和Lo，1990；Mulleretal.，1998；Stehman，2000）。更高空間分辨率圖像產生的地圖導致空間自相關水平增大，導致空間自相關精度評估這個問題變得更加嚴重（Chenetal.，2004；Congalton，1988b；Stehman，2000）。Congalton（1988b）表示，系統和分層系統抽樣的設計應避開這些具有高空間自相關性的地圖。先前大多數關于最佳采樣策略和適當樣本量的結論都是基于總體精度（或誤分類的總體比例）和/或kappa系數的實證檢驗。然而，人們卻很少關注個體類的準確性。遙感圖像生成的分類地圖包括多個類，不同類別的比例可能會有所不同。Rosenfieldetal.（1982）和Congalton與Green（1999）推薦在抽樣中應特別注意那些小型，卻很重要的類。然而，很少有研究檢查在不同的抽樣方法中，涉及到個體類的準確性時，空間自相關和類別比例以及整體精度和/或kappa系數對結果的共同影響。本研究的目的是通過仿真實驗檢查空間自相關和類別比例是如何影響精度評估中抽樣方法和樣本量的選取。研究中控制圖像的分類錯誤生成了若干仿真圖像，讓它們代表不同空間自相關程度和類別比例的分類地圖。本文估計的抽樣方法僅限于簡單隨機抽樣(SRS)、系統抽樣(SYS)和分層隨機抽樣(StrRS)；按照個體類、總體精度、kappa協議系數分析結果。2.方法論2.1.具有不同類別比例的空間自相關地圖仿真仿真的第一步是生成具有不同空間自相關程度的參考地圖。在ArcGIS中，結合創建隨機柵格、焦點均值分析和重分類函數，生成兩個代表高(H)和低(L)自相關程度的模型即可完成。首先，使用創建隨機柵格函數生成一幅屬性值從0到1的500*500隨機柵格圖像。500*500大小的選擇兼顧了計算效率和實踐中的圖像尺寸。接著，應用具有不同鄰域大小的焦點均值分析函數生成具有某些高或低自相關程度的隨機圖像。生成高自相關圖像，應用3*3、9*9、16*16的窗口，而生成低自相關圖像只用3*3、9*9的窗口。對每個焦點進行分析后計算結果圖像Moran'sI，檢驗新派生的圖像是否達到所需的空間自相關程度。 為了簡化分析，從焦點分析得到的圖像的值經閾值判斷分為兩類（Class1和Class2）。這個閾值由每幅地圖設計的分類比例決定的。例如，準備生成一幅90%像素屬于Class1，10%屬于Class2的二進制地圖，如果地圖上有90%像素的值小于0.7，那么閾值可設為0.7，這樣小于0.7的值劃分為Class1，剩下的就劃分為Class2。這個簡化的地圖是地圖上任何被抽樣個體點的二進制代表。例如，如果一個森林類被抽樣，那么，地圖上的所有其他類可以被重新歸類為非林地類。 先前的研究已經表明在決定適當的抽樣方法和樣本量時小型類是一個關注點（Congalton，1991；Congalton和Green，1991；Rosenfieldetal.，1982）。因此，對應于每個空間自相關程度，各生成一高一低兩幅類別比例差異圖。在兩幅類別比例差異高的地圖上，大約90%的像素被分為大型類（Class1），另外的10%分為小型類（Class2）。兩幅低類別差異圖（H46和L46）的兩類類別比例幾乎相等（約60%的像素歸為Class1，40%的像素歸為Class2）。結合空間自相關程度和類別比例，仿真生成了四幅500*500專題地圖（H91、L91H46和L46），如圖1所示，表1列出了詳細的配置。這四幅地圖表示了四種類別比例（10%，10%，40%，和90%）和兩種空間自相關程度（Moran'sI<0.20和Moran'sI>0.80）的8種示例。四幅仿真圖的Moran'sI相關圖如圖2所示。圖1.仿真空間自相關性的參考圖：高空間相關性和高類別比例差異(H91);高空間相關性和低類別比例差異(H46);低空間相關性和高類別比例差異(L91);低空間相關性和低類別比例差異(L46)。黑色為Class1，白色為Class2。表1仿真參考圖的參數仿真地圖空間相關性（Moran'sI）Class1Class2H910.880.900.10H460.900.590.41L910.180.900.10L460.060.580..42仿真圖像被用來代替真實圖像的原因是，很難獲得一系列具有可控空間自相關程度和類別比例的分類參考圖像。在實際圖像中，因為很難控制空間自相關程度和錯誤的百分比，會使系統分析變得困難。通過仿真的圖像,我們可以控制空間自相關的程度并且在所有圖像上產生恒定的錯誤。通過這種方式，任何在輸出中的差異就只由可控制因素的變化而決定。2.2.分類誤差的注入先前的研究指出，由分類所產生的誤差并非隨機分布在專題地圖（Bian和Butler，1999；Congalton，1988b）。通常會存在一個由傳感器的屬性所造成，對應于專題錯誤之空間分布的清晰模式（Foody，2002；Plourde和Congalton，2003），和/或在分類邊界有空間性關聯且存在誤差的地面條件（Congalton，1988b，Edwards和Lowell，1996；鮑威爾etal.，2004；Steeleetal.，1998）。大多數發生在邊界的錯誤與標準數據集和混合像素的誤差配準有關。鑒于上述考慮，本研究中使用的仿真地圖使用頻率分布模型仿真注入在分類邊界附近區域的誤差。每幅地圖中大約注入了誤差的20%作為分類誤差，這個誤差比例往往存在于監督和非監督分類中。不同地圖中注入的誤差模式如圖3所示。注入誤差的地圖被視為分類地圖；沒有注入誤差的原始地圖被視為參考地圖。表2詳細展示了每一幅分類地圖的分類錯誤和準確性措施，Class12表示Class1的誤差注入Class2，Class21表示Class2的誤差注入Class1，正確分類的Class1和Class2分別表示為Class11和Class22。圖2.四幅仿真參考圖的相關圖（X-軸：滯后距離，單位像素；Y-軸：按Moran'sI測算的空間自相關程度）。（H46：高空間相關性和低類別比例差異；H91：高空間相關性和高類別比例差異；L46：低空間相關性和低類別比例差異；L91：低空間相關性和高類別比例差異）。表2注入誤差的仿真地圖的參數仿真地圖Class11的比例Class22的比例Class12的比例Class21的比例總體精度Kappa系數H910.720.080.180.020.800.35H460.470.320.120.080.790.58L910.720.080.180.020.800.35H960.460.330.130.080.790.57（Class11：正確分類的Class1；Class22：正確分類的Class2；Class12：Class1的誤差注入Class2；Class21：Class2的誤差注入Class1；H46：高空間相關性和低分類比例差異；H91：高空間相關性和高分類比例差異；L46：低空間相關性和低分類比例差異；L91：低空間相關性和高分類比例差異）圖3.不同地圖中注入的分類誤差（白色顯示）模式：（a）高空間相關性和高分類比例差異(H91);（b）高空間相關性和低分類比例差異(H46);（c）低空間相關性和高分類比例差異(L91);（d）低空間相關性和低分類比例差異(L46)。2.3.抽樣分類地圖和參考地圖仿真后，在ArcGIS環境中實現三種抽樣方法（簡單隨機抽樣（SRS）、系統抽樣（SYS）和分層隨機抽樣（StrRS））的抽樣。遙感圖像通常以單個像素為單位進行抽樣。每個地圖使用11個不同的樣本大小（從25到1296），按3種抽樣方式各仿真抽樣100次。換句話說，需要仿真實驗重復100次以檢查穩定性措施的精度。仿真次數的選擇要兼顧統計的穩定性和計算成本。從統計學的觀點來看，30次仿真應足以提供統計置信需要（Bian和Butler，1999；Openshaw和Alvanides，1999）。應該注意，這里使用的最大樣本量只是像素總數的0.52%左右，這遠遠小于Congalton（1988b）和Stehman（2000）的研究中最大人口抽樣比例。簡單隨機抽樣（SRS）不放回、獨立、隨機地選取每個像素（Congalton，1988b），每個像素被選取的概率相同。在系統抽樣(SYS)中，只有第一個抽樣像素是隨機選擇的，其他所有采樣像素選擇以固定間隔從最初的像素中選取（Congalton，1988b）。SYS抽樣使用的間隔由樣本大小決定，并使樣本在空間上均勻分布。在分層隨機抽樣（StrRS）中，每個分類地圖再被分為兩層：Class1和Class2，然后每層內隨機選擇抽樣像素。StrRS中每個類的總樣本量大小與該類在地圖上的大小成正比（Fitzpatrick-Lins，1981）。本文使用的分層抽樣不同于Congalton（1988b）使用的，這里進行了幾何分層而不是類范疇的分層。按地圖類的分層是一種常見的實現精度評估的分層方式，可以提高用戶準確性估計的精度（Stehman，2004b）。對于每一次抽樣，都對比其在分類圖和參考圖中采樣像素的類別值，并生成傳統的誤差矩陣。然后對每次抽樣中Class11、Class22、Class12和Class21的比例求和。每次仿真都生成包括整體精度和kappa系數在內的準確性檢驗參數。同時還要計算這些估計量的均值和方差。2.4.抽樣方法的比較 對比變異系數（CV）和每個估計量的離差。變異系數是標準差與均值的比，因為它還考慮了均值，通常被稱為相對標準差（Burt和Barber，1996）。估計量由為每種采樣方法和樣本量進行的100次仿真的真值得到。使用變異系數代替Congalton（1988b）研究中使用的均值和方差是為了確保直接比較不同的精度措施。對于每個樣本大小和不同的抽樣方法，變異系數測出了一幅仿真圖像中一系列估計精度與預期均值（即每個測量的真值）的接近程度。如果從仿真估計的標準差是均值的一半，則其CV值為0.5（或50%）。抽樣法的CV越低，從每幅仿真圖中獲得的精度的變異性就越小，因此其精度也越高。為了比較不同的抽樣方法，Stehman（2000）使用“設計效果”計算評估了SYS的精度和StrRS相對于SRS的精度。對于每個樣本的大小，設計效果的是方差與SYS的比值或StrRS與SRS方差的比值。在這項研究中，準確性測量的方差估計使用以下公式：這里P是一個測量精度的真值，Pi是仿真量i的估計值。SYS和StrRS的設計效果是為了計算Class11、Class22、kappa系數和整體精度所占的比例。設計效果乘以100是為了達到采樣方法所需的觀測數量，以提供與SRS抽樣100個觀察對象相同精度的樣本大小。如果某抽樣設計的設計效果小于1，那么這個設計就比隨機抽樣抽樣具有更好的精度。3.結果與討論3.1.變異系數（CV）的分析圖4-6中顯示了正確分類的Class1（Class11），Class2（22）的變異系數，總體精度，SRS，SYS，StrRS的kappa系數。和預期結果一樣，除了系統抽樣中的一些異常，對于所有抽樣方法和精度的措施，CV值都隨樣本量的增加而減少。對于所有三種抽樣方法，盡管這些差異隨著樣本量的增加而減少，但四種精度評價中CV值的差異在高分類比例地圖（H91和L91）中要比低分類比例地圖（H46和L46）的差異大。這表明不同的抽樣方法的精度差異更多是由相異分類比例造成的，而不是空間自相關的程度。圖4：與仿真地圖中簡單隨機抽樣所需樣本量相對應的變異系數(CV):（a）高空間相關性和高分類比例差異(H91);（b）高空間相關性和低分類比例差異(H46);（c）低空間相關性和高分類比例差異(L91);（d）低空間相關性和低分類比例差異(L46)。從圖4-6可以觀察到，不同的場景中的不同精度的CV值以不同的曲線顯示。其中在所有的地圖中Class11的比例高于Class22，不論地圖的空間自相關程度如何，其CV值的方差都顯示比類22的方差低。兩個類別之間的差異越高，CV中觀察到的差異就越高。這意味著存在高比例類的精度措施將有一個更高精度。在三個不同的抽樣方法中比較類11和22的CV值，可以看出類22的分層隨機方法產生了較低的CV值。這表明，分層抽樣(StrRS)可以提高小比例類的精度。在圖4-6中比較整體精度的CV值，可以看出總準確度的精度受采樣方法和分類比例差異的影響不大。在所有的數據里，總準確度的CV值隨樣本量的增加略有下降趨勢。相反kappa系數的CV值，受分類比例差異的影響極大。高差異的地圖（H91L91）中，kappa系數的CV值遠遠大于低差異地圖（H46L46）的CV值。這表明kappa系數對高分類差異地圖更敏感。例如，使用隨機抽樣設計的25個樣本量，H46和L46地圖里kappa系數的CV值分別0.27和0.28而在相同的條件下H91和L91地圖的CV值為0.50。在所有數據里，kappa系數的CV值更接近那些低比例分類（Class22）的值，然而總準確度使CV值更類似于高比例類（類11）。這意味著總準確度的精度受大類的影響更大，而kappa系數的精度由小類的精度決定。這一趨勢在高類比例差異的地圖中更加明顯，尤其在隨機和系統抽樣的設計中。比較圖4–6中不同精度措施的CV值，發現在低分類比例差異的地圖（H46和L46）上三種不同抽樣設計提供了類似的精度。然而，在高分類比例差異的地圖（H91和L91）上，kappa系數和類22的CV值在使用分層隨機抽樣設計是顯著降低。很明顯，StrRS大大提高了小類的精度和kappa系數。這就證實了Congalton和Green（1999）,Foody（2002）與Stehman和Czaplewski（1998）提出的建議：推薦使用分層隨機抽樣處理小類問題。空間自相關影響準確度測量的精度。通過比較高、低空間自相關程度的CV值，高空間相關性的地圖比低空間自相關性的地圖的CV值高。隨著樣本量的增加，具有高空間相關性的地圖上的CV值并不總是遵循嚴格遞減的趨勢。例如，在地圖H46中以系統抽樣的方法，樣本量為144的樣本的CV值高于樣本量為100的樣本的CV值。在地圖上可以找到類似的異常H91在81年和144年的樣本大小。從這些數據中沒有明顯的跡象表明這些樣本量是如何與地圖上空間自相關程度在質量上相關的。3.2.對最小需要樣本量的分析從仿真實驗的到的CV值可以被認為是一個估計量（總精確度、kappa系數等）的相對標準誤差。當對所有可能的樣本的平均估計的平均值等于其預期值（即真實值）時，則這個估計是無偏（Congalton，1988b）且它的CV值應該是零。然而，在現實中完全無偏估計是很罕見的。如果平均有真值的10%（CV值為0.1）是允許的最大相對標準誤差的估計，我們可以根據不同精度的措施從仿真實驗（表3）的CV值來總結所需的最小樣本大小。如表3指出，為了達到類似水平的精度，不同精度所需要的最小樣本量就會差別很大。樣品所需的大型類少于小類來達到同樣的精度。一幅地圖上兩個類的比例差別越大，每個類所需最小樣本量的差異就越大。表3：對于不同仿真實驗的精度措施總體精度從真值中達到10%的平均相對標準誤差需要樣本量。在所有情況下，總體精度所需的樣本最少，而kappa系數達到相同的精度最需要樣品最多。根據地圖和抽樣方法，總體精度從真值中達到10%的平均相對標準誤差需要樣本量為25–49，而kappa需要的樣本量為196-1296。比較使用不同的抽樣方法達到相同的精度測量所需的樣本大小，很明顯，分層隨機抽樣大大減少所需的最小樣本量。例如，在地圖H46，SRS和SYS分別需要100和196大小的樣本，而對于CLASS11，StrRS只需要81個樣本。同樣的趨勢也存在于其他估算精度措施中。空間自相關行對不同精度措施所需的最小樣本量略有影響。對于StrRS而言，這種對高分類比例差異的地圖上的影響比低分類比例差異的影響更大。當使用StrRS時，高空間自相關地圖（H91）所需的大型類和總體精度的樣本量比低空間自相關地圖（L91）要少。除了H91地圖上的一個案例，在地圖上高類比例差異地圖（H91和L91）上，SRS和SYS所需的最小樣本大小對于不同精度的措施是相同的。然而，在低分類差異的地圖（H91和L91）上為了得到大型類、總體精度和kappa系數，空間自相關對所需的最小樣本量的影響是明顯的。高空間自相關性增加了為了獲取大型類和整體精度所需的最小樣本量，另外在使用系統抽樣代替簡單隨機抽樣時，也增加了為了獲取kappa系數所需最小樣本量。圖5：與仿真地圖中系統抽樣所需樣本量相對應的變異系數(CV):（a）高空間相關性和高分類比例差異(H91);（b）高空間相關性和低分類比例差異(H46);（c）低空間相關性和高分類比例差異(L91);（d）低空間相關性和低分類比例差異(L46)。圖6.與仿真地圖中分層隨機抽樣所需樣本量相對應的變異系數(CV):（a）高空間相關性和高分類比例差異(H91);（b）高空間相關性和低分類比例差異(H46);（c）低空間相關性和高分類比例差異(L91);（d）低空間相關性和低分類比例差異(L46)。3.3設計效果分析表4-7分別列出了設計效果、用來估計分類1（CLASS11）和分類2（CLASS22）正確分類比例的StrRS和SYS設計效果對SRS的方差的比、總體精度、kappa系數。設計效果測量了相對于簡單隨機抽樣的其它抽樣設計的精度。為了使系統或分層設計可以達到與SRS100個仿真觀測對象相同的精度，表4-7中設計效果的真值都乘以100作為仿真的觀測對象。當設計效果大于1時，SRS比使用的抽樣設計的精度高；否則，使用的抽樣設計比SRS的精度高。不同的抽樣設計在不同的空間自相關水平，不同區域的比例的地圖上顯示不同的設計效果。對于CLASS11（表4），除了極少的例外StrRS的設計效果小于1。很明顯，在高空間自相關的地圖、低空間自相關且低分類差異的地圖上，StrRS總是比SRS的精度高。表4中SYS顯示的一個不一致貫穿了研究的不同樣本量。例如，在H91地圖中，SYS對樣本量為25，49，和81的前三個樣本的設計效果小于1，對樣本量為100，144的樣本設計效果大于1，并且再次下降遠低于1，直到在400樣本量時大于1，之后再次下降到低于1。在11個樣本大小中，H91地圖中286大小的樣本SYS比SRS實現更好的精度，地圖H46中，625達到了更好的精度。然而，在低空間自相關地圖（L91和L46）中，大多數SYS的設計效值大于1，系統設計效果的范圍值波動也小于那些地圖上高空間自相關的地圖。這表明對于CLASS11，SRS在低空間自相關的地圖上可以達到更高的精度。基于CLASS22（表5）的SYS和StrRS設計效果也可以看到相似的趨勢。不管樣本大小如何StrRS的設計效果都遠遠小于1。在L91地圖上樣本大小為1296時，StrRS設計效果達到最大值0.504。與CLASS11相比，CLASS22的StrRS設計效果的真值在大部分的樣本大小中要小得多，這表明無論樣本大小或空間格局如何StrRS都取得了比SRS更好的精度評估的準確度。這符合先前的CV值的結果，并且確認使用StrRS估計小類效果更好。和CLASS11類似，在低空間自相關的地圖（L91H和L96）上大部分CLASS22進行SYS抽樣的設計效果的真值都大于1；在高空間相關性地圖H91和H46上的11個類型中只有2個的真值大于1。幾何所有高空間相關的地圖中小類別的分類SYS比SRS的精度要高。然而，在低空間相關性的地圖上正好相反。比較SYS和StrRS的設計效果發現StrRS除了在H46中1296這個最大樣本中外在所有類型的地圖上的值都很小。很明顯，在SRS，SYS和StrRS中，StrRS對所有小類別類型的精度最高。當樣本量較小時StrRS的優勢就更加明顯。 表6列出了估計總體精度的不同抽樣方式的設計效果值。與表4、表5中對CLASS11和CLASS22和估計的設計效果不同，表6中沒有一行是所有值都小于1的。StrRS總體精度的設計效果值遠遠大于表4、5中相應的值。這表明與SRS相比，StrRS在估計總體精度時其精度不會有很明顯的優勢。總體精度效果值的范圍在不同地圖和不同樣本量上分布多樣化，并且在1上下浮動。例如，對于H91上的系統抽樣，SYS的設計效果值從樣本量25開始到81下降到0.91，到144時增長到1.21，然后在接下來的3個樣本上又繼續下降。在樣本量為400時，設計效果值從0.65激增到1.95，然后繼續下降。Stehman（2000）在SYS的方差和SRS相比情況下對誤分類的比例估計中也發現了類似的不一致性，盡管在其研究中設計效果的值比表6中的分布差異更大。 一般來說，在更多的情況下，估計低空間相關性的地圖的總體精度時與SYS和StrRS相比SRS可以達到更好的精度。相對于表4、5，表6中的值更接近于1。表6中的最小值為0.64，而表4、5中的最小值分別為0.31和0.18。很明顯，這三種抽樣方法在估計總體精度比估計正確分類的個體類的差異樣小很多。針對kappa系數和總體精度的設計效果（表7）與CLASS11和CLASS22相比展現了一種不同的模式。對于StrRS而言，類別差異的比空間自相關對設計效果的影響更大。所有高分類差異的地圖（H91和L91）其StrRS的設計效果值小于1。在地圖H91和L46上相同樣本大小時，StrRS的設計效果值一直比SYS和SRS的相應值要低。這表明在這3中抽樣中，StrRS對kappa系數的估計效果最好。然而，在低空間差異的地圖（H46和L46）上沒有類似的情況。在地圖H46和L46上空間自相關的影響是證明存在的，但很難對三種抽樣的設計效果進行有效的排名。更多的情況是L46與H46相比其設計效果大于1，表明在低空間自相關的地圖上估計kappa系數時SRS可以取得更好精度。表4相對于SRS針對CLASS11不同抽樣方法的不同設計效果表5相對于SRS針對CLASS22不同抽樣方法的不同設計效果表6相對于SRS針對估計總體精度不同抽樣方法的不同設計效果表7相對于SRS針對估計kappa系數不同抽樣方法的不同設計效果4.總結借助于這些仿真的二進制地圖，這次研究發現在不同抽樣設計下不同精度措施的精度受分類比例差異的影響要比空間自相關程度大。一幅地圖上某個類的比例越大，不管地圖上空間自相關程度如何，這個類的分類精度就越好。一般情況下，總體精度的準確度受那些大類的影響較大，kappa系數受那些小類的影響較大。類別比例、空間自相關程度、抽樣設計的變化對kappa系數和小類的準確影響相對較大，對總體精度和大類的精度影響相對較小。不同的準確性措施想要達到相同的精度所需的最小樣本量差別很大。一個類別的比例越大，所需的樣本量就越少。在本次研究所受測試的措施中，總體精度需要的樣本最少，kappa系數需要的卻最多。相對于其他抽樣方法，分層隨機抽樣(StrRS)大大減少了所需的最小樣本量。空間自相關程度對StrRS所需的最小樣本量的影響在高分類差異的地圖上表現的更加明顯，然而在小比例地圖上對隨機抽樣和系統抽樣的影響更大。本研究的意義是，空間自相關和分類比例的效果對抽樣方法和樣本大小的選擇是復雜的。推薦某一特別抽樣方法和大小取決于的空間自相關程度、類別比例差異和某一給定應用所需的精度指數。這也部分解釋了本文中對合適抽樣方法和樣本大小的選擇的矛盾性結論（1988bCongalton；Maling，1989；Lo和Watson，1998；Stehman，2000)。 對于估算一個小類正確分類的比例，StrRS可以有效地降低其方差和所需的最小樣本量。與SRS和SYS相比，StrRS在估計小類時一直取得最好的精度。當樣本量很小，分層抽樣估計小類的優勢更明顯。這與以前的研究結論一致（Congalton和Green，1999；Rosenfieldetal.，1982）。StrRS也實現精度比SRS在所有情況下，對于估算一個大型類正確分類的比例，除了在一幅高分類差異比例、高空間自相關的地圖上，在另外所有情況下，StrRS也取得了比SRS更好的分類精度。在高空間自相關和低類別比例差異的地圖上，對于大型類的精度估計，SYS比SRS更有可能取得更好的精度，然而在高空間自相關和高類別比例差異的地圖上，SRS更有說服力。不同的抽樣設計中對總體精度的精度估計的變化相對少一些。總體精度所需的最小樣本量遠遠小于其他的精度措施。如果某一應用需要總體精度，那么相對較少的樣本量將達到一個高精度的估計并且不同的抽樣設計結果也不會有什么太大的不同至于更好地估計kappa系數，建議在高類別比例差異的地圖上選擇StrRS以減少所需的最小樣本量。然而在低類別比例差異的地圖上，優先推薦低空間自相關的地圖使用SRS，高空間自相關的地圖使用系統或分層抽樣，盡管這兩個的優勢并不明顯。上面的結果只有在空間自相關模式和類別比例差異類似的二進制地圖上才適用本研究的結果。對于超過兩個類別的地圖，地圖應該轉化為一系列的二進制地圖以直接使用本文描述的結果。地圖配置改變時，這項研究其觀察到的所需的設計效應值和最小樣本大小可能不適用（例如兩個類的比例變化至70%和30%，空間自相關程度變化，或者類似空間自相關但不同地圖配置的地圖）。因為在真正的遙感應用中會遇到許多不同的地圖模式和類結構，還需要進一步的仿真和研究系統地評估不同的空間模式和類別比例帶來的變化。致謝本研究得到了加拿大國家科學與工程研究委員會探索資金的支持。作者要感謝JieTie和Dr.PaulTreiz在此次研究項目中的建設性意見和幫助。作者還贊賞富有洞察力的六個匿名評論者的評論和建議。

TheeffectofspatialautocorrelationandclassproportionontheaccuracymeasuresfromdifferentsamplingdesignsDongMeiChen_,HuiWeiDepartmentofGeography,Queen'sUniversity,Kingston,ONK7L3N6,CanadaAbstract：Fourbinarythematicmapswithcombinationsoftwospatialautocorrelationlevelsandtwodifferentclassproportionsaresimulatedtostudytheireffectontheprecisionofaccuracymeasuresfromdifferentsamplingdesigns.Aseriesofelevensamplesizes(fromaminimumof25toamaximumof1296)aresimulatedusingthreepopularsamplingdesigns,includingsimplerandomsampling(SRS),systematicsampling(SYS),andstratifiedrandomsampling(StrRS)onthefoursimulatedmaps.Theconventionalerrormatrixandrelatedaccuracymeasuresarecalculatedforeachsimulation,andtheprecisionofdifferentestimatesofaccuracymeasuresiscomparedamongthethreesamplingdesigns.Theselectionofaparticularsamplingdesignandsamplesizedependsonthespatialautocorrelationlevel,theclassproportiondifference,andtheaccuracyindicesthatagivenapplicationrequires.Ingeneral,theclassproportiondifferencehasagreaterimpactontheperformanceofdifferentsamplingmethodsthanthespatialautocorrelationleveldoesonamap.Forestimatingtheaccuracyofindividualclasses,stratifiedsamplingachievesbetterprecisionthanSRSandSYSwithsmallersamplesizes,especiallyforestimatingthesmallclass.Forestimatingtheoverallaccuracy,differentsamplingdesignsachieveverysimilarlevelsofprecisionwithfewersamples.Toachieveabetterestimateofthekappacoefficient,stratifiedrandomsamplingisrecommendedforuseonamapwithahighclassproportiondifference,whilerandomsamplingispreferredforamapwithlowspatialautocorrelationandalowclassproportiondifference.Keywords:Accuracyassessment；Classificationerror；Sampling；Spatialautocorrelation；Classproportion

1.IntroductionWiththedevelopmentofremotesensingtechnology,thematicmapsgeneratedfromremotelysenseddatahavebeenwidelyusedfordifferentapplicationsinenvironmentalmodeling,monitoring,andplanning.Thematicmapsgeneratedfromremotelysensedimageryareusuallynotaperfectrepresentationofreality,andtheyalwayscontainerrorsanduncertainty(Foody,2002).Usingthosemapswithoutknowingtheerrorsanduncertaintytheycontaincanresultinsignificantriskindecisionmaking.Therefore,inthelastdecade,therehasbeenanincreasingdemandforanassessmentoftheaccuracyofthematicmaps(CongaltonandGreen,1999;CongaltonandPlourde,2002;Congalton,2002;Foody,2002;LunettaandLyon,2004;StehmanandCzaplewski,1998).Theaccuracyofathematicmapbasedonremotesensingreferstothecorrectnessofamaporclassification(Foody,2002),orthedegreethatthederivedinformationagreeswithreferencedata(orgroundtruth)(Campbell,1996).Thecommonapproachtoevaluatetheaccuracyofthematicmapsgeneratedfromremotelysenseddataistocomparethereferencedatawiththethematicmap.Sinceitisimpracticaltocollectreferencedataforallthepixelsonamapduetothelimitationsoftime,cost,andphysicalaccess,sampledreferencedataareoftenneeded.Oncethereferencedataarecollected,theyarecomparedwiththoseonthemaptoproduceanerrormatrixfromwhichquantitativeaccuracyindices,suchastheoverallaccuracy,user'saccuracy,producer'saccuracy,andoverallandindividualthekappacoefficientscanbecalculated(Congalton,1991;CongaltonandGreen,1999).Thesamplingmethodandthenumberofsamples(orsamplesize)arethetwomostimportantfactorsdeterminingtheefficiencyandthecostoftheaccuracyassessment(Jensen,1996).Therearemanypublishedequationsandguidelinesforchoosingtheappropriatesamplesize(Cochran,1977;Jensen,1996).Ofthese,thebinomialdistributionornormalapproximationtothebinomialdistributionisoftenusedtocomputetherequiredsamplesize(Congalton,1991).Theseequations,however,arebasedontheproportionofcorrectlyclassifiedsamplesandsomeallowableerror,andmaynotbeappropriateforcreatinganerrormatrix(Congalton,2004).Thecurrentliteratureoffersnoconsensusontheminimumsamplesizeneeded.Genderenetal.(1978)suggestedthatasamplesizeofatleast30wasneededinordertoacceptderivedthematicmapswitha95%confidenceinterval.UsingamoreconservativeapproachproposedbyGinevan(1979)andHay(1979)concludedtheminimumsamplesizeshouldbe50toavoidrejectinganaccuratemap.AruleofthumbrecommendedbyCongalton(2004)istouseaminimumof50samplesforeachclassintheerrormatrix.However,thisminimumnumbershouldbeincreasedto75_100whenthestudyareaislargeoralargenumberofclassesexistinaclassifiedmap(Congalton,2004).Differentsamplingmethodshavebeenusedtoselectsamplingunitsformapaccuracyassessments.Commonlyusedsamplingmethodsincludesimplerandom,stratifiedrandom,systematic,systematicrandom,systematicunaligned,andcluster(Cochran,1977;Congalton,1991;Stehman,1992).Congalton(1988b)comparedfivesamplingschemes(simplerandom,stratifiedrandom,cluster,systematic,andstratifiedsystematicunalignedsampling)onthreedifferentlandcovermapsofvaryingspatialcomplexity.Hisresultsindicatedthatsimplerandomsamplingalwaysprovidedadequateestimateswhenthesamplesizewaslargeenough,andthatsystematicsamplingandstratifiedsystematicunalignedsamplingwouldoverestimatetheclassificationerroranditsvariance,dependingonthespatialcomplexityofthemap.Stehman（1992）pointedoutthatCongalton'sconclusiononthebiasofsystematicsamplingcontradictedstatementsmadebyMaling（1989）andBerryandBaker（1968）thatstratifiedsystematicunalignedsamplingisthemostunbiasedsamplingdesign.Basedonasimulationstudyusingtwoaccuracymeasures(theoverallproportionofmisclassificationandthekappacoefficientofagreement),Stehman(1992)foundthatsystematicsamplingismoreprecisethansimplerandomsampling,exceptonmapswithperiodicpatterns.However,aftercomparingtheeffectivenessoffivesamplingmethodsintheevaluationofthematicmapaccuracy,LoandWatson(1998)concludedthatstratifiedrandomsamplingwasthebestforvegetationmapswithamixtureofsimpleandcomplexspatialpatterns.Thecontraryconclusionsintheabovestudieshighlighttheimpactofamap'sspatialpatternandcomplexityontheperformanceofdifferentsamplingmethods.Mostpreviousconclusionsonthebestsamplingstrategyandtheappropriatesamplesizewerebasedonempiricalexaminationsofoverallaccuracy(ortheoverallproportionofmisclassifications)and/orthekappacoefficient.However,littleattentionhasbeengiventotheaccuracyofindividualclasses.Classifiedmapsgeneratedfromremotelysensedimagesalwaysincludemorethanoneclass.Theproportionofdifferentclassesmayvary.ItwasrecommendedbyRosenfieldetal.(1982)andCongaltonandGreen(1999)thatspecialattentionshouldbegiventosmall,butimportant,classesduringsampling.However,veryfewstudieshaveexaminedthecombinedeffectofspatialautocorrelationandclassproportionontheaccuracyofindividualclasses,aswellastheoverallaccuracyand/orthekappacoefficient,fordifferentsamplingmethods.Thepurposeofthisstudyistoexaminethroughsimulationhowspatialautocorrelationandclassproportionaffecttheselectionofasamplingmethodandthesamplesizeduringaccuracyassessments.Simulatedimageswithcontrolledclassificationerrorsweregeneratedtorepresentclassifiedmapswithdifferentspatialautocorrelationlevelsandclassproportions.Thesamplingmethodsevaluatedbythisstudywerelimitedtosimplerandomsampling(SRS),systematicsampling(SYS),andstratifiedrandomsampling(StrRS).Theresultsareanalyzedintermsofthecorrectlyclassifiedandmisclassifiedproportionofindividualclasses,theoverallaccuracy,andthekappacoefficientofagreement.2.Methodology2.1.SimulationofspatiallyautocorrelatedthematicmapswithdifferentclassproportionsThefirststepofthesimulationistogeneratereferencemapswithdifferentlevelsofspatialautocorrelation.ThiswascompletedinArcGISbycombiningtheCreateRandomRaster,focalmeananalysis,andreclassificationfunctionstogeneratetwomodelsrepresentinghigh(H)andlow(L)autocorrelationlevels.A500*500randomrasterimagewithvaluesrangingfrom0to1wasfirstgeneratedbytheCreateRandomRasterfunction.Thesize500*500waschosenasatrade-offbetweencomputationefficiencyandtheimagesizeseeninpractice.TheFocalMeanAnalysisfunctionwithdifferentneighborhoodsizeswasthenappliedtotherandomimagetogenerateimageswithcertainhighorlowautocorrelationlevels.Forgeneratinghighautocorrelationimages,acombinationof3*3,9*9,and16*16windowswasapplied,whileonly3*3and6*6windowswereappliedforthegenerationoflowautocorrelationimages.TheMoran'sIwascalculatedfortheresultingimageaftereachfocalanalysiswasconductedtoseeifthenewlyderivedimagereachedthedesiredspatialautocorrelationlevels.Tosimplifytheanalysis,valuesfortheimagesfromthefocalanalysiswereclassifiedintotwoclasses(Class1andClass2)usingabreakvalue.Thisbreakvaluewasdeterminedbasedontheclassproportionsdesignedforeachmap.Forexample,togenerateafinalbinarymapwith90%ofClass1and10%ofClass2,valuessmallerthan0.7arereclassifiedtoClass1andtherestareassignedtoClass2if90%ofpixelsontheimagehavevaluesbelow0.7.Thissimplifiedmapisabinaryrepresentationofanyindividualclasssampledonamap.Forexample,ifaforestclassissampled,allotherclassesonthemapcanbereclassifiedasanon-forestclass.Previousstudieshaveshownthatsmallclassesareaconcernindeterminingtheappropriatesamplingmethodandsamplesize(Congalton,1991;CongaltonandGreen,1999;Rosenfieldetal.,1982).Therefore,twomapswithhighandlowclassproportiondifferencesweregeneratedforeachspatialautocorrelationlevel.Onthetwomapswithahighclassproportiondifference,around90%ofpixelswereassignedtothelargeclass(Class1)and10%tothesmallclass(Class2).Thelowclassdifferencemaps(H46andL46)hadnearlyequalproportionsofthetwoclasses(around60%ofpixelsforClass1and40%ofpixelsforClass2).Withthecombinationofspatialautocorrelationlevelsandclassproportions,four500*500thematicmaps(H91,L91,H46andL46)weresimulated.ThefourmapsareillustratedinFig.1andTable1liststheirdetailedconfigurations.Thesefourmapsrepresenteightcaseswithfourclassproportions(about10%,40%,60%,and90%)andtwolevelsofspatialautocorrelation(lowwithMoran'sI<0.20andhighwithMoran'sI>0.80).TheMoran'sIcorrelogramforthefoursimulatedmapisshowninFig.2.Fig.1.Simulatedspatiallyautocorrelatedreferencemaps:(a)highspatialautocorrelationandhighclassproportiondifference(H91);(b)highspatialautocorrelationandlowclassproportiondifference(H46);(c)lowspatialautocorrelationandhighclassproportiondifference(L91);(d)lowspatialautocorrelationandlowclassproportiondifference(L46).Class1indarkandClass2inwhite.Table1ParametersofsimulatedreferencemapsSimulatedmapautocorrelation(Moran'sI)Class1Class2H910.880.900.10H460.900.590.41L910.180.900.10L460.060.580..42Thereasonsimulatedimageswereusedinsteadofrealimagesisthataseriesofclassifiedandreferenceimageswithcontrolledlevelsofspatialautocorrelationandclassproportionaredifficulttoobtain,especiallythereferencemaps.Inrealimages,itishardtocontrolthespatialautocorrelationanderrorpercentage,whichwillmakesystematicanalysisdifficult.Throughsimulatedimages,wecancontrolthelevelofspatialautocorrelationandproduceconstanterrorsacrossallimages.Inthisway,anydifferencesintheoutputareduetoonlythechangesinthecontrolledfactors.2.2.InjectionofclassificationerrorsPreviousstudiesstatedthaterroneousallocationsmadebyaclassificationarenotrandomlydistributedoverthematicmaps(BianandButler,1999;Congalton,1988b).Oftenthereisadistinctpatterntothespatialdistributionofthematicerrorsarisingfromthesensor'sproperties(Foody,2002;PlourdeandCongalton,2003),and/orgroundconditionswiththeerrorsspatiallycorrelatedattheclassboundaries(Congalton,1988b;EdwardsandLowell,1996;Powelletal.,2004;Steeleetal.,1998).Mosterrorsoccurringattheboundariesareassociatedwithmisregistrationofthedatasetsandmixedpixels.Basedontheaboveconsiderations,errorswereinjectedintoareasneartheclassboundariesonthesimulatedmapsusedinthisstudyusingafrequencydistributionmodel.Oneachmap,about20%oferrorswereinjectedasclassificationerrors,whichcanoftenoccurinsupervisedandunsupervisedimageclassifications.TheinjectederrorpatternsondifferentmapsareshowninFig.3.Themapswithinjectederrorsweretreatedasclassifiedmapsandtheoriginalmapswithoutinjectederrorsweretreatedasreferencemaps.ThedetailedclassificationerrorsandaccuracymeasuresforeachclassifiedmaparelistedinTable2,whereClass12andClass21representinjectederrorsofclass1toclass2andclass2toclass1,respectively,whilecorrectlyclassifiedclass1andclass2ar