1、邊界檢測基準的元理論摘要人們以相應的評價算法標記數據集，在邊界檢測中發揮重要的作用。我們在這里提出了一種心理物理學實驗，以確定該基準測試的可靠性。而為了找到更好的準則以評估任何一種邊界檢測算法的性能，我們提出了消除人類不適當的標簽和估計邊界的固有特性計算框架。1 引言許多問題在人類和在計算機的視覺中是不明確的。在諸如邊界檢測的問題，沒有客觀的標準，確定是否有感知意義上相應的邊界在描述中的某處界限。在制定邊界檢測算法性能的標準上，人們標記的數據集（例如bsds300 2 200訓練圖像和測試我100）起著關鍵作用。這些數據集描述以被人類標記的少數數據為隱含模型進行邊界界定。然而，貼標機制并不總是

2、很融洽。異變的本質與邊界檢測的不確定性質有關。然而，這里有一些令人驚訝的關于數據變異對邊界檢測和基準測試的影響的論述。即人們普遍認為，邊界數據機（如BSDS300）是可靠的。單獨檢查，每一個邊界似乎都有理由成為信息描述中的一些潛在的界限。在馬丁等人看來 2 ，考慮到標簽的變化是由于不同的貼標機制在不同層次的細節劃分， 2 認為一個貼標機制可以將某一部分信息反應的十分詳細，而對其他部分的描述則十分粗糙，不同的貼標機制是一致的在某種意義上，密集的標簽細化稀疏標簽沒有矛盾。換句話說，這些不同的標簽都來自同一個概念的知覺層次結構。盡管如此，一個特定區域內的整體相容性并不足以合理的成為整個系統的基準。為

3、了能夠客觀的評估一個算法，基準材料必須避免類型一（假數據）和類型二（遺漏）的錯誤統計。而即使該標準在一個基準數據集的邊界似乎是合理的，但它仍然是可能會遺漏一些同樣重要的界限，留給我們一個不太完美的基準。有這兩種錯誤類型的基準可能會對檢測真實邊界產生很不利的影響。我們在這里提出了一個框架來分析任何基準質量或benchability，并驗證一定數量的實驗已完善基準的最新資料庫。2評估邊界基準風險雖然不同的人們對同一個界限的標注往往包含幾個像素的空間偏移，但他們相互之間并沒有太多矛盾（例如，一個繪圖里水平邊界和其他的垂直邊界在相同的位置）。基于這些觀察，我們可以將來自不同層面對同一概念(圖像邊界)的

4、標記進行混合之后形成一個主圖，在每個像素位置i，貼標機制的響應L是一個二進制值（即，邊緣和非邊緣）。通過將所有貼標機制的響應聯系起來。我們使用分配算法和主因素 3 ，以確定是否在某一位置（同一位置）合并相鄰的來自不同分析層面的界限。為了評估一個基準的正確性，我們采用了一個雙向的強制選擇范式（如圖1所示）。在任何一個試驗中，一個想法是要求比較兩局部邊界段的相對感性的力量。類似于 2 ，我們沒有給出具體的說明，可能會對一個特定類型的邊界的結果偏差。這2種替代實驗的優點是，它取消了大多數的認知因素的波動，如空間注意偏向，主題疲勞，和決策閾值，在每個主題是不同的。此外，相比繁瑣的標簽過程中，這種模式是

5、更簡單，更便宜地實現通過人群采購。給定足夠數量的比較和受試者，我們可以確定任何對邊界段的相對感性強度。這個框架對總邊界的成分組合規劃了嚴格的分類排序。我們通過設置每個邊界段的邊界加權值X進而映射于總邊界上，因為一個采用更頻繁的邊界段（即選擇更頻繁地由受試者）的X是更大的想比另一個采用概率不高的邊界段的X值。設定S是所有邊界的數據集，是S中的一段邊界值，并且是他的重要組成部分。我們可以定義一個邊界集S的關系中產生的一些參考系數A作為邊界算法的保險設置，算法如下：這種模式使我們能夠評估任何數據的相關風險，如BSDS300。由于其杰出的人氣，我們選擇pB范圍 3 作為算法的參考A值，我們選擇pB的在

6、邊界的數量的一個臨界值，使該算法下S值和參考值A相同S（#A = # S）。為了進一步說明其影響，我們進一步限制了采樣標簽集的子集，我們稱S1為孤立標簽，是指只有一個標簽標記的邊界而不是由其他L1貼標機制。BSDS300的邊界數據集的30.88%是孤立標簽。我們使用了5個科目，對100對邊界段進行比較分析（共500個試驗）。對于每一對，我們使用的模式的所有5個科目的響應結果，以對其進行綜合認定。預估S1的平均系數是0.44。那就意味著，幾乎有半數情況，一個“誤報”算法的邊界響應要強于孤立標簽的影響，它通常會被認為“真實”。鑒于孤立標簽占據很大成分（幾乎三分之一的所有邊界），這使得使用BSDS3

7、00基準懷疑任何一個算法的有效性。給定的臨界值，從而得到一個零風險的完美邊界集，使得對于任何的和以及任意的都符合的。這個完美的集合可以由來自所有圖像的所有可能的邊界檢查邊界強度形成。當然，依據當前不可靠的貼標機制而注釋的不完善的邊界集S缺乏絕大多數未標記的像素信息。有一種可能性，“合格”的的邊界存在于未標記的像素中。這個概率隨著增加，因為在所有貼標機制中相對較強的邊界是不可能被忽視的。事實上，以臨界值> 1，我們得到了一個簡單的解決方案：無風險但無用的空邊。在本文中，我們把我們的分析限制在BSDS300現有的邊界標簽中，并試圖為每段邊界推斷出更具決定意義的成分。通過圖1的形式推斷感知強度

8、：通過雙重例證，嚴格選取最優的實驗。左邊的圖顯示邊界子集的維恩圖。厚圓包含內是完整的邊界集S，在S中孤立標簽S1用綠色顯示。PB的邊界集A設置為虛線橢圓形。由算法AS鑒定的虛邊，即紅色的凸顯部分。在每次試驗中，我們隨機從S1（綠圈）和AS（紅色橢圓）中各選一個邊界段，通過那五個科目測試評估判斷哪一個是感性更強。雙邊界段（高對比度的紅色線）疊加到原始圖像（如圖中所示）。同時，在一個單獨的窗口中也將原始數據呈現給主體。總共有100個圖像對所有5個科目進行比較。正確的數字顯示風險該數據庫的所有5個科目（即，錯誤的算法影響高于人的標簽），。虛線是平均概率（0.5）。圖1 測試圖像 主題號選擇一個合適的

9、閾值，并形成一個邊界段的子集，平衡程序的風險和實用度，我們指的是在選定的子集中可用的數據點的總數。在下一節中，我們提出了一個圖形化模型，估計邊界的感知強度。3模型與推理在標記過程，每個主題L，由她/他的內部物理參數決定，響應不同的感知強度段。所有的界限的響應和參數產生伯努利混合分布。此外，我們認為產生一個sigmoid函數形式。標記過程的圖形化模型如圖所示: 圖2圖2：標記過程的圖形化模型。該模型假設標簽概率是由直覺因素和貼標機制的側面響應確定的，并且通過隱藏參數更進一步的對其限制。灰色圓圈表示可觀測變量，這是一個邊界段的二進制的個體反應。該模型的輸出是對各邊界段的感知強度以及每個貼標機制的參

10、數進行估測。在我們的模型中，產生一個均勻分布的。在S()的Sigmoid函數：。的概率視的投票不同而定，即。是高斯概率密度函數的零響應時的標準差。我們定義=0.5。我們用EM算法估計，()，和。我們從作為初始預演。在每一次迭代中，的值是通過給定。則取決于。對于X的估計，我們采用。優化過程收斂于20次迭代。知覺強度的分布如圖3所示：4實驗驗證鑒于推斷感知強度，我們選擇了4個閾值=0.2，,和，形成了4個子集邊界段。對于每個我們使用PB算法生成像這樣的方式#=#。最后，通過那五項科目的實驗對的風險進行評估。對于每一個圖像，我們隨機選擇和的一段，然后把我們的受試者的反應投票多寡來估計相對強弱排序。以

11、500個試驗的平均值來估計每個子集的風險。結果如圖3所示：圖3：左1：初始猜測的感知強度分布。左二：感性的最終估計的強度分布。右1：對單個的風險評估。在這圖像中，每個顏色對應于一個主題。右2：基于所有投票人的多數的風險評估。在右圖中的虛線表明圖1中的的風險系數。5討論未來趨勢在圖3中顯示的知覺強度分布有2個主要的趨勢。首先，初始尖峰分布已成功地解決了，因為每個學科都有自己獨特的特點。因此，在評估強度時他們的反應標記權重的不同。其次，許多邊界強度自動抑制到零。事實上，這些零強度的邊界段對應的孤立標簽，這是最大的數據集來源。從右邊的兩圖，我們看到，部分子集的風險隨感性的強度閾值上升而降低。這一結果支持我們在美國證券交易委員會2所提到的風險效用模型。我們已經發現，即一個人標記的數據集，以很好的編制和檢測，可以降低重要的風險對評估算法性能影響。我們首先提出一個物理測試估計人體數據集的風險，該風險來自于我們的錯誤分類，而大大增強了假信息的影響。我們討論了一種推理模型來探明各