卷積神經網絡特征可視化報告

AnnualReport匯報人：龔志雄2021/5/91首先介紹一篇可以視為CNN可視化開山之作的論文：VisualizingandUnderstandingConvolutionalNetworks。作者是MatthewD.Zeiler和RobFergus，于2014年發表在ECCV（歐洲計算機視覺國際會議）。通過反卷積可視化等技術，作者改進了AlexNet的網絡結構得到了ZFNet，使得識別率進一步提高。今年來CNN在圖像分類和物體檢測領域大放異彩，主要是以下幾項因素的作用:1.數以百萬計帶標簽的訓練數據的出現；2.GPU的強大計算能力；3.更好的模型調優策略：如DropOut策略，使得訓練大的模型成為可能。盡管如此，從科學的角度來看，這是令人很不滿意的。因為我們并不能解釋這個復雜的模型，也就不理解為什么它能達到這么好的效果，而不了解這個模型如何工作和為什么有作用，我們改進模型就只能使用試錯法。這篇論文提出了一種新的可視化技術，揭示了模型中任意層的特征圖片與輸入之間的響應關系。論文介紹2021/5/92上面的結構就是作者此篇論文中使用的CNN網絡結構，它是根據AlexNet的網絡結構改進而來的，本文選擇了ImageNet2012作為訓練集（130萬張圖片，超過1000種類別）。訓練過程在一塊GTX580GPU上進行，總共進行了70次全庫迭代，運行了12天。單擊此處編輯內容單擊添加標題，建議您在展示時采用微軟雅黑體單擊此處輯內容論文介紹2021/5/93本文將中間層特征反向映射到像素空間，觀察什么樣的輸入會導致特定的輸出，可視化過程基于（Zeiler2011）提出的反卷積網絡實現。本文模型中，卷積網的每一層都附加了一個反卷積層，每一層反卷積層有三個操作：unpooling：本文用了一種近似的方式計算maxpooling的逆過程，在maxpooling的過程中，用“Switches”表格記錄下每個最大值的位置。在unpooling的過程中，我們將最大值標注回記錄所在的位置，其余位置填0，右下圖片顯示了unpooling的過程。論文介紹2021/5/94矯正：在卷積網中，我們通過Relu激活函數來保證所有輸出都是非負數，這個約束對反卷積依然成立，因此將unpooling得到的重構信號送進Relu函數中計算，右下圖顯示的就是Relu函數的圖像。反卷積：反卷積使用已經訓練好的卷積核的轉置作為核，與矯正后的特征圖進行卷積運算。論文介紹2021/5/95論文介紹2021/5/96論文介紹2021/5/97論文介紹2021/5/98上面三張圖顯示的是layer1~layer5的部分節點通過反卷積過程產生的可視化特征圖。對于網絡中的每個節點，展示了9張在該節點上刺激最強的圖片。左邊顯示的是通過反卷積得到的可視化特征圖，右邊顯示的是對應的原始圖片。通過觀察上面三幅圖片，我們至少可以得出兩點結論：1.CNN特征提取具有層次化的特點，第一、二層響應物體的邊緣、輪廓、顏色信息，第三層捕獲相似的紋理，第四、五層開始體現類與類之間的差異。2.每個節點只關注自己關注的特征，而對其他特征不予理會。例如layer5的第一行第二列的九張圖片，都只提取了背景中的草地特征，而沒有關注五花八門的前景特征。論文介紹2021/5/99特征在訓練過程的演化：上圖顯示的是layer1~layer5所得到的反卷積可視圖在訓練迭代次數為1，2，5，10，20，30，40，64時的演變情況，由此可以得出結論：底層特征需要少量的迭代訓練就能收斂，但高層特征需要更多次的迭代才能收斂，只有所有層都收斂時，分類模型才能使用。這也提供了一種確定迭代次數的思路：當觀察到高層網絡的可視圖收斂時，就可以不用訓練了。單擊此處編輯內容單擊添加標題，建議您在展示時采用微軟雅黑體單擊此處輯內容論文介紹2021/5/910單擊添加標題，建議您在展示時采用微軟雅黑體單擊此處輯內容論文介紹2021/5/911上面一張圖片顯示的是“遮擋敏感性實驗”的結果圖，這個實驗的過程是用一個灰色方塊隨機遮擋圖片的某個區域，觀測這種操作對第五層的strongestfeaturemap和分類結果的影響。第a列是三張輸入圖片，在沒有灰色方塊遮擋的情況下分別被網絡分類為：博美犬，車輪，阿富汗獵犬。這三張輸入圖片在第五層都有一個對應的strongestfeaturemap，也就是激活值最大的一個featuremap，第c列的黑框圖片就是將這三張strongestfeaturemap用反卷積技術可視化。可以看到圖二反卷積后顯示的是車上的文字，但最終分類結果是車輪。圖三反卷積后顯示的是右邊女人的臉，但分類結果是阿富汗獵犬，所以復雜圖片里高層所關注的特征并不一定是分類的結果。論文介紹2021/5/912b列的三張圖片顯示的是隨著灰色方塊位置的變化，strongestfeaturemap的激活值的變化情況。橫縱坐標表示灰色方塊在原圖中的位置，顏色從藍到紅表示激活值從小到大。第一張圖片，遮擋狗臉時，strongestfeaturemap的激活值是最小的；第二張圖片，遮擋汽車上的文字（包括反卷積圖像里沒有顯示的文字）時，strongestfeaturemap的激活值是最小的，說明這個featuremap的作用就是來提取文字特征；第三張圖片，遮擋人臉（包括男人的臉）時，strongestfeaturemap的激活值是最小的，說明這個featuremap的作用就是來提取人臉的。論文介紹2021/5/913d列的三張圖片顯示的是隨著灰色方塊位置的變化，正確分類準確率的變化情況。橫縱坐標表示灰色方塊在原圖中的位置，顏色從藍到紅表示準確率從小到大。第一張圖片，遮擋狗臉時，正確分類準確率是最低的；第二張圖片，遮擋車輪時，正確分類準確率是最低的；第三張圖片，遮擋整只狗時，正確分類準確率是最低的；經過這個實驗，回答了論文中提到的一個問題：anaturalquestionisifthemodelistrulyidentifyingthelocationoftheobjectintheimage,orjustusingthesurroundingcontext.論文介紹2021/5/914反卷積可視化技術顯示了AlexNet的一些問題，a是第一層卷積核，c是AlexNet網絡的第二層可視化特征圖。a中混雜了大量高頻和低頻的信息，缺少中頻的信息；c中由于選擇了4作為跨度，產生了無用的特征（第一行第二列）。為了解決這些問題，作者做了以下工作：將第一層卷積核大小由11*11調整為7*7；將第一層和第二層卷積過程的跨度由4調整為2，調整后的結果為b和d。最終模型錯誤率為14.8%，比AlexNet提高了0.5個百分點。單擊此處編輯內容單擊添加標題，建議您在展示時采用微軟雅黑體單擊此處輯內容論文介紹2021/5/915CNN可視化還有另外一種方法：梯度上升法，這種方法的目的是合成一張在某個網絡節點上產生最大激活值的輸入圖片。為了合成這張圖片，我們開始從一張隨機像素值的噪聲圖片x開始，接下來，我們使用這張噪聲圖作為CNN網絡的輸