1、2018/8/8我愛計算機視覺！清華& 開源CVPR2018超高精度人臉對齊算 AB：52CV 我愛計算機視覺 今天清華& 開源超高精度人臉對齊算 AB同時發布含10000張人臉的多屬性人臉關鍵點數據集該算法來自CVPR2018 Look at Boundary: A Boundary-Aware Face Alignment Algorithm人臉的邊緣信息和人臉關鍵點有很明顯的重要關系，而以往的人臉對齊（Face Alignment） 算法并沒有很好的利用邊緣信息，本文提出一種基于邊緣感知的人臉關鍵點檢測算法，將人臉 邊緣線所描述的結構信息融入到關鍵點檢測中，極大地提升了算

2、法在大側臉、夸張表情、遮 擋、模糊等 情況下的檢測精度。倍速00:00/00:00Phil elson - Putter Face Alignment 用騰訊1/72018/8/8我愛計算機視覺文章主要解決了兩大問題：1. 人臉關鍵點在各個數據集間歧義性，定義不一致問題。文章通過捕捉對于人臉更通用的邊緣線信息， 將其作為人臉到關鍵點的中間媒介，使得不同數據集即使存在關鍵點差異，仍然可以相互輔助訓練。2. 復雜情況下關鍵點檢測精度問題。本文首先通過消息傳遞結合對抗學習得到高精度的邊緣線檢測結果，再將邊緣線信息多語義層次地融合到關鍵點檢測中，使得算法在復雜情況下的魯棒性大幅提升。 另外， 文章還提

3、出了新的人臉關鍵點檢測數據集Wider Facial Landmarks in-the-wild (WFLW)，包含10,000張帶有98個關鍵點和6個人臉屬性標注的人臉圖像數據，包括 ，表情，照明，化妝，遮擋和模糊的變換，旨在幫助學界更有 性的評估關鍵點算法在各種條件 下的魯棒性。本文的邊緣感知的人臉關鍵點檢測算法在300-W Fullset上實現了3.49的平均誤差，其大大優于state-of-the-art方法。利用在一個數據集上訓練出來的邊緣信息，可以非常簡單的用于 其他數據庫上的訓練 。 結合300-W數據集的邊界信息，本文方法在COFW數據集實現了3.92的平均誤差（0.39% f

4、ailure rate ），而在AFLW-Full數據集的平均誤差為1.25。下圖展示了使用本文的邊緣信息建模方法，在三個數據庫上的關鍵點 任務性能提升應用。第一列是來自不同數據庫的人臉圖像，第二列是使用本文算法得到的邊緣信息圖，第三列展示 了使用提取的邊緣信息跨庫融合增強了關鍵點 能力。2/72018/8/8邊緣感知人臉對齊算法概述我愛計算機視覺（ 查看大圖）Boundary-Aware Face Alignment框架（a）基于hourglass網絡的邊緣熱圖估計器（Boundary heatmap estimator），用于估計邊緣熱圖。 引入消息傳遞層以處理遮擋。（b）邊緣感知關鍵點回

5、歸器（Boundary-aware landmarks regressor）用于生成關鍵點的最終 。 引入邊緣熱圖融合方案，將邊緣信息納入回歸問題的特征學習中。（c）引入對抗學習，邊緣有效性鑒別器（Boundary effectiveness discriminator）區分“ 真 實”邊緣熱圖與“ 邊緣熱圖，用于進一步 估計的邊界熱圖的質量。在關鍵點回歸過程中，邊緣熱圖信息更像是一種可以跨庫提取的通用特征！WFLW人臉庫作者提出的Wider Facial Landmarks in-the-wild (WFLW) 人臉關鍵點庫，包含10000個人臉，98個關鍵點，7500個用于訓練，2500個

6、用于測試。該庫最大的特點是，同時標注了人臉 的屬性信息，即遮擋， ，化妝，光照，模糊和表情，可以非常容易的 算法在某一類人臉上的性能評估。3/72018/8/8我愛計算機視覺性能評估4/72018/8/8我愛計算機視覺在300-W庫上的性能評估結果，大幅超過了所有主流方法。在WFLW庫上的性能評估結果，同樣大幅超過了所有主流方法。為驗證邊緣信息在特征點檢測上的通用有效性，作者將300-W上提取的邊緣熱圖信息直接用于COFW-29和AFLW庫上，請注意他們原始標注的點數是不同的，以往這樣的庫是難以統一利5/72018/8/8用起來的。我愛計算機視覺在COFW-29和AFLW庫上的性能評估結果，同樣超過了所有主流方法。在COFW-68 testset上的CED曲線，精度優勢異常明顯！運行速度60ms on TITAN X GPU。6/72018/8/8我愛計算機視覺本文對人臉邊緣信息進行建模，融入特征點檢測算法中，取得了異常明顯的性能提升。能否把 這樣的信息用于人臉識別等其他任務中呢？期待有 有趣的技術被發明出來。代碼主頁：在“我愛計算機視覺” 云 地址。回復lab，可以收到該算法 、代碼和WFLW數據庫的點擊閱讀原文