1、基于H.264/AVC視頻編碼運動估計算法的優化學科：控制科學與工程答辯人：白世軍導 師：王煜 教授博導 副導師：吳曉軍副教授副導師：吳曉軍副教授哈爾濱工業大學深圳研究生院哈爾濱工業大學深圳研究生院2008年年12月月13日日論文題目：論文題目：答辯提綱 課題背景及研究任務 H.264/AVC編碼器原理 UMHS算法描述及可優化點分析 基于UMHS算法的優化 實驗結果與性能分析 總結及展望課題背景及研究任務(編碼發展簡史) 1984年CCITT發布了H.120(數字基群電視會議編碼標準)建議 1988年CCITT通過了“px64Kbps(p = 1,2,3,30)”視頻編碼標準H.261建議，

2、被成為視頻壓縮編碼的一個里程碑 1986年，ISO和CCITT成立了聯合圖象專家組（JPEG, Joint Photographic Experts Group),1992年通過了JPEG標準 1998年ISO/IEC成立了活動圖象專家組(MPEG,Moving Picture Experts Group). 1991年公布了MPEG-1標準，碼率為1.5Mbps,主要應用于家用VCD的視頻壓縮 1994年公布了MPEG-2標準,用于DVB、DVD、HDTV碼率從4Mbps 、15Mbps.直到100Mbps分別用于不同檔次和不同級別的視頻壓縮中課題背景及研究任務 1995年，ITU-T推出H

3、.263標準，用于低于64Kbps的低碼率視頻傳輸 1998年和2000年又分別公布了H.263+和H.263+等標準 1999年，ISO/IEC通過了MPEG4,它除了定義視頻壓縮標準為，還強調了多媒體通信的交互性和靈活性 2003年3月， ITU-T和ISO/IEC公布了H.264視頻壓縮標準，不僅顯著提高了壓縮比，而且具有良好的網絡親和性，加強了對IP網、移動網的誤碼和丟包的處理有人將H.264成為新一代的視頻編碼標準課題背景及研究任務(H.264標準的性能優勢和計算復雜度)H.264的視頻編碼層采用了多種新技術，在相同的圖像質量下，H.264所需碼率約為MPEG-2的36%、H.263

4、的51%、MPEG-4的61%，極大的提高了壓縮率，保證了圖象質量。研究表明：H.264編碼器由于采用了高精度運動矢量(Motion vector)，計算量迅速增長，運動估計消耗整個編碼80左右時間，嚴重降低了編碼的實時性。 因此，研究基于H.264的運動估計(Motion Estimation )快速算法，是H.264標準走向實時應用的關鍵，也是本文研究的重點。H.264/AVC編碼器原理(圖像的冗余) 視頻序列圖像在時間上存在很強的相關性，采用運動估計和運動補償技術可以消除時間冗余以提高編碼效率，這種技術廣泛用于視頻壓縮的一些國際標準中，如H.261/263/264、MPEG-1/2/4。

5、H.264/AVC編碼器原理H.264編碼器前向編碼通道反向解碼通道(重構幀)本文研究對象本文研究對象H.264/AVC編碼器原理（運動估計的定義） 基本思想是將圖像序列的每一幀分成許多互不重疊的宏塊，并認為宏塊內所有象素的位移量都相同，然后對每個宏塊到參考幀某一給定特定搜索范圍內根據一定的匹配準則找出與當前塊最相似的塊，即匹配塊，匹配塊與當前塊的相對位移即為運動矢量。視頻壓縮的時候，只需保存運動矢量和殘差數據就可以完全恢復出當前塊。H.264/AVC編碼器原理(運動估計的基本思想 )運動估計（Motion Estimation, ME):其表達方式是運動矢（Motion Vector, MV

6、），研究的主要內容就是如何快速、有效的獲得有足夠精度的運動矢量(MV)H.264/AVC編碼器原理H.264中定義的塊匹配誤差函數：(,)( , ()()J MVSAD s c MVMOTIONMOTIONR MVPMV其中SAD(絕對差值和)定義如下：,1,1( , () , ,16,84xyBBxyxyxySAD s c MVs x yc xMVyMVB Bors: 當前要進行編碼的原始數據c: 是已編碼重建的用于進行運動補償的參考幀數據MV: 為侯選的運動矢量PMV:為中值預測矢量R(MV-PMV):代表運動矢量差分編碼可能耗費的比特數H.264/AVC編碼器原理(UMHSUMHS算法算

7、法)UMHSUMHS算法算法(本文研究的快速運動估計算法) UMHS算法全名叫“非對稱十字型多層次六邊形格點搜索算法”(Unsymmetrieal-CrossMuti-HexagonSeareh，UMHS)算法特點：可以在很大程度上提高預測的有效性和魯棒性 ，相對于H.264中原有的快速全搜索算法可節約90% 搜索時間 UMHS算法描述及可優化點分析具體搜索方法的步驟：Step1:起始搜索點搜索（中值預測）Step2:不對稱的十字交叉搜索Step3:非均勻多層次六邊形格點搜索Step3-1:小矩形窗口全搜索Step3-2:擴展的多層次六邊形16格點Step4:擴展的六邊形搜索Step4-1:六

8、邊形模式搜索Step4-2:基于小六邊形(菱形)模式搜索UMHS算法描述及可優化點分析 (1)算法起始搜索點位置如何確立？(2)參考搜索窗口多大？(3)能否鎖定搜索象限？(4)小六邊形(菱形)搜索點數目是否可以減少？UMHS算法深入分析：UMHS算法描述及可優化點分析(AP1)(1)算法起始搜索點位置如何確立？中值預測中值預測的不足：由于不同的視頻序列運動特征不一樣，對不同的序列都把中值預測作為起始搜索窗口的起始點，而不是根據不同的序列所特有的運動特性動態的確定搜索窗口位置，不利于快速匹配和提高匹配精度時間和空間預測 (t-1)tUMHS算法描述及可優化點分析(AP1)參考幀中對應位置的塊當前

9、塊確定搜索中心點位置原則：根據col_mv和med_mv大小和是其夾角大小來確定Collocated blockCurrent block優化方法(AP1)：用動態搜索中心代替固定搜索中心(中值預測)UMHS算法描述及可優化點分析(AP1) (0,0)(2,2)(1)_0&_0 xycolmvcolmv(2)垂直運動（Vertical movement）(3)水平運動(4)相同的方向和速度運動(5)相同的方向不同的速度運動(6)其他情況(中值預測)XYUMHS算法描述及可優化點分析(AP2)(2)參考搜索窗口多大？UMHS 算法中采用了固定大小的參考搜索窗口，其大小為（2*search_ran

10、ge + 1）*（2*search_range + 1） 通過配置文件由search_range來設置，search_range = 16/32/48/64。 UMHS算法描述及可優化點分析(AP2)固定大小參考搜索窗口的不足：7種不同大小的塊都在固定大小的參考窗口中搜索最佳匹配塊是不科學的，根據“中心偏移特性”和“非中心偏移特性”理論，7種塊大小不同而且運動矢量大小也不一樣，比如對4*4小塊勢必會增加一些無用點的搜索；而對16*16的大塊可能由于運動比較劇烈而在固定大小的窗口中無法找到最佳匹配的塊.中心偏移特性news序列80以上的運動矢量分布在中心位置，且偏移比較小，大部分矢量分布在4，4

11、的范圍內 .非中心偏移特性News_qcifUMHS算法描述及可優化點分析(AP2):_Bprpsd DSRfixed part dinamic part優化方法(AP2)：用動態搜索窗口代替固定大小窗口AP2動態搜索窗口(DSR)的計算 ()xxmvxdabs MVPuplayerMVPmedian()yymvydabs MVPuplayerMVPmedian:_max(,)Ddinamicpartmvxd mvyd:_(_)/8Cfixed partinput search range原算法固定大小搜索窗口動態搜索窗口大小定值搜索窗口大小BCD（2*search_range + 1）UMH

12、S算法描述及可優化點分析(AP3)(3)能否縮定搜索象限？分析:非均勻多層次六邊形格搜索點數(a)：N1 = 16*4 = 64 擴展的六邊形搜索，搜索點數(b)：N2 = 7 + 3*n + 4 (a)(b)UMHS算法描述及可優化點分析(AP3)優化(AP3)：利用運動矢量(med_mv)和運動矢量(col_mv)的夾角a大小了優化. a = 0 to 90a = 90 to 180a = 180 to 270 a = 270 to 360N1 = 16*4 = 64N2 = 7+3*n+4搜索點數變化N1 = 4*5 = 20 N2=7+2*n+4UMHS算法描述及可優化點分析(AP4)

13、(4)小六邊形(菱形)搜索點數目是否可以減少？(a)(b)原算法不足：匹配精度有待提高，可以進一步優化UMHS算法描述及可優化點分析(AP4)(a)優化(AP4)：利用全局最小周圍的單調失真特性，使得內部點搜索(inner search)只需要搜索一個特定方向的內部點(inner points)。MinSadGroup1, Group2,Group3, Group4, Group5, Group6, 其中Group2和Group5需要搜索三個點，如圖a所示，Group1，Group3, Group5, Group6需要搜索兩個點，如圖b所示.UMHS算法描述及可優化點分析(AP4)優化效果：G

14、roup分組分別減少1或者2個搜尋點，所以大約減少了2*(4/6) + 1*(2/6) = 1.67個點，因為是每個搜索塊都減少了大約1.67個點，所以一個frame就減少了相當多的搜尋點，自然其速度比六邊形搜索算法快很多。而整個搜索算法的搜索總點數為 7 + 3*n + (2, 3) (b)UMHS算法描述及可優化點分析(軟件實現流程)總結：對HUMS算法進行了AP1,AP2,AP3,AP4四個方面的優化，優化后的算法與原算法(HUMS)在總體流程上沒有發生變化，只是在不同的搜索步驟中進行了優化，使得整個算法更加高效，自適應性更好，匹配速度和精度極大的提高，實時性更好 實驗結果與性能分析(視

15、頻質量的主觀評定視頻質量的主觀評定)A:A:為原始圖象為原始圖象B:B:為編碼解碼為編碼解碼后的圖象后的圖象CCIR CCIR 五級評分等級五級評分等級評分等級評分等級高清晰度采用七級評分等級高清晰度采用七級評分等級評價評價7 7不能覺察任何圖像損傷不能覺察任何圖像損傷特別好特別好6 6剛能覺察有圖像損傷剛能覺察有圖像損傷相當好相當好優優5 5不同程度的覺察，輕度損傷不同程度的覺察，輕度損傷很好很好好好4 4有損傷，但不令人討厭有損傷，但不令人討厭好好稍差稍差3 3有令人討厭損傷有令人討厭損傷稍差稍差很差很差2 2損傷令人討厭，但尚可忍受損傷令人討厭，但尚可忍受很差很差劣劣1 1非常令人討厭損

16、傷，無法觀看非常令人討厭損傷，無法觀看劣劣主觀評價分數標準主觀評價分數標準 DSCQSDSCQS測試系統測試系統 源視頻源視頻序列序列視頻視頻編碼器編碼器視頻視頻解碼器解碼器顯示顯示BA實驗結果與性能分析(視頻質量的客觀評定視頻質量的客觀評定)最常用的測試標準是峰值信號與噪聲之比（PSNR）均方誤差（MSE）:(i, j)為運動矢量(MV);(22 - 1)2為圖像種最大可能的信號值平方;n為表示每個像素的比特數21010log (21) /nPSNRMSE一般講，PSNR 愈高視頻質量愈高；反之亦然21111( , )( , )(,)MNttxyMSE i jf x yfxi yjMN實驗結

17、果與性能分析(測試平臺及其配置)Intel(R) Pentium(R) D CPU 3.00GHz，512M內存。WindowsXP 2002+SP2。測試序列集為5個 QCIF(176*144)格式序列所有序列yuv4:2:0實驗結果與性能分析（客觀分析 ）(a)不同紋理復雜程度(b)不同運動劇烈程度選用原則實驗結果與性能分析（客觀分析 ）Mobile_qcif序列總結及展望（主觀評價 ）(a)原始幀 右圖(a)給出了news_qcif序列原始幀 ，(b)和(c)分別是UMHS算法和本文優化算法得到的解碼幀。 總結及展望（主觀評價 ）(b) UMHS解碼幀 (c) 本文優化后解碼幀 總結及展

18、望（結論）實驗結果表明：與原UMHS搜索算法相比，優化后算法的優勢還是很明顯的 ，從客觀視頻質量評估標準來看，節省了運動估計(ME)時間(平均18.102%)，在保證視頻性能相對高的前提下，大大降低了運算復雜度，提高了編碼速度。從主觀評價標準來看，算法在提高了編碼速度的同時，可以較好地保持原有的率失真特性。綜合評價指標:(1)圖象質量高(PSNR大)(2)編碼(運動估計)時間短(實時性好)(3)碼率低(壓縮比大，方便存儲和傳輸)總結及展望（下一步計劃）(1)研究幀內模式選擇、碼率控制、熵編碼等方面的優化方法 (2)以H.264擴展檔次和主要檔次為研究重點，分析編碼器中涉及到的主要技術，如加權預

19、測、SP幀與SI幀的編解碼過程等等。(3)基于DSP的編解碼軟件實現. 在熟悉一款DSP(Ti C6000系列)芯片硬件架構和開發環境(CCS3.3)的基礎上，完成H.264編解碼器代碼的移植和優化，即研究如何在DSP上實現H.264的實時編解碼技術 總結及展望（下一步計劃）攻讀學位期間發表的學術論文 白世軍，吳曉軍. H.264/AVC頻編碼運動估計算法的優化. 電子學報.2008(09) (外審).感謝各位專家！感謝各位專家！補充材料(實例)(1)確定搜索起始點(MVEx,MVEy)(2search_range+1)(2search_range+1)，其中s=16/32/64最佳匹配塊當前塊當前塊補充材料(UMHS算法搜索步驟