1、節能-高效的無線視頻編碼和傳輸AGGELOS K. KATSAGGELOS西北大學FAN ZHAI，德州儀器YIFTACH EISENBERG AND RANDALL BERRY西北大學一、 摘要通過移動設備在無線信道進行視頻傳輸在很多領域得到了不斷普及。這些應用所面對的一個主要障礙是移動設備電池能源的不足。因此，高效的利用能源是無線視頻通信系統設計中一個關鍵問題。本文著重介紹聯合信源編碼和最佳能量分配的最新進展。為了設計節能高效的無線視頻通信系統，我們提出一個包含多種因素的總體框架，包括信源編碼，信道資源分配和錯誤隱藏。該框架可以采取各種形式并可應用于獲得無線視頻傳輸中能源消耗和視頻傳輸質量

2、之間的最佳折衷。二、 介紹隨著應用的增多，視頻被傳送于便攜式無線設備如蜂窩電話，連接無線局域網（WLAN）的筆記本電腦，在監測和環境跟蹤系統中的照相機等。例如由新技術（如目前的第三代（3G）和新興的第四代（4G）無線系統，和IEEE802.11無線局域網標準）導致帶寬的戲劇性增長使得個人通信開始具有視頻流能力。雖然在許多應用中無線視頻通信是非常可取的，但事實上在任何一個無線系統中主要的限制是移動設備通常依賴于有限的電池能源供應。而由于碼流視頻編碼和傳輸的高耗能率使得我們必須特別關注這些限制。因此，能源的有效利用是部署無線視頻應用中非常重要，有時是最關鍵的部分。為了設計高效節能的通信系統，首先要

3、理解能量在移動設備中是如何消耗的。一般移動設備中的能量主要用于計算，傳輸，顯示和驅動揚聲器，其中計算和傳輸耗能最多。在計算過程中，能量被用于運行操作系統軟件和音頻、視頻信號的解碼和編碼。在傳輸中，能量被用于發射和接受無線電視頻和音頻信號。應當承認，計算永遠是無線通信中最關鍵的問題。例如，能源感知操作系統就被研究用于有效地管理由適應系統的行為和基于現有的能源的工作量，工作優先級，限制等產生的能源消耗。無線視頻傳輸中由計算產生的能耗需要被特別關注，因為運動估計和補償，正向和反向離散余弦變換（即DCTS），量化，和視頻編碼器中的其他模塊，都需要有一定量的計算。最近計算中的能量消耗被處理于一功率率失真

4、模型，該模型被用于研究如何實現計算功率，傳輸速率和視頻失真的最佳權衡。盡管如此，超大規模集成（VLSI）設計和集成電路（集成電路）制造技術的進展使得芯片具有更高的密度和集成度，同時消耗越來越少的能量。根據摩爾定律，集成電路上的晶體管數每隔18個月翻一倍。因此，計算耗能在總耗能中的比重會越來越低。也是因為這個原因，我們主要關注傳輸耗能，如何利用高效的途徑將視頻編碼然后傳送到基站。如圖1所示。我們的目標是：為了在給定接收器上的失真最小化，給出傳輸能量的范圍，或者反過來，在確定視頻傳輸質量的情況下最小化能量的消耗。圖1：視頻從移動用戶傳輸到基站視頻傳輸和更傳統的數字通信的一個不同是視頻包有不同的重要

5、性。為了有效的利用能源，通常首選非平等錯誤保護（UEP，它能在傳輸比較重要的包時更有效的利用更多的能源來提供更多的保護。）這需要一個“跨層”透視其中需要共同考慮的源和網絡層。特別的，直接控制發射功率的較低層的協議棧需要遵守視頻編碼中各個數據包的重要性級別規定，它位于應用層。另一方面，它也可以是有益的，如果源編碼知道來自較低層的估計信道狀態信息（CSI）和哪些在較低層的參數可以控制的，所以當選擇源編碼參數以達到最佳視頻傳輸質量，它可以做出明智的決定。出于這個原因，為實現最高效率的傳輸能量消耗，我們自然要同時考慮視頻編碼和能量控制。在這片文章中我們提出一個總體框架，用于協同考慮在無線視頻傳輸系統中

6、的信源編碼和傳輸能量消耗。能量分配影響所接收的視頻序列的質量或失真水平及序列被顯示之前所需的延時時間。此外，它影響到多用戶環境中的干擾水平。在該框架中，我們重點討論研究如何平衡上述各個因素的能耗效率。這里提出的框架是一般意義上的，它可用于不同的應用程序和網絡設置等。我們的重點是點至點或單播通信，盡管這些想法有些也適用于組播方案。此外，在新視頻編碼模式和多媒體通信的網絡協議方面也有著大量的研究。這些方法可能會為該框架提供更多的方向。三、 無線視頻通信系統我們首先通過提供一個高層次的概述無線視頻傳輸系統，其次是我們的一般問題的提法。圖2突出了一些無線視頻通信系統的重要概念模塊。在發送端，視頻包首先

7、由視頻編碼器產生，它執行通過利用在時間和空間冗余壓縮。在通過網絡協議棧（RTP、UDP/IP）之后產生傳輸包并被傳送于有損的無線信道。因此，必須用一個錯誤彈性的方式對視頻序列編碼，以盡量減少在解碼視頻的質量損失。設S表示直接控制視頻傳輸質量的源設置編碼參數（預測模式，步長量化）。為了降低信道差錯，前向糾錯（FEC）的可用于在如鏈路和物理層的較低層。另外，在物理層，調制模塊和發射功率能夠根據變化中的信道條件被調整。調度各個包的傳輸也可能成為一個可調整的參數。在圖2，這些較低層的功能修改所顯示的是“發射“塊。設C表示發射端可控信道參數。圖2：無線視頻通信系統框圖在接收端，信道解碼器處理解調比特流，

8、它執行錯誤檢測和更正。這功能如圖2所示。損壞的數據包通常被接收機拋棄，因此得考慮丟失。此外，超期到達接收端的包同樣被拋棄， 這種嚴格的時延約束是視頻通信和其它多種數據傳輸應用的又一個重要區別。然后視頻解碼器解壓縮視頻數據包，并顯示實時生成的視頻幀。視頻解碼器通常采用隱蔽技術，以減少丟包的影響。回想一下，我們的目標是使用的最低的傳輸能量 ，達到最好的視頻傳輸。典型的無線頻道具有較高的吞吐量變化，延遲和包丟失。在這樣的環境提供可接受的視頻質量是一個視頻編碼器和解碼器，以及通信和網絡基礎設施艱巨的任務。在這些模塊中，一些編碼和傳輸參數能根據源的內容和可用信道狀態信息進行調整。此外，影響傳輸

9、能量消耗的因素包括每個位傳輸，調制模式下使用的電源，在鏈路層或物理層和信道編碼率。為了節約能源，這些參數也應根據源的內容和可用信道狀態信息進行調整。圖2所示的控制模塊表明了視頻傳輸系統的組件負責適應源編碼參數S，信道參數C，基于隱藏策略方法，信源內容和可用信道狀態信息。正如在介紹中，我們側重于在這些參數都在跨層框架聯合匹配的情況。1. 一般問題描述我們考慮這樣的技術：能夠有效的適應源參數S，信道參數C，為了最小化端到端失真同時又滿足能量和延時約束。這個問題可以如下表述：(1)其中，是最大允許能耗，是應用中施加的終端到終端的時延約束。對于流媒體應用，可延遲約束可以由編碼器的緩沖區的動態和接收器上

10、的回放緩沖區模擬出來。3和的選擇影響到端對端失真，端對端延時,和接收機上的視頻序列傳輸的總能耗我們用明確指出這種依賴關系。失真一般是由源編碼差錯，信道差錯產生，且其將會給進行更詳細的討論。能耗是由大量的信道參數產生的，后面將會進一步討論。端到端延時,是當一個視頻幀捕獲時，在發射器和接收器上在顯示的時間間隔。,由序列編碼所用的比特數、傳輸速率和發送機的調度情況決定。為了解決Eq. 1,中的問題，我們需要描述各個適應部分是如何影響視頻傳輸質量和傳輸能耗的。我們后面會對其進行更詳細的討論。2. 信源編碼匹配對于視頻編碼，均方誤差MSE和最大信噪比PSNR被廣泛運用于重建質量評價，其中PSNR定義為,

11、單位為dB。對有損信道中的視頻傳送，從發送者得角度上看，接收機上的失真是一個隨機變量。因此，預期的端到端失真通常用于描述所接受視頻的質量，并指導發件人信源編碼和傳輸策略。第K個包的預計失真可表述如下：(2)其中是第K個包的丟失率，是第K個包被接收機正確接收時的預計失真。是第K個包丟失時的預計失真。用于計算由信源編碼和誤差傳播引起的幀間編碼造成的失真。用于計算由隱藏造成的失真。包的丟失率由CSI，傳輸功率和所用的信道編碼決定。除了預計失真，圖2中，由隨機信道差錯導致的失真的變動直接影響到視頻接收的質量。為了防止由使用不同類別信道而導致的視頻質量差距過大，最近提出了一種叫方差感知-單像素資源優化配

12、置（VAPOR）的新方法。這種方法旨在通過盡可能的使接收機看到的和發送機上算出來的端到端失真均值相近 來改善視頻傳輸系統的可靠性。3. 錯誤復原能力強的視頻編碼這里我們關注一種最為廣泛使用的視頻編碼技術：基于塊的運動補償視頻編碼（BMC）。（用在H263和MPEG-4）。采用這種方法，每幀分為宏塊（MBS），這些宏塊即可以獨立編碼，也可以根據前一幀中的宏塊進行預編碼。對于幀間編碼，我們用一個運動矢量描述參考宏塊在參考框架中的位置。時間預測預報提供了更高的編碼效率比intracoding，但很容易受到錯誤傳播。變換編碼，其次是量化和熵編碼，完成了BMC編碼過程。錯誤彈性源編碼這種技術是在信源編碼

13、中添加冗余編碼，以防止錯誤傳播和限制數據包丟失造成的失真。這種技術通常由再同步標記，數據分割，無線視頻的可逆可變長度編碼（RVLC）組成。在分組交換網絡，它們可能包括預測模式選擇，可伸縮編碼，多描述編碼（MDC）。此外，包依賴控制已成為公認的提高容錯能力的有力工具。包依賴控制的一般方法有對宏塊的長期記憶預測（LTM）、參考幀選擇（RPS），內部宏塊的插入和視頻冗余編碼（VRC）。4.以上提到的所有模塊都可以視為圖1中的信源編碼參數S。S的選擇影響源比特率（傳輸延時）和圖2中表示的。我們的重點是依靠BMC編碼視頻;更具體的，我們的注意力集中在分組視頻傳輸。特別的，這里提到的信源編碼參數是在預測模

14、式（內部或者幀間）和各個宏塊或者包的量化步長。4. 差錯隱藏錯誤隱藏是指由解碼器調用的后處理技術，其通過利用所收到的視頻序列中的空間和時間冗余信息來實現隱瞞丟失的信息。這些方法大致可分為空間和時間域的方法。在空間方法中，可利用鄰近的空間信息來重建丟失的數據，在時間方法中，當前幀丟失的像素可以從已接受的或者隱藏的幀中重建。更復雜的隱藏策略則同時利用空間和時間的信息。錯誤隱藏策略的采用直接關系到的計算。因此，發送者需要知道接收器使用的錯誤隱瞞策略。我們強調，雖然錯誤隱藏的出現可能不會和任何信源的編碼參數和信道參數有直接關系，但它的選擇對這些參數產生重大影響。例如，根據一個給定的錯誤隱藏策略，如果我

15、們知道一個確定的數據包在其失去之后在接收器很容易隱藏，我們可能根本就不希望發送該數據包，而是把節省下來的比特和能源給其他丟失之后不容易隱藏的包。5. 信道匹配在本節中我們討論可為每個視頻數據包詳細操作的信道參數。我們還模型討論來說明這些參數如何影響的通訊信道的屬性，而這些決定了視頻傳輸質量和傳輸能量。6. 傳輸能量發送一個L比特，傳輸功率為P的包所需的能量為E = PL/R，其中，R是源傳輸速率比特每秒。可用各種方式將這三個量在實際系統中取到合適的值。例如，可以通過在物理層的功率控制實現電源適應。傳輸速率R的改變可通過選擇不同的調制模式或信道速率，或在每個數據包傳輸之前允許等待時間。此外，它也

16、可以通過選擇不同的物理層鏈路或信道編碼率實現。7. 信道模型在無線系統中，發送包使用的傳輸功率這個一個頻道參數是可以指定的。對于一個固定的傳輸率，增加發射功率會提高接收端的信號與噪聲比（SNR）并減小丟包的可能性。可通過下面的式子模擬第K個包丟失的概率(3)是包的傳輸功率，qk代表可用通道狀態信息。在許多系統中的發射機能夠估計信道狀態（使用接收者的導頻信號或反饋）。影響到包丟失概率的資源調整的效果的信道狀態信息取決于所使用的信道模型。函數F可憑經驗或模擬解析決定。例如，在6中 一個基于中斷容量概念的分析模型在使用。在此模型中一個包丟失每當在一個傳輸速率比不信道衰落的能力實現的結果。確定f的另一

17、種可能的方法是在一個給定的調制和編碼方案中給誤碼率劃定范圍。例如，在8中，一個基于BPSK調制錯誤的概率的模型在瑞利衰落信道中被使用。除了傳輸功率，第二個信道參數是傳輸速率。有很多速率自適應技術比如可變速率傳播，自適應調制和編碼等 可能會被使用。在現代無限系統中（包括3G蜂窩系統），這些參數可在快速的時間尺度（在10毫秒的順序）內實現適應。一個包的丟失率可以寫成: (4)其中，表示分配到第k個數據包的傳輸速率。例如，在8中，我們可以認為這個模型是通過使用速率兼容卷積碼（RCPC）來調整各個包上的的FEC量，以實現傳輸速率的適應。一個節能高效的無線視頻傳輸系統需要實現傳輸功率和實現最佳視頻質量所

18、需延遲之間的平衡。例如; 對于一個固定的發射功率，提高傳輸速率會增加誤碼率，但降低了傳輸一定量的數據需要的延遲,（或允許更多的數據將在一個給定的timeperiod發送）。此外，所需的傳輸能量達到一定程度的扭曲通常與延遲增加而減小。例如，在一個無線系統，傳輸所需的能量以維持固定的錯誤的概率可以通過增加傳輸時間，降低發射功率來實現10。這種發現被用在無線鏈路以提供節能高效的數據包傳輸11。四、 節能高效的視頻編碼和傳輸在本節我們用幾個例子說明如何共同選定源編碼和信道參數以實現節能高效的視頻編碼和傳輸。a) 聯合信源編碼和功率匹配聯合信源編碼和功率分配技術在源內容和信道狀態信息為基礎適應每個包的傳

19、輸功率的方式來處理不同的視頻數據包的靈敏度誤差。換句話說，這些技術把傳輸功率用作不等錯誤保護機制的一部分。在這種情況下，信道編碼參數是每個視頻數據包功率水平。在12中，視頻傳輸碼分多址接入（CDMA）的網絡使用一個可擴展的源編碼器（三維的SPIHT），差錯控制和功率分配。13是一中在帶寬限制下的源速率、發射功率分配方案。在6中，要將最佳模式、量化選擇和發射功率分配聯合起來考慮。為了說明在無線視頻傳輸系統中 聯合信源編碼和傳輸參數適應的優勢，我們給出了一些實驗結果，這正是6中詳細討論的。我們比較了聯合信源編碼和傳輸功率分配（JSCPA）方法與獨立信源編碼和功率分配（ISCPA）方法，其中S和C都

20、是獨立調整。圖3顯示了從“管工“序列預計重建框架，在這兩種方法消耗的能量相同。顯然，JSCPA相對于ISCPA能夠獲得更佳的傳輸質量。圖3：在“管工“序列中的92幀：a）原始框架;b）使用JSCPA方法解碼器的預期框架;c）使用ISCPA方法解碼器的預期框架。圖 4a 和4b顯示管工“序列的42和43幀。對于43幀，兩種方法獲得相同預期的視頻質量，但傳輸這個幀JSCPA方法比ISCPA方法少用60%的能量。圖4c和4d分別顯示使用JSCPA方法和ISCPA方法的包丟失率。較深的MBS對應較低的包丟失率，不傳輸的MBS用白色標記。正如圖4c中所見的，較多的保護措施用于和“管工頭部“對應的幀域中。

21、因此，更多的能量被用來輸出這個區域。在圖4d中，由于ISCPA的丟失率固定不變，這意味著用于傳輸 與管工頭部對應區域和與背景對應區域的能量是相同的。因而ISCPA在傳輸背景所對應的MBS時浪費了和傳輸高活動區所需的相同的能量。至于在ISCPA的源編碼方式中，視頻編碼器可能增撥更多的比特給高活動區的數據包，如圖4f所示。由于在該方法中傳輸功率是固定的，因此傳輸包需要更多的比特數，如圖4h。在ISCPA方法中，更多的能量將被用于傳輸高活動區域，但這些地區被正確接收的可能性和背景是一樣的。在JSCPA方法中，比特數和能量分配同時完成，因此，JSCPA方法能夠調整每個包的能量，使每個數據包的丟失概率依

22、賴于各自的相對重要性。如圖4e和4g。圖4：幀a) 42 和b) 43 為原始序列，c)使用JSCPA方法；d)使用ISCPA 的幀43的每宏塊包丟失率。對應于較低包丟失率的較深MBS。這不傳輸宏塊顯示為白色。使用e）JSCPA辦法;f）ISCPA辦法每MB使用的比特數。較深MBS對應更多的比特數。使用 g）JSCPA方法;h）ISCPA方法傳輸每MB消耗的能源。較深MBS對應更多的功耗。b) 聯合信源信道編碼和功率匹配在一個高效節能的無線視頻系統需要實現傳輸功率和獲得高視頻質量所需的延時之間的平衡。8筆者研究了聯合信源信道編碼和功率的匹配問題，當兩個通道參數由信道編碼和功率分配組成。容錯的源

23、編碼是通過模式的選擇和使用的RCPC信道編碼實現的，假定能量在一個在物理層上是離散可調的。信源信道編碼和功率匹配也可以在一個混合無線/有線網絡中使用，其由無線和有線兩種鏈接組成，如圖5所示。在這種情況下，不同的信道編碼可以用來對付不同類型的信道錯誤：有線網絡的丟包和無線鏈路的誤碼。14中，Reed - Solomon碼用于確保在鏈路層 包間保護，RCPC碼用于在物理層上的包內保護。信道編碼的選擇需要和信源編碼參數選擇與功率匹配聯合考慮，才能 實現高效節能通信系統。正如我們送看到的，跨層設計是一種在不同類型混合無線/有線網絡中處理不同類型的信道錯誤的強大的方法。圖5：混合式無線/有線網

24、絡中的視頻傳輸c) 聯合信源編碼和數據速率匹配聯合信源編碼和數據速率匹配也被作為一種手段來研究提供能量高效的視頻通信。為了保持一定的損失概率，能源消耗隨著傳輸速率增加而增長。因此，為了減少能源消耗，盡可能的降低傳輸速率是有利的11。除了影響能源消費，傳輸速率也決定在一定時期內的可傳輸位數。因此，當傳輸速率下降，源編碼失真增加。聯合信源編碼和數據速率匹配技術調整源編碼參數和傳輸速率，以平衡端到端的視頻質量之間的能源消耗。3是筆者認為最佳的信源編碼和傳輸速率匹配。隨機動態規劃是用來尋找基于馬爾可夫鏈渠道模型的最佳的信源編碼和傳輸策略。在這一工作中的主要思想是，為了提高性能，可以在信道條件差時期間允

25、許發射機暫停或減緩傳輸，只要不違反時延約束。五、 結論和未來方向一個決定無線移動視頻傳輸裝置的成效的關鍵因素是它的能量管理策略。本文是概述了一個上行信道的無線節能視頻傳輸系統的設計。為研究這個問題已經提出一個總的框架，其目的是實現以最小的能源消耗獲得最好的視頻傳輸質量。我們首先討論在無線視頻通信系統中的主要適應部分會影響的視頻傳輸質量和能量消耗。我們還詳細分析了如何操縱這些適應組件，以實現高的能源效率。用最近調查研究中的幾個例子來清楚地說明了聯合考慮容錯源編碼和信道參數，包括功率，FEC和速率匹配等的優點。聯合在不同的通信層之間的匹配模塊，需要增強這些層之間的通信。在傳統的分層協議棧，每一層都

26、是獨立優化或根據不斷變化的網絡條件進行匹配。但是，匹配是非常有限的，由于層與層之間相互作用的有限。因此，需要更有效的適應跨層設計，不僅從視頻應用的角度2，但也從網絡協議的角度15。正如本文所示，用于視頻傳輸的跨層設計旨在通過聯合考慮視頻編碼器和多協議層來提高整體性能和系統的能量效率。在這篇文章中，我們假定在控制器上所需的通道狀態信息可執行聯合信源信道的匹配。本文沒有提到的另一個重要的設計問題是如何處理在各個網絡層之間獲取和傳遞網絡層狀態信息所使用的開銷。在未來，跨層設計將會在新的無線視頻通信系統（包括4G無線網絡）發展中發揮的重要作用。六、 參考文獻1 Z. He, Y. Liang, and

27、 I. Ahmad, “Power-Rate-DistortionAnalysis for Wireless Video Communication under Energy Constraint,” Proc. SPIE Visual Commun and ImageProc., San Jose, CA, Jan. 2004.2 M. varder Schaaretal., “Adaptive Cross-layer ProtectionStrategies for Robust Scalable Video Transmission over802.11 WLANs,” IEEE JSA

28、C, vol. 21, Dec. 2003, pp. 175263.3 C. E. Lunaetal., “Joint Source Coding and Data Rate Adaptation for Energy Efficient Wireless Video Streaming,” IEEEJSAC, vol.21,no.10, Dec. 2003, pp. 171020.4 Y. Eisenberg et al., “VAPOR: Variance-aware Per-pixelOptimal Resource Allocation,” to appear, IEEE Trans.

29、Image Proc., 2005.5 Y. Wang et al., “Error Resilient Video Coding Techniques,”IEEE Sig. Proc. Mag., vol. 17, July 2000, pp. 6182.6 Y. Eisenberg et al., “Joint Source Coding and Transmission Power Management for Energy Efficient WirelessVideo Communications,” IEEE Trans. Circ. and Sys. ForVideo Tech.

30、, vol. 12, no. 6, June 2002, pp. 41124.7 LOzarow,S.Shamai, and A.D.Wyner,“InformationTheoretic Considerations for Cellular Mobile Radio, ”IEEE Trans. Vehic. Tech., May 1994, pp. 35978.8 F. Zhai et al., “Joint Source-channel Coding and PowerAllocation for Energy Efficient Wireless Video Communications,” Proc. 41st Allerton Conf. Commun., Control,and Comp., Oct. 2003.9 S. Nanda, K. Balachandran, and S. Kumar “AdaptationTechniques in Wireless Packet Data Services,” IEEE Commun. Mag., vol. 38