IP視頻流處理系統技術方案2010年10月21日目錄TOC一、項目需求 3二、系統主要技術及功能介紹 32.1、視頻流壓縮編碼技術： 32.2、服務器處理技術： 42.3、網絡傳輸協議： 52.4、對端流媒體播放技術（解碼） 5三、系統組成 63.1編碼硬件（服務器）介紹； 63.1.1編碼硬件（服務器）構架 63.1.2編碼硬件（服務器）組成 63.1.3編碼硬件（服務器）編碼技術介紹及轉換格式說明 73.1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技術介紹 73.1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數等指標） 83.1.6編碼硬件（服務器）處理性能 93.1.7編碼硬件（服務器）擴展能力 103.2解碼器介紹； 103.2.1解碼器介紹 103.2.2解碼技術介紹 103.2.3解碼后最終顯示性能 113.2.4解碼器與編碼器協同工作原理 113.2.5窗口顯示性能 12四、IP視頻流處理系統技術點實現方式 12五、IP視頻流處理系統優勢所在及對比 12六、系統圖 14七、新版本介紹 157.1、版本介紹 157.2、BlendOneV2窗口管理介紹： 17八、系統測試 18一、項目需求支持多路IP流媒體信號源并行輸入；可以將外部視頻信號轉換為IP流媒體以窗口的形式在大屏幕上顯示；所有操作均兼容集中控制主機、操作電腦等控制設備；完美實現多窗口顯示，并且可以進行窗口放大、縮小、漫游、疊加、拉伸等功能；支持顯示模式預存、調用、修改等功能；二、系統主要技術及功能介紹2.1、視頻流壓縮編碼技術：視頻流壓縮編碼技術。由于存在視頻信息數據量大而網絡帶寬有限的矛盾，壓縮技術一直是網絡視頻通信的關鍵技術。網絡流媒體技術面臨著網絡帶寬的波動和多種應用的挑戰，高壓縮率的分級編碼技術是很好的解決途徑。它能提供根據帶寬而自適應變化的視頻碼流，以滿足不同質量的服務。功能：此技術主要用于編碼器進行視頻流的轉碼工作，將具有分辨率和行場頻率的VGA、RGB、DVI信號轉換為可以通過網絡進行傳輸的流媒體格式；編碼體系結構圖：2.2、服務器處理技術：服務器處理技術。編碼服務器是流媒體系統的核心設備，它通過對視頻流的發送和控制，保證了通信的服務質量。為了解決時延和帶寬的限制，服務器必須根據實際的可用帶寬把壓縮的數據打包成合適的碼并響應網絡的反饋控制信息；同時為了實現客戶與服務器的交互功能（VOD），服務器還要有對用戶發來的服務請求（VCR）進行有效處理的功能。典型流媒體服務器技術包括數據放置策略、磁盤調度算法、內存緩沖區管理算法等功能：編碼服務器不但負責各類信號的轉換工作，并且負責轉換后的流媒體網絡推送工作，并且根據不同的情況提供不同的策略、算法及緩沖；2.3、網絡傳輸協議：網絡傳輸協議。由于我們的設備應用于局域網，并且要求有1000M的帶寬流量，但是由于流媒體的傳輸應避免網絡丟包情況，因此我們選擇比較適合實時視頻傳輸的協議主要有：網絡層的IP協議，傳輸層的用戶數據報協議(UDP)、實時傳輸協議（RTP）、會話層的RTSP（實時流協議）。在傳輸層的下層，為了減小時延，視頻數據傳輸使用盡力轉發的UDP。RTP是在UDP的上層為數據傳輸提供丟包檢測和同步的實時傳輸協議，RTCP是配合RTP的控制協議；功能：此技術對應的功能主要負責流媒體在網絡上廣播推送服務，通過相應的協議及我們針對網絡廣播的軟體限制，避免丟包，延遲的現象出現；2.4、對端流媒體播放技術（解碼）接收端的流播放技術。由于流媒體采用的是IP\UDP等非可靠傳輸協議，數據可能不會按原來的順序到達接收端而且可能存在丟包，所以在解碼前開辟一個緩沖區進行重排和錯誤掩蓋。為了實現實時連續播放并且拒絕丟包情況，我們開辟一個適當大小的播放緩沖區，以避免網絡帶寬的波動帶來的緩沖區下溢；而我們采用的編碼技術是MPEG-4標準，因此在解碼方面同時采用MPEG-4的解碼標準；通過我們自主研發的播放軟體，配合相應的解碼算法，最終實現對端接受設備的連續播放；三、系統組成3.1編碼硬件（服務器）介紹；3.1.1編碼硬件（服務器）構架編碼服務器的構架為服務器軟硬結合方式的構架，通過我們自主研發的集成了編碼、網絡、并行處理的機制的軟體，結合定制的高性能圖形卡共同實現實時各類信號的并行轉碼及網絡并行推送功能；數據采集數據采集編碼器傳輸控制3.1.2編碼硬件（服務器）組成（1）采集模塊，進行RGB/DVI信號采集，為編碼模塊提供數據（2）編碼模塊，以MPEG4標準對圖像數據進行壓縮編碼（3）控制模塊，對外提供控制接口，對采集模塊和編解碼模塊進行參數設置（4）傳輸模塊，接受通訊連接，對外傳輸壓縮數據3.1.3編碼硬件（服務器）編碼技術介紹及轉換格式說明采集信號保存為YUV信號后傳送給編碼器，編碼器按照MPEG4標準對采集信號進行編碼。編碼格式為4:2:0格式，幀格式采用I幀，P幀和B幀。3.1.4編碼硬件（服務器）編碼流程介紹及GPU并行處理技術介紹（1）編碼流程介紹 編碼器采用的是變換和預測的混合編碼法。編碼原理由圖一所示，輸入的幀或場Fn以宏塊為單位被編碼器處理。首先，按幀內或幀間預測編碼的方法進行處理。如果采用幀內預測編碼，其預測值PRED（圖中用P表示）是由當前片中前面已編碼的參考圖像經運動補償（MC）后得出，其中參考圖像用F’n-1表示。為了提高預測精度，從而提高壓縮比，實際的參考圖像可在過去或未來（指顯示次序上）已編碼解碼重建和濾波的幀中進行選擇。預測值PRED和當前塊相減后，產生一個殘差塊Dn，經塊變換、量化后產生一組量化后的變換系數X，再經熵編碼，與解碼所需的一些邊信息（如預測模式量化參數、運動矢量等）一起組成一個壓縮后的碼流，在將該碼流傳輸到網絡。如上所述，為了提供進一步預測用的參考圖像，編碼器必須有重建圖像的功能。因此必須使殘差圖像經反量化、反變換后得到的Dn’與預測值P相加，得到uFn’（未經濾波的幀）。為了去除編碼解碼環路中產生的噪聲，提高參考幀的圖像質量，從而提高壓縮圖像性能，編碼器還設置了一個環路濾波器，濾波后的輸出Fn’即重建圖像可用作參考圖像。圖一編碼器流程框圖（2）編碼并行處理在各宏塊進行變化和量化的過程中，存在大量的計算，因此利用計算機強大的數據處理功能，將各個宏塊數據進行并行處理，從而提高編碼速度。3.1.5編碼硬件（服務器）編碼指標說明（壓縮比、分辨率、帶寬、信號類型、流媒體格式、碼流、幀數等指標）（1）編碼器輸入信號：RGB信號流（2）編碼格式：MPEG44:2:0格式（3）編碼幀結構：支持三種類型I/IPP/IBBP（4）工作方式：VBR(可變碼率編碼)/CBR（固定碼率編碼）（5）支持分辨率：1024x768、1280x960、1280x1024、1400x1050、1600x900、1680x1050、1920x1080、1920x1200、1920x1440等（6）編碼幀率：（25～30）fps（7）壓縮比：根據圖像內容因素的不同，如圖像細節，運動和靜止，編碼圖像質量等方面因素，壓縮比和碼率會不同，理論上MPEG4壓縮比最大可達到4000:1。實際中測試的壓縮比約為：（8）碼率：（1～50）Mbps（9）帶寬：200Mbps編碼器輸入信號分辨率 幀結構編碼格式幀數(fps)編碼圖像質量平均碼率（Mbps）帶寬要求壓縮率RGB241024x768GOP=100IBBP4：2：030QP=00.7Mbps1Mbps808.901440x10504：2：030QP=01Mbps3Mbps1099.631920x10804：2：030QP=02.5Mbps3Mbp597.191920x12004：2：030QP=02.5Mbps3Mbp663.553.1.6編碼硬件（服務器）處理性能（1）編碼器可支持1～4路信號同時采集（2）最多支持4路信號（3）支持最高分辨率為2048x1536（4）最大碼流達到40Mbps（5）壓縮比：在質量最好的情況下，壓縮比約為100~8003.1.7編碼硬件（服務器）擴展能力分辨率最大支持路數1024x76881400x105041920x108041920x120043.2解碼器介紹；3.2.1解碼器介紹解碼器采用MPEG4解碼標準進行解碼。解碼器從網絡接收到編碼后的數據后，按照標準對編碼數據進行解碼。3.2.2解碼技術介紹解碼流程介紹：由圖二可知，解碼器得到由編碼器輸出的數據后，經熵解碼得到量化后的一組變換系數X，再經反量化、反變換，得到殘差Dn’。利用從該比特流中解碼出的頭信息，解碼器就產生一個預測塊PRED，它和編碼器中的原始PRED是相同的。當該解碼器產生的PRED與殘差Dn’相加后，就產生uFn’，再經濾波后，最后就得到濾波后的Fn’，這個Fn’就是最后的解碼輸出圖像。圖二解碼框圖3.2.3解碼后最終顯示性能解碼幀率：最高可達60fps支持分辨率：4x4~8192x8192，寬度或高度必須為2的倍數流量：24bit/像素3.2.4解碼器與編碼器協同工作原理（1）編碼器收到原始采集數據后進行壓縮編碼，服務器將編碼后的數據傳輸到客戶端（2）客戶端接收到編碼數據后，解碼器盡最大能力進行解碼，以最快的速度顯示（3）編碼器與解碼器都在“推模式”下工作（4）由于MPEG本身的特點，解碼器只有在收到關鍵幀才能正式啟動解碼，而關鍵幀的間隔與編碼設定有關，所以開始解碼時可能出現短暫的等待，當關鍵幀到達才進入解碼，顯示圖像3.2.5窗口顯示性能（1）采用DirectX獨占顯示技術，直接進行顯卡顯示操作，充分發揮顯卡性能；（2）支持多核CPU并行處理技術，通過DMA模式進行數據傳輸，發揮PCI-E的帶寬優勢，傳輸速度可達16GB/s，窗口顯示具有刷新速度快，占有資源小的特點。四、IP視頻流處理系統技術點實現方式（1）編解碼：支持并行處理，支持多核CPU，SIMD技術優化（2）圖像顯示：DMA傳輸，采用DirectX顯示技術（3）圖像傳輸：基于TCP/IP的可靠傳輸方式五、IP視頻流處理系統優勢所在及對比隨著視頻應用的不斷深入和網絡技術、圖像技術的不斷成熟，視頻系統正在邁入數字化、網絡化、大型化時代，視頻信號數量多，距離遠。傳統方式下，為了在遠程觀看視頻，就需要部署專用傳輸線路，線路的數量隨著視頻數量的增長而增長，考慮到信號的線路損耗，需要根據實際條件添加中繼設備。傳統方式下的系統無法復用建設好的線路，重復建設多，成本高。（1）多網融合。IP視頻處理系統能夠使用網絡線路，無需進行線路鋪設，系統建設快，成本低，具有多網融合的特點，現有網絡不但能夠進行局域網通訊，還能實現視頻網的搭建。（2）利于擴容。視頻通過壓縮，使用網絡接入，在保證質量的同時，降低帶寬占用，大大提高并行傳輸視頻的數量。當網絡線路的帶寬能夠滿足同時觀看視頻數量的需要時，添加視頻點只需添加一臺采集設備即可，擴容簡單、迅速。（3）節約成本。IP視頻處理系統充分利用現有資源，擴容便捷，使得整個系統建設成本大大降低，建設時間快，同時以其優良的升級能力，也為未來的建設節約成本。六、系統圖七、新版本介紹7.1、版本介紹由于IP流媒體技術得研發成功，因此在設備應用中我們對對端解碼器也做了軟體的升級，由第一代融合解碼器升級為第二代融合處理器（BLENDONEV2）BlendOneV2其中包括：服務器端BlendOneV2SEVER控制客戶端：BlendOneV2Manage上一代融合解碼器并不具備IP流媒體的解碼、采集功能并且針對Ip流媒體的窗口管理機制也沒有被集成；而為了配合對端編碼器的應用，我們在第二代融合解碼服務器中不但集成了最新的IP流媒體的解碼、采