數字電視技術

對視頻編碼標準的解讀

馮錫增（原廣東省廣播電視局總工程師）dabfxz@163.com2014年8月內容提要廣播電視臺與數字化電視中心和傳輸發射數字電視編碼的基本原理數字電視信號的類型TS傳輸層基本原理先進的編碼技術H264與AVS先進的編碼技術的演進和發展趨勢信源相關測試儀器及其使用廣播電視為什么要數字化當前，廣播電視正在全面數字化；因為整個信息行業已經數字化，我們的競爭對手也已經數字化；我們的內部環境也具備數字化的條件；數字信號和模擬信號的差別是什么？（對技術人員不用解釋，非技術人員要好好搞清楚,什么是模擬信號，什么是數字信號？）數字化的優點1）數字信號處理、傳輸使信號質量大大提高數字信號在記錄/重放、信號傳輸和處理等過程中不會引起信號劣化，通過整形和糾錯編碼等技術可將數字信號有效還原，收端圖像質量與發端基本一致。數字電視，比特率為4～5Mb／s的信號，傳輸到用戶清晰度達到480線，主觀評價約4.3分。而模擬信號只有3分左右。（模擬電視經電視中心、微波、衛星、發射機和接收機各環節后，按五級質量制評定只有3.25分）。數字化的優點（續）2）頻譜資源利用率高電視數字化，節目容量大大提高。如1個8MHz模擬頻道可以傳6～10套數字電視節目。500MHz帶寬內可以傳380～630套節目。HFC網絡改造(1G)會使容量進一步提高。

3）多信息、多功能數字技術有利于電視節目與數據的融合。大大擴展服務內容。如電子節目指南、財經信息、視頻點播、歌唱點播、新聞選取、遠程教育、電視購物、交互游戲等新穎的增值服務。數字化的優點（續）4）數字化帶來有效的用戶管理系統數字化使得信號非常容易實現加擾、解擾和加密、解密，便于開展各類收費業務。條件接收（CA）系統的應用，可以實現對用戶的有效管理，確保運營商的資金回報。廣播電視系統的組成電視技術中心電視信號傳輸家庭用戶有線電視網絡無線發射IP網絡衛星怎樣學習數字電視編碼技術復習好模擬信號的有關內容，因為這是基礎；數字電視廣播包括編碼和調制兩部分，而核心部分是編碼技術；對廣播電視系統的不同部分，重點有所不同；編碼的內容廣泛，有深有淺，學什么要根據需要；從事研究、開發的，要深入到數學等領域；從事具體應用的、值班的，要掌握原理的要領；有些基本的概念要補學，比如電視原理、信息論、數字邏輯運算等等；數字化的基本思路先把模擬信號變為數字信號，得到普通（未壓縮）數字碼流；再把普通數字碼流變為壓縮的數字碼流；了解壓縮的方法、各種壓縮方法的原理；了解一個壓縮標準（如MPEG-2）的碼流結構，然后舉一反三；電視信號的類型和演變黑白電視信號（模擬）；彩色電視信號（模擬）；數字電視信號（未壓縮）；數字電視信號（壓縮）；不同標準的數字電視信號（壓縮）；不同的數字電視接口；復習：電視信號的基本概念象素（光如何變為電信號）；掃描（順序、隔行）、行、場、幀、奇數場、偶數場；黑電平、白電平、消隱（行消隱、場消隱）和同步（行同步和場同步）信號、均衡脈沖；黑白全電視信號的組成復習：黑白電視的全電視信號三基色原理：R、G、B和Y、R-Y、B-Y；彩色電視信號的產生、彩色電視如何與黑白電視兼容、彩色電視的副載波；色同步信號；分量信號和復合信號；模擬電視信號的三大制式；PAL-D模擬廣播制式的特點模擬復合系統的要點彩色電視信號彩色電視信號編碼的基本概念“編碼”含義很多，如‘圖書編碼’、商品的編碼等等，這里說的是電視信號的編碼；什么是模擬信號？什么是數字信號？有人說“數字化時代了，信號都是0和1了，沒有差別了！”是否真的如此？把模擬信號簡單變為數字信號，除了帶寬大大增加以外，基本沒有什么意義。數字化的優點必須通過編碼才可以實現。數字電視信號的產生直接產生：字幕機，數字攝像機等轉換生產：電影膠片——電視電影機模擬-數字（A/D轉換）——信號數字化取樣—時間的離散化；量化—空間（數值）的離散化；編碼；信號數字化的過程信號數字化過程（一）取樣：取樣頻率，Nyquist定理把連續信號變換成離散信號信號數字化過程（二）量化：將離散信號樣值進行離散化處理；離散化的量化級信號數字化過程（三）編碼：量化后的信號仍然只是離散信號，還不是數字信號。用n比特二進制碼來表示已經量化了的取樣值，稱為編碼。常用的是8比特或10比特。每個二進制數對應一個量化電平，再按時序將它們排列起來，就得到基帶數字信息流。這個碼流只有0和1。

演播室里用的信號是SDI信號。傳輸速率：傳輸速率=取樣頻率fs×量化比特數從示波器看到的信號數字信號模擬信號視頻信號的數字化

編碼方式：復合編碼——將彩色全電視信息直接編成PCM碼分量編碼——將亮度信號Y，色差信號R-Y和B-Y分別編碼或PCM碼復合編碼與分量編碼的比較“復合編碼”與電視制式有關“分量編碼”與電視制式無關在節目后期制作中：“復合”需解碼。

“分量”無需解碼。傳輸時：“復合”由于頻分復用，產生亮，色串擾

“分量”采用時分復用，無亮，色串擾。ITU-R601建議編碼主要參數

（4：4：4格式）

參數625行50場/s制式525行60場/s制式

1，編碼信號經過γ校正的信號EY，ER-EY，EB-EY或ER，EG，EB2，各信號的全行樣點數864858

3，取樣結構正交，按場，行，幀重復，并與此4：2：2標準的亮度樣點重合

4，每種信號的取樣頻率13.5MHz

5，編碼方式每樣值至少8比特均勻量化PCM

6，用樣點表示的數字有效行長度至少720

7，視頻信號電平每樣值共220量化級，黑電平對應于第16量化級；

8比特的最高有效位峰值白電平相應于第235量化級（MSB）量化級之間的在量化等級中部共分224級，零電平對應128級對應值（范圍：0—255）ITU-R601建議演播室分量編碼主要參數(4∶2∶2格式)參

數625行50場/s制式

525行60場/s制式1、編碼信號Y、R-Y、B-Y2、全行樣點數

亮度信號(Y)864858

每個色差信號(R-Y、B-Y)4324293、取樣結構正交，場、行、幀重復，R-Y和B-Y的樣點同位，并和每行第奇數個(1，3，5...)Y樣點同位4、取樣頻率

亮度信號13.5MHz

每個色差信號6.75MHz5、編碼方式線性PCM、8比特量化/每個取樣值6、每數字有效行數樣點數

亮度信號720

每個色差信號3607、視頻信號電平與量化級間的對應值

亮度信號

每個色差信號

共22個量化級，黑電平對應量化級16；峰值白電平對應量化級235

在量化等級中間部，共分224級，零電平對應于128級數字電視中大量使用英文縮寫，應當注意它們是什么意思；數字電視信號的接口和數字電視信號的格式是不同的概念，也要區分；如SDI,HD-SDI,ASI,SSI等這些是接口；MPEG-II,H.264，TS流等是信號格式；數字電視信號接口和格式27（簡化的）數字電視系統基本構成模數轉換信源編碼信道編碼數模轉換信源解碼信道解碼信道模擬電視信號輸入模擬電視信號輸出

MatrixCompositeEncoderAtoDConvSerializerRGB270MHzYR-YB-Y6.75MHz

SampleRateforB-Y

andR-Y13.5MHz

Sample

RateforYSerializerClockX10ITU-RBT.601-2

SerialDigital

Component

270Mb/secYR-YB-Y10BitsParallelITU-RBT.601-2

ParallelDigitalComponent

27MB/secSerialDigitalComposite

143Mb/sec(NTSC)177Mb/sec(PAL)ParallelDigitalComposite

PAL=17.7MHz

NTSC=14.3MHzMultiplexed27MB/sec

B-Y/Y/R-Y/Y/B-Y/Y

10BitsParallel4Fsc

(PAL=17.7MHz)

(NTSC=14.3MHz)Component

AnalogVideo

(RGB)Analog

Composite

Video

(PAL/NTSC)MPEG2

Program

EncoderDVD

DigitalVersatile

(Video)DiskAtoD

ConvAudioColorDifference

Component

AnalogVideo

(Y,B-Y,R-Y)MPEG2

Protocol

TransportStreamTransmission

Channel

TxTransmission

Channel

RxMPEG2

Program

DecoderMPEG2

Protocol

TransportStreamTransmissionChannelAnalysisSDH,ATM,SONETorModulatedRFSignals.MPEG2

Protocol

AnalysisPicture

Quality

AnalysisITU-RBT.601-2SerialDigital

Component270Mb/secMPEG2

Protocol

ProgramStreamDataDataAnalogComposite

Video(PAL/NTSC)AtoD

ConvAtoD

Conv數字電視系統基本構成的例子模擬分量模擬復合數字復合數字分量MPEGSDI信號SDI標清電視信號是數字信號，數字信號特點是“1”、“0”兩個值的信號信號失真不累加它便于和計算機共同使用使設備多功能化、自動化便于實現數字壓縮、編碼，顯出數字化優越性使系統多功能化，一機多用、三網合一SDI信號的產生：30取樣、量化和編碼：601

取樣

0 1 2 3

0 1 2 3

0 1 2 3

0 1 2 3 linenlinen+263linen+1linen+2644:2:2取樣RecommendationITU-RBT.601(CCIRRecommendation601)“4”=13.5MHz“2”=6.75MHzCbYCrYCbYCrY場消隱有效視頻720有效行樣點x576行31取樣、量化和編碼：（625/50掃描的4：2：2參數）每行總的樣點數Y：864CB：432CR：432總樣點數：1728每個有效行樣點數Y：720CB：360CR：360總樣點數：1440抽樣結構正交行、場、幀內，每行的CB、CR樣點位置與Y的奇數樣點位置一致抽樣頻率Y：864fH=13.5MHzCB和CR：432fH=6.75MHz32數字視頻壓縮的必要性HDTV1920×1080顯示格式數字化后傳輸速率995Mb/SSDTV復合編碼135Mb/S

分量編碼4：2：2216Mb/S傳輸：HDTV需1Gb/S信道

SDTV需1～2個155Mb/S信道可見，無論對于傳輸還是廣播，碼率壓縮都是絕對必要的。為什么信源要壓縮編碼？編碼器傳輸帶寬要求100Mhz左右傳輸帶寬只要求3Mhz左右4:2:2編碼、8bit量化未壓縮SDTV信號從傳輸角度上考慮需要進行電視信號壓縮解碼器為什么信源要壓縮編碼

編碼器從存儲角度上考慮需要進行電視信號壓縮解碼器10分鐘要求130Gb存儲容量左右10分鐘只要求4Gb左右4:2:2編碼、8bit量化一幀SDTV圖像數據量8.6Mb編碼的基本概念-碼有多少種？編碼的本質是“算法”；按用途分：信源編碼和信道編碼、加密用的編碼等等；信源編碼的目的是壓縮；信道編碼的目的是抗干擾；按性質分：無失真編碼和有失真編碼、按對象分：音頻、視頻、數據；碼流為什么能夠壓縮？因為圖像里有冗余，即不必要的部分；利用事件的統計特性與統計冗余度的壓縮；利用人眼的視覺特性與視覺冗余度的壓縮；碼流為什么能夠壓縮(續)冗余就是多余的東西，它和相關性有關；電視畫面有時間相關性和空間相關性；電視圖象中相繼各幀對應象素點的值往往相近或相同，具有時間相關性，找出這些相關性就可以減小信息量，從而實現與時間有關的壓縮。一幅圖象相鄰各點的取值往往相近或相同，具有空間相關性，找出這些相關性就可以減少信息量，從而實現與空間有關的壓縮。

圖像數據壓縮原理的例子幀內相鄰點的相關性幀間相鄰點的相關性圖像數據壓縮原理的例子×8倍碼流為什么能夠壓縮(續)對經常出現的數據用短碼組表，對不經常出現的數據用長碼組表示，則最終用于表示這一串數據的總碼位就減少了。從而實現與統計冗余有關的壓縮。莫爾斯電報就是典型的例子：最常用的e和t分別用一點、一劃表示，出現率很低的q則用.___表示；碼流為什么能夠壓縮(續)

人眼的視覺特性：對亮度信號比對色度信號敏感；對低頻信號比對高頻信號敏感；對靜止圖象比對運動圖象敏感；對圖象中水平和垂直線條比對斜線條敏感；

包含在色度信號、圖象高頻信號和運動圖象中的一些數據并不能對增加圖象相對于人眼清晰度作出貢獻，而被認為是多余的數據，這就是視覺冗余度。

壓縮視覺冗余度就是去掉那些相對人眼而言是看不到的或者可有可無的圖象數據。基本的壓縮編碼技術

無論哪種標準，實際都采用了多種壓縮技術；壓縮技術類型多（見下表），原理各不相同；注意區分兩大類方法：無損壓縮：又叫冗余度壓縮技術，無損傷壓縮技術。它們無失真，數學上可逆。即它是可還原的，這類編碼稱為熵編碼。有損壓縮：又叫信息量壓縮技術，有損傷壓縮技術。它們有失真，數學上不可逆。即它是不可還原的。圖像壓縮編碼經典方法第二代方法幀內壓縮幀間壓縮統計編碼預測編碼變換其它運動補償霍夫曼編碼算術編碼線性碼對數嗎差分脈沖編碼調制增量調制正（余）弦變換方波變換基于特征矢量的變換內插法矢量量化法游程編碼法方塊編碼法運動補償內插法位移估值法三維線框模型（模型法分形用于圖像壓縮編碼小波變換用于圖像壓縮編碼神經網絡用于圖像壓縮編碼基本壓縮編碼方法之一

預測編碼例1——差分脈沖編碼調（DPCM）DPCM不直接傳送圖象樣值本身，而是對實際樣值與它的一個預測值之間的差值進行再次量化、編碼。這種方法可消除圖象信號的空間相關冗余（幀內預測）和時間相關冗余（幀間預測）。利用象素的相關性還可進一步減小差值。DPCM系統原理圖DPCM系統原理框圖+量化器編碼器預測器+解碼器預測器信道+輸入XN輸出X'NeN

e’N+-X'NE’N++++X''N(X''N

：是通過預測公式從DPCM的輸入XN和已傳出去的幾個鄰近樣值計算出來的。)X''N

+

+++基本壓縮編碼方法之二

離散余弦變換（DCT）

DCT(DiscreteCosineTransform)是數碼率壓縮的一種常用的變換編碼方法。DCT是先將整體圖像分成NN像素塊，然后對NN像素塊逐一進行DCT變換。由于多數圖像高頻分量較少，相應圖像高頻分量的系數經常為零，加之人眼對高頻成分的失真不太敏感，所以可用更粗的量化。因此傳送變換系數的數碼率，要大大小于傳送像素所用的數碼率。到達接收端后通過反離散余弦變換回到樣值。雖有失真，但人眼是可以接受的。

（DCT來源于傅里葉變換，只不過在電腦時代才可以用于圖像處理）DCT系數Y0：(0~2407)

Y1-7：(-1024~1023××××××××+y0y1y2y3y4y5y6y7恢復成的圖像信號(0~255)DCT系數Y0、Y1-7

與各像元信號相乘后恢復原圖像信號

水平一行數據的變換示意圖F2.0F4.0F5.0原始圖像信號

(0~255)圖像信號分解為各種余弦成分DCT基底直流成分低頻成分高頻成分F0.0F1.0F3.0F6.0F7.0運動物體的幀間位移運動位移的處理基本壓縮編碼方法之三

霍夫曼（Hoffman）編碼霍夫曼(Hoffman)編碼(屬于統計編碼)是可變字長編碼(VLC:Variable-LengthCoding)的一種，相當于對概率大的符號給短碼，對概率小的符號給長碼。附圖是霍夫曼編碼的具體方法：

1）先按出現的概率大小排隊，把兩個最小的概率相加，作為新的概率和剩余的概率重新排隊。

2）再把最小的兩個概率相加，再重新排隊，直到最后變成1。

3）每次相加時都將“0”和“1”賦與相加的兩個概率，讀出時由該符號開始一直走到最后的“1”，將路線上所遇到的“0”和“1”按最低位到最高位的順序排好，就是該符號的霍夫曼編碼。霍夫曼編碼有一個好處，就是任何短碼都不會是長碼的起始部分，也就是不會出現一對像011和01101這樣的碼組。這樣就可以把各碼字直接相連而不需要增加其它形式的同步間隔。霍夫曼編碼既然屬于統計編碼，它要求事先知道各信源符號出現的概率，否則編碼的效率會明顯下降。

游程長度編碼（RunlengthEncoding）

游程編碼(RLC)是一種十分簡單的壓縮方法，它將數據流中連續出現的字符用單一的記號來表示。例如，字符串5310000000000110000000012000000000000可以壓縮為5310-10110-08120-12，其中，“-”后面兩個數字是“-”前面數字的連續個數。通常，DCT系數量化之后，都采用之字形方式讀出。在用之字形讀出方式情況下，出現連零的機會較多，尤其在最后，如果都是零，在讀到最后一個數后只要給出“塊結束”（EOB）碼，就可以結束輸出，從而節省很多碼率。游程編碼的壓縮率不高，但編碼、解碼的速度快，仍被得到廣泛的應用，特別是在變換編碼后再進行游程編碼，有很好的效果。小波變換編碼小波是什么？傅里葉變換的“基底”是正弦波；傅里葉變換有缺點和限制；用其他的“波”做基底行不行？小波（Wavelet）由此產生，而且解決了傅里葉變換的不足；小波的基本概念——什么是小波信號的時域表示和頻域表示只適用于平穩信號，對于非平穩信號，在時間域各種時間統計量會隨著時間的變化而變化，失去統計意義；而在頻率域，由于非平穩信號頻譜結構隨時間的變化而變化導致譜值失去意義小波的基本概念——什么是小波時頻表示主要目的在于實現對非平穩信號的分析，同樣的可以應用于平穩信號的分析小波的基本概念——什么是小波為什么選擇小波小波提供了一種非平穩信號的時間-尺度分析手段，不同于傅里葉變換方法以及改進了的傅里葉變換方法，具有更為明顯的優勢。小波的基本概念——什么是小波小波有多種小波的發展歷史1807:JosephFourier——FT，只有頻率分辨率而沒有時間分辨率1909:AlfredHaar——發現了Haar小波1945:Gabor——STFT1980：Morlet——Morlet小波，并分別與20世紀70年代提出了小波變換的概念，20世紀80年代開發出了連續小波變換CWT（continuouswavelettransform）1986：Y.Meyer——提出了第一個正交小波Meyer小波1988：StephaneMallat——Mallat快速算法（塔式分解和重構算法）小波的發展歷史1988：InridDaubechies作為小波的創始人，揭示了小波變換和濾波器組(filterbanks)之間的內在關系，使離散小波分析變成為現實RonaldCoifman和VictorWickerhauser等著名科學家在把小波理論引入到工程應用方面做出了極其重要貢獻在信號處理領域中，自從InridDaubechies完善了小波變換的數學理論和StephaneMallat構造了小波分解和重構的快速算法后，小波變換在各個工程領域中得到了廣泛的應用，典型的如語音信號處理、醫學信號處理、圖像信息處理等小波標準分解流程示意非標準分解是指使用一維小波交替地對每一行和每一列像素值進行變換。首先對圖像的每一行計算像素對的均值和差值，然后對每一列計算像素對的均值和差值。這樣得到的變換結果只有1/4的像素包含均值，再對這1/4的均值重復計算行和列的均值和差值，依此類推。非標準分解的過程如下:非標準分解非標準分解流程示意分形變換編碼分形(Fractal)是幾何學里的一個分支，對象是“自相似”的幾何圖形；什么是自相似？如下面的例子：分形幾何的歷史萌芽期：十九世紀末，二十世紀初；

當時推出了Cantor集，Weierstrass函數等。形成期：二十世紀六、七十年代；

Mandelbrot的大量工作.

1.1967年，“Science”雜志提出,英國的海岸線究竟有多長？

2.1975年，《分形對象：形，機遇和維數》一書出版；

分形(fractal)這個詞源于這本書.它是從拉丁語“fractus”派生出來的，意思是“不規則的或者斷裂的”。分形幾何的歷史(續)發展期：二十世紀八十年代至現今：

1.Hutchinson,1981,分形與自相似.

給出了自相似集合的數學理論基礎.

2.Mandelbrot,1982,《自然界的分形幾何》

3.Barnsley,1988,《Fractaleverywhere》

4.Falconer,1990,《分形幾何——數學基礎及其應用》.分形幾何的應用圖像，數據壓縮方面的研究。如：對某一個靜態場景的分形壓縮。

（壓縮比可達近萬倍）自然景物的模擬如：雪花，海岸線，分形山，分形樹葉分形生長模型。對某一個靜態場景的分形壓縮原圖分形壓縮得到的圖形一些分形圖片:信源編碼信源編碼的目的：壓縮帶寬（碼率）；信源編碼的手段(方法)很多，不一定全部都用上，需要考慮效率和計算量；不同的信源編碼標準差別在于方法的數量不同，因而效率不同、碼流的結構也不同；但它們的基本方法大同小異。關于視音頻壓縮編碼標準為什么要有標準？簡單的歷史：MPEG-1、JPEG、MPEG-2、MPEG-4、MPEG-7、H.261、H.263、H.264、AVS、HEVC/AVC；MPEG-2編碼的基本原理編碼實際上分硬件和軟件兩部分；初期是以通用硬件加軟件；隨著技術的發展，專用硬件的比例逐步增加；既要了解方框圖，也要了解碼流的結構；編碼的程序十分專業，需要專門學習。MPEG-2編碼器方框圖MPEG-2中的碼流MPEG-2的結構可分為壓縮層和系統層。一路節目的視頻、音頻及其它輔助數據經過數字化后，通過壓縮層完成信源壓縮編碼，分別形成視頻的基本流ES(ElementaryStream)、音頻的基本流和其它輔助數據的基本流。緊接著，系統層將不同的基本流分別加包頭打包（分組）為PES(PacketizedES，打包基本流)包。PES又稱為分組基本碼流。然后，多個PES被復接成一個節目碼流(PS)和一個傳輸碼流(TS)視頻碼流的結構數字電視碼流的多個層次ES：基本碼流PES：打包的基本碼流PS:節目流TS：傳輸流MPEG-2中的碼流層次視頻ES1音頻ES1數據流1視頻ES2音頻ES2數據流2打包打包打包打包視頻PES1音頻PES1視頻PES2音頻PES2節目復用PS流1傳輸復用TS流基本碼流（ES）視頻信號壓縮到1Mbit/s(MPEG-1)或2～6Mbit/s(MPEG-2)；音頻信號壓縮到100～400kbit/s；壓縮后的視音頻信號稱作ES(elementarystream)流，包括視頻流和音頻流；一路節目的視頻、音頻及其它輔助數據經過數字化后，通過壓縮層完成信源壓縮編碼，形成基本流ES(ElementaryStream)、包括視頻的、音頻的和其它輔助數據的基本流。

ES的結構和內容根據各種數據的編碼格式而不同。PES流壓縮后所有ES流被打成不同長度的包，叫做PES(packetizedelementarystreams)。根據不同時刻視音頻內容的不同，壓縮比也時刻變化，就需要有不同長度的數據包。每個視頻包有一個或幾個壓縮視頻幀每個音頻包有一個或多個壓縮音頻信號段PES流所有ES流首先被打包成不同長度的PES包，通常為64kbytes（字節）。開頭為6字節的PES頭：前3個字節是起始碼前綴000001，用于表明一個PES包的開始。第4個字節是起始碼標志，說明起始碼種類，表明凈負荷數據(payload)中的是視頻、音頻還是數據流。后兩個字節是包長度，說明后面還有多少字節。如果長度為0，表示PES包大于64kbytes；然后是可選PES頭；最后是實際傳送ES流的凈負荷數據。可選PES頭：PES頭的可選擴展，根據當前傳送ES流的要求設置。由12個比特的11個標志來控制可選PES頭中包含哪些字段，其中有PTS(presentationtimestamps)和DTS(decodingtimestamps)，這對視/音頻同步非常重要。最后可能有填充字節。PES包的結構

由于MPEG只定義了傳輸流，而沒有對編碼器作出規定，設計者可以選擇構建一個將基本碼流轉換為傳輸流的多路復用器。在這種情況下，PES包就不再以可識別的形式存在，而是以邏輯形式存在于傳輸流的有效載荷中。節目碼流（PS）將具有共同時間基準的一個或多個PES組合（復合）而成的單一的數據流稱為節目流（ProgramStream）。PS的形成其一是將視頻ES、音頻ES、其他ES分別打包成視頻PES包、音頻PES包、其他PES包：使每個PES包內只能存在1種性質的ES；每個PES包的第一個AU的包頭可包含PTS和DTS；每個PES包的包頭都有用于區別不同性質ES的數據流識別碼。這一切，使解復用和不同ES之間同步重放成為可能。其二是通過PS復用器將PES包復用成PS包，即將每個PES包再細分為更小的PS包。PS包頭含有從數字存儲媒介（DSM-DigitalstorageMedium）進入系統解碼器各個字節的解碼專用時標，即預定到達時間表，它是時鐘調整和緩存器管理的參數。

PS包長度比較長且可變，適用于無誤碼環境，適合于節目信息的軟件處理及交互多媒體應用。但是，PS包越長，同步越困難；在丟包時數據的重新組成，也越困難。因此PS用于存儲（磁盤、磁帶等）、演播室CD-I、MPEG-1數據流。PS流的結構TS傳輸層基本原理傳輸流TS：將具有共同時間基準或具有獨立時間基準的一個或多個PES組合而成的單一的數據流稱為傳輸流（TransportStream）。傳輸流是許多種PES包的多路復用。TS流的結構header包含了對包傳輸過程非常重要的信息：同步字節:固定值47hex，在TS流中的間隔也固定。碼流中其他位置也可能出現47hex，因此同步字節利用固定數值和固定間隔兩方面聯合實現同步。解碼器在接收到5個TS包后開始同步。同步字節是作為解碼器識別用的，從而可對包頭和有效載荷進行串并轉換傳輸差錯標志:由解調器在傳輸信道末端設置,在傳輸層之上的錯誤校正層中，如果原始誤碼率(BER)太高而無法校正時，通過它的設置可以指示傳輸流包中可能含有錯誤13bit的PID(packetidentifier):描述該包中payload的內容以及該包屬于哪個ES流。有時TS包的頭長度必須大于4個byte：包頭擴展到payload中，payload長度相應縮短，但總包長度仍是188bytes。擴展的包頭稱作“adaptationfield”。在4bytes的包頭中由Adaptationcontrolbits標志是否有adaptationfield。除了同步字節、傳輸誤碼標識和PID以外，TS頭還包括：PayloadUnitStartIndicator一個比特來標記一個payload的開始如果該比特為1，表示該TS包是一個新payload的開始，該TS包包含了視頻或音頻PES包和PES頭的開始，或者是表的開始，此時TS包的payload第一個字節為tableID。TransportPriority一個比特，表示該TS包比其他相同PID的TS包的優先級更高。除了同步字節、傳輸誤碼標識和PID以外，TS頭還包括：TransportScrambingControlBits兩個比特，標記TS包的payload部分是否被混雜。如果兩個比特都為0，表示payload沒有混雜。如果其中有一個比特不為0，表示payload進行了混雜，需要CAT來解擾。AdaptationFieldControlBits兩個比特，標記是否有擴展頭adaptationfield如果兩個比特都為0，表示沒有adaptationfield如果有adaptationfield，payload變短，頭變長，但總包長度保持188字節。ContinuityCounter每個具有相同PID的TS包帶有自身的4bit計數器。從0到15連續計數TS包數目，到15以后重新從0開始。可以發現丟失TS包的情況，并識別碼流錯誤（計數不連續）。允許在改變節目時出現不連續計數，由adaptationfield中的DiscontinuityIndicator來標記。在節目流中，由于音頻和視頻均鎖定于一個公共時鐘，因此可利用其時間標記以重建時間軸。傳輸流攜帶有許多不同的節目，每個節目都可以使用不同的壓縮因子并具有不同的比特率。在傳輸流中就必須含有重建穩定時鐘的附加數據。傳輸流必須為每個節目提供各自獨立的同步。

對TS包再進行復用：先復用同一個節目的TS包，一個節目可包含一個或多個視頻和音頻信號（如不同角度攝像機、不同語言等）。所有節目的所有復用數據流再進行復用形成最終的TS流。MPEG-1，視頻PES包與音頻PES包復用，最大碼率為1.5Mbit/s，用于VCD。MPEG-2的TS包長188字節，包含所有節目的所有數據。由于碼率不同，MPEG-2TS流中不同ES流的包出現頻率不一樣。每個節目有一個編碼器對所有ES流編碼，產生PES，并將PES包打包成TS包。每個節目的碼率通常約2～8Mbit/s，但由于節目內容隨時間變化，視/音頻和數據總碼率可以是固定或變化的，稱為統計復用。所有節目的TS流再復用成一個總的TS流，最大約40Mbit/s。一個TS流中通常有6,8,10甚至20個節目組成。碼率在傳輸過程中可變，但總碼率必須保持不變。一個節目可以包括視頻和音頻，或單純音頻或單純數據，結構靈活可變。TS流中包含一些“表”來描述組成結構，解碼器可以利用這些表來確定TS流的當前結構。兩種比特流的區別節目碼流（PS）用于誤碼比較小的傳輸或存貯媒介，節目碼流可以是固定碼率也可以是可變碼率，其數值在系統時鐘參考(SCR)中定義，為本地應用相對于無誤碼的環境設計；傳輸碼流（TS）用于誤碼比較大的傳輸或存貯媒介，其碼率可以是固定的或不固定的，其數值在節目時鐘參考(PCR)中定義。它是為廣播應用而設計，即TS是為易誤碼的環境和有較高比特差錯概率的噪聲媒質設計的，那里往往需要把幾個信道集合成一束數據。TS用在廣播系統和長距離網絡中。在TS中可以包括多個節目。因此接收TS時首先要解復用。

PS和TS是各針對一類應用而設計的。都以數據包為基礎。PS的包長可變，通常較長；TS的包長固定為188字節，包頭4個字節，184個凈荷字節。并可與ATM適配。TS流、包結構以及同步TS流單一性：TS流的基本組成單位是長度為188字節的TS包。TS流混合性：TS流由多種數據組合而成，一個TS包中的數據可以是視頻數據，音頻數據，填充數據，PSI/SI表格數據…….（唯一的PID對應）。1、TS流：可以將TS流理解為一種單一碼流、混合碼流：視頻數據音頻數據填充數據表格信息視頻數據填充數據表格信息……………………截取某段TS流PID=45PID=45PID=78PID=69PID=0PID=69PID=0TS流、包結構以及同步TS包頭TS包包同步、包ID，等PCR等視頻,音頻or其他數據包頭(4字節)有效載荷區(最高184字節)自適應區(188字節)TS包結構分析：TS包由包頭、有效載荷區組成（有些包中還包括自適應區）。2、這是TS包結構TS流、包結構以及同步TS包必有成分自適應區：包含PCR等信息有效載荷區：TS流、包結構以及同步TS流、包結構以及同步截取某TS包的包頭內容進行分析說明：※Header:sync_byte(1B)：0x47

transport_error_indicator(1b)：0

payload_unit_start_indicator(1b)：1該字段置1表示攜帶的是PSI或PES第一個包transport_priority(1b)：0

PID(13b)：0000001000100（0x44），假設該ID攜帶的是節目1的視頻PES

Transport_scrambling_control(2b)：00，表明該TS包中有效數據未經加擾處理Adaptation_field_control(2b)：11，標識既有adaptation_field又有payload

Continuity_counter(4b):0000，表示該計數器為0，PID相同的包的計數因該是連續的※

Adaptation_field：……..※

PES：........對應二進制碼：01000111010000000100010000110000…….某TS包部分數據：0X47404430……..TS流、包結構以及同步3、怎樣實現解碼端的系統時鐘恢復和視音頻播放同步？MPEG-2規定的系統時鐘頻率為27MHz，傳輸流（TS）中的PCR，PTS/DTS等均為對該共同系統時鐘的采樣值。解碼端捕獲PCR，恢復出本地的STC，作為音視頻同步控制的基準，并依據DTS、PTS時間標簽來安排解碼和顯示時間表，使音視頻分別同步于STC，以實現音視頻之間的同步。標準規定在原始音頻和視頻流中，PTS的間隔不能超過0.7s，而出現在TS包頭的PCR間隔不能超過0.1s(數字電視中是0.04秒)。包同步、包ID，等PCR等某PES包部分數據MPEG-2同步及時間恢復在編碼、傳輸和解碼中占有重要的地位，它不僅直接影響視音頻的解碼質量，還是衡量整個傳輸網絡優劣的重要指標。有效載荷區自適應區包頭PTS/DTSTS流、包結構以及同步編碼端時鐘基準Sample&InsertPCRinAdaptationFieldTransportStreamPCRPCRTransportHeader解碼端時鐘基準Extract&ProcessPCRPCRVideoPESheaderAudioPESheader編碼端時鐘基準Sample&InsertSample&InsertPTSDTSPTS解碼端時鐘基準Extract&ProcessPSI/SI表格信息1、什么是PSI/SI表格，為什么使用這些表格？簡單來看，TS是一個傳輸層的協議棧，它可以承載各種內容的傳輸，比如MPEG，WMV，H264，甚至是IP，那么其中的傳輸規范是如何定義的呢？這個即是PSI（節目特定信息）要做的事情。PSI表格信息用來描述傳送流的組成結構。由上面的章節，我們知道解碼端只要知道了某個TS包的PID，就知道這個包中到底攜帶的是什么數據。而解碼端之所以有這種能力，是因為他先獲得了PSI表格信息。

…………PSI/SI表格信息另外為了適應實際應用和業務發展的需求，又專門制定一個數字視頻廣播的業務信息標準—SI信息，來規范和服務于各業務提供商和設備生產廠家，以促進和保證數字視頻廣播業務在我國健康有序的發展。2、PSI信息由什么組成，各包含哪些內容？

PSI信息由四種類型的表（table）組成。1）節目關聯表(PAT)：針對復用的每一路業務，PAT提供了各個節目號及其相應的節目映射表（PMT）的PID，同時還提供網絡信息表（NIT）的PID。

2）節目映射表(PMT)：PMT表存放的是節目中包含的音頻、視頻、其他數據的PID信息。每一個節目的所有信息必須包含在一個PMT中，但在一個PMT中可以包含多個節目的信息。PMT本身的PID由PAT表格提供。PSI/SI表格信息表格名稱表格對應的ID號（PID）表格描述節目關聯表（PAT）0x00各節目號以及對應PMT的PID，NIT的PID節目映射表（PMT）由PAT表中提供各節目中多種數據流的PID網絡信息表（NIT）由PAT表中提供包含網絡參數條件接受表（CAT）0x01一些加密數據流的PID3）條件接收表(CAT)：條件接收表提供了在復用流中條件接收系統的有關信息。當有EMM時，它還包括了EMM（授權管理信息）所在的PID（CA_PID）。4）網絡信息表(NIT):提供有關物理網絡的信息，比如網絡ID，網絡中所包含的傳輸流ID，所在頻點等信息。NIT表本身的PID由PAT表提供。PSI/SI表格信息3、PSI表格信息詳解（以解碼端工作過程舉例）：1）從TS流中解析出ID為0x00的PAT表格信息。2）由PAT表提供的信息從TS流中解析出各個節目的PMT表格信息。3）確定各節目中包含的視頻數據、音頻數據以及其他數據的PID。4）根據PID從TS流中解析出各節目的視頻、音頻以及其它數據，分別存儲。5）之后再分別完成各節目的音視頻同步解碼與顯示。PSI/SI表格信息4、SI表格由幾部分組成，都包含哪些內容？業務信息（SI）由以下九個表構成。其中SDT表、EIT表和TDT表是必須包括的，其它表是可選的。1）業務描述表(SDT)：描述了包含在特定TS流中的全部業務的相關信息。業務描述表包含了描述系統中業務的數據，例如業務名稱、業務提供者等。2）事件信息表(EIT)：描述了包含在特定業務中的所有事件的相關信息。事件信息表包含了與事件或節目相關的數據，例如事件名稱、始時間、持續時間等。不同的描述符用于不同類型的事件信息的傳輸，例如不同的業務類型。3）時間和日期表(TDT)：時間和日期表給出了與當前的時間和日期相關的信息。由于這些信息頻繁更新，所以需要使用一個單獨的表。PSI/SI表格信息4）業務群關聯表(BAT)5）運行狀態表(RST)6）時間偏移表(TOT)

7）填充表(ST)8）選擇信息表(SIT)9）間斷信息表(DIT)這里就不再對SI信息進行詳解，方式與前面的PSI原理是一樣的。PSI/SI表格信息5、PSI/SI表格信息在TS流中如何傳輸？

PSI/SI表格信息在TS流中以段的形式進行傳輸（也可以理解為對這些表格信息進行了打包）。基本思想是：先將一個表格信息以段的方式進行封裝，最后將段插入到TS包中。因為TS包188字節，所以一般情況下，一個section要分成好幾部分存放在連續的TS包中（如果表格信息過多，需要先進行分組，再分別封裝成好幾個段）。PSI/SI表格信息table_id=0x00表明這個段是屬于PAT表的section_syntax_indicator=1 section_length=0x55該段的長度…version_number=1 current_next_indicator=1 section_number=0x00表明這個段是該PAT表第一個段last_section_number=0x02該PAT表總共分成了多少個段...table_id=0x00表明這個段是屬于PAT表的…section_number=0x01

表明這個段是該PAT表第二個段last_section_number=0x02該PAT表總共分成了多少個段...table_id=0x00表明這個段是屬于PAT表的…section_number=0x02

表明這個段是該PAT表第三個段last_section_number=0x02該PAT表總共分成了多少個段...PAT表的段結構：某TS流中用于傳輸PAT表格信息的段：PSI/SI表格信息6、PSI/SI表格的插入，內容如下：在DVB標準中，規定PSI/SI表格信息需要每隔一段時間就插入到TS流中進行傳輸。這是因為，在接收終端，用戶收看電視節目以及調換頻道是發生在任意時刻的，如果PSI/SI表格信息不定期循環進行發送，解碼端就會因為沒有這些表格信息，無法對TS流中的多個節目的各種數據進行區分和解碼，這樣就會導致用戶收看不到電視節目或者等待很長時間才收看到節目。視頻數據音頻數據填充數據PSI/SI視頻數據填充數據音頻數據填充數據PSI/SI視頻數據填充數據表格信息…PSI/SI……小結傳輸流TS里面定義的內容比較多，建議參考MPEG-2手冊或者書本。如何了解MPEG-2的詳細內容MPEG-2標準文件即ISO/IEC13818，目前有10部分。在MPEG-2標準中，最重要部分是：

ISO/IEC13818-1：系統(傳輸流和節目流)，PES，T-STD緩存器模型和基本PSI表：CAT、PAT、PMT和NIT。ISO/IEC13818-2：視頻編碼。ISO/IEC13818-3：音頻編碼。ISO/IEC13818-4：MPEG測試和一致性。ISO/IEC13818-6：數據廣播和DSMCC。TS流參數的監測由于TS流承載了諸多信息，碼流的及時監測對最終用戶端收看到音視頻的質量息息相關。在碼流出現問題時及時加以處理，是監測TS流的目的。對MPEG-2TS流參數的測試，主要是依據“DVB系統測試指導“文件TR101-290”。下面主要分析TR101-290文檔中關于TS流的3級錯誤檢測。TS流參數監測主要監測的是在實現同步以后能使解碼端連續工作所必須的參數以及需要周期檢測的參數主要監測的是能夠使解碼端實現正確解碼所必須的幾個參數主要監測的是依賴于應用方面的一些參數firstprioritysecondprioritythirdpriorityTS流參數的監測1、第一優先級需要檢測的錯誤TR101-290的第一優先級錯誤包括6種：※同步丟失錯誤※同步字節錯誤※PAT錯誤※連續計數錯誤※PMT錯誤※PID錯誤TS流參數監測1）同步丟失錯誤(TSSyncLoss)：

同步錯誤是衡量傳輸流質量的最重要的指標，只有在獲得了同步之后，才能監測其它的參數。

判斷準則：連續檢測到5個正常同步視為同步，連續檢測到2個以上不正確同步則為同步丟失錯誤。傳輸流失去同步，標志著傳輸過程中會有一部分數據丟失，直接影響解碼后的畫面的質量。2）同步字節錯誤(SyncByteError)：同步字節的標準值為0x47，當同步字節的值為其他數值的時候，認為是同步字節錯誤。同步字節錯誤表明在傳輸過程中部分數據出現錯誤，可能導致接收時出現馬賽克，嚴重時導致解碼器解不出信號。TS流參數監測3）節目關聯表(PAT)錯誤：PAT表在DVB標準中用于指示當前節目及其在數據流中的位置。標識節目關聯表PAT的PID為0x0000，如果PAT丟失或被加密，解碼器將無法搜索到相應節目；如果PAT超時，解碼器工作時間延長。PAT錯誤包括:1）標識PAT的PID沒有至少0.5s出現一次(要求PAT表格信息每500ms以內發送一次)。2）PID為0x0000的table-id不為0x00（要求攜帶PAT表格的TS包中table-id

的值必須等譯0x00）。3）PID為0x0000的包頭中的加擾控制段不為0（如果加擾的話，解碼端將無法解析出PAT信息）。TS流參數監測4）節目映射表(PMT)錯誤：PMT在DVB標準中用于指示每套節目視/音頻數據在傳輸流中的位置。節目映射表PMT標識并指示了組成每路業務流的位置，以及每路業務的節目參考時鐘（PCR）字段的位置。PMT錯誤包括：

1）標識PMT的PID沒有達到至少0.5s出現一次（PMT表格必須每500ms以內發送一次），如果PMT超時，影響解碼器切換節目時間。

2）PMT表的加擾控制段不為0（如果加擾的話，解碼端將無法解析出PMT信息）。TS流參數監測5）連續計數錯誤(ContCountError)：TS包頭中的連續計數是隨著每個具有相同PID的TS包的增加而增加，為解碼器確定正確的解碼順序。對于每一套節目的視/音頻數據包而言，連續計數錯誤是一個很重要的指標。傳輸流連續計數不正確，表明當前傳輸流有丟包、錯包、包重疊等現象，將導致解碼器不能正確解碼，圖像出現馬賽克等現象。6）PID丟失錯誤(PIDMissing)：檢測數據流中各套電視節目的圖像/聲音數據是否正確，即檢查是否每一個PID都有碼流。PID丟失，將導致該套節目無法正確解碼。根據規定，一般音視頻的PID出現周期不能超過5秒。TS流參數監測2、第二優先級需要檢測的錯誤TR101-290的第二優先級共列出幾種錯誤：※傳輸錯誤※CRC錯誤※PCR間隔錯誤※PCR抖動錯誤※PTS錯誤※CAT錯誤TS流參數監測1）數據傳輸錯誤(TransportError)：TS包頭中的傳輸包錯誤指示為“1”，表示在相關的傳輸包中至少有1個不可糾正的錯誤位，只有在錯誤被糾正之后，該位才能被重新置0。而一旦有傳輸包出錯，就不再從錯誤包中得出其他錯誤指示。

2）循環冗余校驗錯誤(CRC)：節目專用信息(PSI)和服務信息(SI)出現錯誤，可以由CRC計算出來，以指明該包是否可用。如果出錯將不再從出現錯誤的表中得出其他錯誤信息。PAT、PMT出現連續錯誤，將影響解碼器對某一節目的正確解碼。TS流參數監測3）節目參考時鐘間隔錯誤(PCRDiscont)：PCR用于恢復27MHz系統時鐘，PCR間隔錯誤，將導致接收端的時鐘抖動或漂移，影響畫面顯示時間。PCR間隔指兩個連續的PCR之間最大的間隔時間，通常要求同一節目里兩個連續PCR的時間間隔不能超過100ms。在數字電視廣播應用中，PCR的時間間隔應不大于40ms。4）節目參考時鐘抖動錯誤(PCRJitterError)：PCR的錯誤范圍是由允許偏離正確PCR值的最大值確定的，稱為PCR精度，PCR的精度必須高于500ns或PCR抖動量不得大于±500ns，PCR抖動過大，將影響接收端系統時鐘的正確恢復，解碼時會出現馬賽克現象，嚴重時不能正常顯示圖像。TS流參數監測5）播出時間標記錯誤(PTS)

在DVB標準中規定PTS每700ms傳輸一次，PTS傳輸超時將影響圖像正確顯示。PTS只有在TS未加擾時方能接收。6）CAT錯誤

CAT表指出了授權管理信息EMM包的PID并控制接收機的正確接收，如果CAT表不正確，就不能正確接收加密節目。CAT錯誤包括：1）在PID為0x0001上出現帶有table-id不等于0x01的情形（即要求攜帶CAT表信息的TS包中的table-id的值必須等于0x01）。2）PID為0x0001帶有的加擾字段的不為0x00（即攜帶CAT表的TS包不能加擾，如果加擾，解碼端將無法解析出CAT信息）。TS流參數監測3、第三優先級需要檢測的錯誤第三級錯誤共有10種錯誤，包括：NIT錯誤、SI重復率錯誤、緩沖器錯誤、非指定PID錯誤、SDT錯誤、EIT錯誤、RST錯誤、TDT錯誤、空緩沖器錯誤及數據延遲錯誤。第三等級錯誤并非是TS傳輸流的致命錯誤，但會影響一些具體應用的正確實施。監測軟件和設備網上有碼流分析軟件可以下載；一些公司生產專用的測試儀器；先進的編碼技術H.