1、 信道與信道容量信道與信道容量 1 1 信道的基本概念信道的基本概念 2 2 離散單個符號信道及其容量離散單個符號信道及其容量 3 3 離散序列信道及其容量離散序列信道及其容量 4 4 連續信道及其容量連續信道及其容量 1 1 信道的基本概念信道的基本概念 信道：信息傳輸的通道信道：信息傳輸的通道 廣義：信源與信宿之間廣義：信源與信宿之間 狹義：中間遠距離傳輸部分狹義：中間遠距離傳輸部分 定義：傳輸信息的載體定義：傳輸信息的載體 任務：以信號方式傳輸信息、存儲信息任務：以信號方式傳輸信息、存儲信息 信道容量信道容量 主要研究主要研究 理論上能夠傳輸的最大信息量理論上能夠傳輸的最大信息量 2 信

2、道的分類信道的分類 1.1 用戶數量：單用戶、多用戶用戶數量：單用戶、多用戶 輸入端和輸出端關系：無反饋、有反饋輸入端和輸出端關系：無反饋、有反饋 信道參數與時間的關系：固定參數、時變參數信道參數與時間的關系：固定參數、時變參數 噪聲種類：噪聲種類： 隨機差錯、突發差錯隨機差錯、突發差錯 輸入輸出信號特點：離散、連續、半離散半連續、輸入輸出信號特點：離散、連續、半離散半連續、 波形信道等波形信道等 3 信道參數信道參數 1.2 信道輸入矢量為信道輸入矢量為輸出矢量為輸出矢量為采用條件概率采用條件概率 p ( Y | X ) 來描述信道輸入輸出信號來描述信道輸入輸出信號之之 間統計的依賴關系。間

3、統計的依賴關系。 信道種類信道種類 根據信道是否存在干擾以及有無記憶，將信道根據信道是否存在干擾以及有無記憶，將信道 分為分為 3 大類：大類： (1) 無干擾（無噪聲）信道無干擾（無噪聲）信道 (2) 有干擾無記憶信道有干擾無記憶信道 (3) 有干擾有記憶信道有干擾有記憶信道 (1) 無干擾（無噪聲）信道無干擾（無噪聲）信道 信道的輸出信號信道的輸出信號 Y 與輸入信號與輸入信號 X 之間有確定的之間有確定的 關系關系 : Y = f ( X ) 轉移概率轉移概率: 6 (2) 有干擾無記憶信道有干擾無記憶信道 信道的輸出信號信道的輸出信號 Y 與輸入信號與輸入信號 X 之間沒有確定之間沒有

4、確定 的關系。的關系。 信道無記憶信道無記憶 只需分析單個符號的轉移概率只需分析單個符號的轉移概率 p (yj|xi) 二進制離散信道二進制離散信道 離散無記憶信道離散無記憶信道 離散輸入、連續輸出信道離散輸入、連續輸出信道 波形信道波形信道 7 轉移概率滿足轉移概率滿足: 二進制離散信道二進制離散信道 信道轉移概率信道轉移概率 p (yj|xi) ： 無錯誤傳輸的概率無錯誤傳輸的概率 二進制對稱信道（二進制對稱信道（ BSC ） 8 傳輸發生錯誤的概率傳輸發生錯誤的概率 離散無記憶信道離散無記憶信道 (DMC) 9 轉移概率矩陣轉移概率矩陣 轉移概率矩陣的每一行元素之和為轉移概率矩陣的每一行

5、元素之和為1 對任意對任意 j 0, 1, , m ，由全概率公式，由全概率公式有有 : 10 一些DMC信道特例： 二進制離散信道二進制離散信道 BSC 二元刪除信道二元刪除信道 BEC Z型信道 離散輸入、連續輸出信道離散輸入、連續輸出信道 加性高斯白噪聲（加性高斯白噪聲（AWGN）信道）信道 波形信道波形信道 波形信道波形信道 多維連續信道多維連續信道 信道轉移概率密度函數信道轉移概率密度函數 信道轉移概率密度函數信道轉移概率密度函數 = 噪聲概率密度函數噪聲概率密度函數pn(n) 13 (3) 有干擾有記憶信道有干擾有記憶信道 方法：方法： （ 1 ）將記憶很強的）將記憶很強的 L 個

6、符號當作矢量符號，矢量個符號當作矢量符號，矢量符符 號間認為無記憶。號間認為無記憶。 （ 2 ）轉移概率）轉移概率 p ( Y | X ) 看成馬爾可夫鏈的形式看成馬爾可夫鏈的形式 14 3.2 離散單個符號信道及其容量離散單個符號信道及其容量 信息傳輸率信息傳輸率 R 信道中平均每個符號所能傳送的信息量信道中平均每個符號所能傳送的信息量 復習復習 平均互信息平均互信息 I (X ;Y) ：接收到：接收到 Y 后平均每個符后平均每個符 號獲得的關于號獲得的關于 X 的信息量。的信息量。 信道的信息傳輸率就是平均互信息信道的信息傳輸率就是平均互信息 15 信息傳輸速率信息傳輸速率 Rt 信道在單

7、位時間內平均傳輸的信息量信道在單位時間內平均傳輸的信息量 Rt = R/t = I ( X ; Y )/t bit / s t 為平均傳送一個為平均傳送一個 符號所需的時間符號所需的時間 信道容量信道容量 C 信道所能傳送的最大信息量，亦即最大的信息傳輸率信道所能傳送的最大信息量，亦即最大的信息傳輸率 C = max I ( X ; Y ) bit / 符號符號 p(ai) 單位時間的信道容量單位時間的信道容量 Ct 信道最大的信息傳輸速率信道最大的信息傳輸速率 復習復習 平均互信息平均互信息 I ( X ; Y ) 的凸狀性質的凸狀性質 BSC 輸入概率空間輸入概率空間信道矩陣信道矩陣信道信

8、道 輸出熵：輸出熵：條件熵：條件熵：平均互信息量：平均互信息量： 17 當當 p 固定時，固定時，I(X,Y) 是 q 的 型上凸函數， 存在一個極大值 18 說明：說明： 信道容量信道容量是信道本身的特性，與信源無關；是信道本身的特性，與信源無關； 信道容量是信息傳輸率信道容量是信息傳輸率 R 的上限，定量描述的上限，定量描述 了信道信息的最大通過能力；了信道信息的最大通過能力； 不是所有的信源傳輸符號時都可以達到這個不是所有的信源傳輸符號時都可以達到這個 傳輸速率，使信道達到最大傳輸率的輸入概率傳輸速率，使信道達到最大傳輸率的輸入概率 分布稱為分布稱為最佳輸入分布最佳輸入分布。 19 2.

9、1 無干擾離散信道 信道輸入輸出無噪 ：1個輸入只對應 1個輸出，噪聲熵 H(Y|X)=0 無損 ：1個輸出只對應 1個輸入，疑義度 H(X|Y)=0 X 、 Y 一一對應 ( n = m ) 無噪無損信道 1 )無噪無損信道無噪無損信道 H ( Y|X ) = H ( X|Y ) = 0 p ( a i ) 多個輸入變成一個輸出多個輸入變成一個輸出 ( n m ) 2 )噪聲熵噪聲熵 H ( Y | X ) = 0 0 ? 0 ? 0 ? 0 ? 損失熵損失熵 H ( X | Y ) 0 ? ? 0 ? 0 ? ? ? I ( X ; Y ) = H ( Y ) H ( X ) 1 ? 1

10、? 1 ? 1 ? ? ? C = max I ( X ; Y ) = max H ( Y ) = log m p ( a i ) 21 無噪有損信道無噪有損信道 一個輸入對應多個輸出一個輸入對應多個輸出 ( n m ) 3 )噪聲熵噪聲熵 H ( Y | X ) 0 損失熵損失熵 H ( X | Y ) = 0 I ( X ; Y ) = H ( X ) 0 條件的條件的 i I ( a i ; Y ) C 對于所有滿足對于所有滿足 p ( a i ) = 0 條件的條件的 i 當信道平均互信息當信道平均互信息 I ( X ; Y ) 達到信道容量時，輸達到信道容量時，輸 入符號概率集入符號

11、概率集 p(ai) 中每一個符號中每一個符號ai對輸出端對輸出端Y 提供提供 相同的互信息，只是概率為零的符號除外。相同的互信息，只是概率為零的符號除外。 一般情況下，最佳分布不一定是唯一的，只須一般情況下，最佳分布不一定是唯一的，只須 滿足上述結論，并使互信息最大即可。滿足上述結論，并使互信息最大即可。 37 信道容量計算：對所有可能的輸入概率分布信道容量計算：對所有可能的輸入概率分布 P(ai)求求 該信道平均互信息該信道平均互信息 I(X;Y)的極大值。的極大值。 由于由于 I (X;Y) 是是 P (ai)的的型凸函數型凸函數, 所以極大值一定所以極大值一定 存在。存在。 n 個變量滿

12、足概率存在條件：個變量滿足概率存在條件：P(ai) 1 。 計算：拉格朗日乘數法則計算該條件極值計算：拉格朗日乘數法則計算該條件極值 m = n ，信道矩陣為非奇異陣，信道矩陣為非奇異陣 3 離散序列信道及其容量離散序列信道及其容量 無記憶離散序列信道無記憶離散序列信道 信道轉移概率信道轉移概率 進一步信道是平穩的進一步信道是平穩的 40 僅與當前輸入有關僅與當前輸入有關擴展信道擴展信道 如果對離散單符號信道進行如果對離散單符號信道進行 L 次擴展，就形成了次擴展，就形成了 L 次離散無記憶序列信道次離散無記憶序列信道 - 離散無記憶離散無記憶 L 次擴展信道次擴展信道 例：例： BSC 的二

13、次擴展信道的二次擴展信道 2次擴展信道的信道容量：次擴展信道的信道容量： 若若 p 0.1 ，則，則 C2 20.938 1.062 比特比特 / 序列序列 C1 = 0.531 bit/ 序列序列 獨立并聯信道獨立并聯信道 將將 L 個相互獨立的信道進行并聯，每個個相互獨立的信道進行并聯，每個 信道的輸出信道的輸出 Yl 只與本信道的輸入只與本信道的輸入 Xl 有關有關 序列的轉移概率：序列的轉移概率： 獨立并聯信道的信道容量不大于各個信道的信獨立并聯信道的信道容量不大于各個信道的信 道容量之和。只有當輸入符號相互獨立時，且達到道容量之和。只有當輸入符號相互獨立時，且達到 各自最佳分布時，容

14、量最大，為各自容量之和。各自最佳分布時，容量最大，為各自容量之和。 44 4 連續信道及其容量連續信道及其容量 （加性噪聲）（加性噪聲） 4.1 連續單符號加性信道連續單符號加性信道 輸入輸入 x 與干擾與干擾 n 相互無關相互無關 限功率最大熵定理限功率最大熵定理 只有只有 Y 為為正態分布時，其熵最大正態分布時，其熵最大 45 信道輸入信道輸入 X 是均值為零、方差為是均值為零、方差為 S 的高斯分布隨機的高斯分布隨機變變 量時，信息傳輸率達到最大值：量時，信息傳輸率達到最大值： 信噪比信噪比 SNR 對于加性均值為零，平均功率為對于加性均值為零，平均功率為 2的的非高斯噪聲非高斯噪聲信道

15、信道 4.2 多維無記憶加性連續信道多維無記憶加性連續信道 多維無記憶多維無記憶高斯加性信道可等價成高斯加性信道可等價成 L 個個獨立的獨立的并聯高并聯高 斯斯連續單符號加性信道連續單符號加性信道 47 當且僅當輸入隨機矢量當且僅當輸入隨機矢量 X 中各分量統計獨立，且是均值中各分量統計獨立，且是均值 為零、方差為為零、方差為 P l 的高斯變量時，才能達到此信道容量的高斯變量時，才能達到此信道容量 噪聲均值為零、方差相同噪聲均值為零、方差相同 噪聲均值為零、方差不同，輸入總平均功率受限噪聲均值為零、方差不同，輸入總平均功率受限 48 4.3 限時限頻限功率加性高斯白噪聲信道限時限頻限功率加性

16、高斯白噪聲信道 波形信道的平均互信息：波形信道的平均互信息： 限頻限頻 (W) 高斯白噪聲過程可分解高斯白噪聲過程可分解 L2WtB 維統計獨立維統計獨立 的隨機序列的隨機序列 多維無記憶高斯加性信道多維無記憶高斯加性信道 信道容量：信道容量： 單位時間的信道容量：單位時間的信道容量： N0/2 功率譜密度功率譜密度 N0W 噪聲功率噪聲功率 W 帶寬帶寬 PS 信號功率信號功率 信噪功率比信噪功率比 SNR PS / N0W 香農公式是加性高斯白噪聲波形信道的信道香農公式是加性高斯白噪聲波形信道的信道 注注 容量，對于非高斯波形信道，由香農公式得容量，對于非高斯波形信道，由香農公式得 到的值

17、是其信道容量的下限值。到的值是其信道容量的下限值。 50 香農公式香農公式香農公式的討論香農公式的討論 帶寬一定時，信噪比與信道帶寬一定時，信噪比與信道 1 容量成對數關系容量成對數關系 當輸入信號功率一定，增加帶當輸入信號功率一定，增加帶 2 寬，容量可以增加寬，容量可以增加 即使帶寬無限，信即使帶寬無限，信 道容量仍是有限道容量仍是有限 當當 C=1bit / s ， PS/N0 =-1.6dB ，即當帶寬不受限制時，即當帶寬不受限制時， 傳送傳送 1 比特信息，信噪比最低只需比特信息，信噪比最低只需 -1.6dB ( 香農限香農限 ) 頻帶利用率：單位頻帶的信息傳輸速率頻帶利用率：單位頻

18、帶的信息傳輸速率 C t 一定時，帶寬一定時，帶寬 W 增大，信噪比增大，信噪比 SNR 可降低，可降低， 3 即兩者是可以互換的。即兩者是可以互換的。 信道容量可以通過系統帶寬與信噪比的互換而保持不變信道容量可以通過系統帶寬與信噪比的互換而保持不變 52 例：如果例：如果SNR=7SNR=7，W=4000HzW=4000Hz，則可得，則可得 C=12C=1210103 3 b/s b/s； 但是，如果但是，如果 NR=15,W=3000HzNR=15,W=3000Hz，則可得同樣，則可得同樣 C C 值。值。 信噪比和帶寬的互換性在通信工程中有很大的用處。信噪比和帶寬的互換性在通信工程中有很大的用處。 例如，在宇宙飛船與地面的通信中，飛船上的發射功例如，在宇宙飛船與地面的通信中，飛船上的發射功 率不可能做得很