信道容量C 在信道中最大的信息傳輸速率 單位是比特 信道符號 單位時間的信道容量Ct 若信道平均傳輸一個符號需要t秒鐘 則單位時間的信道容量為Ct實際是信道的最大信息傳輸速率 第三章總結 2020 2 28 1 求信道容量的方法當信道特性p yj xi 固定后 I X Y 隨信源概率分布p xi 的變化而變化 調整p xi 在接收端就能獲得不同的信息量 由平均互信息的性質已知 I X Y 是p xi 的上凸函數 因此總能找到一種概率分布p xi 即某一種信源 使信道所能傳送的信息率為最大 C和Ct都是求平均互信息I X Y 的條件極大值問題 當輸入信源概率分布p xi 調整好以后 C和Ct已與p xi 無關 而僅僅是信道轉移概率的函數 只與信道統計特性有關 信道容量是完全描述信道特性的參量 信道容量是信道能夠傳送的最大信息量 2020 2 28 2 香農公式說明當信道容量一定時 增大信道帶寬 可以降低對信噪功率比的要求 反之 當信道頻帶較窄時 可以通過提高信噪功率比來補償 當信道頻帶無限時 其信道容量與信號功率成正比 2020 2 28 3 信道編碼定理 若有一離散無記憶平穩信道 其容量為C 輸入序列長度為L 只要待傳送的信息率RC時 任何編碼的Pe必大于零 當L Pe 1 信道編碼定理說明 同無失真信源編碼定理類似 信道編碼定理也是一個理想編碼的存在性定理 它指出信道容量是一個臨界值 只要信息傳輸率不超過這個臨界值 信道就可幾乎無失真地把信息傳送過去 否則就會產生失真 2020 2 28 4 習題1 3 1 設信源通過一干擾信道 接收符號為Y y1 y2 信道傳遞概率如下圖所示 求 信源X中事件x1和x2分別含有的信息量 收到消息yj j 1 2 后 獲得的關于xi i 1 2 的信息量 信源X和信源Y的信息熵 信道疑義度H X Y 和噪聲熵H Y X 接收到消息Y后獲得的平均互信息 2020 2 28 5 習題1 解答 互信息可以為正值也可以為負值 負值表明由于噪聲的存在 接收到一個消息后 對另一個消息是否出現的不確定性反而增加了 2020 2 28 6 習題1 解答 2020 2 28 7 習題2 3 2 設二元對稱信道的傳遞概率為 若P 0 3 4 P 1 1 4 求H X H X Y H Y X 和I X Y 求該信道的信道容量及達到信道容量時的輸入概率分布 2020 2 28 8 習題2 2020 2 28 9 習題2 2020 2 28 10 習題3 3 3設有一批電阻 按阻值分70 是 30 是 按瓦分64 是1 8W 其余是1 4W 現已知阻值的電阻中80 是1 8W 問通過測量阻值可以得到的關于瓦數的平均信息量是多少 解 設隨機變量X表示電阻的瓦數 Y表示電阻的阻值 則其概率分布為 已知 由概率的歸一性 由 得 2020 2 28 11 習題3 2020 2 28 12 2020 2 28 13 2020 2 28 14 2020 2 28 15 2020 2 28 16 2020 2 28 17 2020 2 28 18 2020 2 28 19 3 2020 2 28 20 2020 2 28 21 2020 2 28 22 2020 2 28 23 2020 2 28 24 2020 2 28 25 2020 2 28 26 2020 2 28 27 2020 2 28 28 2020 2 28 29 2020 2 28 30 2020 2 28 31 2020 2 28 32 解 2020 2 28 33 2020 2 28 34 2020 2 28 35 2020 2 28 36 2020 2 28 37 2020 2 28 38 2020 2 28 39 2020 2 28 40 2020 2 28 41 2020 2 28 42 2020 2 28 43 2020 2 28 44 2020 2 28 45 2020 2 28 46 2020 2 28 47 2020 2 28 48 20