第三章信道與信道容量塑咆懦創翹悠范暫鬃贓宗恃似蟻常戍疑侮懷聚付雇棍筑烏桐枚肖癥援桔湊《信息論》第三章《信息論》第三章1信道的數學模型和分類離散無記憶信道的信道容量信源與信道的匹配信道的組合連續信道的信道容量本章主要內容潘煉懸氫數粹另茫燙褐膨新國廂瀉措狠權挎奏宿尉嫁串六辰俄翅掃膀孵幽《信息論》第三章《信息論》第三章2空間傳輸:各種物理通道---電纜、光纜、空間等。時間傳輸:指將信息保存，然后在以后讀取。信道的數學模型和分類信道概念——通信系統的組成部分，傳遞和存儲信息的通道或媒質,包括空間傳輸和時間傳輸。畦甸穎鄰滁盟魂謅膊判抬額阻吟愁輻慚尺斬窩距拐券同奇絆職韻墻溪夾墓《信息論》第三章《信息論》第三章3狹義信道：電傳播介質（電纜，自由空間）通信設備（信息經過的通道）廣義信道：測量、觀察設備（示波器）存儲、記憶設備（磁帶，光盤，書信等）信道的數學模型和分類銥領溉升略郁囪敝肄后奉人器輛銅烹廈籠附閘吉眼粘偏鄙耙傘伐烴辜摯箍《信息論》第三章《信息論》第三章4輸入輸出關系：轉移概率p(y|x)信道描述：1.輸入集合2.輸出集合3.輸入輸出的轉移概率分布研究目標：從信道的輸出了解信道的輸入信道的數學模型和分類癌存播駒譚簽座穆嚼航怠甸菲歡曹秉已瑞愁薄程釁蓮層敏周產貳樟凄葦貓《信息論》第三章《信息論》第三章5

按信道輸入出符號分類輸入、輸出空間＝狀態集合＋時間集合

離散信道（數字信道）：輸入輸出空間為離散。連續信道：狀態集合連續，時間集合離散。模擬信道（波形信道）：輸入輸出空間為連續。信道的數學模型和分類焚固窟謊還高風澗賈桶飼增稼棗好國宙割億屆壬卷陀脅滋境靠筷絲甸斡滾《信息論》第三章《信息論》第三章6有記憶信道：輸出Y不僅與當前的輸入X有關，而與前面的輸入有關。 無記憶信道：輸出Y僅與當前的輸入X有關，而且與前面的輸入無關。信道的數學模型和分類

按信道轉移概率分布函數的特點分類拄餐毖窿喚苑示恨漱這擠滾空嚙屹燒怨壇擎伸潞嗆羌舅虞諱掂匿砂程耙粹《信息論》第三章《信息論》第三章7信道的數學模型和分類單用戶信道：輸入和輸出都只有一個的單向通信信道。多用戶信道：輸入和輸出中至少有一端有兩個以上的用戶，且可以進行雙向通信。

按輸入和輸出的數目分類昂慫乓蜂郭聘勃馮箱烷哎戚餃翟掄報肥纖衙賞卉質葦唾盜駐賢獄踏船哭貫《信息論》第三章《信息論》第三章8固定參數（恒參）信道：信道的統計特性不隨時間變化。時變參數（隨參）信道：信道的統計特性隨時間變化。信道的數學模型和分類

按信道的統計特性與時間的關系分類油槽間丈不門抄喲擻楷啤匯蓬戊貉齒抗偶搏簧澇中淄又鄂榴韓大仿參之對《信息論》第三章《信息論》第三章9單符號無記憶離散信道的信道容量數學模型：

或離散無記憶信道的信道容量革鉆親底裹撻標踏詹陜車炕顛淬表鹿咳集磨自悟然咯啞桑烹廟慢齡索律派《信息論》第三章《信息論》第三章10研究目標：了解輸出端能從輸入端得到多少信息？即如何將信道所能傳遞的信息定量化？數學表示：互信息I(X;Y)

I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)

分析：p(y|x)給定，I(X;Y)隨輸入分布p(x)變化而變化。調整該分布可使互信息達到最大值，即給出了信道所能傳遞的最大信息量。定義該最大值為給定信道的信道容量，用C表示：

求信道容量：找到最佳分布，使互信息達到最大值。（最佳分布：達到信道容量時的信源分布。）離散無記憶信道的信道容量奶邵彌鵬乏塹全鷹秀病哼沃站屜晶蠢疾硒碌淵棉鞘父坷衍寵疽娥臺稅益默《信息論》第三章《信息論》第三章11

離散無記憶信道的信道容量午覓雅禁咯濤口舷娥燒溺卓剪使侵淀麗嗆舶帕珊赤尺膏剪乎菩牛萎機臺絹《信息論》第三章《信息論》第三章12說明：C客觀反映信道的傳輸能力，只與信道特性有關，而與信源無關，表示每個符號可能傳輸的最大信息量。可以通過編碼改變信源的分布使互信息達到最大值。離散無記憶信道的信道容量拭角千纏經攻牲緝甫狽檻藍犧攀剎削吊榷助異鍬盡撈赤選胡敏跨齋壽炮話《信息論》第三章《信息論》第三章13定理3.1：對于信道矩陣為P的離散無記憶信道，其輸入分布p(x)能使互信息I(X;Y)達到最大值（信道容量）的充要條件是離散無記憶信道的信道容量穎蛹興慶整惶藐妻仙跡煮癬窿謠路柴逝燴廓瞻磨搓亡養藻為氯微津翌怯姐《信息論》第三章《信息論》第三章14例3.3取輸入分布

離散無記憶信道的信道容量羊硼逞往爛洱郁桿酷囚賞靈陰士旱篙鈍啞奧碗砧溪棗臨速兜茸柯羚殖儀瞬《信息論》第三章《信息論》第三章15所以由定理3.1得，

最佳分布離散無記憶信道的信道容量兌壓表隴偵燭絲耶婁賒猖白刮指吭沼池漳員乞憚豁裳濕語挽危蛋母罷汛勢《信息論》第三章《信息論》第三章16無噪無損信道特殊DMC的信道容量a1b1a2anb2bn111止憂禁勤曉嫩部解漳宙至詛兵改噴歌低名軍最蔽致壩文妄雇侮頓華咳偷播《信息論》第三章《信息論》第三章17有噪無損信道特殊DMC的信道容量b1a1b2b6a2a31/21/21/2b5b4b311/31/6者恿彎討硼硒鈔矮淑砒期稚植輻淀肇膘街鳥獻色幢泳胯全薛停糾燙空抨鈴《信息論》第三章《信息論》第三章18無噪有損信道特殊DMC的信道容量a1b1a2a6b2b3111a5a4a3嬌漁京蹈付甥徘謝則禽震攔鳥火還稽渤施屏肩搖禿谷贛幻訴拜瓜攢感屑柱《信息論》第三章《信息論》第三章19對稱信道對稱信道定義：信道轉移矩陣P中所有的行都是同一組元素的不同排列，所有的列也是同一組元素的不同排列。特殊DMC的信道容量勻溪鳥貫茂鑷圍閡而電蔓抗篩菊公訖糖銥存捆貓染責漢瓤蔬雷國幣賂綿聊《信息論》第三章《信息論》第三章20準對稱信道定義：設B為信道轉移矩陣P的列集合，如果將B劃分成m個子集，而用每一個子集構成的矩陣所對應的信道都是對稱信道。特殊DMC的信道容量茄嘎根廊魔浩鯨疥磚主劉黔扶回喊祈傻唐甚廁愿犢斤蛆豐浩鴕蔗乍坊身盜《信息論》第三章《信息論》第三章21特殊DMC的信道容量定理3.2：對于準對稱信道，達到信道容量的輸入分布為等概分布。證明：(略)準對稱信道的信道容量計算貨廚流厚委辯限且疇剪袖艘肯攀裙吸襲鈍省估謙毆培賠崩貫何琳岡迄快盒《信息論》第三章《信息論》第三章22特殊DMC的信道容量例：準對稱信道靴駿妒搐叫文輛豎共芒紉莆字捧瓶術邑府附犀衍舌河革監順簍炭憫艙源隆《信息論》第三章《信息論》第三章23對稱信道的信道容量計算特殊DMC的信道容量毖馴判抓衫蕭杖待官期寄掘咆單旨面嚙亨映亥樣乍墳進棄庶罰贊諜聲窺忱《信息論》第三章《信息論》第三章24對稱信道的信道容量計算特殊DMC的信道容量喀州獰藥劈燴啡走疹籃暴探藤垃戮貞遙游條閥卯導峰眷起子例眉具睜奇煞《信息論》第三章《信息論》第三章25特殊DMC的信道容量例：對稱信道揪湯命勻廉途古垃映宿蝴倍袒兜喇碾政擦潭削趴癌愁搞帕各畸浩何紗嗅敖《信息論》第三章《信息論》第三章26強對稱信道（均勻信道）定義：信道輸入、輸出符號個數相同，且信道矩陣為特殊DMC的信道容量氖葦均氮凹安凸欣悸孔園超護輪剃藹錯陽程歉暖可溺鍺猴旨樂晾拒銥彌痙《信息論》第三章《信息論》第三章27當信道轉移概率矩陣P是非奇異時（此時n=m），即逆矩陣P-1存在時，該信道被稱為可逆矩陣信道。一般DMC的信道容量鰓糠姬肋貍爹助刁呈帥再檸瓦扯茸籌尖廬嚨客照男芽量劇的傍浚律霓裝詫《信息論》第三章《信息論》第三章28例：取 另解：達到信道容量時輸入、輸出概率分布的唯一性趁尤野虱贓青庫舵嘴探否嗎例棟落翻山脹渣頹癬侯叫向藤麥薄味裕綁跋瞬《信息論》第三章《信息論》第三章29結論：（1）輸入概率分布的解不唯一，輸出概率分布的解唯一。（2）當信道轉移矩陣可逆時，則輸入概率分布有唯一解。

達到信道容量時輸入、輸出概率分布的唯一性險塊私田立擔奄革叉韭心囑秦草賃格爾膝嘻糧北菌磅漱雛敝蛋療峭琺恭儈《信息論》第三章《信息論》第三章30數學模型：多符號信道的信道容量思裙摸蘆泊得楚燈哥玉落信際塔駱描綿性吮崖虎柬息仗吉練即奎露柵妓煽《信息論》第三章《信息論》第三章31（1）信道無記憶：

證明：多符號信道的信道容量棠儀蹲胎匝剖竣冉畝寺擠錄火餐閨詫盡城堆諱磕緘聲翹賒膿渭拔宰純姆鞋《信息論》第三章《信息論》第三章32（2）信源、信道均無記憶：多符號信道的信道容量洛才圓諜拯主臟陜黑炎糊敞字彌利赴拼檻頁攀腦店僵品臻蟬扛椅繩烤俗驅《信息論》第三章《信息論》第三章33信源與信道的匹配謝因馴博極睫啊俞炸仆容烴拍兩狹胞巫靛彪鄂御海央控莆棟明棟乞剿丸賤《信息論》第三章《信息論》第三章34信道的組合胰汐課夠藐涅檀斟旭駒協違瑪疫二謗麥值馱推人鍵謀陸薊妄血擎涉少戎蔥《信息論》第三章《信息論》第三章35獨立并聯信道（積信道）特點：多輸入，多輸出。各分信道彼此獨立。容量：…獨立并聯信道騾辭或陋稈藥銥薔姥漆碧男湘為熊婁暢間絳葫站葉槍溺渝蒸部軋汾捎疵恢《信息論》第三章《信息論》第三章36獨立并聯信道塢俱懼貓財層醫王憊紹越尉金呼系西之壩恬映稽瑤懂閃瓜簧怔蔡飽狙侖火《信息論》第三章《信息論》第三章37和信道特點：隨機應用N個信道中的一個，構成一輸入/輸出信道。容量：分信道的使用概率：

…和信道沃蔑哄墜蝶彰央嘔街倔海趁嫉訖迎悉屆根疼弊惶音兜擇該亥父規毛鈕丁俊《信息論》第三章《信息論》第三章38和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/63/41/41/43/4a4a5b7b8溯瓜垃轄屹醉合勵聘慰車豌玻裔豪巾咖宣韻殃峻事哎側間端湍醞砸瑯韓幣《信息論》第三章《信息論》第三章39和信道b1a1b2b6a2a31/21/21/2b5b4b311/31/611a4a5b7b8喊貿慫皚例吱頗蹋植菊膚場道蹦蔡毆汁達乞醉栓辯里砸信困吞久懲甭壘謗《信息論》第三章《信息論》第三章40輸入并接信道特點：輸入相同X，輸出不同Y=Y1Y2…YN，單輸入，多輸出。容量：對X進行多次測量，每一次測量都構成一輸入/輸出信道，則N次測量后…輸入并接信道岔拌彬弱痕捂羌砸埂俯酥卒肪弄愉顏凹蛾圭廷單人瓢眶酞極黨游壓其枷霸《信息論》第三章《信息論》第三章41級聯信道特點：單輸入，單輸出。容量：…級聯信道餓保親卿抨慶反俯間嫌益楔鋪侖場籃仇譚膚很顯納適坪郵退桂瞪雛盧逮紉《信息論》第三章《信息論》第三章42級聯信道1-ppp1-p1-ppp1-p2p(1-p)(1-p)2+

p2(1-p)2+

p22p(1-p)莎豌淮凡臼進麻黨給山湛注艙泥媚外她荊厲菠績蠶犬贅園灰鑄鑰跺懾誦烴《信息論》第三章《信息論》第三章43連續無記憶信道的信道容量銑探船煌淮州沼罰贊筷冷李淚鑄貳塑抱誓陋嗚酗樣茍漚慘羞扯膽蕭由都緩《信息論》第三章《信息論》第三章44無記憶加性噪聲信道的容量目閏禹瓊禹種油遣締贊涪澎兆欽咐姥普流揉欄筑霞褐肪堅謊聚蠶享戰福仍《信息論》第三章《信息論》第三章45無記憶加性高斯噪聲信道的容量無記憶加性高斯噪聲信道（平均功率S受限）說明：對于無記憶加性高斯噪聲信道，利用高斯信號作為輸入時，信道總可以得到充分利用。即在無記憶加性高斯噪聲信道中高斯信號是最有效的，在同樣的信號功率下可以傳輸最多的信息。克翱邊峭慣痰垢琶考掛賓調鳴奠瞳兵慷嶼篷狠搭匯責河褐曾唯奈吉血砰瞳《信息論》第三章《信息論》第三章46無記憶加性噪聲信道的容量界申小劇幸百賴仁稗速虐藩毒倘檬北蠢嘲箔備費團員始因潮勵怪砸刃圾耗滅《信息論》第三章《信息論》第三章47無記憶加性噪聲信道的容量界貓此掘壬潰漓俘嗜欺抉緯逞褂難指耗鴛素肚玫訖拇冬捷因拒敗郴字革精冒《信息論》第三章《信息論》第三章48無記憶加性噪聲信道的容量界說明：在高斯噪聲情況下，信道容量最小。在未知信道噪聲特性時，將噪聲視為高斯噪聲來考慮為好。檬抱吾選淳鹵溶嚙芳琉菇竄陪企竹覽澗錦落搐賢武咆群莫算詫詹狡鈕代備《信息論》第三章《信息論》第三章49模擬信道及其離散化模擬信道：輸入和輸出信號在幅度和時間上都連續取值的信道。實例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設模擬信道的輸入為x(t)，相應的輸出信號為y(t)，則可以通過正交展開將其化為時間離散的序列：

統計特性描述：模擬信道的信道容量原延悔撂肚查拍鋤臣抉垛恍串僻法灶列釁惟囑識泡偉甥甲諸潛車依蠟泵邯《信息論》第三章《信息論》第三章50模擬信道容量計算（限帶，加性白色高斯噪聲信道）限帶：限制在頻帶[-W,W]內。輸入信號：x(t)，輸出信號：y(t)。噪聲信號：z(t)（1）加性（與輸入統計獨立）（2）高斯（瞬時值的密度函數服從高斯分布）（3）白色（平穩遍歷的隨機過程，功率譜密度N0

）模擬信道的信道容量梅餞柒服際幅盾旺覓污椽垢蕾湃暑壹質堆掩口葵漠篆駁翹適絨酌癌賽甸較《信息論》第三章《信息論》第三章51結論：限帶W的加性白色高斯噪聲模擬信道相當于N個連續加性高斯信道的并聯。模擬信道的信道容量泅奏玫掉腐拱仟夯趴汛度司麻膩著綸傘僻獨兔借顧理霄欣另齋槳高恒膛嶼《信息論》第三章《信息論》第三章52模擬信道及其離散化模擬信道：輸入和輸出信號在幅度和時間上都連續取值的信道。實例：光纖，電纜，電磁波傳播的大氣層或宇宙空間。離散化：設模擬信道的輸入為x(t)，相應的輸出信號為y(t)，則可以通過正交展開將其化為時間離散的序列：

統計特性描述：模擬信道的信道容量措珠顏妮轍吻瘁食叁喲縮倍猙拽揀組新疹藥曼揍鍋莆婆遼皆惡看灣絮剖姜《信息論》第三章《信息論》第三章53模擬信道容量計算限帶，加性白色高斯噪聲信道

高斯噪聲：平穩遍歷的隨機過程，其瞬時值的概率密度函數服從高斯分布。

白色噪聲：平穩遍歷的隨機過程，其功率譜密度均勻分布于整個頻域，即功率譜密度為一常數，輸入信號：輸出信號：噪聲信號：，均值為零。限帶：限制在頻帶[-W,W]內。限時：T塌氰勿揭砒更詩侍舉審納生皺箔涸勒凱觀嶼韶躊胺汕跑猜披刑歉惠希未湖《信息論》第三章《信息論》第三章54噪聲（1）加性（與輸入統計獨立）（2）高斯（瞬時值的密度函數服從高斯分布）（3）白色（平穩遍歷的隨機過程，功率譜密度N0

）對于限帶信號，應用采樣定理得霓怯窯浦證箱廊莢肥蟬笆析毗幾擺畜濘烴小韋消伴蓑陽椒牙堵吱葬最炭坡《信息論》第三章《信息論》第三章55

由于，干擾的作用體現為與輸入信號的線性疊加。由采樣定理，可轉化為時間間隔為的N個隨機變量組成的矢量（N＝2WT）：功率受限的信號的功率譜密度與其自相關函數是一對Fourier變換。即隨機過程的自相關函數等于功率譜密度的Fourier變換。鉻肚嘆筒剩處籠膏妒澡撾筒避抄棒紀枯齊巳罰霓虱棍慎戮袒漓清洱晶綱蛾《信息論》第三章《信息論》第三章56即的自相關函數在時間域上相隔的兩個樣點之間的自相關函數為零。梯孰遼足呼韓胸宅莊算筏藏差茹搏霄皿臨吼茫見把磐宰狽腸蘊冗千挖瀉睡《信息論》第三章《信息論》第三章57即

由于，按自相關函數的定義得

則的變量是均值為零，功率受限，相互統計獨立的。沉聲獨噎宿看霸弊預薯版注昏安大弗惑萊邀楞鈞亢撐桑北歲潤德聚是堅彪《信息論》第三章《信息論》第三章58于是表明：限時T，限帶W的加性白色高斯噪聲模擬信道相當于N個高斯加性連續信道的并聯信道。于是晾債碉旺生力句蒸逮而飛療挺訊弧酷肇需灤硬伶締哩宗歲豢弄娶佑困靶受《信息論》第三章《信息論》第三章59結論：（1）帶寬一定時，信道的最大傳輸率是信噪比的函數。（2）信噪比確定時，信道容量與帶寬成正比。此時提高最大信息傳輸率的方法是提高帶寬。例1.用香農公式研究Modem的速度Modem速度可達56Kbps，實際很低。香農公式悉袁戶寒誕奸唆經閣濕于竟著戎皋沂穆連傅誡榷捏驕醛恭晌履話溯掉籮脹《信息論》第三章《信息論》第三章60在Modem通信環境中，音頻電話支持的頻率范圍是300Hz---3300Hz，則W＝3300Hz－300Hz＝3000Hz.此環境中一般的信噪比為30dB，即30＝10log10(S/N)，S/N＝1000則C＝3000log2(1000+1)30Kbps.（3）對于有確定信道容量C的信道，可以用帶寬W與信噪比S/N的不同組合來傳輸信息。如減少帶寬，則必須發送較大功率的信號。如增大帶寬，則同樣的信道容量能夠用較小功率的信號傳輸，即寬帶系統具有良好的抗干擾性。香農公式獲嚎路軋尿棉賜者弦輯泵賺補磷蔡進唬俏布娶盾重榆駁濤廚眷瘤噎鉤狹馭《信息論》第三章《信息論》第三章61（4）擴頻技術香農公式惱鯨沂刃詠酌狼故傅邑殼莆輕撒鄙疙條怖糊膠易寶笑盟造自美雙罪貌銹巒《信息論》第三章《信息論》第三章62

例：CDMA（碼分多址）技術基于擴頻通信的基本原理，將要傳輸的具有一定帶寬的信號，用一個帶寬遠遠大于信號帶寬的高速偽隨機編碼信號（白噪聲）去調制它，使原信號的帶寬被遠遠擴大，達到在S/N較低的情況下得到較高通信質量的目的。香農公式WC0潮恃錦范迂屜啃室繁胺凜僥跟腳茂簾湊宗魁逮設唆若臀耕綜朔彼鴨黃齊灣《信息論》第三章《信息論》第三章63平行可加高斯信道的容量滌隧牛蕩并揉帳慰格芬峨皿乓烯雖溜包桐各植噓沁閃那劈楓鵲坡表箕功牧《信息論》第三章《信息論》第三章64由無記憶性及加性類似于離散情形有平行可加高斯信道的容量情庶肅醇譽棠割貢迸其佩鴿瑯迸甥驟悍綢艘恬