




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
第4章離散信道的平均互信息與信道容量教學內容和要求理解單符號離散信道及其模型,掌握其平均互信息,理解其信道容量掌握N×N信道、對稱信道、弱對稱信道的信道容量了解多符號離散信道及其模型,了解其平均互信息與信道容量理解n次擴展信道及其模型,理解其平均互信息與信道容量4.1單符號離散信道的平均互信息發送信道接收噪聲信源信宿信道——傳輸信號的通道,信道中通常引入噪聲狹義信道——信號的傳輸媒介有線信道——電線、電纜、光纜無線信道——電磁空間——地波傳播、天波傳播、視線傳播發轉換媒介收轉換調制解調
調制信道編碼信道廣義信道——包括調制解調、收發轉換裝置的信道調制信道——連續信道編碼信道——離散信道1、單符號離散信道及其模型定義單符號離散信道——對應于單符號離散信源和單符號離散信宿的信道信源的模型——離散型隨機變量X信宿的模型——離散型隨機變量Y隨機變量X的取值xi為信源發出的消息i=1,2,…,N隨機變量Y的取值yj為信宿收到的消息j=1,2,…,M單符號離散信道的模型——XP(Y/X)Y例1例22、單符號離散信道的平均互信息信宿收到消息yj所含的信息——消息yj所對應概率P(yj)對數的負值,用I(yj)表示——受信道污染的信息信道將信源發出消息xi轉移為信宿收到消息yj所含的信息——消息xi消息yj所對應轉移概率P(yj/xi)對數的負值,用I(yj/xi)表示——信道的污染信息①信道關于消息xi、yj的互信息定義信道關于消息xi、yj的互信息——信宿收到消息yj所含信源發出消息xi的互信息——信宿收到消息yj所含的信息I(yj)與信道將信源發出消息xi轉移為信宿收到消息yj所含的信息I(yj/xi)之差,用I(xi;yj)表示②平均互信息/交互熵信道各互信息的數學期望,用I(X;Y)表示定義反映信宿每收到一條消息所含信源一條消息的平均信息一般不等于信宿收到某條特定消息所含信源某條特定消息的信息——互信息例3平均互信息4、平均互信息的意義條件熵H(Y/X)——信道所含平均信息——噪聲熵信宿每收到一條消息所含信源一條消息的平均信息條件熵H(X/Y)——用反信道矩陣形式表示的信道所含平均信息——損失熵H(X/Y)H(X)H(Y/X)H(Y)I(X;Y)以信宿的熵為基礎,通過扣除信道的噪聲熵來度量信道每傳輸一條消息所含的平均信息以信源的熵為基礎,通過扣除信道的損失熵來度量信道每傳輸一條消息所含的平均信息5、平均互信息的主要性質①對稱性②非負性③極值性④嚴格凸性信道給定時,I(X;Y)對于信源概率P(X)嚴格上凸信源給定時,I(X;Y)對于信道轉移概率P(Y/X)嚴格下凸平均互信息及p-I(X;Y)和q-I(X;Y)曲線例4信道固定時q為常數,作p-I(X;Y)曲線00.51I(X;Y)1-H(q)p信源固定時p為常數,作q-I(X;Y)曲線00.51I(X;Y)H(p)q習題,(P99)3.1、3.2(1)4.2單符號離散信道的信道容量1、信道容量信道給定時,平均互信息I(X;Y)對于信源概率P(X)嚴格上凸——總能找到P(X),使I(X;Y)達到最大定義信道給定時平均互信息I(X;Y)的最大值,用C表示2、信道容量的意義平均互信息I(X;Y)——信道每傳輸一條消息所含的平均信息信道容量C——給定信道每傳輸一條消息所含的最大平均信息——給定信道傳輸信息的能力3、信道容量的主要性質①非負性②極值性4.3N×N信道的信道容量信道容量達到信道容量的信源概率當M=N,方程有唯一解例1信道容量及達到信道容量的信源概率4.4對稱信道、弱對稱信道的信道容量1、對稱信道矩陣中每一行都是集合中各元素的不同排列——矩陣行可置換;每一列都是集合中各元素的不同排列——矩陣列可置換信道的信道矩陣既行可置換又列可置換定義例1例2二進制對稱信道2、對稱信道的信道容量達到信道容量的信源概率對稱信道行可置換對稱信道列可置換,不失一般性,設對稱信道的信道矩陣如果信宿等概信宿等概是否可達?二進制對稱信道的信道容量達到信道容量的信源概率例3信道容量及達到信道容量的信源概率信道矩陣既行可置換又列可置換→對稱信道信道容量達到信道容量的信源概率例4信道容量及達到信道容量的信源概率信道矩陣既行可置換又列可置換→對稱信道信道容量達到信道容量的信源概率3、弱對稱信道信道的信道矩陣行可置換定義例5例6二進制擦除信道——弱對稱信道4、弱對稱信道的信道容量達到信道容量的信源概率弱對稱信道行可置換信宿等概是否可達?如果信宿等概矛盾!不可達按列分為s個不相交的子集,各子集構成的子信道為對稱信道對應于子信道的各子信宿等概是否可達?子信道矩陣列可置換,不失一般性,設第k個子信道矩陣如果各子信宿等概二進制擦除信道的信道容量達到信道容量的信源概率例7信道容量及達到信道容量的信源概率信道矩陣行可置換→弱對稱信道——二進制擦除信道按列分成兩個不相交的子集,兩個子集構成的子信道矩陣為對稱信道信道容量達到信道容量的信源概率例8信道容量及達到信道容量的信源概率信道矩陣行可置換→弱對稱信道按列分成兩個不相交的子集,兩個子集構成的子信道矩陣為對稱信道信道容量達到信道容量的信源概率習題,(P99-101)3.2(2)、3.7、3.14(1)4.5多符號離散信道的平均互信息與信道容量1、多符號離散信道及其模型定義多符號離散信道——對應于多符號離散信源和多符號離散信宿的信道信源的模型——離散型隨機變量序列X1X2…Xn信宿的模型——離散型隨機變量序列Y1Y2…YnNnMnX1X2…XnP(Y1Y2…Yn/X1X2…Xn)Y1Y2…YnMnNnMn多符號離散信道的模型——2、多符號離散信道的平均互信息①信道關于消息的互信息(聯合互信息)定義定義n-1n-1n-21②信道的平均互信息(聯合平均互信息)聯合平均互信息——信宿收到信源發出各消息所含互信息的數學期望,用I(X1X2…Xn;Y1Y2…Yn)表示定義條件平均互信息——條件互信息的數學期望,用I(Xk;Yl/X1…Xk-1Y1…Yl-1)表示,其中k=1,2,…,n,l=2,…,n,l≥k定義n-1n-1n-213、平均互信息的鏈式法則nnn(n+1)/2n(n+1)/24、多符號離散信道的平均互信息率平均互信息率——信宿收到信源發出消息中每一個符號所含的平均信息,用In(X1X2…Xn;Y1Y2…Yn)表示定義單位一般為bit/symbol5、多符號離散信道的信道容量(聯合信道容量)定義信道給定時聯合平均互信息I(X1X2…Xn;Y1Y2…Yn)的最大值,用C(X1X2…Xn;Y1Y2…Yn)表示條件信道容量——信道給定時條件平均互信息I(Xk;Yl/X1…Xk-1Y1…Yl-1)的最大值,用C(Xk;Yl/X1…Xk-1Y1…Yl-1)表示,其中k=1,2,…,n,l=1,2,…,n,l≥k定義6、信道容量的鏈式法則7、多符號離散信道的信道容量率信道給定時平均互信息率In(X1X2…Xn;Y1Y2…Yn)的最大值,用Cn(X1X2…Xn;Y1Y2…Yn)表示定義4.6n次擴展信道的平均互信息與信道容量1、n維離散平穩信道定義多符號離散信道對任意兩個不同時間起點k和1,轉移概率及直到n維的各維聯合轉移概率相同2、n維離散平穩信道的平均互信息3、n維離散平穩無記憶信道與n次擴展信道定義n維離散平穩信道傳輸的消息中各符號相互獨立n維離散平穩無記憶信道——獨立同分布,相當于單
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 智力培訓活動方案
- 枕頭促銷活動方案
- 月底家具活動方案
- 月份工會活動方案
- 暑期綜藝活動策劃方案
- 柔力球運動推廣活動方案
- 智力幫扶活動方案
- 木門廠家招商活動方案
- 極速禮包活動方案
- 村委會引鳳還巢活動方案
- 風險評估報告模板
- 四年級上冊全部古詩
- 人教部編版七年級語文上冊《秋天的懷念》示范課教學課件
- 能源行業能源管理體系建設方案
- 中考英語高頻詞匯大綱表(人教版)
- 店鋪代運營合同范本
- 基本流行病統計分析方法及統計分析軟件的應用(與“檢驗”有關的文檔共102張)
- 2024屆安徽省合肥市一六八中學高一數學第二學期期末聯考模擬試題含解析
- 護理員管理工作方案及措施
- 高血壓中醫防治知識講座
- 國家開放大學-法學專業-2023年秋季《法律文化》形成性考核作業答案
評論
0/150
提交評論