1、唐計 21151624 于航（高大上的題目12021/8/14熵熵的概念是由德國德國物理學家克勞修斯克勞修斯于1865年所提出。化學及熱力學中所指的熵，是一種測量在動力學動力學方面不能做功的能量總數。熵熵亦被用于計算一個系統中的失序失序現象。熵熵是一個描述系統狀態的函數，但是經常用熵熵的參考值和變化量進行分析比較。 利用積分求熵值22021/8/14熱力學熵的宏觀宏觀形式：它的定義是，用來描述能量做功的能力能力，熵越大越大能量做功的能力就越弱越弱。由于我們只定義了熵的變化量，因此對一個系統的單一狀態來說，宏觀的熵沒有沒有絕對值。我們實際應用的是以“標準狀態”為基準的相對值相對值（標準摩爾熵）。

2、 熵的微觀形式，著名的玻爾茲曼原理玻爾茲曼原理：S = kln，其中的是玻爾茲曼常數，量綱為 J/K，由于后面對數項不具量綱，所以玻爾茲曼 熵的量綱也是J/K ，這是證明它和宏觀形式等價的前提前提。 這也形成了熵最廣為人知的理解：熵是系統混亂度（無序熵是系統混亂度（無序程度）的量度程度）的量度。參考文獻：知乎32021/8/14那信息熵信息熵是啥玩意 ？ 42021/8/14克勞德香農Claude Shannon克勞德克勞德香農香農在1948年的這一篇論文中，提出了“信信息息熵熵”的概念，并且以后信息論信息論也被作為一門單獨的學科。著名文獻（著名文獻（1948）：）：A Mathematica

3、l Theory of Communication52021/8/14信息熵信息熵的來歷和熱力學熵熱力學熵完全不同。把它也叫做“熵熵”完全是因為香農香農老爺子當年提出這個概念時參考了熱力學熵熱力學熵，并且它的表達式和熱力學熵熱力學熵的微觀形式非常相似（但和宏觀描述看不出任何任何相似性）的緣故。后來也有人提出了信息熵信息熵的其他表述形式，為了方便，下文以最早也最重要的香農熵香農熵為準。-參考文獻：知乎62021/8/1472021/8/14他先后闡述了： 有無噪音噪音的離散系統下（ DISCRETE NOISELESS SYSTEMS & THE DISCRETE CHANNEL WIT

4、H NOISE ）“信息的傳輸傳輸”“信息熵熵的計算”“相關的討論討論”解釋了：信息熵、信源編碼、信道編碼、信道容量、信息失真率理論、信號檢測和估計等概念。（比較專業）奠定了信息論信息論的基礎。82021/8/14K就是一個系數，log以2為底隨機變量S的取值(s1,s2.sn)，發生的概率是(p1,p2.pn)，和玻爾茲曼熵表達式形式基本一樣，只有常數上的差別。結果的量綱為比比特（特（bit）。意義意義？ 指觀察者對某一事件（結果）的未知程度未知程度。92021/8/14吳軍吳軍漢語信息熵和語言模型的復雜度漢語信息熵和語言模型的復雜度里說，只考慮字頻的話英文是4.46比特/字符的信息熵，漢字

5、是9.6比特/字符，直觀上很容易理解，英文字母只有26個，所以描述一個字母所需要的信息表示不多，而中文字卻很多，就需要更多的信息量才能表示。引用文獻：CSDN blog102021/8/14這書寫的很好，吳軍吳軍博士當年寫谷歌谷歌板報的功底可見一斑。112021/8/14吳軍吳軍博士李開復：精通技術，并能夠用清晰的語言公之于眾兩個19世紀曾經叱咤風云的巨頭，一個虎落平陽，一個老驥伏櫪關鍵時刻的抉擇：當互聯網來臨122021/8/14132021/8/14甲乙丙三個實力相當的運動員要進行一次比賽，老王老王是比賽的裁判和記分員，他必須觀察并如實記錄三位選手的名次。所以對于他來說，比賽結果有A33=

6、6種，由于運動員實力相當，每種結果出現的可能性一樣，所以結果的熵是log26。老李老李是比賽場地的管理員，他完全不關心誰勝誰負，而只想等到比賽結束下班回家，那么比賽對他的熵是多少呢？答案是零零，因為他只關心比賽有沒有結束，而比賽只要一開始就注定會結束，這個結果是唯一確定的。所以老李根本不用觀察比賽，只要坐著等就可以了。不同的觀察者，由于目的和觀測能力的差異，同一個事件的熵也可能是不同的。參考文獻：知乎142021/8/14我們再回頭看老王的記分板，他用三組二進制數記錄比賽結果。老王的兒子小王（程序員）認為：由于比賽只有三位選手，只要其中兩位選手的名次確定第三位選手的名次也就確定了。因此第三組二進制數完全是沒有必要的（我們也稱它為冗余冗余），如001表示甲乙丙的結果，010表示甲丙乙的結果這樣老王每次就只需要三位二進制數（3比特）就可以記錄原本要6比特才能表示的信息了。無損壓縮是可能的。無損壓縮是可能的。這也是清晰度差不多的視頻文件有的格式卡成狗卡成狗有的格式卻十分流暢十分流暢的原因。參考文獻：知乎152021/8/14總之，熵就是系統內無序程度，熱力學熵就是熱力學系統分子的無序程度，信息熵就是在信息傳輸系統內不同信息（相對于有效信息）的無序程度。信息論也是由此概念而進一步闡釋出