定義编辑
相關計算编辑
為 之聯合機率密度函數,其條件熵為:
。
又稱KL散度(Kullback–Leibler divergence),兩機率密度函數f、g的相對熵定義為:
。
兩連續型隨機變數的聯合機率密度函數為 ,其互信息:
廣義而言,我們可以將互信息定義在有限多個連續隨機變數值域的劃分。可參考連續互信息的量化。
性質编辑
與夏農相對熵性質相同,恆正。
(延森不等式)
。
鏈式法則编辑
一次觀測所有隨機變數所測得的聯合熵,與個別接收隨機變數後計算的條件熵總和相同,即觀測順序與間隔不影響微分熵。
。
平移编辑
隨機變數的平移不影響微分熵,因為固定的平移不會增加隨機變數的方差。
縮放编辑
將隨機變數縮放會增加其方差,微分熵亦會隨之增加。
上界编辑
期望值為0,方差為 且值域為 之隨機變數 的微分熵,其上界為常態分佈 的微分熵。
估計誤差编辑
隨機變數 與其估計子 之均方誤差存在下界,當 為常態分佈且 為無偏估計子時,等號成立。
漸進等分性编辑
漸進等分性编辑
離散隨機變數的夏農熵中,獨立同分布的隨機變數序列,在漸進等分性(Asymptotic equipartition property)之下其機率質量函數 趨近於 。
連續型隨機變數之漸進等分性:
典型集编辑
典型集(Typical set)定義如下
,
體積编辑
集合包含於 , ,其體積(Volume) 定義如下:
。
典型集 的體積有以下性質:
1.
2.
證明
1.
由 ,
可得:
2.
當n足夠大時, ,
因此:
量化编辑
最大熵编辑
參考文獻编辑
- Thomas M. Cover, Joy A. Thomas, Elements of Information Theory, 1991 John Wiley & Sons, Inc, 1971. ISBN 0-471-20061-1