信息量是源于通信領(lǐng)域而逐漸普及成為大眾與媒體頻繁使用的一個(gè)詞。假如你從未到過(guò)智庫(kù)百科，也沒(méi)有看過(guò)或聽(tīng)過(guò)任何有關(guān)智庫(kù)百科的有關(guān)介紹，那么智庫(kù)百科對(duì)你來(lái)說(shuō)就是一個(gè)“未知數(shù)”，存在著所謂“不確定性”(uncertainty)。一旦你到過(guò)智庫(kù)百科，你就能了解到智庫(kù)百科的具體情況——“信息”?！靶畔ⅰ睂湍阒饾u解開(kāi)頭腦中的疑團(tuán)，消除你對(duì)“智庫(kù)百科”認(rèn)識(shí)上的不確定性，并由不確定性變成較為確定或確定。如獲得的“信息”越多，你對(duì)“智庫(kù)百科”的了解就越全面。當(dāng)你到過(guò)智庫(kù)百科以后對(duì)它的了解越多，說(shuō)明它的信息量就越大。

如何計(jì)算信息量的多少？在日常生活中，極少發(fā)生的事件一旦發(fā)生是容易引起人們關(guān)注的，而司空見(jiàn)慣的事不會(huì)引起注意，也就是說(shuō)，極少見(jiàn)的事件所帶來(lái)的信息量多。如果用統(tǒng)計(jì)學(xué)的術(shù)語(yǔ)來(lái)描述，就是出現(xiàn)概率小的事件信息量多。因此，事件出現(xiàn)得概率越小，信息量愈大。即信息量的多少是與事件發(fā)生頻繁(即概率大小)成反比。

　　1.如已知事件Xi已發(fā)生，則表示Xi所含有或所提供的信息量

　　H(Xi) = ? logaP(Xi)

　　例題：若估計(jì)在一次國(guó)際象棋比賽中謝軍獲得冠軍的可能性為0.1(記為事件A)，而在另一次國(guó)際象棋比賽中她得到冠軍的可能性為0.9(記為事件B)。試分別計(jì)算當(dāng)你得知她獲得冠軍時(shí)，從這兩個(gè)事件中獲得的信息量各為多少？

　　　　　　H(A)=-log2 P(0.1)≈3.32(比特)

　　　　　　H(B)=-log2 P(0.9)≈0.152(比特)

　　2.統(tǒng)計(jì)信息量的計(jì)算公式為：

Xi —— 表示第i個(gè)狀態(tài)(總共有n種狀態(tài))；

P(Xi)——表示第i個(gè)狀態(tài)出現(xiàn)的概率；

H(X)——表示用以消除這個(gè)事物的不確定性所需要的信息量。

　　例題：向空中投擲硬幣，落地后有兩種可能的狀態(tài)，一個(gè)是正面朝上，另一個(gè)是反面朝上，每個(gè)狀態(tài)出現(xiàn)的概率為1/2。如投擲均勻的正六面體的骰子，則可能會(huì)出現(xiàn)的狀態(tài)有6個(gè)，每一個(gè)狀態(tài)出現(xiàn)的概率均為1/6。試通過(guò)計(jì)算來(lái)比較狀態(tài)的不肯定性與硬幣狀態(tài)的不肯定性的大小。

H(硬幣)

= -(2×1/2)×logP2(1/2)≈1(比特)

H(骰子)

= -6×(1/6)×logP2(1/6)≈2.6(比特)

　　由以上計(jì)算可以得出兩個(gè)推論：

　　[推論1] 當(dāng)且僅當(dāng)某個(gè)P(Xi)=1，其余的都等于0時(shí)， H(X)= 0。

　　[推論2]當(dāng)且僅當(dāng)某個(gè)P(Xi)=1/n，i=1， 2，……， n時(shí)，H(X)有極大值log n。