信息熵是一個(gè)數(shù)學(xué)上頗為抽象的概念，在這里不妨把信息熵理解成某種特定信息的出現(xiàn)概率（離散隨機(jī)事件的出現(xiàn)概率）。一個(gè)系統(tǒng)越是有序，信息熵就越低；反之，一個(gè)系統(tǒng)越是混亂，信息熵就越高。信息熵也可以說是系統(tǒng)有序化程度的一個(gè)度量。

根據(jù)Charles H. Bennett對Maxwell's Demon的解釋，對信息的銷毀是一個(gè)不可逆過程，所以銷毀信息是符合熱力學(xué)第二定律的。而產(chǎn)生信息，則是為系統(tǒng)引入負(fù)（熱力學(xué)）熵的過程。所以信息熵的符號與熱力學(xué)熵應(yīng)該是相反的。

一般而言，當(dāng)一種信息出現(xiàn)概率更高的時(shí)候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認(rèn)為，從信息傳播的角度來看，信息熵可以表示信息的價(jià)值。這樣我們就有一個(gè)衡量信息價(jià)值高低的標(biāo)準(zhǔn)，可以做出關(guān)于知識(shí)流通問題的更多推論。

信源的平均不定度。在信息論中信源輸出是隨機(jī)量，因而其不定度可以用概率分布來度量。記 H(X)＝H(P1，P2，…，Pn)＝P(xi)logP(xi)，這里P(xi)，i＝1，2，…，n為信源取第i個(gè)符號的概率。P(xi)=1，H(X)稱為信源的信息熵。

熵的概念來源于熱力學(xué)。在熱力學(xué)中熵的定義是系統(tǒng)可能狀態(tài)數(shù)的對數(shù)值，稱為熱熵。它是用來表達(dá)分子狀態(tài)雜亂程度的一個(gè)物理量。熱力學(xué)指出，對任何已知孤立的物理系統(tǒng)的演化，熱熵只能增加，不能減少。

然而這里的信息熵則相反，它只能減少，不能增加。所以熱熵和信息熵互為負(fù)量。且已證明，任何系統(tǒng)要獲得信息必須要增加熱熵來補(bǔ)償，即兩者在數(shù)量上是有聯(lián)系的。

可以從數(shù)學(xué)上加以證明，只要H(X)滿足下列三個(gè)條件：

①連續(xù)性：H(P，1－P)是P的連續(xù)函數(shù)(0≤P≤1)；

②對稱性：H(P1，…，Pn)與P1，…，Pn的排列次序無關(guān)；

③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，則有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；則一定有下列唯一表達(dá)形式：H(P1，…，Pn)＝-CP(xi)logP(xi)

其中C為正整數(shù)，一般取C＝1，它是信息熵的最基本表達(dá)式。

信息熵的單位與公式中對數(shù)的底有關(guān)。最常用的是以2為底，單位為比特(bit)；在理論推導(dǎo)中常采用以e為底，單位為奈特(Nat)；還可以采用其他的底和單位，并可進(jìn)行互換。

信息熵除了上述三條基本性質(zhì)外，還具有一系列重要性質(zhì)，其中最主要的有：

①非負(fù)性：H(P1，…，Pn)≥0；

②確定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0；

③擴(kuò)張性：Hn-1(P1，…，Pn-ε，ε)＝Hn(P1，…，Pn)；

④極值性：P(xi)logP(xi)≤P(xi)logQ(xi)；這里Q(xi)＝1；

⑤上凸性：H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，式中0＜λ＜1。