《信息論與編碼》答案2345完整版

2.1一個馬爾可夫信源有3個符號

?u1,u2,u3?，轉(zhuǎn)移概率為：p?u1|u1??1/2，p?u2|u1??1/2，

，

p?u3|u1??0，p?u1|u2??1/3，p?u2|u2??0p?u3|u2??2/3，p?u1|u3??1/3

，

p?u2|u3??2/3，p?u3|u3??0，畫出狀態(tài)圖并求出各符號穩(wěn)態(tài)概率。

解：狀態(tài)圖如下

狀態(tài)轉(zhuǎn)移矩陣為：

設(shè)狀態(tài)u1，u2，u3穩(wěn)定后的概率分別為W1，W2、W3

0??1/21/2

??p??1/302/3?

?1/32/30???

11?1

W1?W2?W3?W110??2W1?33??2512???WP?W9?W1?W3?W2?

由?得?2計算可得?W2? 3

25?W1?W2?W3?1?2?

6?W2?W3?W3?3??25??W1?W2?W3?1?

2.2 由符號集{0，1}組成的二階馬爾可夫鏈，其轉(zhuǎn)移概率為：

p(0|00)=0.8，p(0|11)=0.2，p(1|00)=0.2，

p(1|11)=0.8，p(0|01)=0.5，p(0|10)=0.5，p(1|01)=0.5，p(1|10)=0.5。畫出狀態(tài)圖，并計算各狀態(tài)

的穩(wěn)態(tài)概率。 解：

p(0|00)?p(00|00)?0.8 p(0|01)?p(10|01)?0.5 p(0|11)?p(10|11)?0.2 p(0|10)?p(00|10)?0.5 p(1|00)?p(01|00)?0.2 p(1|01)?p(11|01)?0.5 p(1|11)?p(11|11)?0.8 p(1|10)?p(01|10)?0.5

0??0.80.20

??000.50.5? 于是可以列出轉(zhuǎn)移概率矩陣：p??

?0.50.500???000.20.8??

狀態(tài)圖為：

設(shè)各狀態(tài)00，01，10，11的穩(wěn)態(tài)分布概率為W1,W2,W3,W4 有

?WP?W

?4

得 ?Wi?1???i?1

5?

W1??14?0.8W1?0.5W3?W1

?

?0.2W1?0.5W3?W2

?W2?1

???7

計算得到 0.5W2?0.2W4?W3??

1?W3??0.5W2?0.8W4?W4

??7???W1?W2?W3?W4?15?W4?

14?

2.3 同時擲出兩個正常的骰子，也就是各面呈現(xiàn)的概率都為1/6，求： (1) “3和5同時出現(xiàn)”這事件的自信息； (2) “兩個1同時出現(xiàn)”這事件的自信息；

(3) 兩個點數(shù)的各種組合（無序）對的熵和平均信息量； (4) 兩個點數(shù)之和（即2, 3, ? , 12構(gòu)成的子集）的熵； (5) 兩個點數(shù)中至少有一個是1的自信息量。 解：

(1)

11111

p(xi)?????

666618I(xi)??logp(xi)??log

(2)

1

?4.170 bit18

111

p(xi)???

6636

1

I(xi)??logp(xi)??log?5.170 bit

36

(3)

兩個點數(shù)的排列如下： 11 21 31 41 51 61

共有21種組合：

12 22 32 42 52 62

13 23 33 43 53 63

14 24 34 44 54 64

15 25 35 45 55 65

16 26 36 46 56 66

111?? 6636

111

其他15個組合的概率是2???

6618

其中11，22，33，44，55，66的概率是

1111??

H(X)???p(xi)logp(xi)???6?log?15?log??4.337 bit/symbol

361818??36i

(4)

參考上面的兩個點數(shù)的排列，可以得出兩個點數(shù)求和的概率分布如下：

23456789101112??X???1?1111151511???P(X)??

????3618129366369121836??H(X)???p(xi)logp(xi)

i

111111115511??

???2?log?2?log?2?log?2?log?2?log?log?

361818121299363666??36

?3.274 bit/symbol

(5)

1111

p(xi)???11?

6636I(xi)??logp(xi)??log

2-4

11

?1.710 bit36

2.5 居住某地區(qū)的女孩子有25%是大學(xué)生，在女大學(xué)生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占總數(shù)的一半。假如我們得知“身高160厘米以上的某女孩是大學(xué)生”的消息，問獲得多少信息量？

解：

設(shè)隨機變量X代表女孩子學(xué)歷

X P(X)

設(shè)隨機變量Y代表女孩子身高

Y P(Y)

已知：在女大學(xué)生中有75%是身高160厘米以上的 即：

y1（身高>160cm）

0.5

y2（身高

0.5

x1（是大學(xué)生）

0.25

x2（不是大學(xué)生）

0.75

p(y1/x1)?0.75 bit

求：身高160厘米以上的某女孩是大學(xué)生的信息量 即：I(x1/y1)

??logp(x1/y1)??log

p(x1)p(y1/x1)0.25?0.75

??log?1.415 bit

p(y1)0.5

2.6 擲兩顆骰子，當(dāng)其向上的面的小圓點之和是3時，該消息包含的信息量是多少？當(dāng)小圓點之和是7時，該消息所包含的信息量又是多少？ 解：

1）因圓點之和為3的概率該消息自信息量I(x)

p(x)?p(1,2)?p(2,1)?

1

18

??logp(x)?log18?4.170bit

2）因圓點之和為7的概率

p(x)?p(1,6)?p(6,1)?p(2,5)?p(5,2)?p(3,4)?p(4,3)?

該消息自信息量I(x)

1 6

??logp(x)?log6?2.585bit

2.7 設(shè)有一離散無記憶信源，其概率空間為? （1）求每個符號的自信息量

?X??x1?0x2?1x3?2x4?3?????

1/41/41/8??P??3/8

（2）信源發(fā)出一消息符號序列為{202 120 130 213 001 203 210 110 321 010 021 032 011 223 210}，求該序列的自信息量和平均每個符號攜帶的信息量 解：I(x1)

?log2

18

?log2?1.415bit

p(x1)3?2bit,I(x3)?2bit,I(x3)?3bit

同理可以求得I(x2)

因為信源無記憶，所以此消息序列的信息量就等于該序列中各個符號的信息量之和 就有：I

?14I(x1)?13I(x2)?12I(x3)?6I(x4)?87.81bit

平均每個符號攜帶的信息量為

87.81

?1.95bit/符號 45

2.8 試問四進制、八進制脈沖所含信息量是二進制脈沖的多少倍？

解：

四進制脈沖可以表示4個不同的消息，例如：{0, 1, 2, 3} 八進制脈沖可以表示8個不同的消息，例如：{0, 1, 2, 3, 4, 5, 6, 7} 二進制脈沖可以表示2個不同的消息，例如：{0, 1} 假設(shè)每個消息的發(fā)出都是等概率的，則： 四進制脈沖的平均信息量H(X1)八進制脈沖的平均信息量H(X2)二進制脈沖的平均信息量H(X0)所以：

四進制、八進制脈沖所含信息量分別是二進制脈沖信息量的2倍和3倍。 2-9 “－” 用三個脈沖 “●”用一個脈沖

(1) I(●)=Log(4)

?logn?log4?2 bit/symbol ?logn?log8?3 bit/symbol ?logn?log2?1 bit/symbol

?2

34

I(－)＝Log?

?4??0.415

??3?

(2) H=

14

Log(4)?

Log??

4?3?

?

??0.811

2-10

(2) P(黑/黑

)= P(白/黑

)=

H(Y/黑

)=

(3) P(黑/白

)= P(白/白

)=

H(Y/白

)=

(4) P(黑

)= P(白

)=

H(Y)=

2.11 有一個可以旋轉(zhuǎn)的圓盤，盤面上被均勻的分成38份，用1，…，38的數(shù)字標(biāo)示，其中有兩份涂綠色，18份涂紅色，18份涂黑色，圓盤停轉(zhuǎn)后，盤面上的指針指向某一數(shù)字和顏色。 （1）如果僅對顏色感興趣，則計算平均不確定度 （2）如果僅對顏色和數(shù)字感興趣，則計算平均不確定度

（3）如果顏色已知時，則計算條件熵

解：令X表示指針指向某一數(shù)字，則X={1,2,……….,38} Y表示指針指向某一種顏色，則Y={l綠色，紅色，黑色} Y是X的函數(shù)，由題意可知

3

p(xiyj)?p(xi)

（1）H(Y)

??p(yj)log

j?1

12381838

?log?2?log?1.24bit/符號

p(yj)3823818

（2）H(X,Y)（3）H(X

?H(X)?log238?5.25bit/符號

|Y)?H(X,Y)?H(Y)?H(X)?H(Y)?5.25?1.24?4.01bit/符號

2.12 兩個實驗X和Y，X={x1 x2 x3},Y={y1 y2 y3},l聯(lián)合概率r

?xi,yj??rij為

?r11r12

?

?r21r22?r

?31r32

（1） （2） （3）

r13??7/241/240????r23???1/241/41/24?

?r33?1/247/24???0?

如果有人告訴你X和Y的實驗結(jié)果，你得到的平均信息量是多少？ 如果有人告訴你Y的實驗結(jié)果，你得到的平均信息量是多少？

在已知Y實驗結(jié)果的情況下，告訴你X的實驗結(jié)果，你得到的平均信息量是多少？

解：聯(lián)合概率

p(xi,yj)為

H(X,Y)??p(xi,yj)log2

ij

1

p(xi,yj)

?2?

72411

log2?4?log224?log24247244

=2.3bit/符號

X概率分布http://www.oriental01.com 1

H(Y)?3?log23?1.58bit/符號

3H(X|Y)?H(X,Y)?H(Y)?2.3?1.58

Y概率分布是 =0.72bit/符號

2.13 有兩個二元隨機變量X和Y，它們的聯(lián)合概率為

并定義另一隨機變量Z = XY（一般乘積），試計算： (1) H(X), H(Y), H(Z), H(XZ), H(YZ)和H(XYZ)；

(2) H(X/Y), H(Y/X), H(X/Z), H(Z/X), H(Y/Z), H(Z/Y), H(X/YZ), H(Y/XZ)和H(Z/XY)； (3) I(X;Y), I(X;Z), I(Y;Z), I(X;Y/Z), I(Y;Z/X)和I(X;Z/Y)。

解： (1)

131p(x1)?p(x1y1)?p(x1y2)???

882311

p(x2)?p(x2y1)?p(x2y2)???

882

H(X)???p(xi)logp(xi)?1 bit/symbol

i

131

p(y1)?p(x1y1)?p(x2y1)???

882311

p(y2)?p(x1y2)?p(x2y2)???

882

H(Y)???p(yj)logp(yj)?1 bit/symbol

j

Z = XY的概率分布如下：

z?0z2?1?

?Z???1?

?71???P(Z)?

???8??8?

2

711??7

H(Z)???p(zk)???log?log??0.544 bit/symbol

888??8k

p(x1)?p(x1z1)?p(x1z2)p(x1z2)?0p(x1z1)?p(x1)?0.5p(z1)?p(x1z1)?p(x2z1)p(x2z1)?p(z1)?p(x1z1)?p(z2)?p(x1z2)?p(x2z2)p(x2z2)?p(z2)?

1

8

73?0.5?88

13311??1

H(XZ)????p(xizk)logp(xizk)???log?log?log??1.406 bit/symbol

28888??2ik

p(y1)?p(y1z1)?p(y1z2)p(y1z2)?0p(y1z1)?p(y1)?0.5p(z1)?p(y1z1)?p(y2z1)p(y2z1)?p(z1)?p(y1z1)?p(z2)?p(y1z2)?p(y2z2)p(y2z2)?p(z2)?

18

73?0.5?88

13311??1

H(YZ)????p(yjzk)logp(yjzk)???log?log?log??1.406 bit/symbol

28888??2jk

p(x1y1z2)?0p(x1y2z2)?0p(x2y1z2)?0

p(x1y1z1)?p(x1y1z2)?p(x1y1)p(x1y1z1)?p(x1y1)?1/8p(x1y2z1)?p(x1y1z1)?p(x1z1)p(x1y2z1)?p(x1z1)?p(x1y1z1)?p(x2y1z1)?p(x2y1z2)?p(x2y1)p(x2y1z1)?p(x2y1)?p(x2y2z1)?0

p(x2y2z1)?p(x2y2z2)?p(x2y2)

1

8

H(XYZ)?????p(xiyjzk)log2p(xiyjzk)p(x2y2z2)?p(x2y2)?

i

j

k

113??288

38

1333311??1

???log?log?log?log??1.811 bit/symbol

8888888??8

(2)

1333311??1

H(XY)????p(xiyj)log2p(xiyj)????log?log?log?log??1.811 bit/symbol

8888888??8ij

H(X/Y)?H(XY)?H(Y)?1.811?1?0.811 bit/symbolH(Y/X)?H(XY)?H(X)?1.811?1?0.811 bit/symbolH(X/Z)?H(XZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/X)?H(XZ)?H(X)?1.406?1?0.406 bit/symbolH(Y/Z)?H(YZ)?H(Z)?1.406?0.544?0.862 bit/symbolH(Z/Y)?H(YZ)?H(Y)?1.406?1?0.406 bit/symbolH(X/YZ)?H(XYZ)?H(YZ)?1.811?1.406?0.405 bit/symbolH(Y/XZ)?H(XYZ)?H(XZ)?1.811?1.406?0.405 bit/symbolH(Z/XY)?H(XYZ)?H(XY)?1.811?1.811?0 bit/symbol

(3)

I(X;Y)?H(X)?H(X/Y)?1?0.811?0.189 bit/symbolI(X;Z)?H(X)?H(X/Z)?1?0.862?0.138 bit/symbolI(Y;Z)?H(Y)?H(Y/Z)?1?0.862?0.138 bit/symbol

I(X;Y/Z)?H(X/Z)?H(X/YZ)?0.862?0.405?0.457 bit/symbolI(Y;Z/X)?H(Y/X)?H(Y/XZ)?0.862?0.405?0.457 bit/symbolI(X;Z/Y)?H(X/Y)?H(X/YZ)?0.811?0.405?0.406 bit/symbol

2-14 (1)

P(ij)= P(i/j)=

(2) 方法1:

=

方法2:

2-15

P(j/i)=

2.16 黑白傳真機的消息元只有黑色和白色兩種，即X={黑，白}，一般氣象圖上，黑色的出現(xiàn)概率p(黑)＝0.3，白色出現(xiàn)的概率p(白)＝0.7。

（1）假設(shè)黑白消息視為前后無關(guān)，求信源熵H(X)，并畫出該信源的香農(nóng)線圖

（2）實際上各個元素之間是有關(guān)聯(lián)的，其轉(zhuǎn)移概率為：P(白|白)＝0.9143，P(黑|白)＝0.0857，P(白|黑)＝0.2，P(黑|黑)＝0.8，求這個一階馬爾可夫信源的信源熵，并畫出該信源的香農(nóng)線圖。 （3）比較兩種信源熵的大小，并說明原因。 解：（1）H(X)P(黑|白)=P(黑)

?0.3log2

1010

?0.7log2?0.8813bit/符號 37

P(白|白)＝P(白)

P(黑|黑)＝P(黑) P(白|黑)＝P(白)

（2）根據(jù)題意，此一階馬爾可夫鏈?zhǔn)瞧椒�(wěn)的（P(白)＝0.7不隨時間變化，P(黑)＝0.3不隨時 間變化）

H?(X)?H(X2|X1)??p(xi,yj)log2

ij

1

p(xi,yj)

?0.9143?0.7log2?0.8?0.3log2

＝0.512bit/符號

111

?0.0857?0.7log2?0.2?0.3log2

0.91430.08570.2

10.8

2.17 每幀電視圖像可以認(rèn)為是由3?105個像素組成的，所有像素均是獨立變化，且每像素又取128個不同的亮度電平，并設(shè)亮度電平是等概出現(xiàn)，問每幀圖像含有多少信息量？若有一個廣播員，在約10000個漢字中選出1000個漢字來口述此電視圖像，試問廣播員描述此圖像所廣播的信息量是多少（假設(shè)漢字字匯是等概率分布，并彼此無依賴）？若要恰當(dāng)?shù)拿枋龃藞D像，廣播員在口述中至少需要多少漢字？ 解： 1)

H(X)?log2n?log2128?7 bit/symbol

H(X)?NH(X)?3?10?7?2.1?10 bit/symbol

2)

N

5

6

H(X)?log2n?log210000?13.288 bit/symbolH(XN)?NH(X)?1000?13.288?13288 bit/symbol

3)

H(XN)2.1?106

N???158037

H(X)13.288

2.20 給定語音信號樣值X的概率密度為態(tài)變量的連續(xù)熵。 解：

1??x

p(x)??e,???x???,求Hc(X)，并證明它小于同樣方差的正

2

1??x

Hc(X)???px(x)logpx(x)dx???px(x)logedx

2????1

???px(x)logdx??px(x)(??x)logedx

2????11??x

??log?loge?e(?x)dx

22??

11

??log??loge?e?x??(?x)dx?log

22??11

??log??2loge?2xe??xdx

2201??x??

???log??loge?(1??x)e??0

212e??log??loge?log

2?

??0

??

??

??

??

????

?

1??x

e(?x)dx 2

E(X)?0,D(X)?

H(X,)?

2

?

2

1214?elog2?e2?log2???H(X) 2?2?

?1?

2.24 連續(xù)隨機變量X和Y的聯(lián)合概率密度為：p(x,y)???r2

??0

H(XYZ)和I(X;Y)。

?

x2?y2?r2其他

，求H(X), H(Y),

（提示：

解：

?

2

log2sinxdx??

?

2

log22）

p(x)??

r2?x2

?r2?x2

r

p(xy)dy??

r2?x2

?

12r2?x2

dy? (?r?x?r)2r2?x2?r2?r

Hc(X)???p(x)logp(x)dx

?rr

2r2?x2

???p(x)logdx

?r?r2rr2

???p(x)log2dx??p(x)logr2?x2dx

?r?r?r

r?r2

?log??p(x)logr2?x2dx

?r2?r21

?log?logr?1?log2e

22

1

?log2?r?log2e bit/symbol

2

其中：

?

r

?r

p(x)logr2?x2dx

r

2r2?x222

??logr?xdx2?r?r4r

?2?r2?x2logr2?x2dx?r0

40

令x?rcos?2?rsin?logrsin?d(rcos?)

?r2

402

??2?rsin2?logrsin?d??r2??

??

4

4

?

20

sin2?logrsin?d?sin?logrd??

?

2

?

?

4

?

20

4

?

?

?

20

sin2?logsin?d?

?

1?cos2?41?cos2?

?logr?2d???2logsin?d?

00?2?2

?

?

?

20

?

2

?

logr?2d??

2

?

?

logr?2cos2?d??

??

2

logsin?d??

??

2

?

20

cos2?logsin?d?

?logr?

1

?

logr?2dsin2??

2

?

(?

?

2

log22)?

??

2

?

20

cos2?logsin?d?

?logr?1?

??

2

?

20

cos2?logsin?d?

1

?logr?1?log2e

2

其中：

??

?

2

?

20

cos2?logsin?d?

?

20

??

1

logsin?dsin2?

?

20

1???sin2?logsin??????????

1

?

?

??2sin2?dlogsin???0

?

?

?

2

?

20

2sin?cos?

?

cos?log2e

d?

sin?

?

2

log2e?2cos2?d?

1?cos2?

d?

0?2??

112??log2e?d??log2e?2cos2?d?

log2e?2

?

??

11??log2e?log2esin2?

22?1

??log2e

2

?

20

p(y)??

r2?y2

?r?yp(xy)dx??

r2?y2

?

2r2?y21

dx?(?r?y?r)

r?y?r2?r2

p(y)?p(x)

1

HC(Y)?HC(X)?log2?r?log2e bit/symbol

2Hc(XY)????p(xy)logp(xy)dxdy

R

????p(xy)log

R

1

dxdy?r2

?log?r2??p(xy)dxdy

R

?log2?r2 bit/symbolIc(X;Y)?Hc(X)?Hc(Y)?Hc(XY) ?2log2?r?log2e?log?r2 ?log2??log2e bit/symbol

2.25 某一無記憶信源的符號集為{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 (1) 求符號的平均熵；

(2) 有100個符號構(gòu)成的序列，求某一特定序列（例如有m個“0”和（100 - m）個“1”）的自信息量的表達式； (3) 計算(2)中序列的熵。

解： (1)

133??1

H(X)???p(xi)logp(xi)???log?log??0.811 bit/symbol

444??4i

(2)

m

100?m

?1??3?

p(xi)??????

?4??4?

3100?m?100

4

3

?41.5?1.585m bit4100

100?m

I(xi)??logp(xi)??log

(3)

H(X100)?100H(X)?100?0.811?81.1 bit/symbol

2-26

P(i)=

P(ij)=

H(IJ)=

2.29 有一個一階平穩(wěn)馬爾可夫鏈

X1,X2,?,Xr,?,各

Xr取值于集合

A??a1,a2,a3?,已知起始概率

P(Xr)為

p1?1/2,p2?p3?1/4，轉(zhuǎn)移概率如下圖所示

(1) 求(X1,X2,X3)的聯(lián)合熵和平均符號熵 (2) 求這個鏈的極限平均符號熵

(3) 求H0,H1,H2和它們說對應(yīng)的冗余度 解：（1）

H(X1,X2,X3)?H(X1)?H(X2|X1)?H(X3|X2,X1)?H(X1)?H(X2|X1)?H(X3|X2)

111111

H(X1)??log?log?log?1.5bit/符號

224444

X1，X2的聯(lián)合概率分布為

p(x2j)??p(x1ix2j)

i

X2的概率分布為

那么

111131131

H(X2|X1)?log4?log4?log4?log?log3?log?log3

48862126212

=1.209bit/符號

X2X3的聯(lián)合概率分布為

那么

H(X3|X2)?

=1.26bit/符號

771535535

log2?log4?log4?log?log3?log?log3 244883627236272

H(X1,X2,X3)?1.5?1.209?1.26?3.969bit/符號

所以平均符號熵H3(X1,X2,X3)

?

3.969

?1.323bit／符號 3

14013

1?4??1? 3??0???

?1?2??2（2）設(shè)a1,a2,a3穩(wěn)定后的概率分布分別為W1,W2,W3,轉(zhuǎn)移概率距陣為P??3?2???3

??WP?W由? 得到

Wi?1???

224?1?

W1?W2?W3?1W1??2?337??

13?1?W1?W3?W2W2?計算得到 ??4314??

3?W1?W2?W3?1?W3???14??

又滿足不可約性和非周期性

3???4111321

H?(X)??WiH(X|Wi)?H(,,)?2?H(,,0)?1.25bit/符號

72441433i?1

(3)H0

1.5?1.209

?1.35b5i/t符號

2

1.251.251.25

?0?1??0?1??0.21?1?1??1?1??0.617 ?2?1??2?1??0.078

1.581.51.355

/符號 H2??log3?1.58bit/符號 H1?1.5bit

2-30

(1) 求平穩(wěn)概率

P(j/i)=

解方程組

得到

(2)

信源熵為:

2-31

P(j/i)= 解方程組 得到W1= , W2= , W3=

2.32 一階馬爾可夫信源的狀態(tài)圖如圖2－13所示，信源X的符號集為（0，1，2）。 （1）求信源平穩(wěn)后的概率分布P(0),P(1),P(2) （2）求此信源的熵

（3）近似認(rèn)為此信源為無記憶時，符號的概率分布為平穩(wěn)分布。求近似信源的熵H(X)并與H?進行比較

圖2-13

?1?pp/2p/2?

??

p/2解:根據(jù)香農(nóng)線圖,列出轉(zhuǎn)移概率距陣P?p/21?p??

??p/2p/21?p??

令狀態(tài)0,1,2平穩(wěn)后的概率分布分別為W1,W2,W3

?WP?W

?3

得到 ?

??Wi?1?i?1

p?

(1?p)W1?W2??2??p

?W1?(1?p)W2??2

?W1?W2?W3?1??1p?W?W3?W1

?32

?

p1?

W3?W2 計算得到?W? 23?

1?W??3?

由齊次遍歷可得

??????1pp12

H?(X)??WiH(X|Wi)?3?H(1?p,,)?(1?p)log?plog

3221?ppi???

H(X)?log3?1.58bit/符號 由最大熵定理可知H?(X)存在極大值

,

或者也可以通過下面的方法得出存在極大值:

???

??H?(X)1?pp21?p????log(1?p)?(?1)?log?p?????log?p1?p2p2?2(1?p)?

p11pp

又0?p?1所以?????0,???當(dāng)p=2/3時?1

2(1?p)22(1?p)2(1?p)2(1?p)???

?H?(X)p

0

?p2(1?p)

2/3

????H?(X)p

??log?0

?p2(1?p)

??????

所以當(dāng)p=2/3時H?(X)存在極大值,且H?(X)max?1.58bit/符號 ???,

所以H?(X)?H(X)

2-33

(1)

解方程組

:

得p(0)=p(1)=p(2)= (2)

(3)

當(dāng)p=0或p=1時 信源熵為0

練習(xí)題：有一離散無記憶信源，其輸出為

X??0,1,2?，相應(yīng)的概率為p0?1/4,p1?1/4,p2?1/2，設(shè)計

兩個獨立的實驗去觀察它，其結(jié)果分別為

Y1??0,1?,Y2??0,1?，已知條件概率:

(1) 求I(X;Y1)和I(X;Y2)，并判斷哪一個實驗好些

(2) 求I(X;Y1Y2)，并計算做Y1和Y2兩個實驗比做Y1和Y2中的一個實驗可多得多少關(guān)于X的信息 (3) 求I(X;Y1|Y2)和I(X;Y2|Y1)，并解釋它們的含義 解:(1)由題意可知

P(y1=0)=p(y1=1)=1/2 p(y2=1)=p(y2=1)=1/2

11111

?I(X;Y1)?H(Y1)?H(Y1|X)?log2?log?log?2?log2=0.5bit/符號

42424111

I(X;Y2)?H(Y2)?H(Y2|X)?log2?log1?log1?log1?1bit/符號>I(X;Y1)

442

所以第二個實驗比第一個實驗好 （2）因為Y1和Y2 相互獨立，所以p(y1y2|x)?p(y1|x)p(y2|x)

11

1212124?log1?log1?

44

bit/符號

=1.5bit/符號

由此可見，做兩個實驗比單獨做Y1可多得1bit的關(guān)于X的信息量，比單獨做Y2多得0.5bit的關(guān)于X的信息量。 （3）

I(X;Y1|Y2)?H(X|Y1)?H(X|Y1,Y2)?H(X,Y2)?H(X)?[H(X)?I(X;Y1,Y2)]?[H(X)?I(X;Y2)]?[H(X)?I(X;Y1,Y2)]?I(X;Y1,Y2)?I(X;Y2)

=1.5-1=0.5bit/符號

表示在已做Y2的情況下，再做Y1而多得到的關(guān)于X的信息量 同理可得

I(X;Y2|Y1)?I(X;Y1,Y2)?I(X;Y1)=1.5-0.5=1bit/符號

表示在已做Y1的情況下，再做Y2而多得到的關(guān)于X的信息量

?2?3?1?

3.1 設(shè)二元對稱信道的傳遞矩陣為?3

解： 1)

1?3?2??3?

(1) 若P(0) = 3/4, P(1) = 1/4，求H(X), H(X/Y), H(Y/X)和I(X;Y)； (2) 求該信道的信道容量及其達到信道容量時的輸入概率分布；

3311

H(X)???p(xi)??(?log2??log2)?0.811 bit/symbol

4444iH(Y/X)????p(xi)p(yj/xi)logp(yj/xi)

i

j

322311111122

??(?lg??lg??lg??lg)?log210

433433433433

?0.918 bit/symbol

3211

????0.583343433112

p(y2)?p(x1y2)?p(x2y2)?p(x1)p(y2/x1)?p(x2)p(y2/x2)?????0.4167

4343

H(Y)???p(yj)??(0.5833?log20.5833?0.4167?log20.4167)?0.980 bit/symbolp(y1)?p(x1y1)?p(x2y1)?p(x1)p(y1/x1)?p(x2)p(y1/x2)?

j

I(X;Y)?H(X)?H(X/Y)?H(Y)?H(Y/X)

H(X/Y)?H(X)?H(Y)?H(Y/X)?0.811?0.980?0.918?0.749 bit/symbolI(X;Y)?H(X)?H(X/Y)??0.811?0.749?0.062 bit/symbol

2)

1122

C?maxI(X;Y)?log2m?Hmi?log22?(lg?lg)?log210?0.082 bit/symbol

3333

1

其最佳輸入分布為p(xi)?

2

3-2某信源發(fā)送端有2個符號，xi，i＝1，2；p(xi)?a，每秒發(fā)出一個符號。接受端有3種符號yi，j＝1，2，3，

轉(zhuǎn)移概率矩陣為P（1） （2） （3）

?1/21/20???。 ??1/21/41/4?

計算接受端的平均不確定度； 計算由于噪聲產(chǎn)生的不確定度H(Y計算信道容量。

|X)；

?1/21/20?

解：P???

1/21/41/4??

聯(lián)合概率p(xi,yj)

（1）H(Y)?log2? log?log

241?a41?a

1116a1?a

?log2?log?log

241?a241?a1111a1?a

?log2?log16?log?log2

2441?a41?a311a1?a

?log2?log?log2

241?a41?a

取2為底

311a1?aH(Y)?(?log2?log)bit 22

241?a41?a

1a11?a11?a11?a1??a

（2）H(Y|X)?? log?log?log?log?log??2222224444??

3(1?a)

??alog2?log2

2

3?a?log2

2

取2為底

H(Y|X)?

3?a

bit 2

11a1?a??a

?c?maxI(X;Y)?max?H(Y)?H(Y|X)??max?log2?log?log?p(xi)p(xi)p(xi)41?a241?a??2

a11a1?a?(ln2?ln?ln)2

取e為底

?a

112a11?aa11?ln2??ln?(??) 2241?a41?a41?a1?a1a11?aa2?ln2??ln? 22(1?a2)41?a41?a2

111?a

?ln2?ln

241?a

= 0

1?a1?

1?a4

3?a?

51311131

?c??log2?log??log2541?454312531?log2?log?log 104162043153

?log2?log?log2 10241015?log 24

3.3 在有擾離散信道上傳輸符號0和1，在傳輸過程中每100個符號發(fā)生一個錯誤，已知P(0)=P(1)=1/2，信源每秒內(nèi)發(fā)出1000個符號，求此信道的信道容量。

解：

由題意可知該二元信道的轉(zhuǎn)移概率矩陣為：

?0.990.01?P???

0.010.99??

為一個BSC信道

所以由BSC信道的信道容量計算公式得到：

C?logs?H(P)?log2??pilog

i?1

2

1

?0.92bit/signpi

1

Ct?C?1000C?920bit/sec

t

3.4 求圖中信道的信道容量及其最佳的`輸入概率分布.并求當(dāng)e=0和1/2時的信道容量C的大小。

X

1－e

Y 0

1 1

2

1－e

2

00??1??,此信道為非奇異矩陣,又r=s,可利用方程組求解

e解: 信道矩陣P=01?e??

?e1－e??0?

?

3

j=1

P(bj|ai)bj=?P(bj|ai)logP(bj|ai) (i=1,2,3)

j=1

3

ìb1=0???

í(1-e)b2+eb3=(1-e)log(1-e)+eloge ?????eb2+(1-e)b3=eloge+(1-e)log(1-e)

解得b1

=0

b2=b3=(1-e)log(1-e)+eloge

所以 C=log

?

2

bj

=log[20+2×2(1-e)log(1-e)+eloge]

j

=log[1+21-H(e)]=log[1+2(1-

e)(1-e)ee]

ì11?1-C-C?P(b)=2b=2==1?(1-e)e1-H(e)?1+2(1-e)e1+2???(1-e)eee?b2-C?P(b2)=2=í(1-e)e?1+2(1-e)e???P(b3)=2b3-C=P(b2)??????3

而 P(bj)=?P(ai)P(bj|ai) (j=1,2,3)

i=1

ìP(b1)=P(a1)???得íP(b2)=P(a2)(1-e)+P(a3)e ?????P(b3)=P(a2)e+P(a3)(1-e)

1

所以 P(a1)=P(b1)=

1+2(1-e)(1-e)ee

(1-e)eee

P(a2)=P(a3)=P(b2)=P(b3)=

1+2(1-e)(1-e)ee

當(dāng)e=0時,此信道為一一對應(yīng)信道,得

1

C=log3, P(a1)=P(a2)=P(a3)=

311

當(dāng)e=1/2時,得 C=log2, P(a1)=,P(a2)=P(a3)=

24

3.5 求下列二個信道的信道容量，并加以比較

?p??

（1）??p??

?

p??p??

?p??2??

? （2）?

?p??2????

p??p??

2?0

0?

? 2???

其中p+p=1

解：

（1）此信道是準(zhǔn)對稱信道，信道矩陣中Y可劃分成三個互不相交的子集 由于集列所組成的矩陣

?p???

?p???

算。

p????2??

?,??而這兩個子矩陣滿足對稱性，因此可直接利用準(zhǔn)對稱信道的信道容量公式進行計???2?p?????

2

C1=logr-H(p1’ p2’ p3’)-

?NklogMk

k?1

其中r=2,N1=M1=1-2C1=log2-H(=log2+(

? N2=2? M2=4? 所以

p??,p-ε,2ε)-(1-2?)log(1-2?)-2?log4?

p??)log(p??)+(p-ε)log(p-ε)

p??)log(p??)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog4ε

p??)log(p??)+(p-?)log(p-?)

=log2-2εlog2-(1-2ε)log(1-2ε)+(=(1-2ε)log2/(1-2ε)+(

輸入等概率分布時達到信道容量。

（2）此信道也是準(zhǔn)對稱信道，也可采用上述兩種方法之一來進行計算。先采用準(zhǔn)對稱信道的信道容量公式進行計算，

此信道矩陣中Y可劃分成兩個互不相交的子集，由子集列所組成的矩陣為?

?p??

?p???p????2??，??p?????0

0?

?2???

這兩矩陣為對稱矩陣 其中r=2,N1=M1=1-2

2

? N2=M2=2?，所以

C=logr-H(

p-?,p-ε,2ε,0)-?NklogMk

k?1

=log2+(

p-?)log(p-?)+(p-ε)log(p-ε)+2εlog2ε-(1-2ε)log(1-2ε)-2εlog2ε

p-?)log(p-?)+(p-ε)log(p-ε) p-?)log(p-?)+(p-ε)log(p-ε)

=log2-(1-2ε)log(1-2ε)+(

=(1-2ε)log2/(1-2ε)+2εlog2+(=C1+2εlog2

輸入等概率分布（P（a1）=P（a2）=1/2）時達到此信道容量。比較此兩信道容量，可得C2=C1+2εlog2

3-6 設(shè)有擾離散信道的傳輸情況分別如圖3－17所示。求出該信道的信道容量。

X

Y

圖3-17

1

00??1?0110?

22? 解：??0022???00?22?

對稱信道

C?logm?H(Y|ai)

1

?log4??2log2

2

取2為底 C?1bit/符號

3-7 (1)

條件概率

，聯(lián)合概率，后驗概率

111

p(y0)?? ， y1)?? ，y2

)??

326

（

2） H(Y/X)=

（3）

當(dāng)接收為y2，發(fā)為x1時正確，如果發(fā)的是x1和x3為錯誤，各自的概率為： P(x1/y2)=

15

，P(x2/y2)=

15

，P(x3/y2)=

35

其中錯誤概率為： Pe=P(x1/y2)+P(x3/y2)=（4）平均錯誤概率為

（5）仍為0.733 （6）此信道不好

原因是信源等概率分布，從轉(zhuǎn)移信道來看 正確發(fā)送的概率x1-y1的概率0.5有一半失真 x2-y2的概率0.3有失真嚴(yán)重

15

?

35

?0.8

x3-y3的概率0 完全失真 （7）

H(X/Y)=

16

Log(2)?

110

Log(5)?

115

Log??

213?5?1?5?1?5?

??Log???Log(5)?Log???Log(10)?Log???1.301

1010?2?15?2?10?3?30?3?

5?

3. 8 設(shè)加性高斯白噪聲信道中，信道帶寬3kHz，又設(shè){(信號功率+噪聲功率)/噪聲功率}=10dB。

試計算該信道的最大信息傳輸速率Ct。

解：

6

3. 9 在圖片傳輸中，每幀約有2.25?10個像素，為了能很好地重現(xiàn)圖像，能分16個亮度電平，并假設(shè)亮度電平等概分布。試計算每分鐘傳送一幀圖片所需信道的帶寬（信噪功率比為30dB）。

解：

H?log2n?log216?4 bit/symbolI?NH?2.25?106?4?9?106 bit?10

I9?106

Ct???1.5?105 bit/s

t60

?PX?

Ct?Wlog??1?P??

N??

3-10 一個平均功率受限制的連續(xù)信道，其通頻帶為1MHZ，信道上存在白色高斯噪聲。 （1）已知信道上的信號與噪聲的平均功率比值為10，求該信道的信道容量；

（2）信道上的信號與噪聲的平均功率比值降至5，要達到相同的信道容量，信道通頻帶應(yīng)為多大？

（3）若信道通頻帶減小為0.5MHZ時，要保持相同的信道容量，信道上的信號與噪聲的平均功率比值應(yīng)等于多大？ 解：（1）C

1.5?105

W???15049 Hz

?PX?log2(1?1000)log??1?P??

N??

Ct

?Wlog2(1?SNR)

?1?106log2(1?10)

?3.159Mbps

（2）C2?W2log2(1?5)?3.459Mbps

3.159M

?W2??1.338MHZ

log26?W3log2(1?SNR')?3.459Mbps

3.459

log2(1?SNR')?

0.5

?SNR?120

（3）C3

4.1

解：

依題意可知：失真矩陣：d??平均失真：

2

2

???01??1??

p(b|a)?，轉(zhuǎn)移概率 ji???1????10???

???p(ai)p(bj|ai)d(ai,bj)

i?1j?1

?1/2?(1??)?0?1/2???1?1/2???1?1/2?(1??)?0??

4.2

解：

?01?

依題意可知：失真矩陣：d???，

20??

Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0

i

j

Dmax?minDj?min?p(xi)d(xi,yj)?1/2?0?1/2?1?1/2(1/2?2?1/2?0?1舍去)

j

i

當(dāng)Dmin

?0，R(Dmin)?R(0)?H(X)?log2?1bit

?10?

因為沒有失真，此時的轉(zhuǎn)移概率為P???

01??

當(dāng)Dmax

?1/2，R(Dmax)?0

因為取的是第二列的Dmax值，所以輸出符號概率:p(b1)?0,p(b2)?1,a1?b2,a2?b2,因此編碼器的轉(zhuǎn)

?01?

移概率為P???

01??

4.3

解：

11113

Dmax?minDj?min?p(xi)d(xi,yj)??1??1??1??0?

j44444i

1111

Dmin??p(xi)mind(xi,yj)??0??0??0??0?0

j4444i

當(dāng)Dmin?0，R(Dmin)?R(0)?H(X)?log4?2bit

?1000??0100?

? 因為沒有失真，此時的轉(zhuǎn)移概率為P??

?0010???0001??

當(dāng)Dmax?3/4，R(Dmax)?0

因為任何一列的Dmax值均為3/4，所以取輸出符號概率:

p(b1)?1,p(b2)?0,p(b3)?0,p(b4)?0，即

000?000?? 000?

?

000?

?1?1

a1?b1,a2?b1,a3?b1,a4?b1因此編碼器的轉(zhuǎn)移概率為P??

?1??1

4.4

解：

依題意可知：失真矩陣：d??

j

?011/4?

， ?

?101/4?

Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0

i

Dmax?minDj?min?p(xi)d(xi,yj)?min(1/2?1/4?1/2?1/4)?1/4(其它2個均為1/2)

j

i

當(dāng)Dmin

?0，R(Dmin)?R(0)?H(X)?log2?1bit

?100?

因為沒有失真，此時的轉(zhuǎn)移概率為P???

010??

當(dāng)Dmax?1/4，R(Dmax)?0

因為取的是第三列的Dmax值為1/4，所以取輸出符號概率:

p(b1)?0,p(b2)?0,p(b3)?3，即

?001?

a1?b3,a2?b3因此編碼器的轉(zhuǎn)移概率為P???

001??

4.5

解：

0??01??1

(1)依題意可知：失真矩陣：d???，轉(zhuǎn)移概率為：P??q1?q?

10????

???p(xi)p(yj|xi)d(xi,yj)?p?1?0?p?0?1?(1?p)?q?1?(1?p)?(1?q)?0

i?1j?1

nm

?q?(1?p)

(2)Dmin

??p(xi)mind(xi,yj)?p?0?(1?p)?0?0

i

j

因為R(D)是D的遞減函數(shù)，所以

max(R(D))?R(Dmin)?H(p)?H(Dmin)??plogp?(1?p)log(1?p)

當(dāng)q

?0時可達到max(R(D))，此時?0

?minDj?min?p(xi)d(xi,yj)?p?0?p?1?p(另一個1?p更大，舍去)

j

i

(3) Dmax

因為R(D)是D的遞減函數(shù)，所以

min(R(D))?R(Dmax)?H(p)?H(Dmax)?0

當(dāng)q

?1時可達到min(R(D))，此時?1?p

(圖略，見課堂展示)

4.6

解：

1??0?1??u??0

依題意可知：失真矩陣：d???，信源?p(u)???1/21/2?

?01??????

Dmin??p(xi)mind(xi,yj)?1/2?0?1/2?0?0，

i

j

Dmax?minDj?min?p(xi)d(xi,yj)?min(1/2?0?1/2??,1/2???1/2?0,1/2?1?1/2?1)

j

i

?min[?,?,1]?1(另二個?，舍去)

0?D?1

因為二元等概信源率失真函數(shù)：

?D?

R(D)?lnn?H??

?a?

其中n?2,a?1，所以率失真函數(shù)為： R(D)?1?D

4.7

解：失真矩陣為

?011?

?，按照P81頁方法求解（例4-5是二元輸入和輸入，本題是三元輸入和輸入，超麻煩！明天再算好

d??101??

??110??

發(fā)送過來噢）

4.8

信息率失真函數(shù)R(D)物理意義：

①R(D)是信源給定的情況下，在可容忍的失真度內(nèi)再現(xiàn)信源消息所必須獲得的最小平均信息量； ②R(D)是反映給定信源可壓縮的程度；

③R(D)求出后，就與選擇的試驗信道無關(guān)，而只是信源特性的參量，不同的信源，其R(D)是不同的。 R(D)函數(shù)的性質(zhì)：

性質(zhì)1 : R(D)在定義域內(nèi)是下凸的 性質(zhì)2 : R(D)在定義域內(nèi)是連續(xù)的 性質(zhì)3 : R(D)在定義域內(nèi)是單調(diào)遞減的 因此：

1. R(D)是非負函數(shù)，定義域0～Dmax，值域0～H(X)； 2. R(D)是單調(diào)不增、下凸的連續(xù)函數(shù)。

H(XR(D* max

(2) 哪些碼是非延長碼？

(3) 對所有唯一可譯碼求出其平均碼長和編譯效率。 解：首先，根據(jù)克勞夫特不等式，找出非唯一可譯碼

C1:6?2?3?1

C2:2?1?2?2?2?3?2?4?2?5?2?6?63?164

C4:2?1?2?2?4?2?4?1C3:

C5:2?1?5?2?3?1C6:2?2?5?2?3?1?C5不是唯一可譯碼，而C4：

又根據(jù)碼樹構(gòu)造碼字的方法

63?164

C1，C3，C6的碼字均處于終端節(jié)點

?他們是即時碼

5-2

(1) 因為A,B,C,D四個字母,每個字母用兩個碼,每個碼為0.5ms, 所以每個字母用10ms 當(dāng)信源等概率分布時,信源熵為H(X)=log(4)=2

平均信息傳遞速率為 (2) 信源熵為

H(X)=

bit/ms=200bit/s

5-5

(1) H(U)=

=0.198bit/ms=198bit/s

11111111

24816326412812814

18

12

Log(2)?Log(4)?Log(8)?

116

Log(16)?

132

Log(32)?

164

Log(64)?

1128

Log(128)?

1128

Log(128)?1.984

(2) 每個信源使用3個二進制符號,出現(xiàn)0的次數(shù)為

出現(xiàn)1的次數(shù)為

P(0)=

P(1)= (3)

(4) 相應(yīng)的香農(nóng)編碼

相應(yīng)的費諾碼

（5）香農(nóng)碼和費諾碼相同 平均碼長為

編碼效率為：

5-11

（1）信源熵

（2）香農(nóng)編碼：

平均碼長：

編碼效率為

（3） 費諾編碼為

平均碼長為：

編碼效率：

（4）哈夫曼編碼

平均碼長為：

編碼效率：

5.16 已知二元信源{0，1}，其p0=1/4,p1=3/4,試用式（4.129）對序列11111100編算術(shù)碼，并計

算此序列的平均碼長。

解：根據(jù)算術(shù)編碼的編碼規(guī)則，可得：P(s=11111100) = P2(0)P6(1) = (3/4)6 (1/4)2

?1?l??log??7

P(S)??

根據(jù)（4.129）可得：

F(S) = P(0) + P(10) + P(110) + P(1110) + P(11110) + P(111110) = 1–

?P(y)= 1 – P(11111111) – P(11111110) – P(11111101) – P(11111100)

y?s

= 1– P(111111) = 1– (3/4)6 = 0.82202 = 0.110100100111

又P(S) = A(S)= 0.0000001011011001，所以F(S) + P(S) = 0.1101010 即得C = 0.1101010 得S的碼字為1101010 平均碼長L為 0.875。

【《信息論與編碼》答案2345完整版】相關(guān)文章：

海關(guān)編碼（HS編碼）02-08

04編碼與05編碼不同之處04-23

什么是編碼方式06-21

java編碼規(guī)范06-10

編碼教學(xué)反思10-24

物料編碼表07-10

《編碼》教學(xué)反思01-01

遼寧英語試題及答案（完整版）02-09

考研英語真題及答案完整版02-10