南京工程学院信息论参考试卷C

1 设信源X包含n个不同离散消息，当且仅当X中各个消息出现的概率（ ）时，

信源熵达到最大值，为（ ）。

2 离散平稳有记忆信源的平均符号熵HN（X）的表达式为（ ），极限熵H∞

的表达式为（ ）。

3 如纠错码的最小距离为dmin，则可以检出任意小于等于（ ）个随机差错，可以

纠正任意小于等于（ ）个随机差错。

4 一个（2，1，3）卷积码的约束长度为（ ），共有（ ）种状态。卷积码的自由距离

的定义为（ ），可用（ ）法和（ ）法计算自由距离。

5 根据密码算法所使用的加密密钥和解密密钥是否相同，可将密码分成（ ）

和（ ）。

6 算术编码是发展迅速的一种（ ）失真信源编码方法，其基本思想是

（ ）

二 判断题（本题10小题,每小题1分,共10分）

（1） 离散信源的最大熵的值取决于符号状态数，状态数越多，熵越大。 （ ） （2） 只要已知某一个信源符号的先验概率及相应的转移概率，就可以得到相应的互信

息量。

（ ）

（3） 限失真信源编码逆定理说明在允许失真D的条件下，信源最小的、可达的信息传

输率是信源的R(D)。

（ ）

（4） 如X可以唯一确定Y，则H(Y/X)=0。 （5） 马尔可夫序列的联合概率具有时间推移不变性。 （6） 码组{0，01，011，0111}属于不等长的即时码。 （7） 极限熵H∞=有记忆信源的最小平均消息熵。

（ ）

（ ） （ ） （ ）

（8） 若码[101111],[111100]，则和之间的汉明距离为D(,)3（ ）

（9） 设（7，4）循环码的生成多项式为g(x)=x3+x+1，当接收码字为0010011时，接

收码字中有错。

（ ） （ ）

（10）条件熵H(Y/X)称为疑义度，可疑度，它表示接收者收到Y后，对信源X仍然存

在的平均不确定度。

四 计算题（本题3小题,共25分） 1．设（7，4）循环码的生成多项式1）监督多项式；

2）此循环码的生成矩阵（非系统码和系统码形式）； 3）一致监督矩阵； 4）若输入

u(x)1xx23g(x)xx13，求：

，试求系统码形式的输出码字。 （2+4+2+2=10分）

12P142 已知信道的转移概率矩阵为

141218181818，请问：

1）信道容量C的定义式什么？

2）求该信道的信道容量C。 （3+3=6分）

3 已知X，Y∈{0，1}，XY构成的联合概率为p（00）=p（11）=1/8，p（01）=p（10）=3/8，试计算熵H（X），H（XY），H（X/Y）。 （9分）

五 综合题（本题3小题，共30分）

Ss1......s2......s3.......s4.......s5.....s6P(s)0.3...0.2...0.15...0.15...0.1...0.11 已知离散无记忆信源，试求：

1）求信源熵H（S）；

2）进行哈夫曼编码，并求平均码长和编码效率；

3）哈夫曼编码是否唯一？如果不唯一，哪种编码方法更佳？ （3+4+3=10分）

2 一个二进制(r=2)二阶(m=2)马尔可夫信源的原始信源为X∈{0，1}，这时的状态空间为：S= {S1=00, S2=01, S3=10, S4=11}，共有r=2=4个不同的状态。已知其一步转移概率为：

m

2

试：1）画出信源的状态转移图；

2）求各状态的稳态概率Wi；

3）计算该马尔可夫信源的极限熵H∞。 （3+3+4=10分）

1G000100011011111100113 已知一个（7，3）线性分组码的生成矩阵为1）求一致校验阵H；

2）求出码字空间集合；

，求：

3）计算该线性分组码的最小距离dmin。

4）接收到的码字为R1=0010100，如何判断是否有错？（3+3+2+2=10分）

答案：

1、相等 log2n

2、， 3、dmin—1 ，（dmin—1）/2

4、 3，8，任意长度卷积码编码后序列之间的最小汉明距离，网格图，梅森公式 5、（对称密码）和（ 非对称密码 ） 6、无，将一定精度的数值作为序列的编码

二 判断题（本题10小题,每小题1分,共10分） 1．√ 2．√ 3．√ 4．√ 5．× 6．× 7．√ 8．× 9．√ 10．×

2、解：1）信道容量的定义式为：（3分）

3、解：p(0)=p(00)+p(01)=1/8+3/8=1/2 p(1)=p(10)+p(11)=1/8+3/8=1/2

q(0)=p(00)+p(10)=1/8+3/8=1/2 q(1)=p(01)+p(11)=3/8+1/8=1/2 H(X)=1/2log22+1/2log22=1bit/符号

H(XY)=2×1/8log28+2×3/8log28/3=1.8bit/符号

五、1、

3)由于按照概率大小顺序排队方法的不惟一，哈夫曼编码不惟一。将新合并的等概率消息排列到上支路（即大概率位置），可以证明它将有利于缩短码长的方差，即编出的码更接近于等长码，这种编码方法更佳。 2、

2）由状态图可以判断，这是一个非周期不可闭集，具有各态历经性，根据各态历经定理的方法同样可以判断，存在状态极限概率。有：

p(S1) 0 p(S1) 0.8 0 0.5 p(S2) 0.2 0 0.5 0 p(S2)

=

p(S3) 0 0.5 0 0.5 p(S3) p(S4) 0 0.5 0 0.8 p(S4)

其约束条件为：p(S1)+p(S2)+p(S3)+p(S4)=1 和p(Si)>0 (i=1,2,3,4) 解得其极限概率分别为：

p(S1)=p(S4)=5/14; p(S2)=p(S3)=2/14

3）由极限概率和状态转移概率就可以计算马尔柯夫信源的极限熵：

3、

2)C=u·G=(u0u1u2)G=(0000000)(0011101)(0100111)(0111010)(1001110)

(1010011)(1101001) (1110100)

3)d(c1,c2) =W(C1⊕C2)=4