“信息论基础”课程教学方法的研究

2022-09-10

随着当今信息产业的飞速发展, 需要大量从事信息、通信、电子工程类专业的人才, 而“信息论基础”是这些专业的重要专业基础课。只有熟练掌握信息论的基础知识, 才能更好的指导理论研究和工程应用。由于这门课程理论性很强, 学生普遍反映较难掌握。通过这门课的研究生教学实践, 我们总结出如下一些教学方法, 归结为“1个基本问题, 3个重要概念, 2个关键定理”, 以供大家参考。

1 抓住通信的基本问题

近代信息论, 也称狭义信息论, 是由Shannon奠基的一门崭新的数学学科, 其研究的基本问题是“The fundamental problem of communication is that of reproducing at one point either exactly or approcimately a message selected at another point.”即如何在两点间进行可靠或有效地信息传输?在“信息论基础”的教学实践中, 教师应该紧紧抓住这个基本问题, 通过回顾一般通信系统的原理框图, 如图1所示, 让学生了解通信的目的就是将信源信息可靠而有效地传输到信宿, 其中信源编译码就是为了提高通信的有效性, 而信道编译码就是为了提高通信的可靠性。然后根据通信的基本问题和系统框图, 引入“信息论基础”需要解决的一些问题: (1) 什么是信息?如何度量? (2) 信息能否被压缩和恢复?极限条件是什么? (3) 在给定的信道中, 信息传输是否存在极限?若存在, 极限条件是什么?这些问题构成了信息论的主要内容和核心, 下面我们将对此展开讨论。

2 强化三个重要概念

要想学好“信息论基础”这门课, 必须掌握三个重要概念, 第一个概念是熵与信息量 (Entropy and the amount of information) , 信息量的大小是通过随机事件的不确定度来恒量的, 而熵H (X) 则代表信源的平均不确定度。这里的概念比较多, 如条件熵H (X|Y) , 联合熵H (X|Y) , 互信息等I (X, Y) , 教师可以通过图2所示的信息量Venn关系图运用通俗语言加以说明。以最重要的互信息I (X, Y) =H (X) -H (X|Y) 为例, 假设信源序列X通过信道传输, 信宿接收序列为{Y, H (X) }表示最初关于X的信息量 (即不确定度量) , H (X|Y) 表示收到Y后关于X的信息量 (即不确定度量) , H (X) -H (X|Y) 表示由于信道传输而减少的关于X的信息量, 也就是Y说中包含了某些关于X的信息量, 其大小为I (X, Y) , 或者形象地说信道传输了大小为I (X, Y) 的关于X的信息量到信宿Y。总之, 熵和信息量的概念是信息论中最为基本的概念, 只有深刻理解其物理含义才能学好下面的率-失真函数和容量-代价函数, 进而才能学好信源和信道编码定理。

第二个重要的概念是率-失真函数 (Rate-distortion function) 。在教学过程中, 应该要求学生明白引入率-失真函数的目的是为了解决在允许失真度的条件下, 信源编码到底能够压缩到何种程度的问题, 是为信源的压缩编码服务, 或者说是为提高通信的有效性服务, 它反映的是信源本身的特性, 与信道无关。教师讲解时应该向学生阐述清楚率-失真函数的本质含义是描述信源输出的信息速率, 即“如果能够容忍的平均失真测度为δ, R (δ) 表示每个信源符号所需要的最少比特数”, 也就是说, 一个信源符号可以被压缩为R (δ) 比特。可以通过图3所示的典型曲线向学生说明, 随着平均失真测度的δ增大, R (δ) 逐步减少, 可见随着δ的增大可以进一步提高压缩率, 因此率-失真理论又称之为“数据压缩理论”, 表示信源数据压缩的理论极限。

第三个重要概念为容量-代价函数 (Capacity-cost function) 。类似率-失真函数, 应该要求学生明白引入容量-代价函数的目的是为了解决在所用信道中传送的最大信息量到底有多大的问题, 它给出了信道无差错传输的信息传输速率上限, 可见引入它是为信道编码服务, 或者说为提高通信的可靠性服务, 它反映的是信道本身的特性, 与信源无关。同样在教学过程中, 教师应该使用通俗的语言解释容量-代价函数的本质含义是描述信道中的信息传输速率, 即“如果要求每个符号的平均输入代价不大于β, C (β) 表示在信道中传输信息的最大速率”。C (β) 的典型曲线如图4所示, 它随着β的增大而增大, 最后达到上限Cmax, 其代表信道中传输信息的最大速率, 简称为信道容量。此处值得关注的一个特殊情况是有关带宽受限、功率受限的高斯连续信道容量公式要向学生解释清楚影响信道容量的“三要素”带宽W, 信号功率P, 噪声功率N0三者之间的权衡和互换关系, 以及进行可靠通信所需比特信噪比的Shannon极限 (-1.6dB) 的概念。

3 突出二个关键定理

掌握了信息量、率-失真函数和容量-代价函数三个重要概念之后, 就很容易引出信息论中的二个关键定理, 即信源编码定理和信道编码定理。所谓信源编码和信道编码定理就是运用严格的数学手段证明图3 (信源编码) 和图4 (信道编码) 中阴影部分的任意一点均是可以实现的。具体表述如下 (这里以离散无记忆信源和离散无记忆信道为例) 。

信源编码定理:对应任意离散无记忆信源 (DMS) , 存在一个率-失真函数R (δ) , 使得对于给定的δ>δmin, 则任意一对满足δ>δ`和的参变量 (δ`, R`) , 以及充分大的k值, 存在一个码长为k, 至多2[R`k]有个码字的信源码, 使得码平均失真测度小于δ`。

信道编码定理:对应任意的离散无记忆信道 (DMC) , 存在一个容量-代价函数C (β) , 使得对于给定的β0≥βmin, 则满足β>β0, C`0的任意三个参变量 (β, C`, ε) , 以及充分大的n值, 存在一个码长为n, 至少2[C`n]有个码字的码, 以及适当的译码规则, 使得每个码字译码失败的概率小于ε且传输该码字每个符号的平均代价不超过β。

其中上述两个编码定理中的[x]和[x]分别表示不大于的最大整数和不小于的最小整数。任课教师在讲授这两个编码定理时, 应该运用通俗而准确的语言向学生详细解释定理中的每个具体表述和措词, 如“什么是离散无记忆信源和离散无记忆信道?”“函数R (β) 和C (β) 如何定义?”“为什么要充分大的k和n?”“存在一个信源编码或信道编码是什么意思”等, 只有这样, 才能使学生从直觉和根本上深入理解这两个编码定理。此外还需向学生强调的是, 信源和信道编码定理是一种非构造性定理, 只是证明了码的存在性, 并没有说明如何去寻找, 也没有说明如何去利用它们, 这些问题均是另一门与信息论相关的课程“编码理论”所关心的课题, 其核心就是寻找一类满足信源和信道编码定理的并且易于设计和应用的信源和信道编码。

4 结语

总之, “信息论基础”是一门理论性很强的课程, 授课教师除了需要具有较强的数学和通信等学科的理论知识和一定的实践经验外, 还应不断研究新的教学方法, 在授课中抓住基本问题、注重基本概念和重要定理的阐述, 辅以生动的图示说明, 将知识融会贯通, 以达到较好的教学效果。

摘要：信息论基础是信息、通信和电子工程等专业的重要专业基础课, 它具有理论性强, 概念繁杂等特点, 对授课教师提出了较高的理论和实践要求。本文在充分分析课程内容和特点的基础之上, 通过该课程的研究生教学实践, 提出了“抓住基本问题, 强化重要概念, 突出关键定理”的教学方法, 同时辅以生动图示说明和通俗语言讲解。教学工作实践表明, 这些方法有助于收到较好的教学效果。

关键词：信息论,编码,通信,教学方法