Page 177 - 教学方法与思维创新

第五章 高校化学教学

（2）信息量
科学研究不仅要求定性，而且要求进行定量处理。定性是定量的基础，而
定量则是定性的精确化。申农把信息定量化后，使通信理论由定性进入定量阶段，
从而使信息论成为一门更为完善的科学，同时也为信息论的进一步研究和发展奠
定了初步的理论基础。

怎样对信息进行度量呢？早在申农以前，哈特莱就指出：“从逻辑上讲，
应当选择对数单位来度量信息。”
现通过一个简单的例子加以说明。

【例 7】某个被传递的消息是由 8 个英文字母构成，为方便起见，把它们从
A 排到 H，在这里采用（0，1）二进制，单位为比特，故每个字母需要 3 个二进
制数字排列。

从以上排列可看出，具有 8 个字母的消息，每个字母需要 3 个二进制数字（或
3 比特），即 8=23，取对数，则 log28=3。如有 m 个符号组成的消息，采用二进制，

故每个符号的信息量（H）：H = log 2 m
采用对数度量信息有其方便之处，H 随 m 而增加，具有可加性。可加性这
一点意味着，两个消息加在一起的总信息量等于每个消息单独存在时各自信息量

之和，即
log 2 （m 1 ·m 2 ）= log 2 m 1 + log 2 m 2
采用对数度量信息也符合我们对信息量的直观认识，如对于信息的传输，
两个相同的信道是一个信道信息容量的一倍。
关于采用对数作为信息的度量，申农在 《通信的数学理论》一文中也曾予

以肯定，他指出采用对数度量比较方便，理由是：①实际上比较有用；②比较直

167
167