1.2信息论研究的对象和内容

由前面关于信息概念的讨论中已经看到：各种通信系统如电报、电话、电视、广播、遥测、遥控、雷达和导航等，虽然它们的形式和用途各不相同，但本质是相同的，都是信息传输系统。为了便于研究信息传输和处理的共同规律，将各种通信系统中具有共同特性的部分抽取出来，概括成一个统一的理论模型，如图1-2所示，通常称它为通信系统模型。

该通信系统模型也适用于其他信息流通系统，如生物有机体的遗传系统、神经系统、视觉系统等，甚至人类社会的管理系统都可概括成这个模型。所以这种统一的理论模型又可统称为信息传输系统模型。

信息论研究的对象正是这种统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律。通信系统模型主要分成下列5个部分。

（1）信源

信源是产生消息和消息序列的源。它可以是人、生物、机器或其他事物。它是事物各种运动状态或存在状态的集合。例如，“篮球比赛的实况”，“各种气象状态”等客观存在是信源。人的大脑思维活动也是一种信源。信源可能出现的状态（即信源输出的消息）是随机的、不确定的，但又有一定的规律性。

（2）编码器

编码是把消息变换成信号的方法。而译码就是编码的反变换。编码器输出的是适合信道传输的信号，信号携带着消息，它是消息的载体。编码器可分为两种，即信源编码器和信道编码器。信源编码是对信源输出的消息进行适当的变换和处理，目的是为了提高信息传输的效率。而信道编码是为了提高信息传输的可靠性而对消息进行的变换和处理。对于各种实际的通信系统，编码器还应包括换能、调制、发射等各种变换处理。

（3）信道

信道是指通信系统把载荷消息的信号从A地传输到B地的媒介。在狭义的通信系统中实际信道有明线、电缆、波导、光纤、无线电波传播空间等，这些都是属于传输电磁波能量的信道。对广义的通信系统来说，信道还可以是其他的传输媒介。信道除了传送信号以外，还有存储信号的作用。如书写通信方式就是一例。在信道中引入噪声和干扰，这是一种简化的表达方式。为了分析方便，把在系统其他部分产生的干扰和噪声都等效地折合成信道干扰，看成是由一个噪声源产生的，它将作用于所传输的信号上。这样，信道输出的已是叠加了干扰的信号。由于干扰或噪声往往具有随机性，所以信道的特性也可以用概率空间来描述。而噪声源的统计特性又是划分信道的依据。

（4）译码器

译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。要从受干扰的编码信号中最大限度地提取出有关信源输出的信息。译码器也可分成信源译码器和信道译码器。

（5）信宿

信宿是消息传送的对象，即接收消息的人或机器。信源和信宿可处于不同地点和不同时刻。

图1-2的通信系统模型是最基本的。近年来，随着通信技术和计算机技术尤其是互联网的建立和发展，对信息传输的质量要求更高了。不但要求既快速有效又能可靠地传递信息，而且还要求信息传递过程中保证信息的安全保密，不被伪造和窜改。因此，在编码器这一环节中还需加入加密编码。相应地，在译码器中加入解密译码。为此，我们把图1-2的通信系统模型中编（译）码器分成信源编码（译码）、信道编码（译码）和加密编码（解密译码）3个部分。这样，信息传输系统的基本模型如图1-3所示。

研究这样一个概括性很强的信息传输系统，其目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性和保密性，使其达到最优化。

所谓可靠性高，就是要使信源发出的消息经过信道传输以后，尽可能准确地、不失真地再现在接收端。而所谓有效性高，就是经济效果好，即用尽可能短的时间和尽可能少的设备来传送一定数量的信息。

后面我们会看到，提高可靠性和提高有效性常常会发生矛盾，这就需要统筹兼顾。例如，为了兼顾有效性（考虑经济效果），有时就不一定要求绝对准确地在接收端再现原来的消息，而是可以允许一定的误差或一定的失真，或者说允许近似地再现原来的消息。所谓保密性就是隐蔽和保护通信系统中传送的消息，使它只能被授权接收者获取，而不能被未授权者接收和理解。有效性、可靠性和保密性三者才体现了现代通信系统对信息传输的全面要求。

信息传输系统模型不是不变的，它根据信息传输的要求而定。如果研究信息传输有效性时，可只考虑信源与信宿之间的信源编（译）码，将其他部分都看成一个无干扰信道。如果研究信息传输可靠性时，将信源、信源编码和加密编码都等效成一个信源，而将信宿、信源译码和解密译码都等效成一信宿。

目前，对信息论研究的内容一般有以下3种理解。

（1）信息论基础

亦称香农信息论或狭义信息论，主要研究信息的测度、信道容量和信息率失真函数、与这3个概念相对应的香农三定理以及信源和信道编码。其研究的各部分内容可用图1-4来描述。

（2）一般信息论

主要研究信息传输和处理问题。除了香农基本理论之外，还包括噪声理论、信号滤波和预测、统计检测与估计理论、调制理论。后一部分内容以美国科学家维纳为代表。虽然维纳和香农等人都是运用概率和统计数学的方法研究准确或近似再现消息的问题，都是通信系统的最优化问题，但它们之间有一个重要的区别。维纳研究的重点是在接收端，研究消息在传输过程中受到干扰时，在接收端如何把消息从干扰中提取出来。在此基础上，建立了最佳过滤理论（维纳滤波器）、统计检测与估计理论、噪声理论等。香农研究的对象是从信源到信宿的全过程，是收、发端联合最优化问题，重点是编码。香农定理指出：只要在传输前后对消息进行适当的编码和译码，就能保证在有干扰的情况下，最佳地传送消息，并准确或近似地再现消息。为此，发展了信息测度理论、信道容量理论和编码理论等。

（3）广义信息论

广义信息论是一门综合性的新兴学科，至今并没有严格的定义。概括说来，凡是能够用广义通信系统模型描述的过程或系统，都能用信息基本理论来研究。不仅包括一般信息论的所有研究内容，还包括如医学、生物学、心理学、遗传学、神经生理学、语言学、语义学，甚至社会学和经济管理中有关信息的问题。反过来，所有研究信息的识别、控制、提取、变换、传输、处理、存储、显示、价值、作用和信息量大小的一般规律以及实现这些原理的技术手段的工程学科，也都属于广义信息论的范畴。