前面讨论了单符号离散信源,很多实际信源往往输出的消息是时间或空间的离散随机序列,有无记忆的离散信源序列,而更多的是有记忆的,即序列中的符号之间有相关性。此时需要用联合概率分布函数或条件概率分布函数来描述信源发出的符号间的关系。下面讨论离散无记忆扩展信源和两类较简单的离散有记忆序列信源,即离散平稳信源和马尔可夫信源。