率失真函数和失真率函数（即率失真函数的反函数）是通过互信息的概念加以定义的。将编译码器看成是一种信道，称为试验信道有条件概率P（y|x）。这一信道的输入x和输出y分别对应编码的输入和译码的输出。试验信道输入输出间的互信息相当于信源通过编译码器给信宿的信息量。这样，率失真函数R（D）被定义为试验信道输入输出间的平均失真量度，失真量度不超过D的条件下，试验信道输入输出间互信息量的最小值，即如图1 。
公司主营业务：成都做网站、成都网站制作、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。成都创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。成都创新互联推出盐山免费做网站回馈大家。
而D=Ed（x，y），失真率函数D（R）则相反，它是指互信息的值不超过R的条件下，失真度D可能达到的最小值。这两个函数的计算在原则上都可以用拉格朗日乘子法或变分法来解决，但除了一些简单的情况，如独立二元信源，平稳高斯信源以外，一般很难得到解析解。R．E．勃拉赫特提出的迭代算法为获得数值解提供了一种通用的算法。此外，在某些情况下利用求出上下界的办法对函数进行估计。例如，在非可加性失真量度和拟范数失真量度下，求解高阶率失真函数的仙农下界。
尽管这两个函数的求解有一定难度，但这两个函数变化的一般趋势都很简单。其中率失真函数R（D）是一个在（0，Dmax）区间上严格递减、下凸的函数，D大于Dmax以后均取零。而在D=0时，对离散信源等于信源的熵，对连续信源则趋于无限大，如图所示。失真率函数D（R）同样是R的单调下降的下凸函数。
第1章 绪论 1
1.1 信息的基本概念 1
1.1.1 信息论的产生 1
1.1.2 信息的基本概念 2
1.2 香农信息论研究的内容 3
1.2.1 通信系统模型 4
1.2.2 香农信息论的主要内容 6
1.3 香农信息论研究的进展与应用 8
1.3.1 香农信息论创立的背景 8
1.3.2 香农的主要贡献 9
1.3.3 香农信息论的研究进展 9
1.3.4 香农信息论的应用 12
思考题 12
第2章 离散信息的度量 14
2.1 自信息和互信息 14
2.1.1 自信息 14
2.1.2 互信息 17
2.2 信息熵 18
2.2.1 信息熵的定义与计算 18
2.2.2 条件熵与联合熵 21
2.2.3 熵的基本性质 22
2.3 平均互信息 27
2.3.1 平均互信息的定义 27
2.3.2 平均互信息的性质 28
2.3.3 平均条件互信息 30
本章小结 33
思考题 34
习题 34
第3章 离散信源 37
3.1 离散信源的分类与数学模型 37
3.1.1 离散信源的分类 37
3.1.2 离散无记忆信源的数学模型 38
3.1.3 离散有记忆信源的数学模型 39
3.2 离散无记忆信源的熵 39
3.2.1 单符号离散无记忆信源的熵 39
3.2.2 离散无记忆信源N次扩展源的熵 40
3.3 离散平稳信源的熵 40
3.3.1 离散平稳信源 40
3.3.2 离散平稳有记忆信源的熵 41
3.4 有限状态马尔可夫链 42
3.4.1 马氏链基本概念 43
3.4.2 齐次马氏链 43
3.4.3 马氏链状态分类 46
3.4.4 马氏链的平稳分布 47
3.5 马尔可夫信源 48
3.5.1 马氏源的基本概念 48
3.5.2 马氏源的产生模型 50
3.5.3 马氏链N次扩展源的熵的计算 51
3.5.4 马氏源符号熵的计算 53
3.6 信源的相关性与剩余度 55
3.6.1 信源的相关性 55
3.6.2 信源剩余度(冗余度) 55
3.6.3 自然语言的相关性和剩余度 56
本章小结 59
思考题 59
习题 60
第4章 连续信息与连续信源 64
4.1 连续随机变量集合的熵 64
4.1.1 连续随机变量的离散化 65
4.1.2 连续随机变量集的熵 65
4.1.3 连续随机变量集的条件熵 65
4.1.4 连续随机变量集的联合熵 66
4.1.5 连续随机变量集合差熵的性质 66
4.1.6 连续随机变量集合的信息散度 68
4.2 离散时间高斯信源的熵 69
4.2.1 一维高斯随机变量集的熵 69
4.2.2 多维独立高斯随机变量集的熵 69
4.2.3 多维相关高斯随机变量集的熵 69
4.3 连续最大熵定理 70
4.3.1 限峰值最大熵定理 71
4.3.2 限功率最大熵定理 71
4.3.3 熵功率和剩余度 72
4.4 连续随机变量集的平均互信息 72
4.4.1 连续随机变量集的平均互信息 72
4.4.2 连续随机变量集平均互信息的性质 73
4.5 离散集与连续集之间的互信息 75
4.5.1 离散事件与连续事件之间的互信息 76
4.5.2 离散集合与连续集合的平均互信息 76
本章小结 77
思考题 77
习题 77
第5章 无失真信源编码 80
5.1 概述 80
5.1.1 信源编码器 80
5.1.2 信源编码的分类 81
5.1.3 分组码 82
5.2 定长码 83
5.2.1 无失真编码条件 83
5.2.2 信源序列分组定理 84
5.2.3 定长码信源编码定理 86
5.3 变长码 88
5.3.1 异前置码的性质 88
5.3.2 变长码信源编码定理 90
5.4 哈夫曼编码 93
5.4.1 二元哈夫曼编码 93
5.4.2 多元哈夫曼编码 96
5.4.3 马氏源的编码 97
*5.5 几种实用的编码方法 99
5.5.1 算术编码 99
5.5.2 游程编码 100
5.5.3 L-Z编码 101
本章小结 101
思考题 102
习题 102
第6章 离散信道及其容量 105
6.1 概述 105
6.1.1 信道的分类 105
6.1.2 离散信道的数学模型 106
6.1.3 信道容量的定义 109
6.2 单符号离散信道及其容量 109
6.2.1 离散无噪信道的容量 109
6.2.2 离散对称信道的容量 110
6.2.3 一般离散信道的容量 112
6.3 级联信道及其容量 116
6.4 多维矢量信道及其容量 118
6.4.1 多维矢量信道输入与输出的性质 118
6.4.2 离散无记忆扩展信道及其容量 120
6.4.3 并联信道及其容量 122
6.4.4 和信道及其容量 122
6.5 信道容量的迭代计算 123
本章小结 125
思考题 126
习题 126
第7章 有噪信道编码 129
7.1 概述 129
7.1.1 信道编码的基本概念 129
7.1.2 判决与译码规则 130
7.1.3 译码错误概率 131
7.2 最佳判决与译码准则 132
7.2.1 最大后验概率准则 132
7.2.2 最大似然准则 133
7.3 信道编码与最佳译码 134
7.3.1 线性分组码 134
7.3.2 序列最大似然译码 135
7.3.3 几种简单的分组码 136
7.4 费诺(Fano)不等式 137
7.4.1 信道疑义度 137
7.4.2 费诺(Fano)不等式 138
7.5 有噪信道编码定理 139
7.5.1 联合典型序列 140
7.5.2 有噪信道编码定理 141
7.5.3 无失真信源信道编码定理 143
7.6 纠错编码技术简介 144
7.6.1 线性分组码的编译码 144
7.6.2 几种重要的分组码 148
7.6.3 卷积码简介 149
*7.7 信道编码性能界限 150
7.7.1 汉明球包界 150
7.7.2 VarsharmovGilbert界 151
7.7.3 Plotkin界 152
本章小结 153
思考题 153
习题 154
第8章 波形信道 159
8.1 离散时间连续信道 159
8.1.1 时间离散连续信道模型 159
8.1.2 平稳无记忆连续信道 160
8.1.3 多维矢量连续信道的性质 160
8.1.4 离散时间连续信道的容量 160
8.2 加性噪声信道与容量 161
8.2.1 加性噪声信道的容量 161
8.2.2 加性高斯噪声信道的容量 162
8.2.3 一般加性噪声信道容量界 163
8.2.4 并联加性高斯噪声信道的容量 164
8.3 AWGN信道的容量 166
8.3.1 加性高斯噪声波形信道 166
8.3.2 波形信道的互信息与容量 167
8.3.3 AWGN信道的容量 168
8.3.4 高斯噪声信道编码定理 170
8.3.5 功率利用率和频谱利用率的关系 171
8.4 有色高斯噪声信道 173
8.4.1 有色高斯噪声信道容量 173
8.4.2 AWGN信道容量的进一步讨论 175
*8.5 数字调制系统的信道容量 176
本章小结 179
思考题 180
习题 180
第9章 信息率失真函数 183
9.1 概述 183
9.1.1 系统模型 184
9.1.2 失真测度 184
9.2 离散信源信息率失真函数 185
9.2.1 信息率失真函数 185
9.2.2 R(D)函数的性质 185
9.3 限失真信源编码定理 188
9.3.1 码率的压缩 188
9.3.2 限失真信源编码定理 189
9.3.3 限失真信源信道编码定理 190
9.4 离散信源信息率失真函数的计算 190
9.4.1 R(D)参量表示法求解 191
9.4.2 R(D)求解过程归纳 192
9.4.3 参量s的意义 193
9.5 连续信源信息率失真函数 195
9.5.1 信息率失真函数与性质 195
9.5.2 R(D)函数的计算 195
9.5.3 差值失真测度 196
9.6 高斯信源的R(D)函数 197
9.6.1 离散时间无记忆高斯信源 197
9.6.2 独立并联高斯信源 199
9.7 一般连续信源R(D)函数 201
*9.8 有损数据压缩技术简介 201
9.8.1 量化 202
9.8.2 预测编码 202
9.8.3 子带编码 203
9.8.4 变换编码 203
本章小结 204
思考题 205
习题 205
第10章 有约束信道及其编码 208
10.1 标号图的性质 208
10.1.1 标号图的基本概念 208
10.1.2 标号图的变换 210
10.2 有约束信道容量 211
10.2.1 有约束信道容量的定义 211
10.2.2 等时长符号有约束信道的容量 212
10.2.3 不等时长符号无约束信道的容量 213
10.2.4 不等时长符号有约束信道的容量 214
10.3 有约束序列的性质 215
10.3.1 信道对传输序列的约束 215
10.3.2 游程长度受限序列(RLL) 215
10.3.3 部分响应最大似然(PRML)序列 217
10.3.4 直流平衡序列 218
10.3.5 其他频域受限序列 220
10.4 有约束信道编码定理 220
10.4.1 编码器的描述 220
10.4.2 有约束信道编码定理 221
10.4.3 有限状态编码定理 221
10.4.4 编码器性能指标 222
*10.5 有约束序列编码与应用 222
10.5.1 块编码器 222
10.5.2 实用直流平衡序列 223
10.5.3 常用有约束序列编码及应用 225
本章小结 227
思考题 227
习题 227
第11章 网络信息论初步 230
11.1 概述 230
11.2 多址接入信道 231
11.2.1 二址接入信道的容量 232
11.2.2 不同多址方式下的接入信道容量分析 236
11.2.3 多址接入信道的容量 238
11.3 广播信道 238
11.3.1 退化广播信道 239
11.3.2 退化广播信道的容量区域 240
11.4 相关信源编码 242
11.4.1 典型的相关信源编码模型 243
11.4.2 Slepian-Wolf相关信源编码定理 244
本章小结 247
思考题 248
习题 249
*第12章 信息理论方法及其应用 250
12.1 信源熵的估计 250
12.1.1 离散信源序列熵的估计 251
12.1.2 连续信源熵的估计 254
12.2 最大熵原理 255
12.2.1 最大熵原理的描述 255
12.2.2 熵集中定理 258
12.2.3 几种重要的最大熵分布 259
12.3 最小交叉熵原理 261
12.3.1 最小交叉熵原理 261
12.3.2 交叉熵的性质 263
12.3.3 最小交叉熵推断的性质 264
12.3.4 交叉熵法 265
12.4 信息理论方法的应用 265
12.4.1 DNA序列的熵估计和压缩 265
12.4.2 最大熵谱估计和最小交叉熵谱估计 267
12.4.3 最大熵建模及其在自然语言处理中的应用 269
12.4.4 最大熵原理在经济学中的应用 271
12.4.5 信息理论方法应用展望 273
本章小结 273
思考题 274
习题 274
参考文献 276
香农定理
香农定理：香农定理则描述了有限带宽;有随机热噪声信道的最大传输速率与信道带宽;信号噪声功率比之间的关系.
在有随机热噪声的信道上传输数据信号时,数据传输率Rmax与信道带宽B,信噪比S/N关系为：Rmax=B*LOG⒉（1+S/N）
在信号处理和信息理论的相关领域中,通过研究信号在经过一段距离后如何衰减以及一个给定信号能加载多少数据后得到了一个著名的公式,叫做香农（Shannon）定理.它以比特每秒（bps）的形式给出一个链路速度的上限,表示为链路信噪比的一个函数,链路信噪比用分贝（dB）衡量.因此我们可以用香农定理来检测电话线的数据速率.
香农定理由如下的公式给出:C=Blog2(1＋S/N) 其中C是可得到的链路速度,B是链路的带宽,S是平均信号功率,N是平均噪声功率,信噪比（S/N）通常用分贝（dB）表示,分贝数=10×log10（S/N
在信源给定时，总希望在满足一定失真的情况下信息传输率R尽可能小。即满足D毛D‘时，寻找信息传输率R的下限值。从接收端看，即在D=D‘情况下，寻找平均互信息量I (U,V)的最小值。
设在D’失真许可试验信道中某一信道P Cz}; } u;)在万镇D‘条件下有R(D")=min {1(U,V ) ,P(v;}u)E Bo"}，称该函数为信息率失真函数。
对于长度为K的信源符号序列，信息率失真函数为kxCD‘）＝min {1(U，VK)，P(凤｝a;)E Bo"(、）｝.R(D')反映了在满足D镇D‘情况下信源可压缩的程度。
全体可达率失真对于（R,D）所成的集合闭包称为率失真空间。
对于给定的失真D，满足（R,D）包含于信源的率失真区域内的所有码率R的下确界称为率失真函数R(D)；对于给定的码率R，满足（R,D）包含于信源的率失真区域的所有失真D的下确界称为失真率函数D（R）。
R(D)就是在满足保真度准则下，实验信道输入与输出之间的最小平均互信息。
其实就是说是通过这个来确定信道的。
重庆分公司
重庆分公司
