《信息论——本质·多样性·统一》((美)布尔金…)【简介。《信息论——本质·多样性·统一》((美)布尔金…)【简介。这篇论文与1949年发表的另外一样篇论文共奠定了现代信息论的基础。

 

〇、目的

机器上的不少算法中,越来越多之动信息论的有的看法和结论。本文更多的凡从机器上之角度对信息论做一个略概述。

 

Atitit.信息论原理概论attilax总结

一律、信息论简史[1]

信息论是20世纪40年代后期起遥远报道执行备受总下的平流派科目,是特意研究信息之卓有成效处理同可靠传输的形似原理的正确性。

切略(E.C.Cherry)曾写了一样首首信息理论史,他打石刻象形文字由,经过被世纪启蒙语言学,直到16世纪吉尔伯特(E.N.Gilbert)等人口以电报学方面的做事。

20世纪20年间奈奎斯特(H.Nyquist)和哈特莱(L.V.R.Hartley)最早研究了通信系统传输信息之力量,并盘算度量系统的信道容量。现代信息论开始产出。

1948年克劳德·香农(Claude
Shannon)发表之舆论“通信的数学理论”是社会风气上篇软用报道过程建立了数学模型的论文,这首论文与1949年上之另外一样首论文共奠定了当代信息论的根底。

由于现代报导技术飞速发展和任何课程的交叉渗透,信息论的钻研就于香农当年仅仅限于通信系统的数学理论的狭义范围扩展起来来,而成今日名叫信息科学的宏大体系。

Atitit.信息论原理概论attilax总结

 

老二、信息论意义

信息论虽然起源于通信世界,但信息论的迈入以及以已超越老的义。

 

1.
《信息论基础(原题第2版本)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html1

2.1、信息论是对客观世界的再次进一步抽象和讲述

信是本着合理世界的抽象,信息论是对信息之纸上谈兵,也便是针对合理世界之一发抽象和讲述。这种肤浅为是工作者提供了一个再次宏观的角度来审视信息,观察世界。

1.
《信息论基础(原题第2版本)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html1

2.
《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html2

2.2、信息论对其它科目的递进

“信息论在统计物理(热力学)、计算机是(科尔莫戈罗夫复杂度或算法复杂度)、统计测算(奥卡姆剃刀:最精简之诠释最佳)以及概率和统计(关于最优化假设检验与估算的误差指数)等科目中都怀有奠基性的奉献。”[2]

信息论在经济领域、政治领域啊颇具至关重要之指导意义。

2.
《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html2

3.
附录 
信息论的数学基础  
附录A 集合论基础  
附录B 算法论要义  
附录C 逻辑学要义  
附录D 代数与范畴论要义  
附录E 概率论要义  
附录F 数字与数值函数  
附录G 拓扑、度量和赋范空间2

2.3、信息论是重要的方法论

其一意见来吴军博士的写《硅谷之谜》。信息论建立以无强烈的基本功之上,我们生活被无时无刻都见面碰到去肯定。信息论中众多结论还好看作咱们办事的琢磨方法和方法论。以下会生出提及。[3]

3.
附录 
信息论的数学基础  
附录A 集合论基础  
附录B 算法论要义  
附录C 逻辑学要义  
附录D 代数与范畴论要义  
附录E 概率论要义  
附录F 数字与数值函数  
附录G 拓扑、度量和赋范空间2

4.\ 网络信息论3

其三、基本概念

4.\ 网络信息论3

 

3.1、熵

图片 1

胸怀随机变量的不确定性。log一般拿走以2为之,量纲为比特;如果获以e为底,量纲为奈特。

 

 

3.2、联合熵

图片 2

表示两只随机变量的不确定性。

 

1. 《信息论基础(原书第2本子)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html

第1回
绪论与概览

第2章
熵、相对熵与彼此信息

第3段
渐近全分性

第4章节
随机过程的熵率

4.4 热力学第二定律

第5章
数据压缩

第6节
博弈和数据压缩

第7段
信道容量

第8章
微分熵

第9章节
高斯信道

第10章
率失真理论

第11章
信息论与统计学

第12章
最大熵

第13节
通用信源编码

第14章
科尔莫戈罗夫复杂度

第15章节
网络信息论

第16回
信息论与入股组合理论

第17节
信息论中之不等式

笔者:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 

汉字名:艾提拉(艾龙),   EMAIL:1466519819@qq.com

转载请注明来源: http://blog.csdn.net/attilax

 

3.3、条件熵

图片 3

代表增加一个随机变量X的准下的随机变量Y的不确定性。

1. 《信息论基础(原题第2版本)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html

第1章
绪论与概览

第2节
熵、相对熵与互动信息

第3章节
渐近全分性

第4回
随机过程的熵率

4.4 热力学第二定律

第5章
数据压缩

第6段
博弈与数据压缩

第7回
信道容量

第8章
微分熵

第9回
高斯信道

第10章
率失真理论

第11节
信息论与统计学

第12章
最大熵

第13段
通用信源编码

第14章
科尔莫戈罗夫复杂度

第15回
网络信息论

第16章
信息论与入股做理论

第17段
信息论中之不等式

作者:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 

汉字名:艾提拉(艾龙),   EMAIL:1466519819@qq.com

转载请注明来源: http://www.cnblogs.com/attilax/

 

2. 《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html

Line 138: 第一章  导论

Line 144: 第二回  一般信息论

Line 151: 第三节  统计信息论

Line 158: 第四章节  语义信息论

Line 162: 第五回  算法信息论

Line 168: 第六节  语用信息论

Line 172: 第七章节  信息动力学

Line 179: 第八章  总结

 

 

3.4、相对熵

图片 4

少数独随机分布之间相差的心地。又被K-L散度(Kullback-Leibler
divergence)。

2. 《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html

Line 138: 第一章  导论

Line 144: 第二章  一般信息论

Line 151: 第三节  统计信息论

Line 158: 第四章节  语义信息论

Line 162: 第五回  算法信息论

Line 168: 第六节  语用信息论

Line 172: 第七章节  信息动力学

Line 179: 第八章  总结

 

 

3. 附录  信息论的数学基础   附录A 集合论基础   附录B 算法论要义   附录C 逻辑学要义   附录D 代数与范畴论要义   附录E 概率论要义   附录F 数字和数值函数   附录G 拓扑、度量和赋范空间

3.5、互信息

图片 5

表示一个随机变量包含其他一个随机变量信息量的气量。也是当加以另一样随机变量知识之规则下,原随机变量不确定度的缩减量。

3. 附录  信息论的数学基础   附录A 集合论基础   附录B 算法论要义   附录C 逻辑学要义   附录D 代数与范畴论要义   附录E 概率论要义   附录F 数字与数值函数   附录G 拓扑、度量和赋范空间

4. 网络信息论

 编辑

本书要介绍了网信息论研究的为主问题以及转业网络信息论研究需要之基础知识,并结成当下网信息论研究的红课题,介绍了网络编码、数字喷泉编码和跨层优化规划等。

书    名

《网络信息论》

作    者

樊平毅

 

第1章
概论

第2章
信道容量分析

第3回
图论与网信息流

第4章
简单网络的信道容量

第5节
多址信道的容量分析

第6段
网络编码

第7回
数字喷泉技术

第8章
通信大网的跨层设计理论

 

Atiend

 

3.6、互信息与熵

图片 6

图片 7

4. 网络信息论

 编辑

本书要介绍了网信息论研究之核心问题及从业网络信息论研究得之基础知识,并整合当前网信息论研究之看好课题,介绍了网编码、数字喷泉编码和跨层优化规划等。

书    名

《网络信息论》

作    者

樊平毅

 

第1章
概论

第2章
信道容量分析

第3节
图论与网信息流

第4章
简单网络的信道容量

第5章节
多址信道的容量分析

第6章
网络编码

第7节
数字喷泉技术

第8段
通信大网的跨层设计理论

 

Atiend

 

 

季、重要结论

4.1、香农第一定律

其含义在可以信号源内的消息成为任何通信的编码,而当这种编码尽量从等概率分布时,每个编码所携带的信息量最要命,进而会提高全通信系统的效率。霍夫曼于是定理指导下提出了霍夫曼编码[3]。

4.2、香农第二定律

生叫信道编码定理。当信道的信传输率不超过信道容量时,采用合适的信道编码方法好兑现自由高之传输可靠性,但要是消息传输率超过了信道容量,就无可能实现可靠的传导[1]。通俗地将,就是信息之传播速率不容许跨越信道的容量[3]。

即是通信行业之驳斥功底,更是互联网思维的辩解功底。

4.3、最深熵原理

热力学第二定律表明,孤立系统的熵总是未弱化的。所以当针对一个无限制事件之概率分布的拓展展望时,预测应该满足整都了解的尺码,这时候可以看未知情况的消息熵最可怜,因为这种场面最可能同骨子里情形可。

吴军博士当该著作《数学的美》中,这样表述,“最酷熵原理指出,需要对一个随便事件之概率分布进行前瞻时,我们的预计应该满足所有早就清楚条件,而针对性未知之场面并非开其他主观假设。(不开主观假要即点十分重点)在这种情况下,概率分布最全匀,预测的高风险最小。[4]”个人觉得,吴军博士之逻辑是畸形的,因为先假定熵最要命,再闹全匀分布,当然熵最老之遍布,不肯定就是是都匀分布。[2]

绝充分熵模型就是因最要命熵原理的。

4.4、信息论是雅数量思维的驳斥功底

A、熵减原理

图片 8

如上式所述,减多少不显眼的中办法是引入新的有关信息(如果未系,则取等号)。

吴军博士在那个作《硅谷之谜》中这样讲述,“不明朗在身边无处不在,不是动公式就能够预测的,消除对未来匪醒目方法的绝无仅有路径就是是引入信息,这既是信息论的魂魄,也是今日所倡导的异常数量思维的论战功底。[3]”

B、相关分析如果非是以果分析

非常数额思维,提倡相关分析,而非是以果分析。是坐数据量已经累积到得水平,相关分析的血本比较因果分析低多,而针对性我们那个实用[5]。信息论跳出信息所讲述的情节里的因果关系,站于宏观之角度量化信息,研究再宽泛的轻易事件与擅自事件里的涉及,这跟深数据的这种考虑不谋而合。

五、参考

[1]、百度百科

[2]、《信息论基础(第二版)》,Thomas M.Cover等著,阮吉寿等译

[3]、《硅谷之谜》,吴军著

[4]、《数学之美》,吴军著

[5]、《大数目时》,Viktor Mayer-Schönberger著,周涛等译

相关文章