Atitit.音信论原理概论attilax总计,切略(E.C.Cherry)曾写过一篇早期音讯理论史

 

〇、目的

机器学习的居多算法中,越多的拔取音信论的一些视角和结论。本文越来越多的是从机器学习的角度对信息论做一个简易概述。

 

Atitit.音讯论原理概论attilax计算

一、音讯论简史[1]

音信论是20世纪40年份后期从深刻电视发表执行中总括出来的一门学科,是专门探讨音信的灵光处理和可依赖传输的相似规律的没错。

切略(E.C.Cherry)曾写过一篇早期音讯理论史,他从石刻象形文字起,经过中世纪启蒙语言学,直到16世纪吉尔Bert(E.N.Gilbert)等人在电报学方面的劳作。

20世纪20年份奈奎斯特(H.Nyquist)和哈特莱(L.V.R.Hartley)最早探究了通讯系统传输音信的力量,并试图度量系统的信道容量。现代音讯论起初产出。

1948年Crowder·香农(Claude
Shannon)公布的舆论“通讯的数学理论”是世界上首次将报道进度建立了数学模型的舆论,那篇杂文和1949年刊出的另一篇随想一起奠定了现代音信论的基础。

出于现代简报技术急迅发展和别的课程的交叉渗透,新闻论的切磋已经从香农当年仅限于通讯系统的数学理论的狭义范围扩展开来,而改为现行称为音信科学的极大种类。

Atitit.音讯论原理概论attilax总括

 

二、音讯论意义

信息论尽管源点于通信领域,但音信论的开拓进取和选拔已领先原有的含义。

 

1.
《消息论基础(原书第2版)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html1

2.1、新闻论是对客观世界的更进一步抽象和讲述

音信是对成立世界的空洞,音信论是对新闻的悬空,也就是对合理世界的一发抽象和描述。那种肤浅为不易工小编提供了一个更宏观的角度来审视音信,寓目世界。

1.
《音信论基础(原书第2版)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html1

2.
《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html2

2.2、消息论对另耳鼻喉科目的推进

“新闻论在统计物理(热力学)、总结机科学(Cole莫戈罗夫复杂度或算法复杂度)、计算测算(奥卡姆剃刀:最精简的诠释最佳)以及几率和总括(关于最优化要是检验与猜测的误差指数)等课程中都怀有奠基性的进献。”[2]

音讯论在经济领域、政治领域也拥有首要的指引意义。

2.
《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html2

3.
附录 
新闻论的数学基础  
附录A 集合论基础  
附录B 算法论要义  
附录C 逻辑学要义  
附录D 代数与范畴论要义  
附录E 几率论要义  
附录F 数字与数值函数  
附录G 拓扑、度量和赋范空间2

2.3、新闻论是首要的方法论

此观点来源于吴军学士的写作《硅谷之谜》。音信论建立在不明明的基础之上,大家生活中时时都会赶上去肯定。新闻论中众多定论都足以看作大家办事的考虑方法和方法论。以下会有提及。[3]

3.
附录 
新闻论的数学基础  
附录A 集合论基础  
附录B 算法论要义  
附录C 逻辑学要义  
附录D 代数与范畴论要义  
附录E 几率论要义  
附录F 数字与数值函数  
附录G 拓扑、度量和赋范空间2

4.\ 网络信息论3

三、基本概念

4.\ 网络信息论3

 

3.1、熵

图片 1

胸怀随机变量的不确定性。log一般取以2为底,量纲为比特;借使取以e为底,量纲为奈特。

 

 

3.2、联合熵

图片 2

代表七个随机变量的不确定性。

 

1. 《音讯论基础(原书第2版)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html

第1章
绪论与概览

第2章
熵、相对熵与互新闻

第3章
渐近均分性

第4章
随机进度的熵率

4.4 热力学第二定律

第5章
数据压缩

第6章
博弈与数据压缩

第7章
信道容量

第8章
微分熵

第9章
高斯信道

第10章
率失真理论

第11章
音讯论与总括学

第12章
最大熵

第13章
通用信源编码

第14章
Cole莫戈罗夫复杂度

第15章
网络信息论

第16章
音讯论与入股组合理论

第17章
新闻论中的不等式

小编:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 

汉字名:艾提拉(艾龙),   EMAIL:1466519819@qq.com

转发请注脚来源: http://blog.csdn.net/attilax

 

3.3、条件熵

图片 3

意味着扩大一个任意变量X的尺码下的任意变量Y的不确定性。

1. 《音信论基础(原书第2版)》((美)科弗(Cover…)【简介_书评_在线阅读】 – 当当图书.html

第1章
绪论与概览

第2章
熵、相对熵与互音信

第3章
渐近均分性

第4章
随机进程的熵率

4.4 热力学第二定律

第5章
数据压缩

第6章
博弈与数据压缩

第7章
信道容量

第8章
微分熵

第9章
高斯信道

第10章
率失真理论

第11章
音信论与总结学

第12章
最大熵

第13章
通用信源编码

第14章
Cole莫戈罗夫复杂度

第15章
网络新闻论

第16章
音讯论与投资组合理论

第17章
新闻论中的不等式

作者:: 绰号:老哇的爪子 ( 全名::Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ) 

汉字名:艾提拉(艾龙),   EMAIL:1466519819@qq.com

转发请评释来源: http://www.cnblogs.com/attilax/

 

2. 《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html

Line 138: 第一章  导论

Line 144: 第二章  一般新闻论

Line 151: 第三章  统计新闻论

Line 158: 第四章  语义音讯论

Line 162: 第五章  算法音讯论

Line 168: 第六章  语用音讯论

Line 172: 第七章  消息动力学

Line 179: 第八章  总结

 

 

3.4、相对熵

图片 4

三个随机分布之间相距的襟怀。又叫K-L散度(Kullback-Leibler
divergence)。

2. 《信息论——本质·多样性·统一》((美)布尔金…)【简介_书评_在线阅读】 – 当当图书.html

Line 138: 第一章  导论

Line 144: 第二章  一般音讯论

Line 151: 第三章  总结消息论

Line 158: 第四章  语义音信论

Line 162: 第五章  算法音讯论

Line 168: 第六章  语用音讯论

Line 172: 第七章  消息引力学

Line 179: 第八章  总结

 

 

3. 附录  音讯论的数学基础   附录A 集合论基础   附录B 算法论要义   附录C 逻辑学要义   附录D 代数与范畴论要义   附录E 几率论要义   附录F 数字与数值函数   附录G 拓扑、度量和赋范空间

3.5、互信息

图片 5

表示一个随机变量蕴含另一个随机变量音讯量的胸怀。也是在加以另一随机变量知识的规格下,原随机变量不确定度的缩减量。

3. 附录  新闻论的数学基础   附录A 集合论基础   附录B 算法论要义   附录C 逻辑学要义   附录D 代数与范畴论要义   附录E 几率论要义   附录F 数字与数值函数   附录G 拓扑、度量和赋范空间

4. 网络信息论

 编辑

本书重点介绍了网络音信论探讨的宗旨难题和从事互连网音讯论钻探须要的基础知识,并整合当下网络音信论研讨的热门课题,介绍了网络编码、数字喷泉编码以及跨层优化规划等。

书    名

《互连网新闻论》

作    者

樊平毅

 

第1章
概论

第2章
信道容量分析

第3章
图论与网络音信流

第4章
简单网络的信道容量

第5章
多址信道的容量分析

第6章
网络编码

第7章
数字喷泉技术

第8章
通信互连网的跨层设计理论

 

Atiend

 

3.6、互新闻与熵

图片 6

图片 7

4. 网络信息论

 编辑

本书重点介绍了网络音讯论商讨的为主难点和转业互连网新闻论研讨需求的基础知识,并构成当前互连网音信论探究的看好课题,介绍了网络编码、数字喷泉编码以及跨层优化规划等。

书    名

《网络音讯论》

作    者

樊平毅

 

第1章
概论

第2章
信道容量分析

第3章
图论与网络新闻流

第4章
不难网络的信道容量

第5章
多址信道的容量分析

第6章
网络编码

第7章
数字喷泉技术

第8章
通信互连网的跨层设计理论

 

Atiend

 

 

四、首要结论

4.1、香农第一定律

其含义在于可以将信号源内的音讯成为任何通讯的编码,而当那种编码尽量坚守等概率分布时,每个编码所指点的音讯量最大,进而能增加总体通讯系统的频率。霍夫曼在此定理指引下指出了霍夫曼编码[3]。

4.2、香农第二定律

有噪信道编码定理。当信道的新闻传输率不当先信道容量时,拔取合适的信道编码方法可以兑现自由高的传输可靠性,但若消息传输辅导先了信道容量,就不容许完结可相信的传输[1]。通俗地将,就是消息的传播速率不容许超越信道的容量[3]。

那是通信行业的答辩功底,更是互连网思维的答辩基础。

4.3、最大熵原理

热力学第二定律注解,孤立系统的熵总是不减的。所以在对一个肆意事件的几率分布的开展展望时,预测应该满足所有已知的尺度,那时候可以认为未知情状的音信熵最大,因为那种景况最可能和骨子里景况相符。

吴军博士在其撰写《数学之美》中,那样表述,“最大熵原理提议,要求对一个随便事件的几率分布举行展望时,我们的预测应该满意所有已知条件,而对未知的图景并非做此外主观假若。(不做主观即使这一点很重点)在那种景象下,几率分布最均匀,预测的危害不大。[4]”个人认为,吴军博士的逻辑是非正常的,因为先假定熵最大,再有均匀分布,当然熵最大的遍布,不自然就是均匀分布。[2]

最大熵模型就是依照最大熵原理的。

4.4、新闻论是大数量思维的争辩功底

A、熵减原理

图片 8

如上式所述,减小不明了的实惠办法是引入新的相干音讯(如果不相干,则取等号)。

吴军博士在其撰写《硅谷之谜》中如此描述,“不鲜明在身边无处不在,不是行使公式就能预测的,消除对前景不明明方法的唯一路径就是引入音讯,这既是音讯论的魂魄,也是明日所提倡的大数量思维的论战功底。[3]”

B、相关分析而不是因果分析

大数量思维,提倡相关分析,而不是因果分析。是因为数据量已经累积到早晚程度,相关分析的财力比因果分析低很多,而对大家丰盛管用[5]。音信论跳出消息所讲述的始末之间的因果报应关系,站在微观的角度量化新闻,探究更常见的自由事件以及擅自事件之间的涉嫌,那与大数量的这种思考不谋而合。

五、参考

[1]、百度周详

[2]、《信息论基础(第二版)》,托马斯 M.Cover等著,阮吉寿等译

[3]、《硅谷之谜》,吴军著

[4]、《数学之美》,吴军著

[5]、《大数量时代》,Viktor Mayer-Schönberger著,周涛等译

相关文章