当前位置：网站首页 » 教程 » 内容详情

香农信息论前沿信息_香农定理和奈氏准则(2024年12月实时热点)

内容来源：卡姆驱动平台所属栏目：教程更新日期：2024-12-02

香农信息论

「模型时代」15分钟人工智能简史：从AlphaGo到GPT-o1背后的算法 Art of the Problem的一只人工智能科普视频，原标题是“人工智能如何学会思考”。看完之后，觉得很精彩的，一刻钟的篇幅，就把神经网络这十年左右的进展讲得非常清楚（从AlphaZero强化学习到o1涉及的思维树）。作者 10 年前就在可汗学院讲课了，内容涉及信息压缩、熵等香农信息论题目。本只视频主要讲三个内容： *** 1、思维模型需要两个要素世界模型(World Model)：可以理解为一个模拟器，用来预测环境如何随行动而变化算法(Algorithm)：利用世界模型做出决策的过程 2、算法演进早期规则系统："只会数棋子分值的计算器" TD Gammon："第一个靠自己玩游戏学会了'看局势'的AI" AlphaGo："会像职业棋手一样'思考'的AI - 知道该算哪些棋，该放弃哪些分支" AlphaGo Zero："不要人类经验，完全自学成才的天才棋手" MuZero："不用教规则，看着你玩就能学会的模仿大师" 蒙特卡洛树搜索(MCTS)："不用算完所有可能，随机试几次就知道哪条路靠谱" 政策网络："告诉AI'下一步该看哪里'的直觉老师" 价值网络："告诉AI'这盘棋赢面有多大'的评分老师" 思维链(Chain of Thought)："强迫AI像解数学题一样'写出计算过程'" 思维树(Tree of Thought)："让AI不要钻牛角尖，多想几种可能性" ARC测试："考AI是否真懂规律，而不是背答案的智力测试" 3、一个思考题 AI目前实现的推理究竟是精致的模仿还是真正的理解？如果系统能可靠地推理出正确的结论，它的实现方式是否重要？这个问题目前仍在争议中，体现了AI领域的一个重要哲学分歧。高飞的微博视频

《信息传》：吴军教授的科技传奇作为一个吴军迷，我一直有个梦想，那就是把吴军教授写的所有书都读完。不过，好书总是难求，图书馆里经常找不到。不过，《信息传》倒是有四五本静静地躺在那里，几乎没人问津。于是，我借了一本回家。一开始还以为是本专业学术书，想着可能比较晦涩难懂，就留到最后再读。结果出乎意料，这本书居然非常好看！吴军教授的厉害之处就在于，他能把原本非常理工科的内容写得妙趣横生。除了书中关于香农的信息论部分有点看不懂外，其他部分读起来非常流畅，让人爱不释手。这本书把信息的发展历程分为两个阶段：自发和自觉。在自发阶段，由于缺乏理论指导，大家在混沌中摸索，有人侥幸成功，有人抱恨失意。这个阶段产生了电报、电话、无线电通信、照相机、电影、雷达等伟大发明，改变了人类的发展历程。而在自觉阶段，由于香农、图灵等跨世绝才的存在，他们提出了经典的信息理论，点亮了信息发展的方向，加速了信息化的发展进程。吴军教授总结说：“用更少的能量，传递、处理和存储更多的信息。”这实际上也为未来信息技术的发展提供了基本路径。读完这本书，我深感信息科技的力量和魅力，也对吴军教授的才华和智慧佩服得五体投地。

中传文献考试心得分享 𐟓š 上周六，我终于鼓起勇气参加了学校的文献考试。说实话，一开始我对这次考试有点抵触，但真正开始准备后，发现信通学科的基础文献确实有几本值得一读的好书。今天就来给大家推荐几本我觉得不错的书籍，顺序就按照考试目录来吧。《信息简史》 𐟓š 这本书真的是按照“信息”发展的时间顺序来介绍的。从非洲土著居民用高低鼓语传递信息开始，到文字的产生、拼写规范、信息的机械化表示，再到信息塔、摩尔斯，最后到香农的信息论，这简直是信息的历史阶段。随着香农的信息论的提出，信息开始进入超历史阶段，随机性、生物学等各种领域都开始参与进来。整体感觉这本书不枯燥，人物和他们与信息的渊源都很有吸引力。《人类简史》 𐟓š 这本书的语言特别诙谐幽默，思想论点也很新颖。比如，现在的人类可能不如七万年前智人更快乐健康；农业革命是历史最大的骗局；小麦利用人类征服世界等等。这些观点都很有趣，读起来也很有启发性。《乡土中国》 𐟓š 这本书真的是经典中的经典，费孝通先生用通俗易懂的语言讲述了中国基层社会的乡土本色。无论你是文科生、理科生还是工科生，无论你是学生还是已经走上工作岗位的人，这本书都值得一读。它没有那些晦涩难懂的定义和概念，就是平铺直叙地讲述中国基层社会的现象。其他值得一读的书 𐟓š 当然，还有其他很多值得一读的书，比如吴军老师的《数学之美》—大道至简；《人工智能简史》—超级智能与人类的关系等等。这些书也都很有深度，值得大家去读一读。考试经历 𐟓 这次信通文献笔试考了三道文献介绍题，分别是《信息简史》《机器学习》和《乡土中国》，论述题是结合研究课题讨论人工智能的局限性（数据集、可解释性等等）。面试抽到了两篇综述，虽然紧张得一身汗，但感觉发挥还好，肯定能过。总之，这次考试虽然有点紧张，但也让我对信通学科的基础文献有了更深的了解。继续科研啦！𐟒ꀀ

「华与华方法」【广告浪费理论——两个冗余】“浪费”是效果的必要条件，没有“浪费”，就没有效果。如果没有“被浪费的那一半”，广告就没有效果。在香农的信息传播理论中，“浪费”被称为“冗余”。信息由熵（某个场合的不稳定性和无组织性）和冗余组成，而传播渠道中有噪音，通过冗余来克服渠道中的 ...

是说在有限时间内把无限个数字从大到小排序吗？这怎么可能呢？

@FuckWisdom提供信息，「协调心理学与控制论」中提到，最早的时候，系统论本是心理学的一个分支，被称为动力心理学，而控制论也是心理学的一个分支，叫做人工思维机心理学(图一) 所以，对于现代工程领域至关重要的三论: 系统论，控制论，信息论，已经有两个都是来自心学的孵化了... 其实，信息论应该也是来自心学的孵化... 为什么呢？控制论我们之前已经考察过，它原名应该是「扌舵论」，以表示掌舵的意思，以表达智能原理的整个过程，从目标，到决策，到选择，到执行，控制，反馈这一系列环节，而且它还有一个副标题，名字叫“或关于在动物和机器中控制和通信的科学”，即它其实并非只是控制，还包括通信通信中，显然信息论是必须的基础原理在控制论的导言中，作者也已经说明了，他们发现控制与通信都是基于消息的时间队列的处理(图二)，而且本质是要解决预测问题，他们也已经发现，要解决这个问题的最佳方法就是获得消息时间序列的统计性质，并将其特殊正量降到最小，也就是要找到一个可以拟合的泛函进行表达，其方差最小....作者称为变分法(图三) 作者甚至具体举例了，他们就使用消息的联合统计性质来消除背景噪声，并且直接指出通信工程就是一门统计科学，作者还同时提到，使用统计方法进行预测，其实是三个人几乎同时分别从统计的古典理论，信息编码问题，滤波器信噪问题进行探索得到的(图四)，作者也在文中一再强调控制，通信，统计力学具有非常本质的相似特征(图五) 作者一开头还提到了他们所设想的一种理想的科研团队，即分别具备各自领域经验，又同时了解对方领域的人，他们才可以紧密的协作，在一些复杂的，涉及多种知识的空白领域才能有很大的科研发现(图六) 这种方法不就是兰德公司，臭鼬工厂的模式么？都是精干的跨领域团队作者在导言中甚至还提到了他们在神经实验中发现神经电冲动的信号规律符合对数线性现象，其信号的包络线也是符合对数的正弦现象，(图七)，因此，对数规律这种特性，很有可能也是在心学的研究实验中发现的，香农能在信息论中使用对数计算，提到对数规律，肯定也大概率来自于此了，注意，控制论和信息论是同一年1948年发表的，都明确指出了信号的这种对数特性，这显然不同寻常综上所述，可能历史上真实上情况是控制论，系统论，信息论，甚至各种的心理学，人工智能都是源自心学的研究分支和孵化成果，而且可以看出，出版控制论此书的时候，其实已经非常清楚统计数学是非常好的预测工具，它就包括我们现在所说的贝叶斯概率，马尔科夫过程等等，所以，贝叶斯概率被应用在视觉计算中，不应该会比控制论晚太多，最多一年，但现在呢？是1991年才出现，晚了 43 年...可见现代科研水平的确比明初差了 50倍，这还是有答案可以抄的情况下发生的，没有答案可以抄，可能就是1000000000倍不止了... 智商的差距，其实是无止尽的.... 而由上我们也可以判断，历史上维纳，香农的原型应该是一起工作，一起研究，共同发现的，并非现在历史叙事的方式，而为何现在会打乱? 我理解本身这些人就不在一起，再一个他们也急功近利，先找可以吹嘘和可以利用的理论，那管其先后顺序与完整性..... . 最后，导言中还有一些信息需要注意，即格式塔心理学的原名应该是「完形心理学」，这就和格式塔心理学的主旨非常契合了(图八) 而维纳提到在二战中研就过可以预测飞机飞行轨迹的防空系统(图九)，这显然不是雷达了，而是雷达控制下的自动火控系统了....诸位，二战时候没有这样的武器，实际上第一台带有火控计算雷达的防空火炮应该是1960年之后出现的，还是苏联最早研制的，其实想想也是，那时吹的 ENIAC都还不存在....信息论也没有，怎么完成计算机，雷达，以及对火炮之间的自动控制呢？ .

人生的信息论：如何让生活更丰富多彩？最近读了一篇文章，叫《一个基于信息论的人生观》，感觉挺有意思的。作者万维钢用信息论的原理来解释人生，提出了一些挺有深度的观点。下面我就来聊聊这些观点，看看它们对我们生活的启示。信息量与人生经历 𐟓ˆ 首先，万维钢提到，信息量不仅仅是消息的长度，而是消息克服了多少不确定性。比如说，两个人即使活了同样的岁数，他们的人生经历和信息量可能完全不同。这告诉我们，人生的丰富程度不在于时间的长短，而在于经历的多样性和深度。所以，别光想着活得久，关键是要活得精彩。不确定性与价值 𐟎 𙦍™农的理论，信息的价值在于它克服了多少不确定性。在人生选择上，这意味着我们的决策和行动如果能够显著减少不确定性，那么它们就具有更高的价值。这鼓励我们追求创新和突破，而不是仅仅遵循常规。想想看，那些敢于冒险、勇于创新的人，往往能获得更多的机会和成就。信息熵与选择权 𐟎𒊤🡦阮𕦏述的是信息的不可预测性。在人生的角度，这可以被理解为选择权的重要性。拥有更多的选择意味着更高的自由度，从而增加了人生的“信息熵”，这使得生活更加丰富和有意义。所以，我们要珍惜每一个选择的机会，不要被固有的思维和习惯束缚。冗余与沟通 𐟓ž 在信息传递中，增加冗余度可以克服噪声，确保信息的准确传达。在人际交往中，这相当于清晰和重复地表达我们的想法，以减少误解和冲突，建立更有效的沟通。所以，说话的时候一定要清晰明了，避免含糊不清，这样才能更好地表达自己的意思。创造性与可预测性 𐟎芤𘇧𛴩’⨮䤸𚤺𚧔Ÿ面临一个矛盾，一方面我们追求创造性和不可预测性，以增加个人的影响力和记忆点；另一方面，为了与他人合作和交流，我们需要展现出一定的可预测性。这种平衡是成熟人格的标志。所以，我们要在创造性和可预测性之间找到平衡点，既要敢于创新，又要保持一定的稳定性。阅读与知识积累 𐟓– 文章中提到，阅读速度的快慢取决于个人对该领域的了解程度。这强调了知识积累的重要性，因为只有充分了解一个领域，我们才能快速吸收新信息，并在其中发现真正有价值的内容。所以，多读书、多学习，永远不过时。权利与道德选择 𐟛᯸ 万维钢引用《辛德勒的名单》中的话，强调了权利的真正含义在于选择不做某些事情，即使有充分的理由这么做。这体现了道德判断和个人责任感的重要性。所以，我们要有正确的价值观和道德观，不要因为自己的利益而伤害他人。信息论的人生观 𐟓Š 最后，万维钢提倡的人生观强调了信息论的价值观，即追求选择权、多样性、不确定性和自由度。他鼓励我们在日常生活中寻找和创造信息，通过增加自己的选择权和自由度来丰富我们的生活。所以，我们要有意识地追求这些目标，让自己的生活更加丰富多彩。总的来说，这篇文章给了我很多启发。通过这些观点，万维钢提供了一种将信息论应用于个人成长和社会发展的新视角，鼓励我们以创新和责任感来塑造自己的生活。希望大家也能从中受益，找到自己的人生方向。

【信息熵新解：探索信息论中的熵概念，探讨了一种替代的 Shannon 熵的构造方法，通过将熵视为基于样本序列的对数计数，而非传统的基于概率分布编码长度的方法】'An alternative construction of Shannon entropy - Rich Pang' GitHub: rkp8000「信息熵」「信息理论」「香农熵」

移动浪潮读书笔记 𐟓ˆ 科技巨头的远见 Facebook在2012年以10亿美元收购了Instagram，当时Instagram只有13名员工和3000万用户，没有收入。到了2019年，Instagram为Facebook带来了超过200亿美元的营收。 𐟌 颠覆式创新的范式作者总结了历次工业革命的规律：“现有产业+新技术=新产业”。历次工业革命的核心技术分别是蒸汽机、电、半导体和计算机、人工智能。每一次技术革命都涉及最有价值的核心资源，第一次是煤和铁，第二次是石油，第三次是资本，第四次就是数据。 𐟤 方法论的革命现在的硅谷风投策略、Google和Facebook等公司的管理方式，其底层都有着相同的方法论，这就是被称为“三论”的控制论、系统论和信息论。 𐟌 机械思维与控制论：通过对苏美航天发展的历程的例子，说明机械思维是对未来做一种尽可能确定的预测，而控制论是根据变化不断调整。硅谷公司的经营管理特点就是符合控制论中根据反馈不断调整的思维方式。 𐟌 机械思维与信息论：后者建立在不确定性的基础上，香农用热力学中熵的概念来描述不确定性。在一个系统中不确定性越多熵越大，而要消除这种不确定性就要引入信息。Google的搜索广告因为用户输入的关键词会提升很多准确率，至于提升多少就取决于这个关键词所提供的信息量。 𐟌 机械思维与系统论：后者认为整体的性能未必通过局部性能优化而实现。如果把一个公司或者组织看成一个系统的话，如果是封闭系统就会熵增越变越糟，如果是开放系统，可以和周围进行物质、能量和信息交换就会变成“负熵”，系统会更有序。 𐟓š 阅读体验花了大半个月时间，一点一点读完这部900多页的《浪潮之巅》。除了金融危机、贸易战、好莱坞电影之外，这本书让我们更多了解世界级的科技公司、创新力和商业环境—“它山之石可以攻玉”。 𐟌 时代浪潮正如狄更斯所言：“这是最好的时代，也是最坏的时代”，在时代的浪潮之巅谁都无法独善其身。对个人来说，信息、思维、方法论都是看世界的工具。

专栏内容推荐

400 x 484 · jpeg
科学网—一个理论改变了一个时代 ——香农诞辰百年纪念 - 刘钢的博文
素材来自:blog.sciencenet.cn
635 x 800 · jpeg
他如何发明未来 | 信息论之父香农-搜狐大视野-搜狐新闻
素材来自:sohu.com

1080 x 608 · jpeg
他如何发明未来 | 信息论之父香农-搜狐大视野-搜狐新闻
素材来自:sohu.com

829 x 1000 · jpeg
香农的信息论之美在于什么？ - 知乎
素材来自:zhihu.com
600 x 555 · png
香农的信息论究竟牛在哪里？ - 知乎
素材来自:zhihu.com

703 x 925 · jpeg
科学网—香农的贡献及其对后世的影响 - 张卫国的博文
素材来自:blog.sciencenet.cn
720 x 400 · jpeg
信息论之父——克劳德·香农｜致敬先驱 - 知乎
素材来自:zhuanlan.zhihu.com

480 x 359 · jpeg
随便搜搜-关于香农信息论的一点资料 - 知乎
素材来自:zhuanlan.zhihu.com
999 x 548 · png
香农与信息论三大定律-CSDN博客
素材来自:blog.csdn.net

554 x 260 · jpeg
随便搜搜-关于香农信息论的一点资料 - 知乎
素材来自:zhuanlan.zhihu.com

787 x 436 · png
通信人都应该懂的----香农和香农定理_System_非线性_电源_电路_汽车_电子_农业_通信_理论_Electric_Mathematica_游戏_控制-仿真秀干货文章
素材来自:fangzhenxiu.com

761 x 601 · jpeg
他如何发明未来 | 信息论之父香农-搜狐大视野-搜狐新闻
素材来自:sohu.com
745 x 617 · jpeg
信息论创始人——克劳德·香农_信息与智能工程学院_三亚学院
素材来自:iie.sanyau.edu.cn

1280 x 1833 · jpeg
纪念香农诞辰100周年系列海报_权奥君-站酷ZCOOL
素材来自:zcool.com.cn
720 x 387 · jpeg
香农诞辰104周年 | 他是「信息论之父」，却渴望做「杂耍博士」 - 知乎
素材来自:zhuanlan.zhihu.com

1920 x 1080 · png
设计师该如何做知识管理（上） | 设计达人
素材来自:shejidaren.com

1408 x 505 · jpeg
科学网—香农——再显奇才登顶峰 - 刘钢的博文
素材来自:blog.sciencenet.cn

600 x 901 · jpeg
香农的信息论究竟牛在哪里？ - 知乎
素材来自:zhihu.com
720 x 720 · jpeg
信息论系列：1 - 信息熵和香农熵 - 知乎
素材来自:zhuanlan.zhihu.com

960 x 408 · jpeg
香农：无缘诺奖的信息论之父，跨越时空与22位科学家相遇|香农|诺奖|信息论_新浪新闻
素材来自:k.sina.com.cn

1000 x 758 ·
随便搜搜-关于香农信息论的一点资料 - 知乎
素材来自:zhuanlan.zhihu.com
800 x 530 · jpeg
“信息论之父”——克劳德·香农是如何创造未来的
素材来自:picture.iczhiku.com

1500 x 2322 · jpeg
香农传,启发,传记(第2页)_大山谷图库
素材来自:dashangu.com
1068 x 456 · png
香农通信的数学理论_信息论开山之作——克劳德 E. 香农 1948年《通信的数学原理》全文【1】...-CSDN博客
素材来自:blog.csdn.net

978 x 550 · jpeg
香农通信的数学理论_信息论开山之作——克劳德 E. 香农 1948年《通信的数学原理》全文【1】...-CSDN博客
素材来自:blog.csdn.net

600 x 771 · jpeg
老顽童香农的传奇一生 - 知乎
素材来自:zhuanlan.zhihu.com
1190 x 1680 · png
信息论实验报告香农编码_文档之家
素材来自:doczj.com

145 x 200 · jpeg
信息论_360百科
素材来自:baike.so.com
1566 x 881 · jpeg
Claude Shannon: The Juggling Poet Who Gave Us the Information Age
素材来自:thedailybeast.com

770 x 541 · png
通信人都应该懂的----香农和香农定理_System_非线性_电源_电路_汽车_电子_农业_通信_理论_Electric_Mathematica_游戏_控制-仿真秀干货文章
素材来自:fangzhenxiu.com
1058 x 634 · jpeg
如何连贯地理解香农三大定理？ - 知乎
素材来自:zhihu.com

1405 x 958 · png
计算机网络---奈氏准则&香农定理_奈斯准则和香农定理-CSDN博客
素材来自:blog.csdn.net
1190 x 1680 · png
信息论实验报告香农编码_word文档在线阅读与下载_免费文档
素材来自:mianfeiwendang.com

110 x 83 · jpeg
香农信息论的产生 - 豆丁网
素材来自:docin.com
356 x 431 · jpeg
科学网—香农的贡献及其对后世的影响 - 张卫国的博文
素材来自:blog.sciencenet.cn

素材来自:查看更多內容

当前用户设备UA：Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)