香农 | 流行潮(bandwagon)

news2024/11/28 22:53:59

【编者按:面对当前的Chatgpt热潮,该如何看待呢?英语当中有种说法叫 jump on the bandwagon,意为跟风随大流。60多年前,当信息论的发展进入越来越多的领域,一向低调的香农在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”

60多年后的今天,香农的信息论已经成为计算机科学的基石,而社会对于计算机的关注有增无减。计算机科学的“繁荣光景”不仅没有凋零,反而反哺了各行各业,使得产业模式和社会形态完成进一步升级。许多传统学科搭乘计算机科学发展的快车,摇身一变成为了新兴学科、交叉学科。

所以 jump on the bandwagon 不一定是一件坏事,恰恰相反,所谓 bandwagon 是大众群体智慧筛选出的好东西。下一个十年,bandwagon 又在何处呢?】

克劳德·艾尔伍德·香农

在过去的几年里,信息论已经成为一种科学潮流。从通信工程师的技术工具开始,它在大众以及科学出版社之间获得了非凡的欢迎。在某种程度上,这是由于与计算机、控制论和自动化等时尚领域的联系;另一部分原因是其主题的新颖性。因此,它可能已经被膨胀到一个超越其实际成就的重要地位。我们许多不同领域的科学家同行,被它大张旗鼓的吸引过来,试图在自己研究的问题中使用信息论的想法,为科学分析开辟的新途径,应用于生物学,心理学,语言学,基础物理学,经济学,理论组织等等。简而言之,信息论目前正在参与某种大众流行的令人陶醉的气流。

虽然信息论掀起的热潮对于我们研究该领域的人来说是一件值得激动和预约的事情,

它同时带有危险的元素。虽然我们认为信息论确实是一个可以为通信问题提供基本见解的宝贵工具,而且它的重要性也在与日俱增,当然它也不是通信工程师或其他任何人的灵丹妙药。它很少同时为一些超自然的秘密让位。这导致我们很容易对于信息论这样人为的繁荣一夜之间崩溃,意识到使用像信息、熵、冗余这样几个令人兴奋的词并不能解决我们所有的问题。

对于这种情况,我们可以做些什么使用信息论的限制说明?首先,其他领域的研究人员应该意识到,信息论这门学科的基本结果针对一个非常具体的方向,一个不一定与心理学、经济学和其他社会学等领域必然相关的方向。的确,信息论的核心本质上是数学的一个分支,严格来说是一个演绎系统。透彻地了解数学基础及其通信应用程序肯定是其他应用程序的先决条件。我个人认为很多概念的信息论将证明在这些其他方面有用领域——事实上,一些结果已经被验证相当不错。但建立此类应用程序并不是像将单词翻译成新的领域中一样的小事,而是缓慢乏味的过程,需要通过大量的假设和实验验证。例如,如果人类在某些情况下表现得像一个理想的解码器,这是一个实验性的,而不是一个数学事实,因此必须在各种各样的实验情况。

其次,我们必须保持自身的立场位于第一次序。信息论的主题肯定被大肆使用了,如果不是过度使用的话,我们的注意力现在应该转向在我们可以维持的最高科学水平上,进行研究与发展。研究而不是阐述是关键,而且我们的关键门槛应该提高。作者们应该只提交他们最大的努力结果,而这些只有是经过自己和同事的仔细批评得到的。相比于大量构思不佳或半成品的论文,最好是一些一流的研究论文。前者并不是作家的功劳,而且对他们的读者来说是浪费时间。只有通过维护彻底科学的态度才能实现真正的传播理论进展与巩固我们目前的立场。

f1c13a312b417af4aa4c324864cd5f12.jpeg

香农 —— 一举成名天下知

刘 钢

香农不是一位爱张扬的人。由于不爱张扬,他甚至表现出某种内向而没有自信似得。譬如说,从他的论文《通信的数学理论》这篇著名文章的标题就可以看出,他用的是不定冠词“A”。这就意味着还可能有其他的类似理论,他的理论只不过是其中之一罢了。而且,他的文章也没发表在像《科学》和《自然》那些刊物。而是发表在一份内部出版物上,就像一篇研究报告。当然,1948年香农也不过才32岁。美国学界也论资排辈,可以把他的不自信看作是有自知之明吧。

香农的文章发表了,可读懂的人却不多。这也使文章得不到评价。正在这种尴尬的时刻,韦弗看到该文的价值。这位大人物的一句话就把香农抬了起来,说香农的地位就像吉布斯(W. Gibbs, 1839-1903)之于物理化学。吉布斯是热力学和统计力学的奠基人之一,曾被爱因斯坦誉为“美国历史上最杰出的英才”。杨振宁于1997年为《科学文化》杂志写了一篇题为“美与物理学”的文章。他说:“十九世纪物理学的三项最高成就是热力学、电磁学与统计力学。其中统计力学奠基于麦克斯韦(J. Maxwell , 1831-1879)、玻耳兹曼(L. Boltzmann , 1844-1905)与吉布斯的工作。”

还是韦弗经验老道,能看出香农文章的意义。于是他亲自在《科学美国人》这本比较高级的科学传播的刊物上撰文,用不那么专业的语言向大众推介香农的工作。1949年,韦弗还将他写的那篇文章与香农的那篇合并在一起,写了《通信的数学原理》。韦弗出面了,自然是要把标题的不定冠词“A”改成定冠词“The”。别小看这一改动,韦弗认为香农的理论是只此一家,别无分店!于是香农的工作在社会上就逐渐产生了影响。这才开始有人对香农的工作进行评论。

香农的这篇论文,奠定了信息科学和信息哲学的基础。香农和韦弗的小册子1949年出版。数学家杜步(J. L. Doobe)为其撰写了第一篇书评。杜步在书评中对该书颇表不满,他认为:“作者运用数学的动机并不总是那么正大光明。” 整个讨论的“暗示”多于数学推导。还有一份来自生物学的期刊评论道:“初看起来,这主要是本工程学专著,对于解决人类实际问题用处不大,或甚至跟本没用。但事实上,该理论具有许多当今令人振奋的意蕴。”《哲学评论》称,哲学家不应忽视这本书 “香农提出了一个‘信息’的概念,并且令人惊讶的是,信息这个概念竟然是热力学中‘熵’的延伸。”在1940年代末,香农的工作并未完全被视为科学理论。

终于让维纳(N. Wiener)坐不住了。他在《物理评论》写了篇很难算得上是书评的话。开篇维纳倚老卖老地说:“大约15年前,一名非常聪明的年轻学生向麻省理工学院的教授提出了自己的一个设想,试图建立一种基于逻辑代数的电动开关的理论,这名学生就是香农。”当年香农在MIT读硕士时,曾经上过维纳的课。所以维纳可以说是香农的老师之一。但香农的硕士导师却是希齐柯克(F. L. Hitchcock)。

维纳比香农大22岁,也算是神童。紧接着,维纳说香农与韦弗的小册子“总结了他对于通信工程的见解。”原来香农的工作不过是对他的工作进行了总结。实际上这二位的工作不一样,维纳强调的是“反馈”,而且涉及面很广。但香农的工作却只涉及通信这一项。维纳认为,香农提出的基本见解是“把信息量视为负熵”,可却立即补充道,他自己也几乎在同一时间产生了相同的见解。不过维纳还是承认,他们之间的工作是相互独立的。

维纳于1948年出版了他的奇书《控制论——关于动物和机器中控制和通讯的科学》维纳还指出,香农对于语言的讨论没有给予语言在人类神经系统内的通信过程以更多重视。毕竟是同行,难免有些醋味,“我这样说并不是为了吹毛求疵。”最后维纳用了一大段文字介绍了自己的《控制论》:

而在我的书中,作为作者,我有幸从更思辨的角度,讨论比香农和韦弗博士所选的更广阔的话题。我希望重申,在一个新领域……不仅有空间,而且也确实需要种种在现实性或思辨性上各具特色的著作。

香农对维纳的这种不低调做人的态度也很不以为然。此前,香农在《无线电工程师学会学刊》上针对维纳的《控制论》写过一篇短评,虽是赞赏,可程度却很一般,认为该书是一本“出色的导论”。这一老一少的关系有点儿紧张,韦弗似乎也预测到维纳会对香农发难,所以在《通信的数学理论》中开篇就有一大段脚注:

香农博士强调,他的通信理论在基础哲学原理方面颇多受益于维纳教授。另一方面,维纳教授也指出,香农在开关和数理逻辑方面的许多早期研究是在他对该领域产生兴趣之前,并且他大度地补充道,引入熵的思想,将之作为该理论的基本思想,确实是香农一个人的功劳。

事情果真如维纳所言“把熵理解为负熵”是他与香农相互独立的见解吗?香农的同事皮尔斯后来说,“那时维纳满脑子沉浸在自己研究……知道底细的人告诉我,维纳误以为自己早已得出了香农所得到的结论,但其实他从来都没有得出过。”从1940年香农拿到硕士起,他花了整整8年时间,为通信系统建立了一整套数学理论。这篇划时代的论文至今仍在指引和启迪后人的研究工作,而且在越来越多的领域展现出意想不到的成就。

香农在1949年可谓名利双收。除与韦弗发表了《通信的数学理论》外,还与贝尔实验室的贝蒂·摩尔(Betty Moore)结婚。韦弗认为香农的工作外延还可以继续扩大,可是香农又是个保守的人。韦弗似乎与香农意见不完全一致,在香农工作的基础上开始研究信息的哲学问题。有了韦弗的登高一呼,后面的人自然也就蜂拥而上。

哲学家和语言学家们终于找到可供交流的术语体系。其中俄裔美籍语言学家雅各布森(Roman Jakobson,1896—1982)尤甚。如何让信息论这个数学理论让人文学者理解并应用呢?雅各布森是布拉格结构主义语言学派的代表人物。他将结构主义语言学奠基人索绪尔的理论拿了出来。用人们能听得懂的术语描述信息论的数学模型。

雅各布森将信息论的思想融入自己的理论,并建立一套独立的词典。他用“代码”和“消息”替代索绪尔提出的“语言”和“言语”;用“子代码”替代“文体”;用“冗余特征”替代“语境变体”;用“编码”和“解码”替代“产物”和“理解”;用“编码者”和“解码者”替代“言者”和“听者”。他又接着香农的信息论,彻底消除了人机间的差别。将“信源”和“传输者”合并为“发信人”;类似地将“信宿”和“目的地”合并为“收信人”。他用“代码”建立起消息和意义间的联系,这一点不同于香农,香农是认为消息和信息之间有联系,与意义无关。而这一点又非常重要,是自然科学与人文社会科学的防火墙。所以有的时候,术语的表达不能越界。雅克布森采用“联系”这一概念表示心理学上的通讯或交流。最终将“信息”替代为消息的含义,或语境。把意义带入信息后,雅各布森建立起自己的语言学中沟通的新模型。不能不说,雅各布森是成功的。他将信息论的范围扩大,从而打开了潘多拉的盒子。

在我看来,就是雅各布森的理论将信息论的防火墙破坏掉了才导致这种结果。香农是这里面最为保守的一位学者。他曾反复强调他的信息概念与通讯的语义学方面不存在任何联系。当他用到信息熵这个术语时,对当时热力学还不大清楚熵是什么的时候,一直犹豫不定。最后是香农的忘年交冯诺依曼鼓励香农大胆采用“熵”这个术语,才有了香农著名的信息熵的公式。

当信息论进入越来越多的领域时,引起了香农的不安。他于1956年在《流行潮》(The Bandwagon)写了一篇文章说:“(信息理论)的重要性可能被吹得脱离实际。我们许多不同领域的科学同行,受到(该理论)鼓吹并被这一科学分析的新的开放式大道所吸引,将这些概念用于研究自己的问题……当他们意识到信息、熵、冗余这些令人兴奋的语词解决不了问题时,这种人为的繁荣光景便会在一夜间凋零。”可又有谁听香农的?不仅如此还说香农心胸狭隘,后来香农干脆不露面,也不再谈论他的理论了。

……1970年代以来,控制论和系统论发展趋于统一,很多学者认为它们已经综合为具有一般方法论意义的统一的横断学科,它们的基础便是信息论。

-----------------------------------------------------------------

194810月香农的论文A Mathematical Theory of Communication》(通信的数学理论)成为现代信息论研究的开端。在该文中,香农给出了信息熵(以下简称为)的定义,这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽,熵度量的是消息中所含的信息量。实际上,信息熵完成的是信息数量多少的度量,而对于(不同发出/接收者)信息质量的好坏还没有度量

如何在人机系统中建立起包含信息价值质量的新理论呢?

请看人机融合三部曲:

a48bc2a281df7f6079cf3da427f4ff62.jpeg

e6d82f23fe326b5d5d5324a09841a271.jpeg

dcf1c0c968fbabdd19cbc9d7cc9d48a4.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/344939.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux 游戏性能谁的 更优秀X.Org还是Wayland!

导读X.Org 和 Wayland 是目前 Linux 平台上的两大主流显示服务器,那么两者在 Linux 游戏性能上谁更优秀呢?国外科技媒体 Phoronix 在 Ubuntu 22.10 上对其进行了多款游戏的实测。评测在运行 GNOME 43.1 的 Ubuntu 22.10 上进行测试,在安装英伟…

基于QT5.14.2的MQTT通信

一、概述 默认的Qt环境是不能使用MQTT的,但Qt官方提供了基于MQTT的封装,需要通过源码进行编译。 可以在下面的链接中获取到: https://github.com/qt/qtmqtt 在dev分支中可以选择MQTT版本,选择最新的下载到本地。注意一定要选择对…

Video Speed Controller谷歌视频加速插件——16倍速

文章目录前言最简单的版本一、如果是简单的话 可以Microsoft Edge使用二、简单的版本 火狐的话使用Global Speed插件三、由于视频受限以上的方法行不通 还是谷歌好用前言 主要是网课刷的时候 太慢所以找到了刷视频的方法 由于前几个的权限受限制 所以还是选用了谷歌浏览器的 V…

Ambire Wallet 2023 年路线图

在一个充满活力的建设者空间,但在一个努力的熊市中,作为加密技术创新者,我们必须保持适应,同时继续通过做好工作来领导:建立愿景。 已经建设了很多,也还有很多要做的:Ambire 发布了今年的雷达图…

炎症回路和肠道微生物

✦ ✦ ✦ 炎症:就是平时人们所说的“发炎”,是机体对于刺激的一种防御反应。炎症,可以是感染引起的感染性炎症,也可以不是由于感染引起的非感染性炎症。 炎症在在各种症状中起重要作用,如脑雾、焦虑和抑郁、腹胀、各种…

数据工程师需要具备哪些技能?

成为数据工程师需要具备哪些技能?数据工程工作存在于各个行业,在银行业、医疗保健业、大型科技企业、初创企业和其他行业找到工作机会。许多职位描述要求数据工程师、拥有数学或工程学位,但如果有合适的经验学位往往没那么重要。 大数据开发…

linux高级命令之用户组相关操作

用户组相关操作学习目标能够知道创建用户组的命令1. 创建用户组命令说明groupadd创建(添加)用户组创建用户组效果图:2. 创建用户并指定用户组创建用户并指定用户组效果图:3. 修改用户组修改用户组效果图:4. 删除用户组命令说明groupdel删除用户组删除用户组效果图:说明:如果用户…

Git-学习记录

文章目录1. Git-基础1.1 获取 Git 仓库1.2 记录每次更新到仓库1.3 远程仓库的使用2. Git-分支2.1 Git 分支的新建与合并2.2 Git 分支的管理1. Git-基础 1.1 获取 Git 仓库 通常有两种获取 Git 项目仓库的方式: 将尚未进行版本控制的本地目录转换为 Git 仓库&…

一文解决从进程栈内存底层原理到Segmentation fault报错

栈是编程中使用内存最简单的方式。例如&#xff0c;下面的简单代码中的局部变量 n 就是在堆栈中分配内存的。 #include <stdio.h> void main() {int n 0;printf("0x%x\n",&v); } 那么我有几个问题想问问大家&#xff0c;看看大家对于堆栈内存是否真的了…

maven deploy上传本地jar至私服

1.场景 首先目前依赖包的管理大多数是maven&#xff0c;其次当使用到第三方的包的时候&#xff0c;官方的仓库或者aliyun的maven都是没有这个包的。那么&#xff0c;为了方便我们使用 我们需要将本地的这个jar上传到 公司内部的私服去&#xff0c;以便大家使用 2. 上操作 我…

VS Code 用作嵌入式开发编辑器

使用 Keil MDK 进行嵌入式开发时&#xff0c;Keil 的编辑器相对于主流编辑器而言有些不方便&#xff0c;比如缺少暗色主题、缺少智能悬停感知&#xff08;鼠标停在一个宏上&#xff0c;能自动展开最终的宏结果&#xff09;、代码补全不好用等等&#xff0c;所以推荐使用 VS Cod…

【Java技术】基于Http的文件断点续传实现

1.断点续传的介绍 客户端软件断点续传指的是在下载或上传时&#xff0c;将下载或上传任务(一个文件或一个压缩包)人为的划分为几个部分&#xff0c;每一个部分采用一个线程进行上传或下载&#xff0c;如果碰到网络故障&#xff0c;可以从已经上传或下载的部分开始继续上传下载…

电子科技大学操作系统期末复习笔记(二):进程与并发控制

目录 前言 进程管理 进程基本知识 程序的顺序执行 前趋图 程序的并发执行 并发程序 进程的定义和特征 进程的特征和状态 操作系统内核 定义 功能 原语 原子操作的实现 操作系统控制结构 进程控制块PCB 进程组织&#xff08;进程树&#xff09; 进程的创建 …

3DMAX高级弯曲插件使用教程

3dMax高级弯曲插件是对3dmax原生“弯曲&#xff08;Bend&#xff09;”修改器的一个增强&#xff0c;给用户更多控制弯曲修改器的参数设置&#xff0c;它让用户输入宽度&#xff0c;插件脚本将移动中心以获得正确的宽度。 主要特性&#xff1a; - 使用智能捕捉捕捉到自定义网格…

静态库和动态库的制作

一、什么叫做库&#xff1a; 库&#xff1a;二进制的程序&#xff0c;能被操作系统载入内存中执行 二、Linux下的库有两种&#xff1a;静态库和共享库(动态库)&#xff0c;二者的不同点在于代码载入的时刻不同。 A、静态库在程序编译的时候并会被连接到目标代码中&#xff0c;程…

SSM项目-商城后台管理系统

SSM项目-商城后台管理系统开发说明开发环境项目界面演示项目功能具体的技术指标开发过程1、搭建SSM框架1.1、建库建表1.2、新建Maven工程1.3、配置pom.xml1.4、目录结构1.5、jdbc.properties1.6、mybatis-config.xml1.7 两个Spring的配置文件applicationContext_dao.xmlapplica…

数据库(三)

第三章 MySQL库表操作 3.1 SQL语句基础 3.1.1 SQL简介 SQL&#xff1a;结构化查询语言(Structured Query Language)&#xff0c;在关系型数据库上执行数据操作、数据检索以及数据维护的标准语言。使用SQL语句&#xff0c;程序员和数据库管理员可以完成如下的任务。 改变数据…

【图解数据结构与算法】数据结构与算法知识点整理 Data Structures and Algorithms

程序数据结构算法 数据结构是可以存储和组织数据的命名位置。 算法是用于解决特定问题的一组步骤。 数据结构是指&#xff1a;一种数据组织、管理和存储的格式&#xff0c;它可以帮助我们实现对数据高效的访问和修改。 数据结构 数据元素 元素之间的结构。 如果说数据结…

什么人合适学习Python

发了几天的Python基础&#xff0c;也认识了一些朋友&#xff0c;忽然有人问起&#xff0c;说为啥学Python&#xff0c;或者说啥人学习Python&#xff0c;作为一个教龄8年从Python一线讲师到Python教学主管的我和大家分享一下个人的看法&#xff0c;还是提前说一下&#xff0c;个…

winapi模拟鼠标按住左键拖动

继前文《windows下通过uiAutomation技术获取ui元素》介绍获取ui元素信息后&#xff0c;还需要对信息进行修改&#xff0c;但是 uiAutomation 技术并未提供可修改的 api&#xff0c;只能另辟他径看看了。 以 camera raw 为例&#xff0c;已知的是可将鼠标放在指定区域位置&#…