坤鹏论坤鹏论：香农做梦也没想到专业的信息论竟然成了科学“时尚”

_本文原题：坤鹏论：香农做梦也没想到专业的信息论竟然成了科学“时尚”
投资不懂概率论，不当韭菜都难！——坤鹏论

本文插图
到这里，坤鹏论已经将信息论以及信息熵的基础知识讲完了。
请注意，这些都只是基础知识而已。
后面还会有对它的重点解惑，其实主要是我自己的迷惑自解。
相信大家只要前面跟着走过来，再配合解惑文章，必然是对信息熵理解得钢钢的强！
今天，先说说信息论对其他学科的影响，因为这影响力之巨大连香农自己都惊呆了。
一、第一个将热力学规律延展出去的科学天才
在前面分享熵的知识时，坤鹏论不断提到，如今的熵早就不再只是热力学的熵，而是具有普遍意义的自然规律。
不过，自从熵诞生到这个世界后，很长时间属于墙内桃花，出了物理学界，就没什么人知道了。
而让熵真正跨出物理学的第一大步的是美国物理化学家、数学物理学家约西亚·威拉德·吉布斯。
1878年，他在美国一本相当冷僻的杂志——《康涅狄格州科学院汇刊》中发表了长达100多页的论文——《论复相平衡》。
该论文的意义是将热力学的规律扩展到了粒子数可变的体系之中，得心应手地处理有关化学、冶金学等方面的问题。
这位连麦克斯韦、爱因斯坦都赞叹为天才的吉布斯，曾在德国学习，师从克劳修斯，学了他的自然哲学课程，也正是那个时候起，他就被导师的熵彻底征服。
后来，回到美国的吉布斯，因为天才横溢的论文，以文会友，与麦克斯韦成为知音。
话说，当时真没多人能看得懂吉布斯的论文。
对于他的成就， 1997年，杨振宁为《科技文化》杂志写了一篇《美与物理学》的文章，开篇写道：
“十九世纪物理学的三项最高成就是热力学、电磁学与统计力学。其中统计力学奠基于麦克斯韦、玻尔·兹曼与吉布斯的工作。 ”

本文插图
二、信息论成为了科学“时尚”
但是，直到信息论横空出世前，并没有多少人知道熵。
所以，真正让熵走进更广泛人群的功绩非香农莫属。
之前坤鹏论讲过，其中香农的成就，有科学的水到渠成，也有他天才般的洞见。
但是，这些背后的基础则是，当时美国政府对科技无以复加的资助和支持。
这使得科学家获得到了前所未有的科研自由。
以贝尔试验室为例，它不要求研究部门立即产出什么成果。
甚至允许科学家们在看不出具有明确商业目的的数学或天体物理学方面自由研究。
香农曾这样感叹说：“我总感觉，我在实验室享有的自由似乎是实验室给我的一种特别的厚爱。 ”
确实，香农的领导即使不明白他究竟要搞什么名堂，也乐得对他听之任之。
这一切的结果就是——美国科学界空前活跃。
结合复杂性系统的知识，我们知道，人类个体一活跃，必然带来相互交流与影响的增多，从而使整体形成一种风潮，而风潮又会反过来促进个体更多的活跃、交流与影响。
如果是专业领域的交流，往往就意味着极为有价值的思想碰撞与融汇贯通。
特别值得一提的是，当时，有人专门组织跨学科的学术会，使得不同领域的科学家能够济济一堂，大家分别上台演讲，分享自己的科学成果或是思考，然后还有思想火花四溅的热烈讨论。
通过复杂性科学、熵、信息熵的学习，我们应该有这样的觉悟：科学从来没有界限，它的界限都是人为划分。
就像熵和信息熵，它们本来就是一个东西。分页标题
当然，因为人生有限，科学无限，所以个体专精也无可厚非，关键是自己要对自己的学科、自己的认知、自己的能力有自知自明。
越专精，越开放，这才是通向更高境界的唯一正途。
但是，我们看到的现象却是，知识越分工，知识越封闭，知识越壁垒。
从而造成了人类个体能力的下降以及愚昧、偏见、自大——自己手里拿着锤子，就以为所有事情都是钉子。
当然，分工永远对整体来说是好事。
但是，如果你想提升自己的认知与生存能力，就要尽可能地涉猎多学科，这就是芒格提供的多模型思维。

本文插图
1950年3月22日至23日，在这样的一次学术会研讨会上，香农向在座的科学家们讲了自己的信息论。
可以说，那是信息论开始火的一天，也是不同学科开始被信息熵纷纷影响的一天。
与会的科学家们几乎都经历了从难以接受到承认信息占据着举足轻重地位的过程。
信息论，特别是其中的信息熵，就像一杯醇酒，在科学家那里，越品越韵味绵长。
有位科学家后来在会刊中加了这样一句编者注：“信息可被认为是从无序中夺得的有序。 ”
紧接着，信息成了美国科学界的热门话题，关于它的论文如雨后春笋般层出不穷。
特别是心理学家、人类学家、语言学家、经济学家以及其他各类社会科学家，他们更像抓住了一盏指路明灯，纷纷将信息熵与自己的学科进行结合、演绎延展，并迫不及待地阐释自己想到的新理念。
这在当时被讽刺为学时髦搭车信息论，一些数学家和工程师对此尤为愤愤不平。
就连香农都无奈地将信息论称为一种科学“时尚” 。
尽管他也承认，信息论的许多概念可能会对其他领域有所帮助。
【坤鹏论坤鹏论：香农做梦也没想到专业的信息论竟然成了科学“时尚”】但是，他还是提醒人们，信息论的核心是数学。
信息论不是万金油，不是包治百病，所以不能简单照搬。
“这样的应用，并不是简单地将术语翻译到一个新领域，而是需要经过缓慢而艰辛的假设和实验检验的过程。 ”
有没有品出其中批评的味道？
香农的言外之意是，你们没做出什么付出，简单拿着术语就往自己领域里面套用，合适吗？
连在自家院里的艰苦工作都没有做过，也没有研究，就急着阐释理论，你们有点过了吧？！
不过，信息熵以及熵，确实包含性很强。
特别是熵，堪称自然规律。
它们中间的奥秘就是概率论。
概率论用不确定性敲开很多学科的榆木脑袋，帮助它们摆脱正在面临或即将面临的窘境。
特别是社会科学。
而这里面就有经济学。
所以，投资不懂概率论，不当韭菜都难！
三、举例：心理学——迎来了它的认知革命
尽管社会科学有追信息论时髦的嫌疑。
但是，我们也不能否认，它们对于信息论、信息熵，甚至是熵的普及有着莫大功劳。
想想看，什么样的学科最能吸引眼球？
肯定不是物理、化学、数学等，因为它们太专业。
在所有学科中，最吸睛的非社会科学莫属，在社会科学中再排序的话，心理学绝对占据重要位置。
接下来，坤鹏论就以心理学为例，讲讲信息论和信息熵如何启迪了一个领域，甚至开启了这个领域的革命。
20世纪中叶，计算机和心理学都是非常年轻的学科。
那时候，心理学几乎陷入了死胡同，几近停滞。
17世纪的荷兰医生詹姆斯·德巴克最早提出了心理学的说法：“心理学是一门探究人类灵魂及期效应的学问。没有灵魂，人将不人。 ” 分页标题
但是，灵魂偏偏是不可言喻的。
所以，它几乎不可能被了解。
而且，因为是人，研究，人的心理，只要是人，就不可能做到100%客观。
任何观察者在对被观察者进行观察时，都不可避免地掺杂进主观。
所以，在很长一段时间里，心理学被称为心灵哲学。
“人的心智，一些人认为是物质的，另一些人认为是精神的，还有些人认为是由两者神秘混合而成的，但它始终不为人的感官和理性所理解。它有如一块在北风肆虐下的荒原，每位路过的思想者都在上面撒下自己的心灵杂草种子，生生扼杀了那些原本可能萌发成熟的好种子。 ”
坤鹏论以为，就像“心理学假装自己是科学”的评语同样适用经济学一样，这段话也能改一改，和经济学的发展也蛮匹配。
到了19、20世纪之交，受还原论影响，为了使研究变得严谨、可验证，甚至是数学化，许多心理学研究者开始分道扬镳，向不同的方向探索。
比如：弗洛伊德。
再比如：巴甫洛夫。
特别是后者，他直接就不认可存在心智，有的只是行为。
所有像心理状态、理想、情绪、目标等，都是无形的、主观的、不可把握的，最终总会不可避免地沾染到宗教和迷信。
“说什么记忆，说什么期待，说什么感觉，说了那么心智方面的东西，这些都是虚的，否则秀一个给我看，指一个给我瞧。 ”
这就是行为主义，曾经独霸心理学界多年。
美国的约翰·华生以及斯金纳都是该主义的著名代表人物。
但是，天生就带有偏见的行为主义终将走成教条，不仅束缚了自己，也束缚了心理学的发展。
心理学家渴望理解心智到底是什么之心，反而燃烧得更加雄雄。
此时，信息论如天降甘霖，犹如给一直在黑暗中打转的心理学家一道光明。
香农说：“通信的基本问题是，在一点精确地或近似地复现在另一点所选取的讯息。 ”并给出了通信传输模型。
心理学家从中看到了自己学科的身影，外部世界是信源，心智就是接收器，耳朵和眼睛则是信道。
纽约市立大学亨特学院的化学家霍默·雅各布森说：“对于信息的本质和度量的众多新概念，使得度量人类耳朵的信息容量成为可能。 ”
他说到做到，对耳朵和眼睛都做了度量。
得出的估值是，眼睛要比耳朵的信息容量（以比特/秒为单位）大上四百多倍。
自此，就像一夜之间，心理学家也开始谈论起了计划、算法、句法规则等东西。
他们不仅研究生物如何对外部世界作出反应，也开始考察生物如何将外部世界呈现给自己。
已经憋屈很久的心理学家们如打了鸡血一般兴奋地进行着各种试验。
比如：测试人类在不同情况下听对单词的可能性；
人在面对一组数字、字母或字词时能够理解或记住多少，而它们又包含多少信息；
人类每次在工作记忆内存储的最大单位数目是多少；
……
甚至连他们最喜欢、最专业的“刺激”和“反应”这样的用词，都逐渐被信息的“传输”和“接收”所取代。
总的来说，计算机科学给心理学指明了一套全新的认识思维方法——在信息加工过程中，思维一步一步地向前推进，就像一道计算机程序。
直到20世纪60年代，汇集人类学、心理语言学以及计算机科学的影响，一种思维和行为的心理学新观点诞生了——认知科学。
这是一种否认超自然存在且建立在实验方法上的心灵主义。
通过它，人们可以对心理过程进行合理的推断。
它结合了心理学、计算机科学和哲学。
事后，一些哲学家将它的诞生称为信息转向。
弗雷德里克·亚当斯这样写道：“在那些接受信息转向的人看来，信息是形成心智的基本要素，信息必然促成了心智的起源。 ” 分页标题

本文插图
在这个转向中，有一个人被认为是先驱，是关键人物，他说：心智借着机器重新进入了视野。
他就是美国普林斯顿大学的心理学教授乔治·A·米勒。
1960年，他和心理学家杰罗姆·布鲁纳一起创立了哈佛大学认知研究中心。
1956年，米勒写了一篇使他名声鹊起的论文《神奇之数：7±2——我们信息加工能力的某些局限》。
这篇论文是人类最早对短时记忆能力的定量研究。
他注意到年轻人的记忆广度大约为7个单位（阿拉伯数字、字母、单词或其他单位），并将其称为组块。
后世将他的这个研究称为米勒法则，也就是从心理学的角度来看，人类处理信息的能力是有限度的。
米勒认为，人脑处理信息有一个魔法数字7（正负2）的限制。
也就是说，人的大脑最多同时处理5到9个组块。
原因是短期记忆储存空间的限制，超过9个信息块，将会使得大脑出现错误的概率大大提高。
他借助了信息论，尤其是香农将信息理解为在多个可能选择中作出一个选择的观点。
他指出：“观察者可以被视为一个信道” ，接受输入信息，传递并输出信息。
在单维刺激和多维刺激的情况下，随着可能刺激的数目增加，观察者的反应会开始出现混淆。
混淆出现的这个临界点可以被称为其信道容量。
米勒还注意到，人们也会像信息论中的“再编码” ，将信息拼凑成越来越大的组块，比如：将摩斯电码的点和划凑成字母，字母又凑成单词，单词再凑成短语。
最后，他直接宣告：“这种语言的再编码，在我看来，正是思考过程的核心命脉。 ”
在在心理学史上被称为认知革命的开始。
米勒还有个非常著名的说法：“要想理解别人在说什么，首先你要假定他说的是真的（不要先入为主的判定是假的），并尝试的去想象，如果是真的话，将会怎么样。 ”
这个方法配合思维导图推导，非常牛！
本文由“坤鹏论”原创，转载请保留本信息