为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策( 二 )



为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

个可能的终点 。

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

▲ 对数度量需要决策的次数
换个角度看 , 如果知道了这里有 m=8 个可能的终点 , 那么推测会有几个分叉口?换句话说 , 给定了八个终点 ,  2 的几次平方能开到 8?在这种情况下 , 我们知道答案是 n=3 , 也就是以二为底求八的对数 。由此 , 

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

就是八个终点所暗示的分叉口的个数 。
更加概括地说 , 以 2 为底求 m 的对数就是在求需要将 2 提高到其几次幂才能等于 m;也就是说 , 从

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

中解出 n 这件事 。同等地 , 对于一个给定的数字 m  , 我们想要用对数运算来直接表达 n , 就有:

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

现在知道了对数是什么了 , 我们就可以从另一个角度去盘算我们的路线 , 也就是用比特这个工具 。如果你要从 m 个相同可能的选项中做出选择 , 那么你就需要

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

比特的信息 。
▌折半来搜索出答案
二十个问题(Twenty Questions)游戏在20世纪40年代后期逐渐流行起来 , 成为当时每周电视电台问答节目的流行栏目 。在游戏中 , 一个玩家被选为应答者 , 他选择某个主题(或物体) , 但不能向其他人透露 。所有其他参与者都是发问者 , 他们轮流问一个可以用简单的"是"或"否"回答的问题 。如在 20 个问题后 , 仍然没人猜对 , 那么应答者获胜 。

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

▲ 当年《20个问题》电视栏目片头
回看上面树形图中那一连串分叉口 , 从某种角度来说 , 很像"20个问题"这个游戏 。在这个游戏中你的对手先选择一个词语(通常是一个名词) , 然后你(机敏的提问者)可以向他提出二十个问题来逐步找出这个词语 。关键在于每个问题必须只能用是/否(即二进制)来回答 , 因此答案最多可以给你提供 1 比特的信息(0 或 1) 。
能提出一个好问题非常重要 , 因为每个问题应该删掉一半可能的答案 。选择去问一个看起来很明知故问的问题可不是什么好主意 。比如说 , 如果你的问题是"你说的这个物体能字典里找到吗?" , 那么得到的答案几乎就是"是啊!" , 这个答案是你早就可以预料得到的 , 也就不会给你提供任何额外的信息 。
相反地 , 一个精挑细选的问题即是一个你对答案或是或非或毫无头绪的问题——答案在任何一边的概率都是一样的——50:50 。在这种情况下 , 答案会正好给你提供 1 比特的信息 。在下图中 , 一个简化版的"二十个问题"游戏能更清楚地说明这一点 。

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

在这个简化的游戏中的全部词汇也仅是八个单词 , 并且假设我们也知道是哪八个单词 。你的第一个问题(Q1)可以是"它是不是有生命的?" , 然后答案会将可能的单词个数减半至四个 。然后第二个问题(Q2) 。如果你的第二个问题是"这是哺乳动物吗?" , 那么答案会再次减半 , 这将你带到第三个问题(Q3)的地方 , 注意现在就只剩下两个可能的答案了 。在你问了第三个问题后(例如"是‘猫’吗?") , 你的对手所回答的的"是/不是"就将把你带到正确答案处 。总的来说 , 你一共问了三个问题 , 然后从八个可能的单词中排除了除正确答案以外的所有选项 。

为什么用比特能表示一定量的信息?0与1世界中的信息、比特与决策

文章插图

▲ 你心里的答案是不是哺乳动物?