为什么用比特能表示一定量的信息？0与1世界中的信息、比特与决策( 三 ) _小知识

更加切实地说，让我们假设所有参与这个游戏的人都有相同的词汇量（现实中大多数人都有着近似的词汇量，所以这个假设不是完全没有道理的）。具体来说，我们假设这个最终答案正好在 1048576 个单词里。有着这些假设这些以后，理论上每次都可以通过筛选提问的方式来减半剩余的可能单词数。所以在理想情况中，第一个问题应该会减半可能的单词的数量至 524288 个。你接下来的问题应该会再减半这个数量至 262144 ，等等。当你问完第 1 9个问题后应该只剩下两个单词了。接着在问完第 20 个问题后，这里应该只剩下一个单词了。
之所以这种办法很简洁也很奏效是因为二十个问题可以让你从正好从

文章插图

个相同可能的单词（即大约一百万个单词）中做出选择。由此，通过提问题所获得的这个 20 比特的信息就可以让你从大约一百万个的单词中找到最终那个正确的答案。
如果再去添加一个问题就会创造出一个新的游戏，叫做"21个问题" ，那就要从大约二百万个单词中逐步缩小范围至最后一个单词。就是说，每一个新增的问题就还得额外的 1 比特信息。理论上，游戏"40个问题"就需要 40 比特的信息，要从

文章插图

个潜在答案中找出一个单词。
对照二叉树的例子中， 40 比特可以让你经过 40 个分叉口并找到最终的节点答案，也就是从大约一万亿条可能的路线中找出一条路径。所以下次在经过 40 次决策而到达了目的地后，别忘了你已经成功地避开了 2^40-1 错误的结果。
▌信息、比特和二进制数字
尽管"比特"一词是从"二进制"中得出的，但二者之间有一个微妙却很关键的不同之处。一个二进制数字是一个二进制变量的值，这个值可以是一个 0 ，也可以是一个 1 ，但是一个二进制数字自身并不是信息。相对而言， 1 比特是一个有限的信息量。比特和二进制数字本质上不是一类东西，如果搞混了就犯了范畴错误(category mistake) 。

文章插图

▲ 克劳德·香农，信息论创始人
为了说明这一点，考虑以下两个极端的例子。
第一个极端例子是如果你已经知道了应该在岔路 A点走左手边的路，接着我给你了一个二进制数字 0（=左），那么虽然你得到了一个二进制数字，但是并没有得到任何有用的信息。
另一个极端就是如果你全然不知该选择哪条路，接着我给你显示了一个 0 ，那么你就既获得了一个二进制数字，同事也获得了一比特的信息。
考虑更一般的例子，如果有人提示你左手边的路有 71% 可能是正确路线，然后我随后给你了一个 0 ，这会使刚才的提示变得更令人信服，那么这个 0 就给你提供了少于 1 比特的信息。
【为什么用比特能表示一定量的信息？0与1世界中的信息、比特与决策】