数据|整理 | 大数据：理念和思维变革 |大数据|因果关系

【数据|整理 | 大数据：理念和思维变革】
_本文原题：整理 | 大数据：理念和思维变革

本文插图
本篇是对维克托《大数据时代》前半部分的整理、提取和加工，有些仓促，所以略去了生动有趣的事例，抽象了点，只希望展现一种变化，表达一个观点。
大数据已经撼动了世界的方方面面，从商业科技到医疗、教育、经济、人文以及社会的其他各个领域。那么其理念和思维是什么？
“大数据趋势的深层原因是海量数据的存在以及越来越多的事物是以数据形式存在的，其释放出的巨大价值使得我们选择大数据的理念和方法不再是一种权衡，而是通往未来的必然改变。 ”
信息社会所带来的好处是显而易见的：每个人口袋里都揣有一部手机，每台办公桌上都放有一台电脑，每间办公室内都拥有一个大型局域网。半个世纪以来，随着计算机技术全面融入社会生活，信息爆炸已经积累到了一个开始引发变革的程度。它不仅使世界充斥着比以往更多的信息，而且其增长速度也在加快。从科学研究到医疗保险，从银行业到互联网，各个不同的领域都在讲述着一个类似的故事，那就是爆发式增长的数据量。这种增长超过了我们创造机器的速度，甚至超过了我们的想象。
而大数据的核心是预测，在海量数据的基础上，通过数学算法的运用可以预测事情发生的可能性，也为我们的生活创造了前所未有的可量化的维度，成为了新发明和新服务的源泉。同时大数据也在促进人们理念和思维的转变，这是我们可以提前意识到并且主动去认知的重要的点。
大数据与三个重大的思维转变有关，也是三个相互联系的层次。首先，要分析与某事物相关的所有数据，而不是分析少量的数据样本。其次，我们乐于接受数据的纷繁复杂，而不再追求其精确性。最后，我们的思想发生了转变，不在探求难以捉摸的因果关系，转而关注事物的相关关系。
全体数据而非随机样本
我们总是习惯把统计抽样看做文明得以建立的牢固基石，就如同几何学定理和万有引力定理一样。但是统计抽样其实只是为了在技术受限的特定时期，解决当时存在的一些特定问题而产生的，其历史尚不足一百年。随机采样虽取得了巨大的成功，成为现代社会、现代测量领域的主心骨，但这只是一条捷径，是在不可收集和分析全部数据的情况下的选择，它本身存在许多固有的缺陷。它的成功依赖于采样的绝对随机性，但是实现采样的随机性非常困难，一旦采样过程中存在任何偏见，分析结果就会相去甚远。此外，采样忽视了细节考察，但生活中真正有趣的事情经常藏匿在细节之中。
而大数据分析法不只关注一个随机的样本，这里的“大”是相对意义而不是绝对意义，也就是相对于所有数据来说。如今感应器、移动设备、网站点击等被动地收集了大量数据，计算机可以轻易地对这些数据进行处理。当我们可以获得海量数据的时候，希望用最少数据得到最多信息的采样方法也就意义不大了。
当然，在某些情况下，我们依然可以使用样本分析法，但这不再是我们分析数据的主要方式。
混杂性而非精确性
“执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是结构化且能适用于传统数据库的。如果不接受混乱，剩下95%的非结构化数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。 ”
大数据时代要求我们重新审视精确性的优劣。对“小数据”而言，最基本、最重要的要求就是减少错误，保证质量，确保记录下来的数据尽量精确，因为收集信息的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。传统的样本分析师们很难容忍错误数据的存在，因为他们一生都在研究如何防止和避免错误的出现。但即使只是少量的数据，规避错误的策略实施起来还是耗费巨大的，而且保持数据收集标准的一致性也是个问题。此外，局限于狭隘的小数据中，我们可以自豪于对精确性的追求，但就算我们可以分析得到细节中的细节，也依然会错过事物的全貌。分页标题
而收集数量庞大的信息虽然可能部分不再那么准确，但这种放弃严格精确的选择却更为划算。在很多情况下，与致力于避免错误相比，对错误的包容会带给我们更多好处。拥有更大数据量所能带来的商业利益远远超过增加一点精确性。
相关关系而非因果关系
与常识相反，经常凭直觉而来的因果关系并没有帮助我们加深对这个世界的理解。很多时候，这种认知捷径只是给了我们一种自己已经理解的错觉，但实际上，我们因此完全陷入了理解误区之中。找因果关系的方法是我们大脑用来避免辛苦思考的捷径。
最后，一种变化即是大数据促进的理念和思维的转变，一个观点即是有必要认知大数据理念和思维。
文章来源：铄说FinTech