什么被称为新世纪未来的石油

大数据被称为新世纪未来的石油 。大数据,IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产 。
互联网时代,大数据无处不在 。当我们使用搜索引擎,在微信与人互动,或享受打车软件的便利时,都在产生和分享社交数据 。现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物 。
随着云时代的来临,大数据(Big data)也吸引了越来越多的关注 。分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化数据和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱 。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作 。
大数据真的是“未来的新石油”大数据真的是“未来的新石油”
当前IT业最热门的话题应该就是大数据了,这个两年前才被炒作起来的概念,现在已无处不在,占居了互联网的半壁江山,它与云计算一起成为未来信息技术发展最重要的内容 。处于IT行业的人们,如果不知道大数据,不了解大数据所创造的那些神话般的故事,就好象已经跟不上信息技术的发展,成为时代的落伍者了 。
那么什么是大数据?现在还没人能给出一个确切的答案,它同云计算一样,是一个形象但却笼统的概念 。大家一致的理解是从4V的角度来描述这一概念的内涵 。所谓4V就是说大数据具有体量巨大(Volume)、种类繁多(Variety)、实时处理(Velocity)、数据真实(Veracity)的特性 。信息技术的发展,使互联网遍布世界的每个角落,各种各样的信息都可通过网络进行传播 。世上所发生的每件事情,人类所进行的每项思考,社会所进行的每点进步,知识所增加的每种内容都可通过互联网进行汇集 。网络技术、传感技术与射频技术使各种事物都可产生大量数据 。事物的内容、时空、方位、特性都可转化为数据,这些经济的、社会的、规范的、杂乱的、简单的、复杂的等各式各样的数据代表了不同事物的内涵 。代表不同事物的海量数据可以通过网络进行汇集,汇集后的整体数据反应了事物的本质特性或发展趋势 。而这种反应事物本质特性或发展趋势的数据具有一定的价值,通过高性能计算机的数据提取、价值分析、数据表达等大数据技术,可以从大数据中把这些价值提取出来 。不同的需要可以提取出不同的价值,所有的价值都可以为人类服务,这就是大数据的本质 。
大数据,这一鲜明而又形象的概念之所以如此引人注目,是因为许多像亚马逊、谷歌这样的大公司为它杜撰了无数神话般的故事 。每一个故事都告诉人们,大数据具有无所不能的洞察力 。它可以象伟大的先知一样预测未来,可以利用玄妙的相关关系推测人的喜好,可以利用宠大的数据窥探人的内心,可以利用趋势分析引导人的行为,甚至可以用事物发展曲线来控制人的思维,改变人类社会的发展方向 。
大数据利用最多的地方是商业领域 。大家都知道尿布与啤酒的故事,通过大数据分析,找出这两个毫不相干的事物之间的关联,利用推荐系统,向不同用户提供不同的产品推销方案,提高产品的销售量;另一个众所周知的故事就是通过购物记录来分析少女怀孕的案例,通过分析用户的购买行为,推测用户的现在状态与未来需求 。尽管这一案例因为侵犯别人隐私而广受批评,但却说明了大数据分析在商业领域的价值 。还有无数这样或那样的故事,都说明大数据在分析人们的喜好与购买习惯上的巨大作用,利用这种分析,商家可以更好地进行营销 。权威的市场调查机构说,大数据将会改变未来的商业规则,实时竞价系统(RTB)、更加智能的推荐系统以及基于大数据的商业智能分析(BA),使企业能够生产更加适合用户喜好的产品,能够找到向用户推销产品更好的方法,能够为用户提供更好的服务,能够利用有限的资源产生更多的效益,大数据的这些功能将会使经济社会更快更好地发展 。
大数据的另一个应用领域就是社会公共领域 。利用大数据,政府可以更好地管理社会,为社会提供更好的公共服务;教育部门可以更好地获取与传播知识,提高民众的素质;卫生部门可以预测重大流行疾病的发生,提前作出防范预警;安全部门可以监控社会状况,确保国家不受破坏 。谷歌公司前几年利用大数据绘制了“世界流感地图”[1]用来帮助人们了解世界各地流感的发病情况;利用大数据预测禽流感在各地的爆发趋势,为民众提供预防建议,向卫生部门提供监控资料 。在公共安全领域,大数据也有巨大的作用,如美国就建立了基于各种传感技术与大数据技术的网络监控系统,预测重大社会公共事件的发生,比如爆发大规模游行活动、可能遭受的恐怖袭击等 。