网易大数据平台实践
做好大数据业务需要很多东西，比如你要有很好的想法，比如你的算法工程师要很厉害，懂得很多算法，但一个成功的大数据应用关键在于两点：有数据+快速改进。听上去很简单，但在实际开发过程中，还是面临很多问题：
数据孤岛的问题，你会发现你的数据散落在各个地方，可能在业务中，也可能在你服务器中的日志中，想用数据的时候找不到；还有一种情况是公司各个部门间的数据不共享；
数据资源缺乏管理，由于数据的规模很大，再加上人员的流动，没有一个人完全清楚所有数据表中每个指标的含义，导致数据的使用效果不好；
数据开发的门槛很高：首先是知识的门槛，专业的数据开发人员很难招到，他们要学习Hadoop、Spark等各种相关技术；另外，使用上也很麻烦，要把这些开源的东西放在一起，组成一个解决方案。
分析流程长，涉及的人员多，决策周期长。
网易的解决思路是一个中心，两个平台。一个中心是指数据资源中心，数据资源中心会集成所有有价值的数据，进行数据的融合和深加工，目的是打破各个产品的数据分界和壁垒，提高利用效率；两个平台分别是大数据管理与
应用开发平台和数据分析平台
。其中，
应用开发平台
会存储和管理整个公司级别的数据资源，提供高效、易用的大数据分析挖掘应用开发环境，提供大规模查询和计算能力；数据分析平台
用来支撑产品分析与决策，产品营销推广。通过数据资源中心的建设，可以使得所有数据都在平台上，想用可以直接去用，降低了门槛。
【
关键字回复
推荐:
大数据 大数据平台 大数据规划
】
整个大数据平台的建设思路主要是满足效率快的需求，仅用开源的Hadoop是不够的。把Hadoop引进来经过改造成为适合我们自己用的体系化的大数据平台。网易的产品以自用为主，先内部使用，定期向外部发布一个版本，部署上，由于很多时候涉及到企业信息安全，大多数时候都以私有化部署为主。久病成良医，丰富的实践经验是网易大数据与一些别的大数据服务商的重要区别，这也是一种优势。
延伸阅读
做大数据项目最头痛的是什么
苏宁物流在实时大数据的最佳实践
新零售下的大数据架构及应用
饿了么大数据离线平台架构
SQL to Hadoop:小数据到大数据之路
携程大数据实时计算平台建设实践
推荐文档
...
（输入文档编号即可查看、下载)
220847751
菜鸟物流大数据计算技术实践
220847746
大数据在58速运中的应用与实践
2138100437
苏宁物流在实时大数据的最佳实践
5882
美团大数据体系
220847728
数字化转型中的大数据治理架构
（输入文档编号即可查看、下载)
昨日热文
企业级区块链技术剖析与应用
魅族大数据安全实践
猎聘网数据治理实践
ESB项目实施方法论
说说企业架构
CIO之家-IT知识平台
微信号:imciow
网 站: www.ciozj.com
CIO
必备公众号
CIO
最有影响力
公众号之一
www.ciozj.com
点击下方“阅读原文”每天都有 精彩 新 发现
- 易观荣获2018虎啸盛典“年度大数据&智能公司大奖”
- 欧冶“互联网+钢铁”大数据教育实践基地开课啦！喜迎第一批济光
- 未来房价到底会不会下跌，这个数据很有说服力
- 非常重要！3+证书考生填报志愿之前，一定要了解这些数据。
- 法治早餐｜政府平台倒逼租房中介规范化
- P2P网贷周报：“背景”平台接连出事，行业步入微妙期！
- 郑州市最新房产数据：新建商品房环比下跌，二手房均价环比上涨！
- 2018年5月南阳市房地产市场交易数据分析，看过你觉得还会降吗？
- 租赁政策系列 | 专题三：住房租赁公共服务平台解析
- 【2018志愿必备数据】116所“211”高校，2017在陕录取情况汇总！