科技大本营@8 亿用户的网易云音乐是怎样建设数据中台的?,有( 二 )


朱一飞坦承 , “想实现这一点并不简单 , 网易云音乐本身产品交互层面相对其他产品的复杂性 , 独特的账号体系都对我们提出了挑战 。 ”
另一方面 , 在数据与业务结合的中间层 , 即中台赋能业务的部分 , 团队的灵活性会高一些 , 比如针对市场的新增目标 , 或会员的营收目标 。 “我们会单独组建团队专门搭建针对性的业务数据服务及产品 , 提供一站式解决方案 , 类似于一支快速反应部队能随时快速解决战斗 。 ”他说 。
网易云音乐的数据中台架构据朱一飞介绍 , 网易云音乐数据中台架构包含几个层:
科技大本营@8 亿用户的网易云音乐是怎样建设数据中台的?,有
文章图片
最底层——基础设施层基础设施层包括资源环境和平台工具两部分:资源环境是依赖网易杭州研究院提供的大数据集群、容器化环境、底层储备组件等 。 平台工具主要是自研的提供离线、实时、算法三大方面开发能力的一站式开发环境 。
第二层是数据层数据层即网易云音乐的OneData , 包括元数据中心、标准化数仓、数据地图、统一指标体系、数据安全中心和保障这套体系的数据质量管理中心 。
第三层是服务层服务层即网易云音乐的OneService 。 它提供不同层级和粒度的数据API , 包括从最底层的任务执行调度能力 , 到最面向应用的人群圈定的各类服务能力 。 而服务中的公共部分 , 包括权限&稽核模块、RPC框架、服务发现等都是依托网易云音乐技术中心的统一框架 。
最上层是产品层如前文所述 , 他们组建了一支快速反应部队 , 针对一个个核心业务问题(增长、营收、版权)搭建了对应数据产品 , 实现从业务流程、信息采集、数据洞察到ROI评估再到业务流程的完整闭环 。 能够实现快速反应 , 主要是因为依赖上游的统一数据服务以及产品对应的统一系统框架 。
网易云音乐数据中台的具体实践数据中台的整个实践过程 , 大致可分为三个阶段:
阶段一:“史前时代”这个时期属于数据团队大干快上的阶段 , 他们主要的工作模式是逢山开路 , 遇水搭桥 , 大量支持业务需求 。 同时 , 他们发布了数仓1.0、用户画像和DMP系统、OLAP分析平台 , 开发了大量报表 。
在这期间 , 随着对业务的理解变得更深刻 , 同时网易云音乐快速发展积累的数据体量带来很多挑战 , “我们做了相当多的基础设施改造 , 比如数据层面对埋点体系的梳理、平台层面搭建了底层计算能力(实时、算法)等” 。
阶段二:数据中台beta阶段2018年底到2019年 , 为支持业务扩张 , 他们从目标、体系、组织结构对团队进行了梳理 , 确定了中台建设思路(这也契合同期网易云音乐整体技术、业务双中台战略) 。
团队被重新划分为平台、数据、产品三条线 , 重点做了两件事:
整合升级 。 横向统一全域的数据 , 将之前的算法、广告、业务数据全部纳入进来 。 纵向 , 建立对整个pipeline的管理体系 。 探索数据中台与业务的合作模式 。 “这个期间 , 我们也尝试多走一步 , 提供一站式的业务与数据结合的产品 。 核心是想获得中台在业务的落脚点 , 同时通过拿到一些业务结果让合作团队看到并认可数据中台的价值 。 ”朱一飞说 。 阶段三:数据中台1.0在这个阶段 , 主要有两个目标:
标准化 。 通过标准化 , 他们希望解决质量、效率和成本的问题 。 在标准化数仓重构、统一指标体系、统一OLAP分析平台、数据技术中台、数据资产管理等项目 , 大部分取得阶段性成果 。 合作赋能 。 在前台业务赋能方面 , 他们一方面寻找更多中台接入的触点 , 另一方面也会尝试将部分成熟前台产品重新交到业务团队手里 , 防止战线过长 , 始终保持灵活机动的组织模式 , 更多通过赋能解决业务问题(扶上马 , 送一程) 。 数据中台收益朱一飞说:"从结果看 , 首先 , 我们从单一解决数据的问题转变为解决’人‘的问题 。 "从业务视角看 , 他们不光只是报表数据的提供者 , 而是真正参与到业务决策 , 解决业务问题 。 他们在多个团队实现从业务流程、信息采集、数据洞察到ROI评估再到业务流程的完整闭环 , 包括增长团队、版权团队、音乐人团队、会员营收团队等 。