浅谈数据治理:如何让大数据真正发挥价值一、机构数据管理问题二、数据治理定义三、数据治理框架四、数据治理方案设计与实施五、数据治理难点六、总结

原标题:浅谈数据治理:如何让大数据真正发挥价值
大数据时代的到来 , 让越来越多的机构看到了数据资产的价值 , 将数据视为机构的重要资产 , 已经成为业界的一种共识 。 如何更好的运用数据进行业务效率提升已经成为各机构最为关心的话题之一 。
一、机构数据管理问题【浅谈数据治理:如何让大数据真正发挥价值一、机构数据管理问题二、数据治理定义三、数据治理框架四、数据治理方案设计与实施五、数据治理难点六、总结】在大数据时代 , 随着数据量级爆炸性增长 , 相关问题随之而来 , 例如数据格式不统一 , 数据质量难以提升 , 模型梳理难以完成 , 数据安全难以保障等等 , 数据衍生问题层出不穷 , 进而导致当机构出现数据需求时难以快速和正确响应 , 致使数据无法发挥其真正的商业价值 。
另一方面 , 随着机构的不断发展 , 机构战略政策和业务日益拓宽 。 在经历粗放式增长后 , 机构的IT系统经历了数据量的高速膨胀 , 这些海量的、分散在不同系统的独立数据导致了数据资源利用的复杂性和管理的高难度 。 机构无法从统一的业务视角去概览整个机构内部的数据信息 , 系统与系统之间的关系、标准数据从哪里获取都无从知晓 , 跨系统的数据响应需求耗时几天的处理时间已经不能被接受 。
总的来说 , 数据质量参差不齐、IT系统孤岛化 , 数据流通受阻、缺乏有效管理机制和数据安全隐患是当前机构在数据管理过程中面临的主要问题 。
二、数据治理定义针对上述问题 , 监管机构也出台了指导文件 , 例如2018年5月中国银保监会发布《银行业金融机构数据治理指引》 , 明确要求各银行金融机构开展数据治理 , 充分发挥数据价值;2019年8月中国人民银行印发《金融科技(FinTech)发展规划》再次提出金融机构要加快完善数据治理机制等等 。
那么什么是数据治理呢?其实 , 数据治理并不是一个新生事物 , 可以说 , 有数据的地方就存在数据治理 。 国际上对数据治理并没有统一的定义 , 概括地讲 , 所有为提高数据质量而展开的业务、技术和管理活动都属于数据治理范畴 。
《DAMA数据管理知识体系指南》一书给出的定义:数据治理是对数据资产管理行使权力和控制的活动集合 。 从范围来讲 , 涵盖了从前端业务系统、后端业务数据库再到业务终端的数据分析 , 从源头到终端再回到源头 , 形成的一个闭环负反馈系统 。 其目的是通过有效的数据资源控制手段 , 进行数据的监督管理 , 以提升数据质量进而提升数据变现的能力和管理的效率 。
具体是以服务组织战略目标为基本原则 , 通过组织成员的协同努力 , 流程制度的制定 , 以及数据资产的梳理、采集清洗、结构化存储、可视化管理和多维度分析 , 实现数据资产价值获取、业务模式创新和经营风险控制的过程 。 简单地讲 , 数据治理强调的是逐步实现数据价值的过程 , 是一个从混乱到有序的过程 , 是一个长久的、持续性的过程 。
三、数据治理框架相对于国际组织和国际机构发布的数据治理框架 , 以下国家标准GB/T34960发布的数据治理框架比较符合我国机构和政府的组织现状 , 更加全面地和精炼地描述了数据治理的工作内容 , 包含顶层设计、数据治理环境、数据治理域和数据治理过程 。

浅谈数据治理:如何让大数据真正发挥价值一、机构数据管理问题二、数据治理定义三、数据治理框架四、数据治理方案设计与实施五、数据治理难点六、总结
文章图片
顶层设计是数据治理实施的基础 , 是根据组织当前的业务现状、信息化现状和数据现状 , 设定组织机构的权利 , 并定义符合组织战略目标的数据治理目标和可行的行动路径 。 数据治理环境是数据治理成功实施的保障 , 指的是分析领导层、管理层、执行层等等利益相关方的需求 , 识别项目支持力量和阻力 , 制定相关制度以确保项目的顺利推进 。 数据治理域是数据治理的相关管理制度 , 是指制定数据质量、数据安全、数据管理体系等相关标准制度 , 并基于数据价值目标构建数据共享体系、数据服务体系和数据分析体系 。 数据治理过程就是一个PDCA(plan-do-check-act)的过程 , 是数据治理的实际落地过程 , 包含确定数据治理目标 , 制定数据治理计划 , 执行业务梳理、设计数据架构、数据采集清洗、存储核心数据、实施元数据管理和血缘追踪 , 并检查治理结果与治理目标的匹配程度 。 四、数据治理方案设计与实施具体到数据治理的设计方案 , 主要阐述一些关键点 。 首先要考虑数据治理的目标 , 其一 , 对数据通过统一的视图进行管理;其二 , 对多源数据进行标准化处理;其三 , 数据资产化是最重要的活动 , 是数据价值挖掘的基础 。