航空业大数据治理：规划企业数据架构的两种模式和三个关键技术
来源 | 公众号 EAWorld作者 | 刘庆会
1
航空业数据治理现状目前航空行业数据治理已经逐步在开展起来，驱动航空行业开展数据治理工作的因素与证券、银行、通信领域不同。证券行业有证监会 33条规定，银行业有银监会要求在 2017年 7月份开始实施报送数据标准化规范要求，这些外在监管要求促使了证券、银行必须开展数据治理方面的建设。
促使航空行业开展数据治理的主要因素是客户倒逼企业在做，服务行业现在都在做客户精准营销，航空业也不例外。这些年航空公司的信息化快速发展，积累了很多有价值的数据。但是
拥有数据，并不意味着拥有数据资产
。
那么如何将企业的数据转化为数据资产？我们知道企业在日常运营过程中产生的数据，只是一些原材料，存在不可知、不可信、不可取等问题。要想将其转化为数据资产，
需要借助大数据治理打通数据和信息的通道
。从而为挖掘数据价值、业务创新提供决策支持，以满足客户的个性化服务的要求。通过对国内两家大型航空公司数据治理项目的实施以及中小航空公司数据治理的交流探讨，我总结出
航空数据现状总体面临着散、乱、难问题，数据资产分布散、数据定义乱、数据管理难
。这使得航空业大数据治理呈现出三个趋势
。2
航空业大数据治理的三个发展趋势趋势 1：集中管理企业数据资产针对分散在企业各个系统的数据资产，对企业数据资产进行盘点，实现对数据资产的统一集中管理。管理的内容包 DB数据资产、接口数据资产、报表数据资产、指标标准和企业数据模型等。
通过数据治理构建数据洞察能力趋势，举个例子说：小张销售部门的数据分析员，现在需要做一个 2017年“春运”的市场和销售情况分析。他知道需要航班日期、起落机场、机型、收入、成本等这些基本数据，并且这些基础数据来源于航班运控系统。但是他想分析中加入航油、腹舱货运，天气对航班的影响。这些数据有没有？从哪里取？连他这个老员工都不清楚，就更不用说新员工了。通过大数据治理，提升企业对数据资产洞察能力，可以快速定位到需要的数据。
数据架构简单来说就是“人对企业业务的表达、记录，并转化为计算机可处理的格式”,是连接数据与信息的桥梁，部分航空公司为了适应这个趋势，专门成立了数据架构部，负责建立维护管理企业整体数据架构。
我们认为企业的数据架构，主要有三个组件构成。分别是数据标准、企业模型和数据存储结构。如下图所示
标准在最上层，是总体纲领。企业模型在中层，最下层是数据资源存储结构。层次是这样划分的，但在实际建立的过程中，是一个由下而上的方式。通常是在现有数据存储结构的基础上，设计企业数据模型，然后归并数据项，形成数据标准。
通过大数据治理，可以规划统一、标准的数据架构，为企业信息化建设提供规范和标准，使得
在业务层和应用层之间
，做各个操作型应用的设计、开发；在各个操作型应用和数据层之间
，做业务系统数据结构的设计以及数据集成；在分析型应用和数据层之间
，做数据获取、分析，从而指导规范企业信息化建设。3
规划企业数据架构的两种模式规划企业数据架构，
通常有两种典型的模式：
模式一：从技术到业务，也可以称为 Bottom-up模式。典型特征是先定义主题域，在从现有操作性数据结构出发，通过调研和访谈，规划数据架构，实现数据到信息的打通。
模式二：从业务到技术，也可以称为 Top-Down模式。其特征是以业务流程为主线，串联业务单元、业务环节、业务活动。分析业务活动所需的实体、属性。通过调研访谈，确认最终业务用户的数据需求和 KPI绩效考核标准。整合在一起，再结合现有的数据结构，规划企业数据架构，实现数据到信息的打通。
两种工作模式没有好坏之分，需要根据企业的数据现状，采用适合自身的工作模式。
从技术到业务模式的经典案例借助数据治理工具，实现对企业数据资产的盘点，盘点数据资产管理的对象包括数据从业务系统到数据仓库、集市、报表的流转加工关系。盘点的范围是以数仓为核心，构建业务系统到数仓、数仓到数据分析应用的全链路数据资产盘点。
在数据资产盘点的基础参考同业案例或经验，划分数据主题域。在项目中我们借鉴达美航空经验确定了 13个数据主题域，同时又分析了数仓的模型中 2000多个实体，对现有系统的数据结构进行调研确认，从而构建了企业数据模型。
在企业数据模型的基础上，对数据项进行归并、指标口径的标准化。抽象出数据标准层，形成统一数据架构，提升数据服务能力。
从业务到技术模式的经典案例模式一以现有企业信息化系统数据结构为基础。模式二以业务流程切入，以业务环节中的获取信息为基础，汇总企业数据项的信息。
下图是某航空公司飞机运行生命周期管理业务流程。从规划发展部做飞机引进计划，到飞机投入运营，再到飞机退出，每个业务环节都会产生业务数据。在梳理的工程中，会从业务部门收集业务流程的各环节涉及的数据集和数据项信息。
然后对数据项进行整合，按照数据项使用的热度，频率、关联度等，整合数据项、代码、指标度量、维度等，在结合（国际 /国内）同业经验，形成某业务域的数据架构。
在构建企业统一数据架构过程中会遇到各种问题，在关于设备主题域数据项制定的过程中，就发现了一个飞机号 B5917，却存在三个不同的叫法，有的系统叫飞机尾号、有的叫飞机号，还有的叫飞机设备尾号。总之各系统存在数据项业务含义不统一的地方。在梳理过程中要弄清楚数据的来源，来源不唯一的情况下还要从业务角度划分数据的责任方。最终确定统一的名称和业务含义。
下图是我们在某航空公司构建数据标准示例，我们可以看到，航空业数据标准主要包括指标标准、业务术语，基础编码和数据项。
4
规划企业数据架构的三个关键技术通过合理规划企业的数据架构，可以打通数据与信息的通道。我这里列出了
3个关键技术
，来帮助企业快速合理地规划企业数据架构，实现数据到信息的转换。关键技术 1：自动化数据资产收集技术通过自动化数据资产收集，需要完成以下几件事：
梳理全企业数据架构，对企业的数据模型、数据关系、数据处理有清晰化的认识。
对数据资产形成统一的自动化管理，形成企业的元数据库。
对企业数据资产形成多种视图，使数据资产能够对不同用户，有不同视角的展示。
从一定程度上来说，元数据采集的全面性和准确性决定了自动化数据资产收集的成败，是否能够对大数据、数据仓库、关系型 /非关系型数据库、数据模型、主流 ETL工具等实现自动化的元数据采集是关键。
通过元数据聚类能力，形成资产密度分类，结合已有的的模型体系进行归类和整合。将收集的元数据分类归集到信息模型上，形成多维度的、完整的模型体系，从而贯通业务技术。这里面需要元数据产品具备自动化的分类引擎以及可扩展的元模型管理能力。
数据资产质量自动监控，要求能够从数据的准确性、完整性、及时性、一致性等六性的维度，对数据资产的质量进行管理，从数据问题定义、问题发现、问题处理、问题跟踪和问题评估统计 5个环节，构建资产质量的闭环管理流程。
5
总结航空数据现状总体面临着数据资产分布散、数据定义乱、数据管理难等常见问题，集中管理数据资产、提升企业数据洞察能力、规划企业数据架构是航空业应用大数据治理的三大趋势。其实，不只是在航空行业，各个行业在将企业数据转化为数据资产的过程中，打通数据与信息的通道都是关键的一环。通过自动化收集、自动化分类、自动化数据质量监控等技术手段，可以辅助企业规划统一、标准的数据架构，最终为数据转化为信息（数据资产）提供可靠、可行的途径。
作者介绍刘庆会
，主要负责普元大数据治理产品的实施，十年大型企业信息数据治理架构设计与建设经验，为多家大型金融机构、企业设计与规划数据管理整体框架和项目实施，客户包括国家开发银行、中信银行、北京银行、重庆农商行、攀枝花银行、国家电网、浙江电力、新奥能源以及中国东方航空、中国国际航空等。数据行业有着深入的研究和洞察，并对企业信息化平台建设，数据治理及大数据平台建设有着丰富经验。期望得到更多优质技术干货，欢迎加入 EAWorld社区，与近万名技术人一起成长。入群暗号：
415
- 柬埔寨JC国际航空“昆明=暹粒”直飞航班 6月12日复航
- 一个社会调查者的自白
- 易观荣获2018虎啸盛典“年度大数据&智能公司大奖”
- 民航机场板块逆市大涨 华夏航空盘中涨停
- 欧冶“互联网+钢铁”大数据教育实践基地开课啦！喜迎第一批济光
- 航空运输板块迎来多重利好 两龙头股重点配置
- 未来房价到底会不会下跌，这个数据很有说服力
- 非常重要！3+证书考生填报志愿之前，一定要了解这些数据。
- 汉莎航空一客机在法兰克福机场起火 致10人受伤
- 郑州市最新房产数据：新建商品房环比下跌，二手房均价环比上涨！