航司Martech布道（1）( 四 )
注：例如Nifi或Flink等流式工具平台或复杂的ETL加工过程等 ， 往往不适用于复用该Data Pipeline进行CDP的数据注入 。
- 数据可视化 – 航司的EDW可能至少有一个数据可视化解决方案位于其上面 。 航司可能已经在这些数据可视化平台上培训过人员 ， 无论是Tableau、Domo、Looker还是SAS 。 利用这些工具和资源进行报告和临时分析 。
文章插图B) 添加数据质量引擎
航司会认为对于EDW、CDP或任何类型的数据平台来说 ， 数据质量应该是前端和中心功能的核心功能 。 不幸的是 ， 情况几乎从未如此 。 无论出于什么原因 ， 大多数EDW或CDP部署通常严重缺乏数据质量 。 在大多数EDW部署中 ， 数据质量是使用ETL工具和自定义代码的组合处理的 。 另一方面 ， 大多数商用CDP不仅缺乏内置的数据质量功能 ， 而且提供有限的自定义编码选项 。 缺乏高质量的数据严重限制了EDW和CDP项目的投资回报 。
无论航司拥有什么与CDP相关的用例 ， 无论是探索、激活还是归因 ， 都需要高质量的数据 。 因此航司的第一个业务顺序应该是向混合CDP添加数据质量引擎 。 理想情况下航司应该将此引擎添加为标准EDW组件 ， 但如果需要也可以为CDP安装一个引擎 ， 因为这对于任何成功的CDP执行都至关重要 。 此数据质量引擎的关键功能是：
- 与数据湖和数据仓库进行双向集成 ， 以便从EDW中拉出任何数据 ， 按航司想要的方式清理数据 ， 然后将其反哺回源头 。
- 至少执行这些操作的能力：清洁标准化分割转型富集重复数据消除
- 理想情况下 ， 无需EDW的IT 团队的帮助 ， 航司的市场营销团队可以使用它 。
一旦航司拥有了高质量的数据 ， 那么航司需要能够操作这些数据 ， 以便它对于航司想要执行的分析更有用 ， 并自动执行要扩展的流程 。 自动化决策通常需要将数据计算成决策就绪的形式 ， 包括进行数学计算 ， 以及添加关系和结构 。 简单的计算通常使用CRM中内置的规则引擎完成 。 对于更复杂的计算 ， 公司通常采用编写Python程序 。 以下是一些计算的典型示例：
- 跨数据集匹配人员对人、人到帐户或帐户到帐户
- 帐户的活动商机总数
- 帐户的总生存期值
- 收入或成本的季度和上年增长
- 跨维度（如渠道、产品组和地理位置）的聚合收入
- 人口统计学和行为评分
- 归因
- 建立帐户层次结构关系
- 向上聚合帐户层次结构中的数据
- 各种贡献、分配和分配计算
- 与数据湖和数据仓库的双向集成 ， 与上述相同 。
- 执行这些操作的能力至少：高级数学运算的基本知识高度可配置的匹配逻辑能够创建数据之间的关系内置存储支持多阶段、复杂的计算逻辑 ， 因此航司不必依赖EDW来存储中间计算结果 。
- 理想情况下 ， 航司的市场营销团队无需 IT研发团队的帮助即可使用 。 理想情况下 ， 不需要编码或脚本编写 。
人们需要触摸数据的原因只有两个：（1）获得洞察力 ， （2）自动化流程和决策 。 EDW主要用于帮助人们从数据中获取见解 。 在业务流程自动化方面 ， 它没什么作用 。 在当今世界 ， 越来越多的业务流程需要自动化 ， 越来越多的决策需要比以往更快地做出 。 如果不是数据驱动的任务 ， 什么是决策？这是CDP的价值；它不只是一个宽泛或特定的EDW 。 CDP的真正价值是它提供的自动化和实用程序 ， 而不仅仅是数据 。
CDP is not a niche EDW.
若要从EDW创建CDP ， 需要添加流程自动化引擎 ， 它不可能只是传统的工作流引擎 ， 因为CDP通常必须自动化的流程类型是非事务性或数据密集型或计算密集型 。 在流程自动化引擎中查找的一些关键功能：
- 能够自动化涉及大量数据的流程 。 "大容量"的定义是基于航司的业务和功能的主观定义 ， 但谈论的数据有效负载顺序为10万到1亿条记录 ， 而不是1到1000条记录 。
- 能够自动执行涉及大量数据成批和更小数据量的实时流程 。
- 理想情况下 ， 在单个平台上 ， 但至少与数据质量引擎和计算引擎紧密集成 。
- DxO发布道歉声明：贬低苹果的微博是翻译的锅
- 5G|携程“退票不退款”已逾半年 航司审核成不退款“代名词”
- java布道者耗尽20年的功力整理完结java实战第2版文档
- 小米发布道歉信 为员工言论道歉
- Alibaba微服务布道师倾心肛的：微服务架构实战手册
- 体破局|新基建路上的感悟：《蓝皮书》布道，智能体破局