盛锐大视界柏燕@揭秘万亿级别的全域数据统计分析平台技术架构演进( 二 ) 友盟+数据平台技术架构主要包含数据采

distinct计算优化。我们的优化手段：再etl阶段打标，将countdistinct转化为count ，比如新增用户首次出现时增加一个新增标记；使用自适应基数估计算子（比如hyperloglog），当基数低于一定阈值时使用set ，超过后自动转为基数估计数据结构，还可以进一步结合bitmap压缩算法；基于bloomfilter将countdistinct转换为count 。
在友盟+新的统计分析平台中，离线计算与实时计算类似，其实现方式与前面提到的lambda通用计算框架一致，单个作业即支持不同用户不同的计算需求。与实时计算的差别在于distinct计算不需要使用基数估计，更加精确。
离线计算使用MaxCompute ，例行计算使用MaxCompute的SQL+UDX通过类似ApacheTez的DAG计算完成工作，对速度要求较高的adhoc分析使用MaxCompute集成的Spark进行计算。
在友盟+新的统计分析平台中交互式分析使用的是俄罗斯Yandex开源的Clickhouse 。 Clickhouse不是一个通用型分析数据库，但针对基于明细数据的多维分析做了深度优化，在成本和性能上表现很好，同时支持数据的准实时写入。 Clickhouse除了一般多维分析，内置算子也十分丰富，同时允许用户自定义聚合函数做复杂行为分析。 Clickhouse的存储设计同样遵循我们前面讨论的一些原则。 Clickhouse对纯的基于Event的分析支持很好，但如果引入User表进行交叉分析则不是很方便，所以我们也在深入研究Event+User模型，尝试为其设计开发特定的存储引擎。
新的统计分析平台中数据分析系统主要解决产品研发及运营效率问题，比如通过精准推广降低拉新、留活成本，比如基于数据（a/btest）优化产品流程减少试错成本、加快迭代速度。分析的主要数据基础就是用户对产品功能、推广活动等的行为反馈，这些数据本质上是运营样本数据。通过这些样本数据做一些假设，指导运营活动和产品设计。
广义的用户行为分析包括用户自定义分群、留存分析、漏斗分析、流失分析、路径分析等等。目的是根据用户的历史行为以及用户profile信息，了解不同人群的特征，从而差异化的进行运营，以满足更精准的营销。其中历史行为是基于时间的纵向信息，该信息往往有时效性，也即越靠近分析时间点，越有价值。但并不是说旧的历史行为就完全没有价值，很久以前发生的行为虽然单个事件价值低（且直接使用成本也比较高），但通过数据挖掘可沉淀出用户标签，将具体行为变为抽象描述。相对于用户历史行为，用户profile是横向信息，其中有一些属性是完全静态的，比如性别；另外一些会保持稳定一段时间，比如标签；还有一些是adhoc即时生成（比如临时根据某种条件筛选一个用户分组）。
用户行为分析的基本计算过程是：过滤、分组、按人建立事件行为拉链、时间序列算法（不同的分析目标有不同的时间序列算法）、汇总统计。友盟+对常用用户行为分析模型进行了统一的计算抽象。使用者只需要在页面配置相关参数，即可通过数据平台提供的标准计算作业完成分析。用户行为分析也支持例行、adhoc（单次）两种执行方式。其中adhoc支持离线和交互式分析两种，但需要在数据量和计算时效上折中，也即：对较短时间内数据（比如一个月）提供即席分析，而对更大时间跨度或更老的数据进行分析，使用离线的adhoc分析。离线分析使用MaxComputeSQL或者SPARK 。
同时为保证友盟+新的统计分析平台的安全和合规，我们在安全方面实施了一系列部署（全站https、网络层ddos攻防演练和策略实施），来提升安全性，保障业务稳定性。
【盛锐大视界柏燕@揭秘万亿级别的全域数据统计分析平台技术架构演进】友盟+获得了ISO/IEC27001:2013信息安全管理体系认证、ISO/IEC27018:2019公有云个人信息保护管理体系认证，成为国内首批获得此高标准公有云个人信息保护证书的大数据服务商。友盟+同时拥有公安部颁发的信息系统安全三级等保证书。