InfoQApache Kafka 迎来了“后浪”

本文插图
作者丨Tina
采访嘉宾丨滕昱
有人说世界上有三个伟大的发明：火，轮子，以及 Kafka 。
发展到现在， Apache Kafka 无疑是很成功的， Confluent 公司曾表示世界五百强中有三分之一的企业在使用 Kafka 。实时备份机制让它在推荐、广告等互联网场景中游刃有余，但是实际生产中还有很多不允许丢数据的场景存在。针对这类场景是否有新的技术和框架出现？
Kafka：大数据平台中的核心软件。
据中国信通院企业采购大数据软件调研报告来看， 86.6% 的企业选择基于开源软件构建自己的大数据处理业务，但大数据人都会感叹大数据领域开源项目的“玲琅满目” 。很多软件只经过一两年就形成一次更替，经过多年的厮杀和竞争，很多优秀的产品已经脱颖而出，也有很多产品慢慢走向消亡。比如 Spark 基本上已经成为批处理领域的佼佼者，Flink 成为了低延迟流处理领域的不二选择，而 Storm 开始慢慢退出历史舞台。 Kafka 在消息中间件领域基本上占据了垄断地位，最终沉淀出了以这几个软件为核心的大数据处理平台。

本文插图
那么现在的大数据架构下的底层生态已经足够成熟来帮助企业用户进行数字转型吗？哪些地方还存在优化的空间？
同为开源数据管道，却有不同命运。
回到 7 年前， Kafka 也肯定想不到自己会在大数据系统中起到这么重要的作用。 2010 年，LinkedIn 开始研发 Kafka ，最初的设计理念非常简单，就是一个以 append-only 日志作为核心的数据存储结构。 2011 年的时候， Kafka 提出了一个叫做 ISR 实时备份列表的机制，来保证高可用性。
运行过 Kafka 大规模集群的人都知道， Kafka 里面有很多数据持久化的问题。在一些早期版本中或者没有选择正确配置时，如果一个服务器失败（这在分布式系统里很常见），就会导致这个服务器端所存的数据在恢复之前无法再被取得，更有甚者，这些数据有可能就永远丢失了。仅仅作为一个日志系统，这也许是可以勉强接受的。但是当越来越多企业开始使用 Kafka 来传输和保存重要商业数据，没有高可用性是不行的。所以在引入了多备份机制之后， Kafka 脱颖而出，成为了当时整合流数据传输的集中式通道的首选，并慢慢进化出了强大的社区生态。
但企业采用 Kafka 之后，依然需要踩很多坑。为了应对多租户、支撑上百万 Topics 等要求，雅虎研发了新一代消息平台 Pulsar ，并且在设计上采用了数据服务和数据存储分层的架构。 2016 年雅虎将这套软件进行了开源，当时有人感慨：“如果 Pulsar 早推出两年，也许就没 Kafka 什么事儿了。 “
对比 Pulsar ， Kafka 的先发优势非常明显，在强大的社区支撑下， Kafka 背后的公司 Confluent 不断获得融资，估值高达 25 亿美元。但是 Pulsar 背后的公司 Streamlio ，发展却不那么顺利，没几年就被 Splunk 以人才收购的方式合并到一起了。关于开源软件的商业模式很难用一两句话讨论清楚，但 Pulsar 一开始的目的是想做“更好的 Kafka” ，它在技术上可以认为是成功的，并且是值得被借鉴和被采用的。
也就是在 Pulsar 开发的同时，戴尔科技集团的研发团队发现做一个更好的消息队列 /Kafka 并不能解决新一代大数据平台在数据存储层上的挑战，因此他们重新思考了数据处理和存储的规则，设计并开源了全新流存储”Pravega”项目（https://github.com/pravega）。通过一个全新的“stream”存储抽象层， Pravega 让上层计算引擎能更好和无缝去跟底层存储解耦：“所有计算机领域的问题，都可以通过增加一个额外的中间层抽象解决” 。