Kafka的时代已经过去了,未来是Pulsar的吗?

Kafka的时代已经过去了,未来是Pulsar的吗?今天 InfoWorld 最佳开源数据平台奖公布 连续两年入选的 Kafka 这次意外失手 pulsar 取而代之 pulsar 最初由 Yahoo 开发 并于 2016 年底开源 现在是 Apache 软件基金会的一个孵化器项目 Pulsar 在 Yahoo 的生产环境运行了三年多 助力 Yahoo 的主要应用 如 YahooMail YahooFinance YahooSports Flickr Gemini 广告平

今天InfoWorld最佳开源数据平台奖公布,连续两年入选的 Kafka 这次意外失手,pulsar取而代之。

pulsar最初由Yahoo开发,并于2016年底开源,现在是Apache软件基金会的一个孵化器项目。Pulsar在Yahoo的生产环境运行了三年多,助力Yahoo的主要应用,如Yahoo Mail、Yahoo Finance、Yahoo Sports、Flickr、Gemini广告平台和Yahoo分布式键值存储系统Sherpa。

pulsar和kafka最显而易见的区别是,pulsar支持多租户,有着资产和命名空间的概念,资产代表系统里的租户。假设有一个Pulsar集群用于支持多个应用程序(就像Yahoo那样),集群里的每个资产可以代表一个组织的团队、一个核心的功能或一个产品线。一个资产可以包含多个命名空间,一个命名空间可以包含任意个主题。

Kafka的时代已经过去了,未来是Pulsar的吗?

分区:pulsar和kafka一样都支持主题的多分区。

Kafka的时代已经过去了,未来是Pulsar的吗?

持久化:kafka文件存储,pulsar采用Apache BookKeeper存储。这也是pulsar的一个显著优点,kafka文件存储分布在集群的各个broker上,一旦broker挂掉或者新的broker加入就会进行副本的leader选举或者分区平衡操作,这样做会消耗kafka的性能。而pulsar的broker是无状态的,数据存储在BookKeeper中,服务和数据是分离的。所以它并不会面临这种问题,可以随意进行集群的调整。此外kafka的broker还要关心存储量是否超出了自己硬盘的空间。而pulsar不存在这个问题。

发布的 2.2 版本中,Pulsar 将会引入了 SQL,方便对存储在 Pulsar 里面的数据进行 SQL 查询和分析。Pulsar SQL 借助 Presto,为用途提供了高效可扩展的查询。这种高效的查询,主要得益于 Pulsar 底层的存储系统 Apache BookKeeper。

在 Pulsar 从开源到毕业的这段时间,吸引了不少国内外用户。目前 Pulsar 的成熟用户包括 MercadoLibre, Oath, One Click Retail, STICorp, TaxiStartup, Yahoo Japan Corporation 和智联招聘等。

pulsar看上去很美,而且已经有了实践去验证,明天肯定会很光明。但就像kafka一样,刚刚推出的时候,也是一片惊呼,性能碾压,不过时至今日也没有一统江山,每种工具还是都有自己更适合的场景的。所以pulsar肯定也不会一只独秀。但不得不说pulsar在设计上太像kafka了,kafka有的它几乎全部都有。有了pulsar这个强劲的对手后,很期待kafka接下来的发展。

作为程序员来说,pulsar的横空出世,意味着又要多学一门技术了。不过对于掌握了kafka的人来说,pulsar不会很难上手。在研究Java 11的时候,也得腾出点时间好好看看pulsar。程序员不容易,加油干吧!

———————————————————–

学习连接:

《Pulsar(挑战kafka新一代消息系统)官方文档翻译-入门和实战-搭建本地独立集群环境》

《Pulsar官方文档翻译-入门必看-概念和架构-(一)概览(Pulsar Overview)》

《Pulsar(挑战kafka新一代消息系统)官方文档翻译-入门必看-概念和架构-(二)消息核心概念(Messaging Concepts)》

持续更新中……

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/228699.html原文链接:https://javaforall.net

(0)
上一篇 2026年3月16日 下午6:24
下一篇 2026年3月16日 下午6:24


相关推荐

  • autoit3 学习

    autoit3 学习计时器示例 Func timer Local begin TimerInit Sleep 3000 Local dif TimerDiff begin 1000 MsgBox 0 结束 dif EndFunc 打印 logFunc logs logPath str file FileOpen logPath 1 检查打开的文件是否可写 If file 1ThenMsgBox 0 错

    2026年3月18日
    1
  • linux练习题

    观察系统当前进程的运行情况的命令是():A、freeB、dmesgC、topD、last答案:http://hovertree.com/tiku/bjag/foxg5n0q.htmLinux系统

    2021年12月28日
    36
  • spring 中StoredProcedure的用法

    spring 中StoredProcedure的用法StoredProcedure是一个抽象类,必须写一个子类来继承它,这个类是用来简化JDBCTemplate执行存储过程操作的。首先我们写一个实现类:packagecom.huaye.framework.dao;importjava.sql.Types;importjava.util.HashMap;importjava.util.Map;importor

    2022年7月26日
    9
  • 服务器网络io性能_服务器热备份方案

    服务器网络io性能_服务器热备份方案介质(HDD/SSD)接口sata/scsicontroller,raid卡or南桥,是否有缓存文件系统xfs,或其他brtfs之类的磁盘队列算法deadlinecfqnoopdm内存缓存设置RAID形式性能RAID0磁盘空间使用率:100%,故成本最低。读性能:N单块磁盘的读性能。写性能:N单块磁盘的写性能。冗余:无,任何一块磁盘损坏都将导致数据不可用…

    2026年2月1日
    3
  • Idea激活码最新教程2023.3.5版本,永久有效激活码,亲测可用,记得收藏

    Idea激活码最新教程2023.3.5版本,永久有效激活码,亲测可用,记得收藏Idea 激活码教程永久有效 2023 3 5 激活码教程 Windows 版永久激活 持续更新 Idea 激活码 2023 3 5 成功激活

    2025年5月27日
    9
  • html超级链接生成器,超链接地址生成器

    html超级链接生成器,超链接地址生成器超链接生成器是一款快速方便,简单易用的超链接地址生成器。它可以把以纯文本形式存在的超链接地址转换成真正的超级链接,方便你点击超链接来打开网址,或者打开IE快捷菜单等。软件特点:①界面简介,操作方便,速度快;②可以从浏览器拖放链接到窗口生成URL,或从资源管理器拖放文件到窗口生成URL;③可以批量导入文件路径来生成URL;④可以扫描某个目录下的所有文件生成URL。⑤在IE右键快捷菜单中增加生成超链…

    2022年5月21日
    70

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号