databus mysql搭建_【databus】初识Databus

databus mysql搭建_【databus】初识Databus1.简介Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。Databus有以下特点:数据源和消费者之间的隔离。数据传输能保证顺序性和至少一次交付的高可用性。从变化流的任意时间点进行消费,包括…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

1. 简介

Databus是一个低延迟、可靠的、支持事务的、保持一致性的数据变更抓取系统。由LinkedIn于2013年开源。Databus通过挖掘数据库日志的方式,将数据库变更实时、可靠的从数据库拉取出来,业务可以通过定制化client实时获取变更并进行其他业务逻辑。

Databus有以下特点:

数据源和消费者之间的隔离。

数据传输能保证顺序性和至少一次交付的高可用性。

从变化流的任意时间点进行消费,包括通过bootstrap获取所有数据。

分区消费

源一致性保存,消费不成功会一直消费直到消费成功

2. 功能&特性

来源独立:Databus支持多种数据来源的变更抓取,包括Oracle和MySQL。

可扩展、高度可用:Databus能扩展到支持数千消费者和事务数据来源,同时保持高度可用性。

事务按序提交:Databus能保持来源数据库中的事务完整性,并按照事务分组和来源的提交顺寻交付变更事件。

低延迟、支持多种订阅机制:数据源变更完成后,Databus能在毫秒级内将事务提交给消费者。同时,消费者使用Databus中的服务器端过滤功能,可以只获取自己需要的特定数据。

无限回溯:对消费者支持无限回溯能力,例如当消费者需要产生数据的完整拷贝时,它不会对数据库产生任何额外负担。当消费者的数据大大落后于来源数据库时,也可以使用该功能。

3. 使用场景举例

BUSSINESS1 和 BUSSINESS2 是两个不同的业务逻辑,他们的变更需要同时写入到 DB 和 CACHE ,那么当他们同时修改同一个数据的时候是否能保证数据的一致性呢?可以发现如果按照下图标明的顺序进行操作并不能保证数据的一致性!

7f18068ac46cbc4847635839678d3a19.png

还有一个问题是变更完DB之后,更新CACHE失败怎么办?如果忽略的话,会造成后续读取到CACHE中旧的数据,如果重试的话,业务代码会写得更加复杂。针对这些场景,如果没有一个强一致协议是很难解决掉的。如果要业务逻辑去实现这些晦涩的一致性协议,却又是不现实的。

现在,有了Databus,上面提到的这些一致性问题就都没有了,并且那些冗长的双写逻辑也可以去掉了,如下图所示:

d3cada9170e3d3ab46796b7b87ebe415.png

4. 系统整体架构与主要组件

4.1 系统整体架构

cf7a0ae6b32858de37944fce06ac8516.png

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/181207.html原文链接:https://javaforall.net

(0)
上一篇 2022年10月16日 下午9:46
下一篇 2022年10月16日 下午9:46


相关推荐

  • plsql连接oracle数据库报ora 12154错误解决方法

    plsql连接oracle数据库报ora 12154错误解决方法今天遇到一个问题,plsql连接oracle数据库报ora12154错误,本文将为您详细介绍此等问题的几种解决方法(我是使用第二种方法解决的)解决方法如下:1.先检查服务器端的监听服务是否打开,如果没有打开请启动其监听客户端:tnsping服务器Linux下:#>lsnrctlstatus查看监听状态#>lsnrctlstart启动监听 

    2022年7月19日
    20
  • Ubuntu中dpkg命令「建议收藏」

    Ubuntu中dpkg命令「建议收藏」语法   dpkg(选项)(参数)选项   -i         安装软件包;   -r         删除软件包;   -P         删除软件包的同时删除其配置文件;   -L         显示于软件包关联的文件;   -l         显示已安装软件包列表;   –unpack      解开软件包;   -c    …

    2022年5月22日
    55
  • 托马斯微积分第十一版_企业微服务第一部分

    托马斯微积分第十一版_企业微服务第一部分托马斯微积分第十一版无论您是大型企业还是小型初创企业 技术都是差异化的基础 如果企业不接受这一事实 他们就有失去市场份额的风险 并最终走向历史书籍 提供新的服务 产品或创新的创造力来改善现有服务的体验都在技术上有基础 IT 可以帮助您实现这一目标 但是 对于 IT 团队来说 任务是艰巨的 支持快速变化和创新的业务 紧跟带来价值的最新技术 同时为现有资产提供稳定和安全的环境 我们拥

    2026年3月16日
    2
  • Oracle Instant Client(即时客户端) 安装与配置

    Oracle Instant Client(即时客户端) 安装与配置一、下载下载地址:http://www.oracle.com/technetwork/database/features/instant-client/index-097480.html这是Ora

    2022年7月3日
    38
  • Cwnd类结构

    Cwnd类结构一 MFC 类别阶层架构二 CWnd 类 CWnd 是 MFC 的一个窗口类 这个类里几乎封装了所有关于窗口操作的 API 函数 在 Windows 系统里 一个窗口的属性分两个地方存放 一部分放在 窗口类 里头 如上所述的在注册窗口时指定 另一部分放在 WindowsObjec 本身 如 窗口的尺寸 窗口的位置 X Y 轴 窗口的 Z 轴顺序 窗口的状态 ACTIVE MINIMIZED MAXMIZED RES

    2026年3月18日
    2
  • rinetd安装

    第一步:下载安装包wgethttp://www.boutell.com/rinetd/http/rinetd.tar.gz第二步解压安装包tar-zxvfrinetd.tar.gz第三步进入rinetd修改 rinetd.c文件bindPort>=65536    变个更为  bindPort>=65535connectPort

    2022年4月8日
    199

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号