es与数据库的同步方案

es与数据库的同步方案一、双写模式我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。保证es与数据库的同步方案:1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异…

大家好,又见面了,我是你们的朋友全栈君。

一、双写模式

我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。

保证es与数据库的同步方案:
1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异常商品ID然后再入ES),
task任务每秒刷新一下redis缓存队列,若是从缓存队列中取到商品ID,则根据商品ID从数据库中获取商品数据然后入ES。

开发es与数据库同步小工具:
1、全量导入
2、根据ID批量导入

 

二、开源框架

1、使用canal(阿里开源的中间件,主要用于同步mysql数据库变更):https://blog.csdn.net/wwd0501/article/details/83503374

2、使用databus:https://www.jianshu.com/p/5dba22e3430a?utm_source=oschina-app

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/144755.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 英语词汇表

    英语词汇表Aa(an)art.一(个、件……)abandonv.放弃,抛弃abilityn.能力;才能ablea.能够;有能力的abnormala.不正常的aboardprep.在(或上)船,飞机,火车等abolishv.废除abortionn.流产aboutad.大约;到处;四处prep.关于;

    2022年5月12日
    37
  • mysql-修改表名

    mysql-修改表名ALTERTABLEstockPankouRENAMEstockPankou1009

    2022年5月6日
    41
  • JS : clearInterval()失效,无法暂停setInterval()的原因[通俗易懂]

    JS : clearInterval()失效,无法暂停setInterval()的原因[通俗易懂]环境:我在函数A调用函数B,函数B里写了setInterval()。原因:页面加载时我调用了2次函数A,导致调用了2次setInterval(),导致有setInterval_id有2个值。clearInterval()只关闭了其中一个setInterval_id,另一个setInterval_id还会启动setInterval()。改为只调用一次函数A即可。…

    2025年7月13日
    5
  • windows-install-python-and-sphinx(*.rst file)

    windows-install-python-and-sphinx(*.rst file)

    2022年1月4日
    39
  • Oracle创建用户和授权

    Oracle创建用户和授权Oracle创建用户和授权一、安装后修改管理员密码并登陆运行cmd命令行录入sqlplus/nolog无用户名登录conn/assysdba连接到数据本地数据alterusersystemidentifiedbypassword;修改System的密码为password登陆system创建用户和授权其中的路径一定…

    2022年5月19日
    84
  • 重定向与转发的区别_响应重定向和请求转发的区别

    重定向与转发的区别_响应重定向和请求转发的区别重定向和转发的区别: 重定向和转发的区别就是请求服务器几次, 如果请求服务器地址没有变说明这是一次请求请求在自己的服务器里面流转这就是转发这是服务器行为。 如果请求服务器地址变了,说明这是请求了二次,第二次请求由客户端流浪器负责,在多台服务器之间流转这就是客户端行为。 重定向: 1、重定向的速度比较慢,需要跨越服务器 2、重定向是两次不同的请求 3、重定向是执行重定向之后的代码 4、地址栏的地址是会发生变化的 5、重定向不包含项目的根目录 6、重定向是会就是.

    2025年10月6日
    4

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号