es与数据库的同步方案

es与数据库的同步方案一、双写模式我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。保证es与数据库的同步方案:1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异…

大家好,又见面了,我是你们的朋友全栈君。

一、双写模式

我们采取MySQL作为主要的数据存储,利用MySQL的事务特性维护数据一致性,使用ElasticSearch进行数据汇集和查询,此时es与数据库的同步方案就尤为重要。

保证es与数据库的同步方案:
1、首先添加商品入数据库,添加商品成功后,商品入ES,若入ES失败,将失败的商品ID放入redis的缓存队列(或MQ),且失败的商品ID入log文件(若出现redis挂掉,可从日志中取异常商品ID然后再入ES),
task任务每秒刷新一下redis缓存队列,若是从缓存队列中取到商品ID,则根据商品ID从数据库中获取商品数据然后入ES。

开发es与数据库同步小工具:
1、全量导入
2、根据ID批量导入

 

二、开源框架

1、使用canal(阿里开源的中间件,主要用于同步mysql数据库变更):https://blog.csdn.net/wwd0501/article/details/83503374

2、使用databus:https://www.jianshu.com/p/5dba22e3430a?utm_source=oschina-app

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/144755.html原文链接:https://javaforall.net

(0)
上一篇 2022年5月18日 下午8:20
下一篇 2022年5月18日 下午8:20


相关推荐

  • 关于JS全局变量问题

    关于JS全局变量问题最近在easyui使用全局变量的时候老是执行if判断语句,而不执行顺序下来的局部赋值。导致老是提示undefined;经网上查询得知JS全局变量时:当全局变量跟局部变量重名时,局部变量的scope会覆盖掉全局变量的scope,当离开局部变量的scope后,又重回到全局变量的scope。Javascript的变量的scope是根据方法块来划分的(也就是说以function的一对大括号{}来划分

    2022年6月3日
    36
  • 优先级队列详解

    优先级队列详解动力节点小编来为大家进行优先级队列详解,优先级队列是一种特殊类型的队列,其中每个元素都与一个优先级值相关联。并且,元素根据其优先级提供服务。即,首先服务更高优先级的元素。但是,如果出现具有相同优先级的元素,则按照它们在队列中的顺序提供服务。分配优先级值通常,在分配优先级时考虑元素本身的值。例如,具有最高值的元素被认为是最高优先级的元素。但是,在其他情况下,我们可以假设具有最低值的元素作为最高优先级元素。我们还可以根据需要设置优先级。优先队列和普通队列的区别在队列中,执行先进先

    2026年2月23日
    5
  • 五大常用算法之三:贪心算法[通俗易懂]

    五大常用算法之三:贪心算法[通俗易懂]贪心算法一、基本概念:所谓贪心算法是指,在对问题求解时,总是做出在当前看来是最好的选择。也就是说,不从整体最优上加以考虑,他所做出的仅是在某种意义上的局部最优解。贪心算法没有固定的算法框架,

    2022年8月2日
    7
  • GM8018 多路高压电平转换和功率驱动控制器

    GM8018 多路高压电平转换和功率驱动控制器

    2021年7月29日
    66
  • 云计算与大数据技术应用 第四章课后答案_云计算原理与实践

    云计算与大数据技术应用 第四章课后答案_云计算原理与实践数据中心数据中心的概念数据中心,顾名思义就是数据的中心,是处理和存储海量数据的地方,英文全称为DataCenter。用专业的名词解释,数据中心是全球协作的特定设备网络,用来在internet网络基础设施上传递、加速、展示、计算、存储数据信息。尽管数据中心听起来神秘高大上,但按照最简单直接的理解,数据中心实际上就是我们个人电脑的扩大版,你的家用电脑就是你个人的数据中心。一般来讲,数据中心主要有几大部分构成:机房(建筑物本身)、供配电系统、制冷系统、网络设备、服务器设备、存储设备等。那数据中心的这些构成模

    2022年10月5日
    7
  • argmin函数解析

    argmin函数解析argmin 函数一般的用法为 argminf x 通俗意义上的解释是 argmin 表示使目标函数 f x 取最小值时的变量值 argmax 函数其用法类似 argmaxf x 同理可知 argmax 表示使目标函数 f x 取最大值时的变量值详情请参照 http www cppblog com guijie archive 2010 12 13 136273 html

    2026年3月18日
    2

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号