mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]

mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]前言:debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用插件版本:Kafka:CDK3.10(相当于Kafka1.1版本),这里需要kafka0.10以上版本才能支持Debezium:0.83Mysql:5.5(mysql5…

大家好,又见面了,我是你们的朋友全栈君。

前言:

debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用

插件版本:

Kafka:CDK3.10 (相当于Kafka1.1版本),这里需要kafka 0.10以上版本才能支持

Debezium:0.83

Mysql:5.5 (mysql5.6版本前后会有一些差异,下面会提到)

安装步骤:

1、mysql (这里我们安装5.5版本)

apt-get install mariadb-server-5.5

2、mysql配置

修改/etc/mysql/my.cnf,添加如下内容:

server-id = 223344 (这个id对于debezium来说一定是要唯一的)

log_bin = mysql-bin

binlog_format = ROW

#binlog_row_image = FULL (这一行如果在mysql5.6之前的版本可以不用加,5.6之后的版本要加上,主要控制binlog记录完整性,full为全写)

expire_logs_days = 10

3、重启数据库,配置用户权限

CREATE USER debezium IDENTIFIED BY ‘debezium’;

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘debezium’ IDENTIFIED BY ‘debezium’;

FLUSH PRIVILEGES;

关于权限的介绍:

SELECT – enables the connector to select rows from tables in databases; used only when performing a snapshot

RELOAD – enables the connector of the FLUSH statement to clear or reload various internal caches, flush tables, or acquire locks; used only when performing a snapshot

SHOW DATABASES – enables the connector to see database names by issuing the SHOW DATABASE statement; used only when performing a snapshot

REPLICATION SLAVE – enables the connector to connect to and read the binlog of its MySQL server; always required for the connector

REPLICATION CLIENT – enables the use of SHOW MASTER STATUS, SHOW SLAVE STATUS, and SHOW BINARY LOGS; always required for the connector

5、安装java环境

安装包准备:jdk-8u144-linux-x64.tar.gz

解压java安装包到指定安装文件:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/lib/jvm/

配置环境变量,修改/etc/profile文件

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/li

使配置环境变量生效: source /etc/profile

测试是否安装成功

java –version

6、Debezium安装

下载:weget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.8.3.Final/debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

解压压缩包:tar -zxvf debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

把debezium-connector-mysql下所有的jar包复制到kafka的lib下:cp *.jar /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/libs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/159559.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • 无尽的循环ViewPager

    无尽的循环ViewPager

    2022年1月12日
    29
  • CSS中的媒体类型media type[通俗易懂]

    CSS中的媒体类型media type[通俗易懂]madiatype作用首先要明白一点,我们平时写的HTML页面,可能在不同的媒体类型中显示,如可能显示在屏幕sreen上,也可能显示在纸质print上。那么当页面在不同的媒体类型中显示时,需要的样式可能是不一样的。比如,一般在screen上显示时,页面字体要大一些,在纸质媒体显示时,页面字体要小一些。那么如何告诉别人某个样式是适用于何种媒体类型的呢?这就要靠声明mediatype来实现了。

    2022年5月25日
    89
  • OnTouch关于performClick的Warning

    OnTouch关于performClick的WarningOnTouch关于performClick的Warning当你对一个控件(例如FloatingActionButton)使用setOnTouchListener()或者是对你的自定义控件重写onTouchEvent方法时会出现这个警告,警告内容全文如下IfaViewthatoverridesonTouchEventorusesanOnTouchListenerd…

    2022年6月16日
    30
  • lambda表达式用法_使用lambda表达式定义函数

    lambda表达式用法_使用lambda表达式定义函数(一)输入参数在Lambda表达式中,输入参数是Lambda运算符的左边部分。它包含参数的数量可以为0、1或者多个。只有当输入参数为1时,Lambda表达式左边的一对小括弧才可以省略。输入参数的数量大于或者等于2时,Lambda表达式左边的一对小括弧中的多个参数质检使用逗号(,)分割。示例1下面创建一个Lambda表达式,它的输入参数的数量为0.该表达式将显示“ThisisaLambdae…

    2022年9月19日
    0
  • FileSystemWatcher 用法

    FileSystemWatcher 用法1.FileSystemWatcher基础在应用FileSystemWatcher对象之前,必须了解这个对象的一些基本属性和事件。毫无疑问,这个对象的最重要的属性为“EnableRaisingEvents”属性。这个属性决定对象在收到改变通知时是否提交事件。如果EnableRaisingEvents属性设为假,对象将不会提交改变事件。如果设为真,它将提交改变事件。下面是在应用FileSys

    2022年6月17日
    18
  • PS图层混合模式实例详解

    PS图层混合模式实例详解PS中的很多概念都和CoreGraphics中的概念相通,比如蒙版、路径、裁剪、混合模式等等。如果你对CoreGraphics中的混合模式不太理解,阅读本篇文章能让你对CoreGraphics中

    2022年7月1日
    20

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号