mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]

mysql connector安装教程_Debezium:mysql connector安装[通俗易懂]前言:debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用插件版本:Kafka:CDK3.10(相当于Kafka1.1版本),这里需要kafka0.10以上版本才能支持Debezium:0.83Mysql:5.5(mysql5…

大家好,又见面了,我是你们的朋友全栈君。

前言:

debezium提供了多种基于kafka的连接器,方便对RDB做数据流处理,包括:MongoDB,Oracle,Mysql,SqlServer,Postgresql,可扩展性强,代码可控,本篇介绍基于mysql的安装使用

插件版本:

Kafka:CDK3.10 (相当于Kafka1.1版本),这里需要kafka 0.10以上版本才能支持

Debezium:0.83

Mysql:5.5 (mysql5.6版本前后会有一些差异,下面会提到)

安装步骤:

1、mysql (这里我们安装5.5版本)

apt-get install mariadb-server-5.5

2、mysql配置

修改/etc/mysql/my.cnf,添加如下内容:

server-id = 223344 (这个id对于debezium来说一定是要唯一的)

log_bin = mysql-bin

binlog_format = ROW

#binlog_row_image = FULL (这一行如果在mysql5.6之前的版本可以不用加,5.6之后的版本要加上,主要控制binlog记录完整性,full为全写)

expire_logs_days = 10

3、重启数据库,配置用户权限

CREATE USER debezium IDENTIFIED BY ‘debezium’;

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ‘debezium’ IDENTIFIED BY ‘debezium’;

FLUSH PRIVILEGES;

关于权限的介绍:

SELECT – enables the connector to select rows from tables in databases; used only when performing a snapshot

RELOAD – enables the connector of the FLUSH statement to clear or reload various internal caches, flush tables, or acquire locks; used only when performing a snapshot

SHOW DATABASES – enables the connector to see database names by issuing the SHOW DATABASE statement; used only when performing a snapshot

REPLICATION SLAVE – enables the connector to connect to and read the binlog of its MySQL server; always required for the connector

REPLICATION CLIENT – enables the use of SHOW MASTER STATUS, SHOW SLAVE STATUS, and SHOW BINARY LOGS; always required for the connector

5、安装java环境

安装包准备:jdk-8u144-linux-x64.tar.gz

解压java安装包到指定安装文件:tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/lib/jvm/

配置环境变量,修改/etc/profile文件

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/li

使配置环境变量生效: source /etc/profile

测试是否安装成功

java –version

6、Debezium安装

下载:weget https://repo1.maven.org/maven2/io/debezium/debezium-connector-mysql/0.8.3.Final/debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

解压压缩包:tar -zxvf debezium-connector-mysql-0.8.3.Final-plugin.tar.gz

把debezium-connector-mysql下所有的jar包复制到kafka的lib下:cp *.jar /opt/cloudera/parcels/KAFKA-3.1.0-1.3.1.0.p0.35/lib/kafka/libs

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/159559.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • ubuntu安装qq

    安装的版本是国际版1.安装依赖库sudoapt-getinstalllibgtk2.0-0:i386sudoapt-getinstalllib32ncurses52.下载下载链接:http://pan.baidu.com/s/1jIwKdXshttp://linux.linuxidc.com/3.解压并安装wineqqintl定位到该路径,然后再输入sudodpkg-iwi

    2022年4月6日
  • python计算平均数,方差,标准差_抽样平均误差的计算

    python计算平均数,方差,标准差_抽样平均误差的计算python计算平均平方误差(MSE)的实例我们要编程计算所选直线的平均平方误差(MSE),即数据集中每个点到直线的Y方向距离的平方的平均数,表达式如下:MSE=1n∑i=1n(yi−mxi−b)2最初麻烦的写法#TODO实现以下函数并输出所选直线的MSEdefcalculateMSE(X,Y,m,b):in_bracket=[]foriinrange(len(X)):num…

    2022年9月30日
  • jenkins拉取gitlab代码_git提交远程仓库命令

    jenkins拉取gitlab代码_git提交远程仓库命令前言python自动化的脚本开发完成后需提交到git代码仓库,接下来就是用Jenkins拉取代码去构建自动化代码了新建项目打开Jenkins新建一个自由风格的项目源码管理Repository

    2022年7月29日
  • Android开发 屏幕适配之像素密度适配

    Android开发 屏幕适配之像素密度适配由于市场上采用Android系统的设备种类繁多,迫使Andriod开发人员不得不做烦人的适配工作。适配工作包括对安装不同Android版本的设备进行适配,对不同屏幕的设备进行适配等。而屏幕适配又包括:屏幕尺寸(small,normal,large,xlarge,这些在Android3.2以上版本开始不建议使用,转而使用最小屏幕宽度如sw600dp,最小宽度,最小高度等)屏幕

    2022年6月7日
  • Linux下的文本编辑器vi

    Linux下的文本编辑器vi在终端中打开输入vi[文件],启动vi。vi有三种工作模式:命令模式、文本编辑模式、最后行模式。命令模式是启动vi进入的工作模式,在此模式下输入i,I,a,A,o,O,r,R命令中的任何一个即可进入文本编辑模式。此时在状态/命令区出现“—INSERT—”字样。在文本编辑模式下可输入文本内容,用上、下、左、右方向键移动光标,使用【Del】键和【Backspace】键删除字符,按【Esc】键回到…

    2022年7月26日
  • 2012年第一篇博文——致谢:2011年中国IT十大杰出博客获奖感言「建议收藏」

    2012年第一篇博文——致谢:2011年中国IT十大杰出博客获奖感言「建议收藏」在2012新年伊始之际,非常荣幸获得了2011年度十大杰出IT博客的殊荣,非常感谢各界朋友和同仁、51CTO的编辑、《网络协议本质论》和《蜕变:从菜鸟到Linux安全专家》等个人专著的热心读者在大赛期间对我的支持、关心和陪伴。51CTO博客是一个非常好的展示自己、促进交流、提升自我的平台。我以前专注于技术研究和项目管理,2年前通过51CTO这么一个好的平台找到了一条与大…

    2022年7月21日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号