正文
mysql 开源~canal安装解析
小程序:扫一扫查出行
【扫一扫了解最新限行尾号】
复制小程序
【扫一扫了解最新限行尾号】
复制小程序
一 简介:今天咱们来聊聊canal的一些东西
二 原理:
- canal模拟mysql slave的交互协议,伪装自己为mysql slave,向mysql master发送dump协议
- mysql master收到dump请求,开始推送binary log给slave(也就是canal)
- canal解析binary log对象(原始为byte流)
三 安装
1 环境安装
1 安装JDK环境
2 安装canal
1 wget https://github.com/alibaba/canal/releases/download/canal-1.0.24/canal.deployer-1.0.24.tar.gz
2 mkdir -p /usr/local/canal
3 tar xzvf canal.deployer-1.0.24.tar.gz -C /usr/local/canal/
3 在目标数据库创建canal用户
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%' IDENTIFIED BY 'canal';
flush privileges
4 修改cannal默认端口
sed -i 's/11111/3310/g' canal.properties
5 创建 相关解析库
cd conf
mkdir db2
cd db2
cp ../example/instance.properties .
6 配置文件解读并修改
## mysql serverId
canal.instance.mysql.slaveId = 1234//类似于mysql slave的server_id,用于模拟一台机器
# position info
canal.instance.master.address = IP:PORT//目标数据库的IP和PORT
canal.instance.master.journal.name =
canal.instance.master.position =
canal.instance.master.timestamp =
# username/password
canal.instance.dbUsername = canal //复制的账号和密码
canal.instance.dbPassword = canal
canal.instance.defaultDatabaseName =
canal.instance.connectionCharset = UTF-8//连接解析的字符集
# table regex
canal.instance.filter.regex = db2.*\\..*//perl的正则匹配,设置过滤的库和表,下面会有说明
# table black regex
canal.instance.filter.black.regex =
按照以上修改即可
7 启动
/bin/startup.sh 查看端口是否存在 进程是否存在
8 相关正则匹配
1. 所有表:.* or .*\\..*
2. canal schema下所有表: canal\\..*
3. canal下的以canal打头的表:canal\\.canal.*
4. canal schema下的一张表:canal.test1
5. 多个规则组合使用:canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
6 匹配多个类似库: canal_.*\\..*
9 配置总结
1 spring方式:基于spring xml + properties进行定义,构建spring配置.
2 增加DB源的话,直接添加即可,无需重启服务.即时生效
四 自动重启脚本
#!/bin/sh
export JAVA_HOME=/usr/java/jdk1.7.0_45
export PATH=$PATH:$JAVA_HOME/bin:/data/canal/bin
result2=`netstat -anlp|grep '0.0.0.0:3310'|wc -l`
if [[ "$result2" > 0 ]];
then
echo "ok"
else
sh /usr/local/canal/bin/startup.sh
fi
五 相关注意事项
1 选择合适版本
2 相关客户端只能被独占 这点要尤其注意
六 以后关于具体测试之类的会补充