TDSQL数据同步工具数据库同步工具开源 _生活百科

数据库同步工具,开源,TDSQL数据同步工具。小编来告诉你更多相关信息。
开源的数据同步中间件-DBSyncer项目介绍DBSyncer是一款开源的数据同步中间件，提供Mysql、Oracle、SqlServer、Elasticsearch(ES)、Kafka、SQL(Mysql/Oracle/SqlServer)等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
开源地址：https://gitee.com/ghi/dbsyncer
组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系
实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
开发插件，自定义转化同步逻辑
安装部署系统介绍centos7
ip:192.168.1.8
需要部署安装JDK和Maven
安装JDK 1.8 如果安装了可以忽略
export JAVA_HOME=/usr/local/java/jdk1.8.0_211
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
\'>> /etc/profile
安装maven 配置maven：在配置文件配置中加上：
export MAVEN_HOME=/data/maven/apache-maven-3.5.4
export PATH=$MAVEN_HOME/bin:$PATH
Apache Maven 3.5.4
下载安装包https://gitee.com/ghi/dbsyncer/releases ，这里我下载v1.1.7-Beta版本
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 03:17 min
[INFO] Finished at: 2022-04-28T16:40:21+08:00
[INFO] ------------------------------------------------------------------------
‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-web/target/dbsyncer-1.1.7-Beta.zip’ -> ‘/data/wwwroot/web/dbsyncer-v1.1.7-Beta/dbsyncer-1.1.7-Beta.zip’
查看端口
tcp600 :::18686:::*LISTEN5754/java
开放端口(非必要)
iptables -A INPUT -p tcp --dport 18686 -j ACCEPT
service iptables save
systemctl restart iptables.service
打开浏览器访问http://IP:18686
http://192.168.1.8:18686/
账号和密码admin/admin

文章插图
同步MySQL数据库192.168.1.6:3306 同步到---> 192.168.1.8:61921
192.168.1.6:61922
192.168.1.8:61921
同步数据库 dzzoffice
mysql -u root -h 192.168.1.6 -P61922 -p\'123456\'
mysql -u root -h 192.168.1.8 -P61921 -p\'123456\'
查看binlog日志
> show binary logs;
目标库的server_id不能为1
mysqladmin -u root -h 192.168.1.8 -p123456 -P61921 shutdown
修改mysql的配置文件
server_id=1 改为 server_id=100
【TDSQL数据同步工具数据库同步工具开源】/usr/bin/mysqld_safe --defaults-file=/data/mysql/etc/61921.cnf &
添加连接进入后台点击 “添加连接”

文章插图

文章插图
添加驱动

文章插图
启动

文章插图

文章插图
优点：开源系统，使用上类似于阿里云的DTS ，如果作为数据同步使用还可以，作为生产环境就需要多测试了
主要用于A库的某数据库同步到B库
增量同步配置（源库）Mysql
Dump Binlog二进制日志。Master同步Slave, 创建IO线程读取数据，写入relaylog ，基于消息订阅捕获增量数据。
配置修改my.ini文件
server_id=1
log-bin=mysql_bin
binlog-format=ROW
max_binlog_cache_size = 256M
max_binlog_size = 512M
expire_logs_days = 7
replicate-do-db=test
OracleCDN注册订阅。监听增删改事件，得到rowid ，根据rowid执行SQL查询，得到变化数据。
授予账号监听权限, 同时要求目标源表必须定义一个长度为18的varchar字段，通过接收rowid值实现增删改操作。
grant change notification to 你的账号
定时

文章插图
假设源表数据格式

文章插图
预览

TDSQL数据同步工具 数据库同步工具开源

TDSQL数据同步工具数据库同步工具开源