MySQL数据库主从复制和读写分离

目录

一、MySQL主从复制和读写分离理论

(一)读写分离

1.什么是读写分离

2.为什么要读写分离

3.什么时候要读写分离

4.读写分离原理

5.常见MySQL 读写分离

(1)基于程序代码内部实现

(2)基于中间代理层实现

① MySQL-Proxy

② Atlas

③ Amoeba

④ Mycat

(二)主从复制

1.mysql支持的复制类型

(1)STATEMENT:基于语句的复制

(2)ROW:基于行的复制

(3)MIXED:混合类型的复制

2.主从复制的工作过程

3.MySQL主从复制的同步模式

(1)异步复制

(2)全同步复制

(3)半同步复制

二、MySQL主从复制和读写分离实操

(一)搭建MySQL主从复制

1.主从服务器时间同步

(1)主服务器配置

(2)从服务器配置

​编辑

2.主服务器的mysql配置

3.从服务器的mysql配置

(1)修改配置文件

(2)登录数据库配置

4.验证主从复制

(1)在主服务器上创建库、表

(2)在从服务器中查看

(二)搭建半同步复制

1.主服务器配置

2.从服务器配置

3.查看半同步是否在运行

(1)主服务器上查看

(2)从服务器上查看

(3)在主库查询半同步状态

(三)搭建 MySQL读写分离

1.Amoeba服务器配置

(1)安装Java环境

(2)安装Amoeba软件

(3)配置 Amoeba读写分离,两个Slave读负载均衡

(4)配置amoeba服务

2.测试读写分离

(1)主服务器上创建库和表,并添加数据

(2)在两台从服务器上查看表内容

(3)在从服务器上添加数据

(4)在主服务器上查看


一、MySQL主从复制和读写分离理论

(一)读写分离

1.什么是读写分离

        读写分离,基本的原理是让主数据库处理事务性增、改、删操作(INSERT、UPDATE、DELETE),而从数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致的变更同步到集群中的从数据库。

2.为什么要读写分离

         因为数据库的“写”(写10000条数据可能要3分钟)操作是比较耗时的,但是数据库的“读”(读10000条数据可能只要5秒钟),所以读写分离,解决的是,数据库的写入,影响了查询的效率。

3.什么时候要读写分离

        数据库不一定要读写分离,如果程序使用数据库较多时,而更新少,查询多的情况下会考虑使用。利用数据库主从同步,再通过读写分离可以分担数据库压力,提高性能。

4.读写分离原理

       读写分离就是只在主服务器上写,只在从服务器上读。基本的原理是让主数据库处理事务性操作,而从数据库处理 select 查询。数据库复制被用来把主数据库上事务性操作导致的变更同步到集群中的从数据库。

5.常见MySQL 读写分离

(1)基于程序代码内部实现

        在代码中根据 select、insert 进行路由分类,这类方法也是目前生产环境应用最广泛的。优点是性能较好,因为在程序代码中实现,不需要增加额外的设备为硬件开支;缺点是需要开发人员来实现,运维人员无从下手。但是并不是所有的应用都适合在程序代码中实现读写分离,像一些大型复杂的Java应用,如果在程序代码中实现读写分离对代码改动就较大。

(2)基于中间代理层实现

       代理一般位于客户端和服务器之间,代理服务器接到客户端请求后通过判断后转发到后端数据库,有以下代表性程序:

① MySQL-Proxy

       MySQL-Proxy 为 MySQL 开源项目,通过其自带的 lua 脚本进行SQL 判断。

② Atlas

       是由奇虎360的Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是在mysql-proxy 0.8.2版本的基础上,对其进行了优化,增加了一些新的功能特性。360内部使用Atlas运行的mysql业务,每天承载的读写请求数达几十亿条。支持事物以及存储过程。

③ Amoeba

       由陈思儒开发,作者曾就职于阿里巴巴。该程序由Java语言进行开发,阿里巴巴将其用于生产环境。但是它不支持事务和存储过程。

④ Mycat

       是一款流行的基于Java语言编写的数据库中间件,是一个实现了MySql协议的服务器,其核心功能是分库分表。配合数据库的主从模式还可以实现读写分离。

        由于使用MySQL Proxy 需要写大量的Lua脚本,这些Lua并不是现成的,而是需要自己去写。这对于并不熟悉MySQL Proxy 内置变量和MySQL Protocol 的人来说是非常困难的。Amoeba是一个非常容易使用、可移植性非常强的软件。因此它在生产环境中被广泛应用于数据库的代理层。

(二)主从复制

1.mysql支持的复制类型

(1)STATEMENT:基于语句的复制

       在服务器上执行sql语句,在从服务器上执行同样的语句,mysql默认采用基于语句的复制,执行效率高。

(2)ROW:基于行的复制

        把改变的内容复制过去,而不是把命令在从服务器上执行一遍。

(3)MIXED:混合类型的复制

        默认采用基于语句的复制,一旦发现基于语句无法精确复制时,就会采用基于行的复制。

2.主从复制的工作过程

(1)Master节点将数据的改变记录成二进制日志(bin log),当Master上的数据发生改变时,则将其改变写入二进制日志中。

(2)Slave节点会在一定时间间隔内对Master的二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/O线程请求 Master的二进制事件。

(3)同时Master节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至Slave节点本地的中继日志(Relay log)中,Slave节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,即解析成 sql 语句逐一执行,使得其数据和 Master节点的保持一致,最后I/O线程和SQL线程将进入睡眠状态,等待下一次被唤醒。

3.MySQL主从复制的同步模式

(1)异步复制

       Asynchronous replication: MySQL默认的复制即是异步的,主库在执行完客户端提交的事务后会立即将结果返给客户端,并不关心从库是否已经接收并处理,这样就会有一个问题,主如果crash掉了,此时主上已经提交的事务可能并没有传到从上,如果此时,强行将从提升为主,可能导致新主上的数据不完整。

(2)全同步复制

       Fully synchronous replication:指当主库执行完一个事务,所有的从库都执行了该事务才返回给客户端。因为需要等待所有从库执行完该事务才能返回,所以全同步复制的性能必然会收到严重的影响。

(3)半同步复制

       Semisynchronous replication:介于异步复制和全同步复制之间,主库在执行完客户端提交的事务后不是立刻返回给客户端,而是等待至少一个从库接收到并写到relay log中才返回给客户端。相对于异步复制,半同步复制提高了数据的安全性,同时它也造成了一定程度的延迟,这个延迟最少是一个TCP/IP往返的时间。所以,半同步复制最好在低延时的网络中使用。

二、MySQL主从复制和读写分离实操

(一)搭建MySQL主从复制

1.主从服务器时间同步

(1)主服务器配置
yum install ntp -y
 
vim /etc/ntp.conf
  server 172.16.72.0	
  #设置本地是时钟源,注意修改网段
  fudge 172.16.72.0 stratum 8
  #设置时间层级为8(限制在15内)
 
service ntpd start

(2)从服务器配置

两台从服务器同样配置

yum install ntp ntpdate -y
systemctl start ntpd
/usr/sbin/ntpdate 172.16.72.40				
#进行时间同步
 
crontab -e
#添加周期性计划任务
*/30 * * * * /usr/sbin/ntpdate 172.16.72.40
#每隔30分钟与主服务器同步一次时间

2.主服务器的mysql配置

vim /etc/my.cnf
  server-id=1
  log-bin=mysql-bin		
  binlog_format=mixed
  #添加,主服务器开启二进制日志

  #选配项
  expire_logs_days=7	
  #设置二进制日志文件过期时间,默认值为0,表示logs不过期
  max_binlog_size=500M
  #设置二进制日志限制大小,如果超出给定值,日志就会发生滚动,默认值是1GB
  skip_slave_start=1
  #阻止从库崩溃后自动启动复制,崩溃后再自动复制可能会导致数据不一致的
 
  #"双1设置",数据写入最安全
  innodb_flush_log_at_trx_commit=1		
  #redo log(事务日志)的刷盘策略,每次事务提交时MySQL都会把事务日志缓存区的数据写入日志文件中,并 
  且刷新到磁盘中,该模式为系统默认
  sync_binlog=1							
  #在进行每1次事务提交(写入二进制日志)以后,Mysql将执行一次fsync的磁盘同步指令,将缓冲区数据刷新 
  到磁盘
 
systemctl restart mysqld
mysql -u root
grant replication slave on *.* to 'myslave'@'172.16.72.%' identified by '123'; 
#给从服务器授权
flush privileges;
show master status;

3.从服务器的mysql配置

两台从服务器一样配置

(1)修改配置文件
vim /etc/my.cnf
server-id = 2                       #修改,注意id与Master的不同,两个Slave的id也要不同
relay-log=relay-log-bin			    #开启中继日志,从主服务器上同步日志文件记录到本地
relay-log-index=relay-log-bin.index	#定义中继日志文件的位置和名称,一般和relay-log在同一目录
 
选配项
innodb_buffer_pool_size=2048M		
#用于缓存数据和索引的内存大小,让更多数据读写内存中完成,减少磁盘操作,可设置为服务器总可用内存的 70-80%
sync_binlog=0						
#MySQL不做任何强制性的磁盘刷新指令,而是依赖操作系统来刷新数据到磁盘
innodb_flush_log_at_trx_commit=2	
#每次事务log buffer会写入log file,但一秒一次刷新到磁盘
log-slave-updates=0					
#slave 从 master 复制的数据会写入二进制日志文件里,从库做为其他从库的主库时设置为 1
relay_log_recovery=1				
#当 slave 从库宕机后,假如 relay-log 损坏了,导致一部分中继日志没有处理,则自动放弃所有未执行的 relay-log, 并且重新从 master 上获取日志,这样就保证了 relay-log 的完整性。默认情况下该功能是关闭的,将 relay_log_recovery 的值设置为 1 时, 可在 slave 从库上开启该功能,建议开启。
 
systemctl restart mysqld

(2)登录数据库配置
mysql -uroot -p123 
 
change master to master_host='172.16.72.40',master_user='myslave',master_password='123',master_log_file='mysql-bin.000001',master_log_pos=3123;
start slave;
show slave status\G
 
//确保 IO 和 SQL 线程都是 Yes,代表同步正常。
Slave_IO_Running: Yes				#负责与主机的io通信
Slave_SQL_Running: Yes				#负责自己的slave mysql进程
 
#一般 Slave_IO_Running: No 的可能性:
1、网络不通
2、my.cnf配置有问题
3、密码、file文件名、pos偏移量不对
4、防火墙没有关闭

4.验证主从复制

(1)在主服务器上创建库、表

(2)在从服务器中查看

(二)搭建半同步复制

1.主服务器配置

vim /etc/my.cnf	
#在 [mysqld] 区域添加下面内容
 
plugin-load=rpl_semi_sync_master=semisync_master.so	
#加载mysql半同步复制的插件
rpl_semi_sync_master_enabled=ON	
#或者设置为"1",即开启半同步复制功能
rpl-semi-sync-master-timeout=1000
#超时时间为1000ms,即1s
 
systemctl restart mysqld

2.从服务器配置

vim /etc/my.cnf
 
plugin-load=rpl_semi_sync_slave=semisync_slave.so
rpl_semi_sync_slave_enabled=ON
 
systemctl restart mysqld

3.查看半同步是否在运行

(1)主服务器上查看
show status like 'Rpl_semi_sync_master_status';
show variables like 'rpl_semi_sync_master_timeout';

(2)从服务器上查看
show status like 'Rpl_semi_sync_slave_status';
 
stop slave io_thread;
#关闭数据库上的IO线程
start salve io_thread;
#启动数据库上的IO线程

(3)在主库查询半同步状态
show status like '%Rpl_semi%';
 
Rpl_semi_sync_master_status
#表示当前是异步模式还是半同步模式,on为半同步

(三)搭建 MySQL读写分离

1.Amoeba服务器配置

(1)安装Java环境
cd /opt/
cp jdk-6u14-linux-x64.bin /usr/local/
cd /usr/local/
chmod +x jdk-6u14-linux-x64.bin
./jdk-6u14-linux-x64.bin
//按yes,按enter

mv jdk1.6.0_14/ /usr/local/jdk1.6
 
vim /etc/profile
  export JAVA_HOME=/usr/local/jdk1.6
  export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
  export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
  export AMOEBA_HOME=/usr/local/amoeba
  export PATH=$PATH:$AMOEBA_HOME/bin
 
source /etc/profile
java -version

(2)安装Amoeba软件
mkdir /usr/local/amoeba
tar xf amoeba-mysql-binary-2.2.0.tar.gz -C /usr/local/amoeba/
chmod -R 755 /usr/local/amoeba/
/usr/local/amoeba/bin/amoeba
##如显示amoeba start|stop说明安装成功

(3)配置 Amoeba读写分离,两个Slave读负载均衡

三台服务器同样的命令

#先在Master、Slave1、Slave2 的mysql上开放权限给 Amoeba 访问
 
grant all on *.* to test@'192.168.88.%' identified by 'yy.com';

(4)配置amoeba服务
cd /usr/local/amoeba/conf/
cp amoeba.xml amoeba.xml.bak
vim amoeba.xml                   #修改amoeba配置文件
 
##30行##
<property name="user">amoeba</property>
##32行## 
<property name="password">123456</property>
##115行##
<property name="defaultPool">master</property>
##117-去掉注释-
<property name="writePool">master</property>
<property name="readPool">slaves</property>
 
cp dbServers.xml dbServers.xml.bak

vim dbServers.xml
#修改数据库配置文件
 
##23行##注释掉  作用:默认进入test库 以防mysql中没有test库时,会报错
<!-- <property name="schema">test</property> -->
##26##修改
<property name="user">test</property>
##28-30##去掉注释
<property name="password">123.com</property>
##45##修改,设置主服务器的名Master
<dbServer name="master"  parent="abstractServer">
##48##修改,设置主服务器的地址
<property name="ipAddress">192.168.80.10</property>
##52##修改,设置从服务器的名slave1
<dbServer name="slave1"  parent="abstractServer">
##55##修改,设置从服务器1的地址
<property name="ipAddress">192.168.80.11</property>
##58##复制上面6行粘贴,设置从服务器2的名slave2和地址
<dbServer name="slave2"  parent="abstractServer">
<property name="ipAddress">192.168.80.12</property>
##65行##修改
<dbServer name="slaves" virtual="true">
##71行##修改
<property name="poolNames">slave1,slave2</property>

/usr/local/amoeba/bin/amoeba start&	
#启动Amoeba软件,按ctrl+c 返回
netstat -anpt | grep java
#查看8066端口是否开启,默认端口为TCP 8066

2.测试读写分离

(1)主服务器上创建库和表,并添加数据

(2)在两台从服务器上查看表内容

(3)在从服务器上添加数据

(4)在主服务器上查看

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/297951.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

一文读懂傅里叶变换处理图像的原理 !!

傅里叶变换处理图像 文章目录 前言 快速傅里叶变换 第一步&#xff1a;计算二维快速傅里叶变换 第二步&#xff1a;将零频域部分移到频谱中心 编码 低通滤波器 高通滤波器 理想的滤波器 巴特沃思&#xff08;Btterworth&#xff09;滤波器 高斯&#xff08;Gaussian&#xff09…

YogaPro 16s 安装Ubuntu23.04 教程

一、 制作启动盘 官网下载Ubuntu23.04镜像&#xff0c;安装rufus软件&#xff0c;按照下图设置相应格式&#xff0c;然后点击开始即可 二、 磁盘空间分配 流程&#xff1a; 此电脑右键管理 -> 选择磁盘管理 -> 选中D盘 -> 压缩卷 -> 选择需压缩的内存即可 三、…

【AI视野·今日CV 计算机视觉论文速览 第280期】Mon, 1 Jan 2024

AI视野今日CS.CV 计算机视觉论文速览 Mon, 1 Jan 2024 Totally 46 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Computer Vision Papers Learning Vision from Models Rivals Learning Vision from Data Authors Yonglong Tian, Lijie Fan, Kaifeng Chen, Dina K…

数据结构之堆——学习笔记

1.堆的简介&#xff1a; 接下来看一下堆的建立&#xff1b; 接下来是如何在堆中插入数据以及删除数据&#xff1a; 大根堆的插入操作类似只是改变了一下大于和小于符号&#xff0c;同时插入操作的时间复杂度为O&#xff08;logn&#xff09;。 来看几个问题&#xff1a; 答案当…

3D人体姿态估计(教程+代码)

3D人体姿态估计是指通过计算机视觉和深度学习技术&#xff0c;从图像或视频中推断出人体的三维姿态信息。它是计算机视觉领域的一个重要研究方向&#xff0c;具有广泛的应用潜力&#xff0c;如人机交互、运动分析、虚拟现实、增强现实等。 传统的2D人体姿态估计方法主要关注通…

递归问题示例

斐波那契数列 f ( n ) { 1 n 1 1 n 2 f ( n − 1 ) f ( n − 2 ) n > 2 1 , 1 , 2 , 3 , 5 , 8 . . . \begin{aligned} f(n)\begin{cases}1&n1\\ 1&n2\\ f(n-1)f(n-2)&n\gt2 \end{cases}\\ 1,1,2,3,5,8\quad ... \end{aligned} f(n)⎩ ⎨ ⎧​11f(n−1)f(n−…

CMU15-445-Spring-2023-Project #1 - Buffer Pool

前置知识&#xff0c;参考上一篇博客&#xff1a;CMU15-445-Spring-2023-Project #1 - 前置知识&#xff08;lec01-06&#xff09; 在存储管理器中实现缓冲池。缓冲池负责将物理页从主内存来回移动到磁盘。它允许 DBMS 支持大于系统可用内存量的数据库。缓冲池的操作对系统中的…

spring boot 集成邮件发送功能

一、首先到QQ邮箱申请开启POP3、SMTP协议 二、安装依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-mail</artifactId></dependency><dependency><groupId>org.springframew…

【漏洞挖掘】挖掘CNVD证书

文章目录 一、CNVD介绍事件型漏洞通用型漏洞 二、挖掘思路1. 黑盒测试资产搜集fofa API筛选脚本 2. 白盒测试代码审计 3. google hack注意事项 一、CNVD介绍 国家信息安全漏洞共享平台&#xff08;简称CNVD&#xff09;&#xff0c;对于白帽子来说&#xff0c;挖掘的漏洞提交后…

关于谷歌Gemini大模型

2023年12月7日&#xff0c;谷歌AI宣布发布新一代基于Transformer架构的大模型Gemini。 Gemini的名字来源于双子座&#xff0c;象征着模型的双重性质&#xff1a; 一方面&#xff0c;它是一个强大的训练模型&#xff0c;可以在各种下游任务上进行微调&#xff0c;如文本摘要、机…

MiniTab的宏基础知识

什么是宏&#xff1f; 宏是包含一系列 Minitab 会话命令的文本文件。可以使用宏自动执行重复性任务&#xff08;例如&#xff0c;生成月度报表&#xff09;或扩展 Minitab 的功能&#xff08;例如&#xff0c;计算特殊检验统计量&#xff09;。 Minitab 提供以下类型的宏&…

计算机毕业设计选题分享-SSM律师事务所业务管理系统01664(赠送源码数据库)JAVA、PHP,node.js,C++、python,大屏数据可视化等

SSM律师事务所业务管理系统 摘 要 随着科学技术的飞速发展&#xff0c;社会的方方面面、各行各业都在努力与现代的先进技术接轨&#xff0c;通过科技手段来提高自身的优势&#xff0c;律师事务所业务管理系统当然也不能排除在外。律师事务所业务管理系统是以实际运用为开发背景…

CodeWave智能开发平台--03--目标:应用创建--04自定义主题样式5子页面页面跳转逻辑

摘要 本文是网易数帆CodeWave智能开发平台系列的第07篇&#xff0c;主要介绍了基于CodeWave平台文档的新手入门进行学习&#xff0c;实现一个完整的应用&#xff0c;本文主要完成04自定义主题样式5子页面页面跳转逻辑 参考:新手训练营-PC端应用 CodeWave智能开发平台的07次接…

NVIDIA Jetpack6.0DP使用过程中的问题

Jetpack6.0DP是2023年12月才发布&#xff0c; 操作系统使用了ubuntu 22.04&#xff0c; gcc是11.4&#xff0c;版本都很高&#xff0c; 用起来还存在一些问题 无法使用jtop https://forums.developer.nvidia.com/t/jtop-no-longer-works-on-jp-6-0-dp/275215 使用$ sudo -H p…

【JAVA】OPENGL+TIFF格式图片,不同阈值旋转效果

有些科学研究领域会用到一些TIFF格式图片&#xff0c;由于是多张图片相互渐变&#xff0c;看起来比较有意思&#xff1a; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.logging.*;/*** 可以自已定义日志打印格式…

Oracle数据库新手零基础入门,Oracle安装配置和操作使用详解

一、教程描述 本套教程是专门为初学者量身定制的&#xff0c;无需任何Oracle数据库基础&#xff0c;课程采用循序渐进的教学方式&#xff0c;从Oracle数据库的基础知识开始讲起&#xff0c;并不会直接涉及到一项具体的技术&#xff0c;而是随着课程的不断深入&#xff0c;一些…

基于python的leetcode算法介绍之动态规划

文章目录 零 算法介绍一 例题介绍 使用最小花费爬楼梯问题分析 Leetcode例题与思路[118. 杨辉三角](https://leetcode.cn/problems/pascals-triangle/)解题思路题解 [53. 最大子数组和](https://leetcode.cn/problems/maximum-subarray/)解题思路题解 [96. 不同的二叉搜索树](h…

自动驾驶预测-决策-规划-控制学习(4):预测分析文献阅读

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 前言一、摘要分析1.Transformer模型是什么&#xff1f;什么是自注意力机制&#xff1f; 2.数据集是什么&#xff1f;3.预测车辆行驶轨迹和车辆换道意图4. LSTM 网络…

Pytest成魔之路 —— fixture 之大解剖!

1. 简介 fixture是pytest的一个闪光点&#xff0c;pytest要精通怎么能不学习fixture呢&#xff1f;跟着我一起深入学习fixture吧。其实unittest和nose都支持fixture&#xff0c;但是pytest做得更炫。 fixture是pytest特有的功能&#xff0c;它用pytest.fixture标识&#xff0c…

MybatisPlus—快速入门

目录 1.使用MybatisPlus的基本步骤 1.1引入MybatisPlus的起步依赖 1.2 定义Mapper 2.MybatisPlus常用注解 2.1 TableName 2.2 TableId 2.3 TableField 2.4 小结 3. 常用配置 4. 总结 1.使用MybatisPlus的基本步骤 1.1引入MybatisPlus的起步依赖 MyBatisPlus官方提…