深入浅出 Zookeeper 中的 ZAB 协议

本文主要内容如下：

图片

ZAB 协议的全称是 Zookeeper Atomic Broadcase，原子广播协议。

作用：通过这个 ZAB 协议可以进行集群间主备节点的数据同步，保证数据的一致性。

在讲解 ZAB 协议之前，我们必须要了解 Zookeeper 的各节点的角色。

1. Zookeeper 各节点的角色

Leader

  • 负责处理客户端发送的读、写事务请求。这里的事务请求可以理解这个请求具有事务的 ACID 特性。
  • 同步写事务请求给其他节点，且需要保证事务的顺序性。
  • 状态为 LEADING。

Follower

  • 负责处理客户端发送的读请求
  • 转发写事务请求给 Leader。
  • 参与 Leader 的选举。
  • 状态为 FOLLOWING。

Observer

和 Follower 一样，唯一不同的是，不参与 Leader 的选举，且状态为 OBSERING。

可以用来线性扩展读的 QPS。

2. 启动阶段，如何选 Leader？

Zookeeper 刚启动的时候，多个节点需要找出一个 Leader。怎么找呢，就是用投票。

比如集群中有两个节点，A 和 B，原理图如下所示：

图片

  • 节点 A 先投票给自己，投票信息包含节点 id（SID) 和一个 ZXID，如 （1,0）。SID 是配置好的，且唯一，ZXID 是唯一的递增编号。
  • 节点 B 先投票给自己，投票信息为（2,0）。
  • 然后节点 A 和 B 将自己的投票信息投票给集群中所有节点。
  • 节点 A 收到节点 B 的投票信息后，检查下节点 B 的状态是否是本轮投票，以及是否是正在选举(LOOKING)的状态。
  • 投票 PK：节点 A 会将自己的投票和别人的投票进行 PK，如果别的节点发过来的 ZXID 较大，则把自己的投票信息更新为别的节点发过来的投票信息，如果 ZXID 相等，则比较 SID。这里节点 A 和 节点 B 的 ZXID 相同，SID 的话，节点 B 要大些，所以节点 A 更新投票信息为（2，0），然后将投票信息再次发送出去。而节点 B 不需要更新投票信息，但是下一轮还需要再次将投票发出去。

这个时候节点 A 的投票信息为（2，0），如下图所示：

图片

  • 统计投票：每一轮投票，都会统计每台节点收到的投票信息，判断是否有过半的节点收到了相同的投票信息。节点 A 和 节点 B 收到的投票信息都为（2，0），且数量来说，大于一半节点的数量，所以将节点 B 选出来作为 Leader。
  • 更新节点状态：节点 A 作为 Follower，更新状态为 FOLLOWING，节点 B 作为 Leader，更新状态为 LEADING。

3. 运行期间，Leader 宕机了怎么办？

在 Zookeeper 运行期间，Leader 会一直保持为 LEADING 状态，直到 Leader 宕机了，这个时候就要重新选 Leader，而选举过程和启动阶段的选举过程基本一致。

需要注意的点：

  • 剩下的 Follower 进行选举，Observer 不参与选举。
  • 投票信息中的 zxid 用的是本地磁盘日志文件中的。如果这个节点上的 zxid 较大，就会被当选为 Leader。如果 Follower 的 zxid 都相同，则 Follower 的节点 id 较大的会被选为 Leader。

4. 节点之间如何同步数据的？

不同的客户端可以分别连接到主节点或备用节点。

而客户端发送读写请求时是不知道自己连的是Leader 还是 Follower，如果客户端连的是主节点，发送了写请求，那么 Leader 执行 2PC（两阶段提交协议）同步给其他 Follower 和 Observer 就可以了。但是如果客户端连的是 Follower，发送了写请求，那么 Follower 会将写请求转发给 Leader，然后 Leader 再进行 2PC 同步数据给 Follower。

两阶段提交协议：

  • 第一阶段：Leader 先发送 proposal 给 Follower，Follower 发送 ack 响应给 Leader。如果收到的 ack 过半，则进入下一阶段。
  • 第二阶段： Leader 从磁盘日志文件中加载数据到内存中，Leader 发送 commit 消息给 Follower，Follower 加载数据到内存中。

我们来看下 Leader 同步数据的流程：

图片

  • ① 客户端发送写事务请求。
  • ② Leader 收到写请求后，转化为一个 “proposal01：zxid1” 事务请求，存到磁盘日志文件。
  • ③ 发送 proposal 给其他 Follower。
  • ④ Follower 收到 proposal 后，Follower 写磁盘日志文件。

接着我们看下 Follower 收到 Leader 发送的 proposal 事务请求后，怎么处理的：

图片

  • ⑤ Follower 返回 ack 给 Leader。
  • ⑥ Leader 收到超过一半的 ack，进行下一阶段
  • ⑦ Leader 将磁盘中的日志文件的 proposal 加载到 znode 内存数据结构中。
  • ⑧ Leader 发送 commit 消息给所有 Follower 和 Observer。
  • ⑨ Follower 收到 commit 消息后，将 磁盘中数据加载到 znode 内存数据结构中。

现在 Leader 和 Follower 的数据都是在内存数据中的，且是一致的，客户端从 Leader 和 Follower 读到的数据都是一致的。

ZAB 的顺序一致性怎么做到的？

Leader 发送 proposal 时，其实会为每个 Follower 创建一个队列，都往各自的队列中发送 proposal。

如下图所示是 Zookeeper 的消息广播流程：

图片

客户端发送了三条写事务请求，对应的 proposal 为

proposal01:zxid1
proposal02:zxid2
proposal03:zxid3

Leader 收到请求后，依次放到队列中，然后 Follower 依次从队列中获取请求，这样就保证了数据的顺序性。

5. Zookeeper 到底是不是强一致性？

官方定义：顺序一致性。

不保证强一致性，为什么呢？

因为 Leader 再发送 commit 消息给所有 Follower 和 Observer 后，它们并不是同时完成 commit 的。

比如因为网络原因，不同节点收到的 commit 较晚，那么提交的时间也较晚，就会出现多个节点的数据不一致，但是经过短暂的时间后，所有节点都 commit 后，数据就保持同步了。

另外 Zookeeper 支持强一致性，就是手动调用 sync 方法来保证所有节点都 commit 才算成功。

这里有个问题：如果某个节点 commit 失败，那么 Leader 会进行重试吗？如何保证数据的一致性？欢迎讨论。

6. Leader 宕机数据丢失问题

第一种情况：假设 Leader 已经将消息写入了本地磁盘，但是还没有发送 proposal 给 Follower，这个时候 Leader 宕机了。

那就需要选新的 Leader，新 Leader 发送 proposal 的时候，包含的 zxid 自增规律会发生一次变化：

  • zxid 的高 32 位自增 1 一次，高 32 位代表 Leader 的版本号。
  • zxid 的低 32 位自增 1，后续还是继续保持自增长。

当老 Leader 恢复后，会转成 Follower，Leader 发送最新的 proposal 给它时，发现本地磁盘的 proposal 的 zxid 的高 32 位小于新 Leader 发送的 proposal，就丢弃自己的 proposal。

第二种情况：如果 Leader 成功发送了 commit 消息给 Follower，但是所有或者部分 Follower 还没来得及 commit 这个 proposal，也就是加载磁盘中的 proposal 到 内存中，这个时候 Leader 宕机了。

。

第二种情况：如果 Leader 成功发送了 commit 消息给 Follower，但是所有或者部分 Follower 还没来得及 commit 这个 proposal，也就是加载磁盘中的 proposal 到 内存中，这个时候 Leader 宕机了。

那么就需要选出磁盘日志中 zxid 最大的 Follower，如果 zxid 相同，则比较节点 id，节点 id 大的作为 Leader。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mfbz.cn/a/296232.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

Grounding 模型 + SAM 报错

Grounding 模型 + SAM 报错

引入 Grounding 目标检测模型串联 SAM 从而实现实例分割任务，目前支持 Grounding DINO 和 GLIP 参考教程 MMDetection-SAM 如果是 Grounding DINO 则安装如下依赖即可 cd playground pip install githttps://github.com/facebookresearch/segment-anything.git pip…
阅读更多...
uni-app 前后端调用实例 基于Springboot 上拉分页实现

uni-app 前后端调用实例 基于Springboot 上拉分页实现

锋哥原创的uni-app视频教程： 2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中..._哔哩哔哩_bilibili2023版uniapp从入门到上天视频教程(Java后端无废话版)，火爆更新中...共计23条视频，包括：第1讲 uni…
阅读更多...
java spring mvc 初探 web搭建过程详解

java spring mvc 初探 web搭建过程详解

提前准备安装tomcat 设备：mac 第一步：下载 进入官网下载压缩包 注意：如果jdk版本是1.8，则tomcat需要v8才行，否则会报错 https://tomcat.apache.org/ 第二步：解压 解压后路径 /Users/you/Library/tomcat/apache-tomcat-8.5.73 进入此目录 修改配置 code setclasspath.…
阅读更多...
Java SE面试

Java SE面试

1.什么是 Java？ Java 是一门面向对象的编程语言，不仅吸收了 C语言的各种优点，还摒弃了 C里难以理解的多继承、指针等概念，因此 Java 语言具有功能强大和简单易用两个特征。Java 语言作为静态面向对象编程语言的优秀代表&#xff…
阅读更多...
C+语言的新特性

C+语言的新特性

总是期待学习别人做好了的东西，是否也是一种懒惰呢？ C语言是一门想象中的语言，它介于C和C之间。新的研究表明，C语言不支持某些特性，而C过于复杂。于是，便有了C语言，它的新特性如下： …
阅读更多...
【已解决】js定义对象属性是.如何访问

【已解决】js定义对象属性是.如何访问

当变量没有length属性的时候，可能是个对象变量，当有键值对的时候就可能是个对象，读者都知道的是，用typeof(变量)可以查看属性，今天本文解决的问题是如果js定义对象中属性是"点"如何访问 问题再现 var a {…
阅读更多...
【Linux软件包管理器】yum详解

【Linux软件包管理器】yum详解

目录 1、什么是软件包 2、yum的操作 1）yum源 2）三板斧 ① yum list ② yum install [软键名] ③ yum remove [软件名] 1、什么是软件包 在Linux下安装软件, 一个通常的办法是下载到程序的源代码, 并进行编译, 得到可执行程序. 但是这样太麻烦了,…
阅读更多...
Dubbo入门介绍和实战

Dubbo入门介绍和实战

1. 引言 Dubbo是一款开源的高性能、轻量级的Java RPC（远程过程调用）框架，旨在解决分布式服务之间的通信问题。本文将介绍Dubbo的基础概念、核心特性以及使用场景，包括实际示例演示。 2. 什么是Dubbo？ Dubbo是阿里巴…
阅读更多...
Spring Boot依赖版本声明

Spring Boot依赖版本声明

链接 官网 Spring Boot文档官网：​​​​​​https://docs.spring.io/spring-boot/docs/https://docs.spring.io/spring-boot/docs/ Spring Boot 2.0.7.RELEASE Spring Boot 2.0.7.RELEASE reference相关：https://docs.spring.io/spring-boot/docs/2.…
阅读更多...
实战|验证码突破思路

实战|验证码突破思路

目录 一、暴力破解突破验证码 二、时间、次数突破验证码 三、回显突破验证码 四、绕过验证码方法介绍 一、暴力破解突破验证码 方法 有的验证码输入正确一次，在一定时间内不用再输入。 有的验证码输入正确一次，会在你session中设定一个值&#xff0…
阅读更多...
DFA算法在敏感词过滤的应用

DFA算法在敏感词过滤的应用

相信大家对于游戏里聊天框的以下内容已经不陌生了 "我***"“你真牛*”“你是不是傻*” 一个垃圾的游戏环境是非常影响玩游戏的心情的，看到这些，就知道游戏已经帮我们屏蔽掉了那些屏蔽字了，对于玩游戏而言，心里会好受很…
阅读更多...
Raft no-op日志

Raft no-op日志

no-op日志 为什么 Leader 不能提交之前任期的日志，只能通过提交自己任期的日志，从而间接提交之前任期的日志。 先按错误的情况，也就是 Leader 可以提交之前任期的日志。那么上述的流程： s1 是任期 2 的 Leader(仔细看&#xff0…
阅读更多...
【Tomcat】在一台计算机上运行两个Tomcat服务

【Tomcat】在一台计算机上运行两个Tomcat服务

首先把Tomcat整个文件复制一份放在其他文件夹路径中 1.修改环境变量 添加环境变量在系统变量里面 “CATALINA_HOME” 指向一个路径 “CATALINA_HOME1” 指另一个Tomcat路径 2.修改startup里面的环境变量，全部修改 修改"D:\Java\apache-tomcat-8.5.45\bin&…
阅读更多...
Raft Lab3A

Raft Lab3A

Lab3 需要在 Raft 层上实现一个 fault-tolerant key-value service，满足强一致性，也就是线性一致性 (Linearizable Consistency)。线性一致性保证整个系统看起来好像只有一个副本，其中所有的操作都是原子性的。简单地说，线性一致性…
阅读更多...
Unity之预制体与变体

Unity之预制体与变体

PS:不用说了，我在写博客就是在摸鱼 一、预制体 不知道大家小时候有没有看过火影，记得剧情最开始的时候水木哄骗鸣人去偷封印之书，反而让鸣人学会了多重影分身之术： 好了，小编绞尽脑子终于想好怎么向大家介绍预制体了&a…
阅读更多...
高级分布式系统-第3讲 网络与网络互联

高级分布式系统-第3讲 网络与网络互联

万维网的诞生 1957年10月4日， 苏联发射了人类第一颗人造卫星—斯普特尼克一号 美国政府震惊不已。 他们认为， 在日趋激烈的冷战对抗中， 自己已经全面落后于苏联。 为了扭转这一局面， 美国国防部很快于1958 年 2 月组建了一个神秘…
阅读更多...
红队专题-Web安全/渗透测试-文件上传/下载/包含

红队专题-Web安全/渗透测试-文件上传/下载/包含

文件上传/下载/包含 招募六边形战士队员利用目录穿越反弹SHELL实战测试2.2 提交报文修改检测3.2 文件内容检测绕过完整文件结构 检测 第四章：解析漏洞第一节 常见解析漏洞iis/nginx php fastcgi 取值错误 解析漏洞 （配置错误）nginx 文件名逻…
阅读更多...
2024年，Web3技术的“iPhone时刻”会出现吗？

2024年，Web3技术的“iPhone时刻”会出现吗？

出品｜欧科云链研究院 关于2024年的Web3市场，大多数人目前是持乐观态度的。随着宏观政策稳定，美国和香港地区不断释放加密资产现货ETF的利好，叠加铭文热潮及减半周期临近，市场对Web3及加密资产的兴趣正持续上涨。年后的…
阅读更多...
项目从npm迁移到pnpm

项目从npm迁移到pnpm

场景如下：在安装Vue3时默认为使用Npm安装，如图所示： 安装完后项目就包含了基于NPM的node_modules、package.json，以及package-lock.json 如果想使用pnpm去安装依赖项的话，可以通过如下几个步骤实现： ①删…
阅读更多...
UICollection Compositional Layout全详解

UICollection Compositional Layout全详解

本文字数：8325字 预计阅读时间：45分钟 01 Collection View Layout全详解 UICollectionView在iOS中是构建复杂布局的强大工具。iOS13中引入的 UICollectionViewCompositionalLayout为创建自定义布局提供了全新的可能性。本文将深入探讨Compositional Lay…
阅读更多...
最新文章

Copyright @ 2022~2023

友情链接： 我的编程经验分享 一条长河网 尧图网站开发 尧图建网站