【微服务篇】分布式事务方案以及原理详解

分布式事务是指事务参与者、资源服务器、事务管理器分布在不同的分布式系统的多个节点之上的事务。在微服务架构、大型分布式系统和云计算等环境中,由于系统间调用和资源访问的复杂性,分布式事务变得尤为重要。

应用场景

  1. 跨系统交易:当交易涉及多个独立的系统或服务时,如电子商务中的订单系统、支付系统和库存系统,需要保证数据的一致性。
  2. 微服务架构:在微服务架构中,每个微服务可能使用不同的数据库,分布式事务确保了跨服务的数据一致性。
  3. 大数据处理:在大数据应用中,数据可能分布在不同的存储系统中,分布式事务可以协调这些系统之间的操作。

解决方案

分布式事务的解决方案多种多样,每种方案都有其适用场景、优点和缺点。以下是一些常见的分布式事务解决方案:

  • 两阶段提交(2PC)

  • 三阶段提交(3PC)

  • TCC事务补偿

  • Saga模式

  • 基于BASE理论(基本可用、软状态、最终一致性),采用异步消息、事件驱动等方式逐步达到数据的最终一致性。

  • 分布式事务中间件

两阶段提交(2PC)

两阶段提交是一种最常见的分布式事务协议,其过程分为两个主要阶段:准备阶段和提交阶段。

  1. 准备阶段:事务协调者(通常是发起事务的节点)向所有参与者发送准备(PREPARE)命令,询问它们是否可以安全地提交事务。每个参与者执行事务操作,但不提交,而是将操作结果记录到持久存储中,并向协调者回报是(YES)或否(NO)。
  2. 提交阶段
    • 如果所有参与者都回应YES,协调者发送提交(COMMIT)命令给所有参与者,每个参与者完成事务操作并释放所有事务资源。
    • 如果任何参与者回应NO,协调者发送回滚(ROLLBACK)命令给所有参与者,每个参与者撤销事务操作并释放资源。
优点:
  • 强一致性:确保了所有参与者要么都提交事务,要么都不提交,从而保证了数据的强一致性。
缺点:
  • 性能开销:所有参与者在等待其他参与者和协调者的决定时,必须保持锁定资源,这可能导致高延迟和低吞吐量。
  • 单点故障:如果协调者在提交阶段之前失败,参与者可能会长时间锁定资源,直到协调者恢复。
  • 阻塞问题:在某些故障情况下,参与者可能会无限期地等待协调者的指示。

三阶段提交(3PC)

三阶段提交是对两阶段提交的改进,目的是减少阻塞和解决单点故障问题。它增加了一个额外的阶段,使得整个过程分为“准备”、“预提交”和“提交/中断”。

  1. 准备阶段:与2PC类似,协调者向所有参与者发送准备命令,询问它们是否可以提交事务。
  2. 预提交阶段:如果所有参与者都同意提交事务,协调者进入预提交状态并通知所有参与者。此时,每个参与者都准备好提交事务,但还未真正执行提交。
  3. 提交/中断阶段
    • 如果预提交成功,协调者发送提交命令给所有参与者,参与者完成事务提交并释放资源。
    • 如果在预提交阶段有任何失败,协调者发送中断命令给所有参与者,参与者撤销操作并释放资源。
优点:
  • 减少阻塞:通过引入预提交阶段,参与者在等待最终决定时可以释放部分资源,从而减少资源锁定时间。
  • 改善容错性:在某些故障情况下,即使协调者失效,参与者也可以根据当前的状态自行决定是提交还是中断事务。
缺点:
  • 复杂度:相较于2PC,3PC更加复杂,实现和维护难度更高。
  • 仍存在单点故障问题:虽然3PC减少了单点

TCC事务补偿

TCC补偿事务是一种分布式事务解决方案,其名"TCC"代表三个关键阶段:Try、Confirm、Cancel。TCC补偿事务主要用于处理分布式系统中的一致性问题,特别是在微服务架构中,它能有效地管理跨多个服务的事务。

工作原理

TCC补偿事务的核心思想是将每个分布式事务操作分解为三个明确的步骤:尝试(Try)、确认(Confirm)和取消(Cancel)。这三个步骤分别对应于事务的预留、提交和回滚操作。

  1. Try 阶段
    • 这是事务的准备阶段。在这个阶段,事务参与者检查所有必要的条件是否满足,并尝试预留所需的资源(例如,锁定库存、检查信用额度等),以确保事务可以成功执行。然而,实际的业务变更还没有被应用到持久化存储中。
  2. Confirm 阶段
    • 如果所有参与者的Try阶段都成功执行,则进行确认阶段。在这个阶段,所有预留的资源被正式确认,业务操作得以提交。这意味着Try阶段中准备的所有操作现在被最终执行,如将锁定的库存扣除。
  3. Cancel 阶段
    • 如果任何参与者在Try阶段失败,或者由于某些原因需要回滚事务,则进入取消阶段。在这个阶段,所有参与者执行补偿操作,撤销Try阶段所做的预留。这确保了即使事务未能成功提交,系统的一致性和数据的完整性也得到了保障。

应用场景

TCC补偿事务模式特别适用于那些对数据一致性要求较高的场景,如金融服务(支付、转账)、电子商务(订单、库存管理)等领域。它通过明确的业务逻辑分割,允许复杂的分布式事务以一种可控和透明的方式进行管理。

优点

  • 强一致性:TCC通过明确的业务操作步骤保证了在各种情况下数据的一致性。
  • 灵活性高:开发者可以针对不同的业务场景自定义Try、Confirm和Cancel阶段的具体逻辑。
  • 无锁操作:相比于传统的基于锁的事务控制机制,TCC通过业务层面的预留和确认减少了对锁的依赖,提高了系统的并发性能。

缺点

  • 开发成本高:每个业务操作都需要实现三个阶段的逻辑,增加了开发和维护的复杂性。
  • 回滚复杂度:在Cancel阶段,确保所有的补偿操作能够正确无误地执行,需要仔细设计,特别是在涉及多个服务调用和外部系统交互时。
  • 性能考量:由于TCC模式增加了额外的网络调用和复杂的业务逻辑处理,可能会对系统性能产生一定影响,尤其是在高并发场景下。

消息事务

分布式消息事务是一种通过消息传递机制来协调和管理分布式系统中不同服务或组件之间事务的方法。它允许应用程序在不同的系统和服务之间进行可靠的消息交换,确保数据的一致性和完整性,特别是在复杂的分布式架构中。分布式消息事务通常与消息队列(如RabbitMQ、Kafka、ActiveMQ等)和消息中间件技术结合使用。

核心概念

  1. 消息中间件:提供了一个中间层,用于在分布式系统中的不同组件之间传递消息。它支持异步消息传递、消息持久化、消息路由等特性。
  2. 事务性消息:确保消息的发送与业务操作(如数据库更新)在一个事务范围内原子性地执行,即要么全部成功,要么全部失败。
  3. 最终一致性:分布式消息事务通常采用异步和事件驱动的方式,保证系统最终达到一致状态,而非严格的即时一致性。

实现方式

分布式消息事务的实现方式大致可以分为以下几类:

  1. 本地消息表:在发送消息的同一数据库事务中记录消息。业务操作和消息记录在同一个事务中完成,随后一个独立的进程或服务将消息从表中取出并发送到消息队列,确保消息的可靠发送。
  2. 事务消息:一些消息中间件支持事务消息的概念,允许在发送消息的过程中开启一个事务,结合业务数据库操作,实现消息发送和业务操作的原子性。
  3. 最终一致性(事件驱动):业务操作完成后发布一个事件到消息队列,其他服务通过订阅这些事件来响应和执行相应的业务逻辑,从而异步地实现业务间的协调和数据一致性。

应用场景

  • 分布式事务协调:在需要跨多个服务或数据库执行事务时,使用分布式消息事务来协调不同部分的操作,保证事务的完整性。
  • 事件驱动架构:在基于事件的系统中,服务通过监听和响应事件来实现解耦和动态扩展,分布式消息事务支持事件的可靠传递。
  • 异步处理和解耦:允许系统的不同部分异步交互,提高系统的响应速度和吞吐量,同时降低服务间的耦合度。

优点

  • 可靠性:确保消息在系统的不同部分之间可靠地传递,即使在部分组件失败的情况下也能保证数据的一致性。
  • 异步和解耦:提高了系统的灵活性和扩展性,不同的服务可以独立地开发和扩展,只通过消息进行交互。
  • 性能提升:通过异步消息传递,可以减少等待时间,提高系统整体的处理能力。

缺点

  • 复杂性:实现分布式消息事务增加了系统的复杂性,需要更多的开发和维护工作。
  • 一致性延迟:由于基于异步消息传递,系统的一致性可能会有延迟,需要设计合理的补偿和回滚机制。
  • 中间件依赖:依赖于消息中间件的稳定性和性能,中间件的选择和配置对系统的影响较大。

Saga 模式

Saga模式是一种解决分布式系统事务管理问题的设计模式,特别适用于长期运行的业务过程和微服务架构。Saga通过一系列本地事务将一个分布式事务拆解成多个步骤,每个步骤对应于在不同服务上执行的本地事务。如果其中一个步骤失败,Saga会执行一系列补偿事务来回滚之前的操作,从而保持数据一致性。

工作原理

Saga模式主要通过以下两种方式实现:

  1. 串行执行:Saga中的事务按顺序执行。如果某个事务失败,Saga将执行该事务之前所有事务的补偿操作来回滚更改。
  2. 并行执行:Saga中的事务可以并行执行,以提高效率。在这种情况下,如果某个事务失败,Saga将执行所有成功事务的补偿操作来恢复一致性。

每个事务都有一个对应的补偿事务。补偿事务是用来撤销原事务的操作。例如,如果一个服务在执行业务操作时失败,Saga将调用之前成功执行的事务的补偿操作,以撤销这些事务的影响。

应用场景

Saga模式适用于以下场景:

  • 长期运行的业务流程:在长时间运行的流程中,持续占用资源(如数据库锁)不现实,Saga通过异步和补偿机制解决了这个问题。
  • 微服务架构:在微服务架构中,不同的服务可能管理不同的数据源。Saga可以协调这些服务,确保它们之间的数据一致性。
  • 复杂的业务逻辑:对于需要多个步骤和涉及多个服务的复杂业务逻辑,Saga提供了一种结构化的方法来管理这些步骤。

优点

  • 提高了一致性:通过补偿事务,Saga可以在分布式系统中维持数据一致性,即使在面对局部失败的情况下。
  • 增加了灵活性:Saga允许并行处理事务,并且可以根据业务需求灵活地设计补偿逻辑。
  • 减少了资源锁定时间:相比于传统的分布式事务管理方法,如两阶段提交,Saga通过异步执行减少了资源的锁定时间。

缺点

  • 复杂性增加:实现Saga需要额外的逻辑来管理每个事务的补偿操作,这增加了系统的复杂性。
  • 补偿的挑战:设计和实现有效的补偿事务可能很复杂,特别是在无法轻松撤销的操作中。
  • 性能影响:补偿事务的执行可能导致系统性能下降,尤其是在高失败率的环境中。

实现方式

Saga的实现通常依赖于事件驱动架构,每个服务执行完操作后会发布事件,其他服务通过监听这些事件来触发下一步操作或补偿。常见的实现工具和框架包括Axon Framework、Eventuate Tram等,它们提供了Saga模式的支持,简化了分布式事务的管理。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/496937.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

极速体验DolphinScheduler 3.2.1 Standalone 版[一]

文章目录 极速体验DolphinScheduler 3.2.1 Standalone 版前置准备工作启动 DolphinScheduler Standalone Server解压并启动 DolphinScheduler登录 DolphinScheduler 启停服务配置数据库 极速体验DolphinScheduler 3.2.1 Standalone 版 Standalone 仅适用于 DolphinScheduler 的…

Dify安装使用说明

dify功能简介 dify可以说是一个功能不错的LLMOps,可以通过dify集中管理模型,可以通过界面创建AI应用,可以上传文档形成知识库,可以创建自定义工具(API),并可以对外提供API。 相关功能类似Open…

电源噪声的起因及危害

对造成电源不稳定的根源进行简单分析如下,主要在于两个方面:一是器件高速开关状态下,瞬态的交变电流过大;二是电流回路上存在的电感。从表现形式上来看又可以分为三类:同步开关噪声(SSN),有时被称为Δi噪声,地弹(Ground bounce)现象也可归于此类(图1-a);非理想电…

题目 2898: 二维数组回形遍历

题目描述: 给定一个row行col列的整数数组array,要求从array[0][0]元素开始,按回形从外向内顺时针顺序遍历整个数组。如图所示: 代码: package lanqiao;import java.math.BigInteger; import java.util.*;public class Main {public static …

Python+Django+Yolov5路面墙体桥梁裂缝特征检测识别html网页前后端

程序示例精选 PythonDjangoYolov5路面墙体桥梁裂缝特征检测识别html网页前后端 如需安装运行环境或远程调试,见文章底部个人QQ名片,由专业技术人员远程协助! 前言 这篇博客针对《PythonDjangoYolov5路面墙体桥梁裂缝特征检测识别html网页前…

java注解的实现原理

首先我们常用的注解是通过元注解去编写的, 比如: 元注解有Target 用来限定目标注解所能标注的java结构,比如标注方法,标注类; Retention则用来标注当前注解的生命周期;比如source,class&…

PaddleOCR环境搭建、模型训练、推理、部署全流程(Ubuntu系统)

OCR场景应用集合:包含数码管、液晶屏、车牌、高精度SVTR模型、手写体识别等9个垂类模型,覆盖通用,制造、金融、交通行业的主要OCR垂类应用。 ​ 一、PaddleOCR环境搭建 ​ conda create -n ppocr python3.8​conda activate ppocr 进入paddle…

Unity之Mirror如何实现多人同步游戏一

前言 Mirror是一个出色的开源游戏网络库,可以用来制作局域网多人游戏,最初Mirror诞生于Unity早起的Unet,后来Unity把Unet给弃用了,但是Mirror在官方团队的努力下,一直不停地优化框架,并且承诺永远不收费,并持续优化。 Mirror最大特点是,服务器和客户端是一个项目,从…

成都正信晟锦:欠债的人不接电话找不到人怎么办

在借贷活动中,遇到欠债人不接电话、消失无踪的情况确实棘手。这不仅考验债权人的耐心,更是一场智慧与策略的较量。面对这种情形,我们应如何应对? 保持冷静,避免情绪化的行为,如频繁拨打电话或言语威胁,这可…

污水处理迈入3D可视化新时代:智慧环保触手可及

在科技日新月异的今天,环保事业也迎来了前所未有的发展机遇。污水处理作为环保领域的重要组成部分,其技术的革新与进步,对于保护水资源、维护生态平衡具有重要意义。 传统的污水处理机组往往存在着操作复杂、监控困难等问题,使得污…

java日志技术——Logback日志框架安装及概述

前言: 整理下学习笔记,打好基础,daydayup!!! 日志 什么是日志 程序中的日志,通常就是一个文件,里面记录的是程序运行过程中的各种信息,通过日志可以进行操作分析,bug定位等 记录日志的方案 程…

【每日一题】盛水容器

问题描述 给定一个长度为 n 的整数数组 height 。有 n 条垂线,第 i 条线的两个端点是 (i, 0) 和 (i, height[i]) 。 找出其中的两条线,使得它们与 x 轴共同构成的容器可以容纳最多的水。 返回容器可以储存的最大水量。 说明:你不能倾斜容…

Java:接口应用(Comparable接口与比较器)

目录 1.引例2.Comparable接口使用3.Comparable接口的局限性4.使用comparaTo实现排序5.比较器(Comparator接口) 1.引例 class Student{private String name;private int age;public Student(String name, int age) {this.name name;this.age age;} } p…

SQL Server事务复制操作出现的错误 进程无法在“xxx”上执行sp_replcmds

SQL Server事务复制操作出现的错误 进程无法在“xxx”上执行“sp_replcmds” 无法作为数据库主体执行,因为主体 "dbo" 不存在、无法模拟这种类型的主体,或您没有所需的权限

YOLOv9 实战指南:打造个性化视觉识别利器,从零开始训练你的专属测试集

论文地址:YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information GitHub:WongKinYiu/yolov9: Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information (github.com)…

Redis数据结构的基础插入操作

数据结构与内部编码 Redis常见的数据结构 数据结构和内部编码 数据结构的插入操作 在Redis中,数据结构的插入操作取决于你要插入的数据类型。以下是一些常见的数据结构和它们的插入操作: 字符串 (String):使用 SET 命令来插入字符串。例…

MySQL 日志:undo log、redo log、binlog 有什么用?

资料来源 : 小林coding 小林官方网站 : 小林coding (xiaolincoding.com) 从这篇「执行一条 SQL 查询语句,期间发生了什么? (opens new window)」中,我们知道了一条查询语句经历的过程,这属于「读」一条记录的过程,如下…

Qt/QML编程之路:QPainter与OpenGL的共用(49)

在Qt编程中,有时会有这样一种场景:用OpenGL显示了一个3维立体图,但是想在右下角画一个2D的表格,里面写上几个字。那么这个时候就会出现QPainter与OpenGL共用或者说2D、3D共用。但是问题是调用了QPainter,drawline之后呢,OPenGL的状态被清空了丢失了,3D不显示了。 在Ope…

【概率论与数理统计】Chapter2 随机变量及其分布

随机变量与分布函数 随机变量 随机变量:一个随机变量是对随机现象可能的结果的一种数学抽象 分布函数 分布函数: X为随机变量, F ( x ) F(x) F(x)定义为: F ( x ) P ( X ≤ x ) F(x) P(X \leq x) F(x)P(X≤x) 定义域&#…

【智能算法改进】混沌映射策略--一网打尽

目录 1.引言2.混沌映射3.分布特征4.混沌映射函数调用5.改进智能算法 1.引言 基本种群初始化是在整个空间内随机分布,具有较高的随机性和分布不均匀性,会导致种群多样性缺乏,搜索效率低等问题。 许多学者利用混沌映射机制来增加种群的多样性&…
最新文章