ES源码四:网络通信层流程

听说ES网络层很难?今天来卷它😄

前言

ES网络层比较复杂,分为两个部分:

  1. 基于HTTP协议的REST服务端
  2. 基于TCP实现的PRC框架

插件化设计的网络层模块(NetworkModule)

入口还是上一章的创建Node构造方法的地方:
image.png
一直往下会找到之前说的加载module和服务的地方:
image.png

NetworkModule:

NetworkModule属性

image.png
有两个map,一个map存放tcp层的实现,一个map存放http层的实现

NetworkModule构造方法

image.png
上面的参数分别为:

  1. settings:settings配置
  2. transportClient: 一般为false
  3. plugins:NetworkPlugin 提供了获取TCPTransport和HTTPTransport的接口,NetworkModule通过遍历全部networkPlugin来加载所有的网络层实现,也就说说,ES的网络层不一定就是一种实现。你也可以通过实现NetworkPlugin去提供网络层实现。我们主要看的网络层是Netty4Plugin
  4. threadPool:线程池
  5. bigArrays:大数组,通信的时候会使用它的空间
  6. pageCacheRecycler:和核心流程没关系,跳过
  7. circuitBreakerService:和核心流程没关系,跳过
  8. namedWritableRegistry:
  9. xContentRegistry:
  10. networkService:网络服务,主要是将host地址转换为 Java Network地址对象,解析地址使用
  11. dispatcher:它的实现是RestController,RestController内部注册了很多处理器,对外提供访问路由的功能,也就说Http请求会转换为RestRequest,RestRequest最终会交给RestController去找到合适的handler,然后去访问最终的义务层逻辑,(后面源码会分析到)
  12. clusterSettings:集群配置

image.png
我们来看这里做了几件事(我们这里看的是Netty4Plugin):

  1. plugin.getHttpTransports:获取Http网络层的实现,这里返回的是一个map,key是netty4,value是一个Netty4Plugin lambda表达式

image.png
image.png

  1. 遍历httpTransportFactory,将key和value值放到之前的transportHttpFactories

image.png

  1. 后面的RPC逻辑类似,直接过😄


HTTP通信层**(Netty4HttpServerTransport)**

Netty4HttpServerTransport构造方法

image.png
和之前NetworkModule的参数基本差不多,多了一个sharedGroupFactory:这里是一个netty NioEventGroup。学过netty源码应该都懂,如果不懂,可以看我写的netty源码解析。

Netty4HttpServerTransport.doStart方法

入口:

Node->start() => injector.get(HttpServerTransport.class).start()=>Netty4HttpServerTransport.doStart
在node节点启动的时候,会存在image.png,这个httpServerTransport实现了AbstractLifecycleComponent,在它的start最终会调用到子类Netty4HttpServerTransport的doStart方法
image.png
image.png

doStart方法

image.png
image.png
都是netty服务端常规的配置,如果看不懂,还是要学一下netty源码的。学过netty的都知道,肯定是有一个服务端的请求入口Handler类的,这个类才是我们最要注意看的:Netty4HttpRequestHandler

Netty4HttpRequestHandler.channelRead0

请求处理入口:Netty4HttpRequestHandler->channelRead0(ctx, httpRequest)
image.png
又把请求转接给了Netty4HttpServerTransport.incomingRequest

Netty4HttpServerTransport.incomingRequest

请求处理入口: Netty4HttpServerTransport->incomingRequest(httpRequest, httpChannel
image.png
image.png

这里的核心逻辑就是:解析HttpRequest为RestRequest,包装HttpChannel为RestChannel。包装之后,最终交给 Dispatcher 方法


RestController.dispatchRequest

image.png
会接着调用RestController.tryAllHandlers方法
image.png
image.png
总结一下一共做了这几件事:

  1. �读取RestRequest请求路径(rawPath)及Method(GET、POST、DELETE…)等信息
  2. 根据rawPath等信息到PathTrie(字典树结构)中找到提供服务的Handler
  3. 调用BaseRestHandler->handleRequest(restRequest, restChannel, nodeClient) (BaseRestHandler为所有Rest*Action的父类…),比如我这里debug用的是写索引数据的rest请求,实际请求到的是RestIndexAction

#### BaseRestHandler.handleRequest ![image.png](https://img-blog.csdnimg.cn/img_convert/4415eb016166c65ad43bc4a09b57ef01.png)
![image.png](https://img-blog.csdnimg.cn/img_convert/7ce72cd7f91d788b21329c44389f03b0.png)
总结一下这里做了几件事:
  1. BaseRestHandler的prepareRequest是模版方法,最终会调用到RestIndexAction里面的prepareRequest方法,里面就是负责解析restRequest请求为具体的 业务请求对象,并生成一个lambda表达式
  2. BaseRestHandler调用action.accept 调用之前的lambda表达式

TCP通信层(ES内置RPC 实现,Netty4Transport)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/553252.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

目标检测应用场景—数据集【NO.31】布匹数据集目标检测数据集

写在前面:数据集对应应用场景,不同的应用场景有不同的检测难点以及对应改进方法,本系列整理汇总领域内的数据集,方便大家下载数据集,若无法下载可关注后私信领取。关注免费领取整理好的数据集资料!今天分享…

uniapp picker 多列选择器用法

uniapp picker 多列选择器联动筛选器交互处理方法, uniapp 多列选择器 mode"multiSelector" 数据及筛选联动交互处理, 通过接口获取数据,根据用户选择当前列选项设置子列数据,实现三级联动效果, 本示例中处…

【honggfuzz学习笔记】honggfuzz的基本特性

本文架构 1.动机2.honggfuzz的基本概念官网描述解读 3. honggfuzz的反馈驱动(Feedback-Driven)软件驱动反馈(software-based coverage-guided fuzzing)代码覆盖率代码覆盖率的计量单位 代码覆盖率的统计方式 硬件驱动反馈( hardware-based co…

IDEA 安装、基本使用、创建项目

文章目录 下载基本使用修改颜色主题Keymap插件 创建项目创建模块新建 Java 类运行新建 Package打包 Jar运行 jar 包 查看文档 下载 官方下载地址:https://www.jetbrains.com/zh-cn/idea/download/?sectionmac 这里我下载 macOS 社区版,IDEA 2024.1 (C…

60道计算机二级模拟试题选择题(含答案和解析)

点击下载《60道计算机二级模拟试题选择题(含答案和解析)》 1. 前言 本文设计了一份针对计算机二级考试的选择题,旨在考察考生对计算机基础知识和应用技能的掌握情况。试题涵盖了计算机基础知识、操作系统、办公软件、计算机网络等多个方面&…

【学习】Jmeter、postman、python如何与数据库相互配合

在当今数字化时代,数据库已经成为我们日常生活中不可或缺的一部分。无论是购物、社交还是工作,数据库都在默默地为我们提供着高效、稳定的服务。而在众多的技术工具中,Jmeter、Postman和Python成为了操作数据库的三大主流技术。今天&#xff…

虚拟机vm桥接模式linux(centos,ubuntu)联网

台式机网线 查看宿主机网络 编辑虚拟机—>虚拟网络编辑器–>更改设置 选择,确定 进入linux系统 输入ip addr找到自己的网卡 我的是eno16777736 centos: 编辑 HWADDR"00:0C:29:54:CE:B8" TYPE"Ethernet" BOOTPROTO"…

刷题。。。。。。

1.ezmd5 根据题目提示 我们知道应该是要上传两张md5值相同的图片 根据原文链接:cryptanalysis - Are there two known strings which have the same MD5 hash value? - Cryptography Stack Exchange 把保存下来的图片上传一下 得到flag 2.ezhttp 根据原文链接&…

LeetCode36: 有效的数独(Java)

题目: 请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 ,验证已经填入的数字是否有效即可。 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。(请参考示例…

适配器模式【结构型模式C++】

1.概述 适配器模式是一种结构型设计模式, 又称为变压器模式、包装模式(Wrapper) 将一个类的接口变换成客户端所期待的另一种接口,从而使原本因接口不匹配而无法在一起工作的两个类能够在一起工作。 2.结构 Target:适配…

美创科技19周年数据安全案例展

2005-2024 践行“让数据更安全,更有价值”的使命 美创19年砌垒,与不同行业用户 一同筑牢数字之基 美创19周年案例展 走进这段时间长廊 探索美创与各行业伙伴的数据安全实践 #1 数据安全体系化建设 浙江省,数字化改革先行地。以数字化…

Java面试八股之fail-fast和fail-safe的区别

简述fail-fast和fail-safe的区别 定义与基本概念 fail-fast: 定义:fail-fast是一种迭代器机制,当集合在迭代过程中被结构上修改(如添加、删除元素),会立即抛出ConcurrentModificationException异常&…

Python数据容器(二)

一.list列表的案例 二.list列表的循环遍历 既然数据容器可以存储多个元素,那么,就会有需求从容器内依次取出元素进行操作。 将容器内的元素依次取出进行处理的行为,称之为:遍历、迭代。 (一)列表的遍历—…

文献速递:深度学习肝脏肿瘤诊断---双能量CT深度学习放射组学预测大梁状大块型肝细胞癌

Title 题目 Dual-Energy CT Deep Learning Radiomics to Predict Macrotrabecular-Massive Hepatocellular Carcinoma 双能量CT深度学习放射组学预测大梁状大块型肝细胞癌 Background 背景 It is unknown whether the additional information provided by multiparametric …

获取公募基金净值【数据分析系列博文】

摘要 从指定网址获取公募基金净值数据,快速解析并存储数据。 (该博文针对自由学习者获取数据;而在投顾、基金、证券等公司,通常有Wind、聚源、通联等厂商采购的数据) 导入所需的库:代码导入了一些常用的库…

OpenCV从入门到精通实战(五)——dnn加载深度学习模型

从指定路径读取图像文件、利用OpenCV进行图像处理,以及使用Caffe框架进行深度学习预测的过程。 下面是程序的主要步骤和对应的实现代码总结: 1. 导入必要的工具包和模型 程序开始先导入需要的库os、numpy、cv2,同时导入utils_paths模块&…

PACNet CellNet(代码开源)|bulk数据作细胞分类,评估细胞命运性能的一大利器

文章目录 1.前言2.CellNet2.1CellNet简介2.2CellNet结果 3.PACNet3.1安装R包与加载R包3.2加载数据3.3开始训练和分类3.4可视化分类过程3.5可视化分类结果 4.细胞命运分类和免疫浸润比较 1.前言 今天冲浪看到一个细胞分类性能评估的R包——PACNet,它与转录组分析方法…

【经验总结】Jupyter 配置内核

1. 背景描述 使用 国家超算互联网中心 的服务器,创建 jupyterlab 容器,想在之前 conda 创建的环境中运行,可是不行,进入容器就直接进入 jupyterlab 2. 解决方法 配置内核 2.1 激活环境 conda activate peft2.2 安装内核 pip…

vector类——常用函数模拟(C++)

在上一篇中我们介绍了 string 类的常用函数模拟,接下来我们将开始讲解 vector 类的常用函数的讲解以及模拟实现,相较于 string 来说,vector 的函数不那么冗余,用法也没有那么多,但是在 vector 中的函数使用和模拟中&am…

单链表的实现(单链表的增删查改)

在顺序表中实现数据的增删的操作时,都要把操作位置之后的数据全部移动一遍,操作效率低下。其次是容量固定(静态顺序表),虽然在动态顺序表中容量可变,但也会造成空间上的浪费。 单链表就完美解决了上述缺点…