微服务启动慢,看我如何消灭这些憨憨怪!

Hello,我是大都督周瑜,最近在公司做微服务启动速度的优化,我们有些微服务启动要花5-6分钟(就问你夸不夸张),直接导致打工人们有了更多的划水时间,领导表示不开心,要求我将微服务的启动速度控制在30秒以内,而那些特殊的微服务控制在1分钟以内,怎么办,请看我的表演。

第一步,肉眼看启动日志,先看启动时哪些类型的日志长时间频繁打印,经过我的火眼金睛,找到了以下几个憨憨怪。

第一个,Shardingsphere

我们用的Shardingsphere 5.x的版本,在微服务启动时,ShardingShpere需要获取数据库中的每张表的元数据信息,比如字段信息、索引信息,这些查询日志在启动时会频繁打印,比如以下日志会频繁打印:
image.png
因此,表越多,这个步骤消耗的时间就越多,好在我们开发环境的表不多,只有2000多张,是的,2000多张表!!! 当然啦,毕竟是开发库,没怎么做过清理,并且我们有业务是动态创建表的,所以表很多,BUT,就算删掉那些没用的表,也还有600多张,而且是一个库下面有600多张表,我都不好意思说我们是微服务架构了。

咋搞,我的办法是多线程+多数据连接,通过自定义Shardingsphere的元数据加载器MetaDataLoader,改造为内部通过线程池异步开启多个数据库连接来获取表的元数据信息,伪代码如下:

for (List<String> each : Lists.partition(tables, tables.size() / 4)) {
	// 创建连接
	Connection connection = 获取数据库连接;

	// 获取元数据
	futures.add(EXECUTOR_SERVICE.submit(() -> loadColumnMetaDataMap(connection, each)));

}

for (Future<Map<String, Collection<ColumnMetaData>>> each : futures) {
	columnMetaDataMap.putAll(each.get());
}

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第二个,还是ShardingShpere

前面Shardingsphere只是在查询表的元数据,可恶的是,它查出来之后还会存到H2数据库中(我们用的单机模式),我是怎么发现的呢?是因为上面查询元数据的日志频繁打印后,会突然暂停,控制台突然就不打印任何日志了,最开始,我还以为是应用启动结束了,后来才发现这只是中场休息,两分钟后就开始继续打印其他日志了。

为什么会中场休息?经过看源码发现,是Shardingsphere需要将查到的元数据信息存到H2数据库中,所以,如果表越多,表的元数据就越多,存H2的时间就越久(尽管是存内存中),关键是这个过程Shardingsphere还不打info日志,所以不研究一下就不知道应用在干嘛。

那么解决思路是一样的,多线程并发将元数据存入H2数据库,只不过这就得改Shardingsphere的源码了,不过我们本来就改了Shardingsphere的源码了,将错就错,直接在现有的源码的基础上,通过线程池并发将元数据存入H2数据库。

别说,经过以上两个措施优化之后,成功将启动时间从5-6分钟缩短到了2分钟左右,效果很不错,领导很满意(领导们别光看,记得点赞三连哦),但是距离1分钟的目标还差1分钟,怎么办?

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第三个,Bean扫描

我相信大部分SpringBoot应用的启动类都是这么写的:


/**
 * 大都督周瑜(微信: dadudu6789)
 */
@SpringBootApplication
public class Application {
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
}

这么写,SpringBoot会扫描Application类所在的包路径,假如包路径为com.zhouyu,那么SpringBoot启动时就会扫描com.zhouyu这个包下的所有类,因为Spring需要去判断每个类是不是Bean,比如一个类加了@Component注解就是Bean,没加就不是Bean,但是不管怎样都需要去解析类,因此,如果com.zhouyu包下的类特别特别多,就会很影响扫描的速度,从而影响应用的启动速度,解决办法就是:

@SpringBootApplication(scanBasePackages = {"com.zhouyu.controller", "com.zhouyu.service",...})

通过@SpringBootApplication注解的scanBasePackages属性明确指定那些真正定义了Bean的包路径,这样SpringBoot启动时就只会扫描指定的包路径,这样Bean扫描的效率就会高很多,从而提高应用的启动速度,经过我测试,应用的启动速度又缩短了50秒左右,现在距离目标1分钟只有10秒左右了,开心。另外告诉大家一个秘密,我测试的这个微服务中总共有2000多个Bean对象,300个多@Service,200个@RestController~~~~

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

第四个,日志打印

通过观察日志发现,启动过程中,Spring Fox会打印1000条日志,这是因为我们Controller接口比较多,Spring Fox会对大部分Controller接口中的@RequestMapping都打印一条日志,这种日志其实没有太大的意义,一条日志打印需要几百毫秒,那么所有1000条日志加起来也是一比不少的开销,所以就直接关掉,同样还找了一些其他没有太大作用的日志,通过SpringBoot的配置文件都关掉了,比如:

logging:
  level:
    springfox.documentation.spring.web.readers.operation.CachingOperationNameGenerator: OFF

这样,又节省了一些启动时间,最终成功达到了领导预期的目标,可以开心过五一了。

其实这个过程中,除开通过肉眼观察日志,还利用了一些工具,比如开源项目spring-startup-analyzer,它可以分析启动过程中每个Bean的创建时间,还有IntelliJ Profiler,它可以分析启动过程中某个线程或某个方法的执行时间,都是非常有用的,感谢这些工具和背后的大佬。

欢迎关注我的公众号:IT周瑜。获取更多技术干货、免费经典面试资料

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/583288.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

python监听html click教程

&#x1f47d;发现宝藏 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。【点击进入巨牛的人工智能学习网站】。 Python实现监听HTML点击事件 在Web开发中&#xff0c;经常需要在用户与页面交互时执行一些…

乐观锁悲观锁

视频&#xff1a;什么是乐观锁&#xff1f;什么是悲观锁&#xff1f;_哔哩哔哩_bilibili

如何在电脑桌面上显示每天的待办事项?

对于上班族来说&#xff0c;每天面临的任务繁杂&#xff0c;很容易遗漏或忘记某些重要事项。因此&#xff0c;在电脑桌面上直接显示每天的待办事项显得尤为重要。例如&#xff0c;当你忙于处理邮件或编写报告时&#xff0c;桌面的待办事项提醒能够让你一目了然地掌握接下来的工…

C语言进阶|链表经典OJ题

✈移除链表元素 给你一个链表的头节点 head 和一个整数 val &#xff0c;请你删除链表中所有满足 Node.val val 的节点&#xff0c;并返回 新的头节点 。 方法一&#xff1a; 遍历链表找到所有等于val的节点&#xff0c;再执行删除操作删除这些节点。 方法二&#xff1a; …

Flask 数据库前后端交互案例-1

Flask 数据库前后端交互案例 目录结构templates目录base.htmlheader.htmlleft.html首页职员管理页面添加员工界面员工编辑页面员工详情界面 后台main.pyapp.pymodels.pyviews.py 数据库数据position.sqlperson.sqlpermission.sqldepartment.sql 目录结构 静态文件链接&#xff…

Linux工具篇 之 vim概念 操作 及基础指令讲解

学校不大 创造神话 讲桌两旁 陨落的王 临时抱佛脚 佛踹我一脚 书山有路勤为径 游戏玩的很起劲 想要计算机学的好&#xff0c;我的博客列表是个宝 –❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀–❀-正文开始-❀–❀–❀–❀–❀–❀–❀–❀…

OceanBase开发者大会实录-杨传辉:携手开发者打造一体化数据库

本文来自2024 OceanBase开发者大会&#xff0c;OceanBase CTO 杨传辉的演讲实录—《携手开发者打造一体化数据库》。完整视频回看&#xff0c;请点击这里&#xff1e;> 各位 OceanBase 的开发者&#xff0c;大家上午好&#xff01;今天非常高兴能够在上海与大家再次相聚&…

Springboot+Vue项目-基于Java+MySQL的校园外卖服务系统(附源码+演示视频+LW)

大家好&#xff01;我是程序猿老A&#xff0c;感谢您阅读本文&#xff0c;欢迎一键三连哦。 &#x1f49e;当前专栏&#xff1a;Java毕业设计 精彩专栏推荐&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f380; Python毕业设计 &…

自动驾驶中的深度学习和计算机视觉

书籍&#xff1a;Applied Deep Learning and Computer Vision for Self-Driving Cars: Build autonomous vehicles using deep neural networks and behavior-cloning techniques 作者&#xff1a;Sumit Ranjan&#xff0c;Dr. S. Senthamilarasu 出版&#xff1a;Packt 书籍…

【GitHub】如何在github上提交PR(Pull Request) + 多个pr同时提交、互不干扰

【GitHub】如何在github上提交PR(Pull Request 写在最前面1. 准备工作1.1 注册 GitHub 账号1.2 了解 Git 基础1.3 找到一个项目 2. 创建你的 PR2.1 Fork 和克隆仓库2.2 创建一个新的分支2.3 进行更改2.4 推送更改到 GitHub2.5 创建 Pull Request 3. 优化你的 PR3.1 保持提交清晰…

Nacos 安全零信任实践

作者&#xff1a;柳遵飞 Nacos 作为配置中心经常存储一些敏感信息&#xff0c;但是由于误用导致安全风险&#xff0c;最常见的主要是以下两个问题&#xff1a; 1&#xff09;Nacos 暴露公网可以吗&#xff1f;不可以&#xff0c;因为 Nacos 定位是注册配置中心&#xff0c;是…

谷歌验证码识别/谷歌识别/Google/本地库识别/图像识别

谷歌识别 做这个有两种方式&#xff0c;一种是图像分类的方式&#xff0c;标注量大&#xff0c;识别率有局限性。 另外一种是通过上面的图和下面的小图做一个相似度匹配&#xff0c;做孪生网络。 谷歌验证方式比较丰富&#xff0c;有时候上面的小图没有&#xff0c;我们可以做…

力扣37题:回溯算法之解数独

编写一个程序&#xff0c;通过填充空格来解决数独问题。 数独的解法需 遵循如下规则&#xff1a; 数字 1-9 在每一行只能出现一次。数字 1-9 在每一列只能出现一次。数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。&#xff08;请参考示例图&#xff09; 数独部分空…

java-动态代理

为什么需要代理&#xff1f; 如何创建代理 注意&#xff1a;实现类和代理需要实现同一个接口 接口 public interface Star {String sing(String song);void dance(); }实现类 public class BigStar implements Star {private String name;public BigStar(String name) {this.…

开源博客项目Blog .NET Core源码学习(20:App.Hosting项目结构分析-8)

本文学习并分析App.Hosting项目中后台管理页面的个人资料页面、修改密码页面。 个人资料页面 个人资料页面用于显示和编辑个人信息&#xff0c;支持从本地上传个人头像。整个页面使用了layui中的表单、日期与时间选择、上传等样式或模块&#xff0c;通过layui.css文件设置样式…

精彩回顾|从 AI 到银幕:顶尖对话揭秘 AI 如何塑造影视新格局

4月17日&#xff0c;由万合天宜、三次元影业、NOVATECH、微软中国极客天团、微软 Reactor 共同推出的「从 AI 到银幕」顶尖对话在上海微软紫竹园区举办。中国内地著名导演、编剧、监制黄建新&#xff0c;微软&#xff08;中国&#xff09;有限公司首席技术官韦青&#xff0c;与…

基于SpringBoot+Vue高校实习管理系统的设计与实现

项目介绍&#xff1a; 如今社会上各行各业&#xff0c;都喜欢用自己行业的专属软件工作&#xff0c;互联网发展到这个时候&#xff0c;人们已经发现离不开了互联网。新技术的产生&#xff0c;往往能解决一些老技术的弊端问题。因为传统高校实习管理系统信息管理难度大&#xf…

atlas 500容器(ubuntu20.04)搭建

1.docker 及环境搭建略 2.宿主机驱动安装略 3.宿主机中能正确使用npu-smi 4.docker 拉取略 5.docker 容器启动 docker run -itd --device/dev/davinci0 --device/dev/davinci_manager --device/dev/devmm_svm --device/dev/hisi_hdc -v /run/board_cfg.ini:/run/b…

吴恩达2022机器学习专项课程(一)7.2 逻辑回归的简化成本函数

问题预览/关键词 本节课内容逻辑回归的损失函数简化之后的形式是&#xff1f;为什么可以简化&#xff1f;成本函数的通用形式是&#xff1f;逻辑回归成本函数的最终形式是&#xff1f;逻辑回归为什么用对数损失函数计算成本函数&#xff1f;为什么不直接给出逻辑回归损失函数的…

银河麒麟V10 ARM64 离线安装 新版Docker

查询当前发行版本 nkvers下载最新版本 卸载旧依赖 卸载已经安装的老版本 yum remove docker \containerd.io \docker-runc \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine \docker-compo…