Java开发 - ELK初体验

前言

前面我们讲过消息队列,曾提到消息队列也具有保存消息日志的能力,今天要说的EL看也具备这个能力,不过还是要区分一下功能的。消息队列的日志主要指的是Redis的AOF,实际上只是可以利用了消息队列来保存,却并不是消息队列本身的能力。ELK是当今非常流行的日志采集保存和查询的框架,然而他们俩各有用处,可以说互不干扰使用,且都是必须的,下面,我们来了解ELK。

ELK

什么是ELK

ELK是如今比较流行的一套框架,主要用于日志的采集保存和查询。线上情况,我们不能通过控制台来实时查看,但却可以通过日志输出来定位问题,查看必要的信息。如果保存成文件,也必然是极庞大的体量,并不适合我们去翻看,查找信息,这才有了ELH,其实对于ELK,大家也并不陌生,其中的E,就是我们前段时间学习的ES,全名Elasticsearch,中文名:全文搜索引擎。是不是很惊喜和意外?所以当然,L和K也是两个单独的系统,他们统称为ELK,下面,我们将逐一介绍这三个东西是什么。

E

E是我们前段时间学习的ES,全名Elasticsearch,中文名:全文搜索引擎。额~这个还要继续说吗?我觉得不用了吧?下面贴个前面的博客链接,大家点进去详细了解吧。

Java开发 - Elasticsearch初体验

L

L全称logstash,是一套日志采集工具,我们在前面没有讲过,它是一款开源的日志采集,处理和输出的软件,每秒可以处理上条数据,并且可以同时从多个数据来源采集并转换数据,然后将数据输出到指定的存储单元中(官方推荐的存储单元为Elasticsearch)。

数据来源可以是任何可存储数据的东西,如数据库,日志,redis等。

LogStash处理过程分为三步:

  • input:数据输入,即数据的采集过程;
  • filter:和过滤器一样哎,明显是采集完数据后可以在中间对数据进行一定的处理;
  • output:处理完的数据当然是要输出啦,输出到指定的存储位置;

logstash和ES的关系很密切,一个常用的功能就是完成数据库和ES数据的同步,免去了我们手动同步的麻烦。

我们通过配置logstash,来监听数据库中单表,多表的更新变化,它本质上是一个定时器,实现简单,MQ实现ES与数据库同步则是实时性的、复杂性更高的、一致性强的。此处,我收回前言中提到的,Redis通过MQ来保存日志不是MQ本身功能的话,这话欠妥了。因为保存日志虽然是logstash的功能,但它也是通过封装一些实现来完成这个功能的。

在监听数据表变化的时候,我们需要规范的数据表结构。这段话我看到很多人都有说,博主觉得也对,但也不对,logstash在工作的时候确实需要监控表中某字段变化,但也不是说名字要固定为某字段,其实这个column是可以在配置中指定的,毕竟每一个人对数据的定义都不一样,出现名字不同的情况时有发生。

不过在使用logstash的时候也出现了一些不一样的声音。Logstash运行内存较大,占用CPU过高,影响性能,其还没有消息队列缓存,有数据丢失的隐患。基于此,出现了两种情况:

一类人选择对logstash进行调优,推荐这篇博客可以看看:ELK下之Logstash性能调优(从千/秒=>万/秒=>10万/秒

另一类人选择ELK + Filebeat,Filebeat会将日志数据收集并结构化后传输到Logstash上,如果filebeat直接传输给es,就会占用掉es的大量资源。这种工作方式推荐这篇博客看:基于ELK搭建网站实时日志监控平台

怎么办,感觉那两篇博客写的都比博主写的好啊,还更详细,如果有用,博主也不介意大家过去看哈,学习的目的是学会,而不是为了流量。即使如此,博主还是要硬着头皮把这篇博客写完。突然想到,要是我不去搜集资料,大家也看不到这么优秀的博文,我就是那个引路人,我太棒了。

K

K是Kibana,是ES的可视化工具,日志系统总不能一个个文件打开来看,这很不友好,这个可视化工具可以很好的帮到我们,我们可以在里面对需要的信息进行筛选过滤,快速查抄需要的有效信息。

Kibana的安装并不复杂,但有一个条件,需要和ES的版本保持一致。logstash则没有这样的要求,但为了好看,也保持一致吧。

L和E的那些事

都写到这里了,要给大家提一嘴,ELK不需要添加任何Java代码,全部通过配置完成。

当安装好软件,做好配置之后,logstash会自动监听配置中指定的表的字段,只要该字段发生变化,logstash就会收集变化行的信息,并周期性的向ES进行提交,ES中的数据就会自动和数据库中的变化数据同步了。

logstash的监听是通过Mybatis拦截器统一处理监听字段,一般是更新时间字段,在字段变化时就可以被监听到,这个可以解决监听非时间字段时,修改某数据时监听不到的的情况。

以上数据同步功能在ES中我们没有讲过,实际上这个问题也是很麻烦,不通过ELK,就需要手动去完成数据的同步,这是非常麻烦的。

除了上面提到的,还有一个很有意思的功能,比如我们有多个字段做了分词,当需要搜索某个词的时候需要对这几个做了分词的字段分别进行搜索关键词操作,logstash则简化了此步骤,它会将做了分词的几个字段合并成一个叫search_text的字段,所以在使用了ELK时,搜索关键词时,直接搜索search_text字段即可。

安装使用

E

关于ES的Docker安装启动,可在Docker中搜索elasticsearch,选择8.5.2版本,pull,下载完之后打开终端,输入:

docker run --name es -d -e ES_JAVA_OPTS="-Xms1g -Xmx1g" -e "discovery.type=single-node" -p 9200:9200 -p 9300:9300 elasticsearch:8.5.2

ES_JAVA_OPTS="-Xms1g -Xmx1g" 配置启动时内存大小,不配置的话默认是2G。 

L

关于logstash的Docker安装启动,可在Docker中搜索logstash,选择8.5.2版本,pull,下载完之后打开终端,输入:

docker run -d --name logstash -p 4560:4560 logstash:8.5.2

 

k

关于kibana的Docker安装启动,可在Docker中搜索kibana,选择8.5.2版本,pull,下载完之后打开终端,输入:

docker run --name kb -d -p 5601:5601 kibana:8.5.2

登录kibana 

登录kibana时会提示如下问题:

bfee779d01e5468789d163fbb1069414.png

且我们也没设置过账号密码,提示需要去配置kibana.yml文件?博主跟着网上做了一大堆配置,发现最后都没有用,所以暂时不要去动他们的yml文件,就用原来的,先配置好基础的信息再说,点击forget password,弹出提示信息让我们在es中设置密码,在终端输入:

docker exec -it es /bin/bash 
bin/elasticsearch-reset-password --username kibana

9120335516b4490c80358f7dac792d4d.png

会给你生成一个New value,上面账号填kibana,密码就是这个新的New value,点Conform按钮,就出现了下面的配置成功页面: 

d4259b53e1864acc8d2eb522fb7329e3.png

配置成功后,又出现问题了:

a36a96235769424a8acb3712ee50432b.png

怎么又出现了一个登录页面,我们真的没有设置密码呀,这时候,只能去添加密码了,发现了一个问题,后面再说,先说添加密码。其实在es启动时,就生成了一个elastic的超级用户,密码我们需要用同样的方式直接生成:

2354a885f1ca4f22ad75c189632d2de9.png

用这个用户和密码登录:

5e1db35c00454e3eba4136a432c630d7.png

天可怜见,终于进来了。现在说说刚刚的问题是啥,通过官方的博客:Elastic:使用 Docker 安装 Elastic Stack 8.x 并开始使用

发现我们和官方进入的方式不太一样:

cc9c08057f1f4bfda14ff2b32829fc3c.png

官方是通过token令牌完成配置的,而我们是通过设置kibana进来的,不知道这两种有什么差别,猜测应该属于登录后自动获取的登录令牌进来的,大家知道的可以留言告诉博主。

关于这个问题,我们在后台的用户管理列表发现了一点端倪:

53c4f9521f03444eb753c561f5c61307.png

kibana用户已经被禁止使用了,在这里我们也可以手动添加用户,而已经存在的用户则是不能进行编辑的,应该是留给其他服务用的默认账户密码,官方不希望我们修改,怕引起其他的错误。 

结语

如果自己做,还是推荐官方的做法。到此,他们之间的安装和基础配置算是完成了。关于kibana的使用,可以参见上面那篇博客,博主试了下可以的,更多使用方式,大家可自行查找,博主后期也会出一些详细案例教程出来,真是不容易啊,各种坑,对了如果实在要修改yml文件,你会遇到几个问题,顺带说下:

vim文件无法打开yml文件,需要安装vim,安装时提示你没有权限,这时候进入容器要通过此命令:

 

docker exec -it -u 0 xxxxx /bin/bash 

介入后安装vim:

docker stop es-node01
docker stop kib-01

 

这时候就可以通过vim打开yml文件了,比较坑的是,每个容器都需要这么做一遍,目前还没找到好的解决办法,有好的解决办法的小伙伴请不吝赐教。 

关于ELK,也是博大精深的东西啊,微服务中每一项都不可小觑,是在下孟浪了,学无止尽,学无止尽啊,你我共勉。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/1376.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

网络编程1(网络背景知识)

A给B发送消息如何保证数据一定能够发送到B的主机上,而不是其他地方 通过IP地址可以实现网络中制定的两个主机之间的通信,除此之外还要确定是哪个进程来处理,这里就用到端口(port) 端口—在一台主机上用于唯一标识一个…

MySQL索引特性

文章目录为什么要有索引?认识磁盘磁盘的结构磁盘的盘片结构定位扇区磁盘随机访问 (Random Access)与连续访问 (Sequential Access)MySQL与磁盘交互索引的理解测试主键索引索引的原理索引结构是否可以使用其他数据结构B树 vs B树聚簇索引 vs 非聚簇索引为什么要有索引…

基于深度学习的犬种识别软件(YOLOv5清新界面版,Python代码)

摘要:基于深度学习的犬种识别软件用于识别常见多个犬品种,基于YOLOv5算法检测犬种,并通过界面显示记录和管理,智能辅助人们辨别犬种。本文详细介绍博主自主开发的犬种检测系统,在介绍算法原理的同时,给出Py…

分布式微服务架构下网络通信的底层实现原理

在分布式架构中,网络通信是底层基础,没有网络,也就没有所谓的分布式架构。只有通过网络才能使得一大片机器互相协作,共同完成一件事情。 同样,在大规模的系统架构中,应用吞吐量上不去、网络存在通信延迟、我…

Qt音视频开发26-监控画面各种图形绘制设计

一、前言 视频监控系统做到后面,逐渐需要搭配人工智能算法,将算法计算后的信息以OSD标签以及方框各种图形的信息显示到视频中,这种当然和OSD一样也是有两种方式,一种是源头就贴好了,一种是将结果发给软件这边解析绘制…

专项攻克——死锁

文章目录O、死锁定义一、 常见的java死锁代码1. synchronized等待对象释放,导致死锁2. CountDownLatch计数等待,导致死锁二、怎么避免死锁2.1 死锁的四个必要条件2.2 避免死锁2.3 常见的避免死锁技术三、java程序出现死锁,怎么解除&#xff1…

Vue使用的编辑器

作者简介:一名计算机萌新、前来进行学习VUE,让我们一起进步吧。 座右铭:低头赶路,敬事如仪 个人主页:我叫于豆豆吖的主页 目录 前言 一.vue常用的IDE工具Visual Studio Code 3. 汉化教程 4.常用快捷键 5. Visual Studio C…

瑞萨Renesas RA2L1 开发板测评(1)--keil环境配置

前言(1)首先感谢李肯前辈的活动,从而申请到了RA2L1开发板的测评。(2)本文将会简单介绍此开发的Renesas RA2L1 开发板的前期配置。需要注意的是,MDK版本要5.30 以上。MDK下载链接;(3&…

计算机中的浮点数运算

计算机中的浮点数 计算机中以固定长度存储浮点数的方式&#xff0c;造成了浮点数运算过程容易产生上溢和下溢。以float32为例, 其标记位占1bit,指数位占8bit,小数部分占23bit 经典下溢场景 不满足精度导致截断误差 #include <iostream> #include <iomanip> usin…

一行代码“黑”掉任意网站

文章目录只需一行代码&#xff0c;轻轻一点就可以把任意网站变成暗黑模式。 首先我们先做一个实验&#xff0c;在任意网站中&#xff0c;打开浏览器开发者工具(F12)&#xff0c;在 C1onsole 控制台输入如下代码并回车&#xff1a; document.documentElement.style.filterinve…

Hive 数据倾斜

数据倾斜&#xff0c;即单个节点任务所处理的数据量远大于同类型任务所处理的数据量&#xff0c;导致该节点成为整个作业的瓶颈&#xff0c;这是分布式系统不可能避免的问题。从本质来说&#xff0c;导致数据倾斜有两种原因&#xff0c;一是任务读取大文件&#xff0c;二是任务…

【MIT 6.S081】Lab2: system calls

本Lab包括两个简单系统调用的实现&#xff0c;进一步熟悉系统调用接口。 笔者用时约1.5h 概述 根据文档说明&#xff0c;当我们添加一个系统调用时&#xff0c;比如第一个任务是添加一个trace&#xff0c;需要进行以下操作&#xff1a; 首先将系统调用的原型添加到user/user…

博客系统实现自动化测试

目录 一、设计博客系统的测试用例 二、利用测试用例进行测试 测试登录页面 界面测试 功能测试 测试博客列表页 界面测试 功能测试 测试博客详情页 界面测试 功能测试 博客编辑页测试 界面测试 功能测试 一、设计博客系统的测试用例 二、利用测试用例进行测…

【Java版oj】day12二进制插入、查找组成一个偶数最接近的两个素数

目录 一、二进制插入 &#xff08;1&#xff09;原题再现 &#xff08;2&#xff09;问题分析 &#xff08;3&#xff09;完整代码 二、查找组成一个偶数最接近的两个素数 &#xff08;1&#xff09;原题再现 &#xff08;2&#xff09;问题分析 &#xff08;3&#xff0…

One-YOLOv5 v1.2.0 Released(支持分类,检测,实例分割)

0x0. 引言0x1. 快速开始0x2. 在COCO上的精度表现 yolov5s-defaultyolov5s-seg 0x3. 在COCO上的单GPU性能表现特性 & bug 修复 特性用户反馈的bug 下个版本的展望附件常用预训练模型下载列表 0x0. 引言 &#x1f31f; v1.2.0同步了ultralytics yolov5的上游分支v7.0 &…

前端入门:HTML5+CSS3+JAAVASCRIPT

1、 初识HTML HTML:Hyper Text Markup Language(超文本标记语言) 。 超文本包括&#xff1a;文字、图片、音频、视频、动画等。 1.1、W3C标准 1.2、HTML基本结构 示例&#xff1a; <!-- DOCTYPE:告诉浏览器&#xff0c;我们要使用什么规划&#xff0c;这里是HTML --> …

IDAFrida

IDA&Frida 前言 偶然间发现了一本秘籍《IDA脚本开发之旅》&#xff0c;这是白龙的系列文章&#xff0c;主要是安卓平台&#xff0c;笔者只是根据他的知识点学习&#xff0c;拓展&#xff0c;可以会稍微提及别的平台。本文并不会贴出他的思路分析&#xff0c;只对于源码进…

C语言实现单链表(超多配图,这下不得不学会单链表了)

目录 一&#xff1a;什么是链表&#xff1f; 二&#xff1a;创建源文件和头文件 (1)头文件 (2)源文件 三&#xff1a;实参和形参 四&#xff1a;一步步实现单向链表 &#xff08;1&#xff09;建立一个头指针并置空 &#xff08;2&#xff09;打印链表&#xff0c;便于…

*p++,*(p++),*++p,(*p)++区别?

*p++:等同于:*p; p += 1; 解析:由于和++的运算优先级一样,且是右>结合。故p++相当于*(p++),p先与++结合,>然后p++整体再与结合。前面陈述是一种最 常见的错误,很多初学者也是这么理解的。 但是,因为++后置的时候,本身含义就是先 运算后增加1(运算指的是p++作为…

GPT-4最震撼我的一点

昨天我看了一遍OpenAI发的视频和论文&#xff0c;最震撼我的并不是根据手绘草图生成HTML页面代码&#xff0c;因为草图太简单&#xff0c;对于复杂的有交互的界面&#xff0c;还不知道它的能力究竟如何&#xff0c;能不能生成准确的、清晰的代码&#xff0c;我再实验一下再给大…
最新文章