windows环境下Grafana+loki+promtail入门级部署日志系统,收集Springboot(Slf4j+logback)项目日志

🌹作者主页:青花锁 🌹简介:Java领域优质创作者🏆、Java微服务架构公号作者😄

🌹简历模板、学习资料、面试题库、技术互助

🌹文末获取联系方式 📝

在这里插入图片描述


往期热门专栏回顾

专栏描述
Java项目实战介绍Java组件安装、使用;手写框架等
Aws服务器实战Aws Linux服务器上操作nginx、git、JDK、Vue
Java微服务实战Java 微服务实战,Spring Cloud Netflix套件、Spring Cloud Alibaba套件、Seata、gateway、shadingjdbc等实战操作
Java基础篇Java基础闲聊,已出HashMap、String、StringBuffer等源码分析,JVM分析,持续更新中
Springboot篇从创建Springboot项目,到加载数据库、静态资源、输出RestFul接口、跨越问题解决到统一返回、全局异常处理、Swagger文档
Spring MVC篇从创建Spring MVC项目,到加载数据库、静态资源、输出RestFul接口、跨越问题解决到统一返回
华为云服务器实战华为云Linux服务器上操作nginx、git、JDK、Vue等,以及使用宝塔运维操作添加Html网页、部署Springboot项目/Vue项目等
Java爬虫通过Java+Selenium+GoogleWebDriver 模拟真人网页操作爬取花瓣网图片、bing搜索图片等
Vue实战讲解Vue3的安装、环境配置,基本语法、循环语句、生命周期、路由设置、组件、axios交互、Element-ui的使用等
Spring讲解Spring(Bean)概念、IOC、AOP、集成jdbcTemplate/redis/事务等

前言

新的项目开工,采用Springboot(Slf4j+logback)搭建项目,项目有很多模块,后续需要采用微服务架构。因此日志系统也需要分布式日志系统,而不是进入堡垒机输入命令查看日志这种传统的方式。

新项目不像淘宝、京东、抖音这些体量特别大,因此我们直接弃掉ELK(项目用不到es,ELK反而太显笨重)。研究几个日志系统之后,看到一款日志系统loki 眼前一亮,Loki 是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。其所属Grafana Labs团队,还维护有一款著名监控仪表系统 Grafana。

今天给大家演示如何在windows环境下部署Grafana+loki+promtail日志系统,实现Springboot(Slf4j+logback)项目的日志收集,在Grafana Web界面上就能看到我们项目的日志。

效果如下:
在这里插入图片描述


1、搭建项目

搭建一个Springboot(Slf4j+logback)项目,配置日志文件logback.xml。
在 D://soft/grafana-9.0.6/testlogs文件夹下生成文件,文件名log.log。

在这里插入图片描述

<?xml version='1.0' encoding='UTF-8'?>
<!--日志配置-->
<configuration>
    <!--直接定义属性-->
    <property name="logFile" value="D://soft/grafana-9.0.6/testlogs/log"/>
    <property name="maxFileSize" value="30MB"/>

    <!--控制台日志-->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d [%thread] %-5level %logger{50} -[%file:%line]- %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
    </appender>

    <!--滚动文件日志-->
    <appender name="fileLog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${logFile}.log</file>
        <encoder>
            <!--日志输出格式-->
            <pattern>%d [%thread] %-5level -[%file:%line]- %msg%n</pattern>
            <charset>UTF-8</charset>
        </encoder>
        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>${logFile}.%d{yyyy-MM-dd}.%i.log</fileNamePattern>
            <maxFileSize>${maxFileSize}</maxFileSize>
        </rollingPolicy>
    </appender>
    <!--创建一个具体的日志输出-->
    <logger name="com.qinghuasuo" level="info" additivity="true">
        <!--可以有多个appender-ref,即将日志记录到不同的位置-->
        <appender-ref ref="STDOUT"/>
        <appender-ref ref="fileLog"/>
    </logger>

    <!--基础的日志输出-->
    <root level="info"></root>
</configuration>

2、安装Grafana+loki+promtail

安装Grafana+loki+promtail,搭建日志系统。

2.1、安装Grafana

2.1.1、下载

下载地址:https://grafana.com/grafana/download?platform=windows
在这里插入图片描述

2.1.2、解压

下载grafana-enterprise-9.0.6.windows-amd64.zip安装包即可,并解压到 D:\soft\grafana-9.0.6
在这里插入图片描述

2.1.3、启动

进入\bin目录,双击grafana-server.exe启动在这里插入图片描述

2.1.4、访问系统

启动成功之后,http://localhost:3000
初始登录账户:admin/admin
在这里插入图片描述


2.2、安装loki

2.2.1、下载

下载地址:https://github.com/grafana/loki/releases
在这里插入图片描述

2.2.2、解压

下载loki-windows-amd64.exe.zip安装包,并进行解压到D:\soft\loki,解压得到loki-windows-amd64.exe
在这里插入图片描述
在这里插入图片描述

2.2.3、配置

在D:\soft\loki目录下添加loki-local-config.yaml文件,内容如下(其中的路径地址,已修改成Windows路径,需要注意修改为自己服务器的路径):

auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096 # 通信端口

ingester:
  lifecycler:
    address: 127.0.0.1
    ring:
      kvstore:
        store: inmemory
      replication_factor: 1
    final_sleep: 0s
  chunk_idle_period: 5m
  chunk_retain_period: 30s
  max_transfer_retries: 0
  max_chunk_age: 20m  #一个timeseries快在内存中的最大持续时间。

schema_config:
  configs:
    - from: 2022-08-06
      store: boltdb
      object_store: filesystem
      schema: v11
      index:
        prefix: index_
        period: 672h #每张表的时间范围28天

storage_config:
  boltdb:
    directory: D://tmp/loki/index # 索引文件存储地址
  filesystem:
    directory: D://tmp/loki/chunks # 块存储地址

limits_config:
  enforce_metric_name: false
  reject_old_samples: true

chunk_store_config:
  max_look_back_period: 24h # 最大可查询历史日期 28天,这个时间必须是schema_config中的period的倍数,否则报错。

table_manager: # 配置保留多少天的数据,那么之前数据会被清除,Loki中默认保留所有数据
  retention_deletes_enabled: true
  retention_period: 24h

2.2.4、配置

打开cmd定位到D:\soft\loki目录,执行命令:.\loki-windows-amd64.exe --config.file=loki-local-config.yaml,loki服务启动成功。
在这里插入图片描述


2.3、安装promtail

2.3.1、下载

下载地址:https://github.com/grafana/loki/releases
这里选择v2.8.10下的Assets下载promtail-windows-amd64.exe.zip,最新版本没有promtail-windows。
在这里插入图片描述
在这里插入图片描述

2.3.2、解压

下载promtail-windows-amd64.exe.zip安装包,并解压到D:\soft\loki目录,得到promtail-windows-amd64.exe
在这里插入图片描述

2.3.3、配置

在D:\soft\loki目录下添加promtail-local-config.yaml文件,内容如下(使用promtail去推送Springboot项目产生的日志文件,这里使用监控文件夹的形式(文件夹+文件通配)):

server:
  http_listen_port: 9080
  grpc_listen_port: 0
positions:
  filename: D:\soft\loki\positions.yaml

clients:
  - url: http://localhost:3100/loki/api/v1/push
    batchwait: 10s
    batchsize: 40960000
scrape_configs:
  - job_name: system
    static_configs:
    - targets:
      - localhost
      labels:
        job: viplogs
        host: localhost
        __path__: D:\soft\grafana-9.0.6\testlogs\*.log

2.3.4、启动

打开cmd定位到D:\soft\loki目录,执行命令: .\promtail-windows-amd64.exe --config.file=promtail-local-config.yaml,promtail服务启动成功。


3、使用Grafana+loki+promtail查看日志

3.1、登录grafana后在Data sources -> Add data source选择loki

在这里插入图片描述
在这里插入图片描述

3.2、配置信息

填写上loki的地址在这里插入图片描述

3.3、选择Explore

去执行loki的日志查询
在这里插入图片描述

3.4、查询日志

在这里插入图片描述
在这里插入图片描述


总结

从结果来看Grafana+loki+promtail搭建的日志系统,可以满足我们的需求,采集到Springboot(Slf4j+logback)项目日志,并且可以在WebUI上操作、查看这些日志。

从过程看,Grafana+loki+promtail搭建日志系统,入门级部署是非常容易的,比部署ELK要简单很多。

喜欢的小伙伴们,可以给个关注和点赞。我这里还有其他Java专栏,云原生、数据库、前端、运维等知识点分享。


资料获取,更多粉丝福利,关注下方公众号获取

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/427605.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

HarmonyOS—开启AOT编译模式

AOT&#xff08;Ahead Of Time&#xff09;即提前编译&#xff0c;能够在Host端&#xff08;即运行DevEco Studio的电脑&#xff09;将字节码提前编译成Target端&#xff08;即运行应用的设备&#xff09;可运行的机器码&#xff0c;这样字节码可以获得充分编译优化&#xff0c…

OpenMMlab AI实战营第三期培训

OpenMMlab AI实战营第三期培训 OpenMMlab实战营第三次课2023.2.2学习参考一、pytorch完整训练过程二、基于mmclassification做图像分类1.安装mim工具包以及必备的库2. OpenMMlab项目中的重要概念&#xff08;1&#xff09;配置文件&#xff08;2&#xff09;下载配置文件 3.训练…

Frontend - Boostrap 消息弹窗

目录 一、下载 &#xff08;一&#xff09;中文官网 &#xff08;二&#xff09;bootstrap v3 依赖 jQuery 插件 二、解压并安装 &#xff08;一&#xff09;解压 1. 压缩包解压 2. 简化文件 &#xff08;二&#xff09;安装 三、配置 &#xff08;一&#xff09;bas…

CDN介绍

概念介绍 CDN Content Delivery Network&#xff0c;缩写&#xff1a;CDN&#xff09;是一种提供更快互联网访问的服务&#xff0c;通过在网络的边缘或核心交换区域部署内容代理服务器来实现。这些服务器利用全局负载调度机制来分发内容&#xff0c;从而构建了一个覆盖范围广…

2023年个税申报:“婴幼儿照护专项附加扣除标准”你选对了没有?

2023年个税申报&#xff1a;“婴幼儿照护专项附加扣除标准”你选对了没有&#xff1f; 根据《国务院关于设立3岁以下婴幼儿照护个人所得税专项附加扣除的通知》(国发〔2022〕8号)&#xff1a; 一、纳税人照护3岁以下婴幼儿子女的相关支出&#xff0c;按照每个婴幼儿每月1000元…

技术总结: PPT绘图

目录 写在前面参考文档技巧总结PPT中元素的连接立方体调整厚度调整图形中的文本3D 图片调整渐变中的颜色 写在前面 能绘制好一个好看的示意图非常重要, 在科研和工作中好的示意图能精准表达出自己的想法, 减少沟通的成本, 可视化的呈现也可以加强自身对系统的理解, 时间很久后…

Linux进程间通信方式之socket使用实例

TCP/IP协议族包括运输层、网络层、链路层&#xff0c;而socket所在位置如图&#xff0c;Socket是应用层与TCP/IP协议族通信的中间软件抽象层。 下面是网络socket通信的基本流程&#xff1a; socket函数 int socket(int domain, int type, int protocol);socket函数对应于普通…

DevOps学习 | 如何应对IT服务交付中的问题?

目录 前言 DevOps是什么&#xff1f; DevOps发展历程 DevOps与微服务、容器的关系 书本推荐 前言 作为一个热门的概念&#xff0c;DevOps这个名词在程序员社区里频频出现&#xff0c;备受技术大佬们的追捧。甚至网络上有了“南无DevOps”的戏言&#xff08;南无在梵语的意…

MySQL面试题【全面】

基础内容 1、MySQL的架构分层 &#xff08;1&#xff09;Serve层&#xff1a;负责建立连接、分析和执行 SQL。 MySQL 大多数的核心功能模块都在这实现&#xff0c;主要包括连接器&#xff0c;查询缓存、解析器、预处理器、优化器、执行器等。另外&#xff0c;所有的内置函数&…

解析 openGauss 的 AutoVacuum 机制及优化策略

前言 在 openGauss 数据库中&#xff0c;AutoVacuum 机制是一个关键的自动化功能&#xff0c;用于管理表的空间和性能。AutoVacuum 通过定期清理过时数据和更新统计信息&#xff0c;帮助数据库管理员维护数据库的性能和稳定性。 为什么需要 AutoVacuum&#xff1f; 了解AutoV…

SOCKS55代理 VS Http代理,如何选择?

在使用IPFoxy全球代理时&#xff0c;选择 SOCKS55代理还是HTTP代理&#xff1f;IPFoxy代理可以SOCKS55、Http协议自主切换&#xff0c;但要怎么选择&#xff1f;为解决这个问题&#xff0c;得充分了解两种代理的工作原理和配置情况。 在这篇文章中&#xff0c;我们会简要介绍 …

第15届蓝桥STEMA测评真题剖析-2024年1月28日Scratch编程初中级组

[导读]&#xff1a;超平老师的《Scratch蓝桥杯真题解析100讲》已经全部完成&#xff0c;后续会不定期解读蓝桥杯真题&#xff0c;这是Scratch蓝桥杯真题解析第173讲。 第15届蓝桥第4次STEMA测评&#xff0c;这是2024年1月28日举办的STEMA&#xff0c;比赛仍然采取线上形式。这…

羊大师揭秘羊奶与健康,美味的保健佳品

羊大师揭秘羊奶与健康&#xff0c;美味的保健佳品 羊奶确实是一种美味且健康的保健佳品&#xff0c;其独特的营养成分和风味使其成为许多人的健康选择。以下是一些羊奶与健康的关系&#xff1a; 营养丰富&#xff1a;羊奶含有丰富的蛋白质、脂肪、矿物质和维生素&#xff0c;…

【latex过长或过短】 表格大小调整 解决方案

文章目录 1、表格过短 1.2 问题描述1.2 解决方案 2、表格过长&#xff0c;显示信息不全 2.1 问题描述2.2 解决方案 1、表格过短 1.2 问题描述 表格占整个页面的宽度较小&#xff0c;如下图&#xff1a; Latex源码如下&#xff1a;\begin{table*} \caption{short} \label{t1} …

OpenCompass 大模型评测介绍和实战

为什么要进行评测&#xff1f; 大模型的能力 模型评测对各个人的影响 如何评测大语言模型 客观评测 主观评测 prompt工程 平台结构 流水线设计 大模型评测对比 多模态探索 垂直领域&#xff08;法律&#xff09; 垂直领域&#xff08;医疗&#xff09; 大模型评测领…

Python 语句(二)【循环语句】

循环语句允许执行一个语句或语句组多次&#xff0c;其程序流程图如下&#xff1a; 在python中有三种循环方式&#xff1a; while 循环 当判断条件为 true 时执行循环体&#xff0c;否则退出循环体。for 循环 重复执行语句嵌套循环 &#xff08;在while循环体中嵌套for循环&…

Java 打包 SpringBoot 项目报错

Java 打包 SpringBoot 项目报错 问题重现 Please refer to xxxx for the individual test results. Please refer to dump files (if any exist) [date].dump, [date]-jvmRun[N].dump and [date].dumpstream. 解决问题 在 pom.xml 的 <properties> 中添加项目代码 <s…

Python处理表格数据库之Agate使用详解

概要 您是否有时觉得在处理表格数据时感到不知所措? 也许你在处理一个大型 CSV 文件,遇到了各种数据不一致的问题,或者需要验证数据,确保其准确无误才能进行下一步分析。 传统的数据分析库或许功能强大,但学习曲线陡峭,用起来有点杀鸡用牛刀的感觉。 这时,有一个更…

2024六大创业营销趋势,普通人创业新风向!

2024年越来越多的人选择创业&#xff0c;从龙年春节前后&#xff0c;创投圈就开始探讨关于2024的创业新风向&#xff0c;从各个热点&#xff0c;各大品牌&#xff0c;春晚等等方面洞察2024创业趋势&#xff0c;以下总结的6大创业营销趋势&#xff0c;跟着大品牌押宝&#xff0c…

鸿蒙Harmony应用开发—ArkTS声明式开发(通用属性:焦点控制)

自定义组件的走焦效果&#xff0c;可设置组件是否走焦和具体的走焦顺序&#xff0c;tab键或者方向键切换焦点。 说明&#xff1a;从API Version 8开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 focusable focusable(value: boolean) 设…
最新文章