微服务监控与可观测性：NetCoreMicroservicesSample集成Kibana完整指南

【免费下载链接】NetCoreMicroservicesSampleSample using micro services in .NET Core 3.1 Focusing on clean code项目地址: https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample

NetCoreMicroservicesSample是一个基于.NET Core 3.1构建的微服务示例项目，专注于清晰代码设计。本文将详细介绍如何为该项目集成Kibana实现强大的监控与可观测性，帮助开发者快速定位问题、优化性能。

微服务架构与监控挑战 📊

在现代微服务架构中，随着服务数量的增长，系统复杂度呈指数级上升。传统的单体应用监控方式已无法满足需求，需要更全面的可观测性解决方案。

图：NetCoreMicroservicesSample项目的微服务架构示意图，展示了各服务间的交互关系

该项目采用了典型的微服务架构，包含以下核心组件：

• ApiGateway：基于Ocelot的API网关
• MoviesService：电影管理服务
• ReviewsService：评论管理服务
• UsersService：用户管理服务
• 基础设施层：包含日志、消息队列、事件存储等公共组件

为什么选择ELK Stack进行监控？

ELK Stack（Elasticsearch, Logstash, Kibana）是目前最流行的日志管理和分析解决方案之一，具有以下优势：

• 集中式日志收集：统一管理多个微服务的日志
• 强大的搜索能力：快速定位特定日志条目
• 可视化分析：通过Kibana创建直观的仪表盘
• 扩展性：轻松应对日志量增长

NetCoreMicroservicesSample已内置Serilog日志框架，可直接对接ELK Stack，为集成Kibana奠定了基础。

准备工作：环境与依赖项

在开始集成Kibana之前，请确保您的开发环境满足以下要求：

1. Docker和Docker Compose：用于运行ELK Stack容器
2. .NET Core 3.1 SDK：用于构建和运行微服务
3. Git：用于克隆项目代码

首先，克隆项目仓库：

git clone https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample

步骤1：配置Elasticsearch连接

项目已预设Elasticsearch配置，位于各服务的appsettings.json文件中。以MoviesService为例：

"ElasticConfiguration": { "Uri": "http://elasticsearch:9200" }, "Serilog": { "WriteTo": [ { "Name": "Elasticsearch", "Args": { "nodeUris": "http://elasticsearch:9200", "batchPostingLimit": 50, "period": 2000, "inlineFields": true, "restrictedToMinimumLevel": "Warning", "autoRegisterTemplate": true, "autoRegisterTemplateVersion": "ESv7" } } ] }

上述配置位于 Src/MoviesService/appsettings.json 文件中，定义了Serilog如何将日志发送到Elasticsearch。

步骤2：添加ELK Stack到Docker Compose

为了简化部署，我们将ELK Stack添加到项目的Docker Compose配置中。创建或修改docker-compose.yml文件，添加以下服务定义：

version: '3.4' services: elasticsearch: image: docker.elastic.co/elasticsearch/elasticsearch:7.14.0 environment: - discovery.type=single-node - xpack.security.enabled=false ports: - "9200:9200" networks: - microservices-network kibana: image: docker.elastic.co/kibana/kibana:7.14.0 environment: - ELASTICSEARCH_HOSTS=http://elasticsearch:9200 ports: - "5601:5601" depends_on: - elasticsearch networks: - microservices-network

步骤3：配置日志收集与结构化

项目使用Serilog作为日志框架，通过 Infrastructure/Logging/LoggingExtensions.cs 提供了统一的日志配置：

public static Serilog.Core.Logger AddLogging(IConfiguration Configuration) { var logger = new LoggerConfiguration() .Enrich.FromLogContext() .Enrich.WithExceptionDetails() .Enrich.WithCorrelationIdHeader() .Filter.ByExcluding(c => c.Properties.Any(p => p.Value.ToString().Contains("swagger"))) .ReadFrom.Configuration(Configuration) .CreateLogger(); return logger; }

这段代码实现了以下关键功能：

• 从日志上下文丰富日志信息
• 添加异常详情
• 生成关联ID用于追踪分布式请求
• 过滤掉Swagger相关的日志
• 从配置文件读取日志设置

步骤4：启动服务并验证日志流

使用以下命令启动所有服务：

docker-compose up -d

服务启动后，可以通过访问以下地址验证各组件是否正常运行：

• Elasticsearch: http://localhost:9200
• Kibana: http://localhost:5601

步骤5：在Kibana中创建索引模式

首次访问Kibana时，需要创建索引模式以可视化日志数据：

1. 打开Kibana控制台（http://localhost:5601）
2. 导航到Management > Stack Management > Index Patterns
3. 点击Create index pattern
4. 输入serilog-*作为索引模式名称（与Serilog配置匹配）
5. 选择@timestamp作为时间过滤器字段
6. 点击Create index pattern

步骤6：创建微服务监控仪表盘

Kibana的强大之处在于其可视化能力。以下是创建基本监控仪表盘的步骤：

1. 导航到Analytics > Discover，验证日志数据是否正常显示
2. 点击Save保存当前搜索条件
3. 导航到Dashboard > Create dashboard
4. 添加以下常用可视化组件：
   • 日志数量时间趋势图
   • 按服务名称分组的日志数量
   • 按日志级别分布的饼图
   • 错误日志表格

高级监控：分布式追踪与性能分析

NetCoreMicroservicesSample还集成了Elastic APM（应用性能监控），配置位于各服务的appsettings.json中：

"ElasticApm": { "ServerUrls": "http://apm:8200" }

通过Elastic APM，可以实现：

• 分布式请求追踪
• 服务性能指标收集
• 错误率监控
• 数据库查询性能分析

要启用APM，只需在Docker Compose中添加APM服务，并在各微服务中配置相应的环境变量。

常见问题与解决方案

问题1：Kibana中看不到日志数据

解决方案：

• 检查Elasticsearch是否正常运行：curl http://localhost:9200
• 查看微服务日志：docker-compose logs movies_service
• 验证Serilog配置是否正确指向Elasticsearch

问题2：日志量过大导致性能问题

解决方案：

• 调整日志级别，只记录重要信息
• 配置日志轮转策略
• 在 Infrastructure/Logging/LoggingExtensions.cs 中添加更精细的日志过滤规则

问题3：分布式追踪无法正常工作

解决方案：

• 确保所有微服务都配置了相同的Elastic APM服务器地址
• 检查服务之间的调用是否正确传递了追踪上下文
• 验证CorrelationId是否正确生成和传播

总结：微服务可观测性最佳实践

通过集成Kibana，NetCoreMicroservicesSample实现了全面的可观测性，包括：

• 集中式日志收集与分析
• 实时性能监控
• 分布式追踪
• 自定义可视化仪表盘

这些工具和实践不仅帮助开发者快速定位和解决问题，还能提供系统运行的整体视图，为架构优化和性能调优提供数据支持。

建议在实际项目中进一步扩展这些功能，例如添加告警机制、自定义业务指标监控，以及定期审查和优化日志策略，以确保微服务架构的稳定运行和持续改进。

【免费下载链接】NetCoreMicroservicesSampleSample using micro services in .NET Core 3.1 Focusing on clean code项目地址: https://gitcode.com/gh_mirrors/ne/NetCoreMicroservicesSample