【ES】Elasticsearch常见问题与解决（持续更新）

Elasticsearch常见问题

1. 集群健康问题

2. 性能问题

3. 映射问题

4. 分片问题

5. 内存问题

6. 硬件问题

7. 配置问题

8. 安全问题

9. 网络问题

10. 版本不兼容

Elasticsearch日常使用小结

【Q】离线告警，有IP已离线

【Q】统计某个应用的某个索引的节点使用率

【Q】测试环境两个索引关联查询, 贼慢

【Q】想缩容节点, 怎么操作嘞

【Q】可以存储嵌套对象吗

【Q】测试环境一些好久没使用的索引突然发现全红了

【Q】返回 SearchPhaseExecutionException: all shards failed 异常

【Q】如果调整es索引模板的分片数量，会导致前后索引文件的不同吗？对查询有什么影响吗

【Q】有一个数据节点的磁盘空间远大于其他节点，并且实际使用空间很低，可能通过加小节点，缩容大节点处理吗？

【Q】一个索引文件建议最大分片数有限制吗？

【Q】ES 集群与副本的关系/作用/互相影响

【Q】ES 模板新增一个索引列会影响现有数据吗?

【Q】为何索引节点分布不均? 怎么解决?

Elasticsearch (ES) 是一个强大的开源搜索和分析引擎，广泛用于全文搜索、日志和数据分析等场景。由于其复杂性，用户可能会遇到各种问题。以下是一些常见的 Elasticsearch 问题以及相应的解决方法：

Elasticsearch常见问题

1. 集群健康问题

问题: ES 集群健康状态不是绿色（可能是黄色或红色）。

解决方法:
- 黄色: 通常意味着至少一个副本分片没有被正确分配。检查是否有足够的节点来承载副本分片。
- 红色: 表示至少一个主分片未被分配。检查节点日志，确定是否有硬件故障或网络问题。
- 使用 `GET /_cluster/health` 查看集群健康状态，并根据输出解决具体问题。

场景举例:

有次控制台报这个

org.elasticsearch.action.search.SearchPhaseExecutionException: all shards failed
Caused by: org.elasticsearch.index.query.QueryShardException: No mapping found for [order] in order to sort on

org.lasticsearch.action.search.SearchPhaseExecutionException：所有碎片都失败
由：org.lasticsearch/index.query.QueryShardException引起：找不到[order]的映射以便排序

查看管理台RED

然后分片改成3个，重建索引，重新发布，还是不行，

最后发现是索引没写进去数据，很简单，也很尴尬..

模拟代码

ClusterHealthResponse healthResponse = client.cluster().health(new ClusterHealthRequest(), RequestOptions.DEFAULT);
String clusterName = healthResponse.getClusterName();
ClusterHealthStatus status = healthResponse.getStatus();

2. 性能问题

问题: 查询慢，索引速度慢。

解决方法:
- 查询优化: 确保使用正确的查询类型，避免使用高成本操作如深度分页（deep pagination）。
- 索引优化: 使用批量（bulk）API进行索引操作，调整刷新频率和分片数量。
- 硬件检查: 检查是否硬件（如 CPU、内存、磁盘IO）成为瓶颈。

// 检索慢查询日志
GetSettingsRequest request = new GetSettingsRequest().indices("your_index").includeDefaults(true);
GetSettingsResponse response = client.indices().getSettings(request, RequestOptions.DEFAULT);
String slowLogThreshold = response.getSetting("your_index", "index.search.slowlog.threshold.query.warn");

3. 映射问题

问题: 映射错误导致无法索引数据。

解决方法:
- 映射定义: 在索引数据前定义好映射，确保数据类型与映射匹配。
- 动态映射: 如果不希望自动创建映射，可以在索引设置中禁用动态映射。
- 重建索引: 如果映射错误，可能需要创建新索引并重新导入数据。

// 获取映射
GetMappingsRequest request = new GetMappingsRequest().indices("your_index");
GetMappingsResponse getMappingResponse = client.indices().getMapping(request, RequestOptions.DEFAULT);
Map<String, MappingMetadata> allMappings = getMappingResponse.mappings();

4. 分片问题

问题: 分片数量不当。

解决方法:
- 分片数量调整: 分片数量过多会增加集群负担，过少则可能不利于性能。根据数据量调整分片大小。
- 使用分片分配: 调整 `index.number_of_shards` 和 `index.number_of_replicas` 配置来更改分片数量和副本数量。

// 调整分片
ResizeRequest request = new ResizeRequest("target_index", "source_index");
request.getTargetIndexRequest().settings(Settings.builder()
    .put("index.number_of_shards", "new_number_of_shards")
    .put("index.number_of_replicas", "new_number_of_replicas"));
client.indices().resize(request, RequestOptions.DEFAULT);

5. 内存问题

问题: JVM 堆内存不足。

解决方法:
- 堆大小调整: 增加 JVM 堆大小，但不要超过物理内存的 50% 或 32GB（由于压缩指针的限制）。
- 内存压力分析: 使用 ES 的节点状态API分析内存压力，并相应调整。

// 检查节点状态，包括内存使用情况
NodesStatsRequest request = new NodesStatsRequest();
NodesStatsResponse response = client.nodes().stats(request, RequestOptions.DEFAULT);
JvmStats jvmStats = response.getNodesMap().get("nodeId").getJvm();

6. 硬件问题

问题: 硬件资源不足导致性能瓶颈。

解决方法:
- 资源升级: 根据需求升级 CPU、内存或磁盘。
- 负载均衡: 确保集群中的负载均衡，避免个别节点过载。

7. 配置问题

问题: 不当的配置导致问题。

解决方法:
- 配置审查: 定期审查配置文件，确保所有配置项都是必要和优化的。
- 文档参考: 参考官方文档进行配置。

// 获取当前的索引设置
GetSettingsRequest request = new GetSettingsRequest().indices("your_index");
GetSettingsResponse response = client.indices().getSettings(request, RequestOptions.DEFAULT);
String numberOfShards = response.getSetting("your_index", "index.number_of_shards");

8. 安全问题

问题: 安全漏洞或未授权访问。

解决方法:
- 启用安全: 使用 X-Pack Security 或其他安全插件。
- 最小权限原则: 为用户配置适当的权限。
- 监控和警报: 启用监控，并设置警报系统以便在出现安全问题时及时响应。

9. 网络问题

问题: 集群节点间通信问题。

解决方法:
- 网络配置检查: 确保所有节点的网络配置正确，没有防火墙或其他网络设备阻止节点间通信。
- 使用专用网络: 如果可能，为 ES 集群使用专用网络。