Elasticsearch 如何处理 Aggs 顺序中的大写字母和小写字母?

Elasticsearch 排序允许你根据特定条件对搜索结果进行排序。 然而,在排序时处理区分大小写时,Elasticsearch 将大写和小写字母视为不同的字符,分别对它们进行排序。 这是因为 ASCII 表顺序是从大写 A 到小写 z。

默认情况下,Elasticsearch 按以下顺序对字符串进行排序:首先是数字,然后是大写字母,最后是小写字母。 例如,如果您有术语 “Apple”、“apple”、“banana”、“Carrot” 和 “1apple”,它们将按升序排序为“1apple”、“Apple”、“Carrot”、“ apple”、“banana”。

POST /test_casing/_bulk
{ "index" : {} }
{ "my_field" : "Apple" }
{ "index" : {} }
{ "my_field" : "apple" }
{ "index" : {} }
{ "my_field" : "banana" }
{ "index" : {} }
{ "my_field" : "Carrot" }
{ "index" : {} }
{ "my_field" : "1apple" }

这种默认行为可能并不总是令人满意。 例如,如果你对值 “Apple”、“banana” 和 “Carrot” 建立了索引,并且使用升序排列,那么你将得到 “Apple”、“Carrot” 和“banana”。 但是,你可能想要 “Apple”、“banana”、“Carrot”。

为此,你可以使用 Elasticsearch 中称为规范化器(normalizer)的功能。 规范化器与关键字字段类型一起使用,允许你以类似于分析文本的方式预处理关键字字段的输入。

然而,与分析器不同,规范化器不会将输入分解为标记。 这使得它适合需要对整个输入进行索引或排序的关键字字段类型。

PUT /test_casing2
{
  "settings": {
    "analysis": {
      "normalizer": {
        "my_normalizer": {
          "type": "custom",
          "filter": [
            "lowercase"
          ]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "my_field": {
        "type": "keyword",
        "normalizer": "my_normalizer"
      }
    }
  }
}
POST /test_casing2/_bulk
{"index":{}}
{"my_field":"Apple"}
{"index":{}}
{"my_field":"apple"}
{"index":{}}
{"my_field":"banana"}
{"index":{}}
{"my_field":"bananA"}
{"index":{}}
{"my_field":"Carrot"}

需要注意的是,使用标准化器会改变索引中的值。 如果你想保留原始值,例如带有大写 “A” 的 “Apple”,你可以使用子字段(sub-fields)。 这允许你保留原始字段值和标准化字段值。 在聚合结果中,Elasticsearch 将仅显示你在聚合中使用的字段

不幸的是,Elasticsearch 不支持直接在术语聚合中进行不区分大小写的排序。 即使使用脚本聚合和标准化器,也不可能以不区分大小写的方式排序并区分大小写地显示结果。 这是用户在使用 Elasticsearch 时应该注意的限制。

如何向现有索引添加标准化器?

让我们看一下在 Elasticsearch 中向现有索引添加规范器的过程的实际示例。 此过程涉及几个步骤:关闭索引、更新设置、重新打开索引、更新映射、更新数据索引,最后运行查询。

首先,你需要使用以下命令关闭索引:

POST test_casing/_close

接下来,你更新索引的设置以添加标准化器。 在本例中,我们添加一个应用小写过滤器的自定义规范化器:

PUT test_casing/_settings
{
  "analysis": {
    "normalizer": {
      "my_normalizer": {
        "type": "custom",
        "filter": [
          "lowercase"
        ]
      }
    }
  }
}

更新设置后,你可以重新打开索引:

POST test_casing/_open

现在,你需要更新索引的映射以使用规范器。 在这里,我们向 “my_field” 添加一个使用标准化器的子字段:

PUT test_casing/_mapping
{
  "properties": {
    "my_field": {
      "type": "text",
      "fields": {
        "normalized": {
          "type": "keyword",
          "normalizer": "my_normalizer"
        }
      }
    }
  }
}

请注意,my_field.normalized 是字段名称。

接下来,你可以通过运行 update_by_query 来更新数据索引,这将在 my_field.normalized 字段内添加数据:

POST test_casing/_update_by_query

最后,你可以对索引运行搜索查询。 在本例中,我们在新的标准化字段上运行聚合:

GET /test_casing/_search
{
  "size": 0,
  "aggs": {
    "my_terms": {
      "terms": {
        "field": "my_field.normalized"
      }
    }
  }
}

此过程演示了如何将规范器添加到 Elasticsearch 中的现有索引,从而使你能够更灵活地处理区分大小写的问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/209434.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

MySQL之性能分析和系统调优

MySQL之性能分析和系统调优 性能分析 查看执行计划 EXPLAIN EXPLAIN作为MySQL的性能分析神器,可以用来分析SQL执行计划,需要理解分析结果可以帮助我们优化SQL explain select … from … [where ...]TABLE 表名 查询的每一行记录都对于着一张表 id 该…

【数据结构】最短路径(Dijskra算法)

一.引例 计算机网络传输的问题: 怎样找到一种最经济的方式,从一台计算机向网上所有其他计算机发送一条消息。 抽象为: 给定带权有向图G(V,E)和源点v,求从v到G中其余各顶点的最短路径。 即&…

优化问题,详解静态优化

优化问题,尤其静态优化问题,在控制系统设计中随处可见,例如基于燃油经济性和驾驶体验的多目标优化的汽车发动机 MAP 标定,基于性能指标优化的飞行器结构设计参数优化,以实验数据与模型输出匹配为目标的电池 RC 等效电路…

[WP] ISCTF2023 Web 部分题解

圣杯战争!!! 反序列化伪协议读取 where_is_the_flag 环境变量根目录当前目录 绕进你的心里 利用正则最大回溯绕过 easy_website or select 用双写绕过 空格用/**/绕,报错注入 wafr codesystem(ca\t /f*) webinclude 扫描得到index.bak备份文件打开为加密的代码 写…

Linux Spug自动化运维平台本地部署与公网远程访问

文章目录 前言1. Docker安装Spug2 . 本地访问测试3. Linux 安装cpolar4. 配置Spug公网访问地址5. 公网远程访问Spug管理界面6. 固定Spug公网地址 前言 Spug 面向中小型企业设计的轻量级无 Agent 的自动化运维平台,整合了主机管理、主机批量执行、主机在线终端、文件…

SAP_ABAP_编程基础_数据集_创建并填充摘录数据集 / 处理摘录数据集

SAP ABAP 顾问(开发工程师)能力模型_Terry谈企业数字化的博客-CSDN博客文章浏览阅读494次。目标:基于对SAP abap 顾问能力模型的梳理,给一年左右经验的abaper 快速成长为三年经验提供超级燃料!https://blog.csdn.net/j…

【U8+】用友U8修改凭证提示:外部凭证在总账系统中不能修改。

【问题描述】 用友U8中,在总账模块中修改凭证的时候,提示: 外部凭证在总账系统中不能修改。 【原因分析】 在软件中,使用其他模块的情况下, 其他模块生成的凭证都会传到总账模块中,进而这些由其他模块生成…

uniapp设置手机通知权限以及uniapp-push2.0推送

unipush2.0代码 export default function () {// 调用获取用户通知权限setPermissions()// 获取客户端唯一的推送标识,可用于测试uni.getPushClientId({success: (res) > {console.log(res.cid)},fail(err) {console.log(err)}})// 监听推送uni.onPushMessage(r…

windows ssh时出现Bad local forwarding specification的解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

TA-Lib学习研究笔记——Cycle Indicators (七)

TA-Lib学习研究笔记——Cycle Indicators (七) Cycle Indicators 周期指标函数组有HT_DCPERIOD, HT_DCPHASE, HT_PHASOR, HT_SINE, HT_TRENDMODE 。 1.HT_DCPERIOD Hilbert Transform - Dominant Cycle Period 函数名:HT_DCPERIOD 名称&am…

Hertz 整合swagger

文章目录 Swagger安装使用用法项目demoSwagger注释用法通用API信息 swag命令行参数swagger路由配置 Swagger 安装 go get 安装可执行文件需要配合 GOPATH 模式工作。 go get github.com/swaggo/swag/cmd/swag 因为从 Go 1.17 开始,在 go mod 模式下通过 go get 下…

【Web】NISACTF 2022 个人复现

目录 ①easyssrf ②babyupload ③ level-up ④bingdundun~ 明天就新生赛了,练套题保持下手感吧 (文章只选取了一部分) ①easyssrf 输入/flag 输入file:///fl4g 访问/ha1x1ux1u.php ?filephp://filter/convert.base64-encode/resource/…

uni-app 微信小程序之自定义中间圆形tabbar

文章目录 1. 自定义tabbar效果2. pages新建tabbar页面3. tabbar 页面结构4. tabbar 页面完整代码 1. 自定义tabbar效果 2. pages新建tabbar页面 首先在 pages.json 文件中,新建一个 tabbar 页面 "pages": [ //pages数组中第一项表示应用启动页&#xff…

【小布_ORACLE笔记】Part11-6 RMAN Backups

【小布_ORACLE笔记】Part11-6 RMAN Backups 1.track文件的作用 当做差异性备份时,server process对应的RMAN客户端的server process就不用去每个块每个块的检查,只要到trackfile 里面去读一下,看哪个块改变了就直接把哪个块备份下来&#x…

Java研学-IO流(三)

六 字节流 – 字节输出流系列 OutPutStream体系 1 OutPutStream系列 – 字节输出流 // 表示字节输出流所有类的超类,输出流接受输出字节并将其发送到某个接收器 public abstract class OutputStreamFileOutputStream/BufferedOutputStream 2 FileOutputStream类设…

python 实现链表

链表基础知识 链表是在物理内存中不连续,数据通过链表中的指针来链接到下一个元素。 链表由一系列节点组成,节点在运行时动态生成,节点一般包括两个部分:存储数据的数据域,存储下一个节点的指针域 链表的常用操作&a…

<JavaEE> 什么是线程安全?产生线程不安全的原因和处理方式

目录 一、线程安全的概念 二、线程不安全经典示例 三、线程不安全的原因和处理方式 3.1 线程的随机调度和抢占式执行 3.2 修改共享数据 3.3 关键代码或指令不是“原子”的 3.4 内存可见性和指令重排序 四、Java标准库自带的线程安全类 一、线程安全的概念 线程安全是指…

抑郁症由什么引起?

抑郁症的发生并不是单一原因所导致,而是多种因素相互作用的结果。以下是一些主要的原因: 首先,生物学因素在抑郁症的发病中起到了关键作用。研究显示,抑郁症可能与遗传有关,家族中有患抑郁症的成员会增加个体患病的风…

Android studio Load error:undefined path variables

android stuido 报错 Load error:undefined path variables Gson is undefined 处理方法: 点击进行Sync Project with Gradle Files

了解 ignore_above 参数对 Elasticsearch 中磁盘使用的影响

在 Elasticsearch 中,ignore_above 参数允许你忽略(而不是索引)长于指定长度的字符串。 这对于限制字段的大小以避免性能问题很有用。 在本文中,我们将探讨 “ignore_above” 参数如何影响 Elasticsearch 中字段的大小&#xff0c…
最新文章