Elasticsearch查询及聚合类DSL语句宝典

作者:京东科技 纪海雨

前言

随着使用es场景的增多,工作当中避免不了去使用es进行数据的存储,在数据存储到es当中以后就需要使用DSL语句进行数据的查询、聚合等操作,DSL对SE的意义就像SQL对MySQL一样,学会如何编写查询语句决定了后期是否能完全驾驭ES,所以至关重要,本专题主要是分享常用的DSL语句,拿来即用。

一、match

如果match 查询数字,日期,布尔值或者not_analyzed 的字符串时,会精确匹配搜索值,不做分词解析;如果match 查询全文本,会对查询词做分词解析,然后搜索。

比如对keyword 类型的tag 查询,"京东总部"不会分词,必须完全相等的词才会被搜索出来

{a
  "query": {
    "match": {
        "content" : {
            "tag" : "京东总部"
        }
    }
  }
}

比如"宝马多少马力"会被分词为"宝马 多少 马力", 所有有关"宝马 多少 马力", 那么所有包含这三个词中的一个或多个的文档就会被搜索出来。并且根据lucene的评分机制(TF/IDF)来进行评分

{
  "query": {
    "match": {
        "content" : {
            "query" : "宝马多少马力"
        }
    }
  }
}

二、match_phrase

如果想要精确匹配所有同时包含"宝马 多少 马力"的文档,就要使用 match_phrase 了

{
  "query": {
    "match_phrase": {
        "content" : {
            "query" : "宝马多少马力"
        }
    }
  }
}

三、mult_match

如果我们希望两个字段进行匹配,其中一个字段有这个文档就满足的话,使用multi_match

{
  "query": {
    "multi_match": {
        "query" : "我的宝马多少马力",
        "fields" : ["title", "content"]
    }
  }
}

四、term

关键字精确匹配,不分词解析。注意 term 包含(contains) 操作,而非 等值(equals)判断。如果文档包含full_text 及其他词,也会命中返回。

使用term要确定的是这个字段是否“被分析”(analyzed),默认的字符串是被分析的。

比如下面的例子,其中的full_text是被分析过的,所以full_text的索引中存的就是[quick, foxes],而extra_value中存的是[Quick Foxes!]

PUT my_index
{
  "mappings": {
    "my_type": {
      "properties": {
        "full_text": {
          "type":  "string"
        },
        "exact_value": {
          "type":  "string",
          "index": "not_analyzed"
        }
      }
    }
  }
}

PUT my_index/my_type/1
{
  "full_text":   "Quick Foxes!",
  "exact_value": "Quick Foxes!"  
}

请求不出数据的,因为full_text分词后的结果中没有[Quick Foxes!]这个分词

GET my_index/my_type/_search
{
  "query": {
    "term": {
      "full_text": "Quick Foxes!"
    }
  }
}

五、terms

指定多值精确匹配,如果字段包含了指定值中的任何一个值,那么文档满足条件。类似sql中的in

{
    "terms": {
        "tag": [
            "search",
            "full_text",
            "nosql"
        ]
    }
}

六、range

数字/时间的区间查询,操作符:

gt > greater than

gte >=

lt < litter than

lte <=

{
  "query":{
    "range": {
        "age": {
            "gte":  20,
            "lt":   30
        }
    }
  }
}

七、wildcard

通配符索引。* 表示全匹配,? 表示单一匹配。扫描所有倒排索引,性能较差

{ 
  "query": { 
    "wildcard": { 
      "companyName": "*京东*" 
    } 
  } 
}

八、regexp

正则索引。扫描所有倒排索引,性能较差

{ 
    "query": { 
        "regexp": { 
            "postcode": "W[0-9].+" 
        } 
    } 
}

九、组合多查询(bool查询)

bool 查询后面可以跟这四种匹配模式

•must 必须匹配

•must_not 必须不匹配

•should 匹配任意,等价or

•filter 必须匹配:过滤模式

比如我们想要请求"content 中带宝马,但是tag 中不带宝马"这样类似的需求,就需要用到bool 联合查询。

{
    "query":{
        "bool":{
            "must":{
                "term":{
                    "content":"宝马"
                }
            },
            "must_not":{
                "term":{
                    "tags":"宝马"
                }
            }
        }
    }
}

十、聚合

聚合包含一下两种:

1、 指标聚合(Metric Aggregation):一些数学运算,可以对文档字段进行统计分析

•输出一个值

▪min

▪max

▪sum

▪avg

▪ value_count 统计某字段有值的文档数

▪ cardinality 某字段值去重计数

•输出多个值

▪stats

▪percentiles

▪percentile_ranks

2、桶聚合(Bucket Aggregation) :一些列满足特定条件的文档的集合,相当于sql 的groupby

•terms 对某个字段统计每个不同的内容,以及出现文档的个数

•range 某个范围内文档的个数

默认聚合范围是全文,但是如果有query查询,那么聚合的范围就是query查询的结果。

value_count 统计某字段有值的文档数

{
  "size": 0, 
  "aggs": {
    "count": {
      "value_count": {
        "field": "companyName"
      }
    }
  }
}

指定查询语句进行统计

{
  "query": {
    "term": {
      "companyName": "安徽科达智慧能源科技有限公司"
    }
  },
  "aggs": {
    "count": {   //自定义名称
      "terms": {
        "field": "companyName"
      }
    }
  }
}

以上就是本期分享的DSL语句,小伙伴们结合自己的使用查询场景进行操练起来吧。

0 条评论
请不要发布违法违规有害信息,如发现请及时举报或反馈
还没有人评论呢,速度抢占沙发!
相关文章
  • 日期作者版本备注2022-10-03dingbinthu@163.comv1.0 本文讲述在centos 7操作系统上从无到有实现IDEA+Kibana+elasticsearch本地调试el...

  • # 1、背景我们知道在sql中是可以实现 group by 字段a,字段b,那么这种效果在elasticsearch中该如何实现呢?此处我们记录在elasticsearch中的3种方式来实现这个效果。...

  • 1.概述 es(elasticsearch,下同)的选举流程相对来说比较简单,使用的bully算法,简而言之,就是谁强谁就是老大,待会儿看下怎么判定谁更强。 2.选主流程 在启动篇中我们讲解了节点启动...

  • 一 原理知识 Bool查询包括四种子句: must filter should must_not 1.must文档 必须 匹配这些条件才能被包含进来。相当于sql中的 and 2.must_not...

  • 1.概述 上文我们讨论了es(elasticsearch,下同)索引流程,本文讨论es查询流程,以下是基本流程图 2.查询流程 为了方便调试代码,笔者在电脑上启动了了两个节点,创建了一个索引如下,该...

  • 1、背景 在我们使用es的开发过程中可能会遇到这么一种情况,比如我们的线路名称字段lineName字段在设置mapping的时候使用的是text类型,但是后期发现需要使用这个字段来进行聚合操作,那么我...

  • Elasticsearch 对外提供了一个 _tasks 接口,用于获取当前各个节点正在执行的任务,这里要避免和 pending_tasks 搞混,后者是用于获取在 master leader 节点排...

  • 1.概览 前面我们讨论了es是如何启动,本文研究下es是如何索引文档的。 下面是启动流程图,我们按照流程图的顺序依次描述。     其中主要类的关系如下:     2. 索引流程 我们用post...

  • 一、search template简介 elasticsearch提供了search template功能,其会在实际执行查询之前,对search template进行预处理并将参数填充到templa...

  • 本文是《Elasticsearch索引生命周期管理ILM》中数据流索引补充篇,文章地址如下:https://mp.weixin.qq.com/s/aj...并且在另一片Elasticsearch的进阶...

  • 1. 简介 直方图聚合是一种基于多桶值聚合,可从文档中提取的数值或数值范围值来进行聚合。它可以对参与聚合的值来动态的生成固定大小的桶。 2. bucket_key如何计算 假设我们有一个值是32,并且...

  • Elasticsearch在生产环境中有广泛的应用,本文介绍一种方法,基于网易数帆开源的Curve文件存储,实现Elasticsearch存储成本、性能、容量和运维方面的显著提升。 ES 使用 Cu...

  • 在阅读源码之前,我们先来看看整个项目的结构:(同(一)elasticsearch 编译和启动,我们使用版本7.4.0作为示例) .ci,持续集成配置 .github, 里面有 PULL_REQUES...

  • 写在前面 在按照下面步骤操作之前,请先确保服务器已经部署k8s,prometheus以及prometheus operator,关于这些环境的部署,可以自行查找相关资料安装部署,本文档便不在此赘述。 ...

  • 1 前言ElasticSearch是一个实时的分布式搜索与分析引擎,常用于大量非结构化数据的存储和快速检索场景,具有很强的扩展性。纵使其有诸多优点,在搜索领域远超关系型数据库,但依然存在与关系型数据库...

  • 作者:Hai Xiang 来源:https://www.cnblogs.com/haixiang/p/12867160.html 什么是elasticsearch Elasticsearch 是一个...

  • 作者:崔雄华1 Elasticsearch Head是什么ElasticSearch head就是一款能连接ElasticSearch搜索引擎,并提供可视化的操作页面对ElasticSearch搜索引...

  • 1. 背景此处简单记录一下bucket聚合下的terms聚合。记录一下terms聚合的各种用法,以及各种注意事项,防止以后忘记。2. 前置条件2.1 创建索引PUT /index_person { ...

  • 一、exists查询简介 elastic search提供了exists查询,用以返回字段存在值的记录,默认情况下只有字段的值为null或者[]的时候,elasticsearch才会认为字段不存在; ...

  • ES分布式搜索引擎 注意: 在没有创建库的时候搜索,ES会创建一个库并自动创建该字段并且设置为String类型也就是text 什么是elasticsearch? 一个开源的分布式搜索引擎,可以用...