数据聚合
1、数据聚合
聚合（aggregations）可以让我们极其方便的实现对数据的统计、分析、运算。例如：
@H_502_9@什么品牌的手机最受欢迎？
这些手机的平均价格、最高价格、最低价格？
这些手机每月的销售情况如何？
2、聚合的种类
聚合常见的有三类：
@H_502_9@桶（Bucket）聚合：用来对文档做分组
@H_502_9@TermAggregation：按照文档字段值分组，例如按照品牌值分组、按照国家分组
Date Histogram：按照日期阶梯分组，例如一周为一组，或者一月为一组
度量（Metric）聚合：用以计算一些值，比如：最大值、最小值、平均值等
@H_502_9@Avg：求平均值
Max：求最大值
Min：求最小值
Stats：同时求max、min、avg、sum等
管道（pipeline）聚合：其它聚合的结果为基础做聚合
注意：参加聚合的字段必须是keyword、日期、数值、布尔类型
3、DSL实现聚合
一、Bucket聚合语法
语法如下：
GET /hotel/_search { "size": 0, // 设置size为0，结果中不包含文档，只包含聚合结果 "aggs": { // 定义聚合 "brandAgg": { //给聚合起个名字 "terms": { // 聚合的类型，按照品牌值聚合，所以选择term "field": "brand", // 参与聚合的字段 "size": 20 // 希望获取的聚合结果数量 } } } }结果：
二、聚合排序
默认情况下，Bucket聚合会统计Bucket内的文档数量，记为count，并且按照count降序排序。
GET /hotel/_search { "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "order": { "_count": "asc" // 按照_count升序排列 }, "size": 20 } } } }三、限定聚合范围
默认情况下，Bucket聚合是对索引库的所有文档做聚合，但真实场景下，用户会输入搜索条件，因此聚合必须是对搜索结果聚合。那么聚合必须添加限定条件。
我们可以限定要聚合的文档范围，只要添加query条件即可：
GET /hotel/_search { "query": { "range": { "price": { "lte": 200 // 只对200元以下的文档聚合 } } }, "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "size": 20 } } } }四、Metric聚合
GET /hotel/_search { "size": 0, "aggs": { "brandAgg": { "terms": { "field": "brand", "size": 20 }, "aggs": { // 是brands聚合的子聚合，也就是分组后对每组分别计算 "score_stats": { // 聚合名称 "stats": { // 聚合类型，这里stats可以计算min、max、avg等 "field": "score" // 聚合字段，这里是score } } } } } }结果：
4、总结
aggs代表聚合，与query同级，此时query的作用是？
@H_502_9@限定聚合的的文档范围
聚合必须的三要素：
@H_502_9@聚合名称
聚合类型
聚合字段
聚合可配置属性有：
@H_502_9@size：指定聚合结果数量
order：指定聚合结果排序方式
field：指定聚合字段
4、RestAPI实现聚合
聚合条件与query条件同级别，因此需要使用request.source()来指定聚合条件。
聚合条件的语法：
聚合的结果也与查询结果不同，API也比较特殊。不过同样是JSON逐层解析：
测试代码：
@Test public void terms() throws IOException { // 1 构建查询请求 SearchRequest request = new SearchRequest("hotel"); // 2 构造DSL request.source().size(0); request.source().aggregation(AggregationBuilders .terms("brandAggs") .field("brand") .size(10) ); // 3 发起查询，获取响应 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4 解析响应 Aggregations aggregations = response.getAggregations(); Terms terms = aggregations.get("brandAggs"); List<? extends Terms.Bucket> buckets = terms.getBuckets(); for (Terms.Bucket bucket : buckets) { System.out.println(bucket.getKeyAsstring()+"-"+bucket.getDocCount()); } }
自动补全
1、拼音分词器
拼音分词器下载路径：https://www.aliyundrive.com/s/cQ8BsrS13nN
测试：
POST /_analyze { "text": "如家酒店还不错", "analyzer": "pinyin" }
2、自定义分词器
默认的拼音分词器会将每个汉字单独分为拼音，而我们希望的是每个词条形成一组拼音，需要对拼音分词器做个性化定制，形成自定义分词器。
elasticsearch中分词器（analyzer）的组成包含三部分：
@H_502_9@tokenizer：将文本按照一定的规则切割成词条（term）。例如keyword，就是不分词；还有ik_smart
tokenizer filter：将tokenizer输出的词条做进一步处理。例如大小写转换、同义词处理、拼音处理等
文档分词时会依次由这三部分来处理文档：
声明自定义分词器的语法如下：
PUT /test { "settings": { "analysis": { "analyzer": { // 自定义分词器 "my_analyzer": { // 分词器名称 "tokenizer": "ik_max_word", "filter": "py" } }, "filter": { // 自定义tokenizer filter "py": { // 过滤器名称 "type": "pinyin", // 过滤器类型，这里是pinyin "keep_full_pinyin": false, "keep_joined_full_pinyin": true, "keep_original": true, "limit_first_letter_length": 16, "remove_duplicated_term": true, "none_chinese_pinyin_tokenize": false } } } }, "mappings": { "properties": { "name": { "type": "text", "analyzer": "my_analyzer", "search_analyzer": "ik_smart" } } } }测试：
总结：
如何使用拼音分词器？
@H_502_9@①下载pinyin分词器
②解压并放到elasticsearch的plugin目录
③重启即可
如何自定义分词器？
@H_502_9@①创建索引库时，在settings中配置，可以包含三部分
②character filter
③tokenizer
④filter
拼音分词器注意事项？
@H_502_9@
3、自动补全查询
elasticsearch提供了Completion Suggester查询来实现自动补全功能。这个查询会匹配以用户输入内容开头的词条并返回。为了提高补全查询的效率，对于文档中字段的类型有一些约束：
@H_502_9@参与补全查询的字段必须是completion类型。
字段的内容一般是用来补全的多个词条形成的数组。
比如，一个这样的索引库：
// 创建索引库 PUT test { "mappings": { "properties": { "title":{ "type": "completion" } } } }然后插入下面的数据：
// 示例数据 POST test/_doc { "title": ["Sony", "WH-1000XM3"] } POST test/_doc { "title": ["SK-II", "PItera"] } POST test/_doc { "title": ["Nintendo", "switch"] }查询的DSL语句如下：
// 自动补全查询 GET /test/_search { "suggest": { "title_suggest": { "text": "s", // 关键字 "completion": { "field": "title", // 补全查询的字段 "skip_duplicates": true, // 跳过重复的 "size": 10 // 获取前10条结果 } } } }
4、自动补全的JavaAPI
之前我们学习了自动补全查询的DSL，而没有学习对应的JavaAPI，这里给出一个示例：
数据同步
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
