👨🎓作者简介:一位大四、研0学生,正在努力准备大四暑假的实习
🌌上期文章:详解SpringCloud微服务技术栈:ElasticSearch实战(旅游类项目)
📚订阅专栏:微服务技术全家桶
希望文章对你们有所帮助
在之前已经了解了ElasticSearch的基本用法(DSL语句以及RestClient实现),并利用ElasticSearch做了一个旅游类项目加以巩固,现在要进行ElasticSearch更深入的内容,内容包括:
数据聚合:来对海量数据做统计和分析,结合kibana还能形成可视化的图形报表
自动补全:根据用户输入的部分关键字信息去补全关键字
数据同步:先分析MySQL与ElasticSearch的双写一致性问题,并给出对应的解决方案
集群:ES的集群和集群中不同角色的作用,并且搭建一个企业级的高可用的集群
深入ElasticSearch——数据聚合
- 数据聚合
- 聚合分类
- DSL实现Bucket聚合
- DSL实现Metrics聚合
- RestClient实现聚合
- 多条件聚合
- 带过滤条件的聚合
数据聚合
聚合分类
聚合可以实现对文档数据的统计、分析和运算。常见聚合有3类:
DSL实现Bucket聚合
现在要统计所有数据中的酒店品牌有几种,此时可以根据酒店品牌的名称做聚合。
MySQL里面直接用group by,而这里需要用Bucket聚合,具体来说是用的term聚合:
# 对价格小于200的做聚合,也可以不限定聚合的范围(不写query)
GET /hotel/_search
{
"query": {
"range": {
"price": {
"lte": 200
}
}
},
"size": 0, # 设置size=0,表示结果中不包含文档,只包含聚合结果
"aggs": { # 定义聚合
"brandAgg": { # 给聚合起个名字
"terms": { # 聚合的类型,按照品牌,因此选择term
"field": "brand", # 参与聚合的字段
"size": 20 # 希望获取的聚合结果的数量,默认10
}
}
}
}
DSL实现Metrics聚合
获取每个品牌的用户评分的min、max、avg等值,因此要做聚合的嵌套,在每个bucket中做计算:
GET /hotel/_search
{
"size": 0,
"aggs": {
"brandAgg": {
"terms": {
"field": "brand",
"size": 20,
"order": { # 做排序,需要指定排序的字段
"scoreAgg.avg": "desc"
}
},
"aggs": { # 品牌聚合的自聚合,对每组分别做计算
"scoreAgg": { # 聚合名称
"stats": { # 聚合类型,stats可以计算min、max、avg
"field": "score" # 聚合字段
}
}
}
}
}
}
RestClient实现聚合
依然是通过DSL语句来写java语句:
编写测试类:
@Test
void testAggregation() throws IOException {
//1.准备request
SearchRequest request = new SearchRequest("hotel");
//2.准备DSL
//2.1 设置size,不需要查看文档,只要看聚合结果
request.source().size(0);
//2.1 聚合
request.source().aggregation(AggregationBuilders
.terms("brandAgg") //聚合名称"brandAgg",类型terms
.field("brand") //参与聚合的字段
.size(10)
);
//3.发出请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
//打印即可查看输出的结构,对照结构来做逐层做解析
//System.out.println("response = " + response);
//4.解析结果
//4.1 获取聚合信息
Aggregations aggregations = response.getAggregations();
//4.2根据聚合名称获取聚合结果(之前是term类型这里返回的也是term类型)
Terms brandTerms = aggregations.get("brandAgg");
//4.3获取buckets
List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
//4.4遍历buckets,取出每一个桶(分类)
for (Terms.Bucket bucket : buckets) {
String key = bucket.getKeyAsString();
System.out.println("key = " + key);
}
}
多条件聚合
在IUserService接口中定义方法,实现对品牌、城市、星级的聚合(搜索页面的品牌、城市等信息不应该是在页面中写死的,而是通过聚合索引库中的酒店数据得来的)。
例如,我限定了价格的range为100-300,如果杭州不包含这样价位的酒店,那么导航栏上面的城市信息直接就不应该有杭州两个字
IUserService中声明方法:
/**
* 查询城市、星级、品牌的聚合效果
* @return 聚合结果,格式:{"城市": {"上海", "北京"}, "品牌": {"如家", "希尔顿"}}
*/
Map<String, List<String>> filters();
UserService实现方法体:
@Override
public Map<String, List<String>> filters() {
try {
//1.准备request
SearchRequest request = new SearchRequest("hotel");
//2.准备DSL
//2.1设置size
request.source().size(0);
//2.2设置聚合
buildAggregation(request);
//3.发出请求
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
//4.解析响应
Map<String, List<String>> result = new HashMap<>(); //存放解析后的结果
Aggregations aggregations = response.getAggregations();
result.put("brand", getAggByName(aggregations, "brandAgg"));
result.put("city", getAggByName(aggregations, "cityAgg"));
result.put("starName", getAggByName(aggregations, "starAgg"));
return result;
} catch (IOException e) {
throw new RuntimeException(e);
}
}
private List<String> getAggByName(Aggregations aggregations, String aggName) {
List<String> list = new ArrayList<>(); //存放每个桶的value
Terms brandTerms = aggregations.get(aggName); //这里返回值不要默认,自行设置为Terms类型的
List<? extends Terms.Bucket> buckets = brandTerms.getBuckets();
for (Terms.Bucket bucket : buckets) {
String key = bucket.getKeyAsString();
list.add(key);
}
return list;
}
private void buildAggregation(SearchRequest request) {
request.source().aggregation(AggregationBuilders
.terms("brandAgg")
.field("brand")
.size(100)
);
request.source().aggregation(AggregationBuilders
.terms("cityAgg")
.field("city")
.size(100)
);
request.source().aggregation(AggregationBuilders
.terms("starAgg")
.field("starName")
.size(100)
);
}
可以在测试类中注入IUserService,调用方法查看运行结果:
@Resource
private IHotelService hotelService;
@Test
void contextLoads() {
Map<String, List<String>> filters = hotelService.filters();
System.out.println("filters = " + filters);
}
带过滤条件的聚合
聚合已经完成,但是聚合的结果还没有返回到前端,实际上前端页面会向服务端发起请求,查询品牌、城市、星级等字段的聚合结果,我们应当渲染完返还给前端。
查看前端的请求:
可以看到请求的参数和之前的list里面的是一样,这是因为需要限定一下范围,比如限定了城市为北京,搜索条件为“如家”,那么应该对北京的、名字带“如家”的酒店去做聚合,而不是所有的酒店,这样会大大提高效率。
1、编写controller接口,接受该请求
@PostMapping("/filters")
public Map<String, List<String>> getFilters(@RequestBody RequestParams params){
return hotelService.filters(params);
}
2、修改IUserService#getFilter()方法,添加RequestParam参数
Map<String, List<String>> filters(RequestParams params);
3、修改getFilters方法的业务,聚合时添加query条件
至此,数据聚合的实现已经完成。