一、前言
之前的学习我们已经了解了搜索的辅助功能,从这一章开始就是ES真正核心的功能,搜索。针对不同的数据类型,ES提供了很多搜索匹配功能:既有进行完全匹配的term搜索,也有按照范围匹配的range搜索;既有进行分词匹配的match搜索,也有按照前缀匹配的suggesr搜索。我们同样也会通过在kibana上进行DSL的搜索示例,也会给出java客户端的使用代码。本节我们将介绍两个场景:查询所有文档和term级别的查询。
二、查询所有文档
在关系型数据库中,当需要查询所有文档的数据时,对应的SQL语句为select * from table_name
.在ES中是否有类似的功能呢?答案是肯定的,使用ES的match_all查询可以完成类似的功能。使用match_all查询文档时,ES不对文档进行打分计算,默认情况下给每个文档赋予1.0的得分。用户可以通过boost参数设定该分值。以下示例使用match_all查询所有文档,并设定所有文档分值为2.0:
GET /hotel/_search
{
"_source": ["title","city"], //只返回title和city字段
"query": {
"match_all": { //查询所有文档
"boost": 2 //设定所有文档的分值为2.0
}
}
}
ES返回的数据如下:
{
...
"hits" : {
"total" : {
"value" : 6, //命中6个文档
"relation" : "eq"
},
"max_score" : 2.0,
"hits" : [
{
"_index" : "hotel",
"_type" : "_doc",
"_id" : "001",
"_score" : 2.0, //最高分为2.0
"_source" : { //命中的文档集合
"city" : "北京",
"title" : "文雅酒店"
}
},
{
"_index" : "hotel",
"_type" : "_doc",
"_id" : "002",
"_score" : 2.0,
"_source" : {
"city" : "北京",
"title" : "京盛酒店"
}
},
...
]
}
}
通过返回的数据集可以看到,ES返回所有的文档,并且所有文档的得分都为2.0
在Java客户端进行查询时,可以调用QueryBuilders.matchAllQuery()
方法新建一个match_all查询,并且通过boost()
方法设置boost值。构建完term查询后,调用searchSourceBuilder.query()
方法设置查询条件。
为方便演示,下面定义一个打印搜索结果的方法,该方法接收一个SearchRequest实例并将搜索结果设置查询条件。
由于我们的获取结果那一块儿,后面都是共同的,所以我们可以将这块儿代码独立出来:
private List<Hotel> getQueryResult(SearchRequest searchRequest) throws IOException {
ArrayList<Hotel> resultList = new ArrayList<>();
SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT);
RestStatus status = searchResponse.status();
if (status != RestStatus.OK) {
return Collections.emptyList();
}
SearchHits searchHits = searchResponse.getHits();
for (SearchHit searchHit : searchHits) {
Hotel hotelResult = new Hotel();
hotelResult.setId(searchHit.getId()); //文档_id
hotelResult.setIndex(searchHit.getIndex()); //索引名称
hotelResult.setScore(searchHit.getScore()); //文档得分
//转换为Map
Map<String, Object> dataMap = searchHit.getSourceAsMap();
hotelResult.setTitle((String) dataMap.get("title"));
hotelResult.setCity((String) dataMap.get("city"));
String price = (String) dataMap.get("price");
if (StrUtil.isNotBlank(price)) {
hotelResult.setPrice(Double.valueOf(price));
}
resultList.add(hotelResult);
}
return resultList;
}
然后我们可以在service层使用match_all查询:
public List<Hotel> matchAllQuery(HotelDocRequest hotelDocRequest) throws IOException {
String indexName = hotelDocRequest.getIndexName();
if (CharSequenceUtil.isBlank(indexName)) {
throw new SearchException("索引名不能为空");
}
//新建搜索请求
SearchRequest searchRequest = new SearchRequest(indexName);
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//这里我直接New MatchAllQueryBuilder,不过更推荐QueryBuilders.matchAllQuery().boost(2.0f)
//新建match_all查询,并设置boost值为2.0
searchSourceBuilder.query(new MatchAllQueryBuilder().boost(2.0f));
searchRequest.source(searchSourceBuilder);
return getQueryResult(searchRequest);
}
在controller层调用service:
@PostMapping("/query/match_all")
public FoundationResponse<List<Hotel>> matchAllQuery(@RequestBody HotelDocRequest hotelDocRequest) {
try {
List<Hotel> hotelList = esQueryService.matchAllQuery(hotelDocRequest);
if (CollUtil.isNotEmpty(hotelList)) {
return FoundationResponse.success(hotelList);
} else {
return FoundationResponse.error(100,"no data");
}
} catch (IOException e) {
log.warn("搜索发生异常,原因为:{}", e.getMessage());
return FoundationResponse.error(100, e.getMessage());
} catch (Exception e) {
log.error("服务发生异常,原因为:{}", e.getMessage());
return FoundationResponse.error(100, e.getMessage());
}
}
postman调用该接口:
三、term级别查询
3.1、term查询
term查询是结构化精准查询的主要查询方式,用于查询待查字段和查询值是否完全匹配,其请求形式如下:
GET /hotel/_search
{
"query": {
"term": {
"${FIELD}": { //搜索字段名称
"value": "${VALUE}" //搜索值
}
}
}
}
其中,FIELD和VALUE分别代表字段名称和查询值,FIELD的数据类型可以是数值型,布尔型、日期型、数组型及关键字等。
例如,下面的例子是查找city为北京的酒店,DDL如下:
GET /hotel/_search
{
"_source": ["title","city"], //希望返回的结果字段
"from": 0, //分页
"size": 10001,
"query": {
"term": {
"city": { //搜索字段是city,字段类型为keyword
"value": "北京"
}
}
}
}
返回结果如下:
对于日期型的字段查询,需要按照该字段在mappings中定义的格式进行查询。如果格式不对,那么请求将报错:
例如我这边create_time的格式是yyyy-MM-dd HH:mm:ss
如果我拿其他格式进行请求:
GET /hotel/_search
{
"_source": ["title","city"],
"query": {
"term": {
"create_time": {
"value": "20230121142456"
}
}
}
}
会发现报错
在java客户端中进行查询时,可以调用QueryBuilders.termQuery()
方法新建一个term查询,可以传入boolean、double、float、int、long和String等类型的参数,但是没有日期类型的参数,如下图所示:
那么如何构建日期类型的term查询呢?可以使用日期格式字符串类型的term查询来解决。以下为使用日期类型的字符串参数构建的term查询:我们传参一般是date类型,这个时候我们将传过来的fate类型通过simpleDateFormat对传参的date进行转化,即可顺利进行查询。
public List<Hotel> getCityByCreateTime(HotelDocRequest hotelDocRequest) throws IOException {
String indexName = hotelDocRequest.getIndexName();
if (CharSequenceUtil.isBlank(indexName)) {
throw new SearchException("索引名不能为空");
}
Hotel hotel = hotelDocRequest.getHotel();
if (ObjectUtil.isEmpty(hotel)) {
throw new SearchException("搜索条件不能为空");
}
SearchRequest searchRequest = new SearchRequest(indexName);
//创建搜索builder
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
//构建query
String createTimeToSearch = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format( hotel.getCreateTime());
searchSourceBuilder.query(QueryBuilders.termQuery("create_time",createTimeToSearch));
//设定希望返回的字段数组
searchRequest.source(searchSourceBuilder); //设置查询
return getQueryResult(searchRequest);
}
以下是postman调用例子
3.2、terms查询
terms查询是term查询的扩展形式,,用于查询一个或多个值与待查字段是否完全匹配,请求形式如下:
GET /hotel/_search
{
"query": {
"terms": {
"FIELD": [
"VALUE1",
"VALUE2"
]
}
}
}
其中,FIEKD代表待查字段名,VALUE1和VALUE2代表多个查询值,FIELD的数据类型可以是数值型,布尔型,日期型,数组型及关键字等。
以下是搜索城市为北京或者上海的酒店示例:
GET /hotel/_search
{
"_source": ["title","city"],
"from": 0,
"size": 10001,
"query": {
"terms": {
"city": [
"北京",
"上海"
]
}
}
}
在java客户端中对应terms查询的类为TermsQuery
,该类的实例通过QueryBuilders.termsQuery()
生成。在QueryBuilders.termsQuery()
方法中,第一个参数为字段名称,第二个参数是一个集合类型,也可以是一个单独类型,当为单独类型时,该参数为可变长度参数。QueryBuilders.termsQuery()
方法列表如下图:
以下是使用java进行terms查询城市为北京或者上海的酒店示例:
Service层,我们接收一个citys数组参数
public List<Hotel> termsQuery(HotelDocRequest hotelDocRequest) throws IOException {
//新建搜索请求
String indexName = hotelDocRequest.getIndexName();
if (CharSequenceUtil.isBlank(indexName)) {
throw new SearchException("索引名不能为空");
}
SearchRequest searchRequest = new SearchRequest(indexName);
SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
List<String> cities = hotelDocRequest.getCities();
searchSourceBuilder.query(QueryBuilders.termsQuery("city", cities));
searchRequest.source(searchSourceBuilder);
return getQueryResult(searchRequest);
}
controller层:
@PostMapping("/query/terms")
public FoundationResponse<List<Hotel>> termsQuery(@RequestBody HotelDocRequest hotelDocRequest) {
try {
List<Hotel> hotelList = esQueryService.termsQuery(hotelDocRequest);
if (CollUtil.isNotEmpty(hotelList)) {
return FoundationResponse.success(hotelList);
} else {
return FoundationResponse.error(100,"no data");
}
} catch (IOException e) {
log.warn("搜索发生异常,原因为:{}", e.getMessage());
return FoundationResponse.error(100, e.getMessage());
} catch (Exception e) {
log.error("服务发生异常,原因为:{}", e.getMessage());
return FoundationResponse.error(100, e.getMessage());
}
}
postman执行,发现搜索成功: