Springboot整合elasticSearch的官方API实例

Java框架

浏览数:216

2019-9-3

AD:资源代下载服务

前言:在上一篇博客中,我介绍了从零开始安装ElasticSearch,es是可以理解为一个操作数据的中间件,可以把它作为数据的存储仓库来对待,它具备强大的吞吐能力和计算能力,其基于Lucene服务器开发,在搜索领域具有统治般的地位。平时可以通过命令来执行语句来查询ES,但是在实际的开发中,还是以使用API居多,关于ES的第三方框架有很多,比如BBOSS、spring也对其进行封装叫做spring-elasticsearch-data,本篇博客,我们就来聚焦Spring的官方API,来做一个基本的demo实现api来操作Es(elasticsearch的简称)

本篇博客的目录

一:ElasticSearch的基本概念

二:ElasticSearch5.2.2的安装

三:ElasticSearch的官方API与Demo实现

四:总结

一:ElasticSearch的基本概念

1.1:索引 index

 索引是ES存储数据的基本顶层单元目录.它好比就是关系型数据库中的数据库,是存储数据的地方。当搜索数据的时候,会直接从索引中查取,注意这里要与关系型数据的中的索引区分,他们是完全不同的概念。index的名字必须是小写,不能包含逗号、下划线或者大写字母

1.2:类型 type

type表示一类或者一种事物的抽象,在关系型数据库中我们经常将一类结构相似的数据放在一个表里,而在elasticsearch中,使用相同类型的type表示相同的一类事物,它相当于关系型数据库中的表(table),用于描述文档中的各个字段的定义。每个type都有自己的映射(mapping)或者结构定义。type的名字可以是大写或者小写,不能包含下划线或者逗号。

1.3:文档 document

document是index中的单条数据序列化成的json格式的数据,它以唯一id(_id)存储在ES中,相当于关系表的数据行,存储数据的载体,包含一个或多个存有数据的字段;

·字段(Field):文档的一个Key/Value对;

·词(Term):表示文本中的一个单词;

·标记(Token):表示在字段中出现的词,由该词的文本、偏移量(开始和结束)以及类型组成

1.4:Node 与 Cluster

Elastic 本质上是一个分布式数据库,允许多台服务器协同工作,每台服务器可以运行多个 Elastic 实例。单个 Elastic 实例称为一个节点(node)。一组节点构成一个集群(cluster)。

1.5:与mysql进行比较

 二:ElasticSearch5.2.2的安装

   上一篇博客已经介绍了ES2.0版本的安装,这篇就不再赘述了。不过我还是决定说一些在安装过程中的坑,安装ES的坑确实很多,楼主分别安装了2.0版本,5.5.2版本,5.2.2版本,还用docker安装了,但是因为docker玩的不够熟练,在配置文件上更改还是出了很多问题,最终还是靠传统的安装方式解决的。接下来就说说ES安装过程中的一些坑以及主要的点:

2.1:cannot allocate memory

这个是因为ES无法获取到足够的内存,解决办法就是,修改elasticseach的config目录下的jvm.options,ES默认的大小是1G,最好修改成2的整数倍的容量,具体依自己的内存而定,我修改的是256m

2.2:Exception in thread “main” java.lang.RuntimeException: don’t run elasticsearch as root.   

无法以root用户启动,ES直接以root用户是无法启动的,解决办法很简单,就是建立一个ES的专用的组和用户:

groupadd elasticsearchgroup
useradd elasticsearchgroup -g elasticsearch -p elasticsearch
chown -R elasticsearchgroup:elasticsearch elasticsearch-5.2.2

这里是先建立了一个elasticsearch的组,然后再添加elasticsearch这个用户,密码也是elasticsearch,再给ES的安装目录添加权限

2.3:ERROR: bootstrap checks failed max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决办法就是修改系统的修改配置sysctl.conf最大文件交换数量:

vi.sysctl.conf
vm.max_map_count=655360
sysctl -p

2.4: org.elasticsearch.client.transport.NoNodeAvailableException

这个错误,是后台在连接APi出现的错误,为了解决这个问题,我花了很久(下面会说到版本号的问题),还有需要更改一下配置:

首先是编辑config目录下的 elasticsearch.yml文件:

这里的host要把#号打开,然后写上自己的外网IP的地址,还有cluster.name的名字也要记住,它在配置ES中需要用到

三:ElasticSearch的官方API与Demo实现

 3.1.1:引入TransPort5.2.2 

这里必须注意引入5.2.2版本,因为我服务上安装的ES就是5.2.2版本。ES官方API众多,每个版本之间不是互相兼容的,如果引入的版本对应,会报一个错误:

org.elasticsearch.client.transport.NoNodeAvailableException: None of the configured nodes are available.(这个错误折磨了我很久,所以一定要以自己的服务器上的版本为准,引入netty和elasticsearch、transport的版本互相对应)

        <dependency>
            <groupId>org.elasticsearch.plugin</groupId>
            <artifactId>transport-netty4-client</artifactId>
            <version>5.2.2</version>
        </dependency>
        <dependency>
            <groupId>org.elasticsearch</groupId>
            <artifactId>elasticsearch</artifactId>
            <version>5.2.2</version>
        </dependency>

        <dependency>
            <groupId>org.elasticsearch.client</groupId>
            <artifactId>transport</artifactId>
            <version>5.2.2</version>
        </dependency>

3.1.2:springboot配置ES

新建一个类叫做ESconfig,主要是配置ES服务器的IP和端口(注意这里是9300而不是9200),9300是ES的TCP服务端口,然后实例化客户端;

package com.wyq.elasticsearch.easticsearchtest.config;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
import org.elasticsearch.common.transport.InetSocketTransportAddress;
import org.elasticsearch.transport.client.PreBuiltTransportClient;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

import java.net.InetAddress;
import java.net.UnknownHostException;

@Configuration
public class ESConfig {

    @Bean
    public TransportClient client() throws UnknownHostException {
        // 9300是es的tcp服务端口
        final  String host = "176.122.132.220";
        InetSocketTransportAddress node = new InetSocketTransportAddress(
                InetAddress.getByName(host),
                9300);

        // 设置es节点的配置信息
        Settings settings = Settings.builder()
                .put("cluster.name", "application").build();

        // 实例化es的客户端对象
        TransportClient client = new PreBuiltTransportClient(settings);
        client.addTransportAddress(node);
        return client;
    }
}

 3.1.3:添加index

如果在ES里面添加一个index,我们需要以下命令,解释以下就是指定数据的index和type,在里面在指定fieldname

curl -X PUT 'ip:port/index/type/id’ -d '
{
  “filedname”: “xxx”
}' 

ES提供了同等的API来供我们使用,按照下面的例子,我们将会添加一个index叫做animal,type叫做person的数据,并通过Springboot注入TransPortClient,然后用MVC来获取请求参数,交给ES的api去处理:XContentFactory.jsonBuilder()去拼接不同的json字符串,用client去处理:

@RestController
public class ElasticSearchDemoController {

    @Autowired
    private TransportClient client;

    public static final String index = "product";

    public static final String type = "person";


/**
     * 添加一个人的数据
     *
     * @param name    名字
     * @param sex     性别
     * @param message 说明
     * @param job 工作
     * @param onlyMark 唯一标志
     * @return
     */
    @PostMapping("/es/add")
    public ResponseEntity add(@RequestParam("name") String name,
                              @RequestParam("sex") int sex,
                              @RequestParam("message") String message,
                              @RequestParam("job") String job,
                              @RequestParam("onlyMark") int onlyMark) {
        try {
            // 将参数build成一个json对象
            XContentBuilder content = XContentFactory.jsonBuilder()
                    .startObject()
                    .field("uniqueId", onlyMark)
                    .field("name", name)
                    .field("sex", sex)
                    .field("message", message)
                    .field("job", job)
                    .endObject();

            IndexResponse response = client.prepareIndex(index, type)
                    .setSource(content)
                    .get();

            return  ResponseEntity.getSuccess(response.getResult()+""+response.getId(), HttpStatus.OK.value());
        } catch (Exception e) {
            e.printStackTrace();
            return new ResponseEntity(HttpStatus.INTERNAL_SERVER_ERROR.value());
        }
    }
}

3.1.4:查询index

通过id去查询,然后通过client(TransPortClient)的prepareGet方法去查询,最后返回一个GetResponse结果然后获取它的source结果:

 /**
     * 按id查询
     *
     * @param id
     * @return
     */
    @GetMapping("/es/get")
    public ResponseEntity searchById(@RequestParam("id") String id) {
        if (id.isEmpty()) {
            return new ResponseEntity(HttpStatus.NOT_FOUND.value());
        }
        // 通过索引、类型、id向es进行查询数据
        GetResponse response = client.prepareGet(index, type, id).get();

        if (!response.isExists()) {
            return new ResponseEntity(HttpStatus.NOT_FOUND.value());
        }
        return  ResponseEntity.getSuccess(response.getSource(), HttpStatus.OK.value());
    }

3.1.5:删除index

同样删除index,也是通过id来匹配的,id是唯一标志,然后交给TransPort的prepareDelete方法去删除

 /**
     * 按id删除数据
     *
     * @param id
     * @return
     */
    @GetMapping("/es/delete")
    public ResponseEntity delete(@RequestParam("id") String id) {
        DeleteResponse response = client.prepareDelete(index, type, id).get();
      return  ResponseEntity.getSuccess(response.getResult(), HttpStatus.OK.value());
    }

3.1.6:更新index

通过获取更新的内容,然后交给TransPort的update方法去更新需要更新的字段,最终返回更新的内容:

 /**
     * 根据文档id更新某个文档的数据
     *
     * @param uniqueId
     * @param name
     * @param sex
     * @param message
     * @param job
     * @return
     */
    @PutMapping("/es/update")
    public ResponseEntity update(@RequestParam("id") String id,
                                 @RequestParam(value = "name", required = false) String name,
                                 @RequestParam(value = "sex", required = false) Integer sex,
                                 @RequestParam(value = "message", required = false) String message,
                                 @RequestParam(value = "job", required = false) String job,
                                 @RequestParam(value = "uniqueId", required = false) Integer uniqueId){
        UpdateRequest update = new UpdateRequest(index, type, id);
        try {
            XContentBuilder builder = XContentFactory.jsonBuilder()
                    .startObject();

            if (Objects.nonNull(name)) {
                builder.field("name", name);
            }
            if (Objects.nonNull(sex)) {
                builder.field("sex", sex);
            }
            if (Objects.nonNull(message)) {
                builder.field("message", message);
            }
            if (Objects.nonNull(job)) {
                builder.field("job", job);
            }
            if (Objects.nonNull(uniqueId)){
                builder.field("uniqueId",uniqueId);
            }

            builder.endObject();
            update.doc(builder);
            UpdateResponse response = client.update(update).get();
            return  ResponseEntity.getSuccess(response.getResult(), HttpStatus.OK.value());
        } catch (Exception e) {
            e.printStackTrace();
            return new ResponseEntity(HttpStatus.INTERNAL_SERVER_ERROR.value());
        }
    }

 3.2:测试

3.2.1:打开postman,然后我们来先来添加一个index,添加一些属性,后台提示成功:我们在去ES中查询一下:

3.2.2:在服务器中打开,然后输入查询所有index的命令,查询animal这个index对应的数据,可以看到我们的数据已经顺利添加:

3.2.3:查询index

上面的方式是通过命令的方式来查询的,我们再来通过程序来测试查询index,可以看到数据查询到了:

3.2.4:更新index

后台通过传入的字段对指定有值的数据进行更新,在这里我们更新message:

 

 3.2.5:为了验证我们的更改是否生效,我们再查询一下这个index,发现message已经变化了:

3.2.6:删除index

 3.2.7:同样我们在验证一下是否删除成功,可以看出total为0,也代表没有数据了:

四:总结

    碍于篇幅,本片博文就介绍到这里,主要是讲述了ElasticSearch的官方API的使用,以及搭建ES中的一些坑,为了解决这些坑,我在下班之余耗费了好几个星期研究这些问题,ES的版本众多,一定要注意版本的选择。本篇博文适合入门级别,没有介绍ES的高级特性,关于它本身具有很多高端特性,实乃搜索利器,我们不能把它作为数据库来看待,实际上它本身可以理解为一个搜索引擎,有着丰富的使用场景,”它远大于数据库,存储只是它的一个细小的功能”,好了,希望本篇博客可以帮助到你。

本篇博客的代码分享:链接:https://pan.baidu.com/s/1k-E15_EtHArG3iYi_3wc9A  密码:0nbp

如果关于本篇博客有任何问题,请加群:618626589

参考文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

                http://www.ruanyifeng.com/blog/2017/08/elasticsearch.html

 

作者:Yrion