1 了解ES
1.1 ES作用
elasticsearch是一款非常强大的开源搜索引擎，具备非常多强大功能，可以帮助我们从海量数据中快速找到需要的内容。例如：
1.2 ELK技术栈
- elasticsearch结合kibana、Logstash、Beats，也就是elastic stack（ELK）。被广泛应用在日志数据分析、实时监控等领域。
- 而elasticsearch是elastic stack的核心，负责存储、搜索、分析数据。
1.3 elasticsearch和lucene
- elasticsearch底层是基于lucene来实现的。
- Lucene是一个Java语言的搜索引擎类库，是Apache公司的顶级项目，由DougCutting于1999年研发。官网地址：https://lucene.apache.org/ 。
- elasticsearch的发展历史：
- 2004年Shay Banon基于Lucene开发了Compass
- 2010年Shay Banon 重写了Compass，取名为Elasticsearch。
- 官网地址: https://www.elastic.co/cn/
1.4 为什么不是其他搜索技术，而是ES？（为什么学习ES）
1.5 小结
- 什么是elasticsearch？
- 什么是elastic stack（ELK）？
- 是以elasticsearch为核心的技术栈，包括beats、Logstash、kibana、elasticsearch
- 什么是Lucene？
2 倒序索引
2.1 正向索引
- 倒排索引的概念是基于MysqL这样的正向索引而言的。
- 那么什么是正向索引呢？例如给下表（tb_goods）中的id创建索引：
- 如果是根据id查询，那么直接走索引，查询速度非常快。
- 但如果是基于title做模糊查询，只能是逐行扫描数据，流程如下：
- 逐行扫描，也就是全表扫描，随着数据量增加，其查询效率也会越来越低。当数据量达到数百万时，就是一场灾难。
2.2 倒排索引
- 倒排索引中有两个非常重要的概念：
- 创建倒排索引是对正向索引的一种特殊处理，流程如下：
- 倒排索引的搜索流程如下（以搜索"华为手机"为例，如图）：
- 虽然要先查询倒排索引，再查询倒排索引，但是无论是词条、还是文档id都建立了索引，查询速度非常快！无需全表扫描。
2.3 正向和倒排
- 那么为什么一个叫做正向索引，一个叫做倒排索引呢？
- 正向索引：
- 优点：
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
- 缺点：
- 根据非索引字段，或者索引字段中的部分词条查找时，只能全表扫描。
- 优点：
- 倒排索引：
2.4 小结
3 ES的一些概念
3.1 文档和字段
- elasticsearch是面向文档Document存储的，可以是数据库中的一条商品数据，一个订单信息。
- 文档数据会被序列化为json格式后存储在elasticsearch中：
- 而Json文档中往往包含很多的字段Field，类似于数据库中的列。
3.2 索引和映射
- 索引（Index）：相同类型的文档的集合。
- 例如：
- 因此，我们可以把索引当做是数据库中的表。
- 数据库的表会有约束信息，用来定义表的结构、字段的名称、类型等信息。因此，索引库中就有映射（mapping），是索引中文档的字段约束信息，类似表的结构约束。
3.3 MysqL与elasticsearch
- 概念对比
- 架构对比
- 是不是说，我们学习了elasticsearch就不再需要MysqL了呢？并不是如此，两者各自有自己的擅长之处（如上）。
- 因此在企业中，往往是两者结合使用（如图）：
3.4 小结
4 安装ES、kibana
4.1 安装
4.1.1 centos7虚拟机docker环境启动
QDU实验室-->虚拟机IP：10.193.193.141
4.1.2 单点部署ES
-
创建网络
- 因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：
docker network create es-net 
- 因为我们还需要部署kibana容器，因此需要让es和kibana容器互联。这里先创建一个网络：
-
加载镜像
-
运行测试
- 运行docker命令，部署单点es：
docker run -d \
--name es \
-e "ES_JAVA_OPTS=-xms512m -Xmx512m" \
-e "discovery.type=single-node" \
-v es-data:/usr/share/elasticsearch/data \
-v es-plugins:/usr/share/elasticsearch/plugins \
--privileged \
--network es-net \
-p 9200:9200 \
-p 9300:9300 \
elasticsearch:7.12.1
- 命令解释：
-e "cluster.name=es-docker-cluster"：设置集群名称-e "http.host=0.0.0.0"：监听的地址，可以外网访问-e "ES_JAVA_OPTS=-xms512m -Xmx512m"：内存大小-e "discovery.type=single-node"：非集群模式-v es-data:/usr/share/elasticsearch/data：挂载逻辑卷，绑定es的数据目录-v es-logs:/usr/share/elasticsearch/logs：挂载逻辑卷，绑定es的日志目录-v es-plugins:/usr/share/elasticsearch/plugins：挂载逻辑卷，绑定es的插件目录--privileged：授予逻辑卷访问权--network es-net：加入一个名为es-net的网络中-p 9200:9200：端口映射配置
- 在浏览器中输入：http://10.193.193.141:9200 即可看到elasticsearch的响应结果
4.1.3 部署kibana
- 部署
kibana可以给我们提供一个elasticsearch的可视化界面，便于我们学习。
运行docker命令，部署kibana
docker run -d \
--name kibana \
-e ELASTICSEARCH_HOSTS=http://es:9200 \
--network=es-net \
-p 5601:5601 \
kibana:7.12.1
--network es-net：加入一个名为es-net的网络中，与elasticsearch在同一个网络中-e ELASTICSEARCH_HOSTS=http://es:9200"：设置elasticsearch的地址，因为kibana已经与elasticsearch在一个网络，因此可以用容器名直接访问elasticsearch-p 5601:5601：端口映射配置
kibana启动一般比较慢，需要多等待一会，可以通过命令：docker logs -f kibana
查看运行日志，当查看到下面的日志，说明成功：
此时，在浏览器输入地址访问：http://10.193.193.141:5601，即可看到结果
4.2 分词器
4.2.1 先导实验
4.2.2 IK分词器
https://github.com/medcl/elasticsearch-analysis-ik
4.2.3 安装IK分词器
- 在线安装ik插件（较慢，不推荐）
# 进入容器内部
docker exec -it elasticsearch /bin/bash
# 在线下载并安装
./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
#退出
exit
#重启容器
docker restart elasticsearch
- 离线安装ik插件（推荐）
1）查看数据卷目录
安装插件需要知道elasticsearch的plugins目录位置，而我们用了数据卷挂载，因此需要查看elasticsearch的数据卷目录，通过命令docker volume inspect es-plugins查看
说明plugins目录被挂载到了：/var/lib/docker/volumes/es-plugins/_data这个目录中。
2）解压缩分词器安装包
我们需要把课前资料中的ik分词器解压缩，重命名为ik
3）上传到es容器的插件数据卷中
也就是/var/lib/docker/volumes/es-plugins/_data
4）重启容器
重启es容器:docker restart es
查看es日志:docker logs -f es
5）测试
IK分词器包含两种模式：
ik_smart：最少切分
ik_max_word：最细切分
{
"tokens" : [
{
"token" : "ithm",
"start_offset" : 0,
"end_offset" : 4,
"type" : "ENGLISH",
"position" : 0
},
{
"token" : "学习",
"start_offset" : 4,
"end_offset" : 6,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "java-sc",
"start_offset" : 6,
"end_offset" : 13,
"type" : "LETTER",
"position" : 2
},
{
"token" : "java",
"start_offset" : 6,
"end_offset" : 10,
"type" : "ENGLISH",
"position" : 3
},
{
"token" : "sc",
"start_offset" : 11,
"end_offset" : 13,
"type" : "ENGLISH",
"position" : 4
},
{
"token" : "太棒了",
"start_offset" : 13,
"end_offset" : 16,
"type" : "CN_WORD",
"position" : 5
},
{
"token" : "太棒",
"start_offset" : 13,
"end_offset" : 15,
"type" : "CN_WORD",
"position" : 6
},
{
"token" : "了",
"start_offset" : 15,
"end_offset" : 16,
"type" : "CN_CHAR",
"position" : 7
}
]
}
4.2.4 词典先导实验
4.2.5 扩展词词典
- 随着互联网的发展，“造词运动”也越发的频繁。出现了很多新的词语，在原有的词汇列表中并不存在。比如：“奥力给”，“传智播客” 等。
- 所以我们的词汇也需要不断的更新，IK分词器提供了扩展词汇的功能。
4.2.6 停用词词典
- 在互联网项目中，在网络间传输的速度很快，所以很多语言是不允许在网络上传递的，如：关于宗教、政治等敏感词语，那么我们在搜索时也应该忽略当前词汇。
- IK分词器也提供了强大的停用词功能，让我们在索引时就直接忽略当前的停用词汇表中的内容。
4.2.6 自定义词典实操
{
"tokens" : [
{
"token" : "传智教育",
"start_offset" : 0,
"end_offset" : 4,
"type" : "CN_WORD",
"position" : 0
},
{
"token" : "课程",
"start_offset" : 5,
"end_offset" : 7,
"type" : "CN_WORD",
"position" : 1
},
{
"token" : "可以",
"start_offset" : 7,
"end_offset" : 9,
"type" : "CN_WORD",
"position" : 2
},
{
"token" : "白嫖",
"start_offset" : 9,
"end_offset" : 11,
"type" : "CN_WORD",
"position" : 3
},
{
"token" : "而且",
"start_offset" : 12,
"end_offset" : 14,
"type" : "CN_WORD",
"position" : 4
},
{
"token" : "学员",
"start_offset" : 14,
"end_offset" : 16,
"type" : "CN_WORD",
"position" : 5
},
{
"token" : "就业率",
"start_offset" : 16,
"end_offset" : 19,
"type" : "CN_WORD",
"position" : 6
},
{
"token" : "很高",
"start_offset" : 19,
"end_offset" : 21,
"type" : "CN_WORD",
"position" : 7
},
{
"token" : "奥利给",
"start_offset" : 22,
"end_offset" : 25,
"type" : "CN_WORD",
"position" : 8
}
]
}
4.3 小结
- 分词器的作用是什么？
- IK分词器有几种模式？
- ik_smart：智能切分，粗粒度
- ik_max_word：最细切分，细粒度
- IK分词器如何拓展词条？如何停用词条？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。
