K8S日志系统技术选型-01-Elasticsearch 日志存储和查询

应用场景:

1. 它提供了强大的搜索功能，可以实现类似百度、谷歌等搜索；

2. 可以搜索日志或者交易数据，用来分析商业趋势、搜集日志、分析系统瓶颈或者运行发展等等；

3. 可以提供预警功能（持续的查询分析某个数据，如果超过一定的值，就进行警告）；

4. 分析商业信息，在百万级的大数据中轻松的定位关键信息；

特性：

1. 近实时

ES并不是一个标准的数据库，它不像MongoDB，它侧重于对存储的数据进行搜索。因此要注意到它 不是 实时读写 的，这也就意味着，刚刚存储的数据，并不能马上查询到。

当然这里还要区分查询的方式，ES也有数据的查询以及搜索，这里的近实时强调的是搜索.

2. 集群

在ES中，对用户来说集群是很透明的。你只需要指定一个集群的名字（默认是elasticsearch），启动的时候，凡是集群是这个名字的，都会默认加入到一个集群中。

你不需要做任何操作，选举或者管理都是自动完成的。

对用户来说，仅仅是一个名字而已！

3. 节点

跟集群的概念差不多，ES启动时会设置这个节点的名字，一个节点也就是一个ES得服务器。

默认会自动生成一个名字，这个名字在后续的集群管理中还是很有作用的，因此如果想要手动的管理或者查看一些集群的信息，最好是自定义一下节点的名字。

4. 索引

索引是一类文档的集合，所有的操作比如索引（索引数据）、搜索、分析都是基于索引完成的。

在一个集群中，可以定义任意数量的索引。

5. 类型

类型可以理解成一个索引的逻辑分区，用于标识不同的文档字段信息的集合。但是由于ES还是以索引为粗粒度的单位，因此一个索引下的所有的类型，都存放在一个索引下。这也就导致不同类型相同字段名字的字段会存在类型定义冲突的问题。

在2.0之前的版本，是可以插入但是不能搜索；在2.0之后的版本直接做了插入检查，禁止字段类型冲突。

6. 文档

文档是存储数据信息的基本单元，使用json来表示。

7. 分片与备份

在ES中，索引会备份成分片，每个分片是独立的lucene索引，可以完成搜索分析存储等工作。