Elasticsearch： 大数据量下如何做分页查询？

背景说明

业务场景中需要做基于ES的分页查询，而ES存储了上亿条数据，且数据每天还在不断增长，如何做分页查询呢（注意查询效率）？

本质就是一个深度分页查询的问题，很多人可能会尝试ES自带的滚动查询机制。但在大数据量情况下，此种方式是行不通的（不信的可以自行尝试哦）。

 

方案前提

1. 产品侧：在大数据量分页情况下，产品层面不允许用户自行输入页码跳页；

2. 技术侧：ES数据有全局唯一且有序的ID，可以通过相关算法生成。

 

方案设计

1.核心设计思想

经分析，用户的点击跳页行为数据偏移量是有限的。且第1页和最后1页的跳转行为可以有效识别，那么可以将用户的点击查询行为分为几个场景：

用户点击第1页：可以按照正常的逻辑进行查询，根据数据要求的排序方向进行顺序查询或倒序查询；

用户点击最后1页：首先判断是否是最后1页；重新计算页数据展示大小；如果结果是按顺序展示，则先按倒序方向进行数据查询，再将结果进行翻转展示。如果结果按倒序展示反之操作即可；

用户点击其他页：此种情况较为复杂。因为要重新计算数据的偏移量，所以需要有用户上次点击的页码信息（例如上次点击页码及对应的第1条数据ID和最后1条数据ID等）进行参照计算。详见下面的图例展示。

 

2.方案设计

2.1 定义接口参数

 

2.2 数据查询逻辑

第1页查询：

 

 

最后1页查询：

 

 

其他页查询：

 

 

代码实现

java及PHP代码都已上传到个人gitee上。（重点说明：代码仅供学习参考使用，未经作者同意，请勿用于商业用途）。