微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

高性能的大型系统经验 -- 数据查询与分页

     本文讨论针对大型数据表(记录数2千万以上)进行数据查找与分页的可行的高效方案。

     首先,恰当的索引是必须的。

     没有索引的支持,在大数据表中进行查询是不可思议的。关键点在于如何创建索引?

1.建立正确的聚集索引(clustered index)。由于聚集索引的叶子节点就是记录本身,所以选择哪个索引为聚集索引非常关键。通过聚集索引扫描记录更快。

2.根据你的系统的需求总结常用的单个查询条件或综合性的查询条件,对于常用的单个查询条件建立单列索引,对常用的综合性查询条件建立联合索引

3.关于数据库查询引擎如何利用索引,要注意以下几点:

(1)对于单列索引,只要条件列中出现索引列,无论在什么位置,都能利用索引查询

(2)查询条件中出现联合索引第一列,或者全部,则能利用联合索引。

(3)条件列中只要条件相连在一起,无论前后,都会利用上联合索引。

(4)查询条件中没有出现联合索引的第一列,而出现联合索引的第二列,或者第三列,则都不会利用联合索引查询。 

    

     接下来,我们看如何进行分页

1.利用索引(或联合索引)将满足条件的记录的主键列INTO到一个临时表(只有一列,与目标表的主键对应)。

2.Count (*) 临时表获取满足条件的记录的总数。

3.从临时表中获取第N页的主键值集合。

4.根据主键值集合从目标表中取出对应的记录以构成所要的Page。

5.释放临时表。      

     按照这种方式进行分页查询,如果满足条件的记录数在几万以内,分页查询都可在1秒内返回。

     最后提醒一句,不要轻易的在大数据表上执行不带条件的Select Count(*) From Table,该操作将非常耗时,而且由于扫描时会在目标表上加S锁,这段期间对目标表的Insert/update/delete操作将被阻塞,从而可能引发Insert/update/delete操作执行超时。 

 

注:本文源于我的sqlServer经验,可能在Oracle中有更好的办法,呵呵:)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐