微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

SQLSERVER 存储过程分页算法研究(支持千万级)

1.“俄罗斯存储过程”的改良版

CREATE procedure pagination1
(@pagesize int,--页面大小,如每页存储20条记录
@pageindex int --当前页码)
as set nocount on

begin

declare @indextable table(id int identity(1,1),nid int) --定义表变量
declare @PageLowerBound int --定义此页的底码
declare @PageUpperBound int --定义此页的顶码

set @PageLowerBound=(@pageindex-1)*@pagesize
set @PageUpperBound=@PageLowerBound+@pagesize
set rowcount @PageUpperBound
insert into @indextable(nid) select gid from TGongwen where fariqi >dateadd(day,-365,getdate()) order by fariqi desc
select O.gid,O.mid,O.title,O.fadanwei,O.fariqi from TGongwen O,@indextable t where O.gid=t.nid
and t.id>@PageLowerBound and t.id <=@PageUpperBound order by t.id

end

set nocount off

文章中的点评:

以上存储过程运用了sql SERVER的最新技术――表变量。应该说这个存储过程也是一个非常优秀的分页存储过程。当然,在这个过程中,您也可以把其中的表变量写成临时表:CREATE TABLE #Temp。但很明显,在sql SERVER中,用临时表是没有用表变量快的。所以笔者刚开始使用这个存储过程时,感觉非常的不错,速度也比原来的ADO的好。但后来,我又发现了比此方法更好的方法

从感觉上讲,效率不是太高。


2. not in 的方法
从publish 表中取出第 n 条到第 m 条的记录:

SELECT TOP m-n+1 * FROM publish WHERE (id NOT IN (SELECT TOP n-1 id FROM publish))

id 为publish 表的关键字

文章中的点评:

我当时看到这篇文章的时候,真的是精神为之一振,觉得思路非常得好。等到后来,我在作办公自动化系统(ASP.NET+ C#+sql SERVER)的时候,忽然想起了这篇文章,我想如果把这个语句改造一下,这就可能是一个非常好的分页存储过程于是我就满网上找这篇文章,没想到,文章还没找到,却找到了一篇根据此语句写的一个分页存储过程,这个存储过程也是目前较为流行的一种分页存储过程。

使用了 not in 而 not in 是无法使用索引的,所以从效率上讲还是差了一点。


3. max 的方法

select top 页大小 * from table1 where id>
(select max (id) from
(select top ((页码-1)*页大小) id from table1 order by id) as T)
order by id

文章中的点评:

我们知道,几乎任何字段,我们都可以通过max(字段)或min(字段)来提取某个字段中的最大或最小值,所以如果这个字段不重复,那么就可以利用这些不重复的字段的max或min作为分水岭,使其成为分页算法中分开每页的参照物。在这里,我们可以用操作符“>”或“ <”号来完成这个使命,使查询语句符合SARG形式。如:
Select top 10 * from table1 where id>200

这个就高高效了一点。但是不清楚 max的工作原理,不知道它的性能如何。

心得:

1、追求高效的翻页算法 —— 定位法。

declare @pageSize int --返回一页的记录数
declare @CurPage int --页号(第几页)0:第一页;-1最后一页。

declare @Count int
declare @id int

set @pageSize=10
set @CurPage =1

--定位
if @CurPage = -1
begin
--最后一页
set rowcount @pageSize
select @id=newsID from newstemp order by newsID
end

if @CurPage > 0
begin
set @Count = @pageSize * (@CurPage -1) + 1
set rowcount @Count
select @id=newsID from newstemp order by newsID desc
end

--返回记录
set rowcount @pageSize
select * from newstemp where newsID <=@id order by newsID desc

set rowcount 0


思路:就是上面的算法的延续,就是说呢避免使用 not in 和 max 的方法。也就是这个思路:Select top 10 * from table1 where id>200,定位 —— 就是说要找到“临界点”,分页的临界点。找到了之后剩下的事情就好办了。

缺点:单字段排序、排序字段的值不能重复(不是绝对不能重复,可以有少量的重复)。


2、通用法 —— 颠颠倒倒法

有的时候“定位法”的缺点是不可以接受的,但是没有关系,可以用这个的。

select * from table where id in
(
select top 10 ID from
(
select top 20 ID,addedDate from table
order by addedDate desc
) as aa order by addedDate
)
order by addedDate desc

ID 是主键,addedDate 是排序字段。

缺点:必须有主键。

 

 

-----------------------------------------------------------------------------------------------------------------------------------------------------------

给一下简单在sql例子对万条数据没问题的,在0.5秒没问题的。希望有所帮助:
如:
select * from Products where ProductID in
    ( select top 10 ProductID from
        (select top 20 ProductID,UnitPrice from   
            Products
            where CategoryID = 3
            order by
                UnitPrice desc,
                ProductID     
        ) as aa   
        order by   
            UnitPrice asc,        --如果上面是倒序,那么这里就是正序,下同
                ProductID desc
    )
order by
    UnitPrice desc,    --如果上面是倒序,那么这里就是正序,所谓颠颠倒倒嘛。
    ProductID

------------------------

sql2005 就沒那么麻煩了 只要用下 Row_NUMBER這個函數就行
For Example:
select * from

(select ROW_NUMBER()Over(order by itemid desc) as rowId,*

from items

) as mytable where rowId between 10 and 20

 

不知道你是否真的在千万级的数据库上测试过这些东西,其实很多局限性的 1、变量表 变量表也不是什么新技术,至少在sql2000时代就有了,变量表适合小的数据容量,当数据量比较大(数万条)而且并发用户数比较多(100个)时,数据库服务器和死机差不多了 2、定位模式 其实后面的都是这种模式,只不过说法不同而已 这种模式的前提一般是索引必须建立,而且索引最好是单字段索引,如果是多字段索引,反复倒过来倒过去,服务器不爬窝估计客户端早就超时了。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 [email protected] 举报,一经查实,本站将立刻删除。

相关推荐