海量数据分页,已经无法使用数据库自带的分页机制,比如MySQL 的 Limit ,这会导致严重的性能问题, 经过生产环境大数据量千万级数据量分页实现的 的总结,目前为止我 所使用 的大数据量分页机制 有 两条:
1. 如果表中存在 连续 的数字列并 为 索引,那么通过页码即可计算出此字段的范围,直接作范围查询即可:
start = (page-1)*pagesize
end = page*pagesize
select * from table where id >start and id <=end
2. 对大量数据旧的分页数据,实际上是固定的,变化的仅仅是前面数页。那么将旧数据导出成一个特殊表,直接以页码为索引列,即可快速分页。同时因为新数据不断填充到前面页,故内部页码使用倒序(即超旧的数据,其在数据库中的页码越小,越新的数据其页码不断增长)
成功案例:某健康社区门户问答功能的列表页,目前大约共 3000 万主题帖,每页显示 30 条记录,这样大约是 100 万页。将每页要显示的数据作成一个字段,页码 及科室两个字段作 主索引, 因为业务要求要按科室及页码列出主题,同时科室分类存在层次关系,属性子科室的主题,也需要显示在父科室列表中,这样列表的总记录数实际上是超过 3000万的,冗余度大约是 2.5 ,即有 7500 万条记录,每页显示 30 ,即总共大约有 250 万页。现在将数据表重新进行设计,每页要显示的数据,作为一条记录,这样此表仅仅就只有 250 万条记录,也就相当于 250 万条记录的数据表,可胜任 7500 万主题的分页需要。表结构大致如下:
page #当前记录的页码
classid #科室 id
data #当前页要显示的数据 原始主题记录 json 化或 php 序列化后的字符串
但此方案的问题就是数据更新及删除的同步问题。 建议是较新数据周期性(如每 4小时 )地重新整理,旧数据可使用较慢的周期(如每天)速度处理。同时删除帖子时应该先删除帖子内容,再 使用异步队列机制处理数据的同步和更新。 虽然带来维护上的麻烦,但有效地处理了大数据量分页显示的问题 。
列表页及帖子页,全部使用伪静态方式提供访问, 最长的内科列表页,已经达到了 30万页。
数据的存储使用三台Dell R610 机器存储,每次对列表页或帖子页的访问,均需要从 MySQL 查询。目前已经胜任每日约 9 00万次访问量。如果有任何疑惑,请联系 zhangxugg@163.com 。 如果你有更好的办法,欢迎一起探讨。
相关推荐
Java海量数据分页Bean, 适用于Oracle(适当修改,适用于任何数据库).功能描述:传入到达页码(具有容错性)、每页记录数、Select查询语句,返回该页所有的记录(整页是List集合,每条记录是一个 HashMap)、总行数、总...
实现小数据量和海量数据的通用分页显示存储过程
海量数据库查询优化及分页算法方案,很不错
GridView显示海量数据时效率极其低,每次要从数据库从取出海量数据,这明显不现实。 显示多少,就从数据库中读取多少数据,即每次取GridView显示的一个页面数据,点击下一页是,再取下一页相应的数据。
该代码可实现大量数据的分页,速度非常快。大家有用的处理大量数据的,可以下载试试。
海量(大量)数据GridView显示高效率分页实现方法[定义].pdf
在前一版本分页基础上修改BUG,连接没释放,小数据量查询慢,缓存没清除。重复缓存。
SQLServer海量数据库的查询优化及分页算法方案
海量数据库的查询优化及分页算法方案 总结了一下,一定要将聚集索引建立在: 1、您最频繁使用的、用以缩小查询范围的字段上; 2、您最频繁使用的、需要排序的字段上。
海量数据处理-hive数据仓库 很好的讲解的大数据海量数据处理的数据仓库模型建设
这种数据主要适用于在大型项目,多数据处理,如大OA项目中公文的查询,区政府机构一般有几十个委办局,每个委办局每天可能都发文,这样算起来,要是过个一年两年,数据会达到上百万的数据量,然而如果你不用算法,...
有源码和ppt介绍,在JSP开发中,经常遇到数据的查询问题,当查询的结果非常多时,就需要进行...考虑到数据往往是大量甚至是海量的,如果一次性的获取,那么这些数据必 然大量占用服务器内存资源,使系统性能大大降低
海量数据库的查询优化及分页算法方案.doc 大数据量时的对sql语句的优化...这应该是一个大多数程序员进阶须掌握的
海量数据的优化方案与技巧,如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页
如何实现快速地从这些超大容量的数据库中提取数据(查询)、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。
帝国Cms7.2内核hao123漫画网整站源码 带火车头采集规则,含全部数据+附件,1.2万漫画+16万条... (打开“更新数据”,然后按照从右到左,从上到下的顺序依次更新,因为本程序数据量比较大,更新会很慢,请耐心等待)
这段时间在学习windows进程间大数据量交换技术,准备开发服务器程序。找到了《windows核心编程》,看了里面的东西自己总结写的演示demo。各种进程间数据共享的核心基础就是内存映射文件机制,写了非常简单明了的程序...