h/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached—样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性地把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave (主从)同步。Redis是一个Client/Server模式的系统，典型的调度如图3所示。
[0024]本发明提供的基于大数据流式计算的动态页面加载方法，页面关联性算法的目标是在已知当前用户所在页面的前提下，预测用户下一次点击的页面，采集的实现方式是统计用户在一定的时间周期内点击下一个页面的次数之总和，并由此判断用户点击某一个页面的可能性高低。具体思路如下:在流式数据库中建立键值对关系表，其中存储网站上任意一个页面跳转到另一个页面的次数。假定当前用户所在的页面为A，则在流式数据库中会建立一张以A的键值对关系表，用户每一次从A页面点击到其它页面就会在该表中记录下一次点击，表的内容大致如下:
[0025]A-B 200，100，200，200，100，100，100，1000
[0026]A-C 200，200，300，200，100，300，200，1500
[0027]A-D 200，100，200，200，100，200，200，1200
[0028]表里的数据分布表示在统计周期(7天)内，用户每天从A页面跳转到某个页面的次数，以及7天内跳转过去的总次数，如上面的数据就代表7天内，用户从A页面跳转到B页面，第一天为200次，第二天为100次，7天合共跳转了 1000次，跳转到C页面合共1500次，跳转到D页面合共1200次，针对每个页面流式数据库中都会保留一张这样的表，如此，系统就可以很容易的判断出当用户打开某个特定页面后，下一步会打开哪个页面的可能性最高。由于页面之间的相关性存在阶段性变化的可能，所以跳转数的统计需要定期更新而不能长期累加，每天的统计数据将会覆盖最旧的一天的数据，以便让统计数据可以反应最新的页面关联性关系。
[0029]本发明的服务器端的页面预加载缓存将在上述算法确定出与用户当前所在页面关联性最大的几个页面后，预先读取和加载页面内容，以便在用户真正进行页面切换时迅速生成页面，而不需等待数据读取等过程，加快浏览速度，提高用户体验。整个方案的具体逻辑实现流程描述如下:
[0030]1、用户点击打开A页面；
[0031]2、流式数据库搜索A页面的键值对应表，确定出与A页面关联性最大的top 5页面；
[0032]3、服务器预按照top5的排列顺序开始预读取这5个页面，并将其放在缓存中；
[0033]4、用户从A页面跳转某个页面；
[0034]5a、若预测命中，服务器从缓存中直接提供生成好的页面给用户；
[0035]5b、若预测不命中，服务器读取数据库并生成用户打开的页面提供给用户；
[0036]6、流式数据库在A页面的键值对应表中，为用户实际跳转的页面键值对计数器加I ;
[0037]7、每天晚上流式数据库根据统计周期的设置，定时自动删除最旧一天的统计数据。
[0038]虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。
【主权项】
1.一种基于大数据流式计算的动态页面加载方法，其特征在于，包括如下步骤: a)在流式数据库中建立键值对关系表，存储网站上任意一个页面跳转到另一个页面的次数； b)针对用户点击打开的当前页面，在流式数据库搜索当前页面的键值对关系表，并选出一组与当前页面关联性最大的页面作为预加载页面； c)服务器读取预加载页面，并将其放在缓存中； d)若预测命中用户需要跳转的下一页面，服务器从缓存中直接提供生成好的页面给用户，并更新当前页面的键值对关系表；若预测未命中，服务器读取数据库并生成用户打开的页面提供给用户。
2.如权利要求1所述的基于大数据流式计算的动态页面加载方法，其特征在于，所述步骤a)统计一定周期内，任意一个页面每天跳转到另一个页面的次数，并计算出该周期内任意一个页面跳转到另一个页面的总次数，所述步骤d)若预测命中用户需要跳转的下一页面，则在当前页面的键值对关系表中，为用户实际跳转的下一页面键值对计数器加I。
3.如权利要求2所述的基于大数据流式计算的动态页面加载方法，其特征在于，所述步骤d)根据统计周期设置，定时自动利用当天的统计数据覆盖最旧一天的统计数据。
4.如权利要求2所述的基于大数据流式计算的动态页面加载方法，其特征在于，所述步骤b)选择与当前页面关联的总次数排名靠前的一组页面作为预加载页面，所述步骤c)按总次数大小排列顺序依次读取预加载页面。
5.如权利要求2所述的基于大数据流式计算的动态页面加载方法，其特征在于，所述步骤a)使用Redis在缓存内存中统计任意一个页面每天跳转到另一个页面的次数，并且周期性地把更新的统计数据写入磁盘。
【专利摘要】本发明公开了一种基于大数据流式计算的动态页面加载方法，包括如下步骤：a)在流式数据库中建立键值对关系表，存储网站上任意一个页面跳转到另一个页面的次数；b)针对用户点击打开的当前页面，在流式数据库搜索当前页面的键值对关系表，并选出一组与当前页面关联性最大的页面作为预加载页面；c)服务器读取预加载页面，并将其放在缓存中；d)若预测命中用户需要跳转的下一页面，服务器从缓存中直接提供生成好的页面给用户。本发明采用流式计算数据库，记录统计出的页面访问关系数据，并根据页面关联性计数确定预加载页面，根据用户行为的统计数据来进行判断和动态预加载，适用性更广，准确度更高，大大提高真实用户感知体验。
【IPC分类】G06F9-445, G06F17-30
【公开号】CN104731974
【申请号】CN201510171307
【发明人】程永新, 谢涛, 林壬
【申请人】上海新炬网络信息技术有限公司
【公开日】2015年6月24日
【申请日】2015年4月13日...