一种网页数据存储方法及装置制造方法
【专利摘要】本发明涉及一种网页数据存储方法，包括以下步骤：当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据；当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量；根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据；将该目标网页集合对应的网页数据存入该存储空间。本发明还提供一种网页数据存储装置。利用本发明可以提高网页数据的存储效率及所存储的网页数据的利用率。
【专利说明】一种网页数据存储方法及装置
【技术领域】
[0001]本发明具体实施例涉及数据存储【技术领域】，特别涉及一种网页数据存储方法及装置。
【背景技术】
[0002]随着互联网的蓬勃发展，网站的数量如雨后春笋般快速增长，各个网站的内容也在频繁的更新。在各个网站源源不断地生成新的网页的同时，旧的网页也可能仍然持续有人在访问。因此，网站的网页数据总量整体是呈增长趋势的。然而，无论这些网站是作为搜索引擎还是作为数据聚合平台，都无法在有限的存储空间(例如磁盘、内存)内容纳下所有的网页数据。因此，对存储空间内的网页数据采用一个较优的数据淘汰机制显得尤为重要，从而使该存储空间可以及时淘汰旧的网页数据，以便存入新的网页数据。现有的数据淘汰方案一般采用 FIFO (First Input First Output,先进先出)算法或 LRU (Least RecentlyUsed，最近最少使用)算法。然而对于网站的网页数据来说，现有的数据淘汰方案将所有网站统一对待，而没有考虑到不同网站的各网页页面浏览量的情况，使得网页数据的存储效果有所局限。
【发明内容】
[0003]有鉴于此，有必要提供一种网页数据存储方法及装置，可以提高网页数据的存储效率及所存储的网页数据的利用率。
[0004]一种网页数据存储方法，包括以下步骤:当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据；当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量；根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据；将该目标网页集合对应的网页数据存入该存储空间。
[0005]一种网页数据存储装置，包括:判断模块，用于当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据；预估模块，用于当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量；淘汰模块，用于根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据；存储模块，用于将该目标网页集合对应的网页数据存入该存储空间。
[0006]相较于现有技术，本发明根据存储空间内存储的网页数据对应的当前网页集合在下一预设周期的页面浏览量来动态淘汰该存储空间内的网页数据，从而使该存储空间足够存入新的网页数据，可以提高网页数据的存储效率及所存储网页数据的利用率。
[0007]为让本发明的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。
【专利附图】
【附图说明】
[0008]图1为一种服务器的结构框图。
[0009]图2为本发明第一实施例提供的网页数据存储方法的流程图。
[0010]图3为图2中步骤S2的详细流程图。
[0011]图4为当前网页集合的页面浏览量的发展趋势的示例图。
[0012]图5为图3中步骤S2.2的详细流程图。
[0013]图6为本发明第四实施例提供的网页数据存储装置的框图。
【具体实施方式】
[0014]为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的【具体实施方式】、结构、特征及其功效，详细说明如后。
[0015]参阅图1所示，为一种服务器I的结构框图。该服务器I也可以为由多台服务器组成的服务器组，或为虚拟云计算模组。在本实施例中，该服务器I包括一个或多个(图中仅示出一个)存储器11、处理器12、存储控制器13、外设接口 14及通信模块15。这些组件通过一条或多条通讯总线/信号线相互通讯。
[0016]本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对服务器I的结构造成限定。例如，服务器I还可包括比图1所示更多或者更少的组件，或者具有与图1所示不同的配置。图1所示的各组件可以采用硬件、软件或其组合实现。
[0017]存储器11可用于存储软件程序以及模块，如本发明实施例中的网页数据存储方法及装置对应的程序指令/模块，处理器12通过运行存储在存储器11内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的网页数据存储方法。
[0018]存储器11可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器11可进一步包括相对于处理器12远程设置的存储器，这些远程存储器可以通过网络连接至服务器I。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。处理器12以及其他可能的组件对存储器11的访问可在存储控制器13的控制下进行。
[0019]外设接口 14将各种输入/输出装置耦合至处理器12以及存储器11。处理器12运行存储器11内的各种软件、指令以及执行服务器I的各种功能以及进行数据处理。
[0020]通信模块15用于与通信网络或者其他设备进行通信。具体地，通信模块15例如可以是网卡。网卡作为局域网中连接计算机和传输介质的接口，用于实现与局域网传输介质之间的物理连接与电信号匹配，从而建立局域网并连接到因特网(Internet)，与各种网络如局域网、城域网、广域网进行通信。
[0021]尽管未示出，服务器I还可以包括输入单元、显示单元等，在此不再赘述。
[0022]第一实施例
[0023]参阅图2所示，本发明第一实施例提供一种网页数据存储方法，其应用于所述服务器I中。该网页数据存储方法包括以下步骤:
[0024]步骤SI，当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据；
[0025]步骤S2，当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览(PageView,简称PV)量；
[0026]步骤S3，根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据；
[0027]步骤S4，将该目标网页集合对应的网页数据存入该存储空间。
[0028]按照上述的网页数据存储方法，根据存储空间内存储的网页数据对应的当前网页集合在下一预设周期的页面浏览量来动态淘汰该存储空间内的网页数据，从而使该存储空间足够存入新的网页数据，可以提高网页数据的存储效率及所存储网页数据的利用率。
[0029]在一些实例中，上述方法的各步骤的实现细节如下:
[0030]步骤SI所述的目标网页集合包括至少一个预设的网页，该目标网页集合对应的网页数据包括该目标网页集合中所有网页的数据。在一个实例中，该目标网页集合可以是架设在服务器I中的一个或多个网站，例如新闻网站、论坛网站、购物网站等在一段时间，例如某一天内新生成的网页的集合。随着该目标网页集合内的网页陆续生成，需要将该目标网页集合对应的网页数据存储到服务器I的所述存储器11中，即发出所述的存储请求。此时，该存储器11并不为用于暂时存放数据的内存，而是为用于较长久地存储该网页数据的例如服务器I内置或外接的硬盘存储器，所述指定的存储空间即为该硬盘存储器中一块具有固定大小的指定存储区域。
[0031]在另一个实例中，由于内存具有数据存取速率快的特点，为了加快网页数据的访问速率，在需要访问服务器I的例如所述硬盘存储器中存储的网页数据时，服务器I会先从该硬盘存储器中读取该网页数据，并将该网页数据存入内存中以供快速读取访问。因此，所述的目标网页集合对应的网页数据也可以是从该硬盘存储器中读取出来，待存储至内存中的各网页的数据，此时即可发出所述的存储请求，所述指定的存储空间为服务器I的内存中一块具有固定大小的指定存储区域。
[0032]具体而言，步骤SI可以通过判断该目标网页集合对应的网页数据的大小是否大于该存储空间中可用空间的大小，来判断该存储空间是否足够存储该目标网页集合对应的网页数据。若该目标网页集合对应的网页数据的大小不大于该存储空间中可用空间的大小，即认为该存储空间足够存储该目标网页集合对应的网页数据。若存储空间足够存储该目标网页集合对应的网页数据，则将该目标网页集合对应的网页数据存入该存储空间。
[0033]由此定义，在本实施例中，对应的网页数据待存储至该存储空间的网页集合被称为目标网页集合，而对应的网页数据已存储至该存储空间的网页集合被称为当前网页集合。每一个当前网页集合也包括至少一个预设的网页。
[0034]步骤S2所述的各当前网页集合在下一个预设周期中的页面浏览量是指在下一个预设周期中，各当前网页集合中的每一个网页的页面浏览量的总和。其中，每一个网页的页面浏览量是指该网页被浏览的次数，例如该网页每接收到一次来自浏览器的HTML(Hypertext Markup Language,超文本标记语言)请求时,将该网页的页面浏览量加I。所述的预设周期为可以循环的一段时间，下一个预设周期是指即将到来的预设周期，例如每天0:00-23:59为一个预设周期，当前时间为今天的20:00，则下一个预设周期为明天0:00_23:59 ο
[0035]具体而言，参阅图3所示，所述的预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量包括以下步骤:
[0036]步骤S2.1，统计所述的各当前网页集合分别在过去的若干个预设周期中的页面浏览量。在一个实例中，由于通常各网站会对所产生的各网页分别进行页面浏览量的监控，因此，步骤S2.1可以先获取各当前网页集合中各网页过去的页面浏览量，然后将所获取的页面浏览量按照时间和所属网页划分到各当前网页集合在过去的各个预设周期中。
[0037]步骤S2.2，根据所统计的页面浏览量预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
[0038]根据已有的统计数据可知，虽然各当前网页集合在过去的同一个预设周期中的页面浏览量不同，并且各当前网页集合在过去的各预设周期中的页面浏览量的发展趋势(包括上升速度及下降速度等)也不相同，但从总体来看，各当前网页集合的页面浏览量的发展趋势基本上都符合幂律分布，如图4所示。所述幂律分布是指幂函数构成的分布。该幂函数是指符合公式y = cx_Y的函数，即以底数为自变量，幂为因变量，指数为常量的函数称为幂函数。其中，由于参数c和r的不同，造成幂函数的分布不同，与不同幂函数的分布对应的各当前网页集合的页面浏览量的发展趋势也不同。因此，只要求解出反映各当前网页集合的页面浏览量的发展趋势的分布函数，即可以预估各当前网页集合在下一个预设周期中的页面浏览量。
[0039]由此,参阅图5所示,步骤S2.2具体包括:
[0040]步骤S2.2.1，根据所统计的页面浏览量分别拟合出所述的各当前网页集合的页面浏览量的分布函数。该分布函数即为所述的幂函数。该分布函数可以反映各当前网页集合的页面浏览量的发展趋势。
[0041]具体而言，所述拟合是指已知某一函数的若干离散函数值{fl，f2,…，fn}，通过调整该函数中若干待定系数f (λ 1，λ2，...，λη)，使得该函数与已知点集的差别最小。在本实施例中，可以使用最小二乘法来求解各当前网页集合的页面浏览量的分布函数中的参数c和r，从而拟合出各当前网页集合的页面浏览量的分布函数。所述最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配，可以求得未知的数据，并使得求得的数据与实际数据之间误差的平方和最小。
[0042]步骤S2.2.2，根据该分布函数预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
[0043]步骤S3，在一个实例中，可以将该存储空间中对应的页面浏览量低于预设阈值的当前网页集合对应的网页数据淘汰，使该存储空间足够存储该目标网页集合对应的网页数据。该预设阈值可以根据经验自行设置。该预设阈值也可以包括多个子阈值，例如第一阈值、第二阈值等。在将该存储空间中对应的页面浏览量低于第一阈值的当前网页集合对应的网页数据淘汰后，若该存储空间仍然不足够存储该目标网页集合对应的网页数据，则可以继续将该存储空间中对应的页面浏览量低于第二阈值的当前网页集合对应的网页数据淘汰，依此类推，直至该存储空间足够存储该目标网页集合对应的网页数据。其中，该第一阈值低于该第二阈值。
[0044]步骤S4，在使该存储空间足够存储该目标网页集合对应的网页数据后，将该目标网页集合对应的网页数据存入该存储空间。
[0045]第二实施例
[0046]为了丰富第一实施例中所述步骤S3从存储空间中网页数据的淘汰方式，使网页数据的淘汰方式更加灵活，本发明第二实施例提供一种网页数据存储方法，其相较于第一实施例的网页数据存储方法，所述步骤S3可以通过以下方式实现:
[0047]将该存储空间中存储的网页数据对应的各当前网页集合按照对应的页面浏览量从小到大的顺序排列，并且逐次淘汰排列在前面的指定数量的当前网页集合对应的网页数据。若淘汰一次排列在前面的指定数量的当前网页集合对应的网页数据后，该存储空间仍然不足够存储该目标网页集合对应的网页数据，则继续淘汰一次排列在前面的指定数量的当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
[0048]本实施例的网页数据存储方法，针对第一实施例的网页数据存储方法中步骤S3淘汰该存储空间中存储的网页数据提出一种新的方式，可以使网页数据的淘汰方式更加灵活，进一步提高网页数据的存储效率及所存储网页数据的利用率。
[0049]第三实施例
[0050]为了丰富第一实施例中所述步骤S3从存储空间中网页数据的淘汰方式，使网页数据的淘汰方式更加灵活，本发明第三实施例提供一种网页数据存储方法，其相较于第一实施例的网页数据存储方法，所述步骤S3可以通过以下方式实现:
[0051]从该存储空间中按照对应的页面浏览量从小到大的顺序依次淘汰各当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。换句话说，先淘汰该存储空间中，对应的页面浏览量最小的当前网页集合对应的网页数据。若该存储空间仍然不足够存储该目标网页集合对应的网页数据，则再淘汰该存储空间中剩余的网页数据中，对应的页面浏览量最小的当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
[0052]本实施例的网页数据存储方法，针对第一实施例的网页数据存储方法中步骤S3淘汰该存储空间中存储的网页数据提出一种新的方式，可以使网页数据的淘汰方式更加灵活，进一步提高网页数据的存储效率及所存储网页数据的利用率。
[0053]第四实施例
[0054]参阅图6所示，本发明第四实施例提供一种网页数据存储装置100，其应用于服务器I中，该网页数据存储装置100包括判断模块101、预估模块102、淘汰模块103和存储模块104。可以理解，上述的各模块是指计算机程序或者程序段，用于执行某一项或多项特定的功能。此外，上述各模块的区分并不代表实际的程序代码也必须是分开的。
[0055]判断模块101，用于当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据。若指定的存储空间足够存储该目标网页集合对应的网页数据，则执行存储步骤104。
[0056]预估模块102，用于当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量。
[0057]具体而言，预估模块102可以先统计所述的各当前网页集合分别在过去的若干个预设周期中的页面浏览量，然后根据所统计的页面浏览量分别拟合出所述的各当前网页集合的页面浏览量的分布函数，再根据该分布函数预估所述的各当前网页集合在下一个预设周期中的页面浏览量。该分布函数可以通过最小二乘法拟合得出。
[0058]淘汰模块103，用于根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据。
[0059]在一个实例中，淘汰模块103可以将该存储空间中对应的页面浏览量低于预设阈值的当前网页集合对应的网页数据淘汰，使该存储空间足够存储该目标网页集合对应的网页数据。
[0060]在一个实例中，淘汰模块103可以将该存储空间中存储的网页数据对应的各当前网页集合按照对应的页面浏览量从小到大的顺序排列，然后逐次淘汰排列在前面的指定数量的当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
[0061]在另一个实例中，淘汰模块103可以从该存储空间中按照对应的页面浏览量从小到大的顺序依次淘汰各当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
[0062]存储模块104，用于将该目标网页集合对应的网页数据存入该存储空间。
[0063]对于以上各模块的具体工作过程，可进一步参考本发明第一实施例、第二实施例及第三实施例提供的网页数据存储方法，在此不再重复。
[0064]综上所述，本实施例的网页数据存储装置100，根据存储空间内存储的网页数据对应的当前网页集合在下一预设周期的页面浏览量来动态淘汰该存储空间内的网页数据，从而使该存储空间足够存入新的网页数据，可以提高网页数据的存储效率及所存储网页数据的利用率。
[0065]此外，本发明实施例还提供一种计算机可读存储介质，其内存储有计算机可执行指令，上述的计算机可读存储介质例如为非易失性存储器例如光盘、硬盘、或者闪存。上述的计算机可执行指令用于让计算机或者类似的运算装置完成上述的网页数据存储方法中的各种操作。
[0066]以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【权利要求】
1.一种网页数据存储方法，其特征在于，该方法包括以下步骤: 当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据； 当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量； 根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据； 将该目标网页集合对应的网页数据存入该存储空间。
2.如权利要求1所述的网页数据存储方法，其特征在于，所述预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量的步骤包括: 统计所述的各当前网页集合分别在过去的若干个预设周期中的页面浏览量； 根据所统计的页面浏览量预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
3.如权利要求2所述的网页数据存储方法，其特征在于，所述的根据所统计的页面浏览量预估所述的各当前网页集合在下一个预设周期中的页面浏览量的步骤包括: 根据所统计的页面浏览量分别拟合出所述的各当前网页集合的页面浏览量的分布函数； 根据该分布函数预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
4.如权利要求3所述的网页数据存储方法，其特征在于，所述根据所统计的页面浏览量分别拟合出所述的各当前网页集合的页面浏览量的分布函数的步骤还包括: 通过最小二乘法拟合出所述各当前网页集合的页面浏览量的分布函数。
5.如权利要求1所述的网页数据存储方法，其特征在于，所述根据所预估的页面浏览量淘汰该存储空间中存储的网页数据的步骤包括: 将该存储空间中对应的页面浏览量低于预设阈值的当前网页集合对应的网页数据淘汰。
6.如权利要求1所述的网页数据存储方法，其特征在于，所述根据所预估的页面浏览量淘汰该存储空间中存储的网页数据的步骤包括: 将该存储空间中存储的网页数据对应的各当前网页集合按照对应的页面浏览量从小到大的顺序排列； 逐次淘汰排列在前面的指定数量的当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
7.如权利要求1所述的网页数据存储方法，其特征在于，所述根据所预估的页面浏览量淘汰该存储空间中存储的网页数据的步骤包括: 从该存储空间中按照对应的页面浏览量从小到大的顺序依次淘汰各当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
8.如权利要求1所述的网页数据存储方法，其特征在于，所述判断指定的存储空间是否足够存储该目标网页集合对应的网页数据的步骤后还包括: 当该存储空间足够存储该目标网页集合对应的网页数据时，将该目标网页集合对应的网页数据存入该存储空间。
9.一种网页数据存储装置，其特征在于，该装置包括: 判断模块，用于当接收到一目标网页集合对应的网页数据的存储请求时，判断指定的存储空间是否足够存储该目标网页集合对应的网页数据； 预估模块，用于当该存储空间不足够存储该目标网页集合对应的网页数据时，预估与该存储空间中存储的网页数据对应的各当前网页集合在下一个预设周期中的页面浏览量; 淘汰模块，用于根据所预估的页面浏览量淘汰该存储空间中存储的网页数据，使该存储空间足够存储该目标网页集合对应的网页数据； 存储模块，用于将该目标网页集合对应的网页数据存入该存储空间。
10.如权利要求9所述的网页数据存储装置，其特征在于，所述预估模块用于: 统计所述的各当前网页集合分别在过去的若干个预设周期中的页面浏览量； 根据所统计的页面浏览量预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
11.如权利要求10所述的网页数据存储装置，其特征在于，所述的根据所统计的页面浏览量预估所述的各当前网页集合在下一个预设周期中的页面浏览量包括: 根据所统计的页面浏览量分别拟合出所述的各当前网页集合的页面浏览量的分布函数； 根据该分布函数预估所述的各当前网页集合在下一个预设周期中的页面浏览量。
12.如权利要求11所述的网页数据存储装置，其特征在于，所述各当前网页集合的页面浏览量的分布函数通过最小二乘法拟合出来。
13.如权利要求9所述的网页数据存储装置，其特征在于，所述淘汰模块用于: 将该存储空间中对应的页面浏览量低于预设阈值的当前网页集合对应的网页数据淘汰。
14.如权利要求9所述的网页数据存储装置，其特征在于，所述淘汰模块用于: 将该存储空间中存储的网页数据对应的各当前网页集合按照对应的页面浏览量从小到大的顺序排列； 逐次淘汰排列在前面的指定数量的当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
15.如权利要求9所述的网页数据存储装置，其特征在于，所述淘汰模块用于: 从该存储空间中按照对应的页面浏览量从小到大的顺序依次淘汰各当前网页集合对应的网页数据，直至该存储空间足够存储该目标网页集合对应的网页数据。
16.如权利要求9所述的网页数据存储装置，其特征在于，所述存储模块用于当判断模块判断该存储空间足够存储该目标网页集合对应的网页数据时，将该目标网页集合对应的网页数据存入该存储空间。
【文档编号】G06F17/30GK104239370SQ201310253815
【公开日】2014年12月24日 申请日期:2013年6月24日 优先权日:2013年6月24日
【发明者】蔡兵 申请人:腾讯科技（深圳）有限公司