批处理优化渲染和获取架构的制作方法

文档序号:12287929阅读:来源:国知局

技术特征:

1.一种计算机系统,包括:

至少一个处理器;以及

存储器,所述存储器存储:

嵌入式项的内容的数据仓库,以及

指令,所述指令在由所述至少一个处理器执行时使得所述系统:

从批处理进程接收渲染网页的请求,

识别所述网页中的嵌入式项,

基于重写规则确定所述嵌入式项具有与先前获取的嵌入式项的内容重复的内容,

响应于所述确定,从所述数据仓库提供所述先前获取的嵌入式项的所述内容,

利用所述先前获取的嵌入式项的所述内容生成所述网页的渲染结果,并且

将所述渲染结果提供给所述批处理进程。

2.根据权利要求1所述的系统,其中,作为确定所述嵌入式项具有与先前获取的嵌入式项的内容重复的内容的一部分,所述指令还包括以下指令,该指令在由所述至少一个处理器执行时使得所述系统:

将所述嵌入式项与所述重写规则的模板进行匹配,所述重写规则还包括重定向标识符,

其中,提供所述先前获取的嵌入式项的所述内容包括使用所述重定向标识符来定位所述先前获取的嵌入式项的所述内容。

3.根据权利要求2所述的系统,其中,所述模板包括没有查询串的URL。

4.根据权利要求1所述的系统,其中,所述嵌入式项是第一嵌入式项,并且所述指令还包括以下指令,该指令在由所述至少一个处理器执行时使得所述系统:

识别所述网页中的第二嵌入式项;

确定所述第二嵌入式项是否被列入黑名单;

当所述第二嵌入式项被列入黑名单时返回错误,而不获取所述第二嵌入式项的内容;并且

生成没有所述第二嵌入式项的所述内容的渲染结果。

5.根据权利要求1所述的系统,其中,所述指令还包括以下指令,该指令在由所述至少一个处理器执行时使得所述系统:

当生成所述渲染结果时使用虚拟时钟,

其中,所述虚拟时钟独立于真实时间而前进。

6.根据权利要求1所述的系统,其中,所述指令还包括以下指令,该指令在由所述至少一个处理器执行时使得所述系统:

当生成所述渲染结果时使用虚拟时钟,

其中,在等待所述先前获取的嵌入式项的所提供的内容的同时,所述虚拟时钟不前进。

7.根据权利要求1所述的系统,其中,所述嵌入式项是第一嵌入式项,并且所述指令还包括以下指令,该指令在由所述至少一个处理器执行时使得所述系统:

识别所述网页中的第二嵌入式项;

确定所述第二嵌入式项包括图像;

利用尺寸表生成指定所述第二嵌入式项的尺寸的虚假图像;并且

使用所述虚假图像来生成所述渲染结果。

8.一种方法,包括:

从批处理进程接收渲染网页的请求;

利用至少一个处理器将虚拟时钟和任务列表初始化以用于渲染所述网页,其中,当对嵌入式项的请求未完成时并且当任务准备好运行时所述虚拟时钟保持静止;

当所述虚拟时钟与所述任务列表中的停止任务的运行时间匹配时利用所述至少一个处理器生成所述网页的渲染结果;以及

将所述渲染结果提供给所述批处理进程。

9.根据权利要求8所述的方法,其中,将所述任务列表初始化包括向所述停止任务添加运行时间,该运行时间被设定为添加到所述虚拟时钟的预定时间。

10.根据权利要求8所述的方法,其中,所述批处理进程包括索引引擎,并且所述方法还包括使用所述渲染结果来对索引中的令牌排名。

11.根据权利要求8所述的方法,还包括当没有对嵌入式项的请求未完成并且所述任务列表中仅存在运行时间大于所述虚拟时钟的任务时,使所述虚拟时钟前进至所述任务列表中的任务的运行时间。

12.根据权利要求8所述的方法,还包括:

识别所述网页中的嵌入式图像;

请求所述嵌入式图像的内容;

响应于所述请求,接收指定所述嵌入式图像的尺寸但是内容为空的虚假图像;以及

使用所述虚假图像来生成所述渲染结果。

13.根据权利要求8所述的方法,其中,所述批处理进程是索引引擎,并且所述方法还包括基于所述渲染结果中的信息使所述网页的排名降低。

14.根据权利要求8所述的方法,其中,所述批处理进程是索引引擎,并且所述方法还包括使用所述渲染结果来索引动态生成的内容。

15.一种方法,包括:

从批处理渲染进程接收对网页中的嵌入式项的统一资源定位符(URL)的请求;

使用至少一个处理器来应用重写规则以确定重写的URL;

利用所述至少一个处理器确定所述重写的URL的内容是否存在于数据仓库中;

当所述内容存在时,将所述内容提供给所述批处理渲染进程;以及

当所述内容不存在时:

发起对所述内容的获取,其中,所述批处理渲染进程被配置为在所述获取期间在不暂停的情况下等待,

从web爬取引擎接收所述内容,

将所述内容提供给所述批处理渲染进程,并且

将所述内容存储在所述数据仓库中。

16.根据权利要求15所述的方法,还包括由所述批处理渲染进程利用所述内容来生成所述网页的渲染结果。

17.根据权利要求16所述的方法,其中,所述渲染结果包括布局信息和动态生成的内容。

18.根据权利要求15所述的方法,其中,应用重写规则包括:

将所述URL与模板进行匹配,所述模板与重定向URL关联,

其中,当所述URL与所述模板匹配时,所述重定向URL被确定为所述重写的URL,并且

其中,当所述URL未能与模板匹配时,所述URL被确定为所述重写的URL。

19.根据权利要求15所述的方法,该方法还包括:

基于存储在所述数据仓库中的所述嵌入式项的变化率或类型来确定所述重写的URL的内容失效;以及

响应于确定所述重写的URL的所述内容失效:

从所述web爬取引擎接收经更新的内容,

利用经更新的内容来更新所述数据仓库,并且

提供经更新的内容作为重写的URL的内容。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1