一种快照抓取方法、装置、服务器及系统与流程

文档序号:11251051阅读:443来源:国知局
一种快照抓取方法、装置、服务器及系统与流程

本发明涉及计算机处理技术领域,特别是涉及一种快照抓取方法、装置、服务器及系统。



背景技术:

随着科技的发展,对业务(如搜索业务)提供的与搜索词对应的搜索结果进行处理的计算机应用越来越多,其中,提供搜索业务的产品包括腾讯视频、优酷视频等。但是,因现有技术一般是通过人工操作的方式获取业务下与搜索词对应的搜索结果,所以往往存在因搜索结果获取效率低、导致的计算机应用处理效率低的问题。

例如,用于如实反映多个业务在搜索结果上的差异,并对搜索效果差的搜索结果进行分析,以便相应业务进行改进的评测系统,在对业务进行评测的过程中,便会存在因是通过人工操作方式获取业务下与搜索词对应的搜索结果,而使得搜索结果获取效率低、进而导致评测系统评测效率低的问题。



技术实现要素:

有鉴于此,本发明实施例提供一种快照抓取方法、装置、服务器及系统,以提高搜索结果的获取效率、为基于搜索结果进行处理的计算机应用做技术支持,进而提高计算机应用的处理效率。

为了实现上述目的,本发明实施例提供的技术方案如下:

一种快照抓取方法,包括:

确定目标搜索词和多个业务;

基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

一种快照抓取装置,包括:

确定单元,用于确定目标搜索词和多个业务;

搜索请求构建单元,用于基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

搜索请求发送单元,用于向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

快照生成单元,用于对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

一种快照抓取服务器,包括存储器和处理器,所述存储器用于存储程序,所述处理器调用所述程序,所述程序用于:

确定目标搜索词和多个业务;

基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

一种快照抓取系统,包括业务服务器以及所述快照抓取服务器。

本申请实施例提供一种快照抓取方法、装置、服务器及系统,通过确定目标搜索词和多个业务;基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;向所述业务对应的业务服务器发送与所述业务对应的搜索请求;对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照(其中,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的)的方式,实现了对搜索结果的自动获取,以提高搜索结果的获取效率、为基于搜索结果进行处理的计算机应用做技术支持,进而提高了计算机应用的处理效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种快照抓取方法流程图;

图2为本申请实施例提供的一种基于所述目标搜索词分别构建与每个所述业务对应的搜索请求的方法流程图;

图3为本申请实施例提供的一种遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求的方法流程图;

图4为本申请实施例提供的另一种快照抓取方法流程图;

图5为本申请实施例提供的一种快照抓取装置的结构示意图;

图6为本申请实施例提供的一种搜索请求构建单元的详细结构示意图;

图7为本申请实施例提供的一种搜索请求构建子单元的详细结构示意图;

图8为本申请实施例提供的一种快照抓取装置的硬件结构框图;

图9为本申请实施例提供的一种快照抓取系统的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

实施例:

图1为本申请实施例提供的一种快照抓取方法流程图。

可选的,如图1所述的快照抓取方法应用于快照抓取服务器,所述快照抓取服务器与至少一个业务的业务服务器相连,所述快照抓取服务器用于与与其相连的业务服务器进行信息交互,以实现对快照的抓取。

可选的,本申请实施例提供的一种快照抓取方法中的业务为搜索业务(提供搜索功能的业务)。所述业务在终端的展示界面中设置有搜索模块,用户通过在搜索模块中输入搜索词进行搜索,即可得到所述业务中与所述搜索词相关的内容。

可选的,所述业务包括腾讯视频提供的腾讯视频搜索业务、优酷视频提供的优酷视频搜索业务、百度视频提供的百度视频搜索业务、搜酷视频提供的搜酷视频搜索业务等。

以上仅仅是本申请实施例提供的业务的优选方式,发明人可根据自己的需求任意设置业务的具体内容,在此不做限定。

可选的,评测系统用于如实反映多个业务在搜索结果上的差异,并对搜索效果差的搜索结果进行分析,以便于相应的业务进行改进。例如,在通过评测系统如实的反映腾讯视频、优酷视频和百度视频在搜索结果上的差异时,可以“汽车总动员”为搜索词,分别对腾讯视频、优酷视频和百度视频进行搜索,以得到与腾讯视频对应的搜索结果1、与优酷视频对应的搜索结果2以及和百度视频对应的搜索结果3,进而比较搜索结果1、搜索结果2和搜索结果3的差异,并对搜索效果差的搜索结果进行分析,以便于搜索效果差的业务进行改进(比如,当比较搜索结果1、搜索结果2和搜索结果3的差异,确定搜索结果2的搜索效果差时,可对搜索结果2进行分析,以便于搜索效果差的优酷视频进行改进)。

可选的,本申请实施例提供的如图1所示的一种快照抓取方法,用于实现对业务中的与搜索词对应的搜索结果的自动获取(比如,实现对腾讯视频中的与搜索词“汽车总动员”对应的搜索结果1的自动获取、实现对优酷视频中的与搜索词“汽车总动员”对应的搜索结果2的自动获取,以及实现对百度视频中的与搜索词“汽车总动员”对应的搜索结果3的自动获取),以提高搜索结果的获取效率、为基于搜索结果(比如,搜索结果1、搜索结果2和搜索结果3)进行处理的计算机应用(比如,评测系统)做技术支持,进而提高了计算机应用的处理效率。

如图1所示,该方法包括:

s101、确定目标搜索词和多个业务;

可选的,本申请实施例提供的一种快照抓取方法,首先需要确定目标搜索词和多个业务,其中,所述目标搜索词的个数为至少一个,当所述目标搜索词的个数为多个时,针对每个所述目标搜索词执行一遍本申请实施例提供的步骤s102-s104。

例如,本申请实施例中确定的目标搜索词和多个业务,包括:目标搜索词1“汽车总动员”、目标搜索词2“安徽频道”,业务1(腾讯视频)、业务2(优酷视频)以及业务3(搜酷视频)。

以上仅仅是本申请实施例为了便于理解提供的步骤s101所确定的目标搜索词和多个业务的优选方式,发明人可根据自己的需求任意设置步骤s101中确定的目标搜索词和多个业务的具体内容,在此不做限定。

s102、基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

可选的,在步骤s101中确定目标搜索词和多个业务后,可基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作。

例如,步骤101确定的目标搜索词为搜索词1,确定的多个业务分别为业务1、业务2和业务3;步骤s102中根据搜索词1构建与业务1对应的搜索请求1,根据搜索词1构建与业务2对应的搜索请求2,根据搜索词1构建与业务3对应的搜索请求3。其中,搜索请求1、搜索请求2和搜索请求3均指示执行与搜索词1对应的搜索操作。即,搜索请求1指示在业务1中执行与搜索词1对应的搜索操作,搜索请求2指示在业务2中执行与搜索词1对应的搜索操作,搜索请求3指示在业务3中执行与搜索词1对应的搜索操作。

s103、向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

例如,步骤101确定的目标搜索词为搜索词1,确定的多个业务分别为业务1、业务2和业务3;步骤s102中根据搜索词1构建与业务1对应的搜索请求1,根据搜索词1构建与业务2对应的搜索请求2,根据搜索词1构建与业务3对应的搜索请求3;在假设业务1对应业务服务器1,业务2对应业务服务器2,业务3对应业务服务器3的情况下,步骤s103中向业务服务器1发送搜索请求1,向业务服务器2发送搜索请求2,向服务器3发送搜索请求3。

相应的,业务服务器1用于执行与搜索词1对应的搜索操作,得到搜索结果1,业务服务器2用于执行与搜索词1对应的搜索操作,得到搜索结果2,业务服务器3用于执行与搜索词1对应的搜索操作,得到搜索结果3。

需要说明的是:业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到搜索结果后,需将搜索结果返回给用于执行本申请实施例提供的一种快照抓取方法的服务器(快照抓取服务器)。

例如,上述业务服务器1在得到搜索结果1后,会将搜索结果1返回给快照抓取服务器;业务服务器2在得到搜索结果2后,会将搜索结果2返回给快照抓取服务器;业务服务器3在得到搜索结果3后,会将搜索结果3返回给快照抓取服务器。

s104、对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

可选的,本申请实施例提供的一种快照抓取方法,在接收到业务服务器返回的搜索结果后,对业务服务器返回的搜索结果进行解析处理,得到与所述业务服务器对应的业务中的与所述目标搜索词对应的快照(即在所述业务服务器对应的业务中通过所述目标搜索词进行搜索所得到的搜索结果的快照)。

可选的,利用预设的开源工具phantomjs对所述业务对应的业务服务器返回的搜索结果进行解析处理,并将解析处理的结果作为所述业务下与所述目标搜索词对应的快照。

可选的,因接收到的业务服务器返回的搜索结果通常是不可读的,故通过开源工具phantomjs对搜索结果进行解析处理,以得到可读的搜索结果,并将此可读的搜索结果作为快照。

以上仅仅是本申请实施例的优选方式,发明人可根据自己的需求任意设置用于对业务对应的业务服务器返回的搜索结果进行解析处理的具体方法,在此不做限定。

本申请实施例提供一种快照抓取方法,通过确定目标搜索词和多个业务;基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;向所述业务对应的业务服务器发送与所述业务对应的搜索请求;对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照(其中,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的)的方式,实现了对搜索结果的自动获取,以提高搜索结果的获取效率、为基于搜索结果进行处理的计算机应用做技术支持,进而提高了计算机应用的处理效率。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的步骤101(确定目标搜索词和多个业务)的具体实现方法进行详细介绍。

可选的,所述确定目标搜索词,包括:从预设的多个搜索词中选取一搜索词作为目标搜索词,所述一搜索词未曾被确定为目标搜索词;或者,将用户输入的搜索词确定为目标搜索词。

其中,从预设的多个搜索词中选取一搜索词作为目标搜索词,所述一搜索词未曾被确定为目标搜索词,包括:从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词。

可选的,还可通过“从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词”以及“将用户输入的搜索词确定为目标搜索词”这两种方式一起实现对步骤s101中目标搜索词的确定。

可选的,预设有多个搜索词,从预设的所述多个搜索词中选取未曾被确定为目标搜索词的搜索词作为目标搜索词。

在本申请实施例中,优选的,当预设有目标搜索词数量时,如果预设的所述多个搜索词中未曾被确定为目标搜索词的搜索词的个数未达到所述目标搜索词数量时,获取预设的所述多个搜索词中未曾被确定为目标搜索词的所有搜索词,并将所获取的每个搜索词作为一个目标搜索词;如果预设的所述多个搜索词中未曾被确定为目标搜索词的搜索词的个数达到所述目标搜索词数量时,从预设的所述多个搜索词中选取未曾被确定为目标搜索词的多个搜索词,将所选取的每个搜索词作为一个目标搜索词,所选取的搜索词的个数与所述目标搜索词数量相同。

在本申请实施例中,优选的,预设的所述多个搜索词中的每个搜索词具有搜索词优先级,从预设的所述多个搜索词中选取未曾被确定为目标搜索词的搜索词,按照搜索词优先级从高到低的顺序从所选取的搜索词中确定满足目标搜索词数量的搜索词(所确定的搜索词的个数与所述目标搜索词数量相同),并将所确定的每个搜索词作为一个目标搜索词。

例如,预设有5个搜索词,分别为搜索词a、搜索词b、搜索词c、搜索词d和搜索词e,并且,搜索词c、搜索词b、搜索词a、搜索词d和搜索词e的搜索词优先级依次升高。其中,搜索词d和搜索词e为曾经被确定为目标搜索词的搜索词,搜索词c、搜索词b和搜索词a为未曾被确定为目标搜索词的搜索词。假设预设的目标搜索词数量为2时,确定搜索词a为一个目标搜索词、搜索词b为一个目标搜索词。

可选的,本申请实施例提供的一种快照抓取方法中,还包括:从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词。

在本申请实施例中,优选的,在从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词的情况下,所述从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词,包括:从预设的多个搜索词中,选取未曾被确定为目标搜索词且未被屏蔽的搜索词作为目标搜索词。

可选的,从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词,包括:响应用户对所述多个搜索词中的搜索词的选择操作,屏蔽所述选择操作所选择的每一个搜索词。

可选的,从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词,包括:在所述多个搜索词中的一搜索词为目标搜索词的情况下,若根据所述一搜索词执行步骤s102-s104的过程中,出现执行出错的情况,则确定所述一搜索词为从所述多个搜索词中选取的需屏蔽的搜索词,屏蔽所述一搜索词。可选的,所述执行出错指示非正常执行。

本申请实施例中,优选的,通过从预设的多个搜索词中,选取未曾被确定为目标搜索词且未被屏蔽的搜索词作为目标搜索词的方式,使得预设的多个搜索词中,只要是曾经被确定为目标搜索词的搜索词、或者,被屏蔽的搜索词,均不能作为目标搜索词,来执行本申请实施例提供的一种快照抓取方法,这样,一方面保证了一搜索词不被重复确定为目标搜索词,另一方面保证了按照用户意愿顺利执行本申请实施例提供的一种快照抓取方法。

比如,在响应用户对所述多个搜索词中的搜索词的选择操作,屏蔽所述选择操作所选择的每一个搜索词的情况下,若是设置被屏蔽的搜索词不能被确定为目标搜索词,则可以有效保证按照用户的意愿执行本申请实施例提供的一种快照抓取方法。即,用户可以通过选择操作从预设的多个搜索词中选择搜索词进行屏蔽,以使得本申请实施例提供的一种快照抓取方法在具体执行过程中,不再将其选择的被屏蔽的搜索词确定为目标搜索词,以进行相应的搜索操作,进而保证按照用户的意愿执行本申请实施例提供的一种快照抓取方法。

进一步的,在本申请实施例提供的一种快照抓取方法中,若搜索词1是因执行出错的原因被屏蔽,在从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词的过程中,还可以将搜索词1看作未曾被确定为目标搜索词、且未被屏蔽的的情况进行处理,即,从预设的多个搜索词中,选取未曾被确定为目标搜索词、且未被屏蔽的搜索词作为目标搜索词(此目标搜索词可以为搜索词1)。

进一步的,本申请实施例提供的一种快照抓取方法中,还包括:为每个被屏蔽的搜索词设置标记信息,所述标记信息用于指示所述搜索词已被屏蔽,且所述标记信息中携带与所述搜索词对应的屏蔽原因信息。

进一步的,本申请实施例提供的一种快照抓取方法,还包括:从所有被屏蔽的搜索词中确定待处理搜索词,所述待处理搜索词携带的屏蔽原因信息指示所述搜索词对应的屏蔽原因为执行出错;存储所确定的待处理搜索词,以便于用户对所确定的待处理搜索词进行处理。比如,重新将所确定的待处理搜索词中的待处理搜索词确定为目标搜索词,以执行本申请实施例提供的一种快照抓取方法。

以上仅仅是本申请实施例提供的用于实现“从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词”过程的优选方式,发明人可根据自己的需求任意设置此过程的具体执行方式,在此不做限定。

可选的,用户可根据自己的搜索需求输入至少一个搜索词,本申请实施例提供的一种快照抓取方法,可将用户输入的每个搜索词确定为一个目标搜索词。

在本申请实施例中,优选的,所述从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词的方式包括:响应用户的搜索词选取操作,从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词;或者,自动从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词。

可选的,在步骤s101中确定的目标搜索词为多个的情况下,针对每个所述目标搜索词而言,均执行一遍步骤s102-s104。

进一步的,在本申请实施例提供的一种快照抓取方法中,还可为所述多个搜索词中的每个搜索词设置搜索词优先级(所述多个搜索词中的各个所述搜索词的搜索词优先级之间互不相同),在步骤s101中确定的目标搜索词为多个的情况下,还可设置按照搜索词优先级从高到低的顺序,依次根据每个目标搜索词执行一遍步骤s102-s104。

可选的,为多个搜索词中的每个搜索词设置搜索词优先级的第一因素包括搜索词的热度、搜索词对应的快照的内容的准确度。

其中,搜索词的热度指示搜索词被搜索的次数/频率;在预设时间段内搜索词被搜索的次数越多/频率越高,则确定搜索词的热度越高;搜索词的热度越高,则确定搜索词的搜索词优先级越高。

搜索词对应的快照的内容的准确度指示:搜索词上一次被作为目标搜索词时,得到的与该搜索词对应的快照的内容的准确度。

可选的,可将搜索词对应的快照的内容的准确度不满足预设准确度阈值的搜索词,重新作为目标搜索词以执行本申请实施例提供的一种快照抓取方法。

在本申请实施例中,优选的,未曾被作为目标搜索词的搜索词的搜索词优先级低于曾被作为目标搜索词、但得到的对应的快照的内容的准确度不满足所述准确度阈值的搜索词的搜索词优先级;并且,针对对应的快照的内容的准确度不满足所述准确度阈值的多个搜索词而言,对应的快照的内容的准确度越低的搜索词的搜索词优先级越低。

以上仅仅是本申请实施例提供的一种确定目标搜索词的优选方式,发明人可根据自己的需求任意设置确定目标搜索词的具体实现方式,在此不做限定。

可选的,所述确定多个业务的方式,包括:响应用户对预设的业务集合中的业务的选择操作,将所述选择操作所选择的每个业务分别作为一个目标业务;或者,将用户输入的每个业务信息对应的业务作为一个目标业务。

可选的,还可通过“响应用户对预设的业务集合中的业务的选择操作,将所述选择操作所选择的每个业务分别作为一个目标业务”以及“将用户输入的每个业务信息对应的业务作为一个目标业务”这两种方式一起实现对步骤s101中多个业务的确定。

可选的,预设有业务集合,所述业务集合中包括至少一个业务,响应用户对预设的业务集合中的业务的选择操作,将所述选择操作所选择的每个业务分别作为一个目标业务。

可选的,用户可输入业务信息,本申请实施例提供的一种快照抓取方法中,可分别将用户输入的每个业务信息对应的业务作为一个目标业务。

可选的,接收用户输入的业务表单,所述业务表单中包括至少一个业务信息,分别将所述业务表单中的每个业务信息对应的业务的作为一个目标业务。

以上仅仅是本申请实施例提供的一种确定多个业务的优选方式,发明人可根据自己的需求任意设置确定多个业务的具体实现方式,在此不做限定。

通过上述对本申请实施例提供的确定目标搜索词和多个业务的方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的一种基于所述目标搜索词分别构建与每个所述业务对应的搜索请求的方法进行详细介绍,请参见图2。

如图2所示,该方法包括:

s201、分别确定每个所述业务的唯一的业务标识;

可选的,每个业务对应有唯一的业务标识。其中,所述业务的业务标识包括所述业务的统一资源定位符。

可选的,确定业务的唯一的业务标识的过程包括:确定业务的唯一的标识信息,基于对应所述业务的标识信息确定所述业务的唯一的业务标识。

在本申请实施例中,优选的,所述标识信息为业务编号。比如,腾讯视频提供的腾讯视频搜索业务的业务编号为1,优酷视频提供的优酷视频搜索业务的业务编号是2。

可选的,预先设置有标识信息与业务标识的对应关系,在确定与业务唯一对应的标识信息后,查找预设的标识信息与业务标识的对应关系,从而确定与所述业务唯一对应的标识信息所对应的业务标识,作为确定的所述业务的唯一的业务标识。

s202、遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求。

可选的,针对步骤s101所确定的多个业务而言,遍历所述多个业务中的每个业务,当每遍历到一个业务时,根据所述目标搜索词和当前所遍历到的业务的业务标识,构建与所遍历到的业务对应的搜索请求。

例如,在步骤s101所确定的多个业务分别为业务1(对应业务标识1)、业务2(对应业务标识2)以及业务3(对应业务标识3)的情况下,遍历业务1、业务2和业务3;当遍历到业务1时,根据业务标识1和所述目标搜索词构建与业务1对应的搜索请求;当遍历到业务2时,根据业务标识2和所述目标搜索词构建与业务2对应的搜索请求;当遍历到业务3时,根据业务标识1和所述目标搜索词构建与业务3对应的搜索请求。

通过上述对本申请实施例提供的一种基于所述目标搜索词分别构建与每个所述业务对应的搜索请求的方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的一种遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求的方法进行详细介绍,请参见图3。

如图3所示,该方法包括:

s301、确定所述多个业务中的每个业务的搜索优先级;

可选的,为了便于构建搜索请求的方式更加灵活、便于管理及根据用户需求而执行,可为步骤s101中所确定的多个业务中的每个业务分别设置搜索优先级,其中,所述多个业务中的各个业务的搜索优先级之间互不相同。

可选的,为多个业务中的每个业务分别设置搜索优先级的第二因素包括业务的热度。

其中,业务的热度指示业务被使用的次数/频率;在预设的时间段内业务被使用的次数越多/频率越高,则确定所述业务的热度越高;业务的热度越高,则确定所述业务的搜索优先级越高。

可选的,在执行“遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求”步骤时,可首先确定所述多个业务中每个业务的搜索优先级,进而根据步骤s301的执行结果执行步骤s302。

s302、按照搜索优先级从高到低的顺序遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求。

可选的,在确定所述多个业务中的每个业务的搜索优先级的情况下,可按照搜索优先级从高到低的顺序遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求。

例如,若步骤s101所确定的多个业务分别为业务1、业务2和业务3,在业务2的搜索优先级高于业务1的搜索优先级,业务1的搜索优先级高于业务3的搜索优先级的情况下,按照搜索优先级从高到低的顺序遍历所述多个业务,首先遍历到业务2,根据业务2的业务标识和目标搜索词,构建与业务2对应的搜索请求;进而遍历到业务1,根据业务1的业务标识和目标搜索词,构建与业务1对应的搜索请求;最后会遍历到业务3,根据业务3的业务标识和目标搜索词,构建与业务3对应的搜索请求。

可选的,若业务标识为统一资源定位符,所述根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求,包括:将所述目标搜索词拼接至所遍历到的业务的统一资源定位符中,以构建生成与所遍历到的业务对应的搜索请求。

以上仅仅是本申请实施例提供的一种根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求的优选方式,发明人可根据自己的需求任意设置根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求的具体实现方式,在此不做限定。

通过上述对本申请实施例提供的一种遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求的方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的另一种快照抓取方法进行详细介绍,请参见图4。

如图4所示,该方法,包括:

s401、确定目标搜索词和多个业务;

s402、基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

s403、向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

s404、对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的;

可选的,本申请实施例提供的步骤s401-s404的执行过程与上述实施例提供的步骤s101-s104的执行过程相同,有关步骤s401-s404的执行过程请参见上述实施例中对步骤s101-s104的执行过程的描述,在此不做限定。

s405、从所述多个业务中确定至少两个目标业务;

可选的,通过上述步骤s402-s404可执行完成对步骤s401所确定的目标搜索词和多个业务的快照抓取过程,在执行完成步骤s404(即,完成快照抓取过程后),可从步骤s401中所确定的多个业务中确定至少两个目标业务(比如,从所确定的多个业务中选取至少两个业务,所选取的每个业务确定为一个目标业务),以完成对所述至少两个目标业务的评测,可选的,对所述至少两个目标业务的评测过程请参见步骤s406-s407。

s406、分别获取每个所述目标业务下与所述目标搜索词对应的快照;

可选的,因步骤s402-s404执行完成后已得到了步骤s401所确定的多个业务中的每个业务下与所述目标搜索词对应的快照,因此,在执行完成步骤s405从所述多个业务中确定至少两个目标业务后,可分别获取与所述至少两个目标业务中的每个目标业务下与所述目标搜索词对应的快照。

s407、对与所述目标搜索词对应的各所述目标业务下的快照进行评测,得到与所述至少两个目标业务对应的基于所述目标搜索词的评测结果。

例如,若步骤s401所确定的目标搜索词为搜索词1,所确定的多个业务分别为业务1、业务2和业务3,执行完成步骤s402-s402后,可得到所述业务1下与搜索词1对应的快照1,业务2下与搜索词1对应的快照2,业务3下与搜索词1对应的快照3。如果步骤s405所确定的至少两个目标业务分别为业务1和业务3,那么,步骤s406包括:获取业务1下与搜索词1对应的快照1,以及业务3下与搜索词1对应的快照3;步骤s407对与搜索词1对应的业务1下的快照1,以及,与搜索词1对应的业务3下的快照3进行评测,得到与业务1和业务3基于搜索词1的评测结果。

可选的,所述业务下与所述目标搜索词对应的快照,包括:在所述业务中与所述目标搜索词对应的搜索结果的快照,即,在所述业务对应的业务服务器中与所述目标搜索词对应的搜索结果的快照。

通过上述对本申请实施例提供的另一种快照抓取方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的一种快照抓取方法进行进一步扩充。

进一步的,本申请实施例提供的一种快照抓取方法中,还包括:接收用户发送的快照查看请求,所述快照查看请指示有已执行完成所述快照抓取方法的搜索词;控制展示所述快照查看请求所指示的搜索词对应的各业务下的快照。

可选的,向用户展示执行完成所述快照抓取方法的各个搜索词,确定用户从所展示的各个搜索词中选取的搜索词,进而根据所选取的搜索词生成快照查看请求,所述快照查看请求中指示有所选取的搜索词。

相应的,本申请实施例提供的一种快照抓取方式,在接收到用户发送的快照抓取请求后,可控制展示所述快照抓取请求指示的所选取的搜索词对应的各业务下的快照。

例如,本申请实施例提供的一种快照抓取方法中,已执行完成所述快照抓取方法的各个搜索词分别为搜索词1(搜索词1对应的快照包括:业务1下与搜索词1对应的快照11,业务2下与搜索词1对应的快照12)、搜索词2(搜索词2对应的快照包括:业务1下与搜索词2对应的快照21,业务2下与搜索词2对应的快照22)和搜索词3(搜索词3对应的快照包括:业务1下与搜索词3对应的快照31,业务2下与搜索词3对应的快照32);向用户展示搜索词1、搜索词2和搜索词3;若用户从搜索词1、搜索词2和搜索词3中选取了搜索词2和搜索词3;此时,可根据搜索词2和搜索词3生成快照查看请求,所述快照查看请求指示有搜索词2和搜索词3。

相应的,本申请实施例提供的一种快照抓取方法,可接收所述快照查看请求(所述快照查看请求指示有搜索词2和搜索词3),控制展示与搜索词2对应的快照21和快照22,以及与搜索词3对应的快照31和快照32。

通过上述对本申请实施例提供的快照抓取方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

为了更加全面的对本申请实施例提供的一种快照抓取方法进行阐述,现对本申请实施例提供的一种快照抓取方法再次进行进一步扩充。

进一步的,本申请实施例提供的一种快照抓取方法中,还包括:响应接收到的用户发送的执行状态控制指令,控制所述快照抓取方法的执行状态。

在本申请实施例中,优选的,预设有执行状态控制按键,用户可通过所述执行状态控制按键向本申请实施例提供的一种快照抓取方法发送执行状态控制指令。

可选的,所述执行状态控制按键设置于用于执行本申请实施例提供的一种快照抓取方法的快照抓取服务器上。以上仅仅是本申请实施例的优选方式,发明人可根据自己的需求任意设置执行状态控制按键的设置位置,在此不做限定。

在执行本申请实施例提供的一种快照抓取方法的过程中,可响应接收到的用户发送的执行状态控制指令,控制所述快照抓取方法的执行状态。

可选的,所述执行状态控制按键包括至少一个子按键,所述子按键为启动按键、停止按键、继续按键、重新启动按键或终止按键等;其中,启动按键对应的执行状态控制指令指示启动执行所述快照抓取方法,停止按键对应的执行状态控制指令指示停止执行所述快照抓取方法,继续按键对应的执行状态控制指令指示继续执行所述快照抓取方法,重新启动按键对应的执行状态控制指令指示重新启动执行所述快照抓取方法,终止按键对应的执行状态控制指令指示终止执行所述快照抓取方法。相应的,当用户按下子按键后,即可生成与当前被按下的子按键对应的执行状态控制指令。

通过上述对本申请实施例提供的快照抓取方法的进一步介绍,使得本申请实施例提供的快照抓取方法更加清晰、完整,便于本领域技术人员理解。

上述本发明公开的实施例中详细描述了方法,对于本发明的方法可采用多种形式的装置实现,因此本发明还公开了一种装置,下面给出具体的实施例进行详细说明。

图5为本申请实施例提供的一种快照抓取装置的结构示意图。

如图5所示,该装置包括:

确定单元51,用于确定目标搜索词和多个业务;

搜索请求构建单元52,用于基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

搜索请求发送单元53,用于向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

快照生成单元54,用于对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

本发明实施例提供的搜索请求构建单元52的一种可选结构请参见图6。

如图6所示,所述搜索请求构建单元,包括:

业务标识确定单元61,用于分别确定每个所述业务的唯一的业务标识;

搜索请求构建子单元62,用于遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求。

本发明实施例提供的搜索请求构建子单元62的一种可选结构请参见图7。

如图7所示,所述搜索请求构建子单元,包括:

搜索优先级确定单元71,用于确定所述多个业务中的每个业务的搜索优先级;

构建单元72,用于按照搜索优先级从高到低的顺序遍历所述多个业务中的每个业务,并根据所遍历到的业务的业务标识和所述目标搜索词,构建与所遍历到的业务对应的搜索请求。

进一步的,本申请实施例提供的一种快照抓取装置还包括:目标业务确定单元,用于从所述多个业务中确定至少两个目标业务;快照获取单元,用于分别获取每个所述目标业务下与所述目标搜索词对应的快照;评测单元,用于对与所述目标搜索词对应的各所述目标业务下的快照进行评测,得到与所述至少两个目标业务对应的基于所述目标搜索词的评测结果。

可选的,所述确定单元,具体用于:从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词;或者,将用户输入的搜索词确定为目标搜索词。

进一步的,本申请实施例提供的一种快照抓取装置还包括:屏蔽单元,用于从所述多个搜索词中选取需屏蔽的至少一个搜索词,并屏蔽所述至少一个搜索词;所述从预设的多个搜索词中,选取未曾被确定为目标搜索词的搜索词作为目标搜索词,具体包括:从预设的多个搜索词中,选取未曾被确定为目标搜索词且未被屏蔽的搜索词作为目标搜索词。

进一步的,本申请实施例提供的一种快照抓取装置还包括:展示单元,所述展示单元用于:接收用户发送的快照查看请求,所述快照查看请指示有已执行完成所述快照抓取方法的搜索词;控制展示所述快照查看请求所指示的搜索词对应的各业务下的快照。

进一步的,本申请实施例提供的一种快照抓取装置还包括:控制单元,所述控制单元用于:响应接收到的用户发送的执行状态控制指令,控制所述快照抓取方法的执行状态。

以服务器为例,本申请实施例提供的一种快照抓取服务器的结构示意图,具体请参见图1。快照抓取服务器包括:处理器81和存储器82。

其中处理器81、存储器82、通信接口83通过通信总线84完成相互间的通信。

可选的,通信接口83可以为通信模块的接口,如gsm模块的接口。处理器81,用于执行程序。

处理器81可能是一个中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器82,用于存放程序。

程序可以包括程序代码,所述程序代码包括计算机操作指令。在本发明实施例中,程序可以包括上述用户界面编辑器对应的程序。

存储器82可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。

其中,程序可具体用于:

确定目标搜索词和多个业务;

基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;

向所述业务对应的业务服务器发送与所述业务对应的搜索请求;

对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的。

进一步的,本发明实施例还公开一种快照抓取系统。如图9所示为本申请实施例提供的一种快照抓取系统的结构示意图。

如图9所示,所述快照抓取系统包括:业务服务器91以及如上所述的快照抓取服务器92。

需要注意的是:所述业务服务器91包括:如上所述的快照抓取服务器92在执行“向所述业务对应的业务服务器发送与所述业务对应的搜索请求”过程时,所应用到的业务服务器。

本申请实施例提供一种快照抓取装置、服务器及系统,通过确定目标搜索词和多个业务;基于所述目标搜索词分别构建与每个所述业务对应的搜索请求,所构建的搜索请求指示执行与所述目标搜索词对应的搜索操作;向所述业务对应的业务服务器发送与所述业务对应的搜索请求;对所述业务对应的业务服务器返回的搜索结果进行解析处理,得到所述业务下与所述目标搜索词对应的快照(其中,所述搜索结果为所述业务对应的业务服务器响应接收到的搜索请求执行与所述目标搜索词对应的搜索操作得到的)的方式,实现了对搜索结果的自动获取,以提高搜索结果的获取效率、为基于搜索结果进行处理的计算机应用做技术支持,进而提高了计算机应用的处理效率。

本发明中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

以上仅是本发明的优选实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1