一种针对搜索引擎的评测方法及装置与流程

本申请涉及计算机技术领域，尤其涉及一种针对搜索引擎的评测方法及装置。

背景技术：

对于搜索引擎而言，经常涉及到版本的升级或更新，而不同版本的搜索引擎的搜索效果通常存在差异。例如升级后的版本较升级前，在搜索结果相关性(属于搜索效果中的一种)上提高或下降。为了确保待上线的升级版本相对于之前的版本在搜索效果上得以提升，需要在升级版本上线前对该版本的搜索引擎的搜索效果进行评测，以根据评测结果确定是否需要对待上线的升级版本进行完善。

现有技术中对搜索引擎的搜索效果的评测通常是由人工对该搜索引擎的相关搜索结果页面中的搜索结果逐条进行评测打分来实现的。该方案目前主要的缺陷是：针对每一个待测试的搜索引擎的新版本，都需要人工对搜索结果逐条打分，操作效率较低。

技术实现要素：

本申请的一个目的是提供一种新的针对搜索引擎的评测方法及装置，以提升对待测试版本的搜索引擎的搜索结果进行评测的效率，节约时间成本。

根据本申请的一方面，提供了一种针对搜索引擎的评测方法，该方法包括以下步骤：

获取测试版本的搜索引擎的待评测搜索结果集合；

获取对照版本的搜索引擎的已评测搜索结果集合；

获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果匹配的待评测搜索结果；

基于所述已评测搜索结果的评测结果，得到与其匹配的待评测搜索结果的评测结果；

其中，所述待评测搜索结果集合中的待评测搜索结果、已评测搜索结果集合中的已评测搜索结果分别是待测试版本的搜索引擎、对照版本的搜索引擎基于相同的搜索关键词搜索得到的。

根据本申请的另一方面，还提供了一种针对搜索引擎的评测装置，该评测装置包括：

待评测搜索结果获取单元，用于获取测试版本的搜索引擎的待评测搜索结果集合；

已评测搜索结果获取单元，用于获取对照版本的搜索引擎的已评测搜索结果集合；

匹配结果获取单元，用于获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果匹配的待评测搜索结果；

评测结果得到单元，用于基于所述已评测搜索结果的评测结果，得到与其匹配的待评测搜索结果的评测结果；

其中，所述待评测搜索结果集合中的待评测搜索结果、已评测搜索结果集合中的已评测搜索结果分别是待测试版本的搜索引擎、对照版本的搜索引擎基于相同的搜索关键词搜索得到的。

与现有技术相比，本申请的实施例具有以下优点：

本申请实施例通过将测试版本的搜索引擎得到的第一搜索结果和该搜索引擎的对照版本(如已上线版本)所得到的第二搜索结果进行对比获取测试版本的搜索引擎的待评测搜索结果集合中与对照版本的搜索引擎的已评测搜索结果集合中的已评测搜索结果相匹配的待评测结果，基于已评测搜索结果的评测结果，得到与其匹配的待评测搜索结果的评测结果，也即通过复用已经过评测的对照版本的搜索引擎的搜索结果的评测结果，来直接得到已匹配的待评测搜索结果的评测结果，而避免了对该已匹配的待评测搜索结果再次按照预定的评测规则进行复杂的评测的繁琐，显著提升了对这些已匹配的待评测搜索结果进行评测的效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1为根据本申请一个实施例的针对搜索引擎的评测方法的流程图；

图2为根据本申请一个实施例的对图1中的步骤s104所包括的步骤进行描述的流程图；

图3为根据本申请一个实施例的对图1或图2所示的评测方法还可以包括的其他步骤进行描述的流程图；

图4为根据本申请另一个实施例的针对搜索引擎的评测方法的流程图；

图5为根据本申请一个实施例的对图4中的步骤s401进行描述的流程图；

图6为根据本申请一个实施例的针对搜索引擎的评测装置的示意性框图；

图7为根据本申请另一个实施例的针对搜索引擎的评测装置的示意性框图；

图8为根据本申请又一个实施例的针对搜索引擎的评测装置的示意性框图；

图9为根据本申请一个实施例的对图8中的单元301进行描述的示意性框图；

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

在上下文中所称“计算机设备”，也称为“电脑”，是指可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程的智能电子设备，其可以包括处理器与存储器，由处理器执行在存储器中预存的存续指令来执行预定处理过程，或是由asic、fpga、dsp等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于服务器、个人电脑、笔记本电脑、平板电脑、智能手机等。

所述计算机设备包括用户设备与网络设备。其中，所述用户设备包括但不限于电脑、智能手机、pda等；所述网络设备包括但不限于单个网络服务器、多个网络服务器组成的服务器组或基于云计算(cloudcomputing)的由大量计算机或网络服务器构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。其中，所述计算机设备可单独运行来实现本申请，也可接入网络并通过与网络中的其他计算机设备的交互操作来实现本申请。其中，所述计算机设备所处的网络包括但不限于互联网、广域网、城域网、局域网、vpn网络等。

需要说明的是，所述用户设备、网络设备和网络等仅为举例，其他现有的或今后可能出现的计算机设备或网络如可适用于本申请，也应包含在本申请保护范围以内，并以引用方式包含于此。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本申请的示例性实施例的目的。但是本申请可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本申请作进一步详细描述。

根据本申请的一个实施例，提供了一种针对搜索引擎的评测方法。

其中，搜索引擎包括但不限于提供文字、图片、视频、音乐、博客、地图信息等搜索服务的工具。

本申请实施例的评测方法可以由计算机设备来执行。

请参考图1，所述评测方法可以包括步骤s101、步骤s102、步骤s103和步骤s104。

在步骤s101，获取测试版本的搜索引擎的待评测搜索结果集合。

在步骤s102，获取对照版本的搜索引擎的已评测搜索结果集合。

其中，所述待评测搜索结果集合中的待评测搜索结果、已评测搜索结果集合中的已评测搜索结果分别是待测试版本的搜索引擎、对照版本的搜索引擎基于相同的搜索关键词搜索得到的。

其中，所述获取可以通过基于各种通信协议(例如存在于计算机中的面向对象编程里面对象之间的通信协议或计算机不同模块之间的消息传递协议)，与能够提供搜索结果集合的设备或数据库进行交互，来得到搜索结果集合。

具体而言，本申请实施例的搜索引擎包括但不限于用于提供给用户进行网页、新闻、音乐、视频、图片、地图等不同类型信息搜索的系统。

对于提供不同类型信息搜索服务的搜索引擎而言，基于其搜索得到的搜索结果通常存在差异。例如，对于提供网页搜索服务的搜索引擎而言，基于其得到的搜索结果是多个网页信息；对于提供地图信息搜索服务的搜索引擎而言，基于其得到的搜索结果则通常包括基于搜索关键词所得到的一个或多个地点的名称(例如某某广场)、坐标(例如以经纬度表示并在地图上根据经纬度信息予以标注其位置)、地址(例如北京市东城区东长安街)。

对于搜索引擎而言，经常涉及更新，通常更新后的搜索引擎的版本号与更新前的搜索引擎的版本号不相同。在此，本实施例的测试版本和对照版本分别指同一搜索引擎的不同版本，其中测试版本可以指尚未提供给公众使用、其搜索结果等待测试的版本，对照版本可以指其部分或全部搜索结果已经过评测的版本，相应地，测试版本得到的搜索结果集合称为待评测搜索结果集合，对照版本中已经过评测的搜索结果集合称为已评测搜索结果集合。

举例而言，对于某地图搜索引擎的测试版本和对照版本，以相同的搜索关键词“某某”为例，基于测试版本获取到的搜索结果(为描述便捷，仅以搜索结果中的地点名称为例)包括如下：

第一条搜索结果：某某地铁；

第二条搜索结果：某某广场；

第三条搜索结果：某某城楼。

则上述三条搜索结果在此可称为待评测搜索结果集合。

而基于对照版本获取到的搜索结果(同理，为描述便捷，仅以搜索结果中的地点名称为例)包括如下：

第一条搜索结果：某某广场；

第二条搜索结果：某某地铁；

第三条搜索结果：某某城楼。

对于对照版本下的这三条搜索结果而言，如果已经过评测，则在此可称为已评测搜索结果集合。

在步骤s103，获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果匹配的待评测搜索结果。

在此，搜索结果的匹配可以指内容上的相同或相似、内容且排序位置上的相同或相近等。例如，对于上述示例的以关键词“某某”进行搜索，分别于测试版本和对照版本下得到的搜索结果而言，测试版本得到的第一条搜索结果“某某地铁”和对照版本得到的第二条搜索结果在内容上相同，则这两条搜索结果匹配。当然，这仅是示例，对于不同的匹配规则，所得到的与已评测搜索结果匹配的待评测搜索结果通常也是不同的。

进一步地，还可以对匹配的搜索结果进行分类，例如所述步骤s103包括：

-从所述待评测搜索结果集合和已评测搜索结果集合中，获取内容匹配但在集合中排序位置不同的待评测搜索结果和已评测搜索结果作为第一类匹配搜索结果，以及，

-获取内容匹配且在集合中排序位置相同的待评测搜索结果和已评测搜索结果作为第二类匹配搜索结果。

其中，第一类匹配搜索结果例如指上述示例的以关键词“某某”进行搜索，分别于测试版本和对照版本下分别得到的内容匹配但在集合中排序位置不同的两条搜索结果“某某地铁”和“某某广场”。

其中，第二类匹配搜索结果例如指上述示例的以关键词“某某”进行搜索，分别于测试版本和对照版本下分别得到的内容匹配且在集合中排序位置相同的搜索结果“某某城楼”。

通过分类，便于针对不同类型的匹配搜索结果进行不同的后续处理(详见后续描述步骤s201和步骤s202)。

根据本申请的一个实施例，如果搜索引擎为地图搜索引擎，则上述从待评测搜索结果集合和已评测搜索结果集合中，获取内容匹配的待评测搜索结果和已评测搜索结果可以具体包括：

-从所述待评测搜索结果集合和已评测搜索结果集合中，获取名称、坐标及地址匹配的待评测搜索结果和已评测搜索结果。

例如，对于一条地图类搜索结果而言，其名称(例如某某广场)、坐标(例如以经纬度表示并在地图上根据经纬度信息予以标注其位置)或/和地址(例如北京市东城区东长安街)这三者中的至少之一和另一条地图类搜索结果相同或相似，则这两条地图类搜索结果的内容匹配。优选地，为了保证本实施例评测的准确性，只有在这三者都相同的情况下，才判定为两条地图类搜索结果内容匹配。

在步骤s104，基于所述已评测搜索结果的评测结果，得到与其匹配的待评测搜索结果的评测结果。

举例来说，对于上述示例的以“某某”为关键词、在测试版本下进行搜索得到的第三条搜索结果“某某城楼”，例如根据内容和排序位置都相同的匹配规则，其与对照版本的第三条已经过评测的搜索结果匹配，如果该经过评测的该搜索结果的评测结果是m分(例如以分值为单位)，则可以直接复用该m分作为测试版本中第三条搜索结果的评测结果，而无需如同现有技术中采用复杂的评测规则对该测试版本中的第三条搜索结果进行详细地评测从而得到评测结果，因而显著提升了对测试版本的搜索结果进行评测的效率。

可选地，为了对不同类型的匹配搜索结果进行针对性地评测，从而提升整个评测的完善性，请参考图2，对于上述实施例中将匹配的搜索结果分类为第一类匹配搜索结果和第二类匹配搜索结果而言，所述步骤s104包括：

步骤s201，针对第一类匹配搜索结果，将所述已评测搜索结果集合中与所述待评测结果内容匹配的已评测搜索结果的评测结果确定为所述待评测搜索结果的评测结果。

具体地，第一类匹配搜索结果如上文所述，指所述待评测搜索结果集合和已评测搜索结果集合中内容匹配但在集合中排序位置不同的待评测搜索结果和已评测搜索结果。

例如，对于上述示例的以关键词“某某”进行搜索，分别于测试版本和对照版本下得到的搜索结果而言，测试版本得到的第一条搜索结果“某某地铁”和对照版本得到的第二条搜索结果在内容上匹配但是排序位置不同，则将已评测搜索结果集合中内容匹配(即第二条)的搜索结果“某某地铁”的评测结果作为测试版本的第一条搜索结果“某某地铁”的评测结果。

步骤s202，针对第二类匹配搜索结果，将所述已评测搜索结果的评测结果确定为与其匹配的待评测搜索结果的评测结果。

具体地，第二类匹配搜索结果如上文所述，指待评测搜索结果集合和已评测搜索结果集合中内容匹配且在集合中排序位置相同的待评测搜索结果和已评测搜索结果。

例如，对于上述示例的以关键词“某某”进行搜索，分别于测试版本和对照版本下得到的搜索结果而言，测试版本得到的第三条搜索结果“某某城楼”与对照版本中的第三条搜索结果内容匹配且排序位置相同，则将对照版本中的该第三条搜索结果的评测结果作为该测试版本的第三条搜索结果的评测结果。

根据本申请的一个实施例，请参考图3，评测方法进一步包括：

步骤s301，获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果不匹配的待评测搜索结果。

具体地，搜索结果的不匹配可以指内容上的不同或不相似。例如，对于待评测结果集合中的某一条搜索结果a，已评测搜索结果集合中不存在内容上与a相同或相似的搜索结果，则该搜索结果a为待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果不匹配的待评测搜索结果。

步骤s302，基于预设的评测规则对所述不匹配的待评测搜索结果进行评测，得到所述不匹配的待评测搜索结果的评测结果。

具体地，预设的评测规则包括但不限于对待评测搜索结果信息完整性、准确度等进行评测。以地图类搜索结果为例，在准确度上对该搜索结果进行评测，如果一条地图类搜索结果在名称和位置上不对应，例如名称是“中关村大厦”，而位置却标注在“上海市”的某个地点，则评测该条搜索结果的分值为x(即评测结果)；如果一条地图类搜索结果在名称和位置上对应，则评测该条搜索结果的分值为y。通常x低于y。

基于本实施例，在得到已匹配的待评测搜索结果的评测结果的基础上，进一步基于预设的评测规则得到不匹配的待评测搜索结果的评测结果，从而综合两者来得到待评测搜索结果集合更全面的评测结果。

上文都是针对搜索结果进行评测，在此基础上，根据本申请的一个实施例，请参考图4，还可以对测试版本的搜索引擎进行评测，则评测方法进一步包括：

步骤s401，根据所述待评测搜索结果集合中的待评测搜索结果的评测结果，得到所述测试版本的搜索引擎的评测结果。

具体地，可以采用预设的对搜索引擎进行评测的规则，在得到待评测搜索结果集合中部分或全部待评测搜索结果的评测结果的基础上，进一步得到测试版本的搜索引擎的评测结果。

可选地，请参考图5，所述步骤s401具体包括：

步骤s501，确定待评测搜索结果的权重。

步骤s502，根据预设的计算规则和所述待评测搜索结果集合中多个待评测搜索结果的评测结果和权重，得到所述测试版本的搜索引擎的评测结果。

下文对上述步骤s501和s502进行详述。

其中，步骤s501中待评测搜索结果的权重可以根据第一类匹配搜索结果和第二类匹配搜索结果的区分而采用不同的方式予以确定，例如：

-针对第一类匹配搜索结果，将所述已评测搜索结果集合中与所述待评测搜索结果排序位置相同的已评测搜索结果的已知权重确定为所述待评测搜索结果的权重。

-针对第二类匹配搜索结果，将所述已评测搜索结果的已知权重确定为与其匹配的待评测搜索结果的权重。

对于上述两类情形，具体而言，例如，以关键词“某某”进行搜索，于对照版本的搜索引擎下得到两条搜索结果(以名称为例)如下：

第一条搜索结果：某某广场；

第二条搜索结果：某某地铁。

其中，第一条搜索结果的权重w1例如是1/1.5，第二条搜索结果的权重w2例如是0.5/1.5。

如果以同样的关键词“某某”于测试版本的搜索引擎下进行搜索得到两条排序不同但内容相同(即第一类匹配搜索结果的示例)的搜索结果(以名称为例)如下：

第一条搜索结果：某某地铁；

第二条搜索结果：某某广场。

则该测试版本下的第一条搜索结果“某某地铁”的权重确定为与上述对照版本的搜索结果集合中排序位置相同(即排名第一)的已评测搜索结果“某某广场”的已知权重w1例如是1/1.5相同，同理，该测试版本下的第二条搜索结果“某某广场”的权重确定为与上述对照版本的搜索结果集合中排序位置相同(即排名第二)的已评测搜索结果“某某地铁”的已知权重w2例如是0.5/1.5相同。

如果以同样的关键词“某某”于测试版本的搜索引擎下进行搜索得到两条排序和内容都相同(即第二类匹配搜索结果的示例)的搜索结果(以名称为例)如下：

第一条搜索结果：某某广场；

第二条搜索结果：某某地铁。

则该测试版本下的第一条搜索结果“某某广场”的权重确定为与上述对照版本的搜索结果集合中与其匹配的已评测搜索结果“某某广场”的已知权重1/1.5相同，同理，该测试版本下的第二条搜索结果“某某地铁”的权重确定为与上述对照版本的搜索结果集合中与其匹配的已评测搜索结果“某某地铁”的已知权重0.5/1.5相同。

本申请实施例根据不同的情形来相应地确定各情形下待评测搜索结果的权重，从而使所得到的测试版本的搜索引擎的评测结果根据不同的情形而有所不同，从而可以基于该评测结果更准确地体现不同版本搜索引擎的搜索效果的优劣。

继续叙述步骤s502，根据预设的计算规则和所述待评测搜索结果集合中多个待评测搜索结果的评测结果和权重，得到所述测试版本的搜索引擎的评测结果。

举例而言，采用公式和所述待评测搜索结果集合中多个待评测搜索结果的评测结果和权重得到所述测试版本的搜索引擎的评测结果，其中wi代表搜索引擎所得到的第i条搜索结果的权重，ri代表第i条搜索结果的评测结果(或称评分值)。

例如，以关键词“某某”进行搜索，于测试版本的搜索引擎下得到两条搜索结果(以名称为例)如下：

第一条搜索结果：某某广场；

第二条搜索结果：某某地铁。

其中，第一条搜索结果的权重w1例如是1/1.5，评分值(即评测结果)r1是100分；第二条搜索结果的权重w2例如是0.5/1.5，评分值r2是50分；则采用上述公式计算得到该测试版本的搜索引擎的评测结果为：

也即，通过上述计算，可以得到该测试版本的评测结果，以便于根据该评测结果来确定该版本的搜索引擎的搜索效果(体现为搜索准确性、相关性、完整性等)。

另外，由于本申请实施例在对待评测搜索结果进行评测的过程中可以复用与其匹配的已评测搜索结果的评测结果，而测试版本的搜索引擎的评测结果又是根据待评测搜索结果的评测结果所得到的，因而在提升对待评测搜索结果进行评测的效率的基础上也提升了对测试版本的搜索引擎进行评测的效率。

具体举例而言，以关键词“某某”进行搜索，于对照版本的搜索引擎下得到两条搜索结果(以名称为例)如下：

第一条搜索结果：某某广场；

第二条搜索结果：某某地铁。

其中，第一条搜索结果的权重w1例如是1/1.5，评分值r1是100分；第二条搜索结果的权重w2例如是0.5/1.5，评分值r2是50分；则采用上述公式计算得到该测试版本的搜索引擎的评测结果为86.6分，则：

在一个例子中，如果同样以关键词“某某”进行搜索，于测试版本的搜索引擎下得到仍是排序和内容与上述都相同的两条搜索结果，即对照版本和测试版本下的两条搜索结果都分别匹配，则由于测试版本的搜索结果在该情况下可以复用测试版本已经过评测的搜索结果的评测结果，因而，测试版本的搜索引擎的评测结果可以直接复用对照版本的搜索引擎的评测结果，即86.6分。

在另一个例子中，如果同样以关键词“某某”进行搜索，于测试版本的搜索引擎下得到是排序不同但内容相同的两条如下的搜索结果：

第一条搜索结果：某某地铁；

第二条搜索结果：某某广场。

这个例子相当于上述步骤s201针对第一类匹配搜索结果的情形，则可以将已评测搜索结果集合中与所述待评测结果内容匹配的已评测搜索结果的评测结果确定为所述待评测搜索结果的评测结果，具体而言，对于测试版本的第一条搜索结果“某某地铁”，可以复用对照版本的第二条搜索结果“某某地铁”的评测结果(或评测值)50分；同理，测试版本的第二条搜索结果“某某广场”复用对照版本的第一条搜索结果“某某广场”的评测结果100分。但是，在这种情形下，测试版本的第一条搜索结果的权重则与对照版本第一条搜索结果的权重相同(1/1.5)，同理，测试版本的第二条搜索结果的权重与对照版本第一条搜索结果的权重相同0.5/1.5，则采用上述公式计算得到该测试版本的搜索引擎的评测结果为：

通常，对于评测结果而言，分值越高，则表示搜索效果(如搜索相关性、准确性、完整性等)越好，因而，上述示例的测试版本由于分值70.71低于对照版本(86.6分)，因而搜索效果不如对照版本。

根据本申请的另一个方面的一个实施例，请参考图6，提供了一种针对搜索引擎的评测装置，该评测装置包括：

待评测搜索结果获取单元101，用于获取测试版本的搜索引擎的待评测搜索结果集合；

已评测搜索结果获取单元102，用于获取对照版本的搜索引擎的已评测搜索结果集合；

匹配结果获取单元103，用于获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果匹配的待评测搜索结果；

评测结果得到单元104，用于基于所述已评测搜索结果的评测结果，得到与其匹配的待评测搜索结果的评测结果；

其中，所述待评测搜索结果集合中的待评测搜索结果、已评测搜索结果集合中的已评测搜索结果分别是待测试版本的搜索引擎、对照版本的搜索引擎基于相同的搜索关键词搜索得到的。

可选地，匹配结果获取单元103用于：

从所述待评测搜索结果集合和已评测搜索结果集合中，获取内容匹配但在集合中排序位置不同的待评测搜索结果和已评测搜索结果作为第一类匹配搜索结果，以及，获取内容匹配且在集合中排序位置相同的待评测搜索结果和已评测搜索结果作为第二类匹配搜索结果。

可选地，如果搜索引擎为地图搜索引擎，则匹配结果获取单元103从所述待评测搜索结果集合和已评测搜索结果集合中，获取内容匹配的待评测搜索结果和已评测搜索结果具体包括：

-从所述待评测搜索结果集合和已评测搜索结果集合中，获取名称、坐标及地址匹配的待评测搜索结果和已评测搜索结果。

可选地，评测结果得到单元104用于：

针对第一类匹配搜索结果，将所述已评测搜索结果集合中与所述待评测结果内容匹配的已评测搜索结果的评测结果确定为所述待评测搜索结果的评测结果；

针对第二类匹配搜索结果，将所述已评测搜索结果的评测结果确定为与其匹配的待评测搜索结果的评测结果。

可选地，请参考图7，评测装置进一步包括：

不匹配结果获取单元201，用于获取所述待评测搜索结果集合中与所述已评测搜索结果集合中的已评测搜索结果不匹配的待评测搜索结果；

不匹配结果评测单元202，用于基于预设的评测规则对所述不匹配的待评测搜索结果进行评测，得到所述不匹配的待评测搜索结果的评测结果。

可选地，请参考图8，评测装置进一步包括：

搜索引擎评测结果得到单元301，用于根据所述待评测搜索结果集合中的待评测搜索结果的评测结果，得到所述测试版本的搜索引擎的评测结果。

可选地，请参考图9，所述搜索引擎评测结果得到单元301具体包括：

权重确定模块401，用于确定待评测搜索结果的权重；

搜索引擎评测结果得到模块402，用于根据预设的计算规则和所述待评测搜索结果集合中多个待评测搜索结果的评测结果和权重，得到所述测试版本的搜索引擎的评测结果。

可选地，权重确定模块401具体用于：

针对第一类匹配搜索结果，将所述已评测搜索结果集合中与所述待评测结果排序位置相同的已评测搜索结果的已知权重确定为所述待评测搜索结果的权重；

针对第二类匹配搜索结果，将所述已评测搜索结果的已知权重确定为与其匹配的待评测搜索结果的权重。

需要注意的是，本申请可在软件和/或软件与硬件的组合体中被实施，例如，本申请的各个装置可采用专用集成电路(asic)或任何其他类似硬件设备来实现。在一个实施例中，本申请的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本申请的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本申请的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其他的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

虽然前面特别示出并且描述了示例性实施例，但是本领域技术人员将会理解的是，在不背离权利要求书的精神和范围的情况下，在其形式和细节方面可以有所变化。