图像检索方法、服务端和扫描笔与流程

本发明涉及电子设备技术领域，尤其涉及一种图像检索方法、服务端和扫描笔。

背景技术：

智能阅读设备可以在用户阅读实体书时，应用自带的摄像头拍摄实体书页面图像，对实体书页面图像进行检索识别，从而向用户提供实体书的当前页面所对应的语音、视频等多媒体内容，从而丰富用户的阅读体验。

目前的智能阅读设备体积较大，便携性差，无法满足用户随时随地的阅读需求。

技术实现要素：

本发明实施例提供一种图像检索方法、服务端和扫描笔，用以解决现有技术中智能阅读设备便携性差的缺陷。

第一方面，本发明实施例提供一种图像检索方法，包括：

接收扫描笔采集的待检索图像的当前局部图像；

将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合；

基于所述当前候选集合，生成检索结果并返回所述扫描笔，以触发所述扫描笔在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像，并将所述下一局部图像更新为当前局部图像。

可选地，所述将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，具体包括：

若接收到所述扫描笔发送的检索会话标识，则将所述当前局部图像与所述检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合；

否则，生成检索会话标识并返回所述扫描笔，将所述当前局部图像与预设检索集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合。

可选地，所述将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，具体包括：

确定所述当前局部图像的局部图像特征；

若在所述上一候选集合中的任一候选图像的候选图像特征中遍历到所述局部图像特征，则将所述任一候选图像加入所述当前候选集合。

可选地，所述基于当前候选集合，生成检索结果并返回所述扫描笔，具体包括：

若所述当前候选集合中包含的候选图像数量为1，则生成检索完成信息作为所述检索结果返回所述扫描笔；

若所述当前候选集合中包含的候选图像数量为0，则生成检索失败信息作为所述检索结果返回所述扫描笔；

否则，基于所述当前候选集合中包含的候选图像数量，生成检索进度作为所述检索结果返回所述扫描笔。

可选地，所述若所述当前候选集合中包含的候选图像数量为1，则生成检索完成信息返回所述扫描笔，具体包括：

若所述当前候选集合中包含的候选图像数量为1，且所述当前候选集合中包含的候选图像为书目封面图像，则生成携带所述书目封面图像的书目信息的检索完成信息返回所述扫描笔，以触发所述扫描笔启动内容页扫描；

若所述当前候选集合中包含的候选图像数量为1，且所述当前候选集合中包含的候选图像为内容页图像，则生成携带所述内容页图像的媒体信息的检索完成信息返回所述扫描笔，以触发所述扫描笔展示所述媒体信息。

第二方面，本发明实施例提供一种图像检索方法，包括：

采集待检索图像的当前局部图像；

将所述当前局部图像发送至服务端，以供所述服务端将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于所述当前候选集合，生成检索结果；

接收所述服务端返回的所述检索结果，并在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像。

可选地，所述将所述当前局部图像发送至服务端，具体包括：

若所述当前局部图像为所述待检索图像的首个局部图像，则将所述当前局部图像发送至服务端，并接收所述服务端返回的检索会话标识；

否则，将所述当前局部图像和所述检索会话标识发送至所述服务端，以供所述服务端将所述当前局部图像与所述检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合。

可选地，所述接收所述服务端返回的所述检索结果，之后还包括：

若所述检索结果为检索失败信息，则提示用户重新采集待检索图像的当前局部图像；

若所述检索结果为检索完成信息，且所述检索完成信息携带有对所述待检索图像检索所得的书目封面图像的书目信息，则提示用户采集所述书目信息对应实体书内容页的局部图像；

若所述检索结果为检索完成信息，且所述检索完成信息携带有对所述待检索图像检索所得的内容页图像的媒体信息，则展示所述媒体信息。

第三方面，本发明实施例提供一种服务端，包括：

图像接收单元，用于接收扫描笔采集的待检索图像的当前局部图像；

局部匹配单元，用于将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合；

结果反馈单元，用于基于所述当前候选集合，生成检索结果并返回所述扫描笔，以触发所述扫描笔在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像，并将所述下一局部图像更新为当前局部图像。

第四方面，本发明实施例提供一种扫描笔，包括：

图像采集单元，用于采集待检索图像的当前局部图像；

图像发送单元，用于将所述当前局部图像发送至服务端，以供所述服务端将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于所述当前候选集合，生成检索结果；

结果接收单元，用于接收所述服务端返回的所述检索结果，并在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像。

第五方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面或第二方面提供的图像检索方法的步骤。

第六方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面提供的图像检索方法的步骤。

本发明实施例提供的图像检索方法、服务端和扫描笔，扫描笔针对待检索图像进行局部扫描，并与服务端针对局部图像进行匹配交互，从而实现基于扫描笔的图像检索，由此检索得到的结果可以触发当前页面所对应的语音、视频等多媒体内容，由于扫描笔自身的便携特征，具备图像检索功能的扫描笔可以随时随地满足用户的智能阅读需求；此外，每次匹配均是在上次匹配所得的候选集合的基础上进行的，由此可以在多次匹配过程中加快扫描速度，提高图像检索精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的图像检索方法的流程示意图；

图2为本发明实施例提供的局部图像匹配方法的流程示意图；

图3为本发明实施例提供的检索结果反馈方法的流程示意图；

图4为本发明另一实施例提供的图像检索方法的流程示意图；

图5为本发明实施例提供的封面图像检索方法的流程示意图；

图6为本发明实施例提供的内容页图像检索方法的流程示意图；

图7为本发明实施例提供的服务端的结构示意图；

图8为本发明实施例提供的扫描笔的结构示意图；

图9为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

扫描笔又名微型扫描仪或手刮式扫描笔，是一种手持式的电子设备。使用扫描笔的笔尖扫过书刊、报纸上的文字时，通过内置的光学字符识别(opticalcharacterrecognition，ocr)模块，能够对书刊、报纸上的文字进行识别、存储、编辑等操作。针对于目前的智能阅读设备存在便携性差的问题，本发明实施例依托扫描笔自带的扫描功能，提供一种基于扫描笔的图像检索方法。

图1为本发明实施例提供的图像检索方法的流程示意图，如图1所示，该方法的执行主体为服务端，该方法包括：

步骤110，接收扫描笔采集的待检索图像的当前局部图像。

具体地，扫描笔自身携带有具有图像采集功能的扫描头，当需要通过扫描笔进行图像检索时，用户可以握持扫描笔在待检索图像上沿直线进行扫描，在此过程中扫描笔的扫描头采集到了待检索图像中的部分图像，作为当前局部图像。

扫描笔在采集得到当前局部图像后，将当前局部图像发送到服务端，请求服务端基于当前局部图像进行图像检索。服务端对应接收当前局部图像。

步骤120，将当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合。

具体地，服务端在接收到当前局部图像后，可以将当前局部图像与上一候选集合中每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到当前候选集合。其中，上一候选集合即与上一局部图像匹配的候选图像所构成的集合，当前候选集合是在上一局部图像匹配的基础上，与当前局部图像匹配的候选图像的集合。

在执行步骤120之前，服务端可以预先设置一个预设检索集合，其中存储的候选图像均可用于图像检索。服务端在接收到首个局部图像后，将首个局部图像与预设检索集合中的所有候选图像进行匹配，将与首个局部图像相匹配的所有候选图像构成的集合作为首个候选集合。在此基础上，每次接收到新的局部图像，均可以与上一候选集合中的候选图像进行匹配，从而逐次缩小候选集合的规模，直至候选集合中剩余一个候选图像，可以直接将剩余的一个候选图像作为待检索图像的检索结果。

步骤130，基于当前候选集合，生成检索结果并返回扫描笔，以触发扫描笔在检索结果指示检索未完成时采集待检索图像的下一局部图像，并将下一局部图像更新为当前局部图像。

具体地，在得到当前候选集合后，可以根据当前候选集合中存在的候选图像的数量，分析当前针对待检索图像的检索进度，进而生成检索结果，并将检索结果反馈到扫描笔。此处的检索结果具体可以指示检索完成、检索未完成或者检索失败，指示检索未完成时检索结果具体可以是0至100％之间的检索进度。

扫描笔在接收到当前次的检索结果后，如果检索结果指示检索未完成，则可以提示用户继续握持扫描笔在待检索图像的其他区域沿直线进行扫描，扫描笔会在此过程中采集到待检索图像中其他区域的部分图像，作为下一局部图像。由于图像检索尚未完成，可以将下一局部图像更新为当前局部图像并发送给服务端，从而启动下一次的局部图像检索。

步骤110至步骤130的循环执行，可以通过扫描笔针对同一待检索图像进行若干次的局部图像扫描，应用每次扫描所得的局部图像在上次匹配所得的候选集合的基础上进行进一步匹配，从而逐步缩小图像检索范围，直至完成针对待检索图像的图像检索。

本发明实施例提供的方法，通过扫描笔针对待检索图像进行局部扫描，并与服务端针对局部图像进行匹配交互，从而实现基于扫描笔的图像检索，由此检索得到的结果可以触发当前页面所对应的语音、视频等多媒体内容。由于扫描笔自身的便携特征，具备图像检索功能的扫描笔可以随时随地满足用户的智能阅读需求；此外，每次匹配均是在上次匹配所得的候选集合的基础上进行的，由此可以在多次匹配过程中加快扫描速度，提高图像检索精度。

基于上述实施例，步骤120具体包括：

若接收到扫描笔发送的检索会话标识，则将当前局部图像与检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到检索会话标识对应的当前候选集合；

否则，生成检索会话标识并返回扫描笔，将当前局部图像与预设检索集合中的每一候选图像进行匹配，得到检索会话标识对应的当前候选集合。

具体地，在图像检索过程中，扫描笔和服务端之间存在多次交互，可以将检索一张图像的过程作为一次检索会话。具体到实体书识别领域，对内容页的识别可能要先后经历封面图像检索和内容页图像检索两个阶段，此时可以将封面图像检索和内容页图像检索各自作为一次检索会话，也可以将封面图像检索和内容页图像检索整体作为一次检索会话，本发明实施例对此不作具体限定。

交互过程中，扫描笔在向服务端发送当前局部图像的同时，还向服务端发送当前会话的检索会话标识。此处，检索会话标识即当前检索会话的会话id。

服务端如果在接收到当前局部图像的同时也接收到了检索会话标识，则可以根据检索会话标识查找当前检索会话在进行上一次局部图像匹配后产生的上一候选集合。在查找到上一候选集合后，即可将当前局部图像与上一候选集合中每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到检索会话标识对应的当前候选集合。

服务端如果在接收到当前局部图像的同时没有接收到检索会话标识，则说明当前局部图像是此次图像检索的首个局部图像，此次图像检索尚未生成检索会话标识。服务端可以直接生成此次图像检索对应的检索会话标识，并将新生成的检索会话标识返回到扫描笔。由于当前局部图像是首个局部图像，不存在对应的上一候选集合，则可以直接将当前局部图像与预先设定的预设检索集合中的每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到新生成的检索会话标识对应的当前候选集合。扫描笔得到新生成的检索会话标识之后，在针对此次图像检索的下一局部图像时，可以携带该检索会话标识以供服务端查找此次匹配所得的当前候选集合。

本发明实施例提供的方法，考虑到应用扫描笔进行图像检索需要多次交互的特征，通过设置检索会话标识保证了多次交互的顺利实现。

传统的图像匹配方法通常计算待匹配的图像的向量表示与候选图像的向量表示之间的相似度，通过相似度的高低判断待匹配的图像和候选图像是否匹配。但是在应用扫描笔进行图像扫描时，单次扫描仅能够得到待匹配的图像中的一部分，局部图像实际上无法反映待匹配图像的整体特征，因此上述匹配方法并不能适用于基于扫描笔的图像检索方法。

针对这一问题，基于上述任一实施例，图2为本发明实施例提供的局部图像匹配方法的流程示意图，如图2所示，步骤120具体包括：

步骤121，确定当前局部图像的局部图像特征。

步骤122，若在上一候选集合中的任一候选图像的候选图像特征中遍历到局部图像特征，则将该候选图像加入当前候选集合。

具体地，在接收到当前局部图像之后，首先需要确定当前局部图像的图像特征，作为局部图像特征。此处，局部图像特征可以是当前局部图像在颜色、纹理、形状等各个维度上的特征，局部图像特征可以通过将当前局部图像输入至预先训练好的图像特征提取模型中得到，或者也可以对当前局部图像中各个像素点的值直接编码得到颜色特征，作为局部图像特征。每一候选图像均对应存在候选图像特征，候选图像的候选图像特征可以是基于与当前局部图像的局部图像特征相同的特征提取方式得到的，本发明实施例对此不作具体限定。

在将当前局部图像与上一候选集合中的任一候选图像进行匹配时，可以遍历该候选图像的候选图像特征，若遍历得到局部图像特征，则说明当前局部图像可能是该候选图像中的一部分，当前局部图像与该候选图像相匹配，将该候选图像加入当前候选集合；若未能遍历得到局部图像特征，则说明当前局部图像不是候选图像中的一部分，当前局部图像与该候选图像不匹配，不将该候选图像加入当前候选集合。

本发明实施例提供的方法，通过在候选图像特征中遍历局部图像特征，实现了局部图像与整体图像的匹配。

基于上述任一实施例，图3为本发明实施例提供的检索结果反馈方法的流程示意图，如图3所示，步骤130中，所述基于当前候选集合，生成检索结果并返回扫描笔，具体包括：

步骤131，若当前候选集合中包含的候选图像数量为1，则生成检索完成信息作为检索结果返回扫描笔；

步骤132，若当前候选集合中包含的候选图像数量为0，则生成检索失败信息作为检索结果返回扫描笔；

步骤133，否则，基于当前候选集合中包含的候选图像数量，生成检索进度作为检索结果返回扫描笔。

具体地，在得到当前候选集合后，可以根据当前候选集合中包含的候选图像的数量，判断针对待检索图像的检索结果：

若当前候选集合中包含的候选图像数量为1，即当前仅存在一个候选图像与待检索图像的每个局部图像均匹配，可以确定该候选图像即对待检索图像进行检索所得的图像，此时确定检索完成，将检索完成信息作为检索结果返回扫描笔。此处的检索完成信息可以指示检索完成，检索完成信息还可以包括检索所得的图像的相关信息，例如图像所指示的实体书的相关信息，或者图像中包含的内容信息，又或者图像相关联的多媒体语音，本发明实施例对此不作具体限定。

若当前候选集合中包含的候选图像数量为0，即当前不存在与待检索图像的每个局部图像均匹配的候选图像，即未能检索到与待检索图像相匹配的候选图像，检索失败。此时可以生成检索失败信息，并将检索失败信息作为检索结果返回扫描笔，扫描笔在接收到检索失败信息后，即可提示用户当前检索失败，等待用户确定是否重新进行图像检索。

若当前候选集合中包含的候选图像数量大于1，即当前存在多个与待检索图像的每个局部图像均匹配的候选图像，图像检索尚在进行中，此时可以基于当前候选集合中包含的候选图像数量评估检索进度，并将检索进度作为检索结果返回扫描笔。例如，预设检索集合中候选图像数量为1000，当前候选集合中候选图像数量为50，则可以计算1-50/1000＝95％作为当前的检索进度。扫描笔在接收到检索进度后，可以向用户显示或者播报检索进度，并提示用户执行下次局部扫描。

基于上述任一实施例，步骤131具体包括：

若当前候选集合中包含的候选图像数量为1，且当前候选集合中包含的候选图像为书目封面图像，则生成携带书目封面图像的书目信息的检索完成信息返回扫描笔，以触发扫描笔启动内容页扫描；

若当前候选集合中包含的候选图像数量为1，且当前候选集合中包含的候选图像为内容页图像，则生成携带内容页图像的媒体信息的检索完成信息返回扫描笔，以触发扫描笔展示媒体信息。

具体地，在将基于扫描笔的图像检索方法应用于实体书智能阅读时，图像检索需要具体划分为两个阶段，即封面图像检索和内容页图像检索。在当前候选集合中包含的候选图像数量为1时，可以根据此时检索所得的候选图像类型，判断当前检索处于哪个阶段，从而进一步确定下一步的执行动作：

若检索得到的候选图像为书目封面图像时，则向扫描笔返回的检索完成信息中可以携带该书目封面图像的书目信息，扫描笔在接收到检索完成信息后可以将其中携带的书目信息展示给用户，由用户判断对于封面页的图像检索是否正确，是否进一步执行针对该书目的内容页的图像检索。此处的书目信息具体可以是书名、书籍版本、作者等。

若检索得到的候选图像为内容页图像，则向扫描笔返回的检索完成信息中可以携带针对该内容页图像预先设置的媒体信息，扫描笔在接收到检索完成信息后可以将其中携带的媒体信息展示给用户，从而实现基于扫描笔的智能阅读。此处的媒体信息具体可以包括该内容页图像对应的语音、音效等，还可以包括该内容页图像对应的文字内容、视频等。

基于上述任一实施例，图4为本发明另一实施例提供的图像检索方法的流程示意图，如图4所示，该方法的执行主体为扫描笔，该方法包括：

步骤410，采集待检索图像的当前局部图像。

具体地，扫描笔自身携带有具有图像采集功能的扫描头，当需要通过扫描笔进行图像检索时，用户可以握持扫描笔在待检索图像上沿直线进行扫描，在此过程中扫描笔的扫描头采集到了待检索图像中的部分图像，作为当前局部图像。

步骤420，将当前局部图像发送至服务端，以供服务端将当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于当前候选集合，生成检索结果。

具体地，扫描笔在采集得到当前局部图像后，将当前局部图像发送到服务端，请求服务端基于当前局部图像进行图像检索。

服务端接收到当前局部图像后，可以将当前局部图像与上一候选集合中每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到当前候选集合。其中，上一候选集合即与上一局部图像匹配的候选图像所构成的集合，当前候选集合即在与上一局部图像匹配的基础上，与当前局部图像匹配的候选图像的集合。

在此之前，服务端可以预先设置一个预设检索集合，其中存储的候选图像均可用于图像检索。服务端在接收到首个局部图像后，将首个局部图像与预设检索集合中的所有候选图像进行匹配，将与首个局部图像相匹配的所有候选图像构成的集合作为首个候选集合。在此基础上，每次接受到新的局部图像，均可以与上一候选集合中的候选图像进行匹配，从而逐次缩小候选集合的规模，直至候选集合中剩余一个候选图像，可以直接将剩余的一个候选图像作为待检索图像的检索结果。

服务端在得到当前候选集合后，可以根据当前候选集合中存在的候选图像的数量，分析当前针对待检索图像的检索进度，进而生成检索结果，并将检索结果反馈到扫描笔。此处的检索结果具体可以指示检索完成、检索未完成或者是检索失败，其中指示检索未完成的检索结果可以体现为0至100％的检索进度。

步骤430，接收服务端返回的检索结果，并在检索结果指示检索未完成时采集待检索图像的下一局部图像。

具体地，扫描笔在接收到当前次的检索结果后，如果检索结果是检索未完成，则可以提示用户继续握持扫描笔在待检索图像的其他区域沿直线进行扫描，扫描笔会在此过程中采集到待检索图像中其他区域的部分图像，作为下一局部图像。由于图像检索尚未完成，可以将下一局部图像更新为当前局部图像并发送给服务端，从而启动下一次的局部图像检索。

步骤410至步骤430的循环执行，可以通过扫描笔针对同一待检索图像进行若干次的局部图像扫描，通过服务端应用每次扫描所得的局部图像在上次匹配所得的候选集合的基础上进行进一步匹配，从而逐步缩小图像检索范围，直至得到待检索图像的检索结果。

本发明实施例提供的方法，通过扫描笔针对待检索图像进行局部扫描，并与服务端针对局部图像进行匹配交互，从而实现基于扫描笔的图像检索，由此检索得到的结果可以触发当前页面所对应的语音、视频等多媒体内容。由于扫描笔自身的便携特征，具备图像检索功能的扫描笔可以随时随地满足用户的智能阅读需求；此外，每次匹配均是在上次匹配所得的候选集合的基础上进行的，由此可以在多次匹配过程中加快扫描速度，提高图像检索精度。

基于上述任一实施例，步骤420中，所述将当前局部图像发送至服务端，具体包括：

若当前局部图像为待检索图像的首个局部图像，则将当前局部图像发送至服务端，并接收服务端返回的检索会话标识；

否则，将当前局部图像和检索会话标识发送至服务端，以供服务端将当前局部图像与检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到检索会话标识对应的当前候选集合。

具体地，在图像检索过程中，扫描笔和服务端之间存在多次交互，可以将检索一张图像的过程作为一次检索会话。交互过程中，扫描笔在向服务端发送当前局部图像的同时，还向服务端发送当前会话的检索会话标识。此处，检索会话标识即当前检索会话的会话id。

进一步地，扫描笔在将当前局部图像发送给服务端之前，需要判断当前局部图像是否为待检索图像的首个局部图像：

如果是首个局部图像，则当前局部图像为此次图像检索的检索会话中首次发送给服务端的局部图像，在当前局部图像发送之前，服务端并未针对当前检索会话生成检索会话标识，扫描笔处并不存在当前检索会话对应的检索会话标识，因此扫描笔仅将当前局部图像发送到服务端，服务端在接收到当前局部图像的同时没有接收到检索会话标识，即可获知当前局部图像是此次图像检索的首个局部图像，服务端可以直接生成此次图像检索对应的检索会话标识，并将新生成的检索会话标识返回到扫描笔。由于当前局部图像是首个局部图像，不存在对应的上一候选集合，则可以直接将当前局部图像与预先设定的预设检索集合中的每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到新生成的检索会话标识对应的当前候选集合。

如果不是首个局部图像，则扫描笔在此之前已经得到了服务端针对此次图像检索的检索会话生成的检索会话标识。扫描笔在发送当前局部图像的同时，可以将检索会话标识一并发送到服务端。服务端如果在接收到当前局部图像的同时也接收到了检索会话标识，则可以根据检索会话标识查找当前检索会话在进行上一次局部图像匹配后产生的上一候选集合。在查找到上一候选集合后，即可将当前局部图像与上一候选集合中每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到检索会话标识对应的当前候选集合。

本发明实施例提供的方法，考虑到应用扫描笔进行图像检索需要多次交互的特征，通过设置检索会话标识保证了多次交互的顺利实现。

基于上述任一实施例，步骤430接收服务端返回的检索结果，之后还包括：

若检索结果为检索失败信息，则提示用户重新采集待检索图像的当前局部图像；

若检索结果为检索完成信息，且检索完成信息携带有对待检索图像检索所得的书目封面图像的书目信息，则提示用户采集书目信息对应实体书内容页的局部图像；

若检索结果为检索完成信息，且检索完成信息携带有对待检索图像检索所得的内容页图像的媒体信息，则展示媒体信息。

具体地，在接收到服务端返回的检索结果之后，扫描笔需要根据不同的检索结果执行对应的操作：

若检索结果为检索失败信息，则说明服务端未能检索到与待检索图像相匹配的候选图像，此时扫描笔可以提示用户当前检索失败，等待用户确定是否重新进行图像检索，如果用户确定重新进行图像检索，则重新采集待检索图像的当前局部图像；

若检索结果为检索完成信息，针对实体书智能阅读领域，检索完成信息中可能携带有封面检索完成的书目信息或者内容页检索完成的媒体信息，可以具体区分为两种情况分析：

若检索完成信息中携带的是对待检索图像检索所得的书目封面图像的书目信息，则说明服务端检索所得的候选图像为书目封面图像，扫描笔可以将书目信息展示给用户，由用户判断对于封面页的图像检索是否正确，是否进一步执行针对该书目的内容页的图像检索。此处的书目信息具体可以是书名、书籍版本、作者等。

若检索完成信息中携带的是对待检索图像检索所得的内容页图像的媒体信息，则说明服务端检索所得的候选图像为内容页图像，扫描笔可以将媒体信息展示给用户，从而实现基于扫描笔的智能阅读。此处的媒体信息具体可以包括该内容页图像对应的语音、音效等，还可以包括该内容页图像对应的文字内容、视频等。

基于上述任一实施例，步骤410具体包括：

获取当前次扫描所得的图像序列；

基于图像序列中的任意两帧相邻图像的图像特征，确定此两帧相邻图像的重叠部分；

基于此两帧相邻图像的重叠部分，对此两帧相邻图像进行拼接。

具体地，当需要通过扫描笔进行图像检索时，用户可以握持扫描笔在待检索图像上沿直线进行扫描，在此过程中，扫描笔的扫描头持续进行图像采集，由此得到由多张图像顺序构成的图像序列。

考虑到高速扫描的情况下，连续采集的两帧图像之间会存在重叠的部分，因此可以针对图像序列中任意两帧相邻图像，可以分别对两帧图像进行特征提取，识别出两帧图像中特征像素的位置作为两帧图像的图像特征。在此基础上，可以将两帧图像中特征像素的位置进行比对，根据特征像素的相对位置找出两帧图像的重叠部分，进而对两帧图像进行拼接。重复上述步骤即可将图像序列中的所有图像按照扫描方向拼接为横向的图像，将拼接而成的图像作为本次扫描所得的当前局部图像。

基于上述任一实施例，实体书智能阅读场景下，基于扫描笔的图像检索可以划分封面识别阶段和内容页识别阶段。当实体书为绘本时，针对绘本的图像检索可以通过扫描笔的绘本识别功能实现，考虑到扫描笔本身自带有文字扫描识别功能，为了与绘本识别功能相区分，用户可以预先通过扫描笔的触摸屏、按键或者语音交互接口，将扫描笔的当前模式设置为绘本识别模式。

图5为本发明实施例提供的封面图像检索方法的流程示意图，如图5所示，绘本识别模式下，扫描笔首先进入封面识别阶段，提示用户扫描待检索的封面，此过程中用户握持扫描笔沿直线扫描待检索的绘本封面，扫描笔采集得到绘本封面的部分图像作为当前局部图像。

得到当前局部图像后，扫描笔判断是否存在针对本次检索会话的检索会话标识，如果存在则将当前局部图像和检索会话标识一并发送给服务端；如果不存在，即当前局部图像为待检索的绘本封面的首个局部图像，则直接将当前局部图像发送给服务端。

服务端在接收到当前局部图像后，判断是否一并接收到了检索会话标识：

如果在接收到当前局部图像的同时也接收到了检索会话标识，则可以根据检索会话标识查找当前检索会话在进行上一次局部图像匹配后产生的上一候选集合。在查找到上一候选集合后，即可将当前局部图像与上一候选集合中每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到检索会话标识对应的当前候选集合；

如果在接收到当前局部图像的同时没有接收到检索会话标识，服务端可以直接生成此次图像检索对应的检索会话标识，并将新生成的检索会话标识返回到扫描笔。由于当前局部图像是首个局部图像，不存在对应的上一候选集合，则可以直接将当前局部图像与预设检索集合中的每一候选图像分别进行匹配，保留匹配成功的候选图像，删除匹配失败的候选图像，从而得到新生成的检索会话标识对应的当前候选集合。需要说明的是，此处的预设检索图像中存储的均为各个绘本的封面图像。

在得到当前候选集合后，服务端可以根据当前候选集合中包含的候选图像的数量，判断针对待检索图像的检索结果：

若当前候选集合中包含的候选图像数量为1，服务端确定检索完成，将检索完成信息作为检索结果返回扫描笔。此处的检索完成信息可以携带该书目封面图像的书目信息；

若当前候选集合中包含的候选图像数量为0，服务端确定检索失败，将检索失败信息作为检索结果返回扫描笔；

若当前候选集合中包含的候选图像数量大于1，图像检索尚在进行中，服务端可以基于当前候选集合中包含的候选图像数量评估检索进度，并将检索进度作为检索结果返回扫描笔。

扫描笔接收到服务端返回的检索结果之后，可以需要根据不同的检索结果执行对应的操作：

若检索结果为检索失败信息，扫描笔可以提示用户当前检索失败，等待用户确定是否重新进行图像检索，如果用户确定重新进行图像检索，则重新采集待检索图像的当前局部图像；

若检索结果为检索完成信息，扫描笔可以将检索完成信息中携带的书目信息展示给用户，由用户判断对于封面页的图像检索是否正确，是否进一步执行针对该书目的内容页的图像检索；

若检索结果为检索进度，扫描笔可以展示检索进度，提示用户继续握持扫描笔在待检索图像的其他区域沿直线进行扫描，扫描笔会在此过程中采集到待检索图像中其他区域的部分图像，作为下一局部图像，将下一局部图像更新为当前局部图像并发送给服务端，从而启动针对封面的下一次的局部图像检索，直至封面检索完成。

图6为本发明实施例提供的内容页图像检索方法的流程示意图，如图6所示，绘本识别模式下，在确定绘本封面之后，扫描笔进入内容页识别阶段，提示用户扫描待检索的内容页。此过程中用户握持扫描笔沿直线扫描待检索的绘本内容页，扫描笔采集得到绘本内容页的部分图像作为当前局部图像。需要说明的是，此处绘本封面的确定可以通过扫描笔对绘本封面进行扫描并配合服务端进行封面检索实现，也可以是用户直接通过扫描笔的触摸屏、按键或者语音交互接口设置的，本发明实施例对此不作具体限定。

得到当前局部图像后，扫描笔可以直接将当前局部图像和本次检索会话的检索会话标识一并发送给服务端。

服务端在接收到当前局部图像和检索会话标识后，可以通过检索会话标识确定上一候选集合，若上一候选集合中包含候选的内容页图像，则将当前局部图像与上一候选集合中包含的候选的内容页图像进行匹配；若上一候选集合中不包含候选的内容页图像，则将待检索的内容页所属的书目对应的所有候选图像作为预设检索集合与当前局部图像进行匹配。匹配完成后，得到当前候选集合。

在得到当前候选集合后，服务端可以根据当前候选集合中包含的候选图像的数量，判断针对待检索图像的检索结果：

若当前候选集合中包含的候选图像数量为1，服务端确定检索完成，将检索完成信息作为检索结果返回扫描笔。此处的检索完成信息可以携带该内容页图像的媒体信息；

若当前候选集合中包含的候选图像数量为0，服务端确定检索失败，将检索失败信息作为检索结果返回扫描笔；

若当前候选集合中包含的候选图像数量大于1，图像检索尚在进行中，服务端可以基于当前候选集合中包含的候选图像数量评估检索进度，并将检索进度作为检索结果返回扫描笔。

扫描笔接收到服务端返回的检索结果之后，可以需要根据不同的检索结果执行对应的操作：

若检索结果为检索失败信息，扫描笔可以提示用户当前检索失败，等待用户确定是否重新进行图像检索，如果用户确定重新进行图像检索，则重新采集待检索图像的当前局部图像；

若检索结果为检索完成信息，扫描笔可以将检索完成信息中携带的媒体信息展示给用户；

若检索结果为检索进度，扫描笔可以展示检索进度，提示用户继续握持扫描笔在待检索图像的其他区域沿直线进行扫描，扫描笔会在此过程中采集到待检索图像中其他区域的部分图像，作为下一局部图像，将下一局部图像更新为当前局部图像并发送给服务端，从而启动针对内容页的下一次的局部图像检索，直至内容页检索完成。

基于上述任一实施例，图7为本发明实施例提供的服务端的结构示意图，如图7所示，服务端包括图像接收单元710、局部匹配单元720和结果反馈单元730；

其中，图像接收单元710用于接收扫描笔采集的待检索图像的当前局部图像；

局部匹配单元720用于将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合；

结果反馈单元730用于基于所述当前候选集合，生成检索结果并返回所述扫描笔，以触发所述扫描笔在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像，并将所述下一局部图像更新为当前局部图像。

本发明实施例提供的服务端，针对扫描笔对待检索图像进行匹配扫描所得的局部图像进行匹配，从而实现基于扫描笔的图像检索，由此检索得到的结果可以触发当前页面所对应的语音、视频等多媒体内容，由于扫描笔自身的便携特征，具备图像检索功能的扫描笔可以随时随地满足用户的智能阅读需求；此外，每次匹配均是在上次匹配所得的候选集合的基础上进行的，由此可以在多次匹配过程中加快扫描速度，提高图像检索精度。

基于上述任一实施例，局部匹配单元720具体用于：

若接收到所述扫描笔发送的检索会话标识，则将所述当前局部图像与所述检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合；

否则，生成检索会话标识并返回所述扫描笔，将所述当前局部图像与预设检索集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合。

基于上述任一实施例，局部匹配单元720具体用于：

确定所述当前局部图像的局部图像特征；

若在所述上一候选集合中的任一候选图像的候选图像特征中遍历到所述局部图像特征，则将所述任一候选图像加入所述当前候选集合。

基于上述任一实施例，结果反馈单元730包括：

检索完成信息反馈子单元，用于若所述当前候选集合中包含的候选图像数量为1，则生成检索完成信息作为所述检索结果返回所述扫描笔；

检索失败信息反馈子单元，用于若所述当前候选集合中包含的候选图像数量为0，则生成检索失败信息作为所述检索结果返回所述扫描笔；

检索进度反馈子单元，用于否则，基于所述当前候选集合中包含的候选图像数量，生成检索进度作为所述检索结果返回所述扫描笔。

基于上述任一实施例，检索完成信息反馈子单元具体用于：

若所述当前候选集合中包含的候选图像数量为1，且所述当前候选集合中包含的候选图像为书目封面图像，则生成携带所述书目封面图像的书目信息的检索完成信息返回所述扫描笔，以触发所述扫描笔启动内容页扫描；

若所述当前候选集合中包含的候选图像数量为1，且所述当前候选集合中包含的候选图像为内容页图像，则生成携带所述内容页图像的媒体信息的检索完成信息返回所述扫描笔，以触发所述扫描笔展示所述媒体信息。

基于上述任一实施例，图8为本发明实施例提供的扫描笔的结构示意图，如图8所示，扫描笔包括图像采集单元810、图像发送单元820和结果接收单元830；

其中，图像采集单元810用于采集待检索图像的当前局部图像；

图像发送单元820用于将所述当前局部图像发送至服务端，以供所述服务端将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于所述当前候选集合，生成检索结果；

结果接收单元830用于接收所述服务端返回的所述检索结果，并在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像。

本发明实施例提供的扫描笔，针对待检索图像进行局部扫描，并与服务端针对局部图像进行匹配交互，从而实现基于扫描笔的图像检索，由此检索得到的结果可以触发当前页面所对应的语音、视频等多媒体内容，由于扫描笔自身的便携特征，具备图像检索功能的扫描笔可以随时随地满足用户的智能阅读需求；此外，每次匹配均是在上次匹配所得的候选集合的基础上进行的，由此可以在多次匹配过程中加快扫描速度，提高图像检索精度。

基于上述任一实施例，图像发送单元820具体用于：

若所述当前局部图像为所述待检索图像的首个局部图像，则将所述当前局部图像发送至服务端，并接收所述服务端返回的检索会话标识；

否则，将所述当前局部图像和所述检索会话标识发送至所述服务端，以供所述服务端将所述当前局部图像与所述检索会话标识对应的上一候选集合中的每一候选图像进行匹配，得到所述检索会话标识对应的当前候选集合。

基于上述任一实施例，结果接收单元830还用于：

若所述检索结果为检索失败信息，则提示用户重新采集待检索图像的当前局部图像；

若所述检索结果为检索完成信息，且所述检索完成信息携带有对所述待检索图像检索所得的书目封面图像的书目信息，则提示用户采集所述书目信息对应实体书内容页的局部图像；

若所述检索结果为检索完成信息，且所述检索完成信息携带有对所述待检索图像检索所得的内容页图像的媒体信息，则展示所述媒体信息。

图9为本发明实施例提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communicationsinterface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑命令，以执行如下方法：

接收扫描笔采集的待检索图像的当前局部图像；

将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合；

基于所述当前候选集合，生成检索结果并返回所述扫描笔，以触发所述扫描笔在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像，并将所述下一局部图像更新为当前局部图像。

此外，处理器910还可以调用存储器930中的逻辑命令，以执行如下方法：

采集待检索图像的当前局部图像；

将所述当前局部图像发送至服务端，以供所述服务端将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于所述当前候选集合，生成检索结果；

接收所述服务端返回的所述检索结果，并在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像。

此外，上述的存储器930中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

接收扫描笔采集的待检索图像的当前局部图像；

将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合；

基于所述当前候选集合，生成检索结果并返回所述扫描笔，以触发所述扫描笔在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像，并将所述下一局部图像更新为当前局部图像。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：

采集待检索图像的当前局部图像；

将所述当前局部图像发送至服务端，以供所述服务端将所述当前局部图像与上一候选集合中的每一候选图像进行匹配，得到当前候选集合，并基于所述当前候选集合，生成检索结果；

接收所述服务端返回的所述检索结果，并在所述检索结果指示检索未完成时采集所述待检索图像的下一局部图像。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务端，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。