基于笔的搜索方法、笔、存储介质及搜索系统与流程

本发明属于计算机技术领域，尤其涉及一种基于笔的搜索方法、笔、存储介质及系统。

背景技术：

目前，在办公、学习等场景中，当需要对书本上单个文字或单词、语句等信息进行搜索时，需要用户先用笔对书本上的待搜索内容进行下划线或画圈标记，用户再利用带有摄像头的手机对书本上包含所标记的待搜索内容的相应区域进行拍照，进而即可从拍照所得实时图形中提取待搜索内容，并针对待搜索内容进行对应搜索，得到搜索结果。整个过程中，用户需要在笔和手机之间切换操作，较为繁琐、不连贯，导致效率低下、用户体验较差。

技术实现要素：

本发明的目的在于提供一种基于笔的搜索方法、笔、存储介质及搜索系统，旨在解决由于现有技术中用户参与的待搜索内容的标记与提取操作繁琐、不连贯而导致的效率低下、用户体验差的问题。

一方面，本发明提供了一种基于笔的搜索方法，所述方法包括下述步骤：

保持对笔指定位置的对焦；

当检测到用户利用笔对信息承载体上待搜索内容的标记动作结束时，获得包含所述待搜索内容以及实时标记的初始图像；

根据预设的标记与截取规则的对应关系，从所述初始图像中识别出所述实时标记，并依据与所述实时标记对应的实时截取规则，从所述初始图像中截取得到包含所述待搜索内容的截取图像；

从所述截取图像中获得所述待搜索内容进行搜索。

另一方面，本发明提供了一种笔，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述方法中的步骤。

另一方面，本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法中的步骤。

另一方面，本发明还提供了一种搜索系统，包括：如上述的笔，以及，用于从所述截取图像中获得所述待搜索内容进行搜索的后台子系统。

本发明实现保持对笔指定位置的对焦，并在检测到用户利用笔对信息承载体上待搜索内容的标记动作结束时，获得包含待搜索内容以及实时标记的初始图像；根据预设的标记与截取规则的对应关系，从初始图像中识别出实时标记，并依据与实时标记对应的实时截取规则，从初始图像中截取得到包含待搜索内容的截取图像；从截取图像中获得待搜索内容进行搜索。这样，用户在对待搜索内容进行标记完成时，即可获得清晰、准确的、包含待搜索内容以及实时标记的初始图像，进而基于该实时图像提取得到待搜索内容进行搜索，从而用户参与的待搜索内容的标记与提取操作简单连贯，提高了效率，提升了用户体验。

附图说明

图1是本发明实施例一的基于笔的搜索方法的实现流程图；

图2是本发明实施例二中第一次尝试截取的示意图；

图3是本发明实施例二中第二次尝试截取的示意图；

图4是本发明实施例五的笔的结构示意图；

图5是本发明实施例七的搜索系统的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一的基于笔的搜索方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

在步骤s101中，当系统运行时，即可保持笔上的摄像部对笔指定位置的对焦。具体的，笔可以是普通利用标记液体进行标记的笔，也可以是通过触控方式实现标记显示在电子书上的电子笔。该笔可以在信息承载体上进行标记，信息承载体可以是纸质书本或者电子书，纸质书本上可印刷有中文文字、英文单词(组成语句、段落等)及图片，电子书中也可实现该些信息的显示。用户可利用笔对信息承载体上的某一文字、单词、语句或图片以下画点、下划线或画圈等方式进行标记。对笔指定位置的对焦可以是笔上的摄像部对笔尖或笔上其他位置形成点对焦。笔的结构以及摄像部的聚焦可提前设置，以满足笔上摄像部与笔尖形成点对焦的要求，例如：将摄像部设置于笔本体内部，并且使笔本体前段部分大致透明，即便可替换笔芯部分不透明，也不会阻碍摄像部拍摄得到基本完整的图像；也可将摄像部设置于笔本体外部，设置的摄像部可以拥有一个或一个以上摄像头，当采用一个以上摄像头时，可进行拍摄所得图像的拼接处理，得到基本完整的图像。在系统工作时，可通过上述物理结构的设置，时刻保持摄像部与笔尖的点对焦，当然，在其他应用环境下，摄像部与笔尖的点对焦也可以通过自动跟踪对焦来实现。

在步骤s102中，当检测到用户利用笔对信息承载体上待搜索内容的标记动作结束时，获得包含待搜索内容以及实时标记的初始图像。具体的，对于标记动作的检测，可以通过物理结构进行实现，也可以通过软件分析处理来实现。通过物理结构来实现的例子，可以在笔上设置有位于笔本体的笔头与笔杆之间作为检测部的薄膜开关，薄膜开关作为压力敏感元件，可对标记动作的起始及结束动作进行感应，当通过薄膜开关检测到标记动作结束时，笔上的摄像部对笔尖已形成点对焦，此时摄像部可进行拍摄，从而得到清晰准确的、包含待搜索内容以及实时标记的初始图像。在这里需要说明的是，由于初始图像中需要包含待搜索内容以及实时标记，因此，拍摄所得图像要覆盖合理较大的范围。

在步骤s103中，根据预设的标记与截取规则的对应关系，从初始图像中识别出实时标记，并依据与实时标记对应的实时截取规则，从初始图像中截取得到包含待搜索内容的截取图像。具体的，截取规则可以是以预设的、与标记相对应的截取区域，对图像进行截取，其中，截取区域可包含与标记的相对位置、形状及尺寸等三个或者更多的参数，该些确定截取区域的参数可以是固定的，也可以是可自适应调整的。而对于不同的标记，截取区域所包含的对象有所区别，当标记为下画点时，截取的是下画点上方对应文字或单词或数字，当标记为下划线时，截取的是下划线上方语句，当标记为画圈时，截取的是画圈内对应的文字、单词、数字或语句等。依据图像识别技术以及预设的标记样本，可以从初始图像中识别出实时标记，然后根据上述对应关系，得到与实时标记对应的实时截取规则，依据截取规则所定义的截取区域，从初始图像中截取得到包含待搜索内容的截取图像。

在步骤104中，从截取图像中获得待搜索内容进行搜索。具体的，可将截取图像通过通信网络从笔传输到后台子系统，后台子系统即可通过图像识别技术以及字符样本，从截取图像中识别出待搜索内容，并执行相应搜索处理，得到搜索结果，该搜索结果还可以通过显示子系统进行显示。

实施本实施例，用户在对待搜索内容进行标记完成时，即可获得清晰、准确的、包含待搜索内容以及实时标记的初始图像，进而基于该实时图像提取得到待搜索内容进行搜索，从而用户参与的待搜索内容的标记与提取操作简单连贯，提高了效率，提升了用户体验。

实施例二：

本实施例基于上述实施例一，进一步对步骤s103的相关内容进行说明。在本实施例中，在步骤s102中从初始图像中截取得到包含待搜索内容的截取图像具体为：以预设的、与标记相对应的截取区域对图像进行截取，截取区域的形状、与标记的相对位置及尺寸可依据图像特征自适应调整，以使截取区域包含待搜索内容。具体的，可进行若干次尝试性截取，依据尝试截取所得的截图图像与截取剩余图像的图像特征比对结果，调整截取区域的边界，直至所得截取图像与截取剩余图像的图像特征指示待搜索内容完全包含于所述截取图像中，例如：如图2所示，首先以预设的第一尝试截取区域(其形状、与标记的相对位置及尺寸等均已根据经验进行预设)对初始图像201进行第一次尝试截取，得到第一尝试截取图像202与第一截取剩余图像203，一般而言，第一尝试截取区域形状采用方形或椭圆形等，尺寸偏小，标记204与方形或椭圆形中心之间距离适当选取，将第一尝试截取图像202某一边界存在信息位置a的灰度值与第一截取剩余图像203对应边界存在信息位置b的灰度值作比较，若相近(差值不超过预设阈值)，则表征初始图像中的待搜索内容未被完整截取，此时，则会调整截取区域，以第二尝试截取区域对初始图像进行第二次尝试截取，其中，截取区域的调整可以为：当上述第一尝试截取图像202的某一边界存在信息位置a的灰度值与第一截取剩余图像203对应边界存在信息位置b的灰度值相近时，以预设调整步长调整该边界位置，以扩大截取区域形成第二尝试截取区域，若采用第二尝试截取区域对初始图像进行截取，不存在截取所得第二尝试截取图像301的边界存在信息位置c的灰度值与第二截取剩余图像302对应边界存在信息位置d的灰度值相近，如图3所示，则表征初始图像中的待搜索内容被完整截取，从而以第二尝试截取图像301作为最终的截取图像供后续处理。当然，在其他实施例中，也可以采用其他图像特征进行处理，例如：纹理特征、形状特征等。

实施本实施例，可实现对不同尺寸的待搜索内容进行适应性截取，扩大了技术的应用范围，且适应性截取过程简单、快速，进一步提升了处理效率，提升了用户体验。

实施例三：

本实施例与上述实施例区别主要在于，对标记动作进行检测的步骤通过软件分析处理来实现具体为：首先，对标记动作进行连续对焦拍摄；其次，基于预设的标记样本，对拍摄所得连续的图像集合中的标记进行识别，并检测标记在图像集合内单个图像中的连续变化情况，当连续变化情况指示标记的预设形态达成或在预设时间阈值内不再发生变化，则指示标记动作结束。其中，笔上的摄像部可在标记过程中进行拍摄，由于下画点、下划线、画圈标记过程的连续性，摄像部将拍摄得到一组由单个图像在时间上连续的图像集合，由于存在标记样本，利用图像识别技术中的特征匹配技术，可从每单个图像中识别出位于标记形成过程中某个状态下的标记，即在标记完全形成前，处于不完整的状态。若干连续的单个图像中的连续变化情况会通过通过图像识别技术的处理结果进行表征，从而对于画圈等标记而言，可得到标记的预设形态是否达成，对于下画点、下划线等标记而言，可得到标记在预设时间阈值内不再发生变化，进而表征标记动作是否结束。

实施本实施例，可利用已有的摄像部等部件实现对标记动作的检测，而无需增加如上述薄膜开关等相关部件来实现，降低了方案实施成本，另外，处理效率也得到了提升。

实施例四：

本实施例在上述实施例三基础上进一步实现：当标记范围较大(例如：标记较长篇幅或较大面积图片时)而无法用单帧图像包含完整待搜索内容时，初始图像的获得还可以通过对标记过程中获得的连续图像集合进行拼接，得到最终的、包含完整待搜索内容的初始图像。

实施例五：

图4示出了本发明实施例三的笔的结构，为了便于说明，仅示出了与本发明实施例相关的部分。

上述笔包括处理器401、存储器402以及存储在存储在401中并可在处理器402上运行的计算机程序403。该处理器401执行计算机程序403时实现上述各个实施例中所涉及方法中的步骤，例如图1所示的步骤s101至s102，在此不再赘述。

在本实施例中，笔还包括：处理所需要其他结构，例如：本体；设置于本体上的、用于对标记动作进行检测的检测部404，检测部404可以为用于对笔笔尖受力进行感应的薄膜开关；以及，设置于本体上的、用于获得初始图像的摄像部405，其中检测部404、摄像部405均与处理器401之间形成通信。

实施例六：

本实施例相应提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述各个实施例中所涉及方法中的步骤，例如，图1所示的步骤s101至s102，在此不再赘述。

计算机可读存储介质可以包括能够携带计算机程序代码的任何实体或装置、记录介质，例如，rom/ram、磁盘、光盘、闪存等存储器。

实施例七：

本实施例相应提供了一种搜索系统，如图5所示，包括：如上述的笔501、用于从截取图像中获得待搜索内容进行搜索的后台子系统502，以及，用于对搜索结果进行显示的显示子系统503。待搜索内容为文字、单词或语句，也可以是图片，搜索可采用不同的搜索方式进行，从而得到相应的搜索结果进行显示。

需要说明的是：

上述笔中的截取初始图像以得到截取图像的部分功能可置于后台子系统502中实现，从而减轻笔的处理负荷，笔只需得到清晰准确的初始图像即可。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。