一种适用于图搜的图像处理方法、电子设备及存储介质与流程

本申请涉及计算机技术领域，具体涉及一种适用于图搜的图像处理方法、电子设备及存储介质。

背景技术：

现有的图搜方法一般都需要利用摄像头对书本的4个书本边与书本的中心线进行特征点识别，才能进一步识别出书页信息。然而，书本的4个书本边与书本的中心线的特征点相对缺乏，这使得书页信息的识别速度是比较慢的；此外，书页容易产生弯卷跟褶皱，容易造成书页信息无法识别；此外，受限于书本的放置位置，当书本偏离摄像区域中心时，书本几乎无法识别。从而，不利于提升图搜的效率。

技术实现要素：

本申请实施例公开了一种适用于图搜的图像处理方法、电子设备及存储介质，能够有利于提升图搜的效率。

本申请实施例第一方面公开一种适用于图搜的图像处理方法，所述方法包括：

读取书页的拍摄图像中的各个特征点符号在所述拍摄图像中的坐标值；所述各个特征点符号被设在位于所述书页上的不易形变的辅助识别材料上，并且所述各个特征点符号的数量大于或等于6个；

计算所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值；所述理想图像是由所述拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片；

根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值和所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值，求解所述拍摄图像与所述理想图像的平移旋转向量矩阵；

将所述拍摄图像中的任意一像素点的坐标通过所述平移旋转向量矩阵一一转换为所述理想图像的像素点坐标对应起来。

本申请实施例第二方面公开一种电子设备，包括：

读取单元，用于读取书页的拍摄图像中的各个特征点符号在所述拍摄图像中的坐标值；所述各个特征点符号被设在位于所述书页上的不易形变的辅助识别材料上，并且所述各个特征点符号的数量大于或等于6个；

计算单元，用于计算所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值；所述理想图像是由所述拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片；

求解单元，用于根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值和所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值，求解所述拍摄图像与所述理想图像的平移旋转向量矩阵；

转换单元，用于将所述拍摄图像中的任意一像素点的坐标通过所述平移旋转向量矩阵一一转换为所述理想图像的像素点坐标对应起来。

本申请实施例第三方面公开一种电子设备，包括：

存储有可执行程序代码的存储器；

与所述存储器耦合的处理器；

所述处理器调用所述存储器中存储的所述可执行程序代码，执行本申请实施例第一方面描述的所述适用于图搜的图像处理方法的全部或部分步骤。

本申请实施例第四方面一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机指令，所述计算机指令运行时使计算机执行本申请实施例第一方面描述的所述适用于图搜的图像处理方法的全部或部分步骤。

与现有技术相比，本申请实施例具有以下有益效果：

本申请实施例中，可以依据辅助识别材料的所述各个特征点符号在拍摄图像中的坐标值与辅助识别材料的所述各个特征点符号在理想图像(由拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片)中的坐标值，求解出平移旋转向量矩阵；在此基础上，可以将拍摄图像中的任意一像素点的坐标通过平移旋转向量矩阵一一转换为理想图像的像素点坐标对应起来，从而达到加快图搜的目的，有利于提升图搜的效率。

此外，本申请实施例中，相较于书页容易产生弯卷跟褶皱，辅助识别材料是不容易产生形变的，从而对其特征点符号的识别会相对稳定，从而使得书本和书页信息更易被识别。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例公开的一种适用于图搜的图像处理方法的流程示意图；

图2是本申请实施例公开的书签与书页相结合的示意图；

图3是本申请实施例公开的一种标定板的拍摄图像的示意图；

图4是由图3所示的拍摄图像经过旋转平移后转换成的理想图像的示意图；

图5是本申请实施例公开的电子设备的第一实施例的结构示意图；

图6是本申请实施例公开的电子设备的第二实施例的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本申请实施例公开了一种适用于图搜的图像处理方法、电子设备及存储介质，能够有利于提升图搜的效率。以下进行结合附图进行详细描述。

请参阅图1，图1是本申请实施例公开的一种适用于图搜的图像处理方法的流程示意图。其中，图1所描述的适用于图搜的图像处理方法可以应用于家教设备(如点读机)、平板电脑(如学生平板)、移动手机、智能居家设备(如智能电视、智能音箱、智能机器人)等各类电子设备，本申请实施例不作限定。在图1所描述的适用于图搜的图像处理方法中，以电子设备作为执行主体对该适用于图搜的图像处理方法进行描述。如图1所示，该适用于图搜的图像处理方法可以包括以下步骤：

101、电子设备读取书页的拍摄图像中的各个特征点符号在所述拍摄图像中的坐标值；其中，所述各个特征点符号被设在位于所述书页上的不易形变的辅助识别材料上，并且所述各个特征点符号的数量大于或等于6个。

在一些示例中，所述辅助识别材料可以是书签、尺子、印章或其他能够提供数量大于或等于6个的、固定的特征点符号的任意一种不易形变的材料，本申请实施例不作限定。以所述辅助识别材料是书签为例，请一并参阅图2，如图2所示，不易形变的书签可以位于书页上且靠近书本的中心线，所述书签上设置有数量大于6个的特征点符号。其中，所述书签可以是非电子材料，所述书签上设置的特征点符号为易识别的、并且普通书籍文字里不容易出现的符号。所述各个特征点符号在所述书签上的位置是固定的，并且所述各个特征点符号中的任意两个特征点符号不同或相同(即所述各个特征点符号可以互不相同，也可以相同)；所述各个特征点符号以一排的形式排列或以至少两排的并排形式排列在所述书签上。

102、电子设备计算所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值；所述理想图像是由所述拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片。

请一并参阅图3和图4，图3是本申请实施例公开的一种标定板的拍摄图像的示意图，而图4是由图3所示的拍摄图像经过旋转平移后转换成的理想图像的示意图。如图3所示，所述拍摄图像的拍摄效果是近景大而远景小，当标定板换成书页时，直接对这样视觉畸变的图像进行书页信息识别，是比较困难的。如图4所示，所述理想图像相当于相机位姿旋转平移至标定板垂直正上方摄取到的图片；当标定板换成书页时，所述理想图像即相当于相机位姿旋转平移至书页垂直正上方摄取到的图片。其中，理想图像与实物是等比例缩小或者放大的。

在一些示例中，电子设备计算所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值，包括：

电子设备在将理想图像最大面积地铺设在相机像素空间的情况下，利用相机像素点等比例算出所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值。

其中，可以由相机像素预设出书页处于相机像素坐标下所占像素的最大长和最大宽，所述最大长和所述最大宽可以构成理想图像铺设在相机像素空间的最大面积。

103、电子设备根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值和所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值，求解所述拍摄图像与所述理想图像的平移旋转向量矩阵。

在一些示例中，若所述辅助识别材料的所述各个特征点符号等于6个，电子设备可以根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值、所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值以及3d-2d的pnp(perspective-n-point)运算方式求解所述拍摄图像与所述理想图像的平移旋转向量矩阵。其中，3d-2d的pnp运算描述了当已知n个世界坐标系下的3d空间点以及它们的2d归一化相机坐标系下的坐标时，如何求解相机位姿。

举例来说，为简化表示，所述拍摄图像简称为图像①，对于处在其中某个空间点p，它的齐次坐标p＝(x,y,z,1)^t。所述理想图像简称为图像②，所述空间点p投影至图像②中的特征点x1(u1,v1,1)^t。此时，相机的位姿r,t是未知的，与单应矩阵的求解类似，在此定义平移旋转向量矩阵[r|t]为一个3×4的矩阵，其包含了旋转与平移信息。将[r|t]的形式列写为：

其中，t1到t12一共12维，最少通过6对特征点的坐标值即可实现矩阵[r|t]的线性求解，而图像①的书签中的6个特征点符号的坐标值与图像②的书签中6个特征点符号的坐标值可以组成6对特征点的坐标值)。

其中，图像①的书签中的6个特征点符号的坐标值是已知值，而图像②的书签中的6个特征点符号的坐标值跟以下参数有关：

a：对于理想图像，其与真实实物是等比例关系的。同样的，书签在书页中的位置，也是同比例放大或者缩小。

b：前面提到，可以由相机像素预设出书页处于相机像素坐标下所占像素的最大长和最大宽，所述最大长和所述最大宽可以构成理想图像铺设在相机像素空间的最大面积，电子设备可以在将理想图像最大面积地铺设在相机像素空间的情况下，利用相机像素点等比例算出图像②的书签中的6个特征点符号的坐标值。

在另一些示例中，若所述辅助识别材料的所述各个特征点符号大于6个，电子设备可以根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值、所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值以及奇异值分解(svd)方法求解所述拍摄图像与所述理想图像的平移旋转向量矩阵。

104、电子设备将所述拍摄图像中的任意一像素点的坐标通过所述平移旋转向量矩阵一一转换为所述理想图像的像素点坐标对应起来。

由步骤103获得平移旋转向量矩阵[r|t]后，图像①中任意一像素点的坐标即可通过此平移旋转向量矩阵[r|t]一一转换为图像②的像素点坐标对应起来。也就是畸变后的书页转换为相机位姿旋转平移至书页垂直正上方摄取到的图片，从而可以达到加快图搜的目的，有利于提升图搜的效率。

在图1所描述的适用于图搜的图像处理方法中，可以依据辅助识别材料的所述各个特征点符号在拍摄图像中的坐标值与辅助识别材料的所述各个特征点符号在理想图像(由拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片)中的坐标值，求解出平移旋转向量矩阵；在此基础上，可以将拍摄图像中的任意一像素点的坐标通过平移旋转向量矩阵一一转换为理想图像的像素点坐标对应起来，从而达到加快图搜的目的，有利于提升图搜的效率。

此外，在图1所描述的适用于图搜的图像处理方法中，相较于书页容易产生弯卷跟褶皱，辅助识别材料是不容易产生形变的，从而对其特征点符号的识别会相对稳定，从而使得书本和书页信息更易被识别。

请参阅图5，图5是本申请实施例公开的电子设备的第一实施例的结构示意图。其中，图5所示的电子设备用于执行图1所描述的适用于图搜的图像处理方法。如图5所示，所述电子设备包括：

读取单元501，用于读取书页的拍摄图像中的各个特征点符号在所述拍摄图像中的坐标值；所述各个特征点符号被设在位于所述书页上的不易形变的辅助识别材料上，并且所述各个特征点符号的数量大于或等于6个；

计算单元502，用于计算所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值；所述理想图像是由所述拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片；

求解单元503，用于根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值和所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值，求解所述拍摄图像与所述理想图像的平移旋转向量矩阵；

转换单元504，用于将所述拍摄图像中的任意一像素点的坐标通过所述平移旋转向量矩阵一一转换为所述理想图像的像素点坐标对应起来。

在一些示例中，所述计算单元502具体用于在将理想图像最大面积地铺设在相机像素空间的情况下，利用相机像素点等比例算出所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值。

在一些示例中，所述求解单元503具体用于：

若所述辅助识别材料的所述各个特征点符号等于6个，则根据所述各个特征点符号在所述拍摄图像中的坐标值、所述各个特征点符号在理想图像中的坐标值以及3d-2d的pnp运算方式求解所述拍摄图像与所述理想图像的平移旋转向量矩阵；

若所述辅助识别材料的所述各个特征点符号大于6个，则根据所述辅助识别材料的所述各个特征点符号在所述拍摄图像中的坐标值、所述辅助识别材料的所述各个特征点符号在理想图像中的坐标值以及奇异值分解svd方法求解所述拍摄图像与所述理想图像的平移旋转向量矩阵。

在一些示例中，所述辅助识别材料可以是书签、尺子、印章或其他能够提供数量大于或等于6个的、固定的特征点符号的任意一种不易形变的材料，本申请实施例不作限定。所述各个特征点符号在所述辅助识别材料上的位置是固定的；所述各个特征点符号中的任意两个特征点符号不同或相同；所述各个特征点符号以一排的形式排列或以至少两排的并排形式排列。

在图5所描述的电子设备中，可以依据辅助识别材料的所述各个特征点符号在拍摄图像中的坐标值与辅助识别材料的所述各个特征点符号在理想图像(由拍摄图像经过旋转平移后转换成的、相当于相机位姿旋转平移至书页垂直正上方摄取到的图片)中的坐标值，求解出平移旋转向量矩阵；在此基础上，可以将拍摄图像中的任意一像素点的坐标通过平移旋转向量矩阵一一转换为理想图像的像素点坐标对应起来，从而达到加快图搜的目的，有利于提升图搜的效率。

此外，在图5所描述的电子设备中，相较于书页容易产生弯卷跟褶皱，辅助识别材料是不容易产生形变的，从而对其特征点符号的识别会相对稳定，从而使得书本和书页信息更易被识别。

请参阅图6，图6是本申请实施例公开的电子设备的第二实施例的结构示意图。如图6所示，电子设备可以包括：

存储有可执行程序代码的存储器601

与存储器耦合的处理器602；

其中，处理器602调用存储器901中存储的可执行程序代码，执行上述适用于图搜的图像处理方法的全部或部分步骤。

需要说明的是，本申请实施例中，图6所示的电子设备还可以包括扬声器模组、显示屏、摄像头、电池模组、无线通信模组(如移动通信模块、wifi模块、蓝牙模块等)、传感器模组(如接近传感器等)、输入模组(如麦克风、按键)以及用户接口模组(如充电接口、对外供电接口、卡槽、有线耳机接口等)等未显示的部件。

本发明实施例公开一种计算机可读存储介质，其上存储有计算机指令，该计算机指令运行时使计算机执行上述适用于图搜的图像处理方法的全部或部分步骤。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-onlymemory，rom)、随机存储器(randomaccessmemory，ram)、可编程只读存储器(programmableread-onlymemory，prom)、可擦除可编程只读存储器(erasableprogrammablereadonlymemory，eprom)、一次可编程只读存储器(one-timeprogrammableread-onlymemory，otprom)、电子抹除式可复写只读存储器(electrically-erasableprogrammableread-onlymemory，eeprom)、只读光盘(compactdiscread-onlymemory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

以上对本发明实施例公开的上述适用于图搜的图像处理方法、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。