遮蔽采集图像中异物的标记体、识别图像中异物标记体的方法以及书籍扫描方法与流程

本发明涉及一种图像采集式扫描过程中遮蔽翻书页的异物的标记体，识别图像中标记体的算法以及书籍扫描方法，及相应的图像采集式的书籍翻页扫描方法。涉及专利分类号g06计算；推算；计数g06f电数字数据处理g06f9/00程序控制装置，例如，控制器g06f9/06应用存入的程序的，即应用处理设备的内部存储来接收程序并保持程序的g06f9/44用于执行专门程序的装置。

背景技术：

基于视频图像采集的扫描仪通过位于扫描物上方的摄像头采集书页照片，通过视频是算法对图像进行处理后，即可完成扫描，免去了人工将待扫描的印刷品按压在扫描面的传统扫描方式带来的繁重工作量。

但是，此类扫描装置在扫描厚度较厚的书籍时或者在快速扫描的过程中需要手翻书页，并且在扫描过程中为了保持书页平整，需要用手/手指按压单侧或者双侧的书页，导致算法采集的书页图像不可避免的带有手指图像。

采用椭圆肤色模型提取肤色区域，从而定位手指，将肤色附近区域去除。椭圆肤色模型：将肤色图像从rgb空间变换到ycrcb颜色空间，在crcb的二维空间上，样本区域呈现椭圆状特征，从而人们使用一个crcb空间上近似的椭圆区域来作为判定肤色的依据。

但由于用于扫描的书籍内容多样，以及受光线变化的影响，单纯用颜色特征来识别手指区域很容易造成误检和漏检。

技术实现要素：

本发明针对以上问题的提出，而研制的一种遮蔽采集图像中异物的标记体，包括：

标志部，表面具有至少由一种或者多种图元组合形成的二方连续图案；固定部，将标记体固定在采集目标中出现的异物，比如翻书的手指或者类似公开的自动翻书设备出现在书页表面的翻书机构的表面，使得采集到的图像中异物表面被所述的标志部覆盖，便于算法识别和标记。

为了便于算法识别，作为优选的实施方式，所述的图元包括相互平行的等长直线段以及四分圆或者空心圆。

为了便于算法定义标记体整体的图形范围，作为优选的实施方式，所述的二方连续图案集中于一位于标志部中部的矩形识别区域中，每个所述的等长线段与矩形区域的长边垂直，所述的椭圆焦点(或者焦距的中心点)连线与所述的矩形区域的长边平行；

更进一步的，为了加强图元与背景的对比度差异，增强边缘变化梯度，从而使图元在不同光线下都能较为明显，作为优选的实施方式，所述的矩形识别区域的颜色为所述二方连续图案中图元色彩的反色。

更进一步的，为了能够使的算进行精确的定位和识别(原理将在算法部分详述)，当所述的标志部包括多种图元时，每个所述的二方连续图案由一种图元组成；多个二方连续图案与矩形区域长边平行。

所述的多行二方连续图案中至少包括所述的平行直线段的二方连续图案和四分圆/空心圆的二方连续图案。

一种识别图像中异物标记体的方法，包括如下步骤：

首先，采集包括所述的标记体的平面图像；完成至少包括二值化和去噪的图像预处理。

然后，对平面图像进行边缘检测，得到平面图像中的边缘图；提取该边缘图中的全部轮廓。

通过对全部轮廓进行直线筛选，获得所述的标记体中的平行直线段的二方联系图案；

再后，在采集的平面图像中提取平行直线段所在的区域图像。

作为优选的实施方式，首先通过算法确定一定数量的备选直线段，根据备选每条直线段的位置确定所述的区域，采用一个较大的尺寸由初始的直线段位置向外扩张，然后将扩张后的每一个连通区域(可能是很多条直线段区域扩张的重叠导致的联通区域)取一个外接矩形这样的方法得到最终的区域图像。

通过边缘检测所述的区域图像，得到标记体对应的局部边缘图，提取该局部边缘图中的局部轮廓，通过对局部轮廓的筛选，得到全部椭圆的局部轮廓作为备选椭圆；计算每个椭圆轮廓的椭圆焦点和长短轴长度；

检验每个备选圆附近直线段的长度和角度的中位数(考虑到，有的时候检测到的旁边的某些非指套图案上的干扰直线段，比如书籍中较、大概率出现的直线与标志体中的直线段的长度和角度差异比较大，计算平均数，极有可能将误差带进去，故采用中位数)，通过将每条所述直线段与角度和长度中位数比较，去除偏差超出阈值范围的备选直线段。

分别考虑平行直线段和椭圆的像素中心的位置，选择更为接近标记体的图案的像素中心的二方连续图案，计算图案的像素中心，在后续描述的实施方式中，平行直线段更为接近中心，选择了平行直线段的像素中心c，作为标记体中心位置基准；计算所有椭圆的平均长轴长度r，作为判断标记体距离镜头远近的指标；计算所有直线的平均长度l，作为手指向下倾斜大小的依据。

根据所述的像素中心c、平均长轴长度r和平均长度l计算得出标记体的图像范围。

作为优选的实施方式，对平面图像进行边缘检测采用canny边缘检测；通过判定轮廓包围面积阈值范围、轮廓外接最小矩形尺寸以及外接矩形的长宽比，剔除非直线段轮廓。

为了保证算法精度，作为优选的实施方式，计算最终所有符合条件的直线段像素中心之前还具有备选圆和备选直线段对应关系筛选步骤。

对每个找到的直线与每个备选圆进行比对，寻找每个圆周围满足条件的关联直线。通常标记体距离镜头越远，点与点间的图像像素距离越小；标记体倾斜程度越大，点与点间的图像像素距离越小。

每条直线相对焦点的近端与焦点的距离满足上下限阈值要求，综合考虑采集书页图像摄像头的高度、标记体距离镜头的距离以及标记体倾斜程度以及相机分辨率。结合上述因素，给出如下的参数阈值：下限8像素，上限45像素，同时，每条直线距焦点的远端与焦点的距离满足阈值要求：下限要求：不小于下限25像素，可以满足常规主流分辨率720p、1080p以及2k甚至4k的图像采集精度和算法运行速度。

按上述方法找到每个圆周围的关联直线，如果该圆周围找到的关联直线个数低于4条，则删除该备选圆。

作为优选的实施方式，计算最终所有符合条件的直线段像素中心之前判定备选直线段是否穿越对应的备选圆；若穿过，则剔除该备选直线段。

更进一步的，考虑到实际应用情况中，比如佩戴标记体的手指按压周围的书籍内容中可能存在一定的圆(比如附图)，圆或者椭圆距离指套上的直线距离明显大于标记体中的椭圆/圆，故作为优选的实施方式，使用阈值来剔除掉这些外界干扰圆：计算最终所有符合条件的直线段像素中心之前，判定所述备选圆焦点是否偏离所在备选圆行的连线；若偏离超过阈值距离，则剔除该备选圆。

更进一步的，计算最终所有符合条件的直线段像素中心之前计算所有关联直线的中心直线度，即每条直线中心到所有关联直线的中心形成的中心线的平均距离；

若上述平均距离大于3像素，则关联直线组被删除，同时对应的备选圆被删除。

一种书籍扫描方法，包括如下步骤：—针对带有标记体遮蔽的标记体的书籍页面的二维图像，确定标记体的图像范围；—使用标记体上方或下方的近似面积的区域，扩展至所述的标记体的图像范围，去除完成当前书页的标记体图像，完成当前书页的扫描。

附图说明

为了更清楚的说明本发明的实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中作为标记体的指套示意图

图2为本发明实施例中直线段图案示意图

图3为本发明实施例中四分圆图案示意图

图4为本发明实施例中优选图案示意图

图5为本发明平面图像示意图

图6为本发明提取的局部图像示意图

图7为本发明算法实施例中标记体(指套)图像范围掩膜图

图8为本发明算法实施例中掩膜解析图

图9为本发明算法实施例中掩膜的细部结构图

图10为本发明算法实施例中标记体参数计算示意图

图11为本发明算法实施例中算法消除标记体后的扫描图像示意图

图12为本发明算法实施例2的应用场景示意图

图13为本发明算法实施例2中识别结果示意图

图14为本发明算法实施例中成像原理示意图

图15为本发明书籍扫描的算法流程图

具体实施方式

为使本发明的实施例的目的、技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：

如图1所示，本实施例中给出的是针对采用手指翻书的指套方案，所述的固定部为圆近似于回转体的塑胶/橡胶指套，便于套接在使用者翻书手指上，同时塑胶与纸质书页有较大的摩擦力。

在如图1所示图形的中部，设有垂直于中轴线的矩形识别区域，在区域内设有自身相互平行的等长直线段够成的二方连续图案，以及由空心圆够成的两行二方连续图案，两行空心圆交错设置。在本实施例仅考虑作为椭圆的特例的圆的方案。

在颜色选择上，图元(即平行的等长线段和空心圆均为白色，矩形识别区域的背景颜色为白色的反色-黑色)，指套整体为黄色(作为优选的实施方式，也可采用与书籍纸质区别较大的其它颜色)。

为了方便佩戴，在指套/标记体的内表面还设有密集排列的橡胶/塑胶齿，与橡胶/塑胶材质的弹性共同作用，保证佩戴的牢固，同时不会对手指产生过大的压力而造成不适(当手指直径尺寸较大，橡胶齿自身会发生形变，减少对手指压力)。

同时，橡胶/塑胶齿沿手指进入指套方向设置，便于佩戴和脱下指套，同时保证手指横向运动翻书过程中的牢固性，尤其是在手指出汗后与橡胶材质之间的摩擦力可能小于纸质书页的摩擦力，导致指套偏转的情况发生。

实施例1，书籍扫描应用场景，本实施例主要解决图像采集式扫描过程中，手指等翻页过程中对书籍图像的影响，如图2-15所示：

(一)从图像中寻找合适大小的直线段：

1.将图像转为灰度图；

2.进行[5,5]大小的中值滤波去噪；

3.进行canny边缘检测，梯度下限75，上限120，得到图像的边缘图；

4.从边缘图中提取轮廓；

5.分析每一个小轮廓是否符合指套直线的尺寸和形状要求，从而剔除非直线段的轮廓：

a)轮廓包围的面积需满足上下限要求：面积下限10像素，面积上限500像素；

b)求轮廓的最小外接矩形对应的宽和高，要求外接矩形的长边需要满足直线长度的上下限要求：长度下限：12像素，长度上限：70像素；

c)外接矩形的长宽比需大于3；

针对符合上述形状尺寸要求的轮廓，根据其外接矩形求得对应的直线段的两个端点，将每个用两个端点表示的直线段作为备选直线段进行存储。

6.对找到的备选直线进行重叠线的剔除：判断依据为两条直线如果其两个端点的距离都小于3像素，则认为它们重叠。

此图中的黄色线段为该步找到的符合条件的直线。

(二)根据直线段密集度来定位指套可能存在的局部区域

1.遍历每条直线段，计算得到该直线段的中心，斜率和长度；

2.将该直线段依次与其他每条直线段的特征相比较，看二者是否满足下列所有要求：

a)两条直线段的中心之间的距离满足上下限要求：下限4个像素，上限60像素；

b)两条直线段的斜率差异小于0.05；

c)两条直线段的长度差异小于其中任一条直线段长度的0.3倍。

如果某条直线段与该直线段的关系满足上面所有要求，则该直线段对应的相似直线段计数增加1.

3.对于相似直线累计数超过阈值5的区域进行提取，得到大概指套区域。

(三)在上述区域中寻找圆

1.将上面的局部定位图变换为灰度图；

2.对灰度图进行canny边缘检测，梯度下限50，上限100，得到边缘图；

3.针对边缘图提取轮廓；

4.对每个轮廓进行分析，从而查找符合椭圆特征的轮廓：

a)轮廓的面积需满足阈值范围要求：下限200像素，上限2500像素；

b)根据轮廓的二维点集拟合椭圆，求拟合椭圆的面积与真实轮廓面积之差，二者面积差需满足：小于10像素；否则，认为该轮廓的椭圆度不足。

对符合上面两个条件的轮廓进行保留，认为它们是备选指套圆形图案，并记录每个轮廓的椭圆焦点、长短轴长度。

该图蓝色的部分为找到的备选圆。

(四)将圆与直线信息相结合，对备选圆和直线进行筛选

1.第一次筛选：

a)对每个找到的直线与每个备选圆进行比对，寻找每个圆周围满足条件的关联直线。条件是每条直线相对焦点的近端与焦点的距离满足上下限要求：下限8像素，上限45像素；同时，每条直线距焦点的远端与焦点的距离满足下限要求：不小于下限25像素；

b)按上述方法找到每个圆周围的关联直线，如果该圆周围找到的关联直线个数低于4条，则删除该备选圆；

c)将剩下满足条件的备选圆周围关联直线的角度、长度和中心存储起来。

2.第二次筛选：

a)计算每个备选圆附近直线的长度和角度的中位数，将每条直线的角度和长度与这两个中位数相比较，差异需满足上下限要求：每条直线的角度与中位角度差不能大于5度；每条线与中位长度的差异不能大于中位长度的5％；

b)不满足上下限要求的直线从关联直线队列中删除。

c)如果经过上步筛选，某个圆周围剩下的关联直线个数如果小于4条，则删除该备选圆。

3.第三次筛选：

a)每条直线的两个端点不能跨越与其关联的备选圆的两端，否则说明该直线穿越了该圆，而有直线穿越的圆将被删除。

4.第四次筛选：

a)计算备选圆的所有关联直线的中心点，利用这些中心点拟合出一条中心线；

b)计算每个备选圆的中心与上述中心线的距离，该距离不能小于该圆关联直线中位长度的0.8倍。不满足该条件的圆被删除。

5.第五次筛选：

a)计算所有关联直线的中心直线度，即每条直线中心到所有关联直线的中心形成的中心线的平均距离；

b)若上述平均距离大于3像素，则关联直线组被删除，同时对应的备选圆被删除。

经上述共五轮筛选，被保留的圆即为最终确定的指套上的圆，同时也保存了每个圆对应的满足条件的关联直线的信息。

完成定位后，即可得出完整的指套图像掩膜，如图10所示，典型的掩膜范围是由如下四部分组成的：一个矩形(用于限制指套宽度)、手指中间部分的椭圆、手指指尖部分的椭圆以及手指指根部分的椭圆。

图中三个椭圆的短轴都顺着手指a-b线方向，该方向对应手指区域的长度或者长度方向。三个椭圆短轴的长度都依赖于l：当手指倾斜度一定，而距离镜头较近时，l变大，此时手指区域长度增加；当手指与镜头距离一定，手指指尖向下倾斜幅度越大，l越小，此时手指区域长度越短。

图示的三个椭圆的长轴以及矩形的宽都是垂直于a-b线(即指套的中心轴线方向，橡胶/塑胶指套在非使用状态下，横截面整体呈对称图像，类似椭圆)方向，这个方向对应手指区域的宽度。所述的量的长度都依赖于r，因为r因为是椭圆的长轴，因此与手指倾斜大小无关，仅与手指距离镜头的远近有关。当手指距离镜头较近时，r变大，此时手指宽度增加。

其中每个部分的尺寸和位置对应指套中心c、椭圆平均长轴长度r和直线平均长度l的关系如下：

矩形：以c为中心，长15，宽9.5；手指中间部分的椭圆：以c为中心，短轴半径4.3，长轴半径7；指尖部分的椭圆：以a为中心，|a-c|＝3l，短轴半径3，长轴半径3.5；指根部分的椭圆：以b为中心，|b-c|＝5l，短轴半径5，长轴半径6。

如图15所示：对于本发明所述的数理关系，一般的，在图像中相同长度的线，对应的实际平行直线的长度与其相对相机光心的距离成正比；而实物上相同长度的平行线，在成像图像上对应的长度与其相对光心的垂直距离成反比。

实施例2，标记体作为一般识别的应用场景，用于批量产品的区分。在鼠标上表面设置有标记体。在本实施例中，标记体的固定部优选为胶贴形式。通过采用实施例1中的算法，即可识别标记体。

由于标记体自身的图元特征以及反色特征，使得在多种颜色背景的应用场景下，都可完成标记体的识别，保证识别精度。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。