一种基于矩形辅助标定框的标定方法及装置与流程

本公开涉及图像处理和图像识别领域，具体地讲，涉及一种基于矩形辅助标定框的标定方法及装置。

背景技术：

随着科技发展和图像信息的大量产生和交流,图像的自动标定应用越来越广泛。为了提高图片的管理效率，将纸质的图片信息化，获取其电子数据，逐渐成为一种普遍采集管理方式。

目前传统的方式利用扫描仪设备，获取数据影像的方式，得到的影像为固定扫描精度，便于下一步利用图像处理和光学字符识别技术，自动提取出其中的文字、数字等有用信息，加入影像信息管理的数据库。在数据库中统一查询管理该类影像资料，实现企业的影像管理和筹划的全面规范化。

随着智能手机的大量普及和应用，手机摄像头也成为一种普遍的数据采集设备，相对传统的采集方式，手机采集拍摄图片具有灵活、便捷的优势。但是由于不同手机拍摄采集的图像一般比较大，上传存储数据库会占用较多网络带宽；图像存在除图像以外背景的冗余信息，浪费数据存储服务器空间；不同手机采集的图像尺寸也不固定，不利于进一步OCR(Optical Character Recognition，光学字符识别)识别率；手机拍摄的图像存在将三维物理世界中的点投影到二维图像平面中，带来的形变的问题，也不利于进一步对影像的查看和OCR识别，而且直接使用手机拍摄采集的图像还会存在下述问题：

首先，拍摄获得的图像因存在背景冗余信息比较大，不仅使上传存储数据库会占用较多网络带宽，而且存在浪费数据存储服务器空间的问题。其次，由于不同手机采集的图像尺寸不固定，不利于进一步OCR识别率。最后，由于拍摄角度问题，会使图像存在形变问题，不利于对实物影像的进一步查看和OCR识别。

技术实现要素：

针对上述部分问题，一方面，本公开揭示了一种基于矩形辅助标定框的标定方法，所述方法包括下述步骤：

S100、判断辅助标定框内的待标定区域图像能否被标定；

所述待标定区域为矩形，置于矩形辅助标定框内，且待标定区域的各边与辅助标定框相应的边平行；

S200、在判定辅助标定框内的待标定区域图像能被标定时，对辅助标定框内的待标定区域进行拍照或扫描，获取相应的待标定区域图像；

S300、对获取的待标定区域图像进行标定。

该方法利用手机屏幕上显示的辅助标定框，提示拍摄人员将实物在影像上的位置对准标定框，再利用已知的标定框在图像上的位置，检测实物，并进行标定，以节约网络带宽、数据服务器存储空间和提高OCR识别成功率。

另一方面，根据所述方法，本公开还提供一种基于矩形辅助标定框的标定装置，所述装置包括下述模块：

判断模块、图像获取模块、标定模块，其中：

所述判断模块，被配置用于：判断辅助标定框内的待标定区域图像能否被标定；其中，所述待标定区域为矩形，置于矩形辅助标定框内，且待标定区域的各边与辅助标定框相应的边平行；

所述图像获取模块，被配置用于：在判定辅助标定框内的待标定区域图像能被标定时，对辅助标定框内的待标定区域进行拍照或扫描，获取相应的待标定区域图像；

所述标定模块，被配置用于：对获取的待标定区域图像进行标定。

本公开装置可借助软件加必需的通用硬件的方式来实现，也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现，以提高方法的实用性。

附图说明

图1本公开一个实施例中关于方法的流程图示意图；

图2本公开一个实施例中关于装置的结构图示意图。

具体实施方式

在一个基础的实施例中，提供了一种基于矩形辅助标定框的标定方法，利用辅助标定框可以减少一些背景信息的干扰。所述方法包括下述步骤：

S100、判断辅助标定框内的待标定区域图像能否被标定；

所述待标定区域为矩形，置于矩形辅助标定框内，且待标定区域的各边与辅助标定框相应的边平行；

S200、在判定辅助标定框内的待标定区域图像能被标定时，对辅助标定框内的待标定区域进行拍照或扫描，获取相应的待标定区域图像；

S300、对获取的待标定区域图像进行标定。

在本实施例中，所述待标定区域为矩形，矩形的角可以是圆角，也可以方角，其具体到实物可以是下述情形：

情形1：物本身是矩形，比如书、纸张、卡片、票据等等。

情形2：实物有残缺，比如出租车发票，超市小票，由于撕扯使得实物有角的残缺，或者边不为直线。

在情形(1)，待标定区域可以和实物大小相同；在情形(2)，对于有残缺的边，只要该边残留的部分存在直线边的一部分，是可以获得该边所在的直线的，待标定区域为四条直线边所围成的区域；对于完全缺失的边，可以已有的边结合残缺边上点的坐标、矩形相邻边界垂直的关系获取，在这种情况下，所述待标定区域由已有的边和残缺的边一起确定。

待标定区域图像可以通过拍照获取，也可以通过扫描仪获取。为方便标定，优选将待标定区域水平放置，与辅助标定框的边呈0度或90度左右，上下偏差在正负5度内。也可以将待标定区域不水平放置，但是在标定过程中时，会比较复杂。

本方法中的辅助标定框的尺寸在应用中是可以根据实际需要调整的。在这个实施例中，利用辅助标定框判断要获取的实物图像是否可以被标定，可以获取有利于后面标定的图像，提高图像标定后OCR识别的成功率。在确定能够被标定时，对实物进行拍照或扫描，然后对获取的实物图像进行标定，通过标定将实物图像处理到统一大小，可以节约网络带宽、数据服务器存储空间和提高OCR识别成功率。在判定辅助标定框内要获得的实物图像不能够被标定时，优选给出提示以调整摄像头与实物的距离或者光线等。

当然，本方法也可以适用于库存商品信息化，对于不为矩形的商品，可以将商品放置在矩形框内，并调整辅助标定框的尺寸，以使商品图像清晰，获取的图像可以节约存储空间。

在判断辅助标定框内的待标定区域图像能否被标定的方法上，优选采用下述步骤：

S101、获取辅助标定框内的待标定区域图像；

S102、在所述待标定区域图像中，获取构成该待标定区域矩形的直线边；

S103、在能同时获得四条直线时，判定所述辅助标定框内的待标定区域图像能够标定。

上述步骤S102中，如果获取直线边时需要对图像进行灰度化处理，则获取操作应该包括需要对图像进行灰度化处理。

对于步骤S103，当实物边界属于情形1，可以直接将实物边界的四条直线作为待标定区域的四条直线；对于情形2，对于实物有残缺，不能获取的实物直线边界，比如出租车发票因撕扯时导致一边为不规则的曲线，可以利用剩余三条直线边结合被撕扯的不规则边的最小或最大的点、以及矩形相邻边界垂直的关系修复缺失的那条边。其中，当不规则边为矩形上面或左面的边，则利用剩余三条直线边结合被撕扯的不规则边的最小的点；当不规则边为矩形下面或右面的边时，则利用剩余三条直线边结合被撕扯的不规则边的最大的点。在这种情况下，也认为是可以获取该待标定区域图像中构成待标定区域矩形的上、下、左、右四条直线。

在最终无法获得四条直线时，或者退出当前处理或者直接进入下一帧图像的处理等等，还可以给出提示，可以是当前给出提示，也可以是处理完毕时给出提示。

在这里使用能否获取构成待标定区域矩形的上、下、左、右四条直线，是为了判断能否获取用于透视变换的四个角点坐标，能够进行透视变换的图像能够被标定。

在对获取的待标定区域图像进行标定的具体方法步骤中，优选采用下述方法进行标定：

S301、获取待标定区域图像中构成待标定区域矩形的上、下、左、右四条直线；

S302、在能同时获得四条直线时，计算所述四条直线的四个角点坐标；

S303、根据各个角点的坐标，结合给定的标定尺寸，利用透视变换对图像进行标定。

上述步骤中，如果在获取直线时需要进行灰度化，则所述获取操作中应该包括进行灰度化处理。为了提高寻找直线的处理速度，可以对要获取直线的图像进行缩放操作。当进行缩放后，则在步骤S301中，为在缩放后的待标定区域图像中获取构成待标定区域矩形的上、下、左、右四条直线。相应地，在步骤S302之后，还应该包括下述步骤：将得到的各个角点坐标转换为在原图中的坐标。同时，在步骤S303中依据的角点坐标为原图中的坐标，对原图进行标定。

在判断不能获取四条直线时，可以退出处理，也可以继续下一张实物图像的标定处理。

标定尺寸是需要标定到某一DPI标定图所对应的尺寸。给定的标定尺寸为根据存储空间、图像清晰度需要设置的DPI值，比如200DPI、250DPI、300DPI等等。

为了提高一次标定的处理效率，可以在利用在判断辅助标定框内的待标定区域图像能否被标定阶段获取的直线，这样可以将所述步骤S102使用下述步骤替换：

S102’、对所述待标定区域图像进行缩放处理，从缩放后的图像中获取构成待标定区域矩形的上、下、左、右四条直线。

如果获取直线的操作，需要进行灰度化处理，则获取这一操作中应该包括进行灰度化处理。

而即使不利用判断辅助标定框内的待标定区域图像能否被标定阶段获取的直线，也可以通过在缩放图像中获取直线来提高图像的处理效率。

在步骤S102中，搜索直线时优选采用下述方法，该方法也适用于在步骤S102’缩放图中进行直线搜索：

S1021、根据辅助标定框四个角点坐标以及辅助标定框区域大小，在被搜索图像中，确定构成待标定区域矩形直线边的四个边界搜索区域；

S1022、在所述四个边界搜索区域内，分别搜索确定构成待标定区域矩形的上、下、左、右四条直线边。

在确定搜索区域时，可以通过设置阈值来确定搜索区域。在一个实施例中，该阈值被设置为0.1，即根据辅助标定框提供的坐标上下和左右分别偏移正负0.1倍的高或宽来确定搜索区域。

上述提到的缩放处理以及灰度化处理为对图像的预处理，可以提高图像的处理效率。对图像进行灰度化处理可以在尽量保留图像的有效信息的同时，提高图像的处理效率。灰度化处理也可以在缩放处理之后。

在一个实施例中，步骤S302还可以采用下述步骤：

S3021、根据水平和垂直索贝尔(Sobel)算子，对灰度图计算Canny边缘图；

S3022、对Canny边缘图计算霍夫变换；

S3023、过滤掉具有错误的梯度角的边缘分量，获得所述第一缩放图像中实物外接矩形四条直线。

在一个实施例中，揭示了一种利用辅助标定框对图像进行标定装置，所述装置包括下述模块：

判断模块、图像获取模块、标定模块，其中：

所述判断模块，被配置用于：判断辅助标定框内的待标定区域图像能否被标定；其中，所述待标定区域为矩形，置于矩形辅助标定框内，且待标定区域的各边与辅助标定框相应的边平行；

所述图像获取模块，被配置用于：在判定辅助标定框内的待标定区域图像能被标定时，对辅助标定框内的待标定区域进行拍照或扫描，获取相应的待标定区域图像；

所述标定模块，被配置用于：对获取的待标定区域图像进行标定。

优选地，所述判断模块包括下述单元：

第一图像获取单元、第一直线获取单元、判定单元，其中：

所述第一图像获取单元，被配置用于：获取辅助标定框内的待标定区域图像；

所述第一直线获取单元，被配置用于：在所述待标定区域图像中，获取构成待标定区域矩形的上、下、左、右四条直线；

所述判定单元，被配置用于：在能同时获得四条直线时，判定所述辅助标定框内的待标定区域图像能够标定。

优选地，所述第一直线获取单元包括下述组件：

区域搜索组件、直线搜索组件，其中：

所述区域搜索组件，被配置用于：根据辅助标定框四个角点坐标以及辅助标定框区域大小，确定获取的待标定区域图像中构成待标定区域矩形的上、下、左、右四条直线边的搜索区域；

所述直线搜索组件，被配置用于：在四个边界搜索区域内，搜索确定构成待标定区域矩形的上、下、左、右四条直线边。

优选地，所述标定模块包括下述单元：

第二直线获取单元、角点获取单元、标定单元，其中：

所述第二直线获取单元，被配置用于：获取待标定区域图像中构成待标定区域矩形的上、下、左、右四条直线；

所述角点获取单元，被配置用于：在能同时获得四条直线时，计算所述四条直线的四个角点坐标；

所述标定单元，被配置用于：根据各个角点的坐标，结合给定的标定尺寸，利用透视变换对图像进行标定。

优选地，为了提高寻找直线的速度，在第二直线获取单元获取直线之前，可以使用第一缩放处理单元，对获取的待标定区域图像进行缩放处理。相应地，第二直线获取单元在缩放处理后的待标定区域图像中获取构成待标定区域矩形的上、下、左、右四条直线。同时，进行缩放操作后，还需要坐标转换单元，将在缩放图中得到的各个角点坐标转换为其在原图中的坐标。相应地，在标定单元中，依据的角点坐标也为原图中的坐标，对原图进行标定。

优选地，所述第一直线获取单元使用第三直线获取单元代替；

所述第三直线获取单元，被配置用于：对所述待标定区域图像进行缩放处理，从缩放后的图像中获取构成待标定区域矩形的上、下、左、右四条直线。如果在获取直线时需要进行灰度化，则所述获取操作中应该包括进行灰度化处理，并且灰度化处理也可以在缩放处理之后。

优选地，第二直线获取单元可以包括下述组件：

边缘检测组件、直线检测组件、过滤组件，其中：

所述边缘检测组件，被配置用于：根据水平和垂直索贝尔(Sobel)算子，对灰度图计算Canny边缘图；

所述直线检测组件，被配置用于：对Canny边缘图计算霍夫变换；

所述过滤组件，被配置用于：过滤掉具有错误的梯度角的边缘分量，获得所述第二缩放图像中实物外接矩形的四条直线。

通过以上的实施方式的描述，所述装置根据方法进行实现，所属领域的技术人员可以清楚地将所述装置借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本公开而言更多情况下，所述方法采用软件程序实现是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述的方法。

以上对本公开进行了详细介绍，本文中应用了具体个例对本公开的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本公开的方法及其核心思想；同时，对于本领域技术人员，依据本公开的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本公开的限制。