一种从数码照片中快速自动提取矩形扫描件的方法与流程

本发明涉及一种数字图像处理技术领域，尤其是一种从数码照片中快速自动提取矩形扫描件的方法。

背景技术：

相较于将各类资料(如，纸质文档、发票、卡片、传单等)用扫描仪扫描后数字化保存，使用普通数码相机(含手机相机等)采集(数字化)这些信息，用于存档、传递或共享也更便捷高效。但是，用普通数字相机(拍摄)采集存档资料存在几个主要问题：一、目标范围与(成像)采集范围不一致，二、易受环境光照影响，三、所采集的资料存在形变，四、采集的图像数据量大(像素尺寸为百万或千万量级，以jpeg方式压缩后的文件通常为数mb)，不便于保存或处理。

考虑到资料通常具有矩形外框，现有技术针对扫描件矩形检测的方法通常是利用hough变换检测直线，再利用直线的水平及垂直方向特征，检测矩形。

从输入图像中提取边缘像素；采用霍夫变换从边缘像素提取直线，再选择由多条直线中两两大致正交的四条直线构成的矩形区域。其主要不足是，未考虑普通相机的成像条件，方法效率较低，难以处理资料物的旋转以及透视形变等。

现有的透视变形纠正技术，主要依据平面图像的矩形边界的全部或局部、平面图像中的框线、文字行、列等能标示透视变形特征的信息，检测确定透视变形参数，并加以矫正。从输入的文档图像中提取近水平、垂直的直线，利用投票机制确定近似平行线组的灭点，进而计算出透视变换关系。其主要不足是，直线检测效率较低，且对局部形变或非透视形变不适用。

技术实现要素：

本发明要解决上述现有技术的缺点，提供一种高效处理普通数字相机在自然环境条件下，拍照(扫描)存档具有矩形外框的文档资料的自动化处理方法。本发明可降低各类光照环境对成像结果的影响，适用范围广；以角点检测代替常规方法中的直线检测求解候选矩形区域；无效区域自动裁剪，减少数据存贮量。

本发明解决其技术问题采用的技术方案：这种从数码照片中快速自动提取矩形扫描件的方法，包括以下步骤：1)数据降采样及灰度变换；2)图像滤噪及边缘检测；3)等值线跟踪检测最大轮廓线；4)轮廓简化及凸包角点检测；5)区域剪裁及透视变形纠正。

作为优选，所述数据降采样采用等比例缩小的方式。

作为优选，所述等值线跟踪基于像素的八邻域，从最外边缘起始点开始，按逆时针方向依次将其邻域内的邻接点加入到所跟踪的边缘点集中，迭代进行到没有新的边缘点加入为止，如果所跟踪的边缘长度大于整个图像周长的一半，则停止搜索其他边缘信息，即以此作为所跟踪的候选矩形轮廓线。

作为优选，凸包角点检测采用2d平面点集的扫描法。

作为优选，区域剪裁及透视变形纠正的步骤包括，首先选择出区域顶点，计算对应矩形的同名顶点，根据候选区域顶点与矩形顶点的对应关系，计算出变换矩阵，从而可将所选择的候选区域映射到对应的矩形区域，原图像中的透视变形，在映射过程中得以纠正。

发明有益的效果是：本发明的从普通数码照片中快速自动提取矩形扫描件的方法，对拍照环境、拍摄条件无特殊要求，处理过程无需人工干预，抗噪声(鲁棒)，计算速度快，效率高，且处理后的数字存档件占用空间小，便于保存及信息交换。以本发明为核心的系统，可用于快速自动处理普通数码相机照片，或扫描仪等设备的扫描图像，也可以直接安装于手机等智能设备，实时处理文档资料。

附图说明

图1是本发明的方法处理流程图；

图2是折线简化rdp(ramer-douglas-peucker)算法示意图；

图3是区域剪裁及变形纠正示意图；

图4是普通手机在弱光照环境下拍摄的纸质文件(数码照片)；

图5是图像灰度变换及拉伸结果；

图6是图像边缘提取并精化后的结果；

图7是纸质文件(数码照片)提取及纠正结果。

具体实施方式

下面结合附图对本发明作进一步说明：

实施例：

本发明用于从数码照片中快速、自动提取矩形扫描文件的方法，适用于普通数码相机或手机等，在各类自然环境(光照)条件下采集的图像。主要步骤包括，1)数据降采样及灰度变换；2)图像滤噪及边缘检测；3)等值线跟踪检测最大轮廓线；4)轮廓简化及凸包角点检测；5)区域剪裁及透视变形纠正。图1给出本方法的主要步骤及处理流程：

1)数据降采样及灰度变换：

由于数码照片(数字图像)数据量大(采样点多，通常大于四百万像素)，色彩丰富(通常为24位三彩色成像)，需要对数据进行预处理，以提升计算性能。本发明降采样则采用等比例缩小的方式，即，保持图像的长宽比。缩放比例尺根据输入图像的尺寸，一般选择在1/6～1/2之间(输入图像越大，比例尺s越小)。采样过程可使用双线性、三次卷积等方法；考虑计算效率，也可以利用最近点方法(nearestneighbor)完成降采样过程，即：

xdst＝sxsrc

其中，s为缩放系数，(图像空间)，xsrc表示源像素，xdst表示目标像素。

灰度变换则将图像由rgb三彩色空间变换到亮度空间y：

y←0.299·r+0.587·g+0.114·b

其中，rgb为图像像素的三个颜色分量，红(red)、绿(green)、蓝(blue)。

考虑到图像采集环境(成像条件)复杂(光照及反射环境等)，为提升本发明方法的广泛适应性，对图像进行灰度拉升，以提升方法的鲁棒性及处理结果的准确性。灰度变换采用线性变换，将图像实际的灰度范围映射到标准灰度范围[0.0,1.0]或[0,255]。

变换公式如下：ydst＝α*ysrc+β，

其中，α＝255÷(max(ysrc)–min(ysrc))，β＝0-α*min(ysrc))(注：如果灰度范围为[0.0,1.0]，则将公式中的255修改为1.0)，

ysrc表示源像素灰度值，ydst表示目标像素的灰度值。

2)图像滤噪及边缘检测：

图像滤噪的主要目的是提高边缘检测的准确性。滤波可采用的各类常见的图像平滑算法，如均值滤波、中值滤波等。以下以5×5高斯核(σ＝1)为例简要说明。根据高斯核函数可计算出卷积模板(整数值)：

以此模板对灰度变换后的图像进行卷积，可在滤除高频噪声的同时，较好地保留边缘特征。

边缘检测常基于图像的一阶导数、二阶导数或梯度等信息。本发明使用canny算子检测边缘，考虑图像经过灰度变换(拉伸)，其上下阈值分别设置为灰度范围的3/8，6/8(对8位灰度图像，其值为96，192)。

3)等值线跟踪及最大轮廓线提取：

前一步骤中检测出的边缘信息含有噪声，且连通性相对较差(非连续的短边缘)，在进行等值线跟踪之前，需要进行精化。其处理步骤是先进行形态学膨胀，连接不连续的邻接边缘，再进行腐蚀操作，对边缘进行细化(本发明中采用3×3方形结构元素，也可使用其他结构元素)。

边界跟踪基于像素的八邻域，从最外边缘起始点开始，依次将其邻域内(逆时针方向)的邻接点加入到所跟踪的边缘点集中，迭代进行到没有新的边缘点加入为止。如果所跟踪的边缘长度(以像素为单位)大于整个图像周长(即，2倍的图像宽高和)的一半，则停止搜索其他边缘信息，即，以此作为所跟踪(检测)的候选矩形轮廓线。

4)轮廓简化及凸包角点计算：

当提取出初始轮廓边界后，需要规则化或简化，以表示真实的轮廓。ramer-douglas-peucker算法，或称douglas-pecuker算法(rdp/dp)，是常用的折线简化算法，其过程是用给定的点到线的距离(阈值，本方法中设置为折线长度的1～4％)，递归简化距离阈值内的点(图2)。

经简化后的轮廓角点集合，计算其凸包后，选择最接近直角的四个点作为候选区域的矩形角点。以2d平面点集的扫描法为例，说明凸包计算过程：选择最下(右)点作起始点(即，y坐标最小点；如果存在多个点具有y坐标最小值，则选择其中具有最大x坐标的点)；射线(方向(1,0)，或x轴正向)绕起始点逆时针旋转，选择扫描角最小的射线上的点(如果存在多个点，则选择距离起点最近的点)作为下一凸包顶点；以新加入的点为旋转中心，将扫描向量替换该点与前一点之间的向量；重复以上步骤直到回到起点为止。

(注：上述算法的时间复杂度为o(n²)，也可采用更高效的o(nlogn)算法如，graham、chan算法等)

上述凸包如果多于四个顶点，则选择其中最接近90°的角点，作为待变换区域的四边形(矩形)的同名顶点。

5)区域剪裁及透视变形纠正：

选择出区域顶点后，需要计算对应矩形的同名顶点。首先对区域顶点排序，具体排序过程为：选择最左下点(或，具有最小坐标和(x+y)的点)作为起点p0，其他的点则按逆时针(或顺时针)方向排序为p1，p2，p3。对应的矩形顶点坐标分别为(逆时针方向)：(0,0)，(w,0)，(w,h)，(0,h)，其中：

w＝max(|p0p1|,|p2p3|)

h＝max(|p0p3|,|p2p1|)

其中，|·|表示线段长度(若顺时针排序，则矩形顶点对应调整)。

根据候选区域顶点与矩形顶点的对应关系，可计算出变换关系(3×3矩阵)：

记为：a3×3x3×4＝u3×4，则，axx^t＝ux^t，即有，a＝ux^t(xx^t)^-。

计算出变换矩阵后，即可将所选择的候选区域映射到对应的矩形区域，原图像中的透视变形，在映射过程中得以纠正(图3)。(注：上述变换矩阵中，包含有旋转、比例、平移，以及错切、透视等变换)

本发明的从普通数码照片中快速自动提取矩形扫描件的方法，对拍照环境、拍摄条件无特殊要求，处理过程无需人工干预，抗噪声(鲁棒)，计算速度快，效率高，且处理后的数字存档件占用空间小，便于保存及信息交换。以本发明为核心的系统，可用于快速自动处理普通数码相机照片，或扫描仪等设备的扫描图像，也可以直接安装于手机等智能设备，实时处理文档资料。

以下以从某手机拍摄的照片中自动提取矩形扫描件为实施例加以说明。照片拍摄于室内环境，光照不足(整个图像明显偏暗)。图像大小为2592×1944像素，24位rgb三彩色，以jpeg格式存贮，占用空间为1.3兆字节。目标区域为矩形纸质文件，占据整个成像区域(数字照片)的主要部分，相对于图像方向(坐标系)存在旋转以及透视变形。数据示意如图4所示。

利用本发明的方法对数据进行降采样后(比例尺1/4)，候选图像大小为648×496像素，转换为8位灰度图像，其中灰度最大值为122，最小值为7(亮度明显偏低)，需要对其进行灰度变换，以提升边缘检测的准确性。即，计算出灰度变换公式中的系数，ydst＝α*ysrc+β，α＝2.21739，β＝-15.52174。灰度变换结果如图5所示。

对灰度图像进行高斯滤噪，应用canny算子检测图像边缘，再进行利用形态学算子对所提取的边缘进行精化处理(即，用3×3方形结构元素先膨胀、再腐蚀)后，用于提取等值线(图6)。

选择最大轮廓线(最外轮廓)后，利用rdp算法对其简化，再计算其凸包，并选择最接近直角的四个凸包顶点作为候选区域的角点，对应坐标为(顺时针)：(49,123)，(104,604)，(484,543)，(393,77)；将其映射到目标矩形区域：(0,0)，(0,384)，(484,384)，(484,0)。(等比例放大)计算变换矩阵(包含平移、旋转及透视等)后，对原图像的候选区域应用变换，自动剪裁并映射(旋转及透视纠正)到目标(矩形)区域。经处理后的图像仅包含原纸质文件所在区域，大小为1936×1536像素，约为原图尺寸的69％；jpeg格式(相关参数与原图相同)文件存贮占用的空间约0.7mb，比原图节省约45％的存贮空间，且处理后的图像(矩形纸质文件)的水平或垂直方向比较整齐，符合人们的视觉习惯(图7)。

除上述实施例外，本发明还可以有其他实施方式。凡采用等同替换或等效变换形成的技术方案，均落在本发明要求的保护范围。