基于轮廓分割的高拍仪凭证智能裁边校正系统及方法
【专利摘要】本发明公开一种基于轮廓分割的高拍仪凭证智能裁边校正系统，包括高拍仪摄像头（1）、高拍仪补光灯（2）、显示器（3）和带有图像裁边和校正功能的处理器（4）；高拍仪摄像头（1），用于采集视频中的凭证图像；高拍仪补光灯（2），用于外界环境较暗的情况，增强亮度；高拍仪摄像头（1）、高拍仪补光灯（2）与带有图像裁边和校正功能的处理器（4）连接，通过所述处理器（4）对高拍仪摄像头（1）采集的凭证图像进行裁边和校正处理；所述显示器（3）与处理器（4）相连接；显示器（3），用于显示所述处理器（4）的处理结果，本发明避免人工手动操作，提高凭证票据裁边方法的抗干扰性及适应性。
【专利说明】基于轮廓分割的高拍仪凭证智能裁边校正系统及方法
【技术领域】
[0001] 本发明涉及一种基于轮廓分割的高拍仪凭证智能裁边校正系统以及利用该系统 进行凭证图像的裁边、倾斜校正的方法，属于数字图像处理领域。
【背景技术】
[0002] 银行凭证分重要凭证和普通凭证两大类。重要凭证主要指金融活动中使用的票据 (如存单、存折、汇票、支票等）和卡片（如借记卡、信用卡等），普通凭证主要指金融活动充 当过程记录的单据，如通用记账凭证、财务凭证等。随着金融凭证在金融交易中普遍和频繁 地使用，且金融凭证种类繁多，对于金融凭证的影像信息进行裁边、倾斜校正的需求越来越 迫切。
[0003] 目前国内外提出的裁边方法有：手动裁边、基于霍夫变换的裁边和基于矩形的裁 边等。例如利用人工手动截图式裁边，需要人工不停的校准边界，此方法不仅消耗了大量时 间及人力资源，还受到操作者主观放置凭证及主观选定边界而产生误差。又如基于霍夫变 换的裁边方法和基于矩形的裁边方法，这两种方法理论相对成熟稳定，但基于霍夫变换的 裁边方法只能用于寻找直线型边界，抗干扰性较差；基于矩形的裁边方法，只能用于寻找矩 形边界，适应性较差。
[0004] 这些方法最主要的缺点就是效率低，准确性低，抗干扰性及适应性不强，不能很好 的满足市场需求。
【发明内容】
[0005] 本发明的目的在于针对上述已有方法的不足，提出一种基于轮廓分割的高拍仪凭 证智能裁边校正系统，避免人工手动操作，提高凭证票据裁边方法的抗干扰性及适应性。高 拍仪（高速影像拍摄仪）采用USB2.0接口，传输速度可达到480Mbps，200\300\500万像素 传感器配备300\500\800万高清晰镜头。
[0006] 为实现上述目的，本发明的基于轮廓分割的高拍仪凭证智能裁边校正系统包括：
[0007] 基于轮廓分割的高拍仪凭证智能裁边校正系统，包括高拍仪摄像头、高拍仪补光 灯、显示器和带有图像裁边和校正功能的处理器；
[0008] 高拍仪摄像头，用于采集视频中的凭证图像；
[0009] 高拍仪补光灯，用于外界环境较暗的情况，增强亮度，提高高拍仪摄像头的拍摄效 果；
[0010] 高拍仪摄像头、高拍仪补光灯与带有图像裁边和校正功能的处理器连接（一般通 过USB连接），通过所述处理器对高拍仪摄像头采集的凭证图像进行裁边和校正处理；所述 显示器与处理器相连接；
[0011] 显示器，用于显示所述处理器的处理结果。
[0012] 处理器对高拍仪摄像头采集的凭证图像进行裁边和校正处理，所述裁边具体包括 以下步骤：
[0013] (1)所述处理器接收高拍仪摄像头采集的视频图像，并调整图像大小（按照需求， 将图像等比例缩放），用符号X表示视频图像中的一帧图像；
[0014] (2)取比例变量scale，将图像X降采样为图像S，使得图像S的宽和高分别为图 像X的宽Ι/scale和高的Ι/scale ;
[0015] (3)对图像数据进行抽取分离后，将图像S的红、绿、蓝三个通道分开为三个图像， 分别用R、G、B表示红分量图像、绿分量图像、蓝分量图像；
[0016] (4)计算图像S的灰度图Gray,所述图像S的灰度图Gray计算公式为：
[0017] Gray = 0. 299XR+0. 587XG+0. 114XB ；
[0018] (5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪；
[0019] (6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的 边缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用 符号GrayEdge、RedEdge、GreenEdge和BlueEdge表不，所述灰度边缘图GrayEdge、红色分量 边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge都为二值图像；
[0020] (7)计算合成边缘图Edge ;
[0021] 合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图 RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式 表示为：
[0022] Edge(i, j) = GrayEdge (i, j) | RedEdge (i, j) | GreenEdge (i, j) | BlueEdge (i, j)
[0023] 其中，Edge (i, j)表示合成边缘图像像素值，GrayEdge (i, j)表示灰度边缘图像像 素值、RedEdge (i，j)表示红色分量边缘图像像素值、GreenEdge (i，j)表示绿色分量边缘图 像像素值和BlueEdge (i, j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像 的列数，I表示逻辑或运算；(8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素 A(结构元素 A的大小不做限定，可以取5X5的矩形），所述闭操作用公式表示为：
[0024] Edge · A = (Edge ? A、Q A
[0025] 其中，Edge表示合成的边缘图，A表示结构元素 Α，Φ表示形态学膨胀操作，Θ表示 形态学腐蚀操作；
[0026] (9)基于形态学膨胀方法，将Edge图膨胀一个像素后减去原始Edge图，寻找到合 成边缘图Edge的所有闭合曲线；
[0027] (10)在一块全黑的画布上将所述步骤（9)寻找到的闭合曲线用填充的方式画出， 将填充画出得到的合成的边缘图表示为Segment ;
[0028] (11)对图像Segment进行形态学的开操作，其中，选一个结构元素 B (结构元素 B 的大小不做限定，可以取3X3的矩形）结构元素 B，开操作用公式表示为：
[0029] Segmeni- (Segmeni 〇β)ΦB
[0030] 其中，Segment表示合成的边缘图，B表示结构元素 B ;
[0031] (12)对图像Segment重复步骤（9)的操作，找出图像Segment的所有闭合曲线；
[0032] (13)分别计算步骤（12)所得到的每条闭合曲线所包围的面积，并根据该包围面 积筛选出限定面积范围内的（限定面积范围具体要求与实际应用有关，在应用中，所拍摄 的物体面积大小需要在一定的范围内，因此，会给面积一个上限值和一个下限值，超过该上 限值或低于改下限值的即为不属于限定面积范围内）闭合曲线；
[0033] (14)计算步骤（13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算所 述最小外接矩形的长宽比，并根据长宽比筛选出长宽比在限定范围内的闭合曲线的最小外 接矩形（在实际应用中，长宽比根据不同的拍摄对象依据经验设置最大和最小长宽比，要 求长宽比就在这两者之间）的闭合曲线的最小外接矩形；
[0034] (15)计算所述最小外接矩形的顶点坐标（X ' 1，y ' I)、（X ' 2, y ' 2)、 (X^ 3，/ 3)、（X' 4，/ 4)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后 将坐标变换为（X1, Y1)、（x2, y2) > (x3, y3) > (x4, y4)；
[0035] 其中，X1 = x' J ?scale ；x2 = x12 ?scale ；x3 = x13 -scale ;x4 = x' 4 ?scale ；
[0036] Y1 = y' 1 · scale ；y2 = y' 2 · scale ；y3 = y' 3 · scale ；y4 = y' 4 · scale ；
[0037] (16)利用步骤（15)返回的（X1, y)、（x2, y2)、（x3, y3)、（x4, y4)4 个坐标,生成一个 裁好边的图像。
[0038] 处理器对高拍仪摄像头采集的凭证图像进行校正处理，具体包括以下步骤：
[0039] (1)设所述步骤（16)返回的最小外接矩形的4个顶点坐标（Xl，yi)、（x 2，y2)、
【权利要求】
1. 基于轮廓分割的高拍仪凭证智能裁边校正系统，其特征在于：包括高拍仪摄像头 (1)、高拍仪补光灯（2)、显示器（3)和带有图像裁边和校正功能的处理器（4); 高拍仪摄像头（1)，用于采集视频中的凭证图像； 高拍仪补光灯（2)，用于外界环境较暗的情况，增强亮度； 高拍仪摄像头（1)、高拍仪补光灯（2)与带有图像裁边和校正功能的处理器（4)连接， 通过所述处理器（4)对高拍仪摄像头（1)采集的凭证图像进行裁边和校正处理；所述显示 器（3)与处理器⑷相连接； 显示器（3)，用于显示所述处理器（4)的处理结果。
2. 根据权利要求1所述的基于轮廓分割的高拍仪凭证智能裁边校正系统，其特征在 于：所述处理器（4)对高拍仪摄像头（1)采集的凭证图像进行裁边和校正处理，所述裁边具 体包括以下步骤： (1) 所述处理器（4)接收高拍仪摄像头（1)采集的视频图像，并调整图像大小，用符号X表示视频图像中的一帧图像； (2) 取比例变量scale，将图像X降采样为图像S，使得图像S的宽和高分别为图像X 的宽Ι/scale和高的Ι/scale; (3) 将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、绿 分量图像、蓝分量图像； (4) 计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为： Gray= 0. 299XR+0. 587XG+0. 114XB； (5) 对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪； (6) 分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边 缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符 号GrayEdge、RedEdge、GreenEdge和BlueEdge表不，所述灰度边缘图GrayEdge、红色分量 边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge都为二值图像； (7) 计算合成边缘图Edge; (8) 对合成边缘图Edge进行形态学的闭操作，通过结构元素A进行所述形态学的闭操 作，所述闭操作用公式表示为：
其中，Edge表示合成的边缘图，A表示结构元素Α，φ表示形态学膨胀操作，Θ表示形态 学腐蚀操作； (9) 基于形态学膨胀方法，将Edge图膨胀一个像素后减去原始Edge图，寻找到合成边 缘图Edge的所有闭合曲线； (10) 在一块全黑的画布上将所述步骤（9)寻找到的闭合曲线用填充的方式画出，将填 充画出得到的合成的边缘图表示为Segment; (11) 对图像Segment进行形态学的开操作，通过结构元素B进行所述形态学的开操作， 所述开操作公式表示为：
其中，Segment表示合成的边缘图，B表示结构元素； (12) 对图像Segment重复步骤（9)的操作，找出图像Segment的所有闭合曲线； (13) 分别计算步骤（12)所得到的每条闭合曲线所包围的面积，并根据该包围面积筛 选出限定面积范围内的闭合曲线； (14) 计算步骤（13)每个限定面积范围内的闭合曲线的最小外接矩形，并计算所述最 小外接矩形的长宽比，并根据长宽比筛选出长宽比在限定范围内的闭合曲线的最小外接矩 形； (15) 计算所述最小外接矩形的顶点坐标（x/，y/ )、（X'2,y' 2)、（X'3,y' 3)、（X'4,y' 4)，并 将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为（X1^1)、（x2,y2)、 (x3,y3) > (χ4,y4); 其中,X1 =x/ ·scale；x2 =x' 2 ·scale；x3 =x' 3 ·scale；x4 =x' 4 ·scale； Yi=Yi·scale；y2 =y' 2 ·scale；y3 =y' 3 ·scale；y4 =y' 4 ·scale； (16) 利用步骤（15)返回的（X1,y)、（x2,y2)、（x3,y3)、（x4,y4)四个坐标,生成一个裁边 图像。
3. 根据权利要求2所述的基于轮廓分割的高拍仪凭证智能裁边校正系统，其特征在 于：所述处理器（4)对高拍仪摄像头（1)采集的凭证图像进行裁边和校正处理，所述校正处 理具体包括以下步骤： (1) 假设所述步骤（16)返回的最小外接矩形的4个顶点坐标（Xl，yi)、（x2，y2)、 (χ3,y3) > (χ4,y4)为顺时针方向，则该最小外接矩形的长=Ax;-Λf+(? -宽为 width=J(y2 -V1 )2 +(x2 -Xlf最小外接矩形的顺时针旋转角度为：
(2) 以最小外接矩形的中心为中点，对坐标为（X1,yi)、（x2,y2)、（x3,y3)、（x4,y4)的图像 像进行旋转，旋转之后，以最小外接矩形的中心为中点，向上向下分别取width/2,并向左向 右分别取length/2,从而获得长为length,宽为width的校正后的矩阵。
4. 根据权利要求2所述的基于轮廓分割的高拍仪凭证智能裁边校正系统，其特征在 于：所述步骤（7)计算合成边缘图Edge;具体包括以下步骤： 合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式 表示为： Edge(i，j) =GrayEdge(i,j) |RedEdge(i,j) |GreenEdge(i,j) |BlueEdge(i,j) 其中，Edge(i，j)表示合成边缘图像像素值，GrayEdgeQ,j)表示灰度边缘图像像素 值、RedEdge(i，j)表示红色分量边缘图像像素值、GreenEdge(i，j)表示绿色分量边缘图像 像素值和BlueEdge(i，j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的 列数，I表示逻辑或运算。
5. 基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在于，包括对高拍仪摄像头 采集的凭证图像进行裁边和校正处理； (1)所述裁边处理具体包括以下步骤， (1-1)处理器接收高拍仪摄像头采集的视频图像，并调整图像大小，用符号X表示视频 图像中的一帧图像； (1-2)取比例变量scale，将图像X降采样为图像S，使得图像S的宽和高分别为图像X宽的Ι/scale和高的Ι/scale; (1-3)将图像S的红、绿、蓝三个通道分开为三个图像，分别用R、G、B表示红分量图像、 绿分量图像、蓝分量图像； (1-4)计算图像S的灰度图Gray，所述图像S的灰度图Gray计算公式为： Gray= 0. 299XR+0. 587XG+0. 114XB； (1-5)对灰度图Gray、红色分量图像R、绿色分量图像G、蓝色分量图像B分别去噪； (1-6)分别计算灰度图Gray、红色分量图像R、绿色分量图像G和蓝色分量图像B的边 缘，分别得到灰度边缘图、红色分量边缘图、绿色分量边缘图和蓝色分量边缘图，分别用符 号GrayEdge、RedEdge、GreenEdge和BlueEdge表不，所述灰度边缘图GrayEdge、红色分量 边缘图RedEdge、绿色分量边缘图GreenEdge和蓝色分量边缘图BlueEdge均为二值图像； (1-7)计算合成边缘图Edge: 合成边缘图Edge的每个像素为灰度边缘图GrayEdge的像素和红色分量边缘图RedEdge、绿色分量边缘图GreenEdge、蓝色分量边缘图BlueEdge的像素或的结果，用公式 表示为： Edge(i，j) =GrayEdge(i,j) |RedEdge(i,j) |GreenEdge(i,j) |BlueEdge(i,j) 其中，Edge(i，j)表示合成边缘图像像素值，GrayEdgeQ,j)表示灰度边缘图像像素 值、RedEdge(i，j)表示红色分量边缘图像像素值、GreenEdge(i，j)表示绿色分量边缘图像 像素值和BlueEdge(i，j)表示蓝色分量边缘图像像素值，i表示图像的行数，j表示图像的 列数，I表示逻辑或运算； (1-8)对合成边缘图Edge进行形态学的闭操作，选一个结构元素A，所述闭操作用公式 表示为：
其中，Edge表示合成的边缘图，A表示结构元素A，?表示形态学膨胀操作，Θ表示形态 学腐蚀操作； (1-9)基于形态学膨胀方法，将合成边缘图Edge图膨胀一个像素后减去原Edge图，从 而寻找到合成边缘图Edge的所有闭合曲线； (1-10)在一块全黑的画布上将第（1-9)步骤寻找到的用填充的方式画出，将填充画出 得到的合成的边缘图表示为Segment; (1-11)对图像Segment进行形态学的开操作，其中，选一个结构元素B，用公式表示 为：
其中，Segment表示合成的边缘图，B表示结构元素B; (1-12)对图像Segment重复步骤（1-9)的操作，找出图像Segment的所有闭合曲线； (1-13)分别计算步骤（1-12)所得到的每条闭合曲线所包围的面积，并根据该包围面 积筛选出限定面积范围内的闭合曲线； (1-14)计算步骤（1-13)所述每个限定面积范围内的闭合曲线的最小外接矩形，并计 算该最小外接矩形的长宽比，并根据长宽比筛选出所述长宽比在限定范围内的闭合曲线的 最小外接矩形； (1-15)计算所述最小外接矩形的顶点坐标（x/，y/)、（X'2,y'2)、（X'3,y' 3)、（X'4,y'4)，并将所述顶点坐标的横轴系数和纵轴系数分别乘以scale后将坐标变换为（Xl，yi)、 (x2,j2)> (x3,y3) > (χ4,y4); 其中,X1 =x/ ·scale；x2 =x' 2 ·scale；x3 =x' 3 ·scale；x4 =x' 4 ·scale； Yi=Yi·scale；y2 =y' 2 ·scale；y3 =y' 3 ·scale；y4 =y' 4 ·scale； (1-16)利用步骤（1-15)返回的顶点坐标（X1,y)、（x2,y2)、（x3,y3)、（x4,y4),生成一个 裁边图像； (2)所述校正处理具体包括以下步骤： (2-1)设所述步骤（1-16)返回的最小外接矩形的4个顶点坐标（Xl，yi)、（x2,y2)、 (x3,y3)> (x4,y4)为顺时针方向，则该最小外接矩形的长=玉12)2+(?:?)2宽 s %width= ^j{y2 -.r,)2+(x2 -x,f最小外接矩形的顺时针旋转角度Θ为：
(2-2)以最小外接矩形的中心为中点，对原图像进行旋转，旋转之后，以最小外接矩 形的中心为中点，向上向下分别取width/2，并向左向右分别取Iength/2，从而获得长为 length,宽为width的校正后的矩阵。
6. 根据权利要求5所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在 于，步骤（1-6)中计算灰度图Gray的边缘时，包括以下步骤： (6_a)取灰度图Gray的上、下、左、右四条边，对所述上、下、左、右四条边均进行步骤(6-b)?（6-g)的操作： (6-b)计算上、下、左、右四条边像素值的标准差，当标准差大于限定值时，用OTSU方法 计算每条边的阈值，并将大于所述阈值的像素值设为0,小于或者等于所述阈值的像素值， 像素值不变；当标准差小于或者等于限定值时，像素值不变； (6-c)计算步骤（6-b)中非零值的个数以及整条边的像素值的和； (6-d)计算边非零像素点的平均像素值； (6-e)扩展背景边界，扩展的像素点的像素值为非零像素点的平均像素值； (6-f)对扩展边界后的图像求边缘； (6-g)去除所述步骤出-f)获取的带有边缘的图像的扩展背景边界后，与所述步骤 (1-6)得到的灰度边缘图GrayEdge合并。
7. 根据权利要求5所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在 于，当步骤（1-15)后，还包括以下步骤： (a)令步骤（1-15)中最小的横坐标为x_min，最大的横坐标为x_max，最小的纵坐标为 y_min,最大的纵坐标为y_max,x_min=min(X1,x2,x3,x4) x_max=max(X1,x2,x3,x4) y_min=min(γ1；y2,y3,y4) y_max=max(Y1,y2,y3,y4) (b) 在坐标为（Xl，yi)、（x2,y2)、（x3,y3)、（x4,y4)的图像中取子图像，子图像的区域为一 个矩形，矩形的左上角坐标为（x_min，y_min),右下角坐标为（x_max，y_max); (c) 令scale= 1，并将子图像作为输入，重复所述步骤（1-3)到步骤（1-15)，得到精确 的坐标。
8.根据权利要求6所述的基于轮廓分割的高拍仪凭证智能裁边校正方法，其特征在 于，所述步骤（6-b)中限定值为20。
【文档编号】G06T7/60GK104240259SQ201410532793
【公开日】2014年12月24日 申请日期:2014年10月10日 优先权日:2014年10月10日
【发明者】钟宬, 凌志峰, 邹相, 赵旦, 戴舒炜, 许江, 徐文波 申请人:江苏国光信息产业股份有限公司