专利名称：多功能证件信息采集系统的制作方法
技术领域：
本发明涉及一种应用于多种证件信息多功能证件信息采集系统，具 体来说，涉及一种集合了证件图像采集、图像处理、图像信息提取等功 能的证件信息采集系统。
背景技术：
在社会民生的众多领域中，经常需要从证件中获取相关的信息。随 着计算机技术、图像处理和光学文字识别算法的成熟，利用计算机进行 证件信息自动识别录入已经成为可能，它能极大的提高业务双方的效率。基于计算机OCR的证件信息采集系统可以广泛应用于网吧、公安、银行、 电信、邮政、酒店、铁路、民航、证券、民政、教育、出入境、部队等 部门行业中，节省大量的人力和物力，具有相当广阔的应用前景。现有的证件信息采集系统广泛采用普通镜头拍摄或扫描方式进行设 计，而且存在自身的缺陷前者的体积过大，拍摄图像质量低；后者的 工作效率低且伴随着机械运动，容易磨损并产生噪声。因此迫切需要寻 求一种多功能、高效、高可靠、小型化的证件信息采集系统。发明内容针对上述存在的不足，本发明提供了一个新的多功能证件信息采集系统，它体积小、可靠性高、成像质量好、而且易扩展。本发明的多功能证件信息采集系统包括用于获取证件图像信息的图 像采集模块、用于对获取的证件图像进行处理以输出合乎要求的图像的 图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。所述图像采集模块包括CMOS图像采集模块、传输接口模块、LED 光源组模块和电源模块；所述图像处理模块包括偏色校正单元、桶形失 真校正单元、倾斜与倒置校正单元和证件信息分割单元；所述图像信息 提取模块利用OCR技术提取证件图像的文字信息。所述CMOS图像采集模块采用焦距为1.65mm、可视角为171°的微 距鱼眼镜头。所述LED光源组模块采用方向性相对较弱，发光颜色接近白光的两 个LED灯。所述图像处理模块的偏色校正单元采用基于完美反射法的偏色校正 方法。所述桶形失真校正单元采用三次样条曲线对鱼眼镜头的桶形畸变规 律进行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作 流程为1) 利用前向投影原理求得目标图像G的大小；2) 利用后向投影原理求得失真图像fl到目标图像f2的坐标映射表， 并保存在内存数组中；3) 每捕获一幅图像，都遍历内存数组中的坐标映射表，然后使用灰 度双线性插值方法恢复原失真图像。所述倾斜与倒置校正单元的工作流程为1) 将证件图像按照一定的比例因子进行縮放；2) 对证件图像进行灰度处理；3) 对灰度处理后的证件图像进行Sobel算子边缘检测，得到较粗宽 轮廓图像；4) 对较粗宽轮廓图像进行细化处理，得到只有一个像素宽度的细边 缘轮廓图像；5) 将所得到的细边缘轮廓图像实施Hough变换，检测出边框的直线 参数，利用检测到的参数计算得到原始证件倾斜的角度；6) 利用得到的倾斜角度对原图像进行旋转操作；7) 对倾斜校正后的图像进行縮小操作，并对图像进行RGB到HSI 色彩空间变换；8) 以人脸肤色为约束条件将图像二值化，并对得到的二值图像进行 中值滤波操作，滤除干扰，令整幅图像只剩下人脸部分的二值图像；9) 利用人脸部分的二值图像从步骤7)所得的缩小的彩色图像切割 出人脸部分图像；10) 利用RGB彩色边缘提取法对人脸部分图像进行边缘检测，得到 人脸轮廓二值图；11) 利用水平投影统计法，对人脸轮廓二值图像的上、下部分分别 进行水平投影统计，从而判定图像是否倒置；12) 对倒置了的图像进行旋转校正；否则直接输出倾斜校正后的图像。所述证件信息分割单元采用比例分割的方法将证件图像粗分割为个 人信息描述区、头像区和证件号码区三大区域，然后再将个人信息描述区采用水平投影法细分割为姓名、性别和民族、出生日期和住址四个区 域。所述图像采集模块还包括RFID卡射频感应获取信息的RFID感应模 块，所述传输接口模块在USB接口的基础上增加一个USB的Hub芯片， 实现接口的复用功能，用来传输来自RFID模块的信息。本发明的有益效果为CMOS图像采集模块采用鱼眼镜头，从而令 设备小型化；同类系统大多采用LED灯光照明，但由于LED的色温问 题，这些系统都会出现图像偏色现象，本发明的图像色彩校正模块口J解 决这个问题；利用倾斜与倒置校正，给用户以更高的使用自由度，同时 令图像分割更加精确；在同类系统中率先引入MVC软件系统架构和设计 理念，降低设计难度与各软件模块的耦合性，修改其中某个模块不会对 其他模块造成大的影响，甚至可以不用改动其他模块，从而保证丫系统 的高可扩展性与通用性。
图1为本发明多功能证件信息采集系统的系统框架图；图2为本发明基于RFID设计的采集模块系统框架图；图3为本发明图像处理流程图；图4为本发明的偏色校正单元的工作流程图；图5为本发明桶形失真校正单元工作流程图；图6为本发明倾斜与倒置校正单元工作流程图；图7为本发明的图像信息分割模块示意图。
具体实施方式
下面结合附图对本发明进行进一步阐述。如图1所示，本发明的多功能证件信息采集系统，它包括用于获取 证件图像信息的图像采集模块、用于对获取的证件图像进行处理以输出 合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。其中，图像采集模块包括CMOS图像采集模块、 传输接口模块、LED光源组模块和电源模块；图像处理模块包括偏色校 正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元; 图像信息提取模块利用OCR技术提取证件图像的文字信息。下面对各模块进行详细阐述。一、图像采集模块图像采集模块的主要工作是在Windows操作系统下驱动USB接口的 摄像头来捕获一帧质量较好的证件图像，主要由CMOS图像采集模块、 传输接口模块、电源模块、LED光源组模块4部分构成。1.1 CMOS图像采集模块本模块主要是用来进行图像采集，要求成像清晰，功耗较低，儿能 减小物体与CMOS传感器之间的距离，从而有效的减小了仪器的体积， 使产品更为便携，甚至可以装配到通用PC机的机箱中。在本发明的系统中采用了焦距为1.65mm、可视角为171。的微距鱼眼 镜头，使得证件在镜头前方约45mm处可以得到完整取景，加上镜头高 度，总厚度将控制在60mm左右。采用鱼眼镜头将带来桶形失真，此问 题将后面处理模块中进行补偿，尽可能复原图像。为捕获一帧图像，本发明采用DirectShow开发图像采集模块，说明如下CGraph类主要是实现一些对所有与Filter Graph相关的应用中所必 需的操作的封装，通常作为其他针对特定领域应用的Filter Graph类的父 类。如本系统中与采集应用相关的CCaptureGraph即是继承于该类。在本系统中，帧数据的获取采用的是DirectShow自身提供的 SampleGrabber Filte (对应的类ID为CLSID_SampleGrabber)。使用这个 Filter时需要对其回调机制进行设置，其中设置的回调参数中就有具有 ISampleGrabber接口的类。本系统中实现的CSampleGrabberCB类即为-一 例。CCaptureGraph类继承于CGraph类，以实现特定于采集应用的Filter Graph工作类的封装。其工作原理是利用DirectShow中的ICaptureBuilder2 接口提供的智能连接功能RenderStream进行Filter间互连。智能连接意即 客户只需要根据不同的应用场景，添加所需要的Source Filter、 Transform Filter和Rendering Filter,系统便会自动实现连接。本发明设计了两种图像获取方式(1) 从预览视频流中捕获数据帧，适合系统负载较轻的情况；(2) 使用静态引脚捕获数据帧，类似照像机的快门，适合系统负载较 重的情况。1.2传输接口模块本模块的作用是将采集到的图像数据高速地传送到图像处理模块 中。由于USB2.0的最高传输速度可以达到，80Mb/s，因而本发明采用了 USB2.0传输接口 。考虑到系统最后还须扩展RFID感应模块，以通过感应方式获取第二代身份证的信息，因而同一 USB接口还需要传输来自RFID模块的信息。这只需要增加一个USB的Hub芯片，，实现接口的复 用功能，使用比较常见的USB Hub芯片GL850A即可以对两路信号进行 选通，达到系统的要求。 1.3 LED光源组模块本模块的主要作用是为图像采集提供照明光源。考虑到LED色温范 围比较广，而且色温的高低对图像的成像质量有着直接的影响，因而在 该证件信息采集系统中，特意挑选了方向性相对较弱，发光颜色接近白 光的LED设计了两个LED光源组。从系统实际拍摄的效果来看，这种 设计能够使捕获的图像不会因为光源的方向性问题而产生人为的亮点， 也不会因为光源的色温过于偏离正常范围而导致色彩过度失真。1.4电源模块本模块的作用是为LED光源组和CMOS图像传感器提供一个稳定的 电源环境。本发明采用了一个AC-DC的变换器通过对220V的市电进行 转换，产生供应LED光源组所需的12V电压。至于CMOS图像传感器 模块的供电则通过USB连接线直接提供，其工作电压为5V。1.5 RFID感应模块另外，考虑到第二代身份证的RFID卡射频感应获取信息的功能，还 可以增加一个RFID感应模块。鉴于RPID技术的应用前景，我们有理由 相信将来会有越来越多的证件使用该技术，由于身份证RFID模块的使用 需要经过公安部门的认证，因而目前本发明中描述的系统仍未包含RFID 模块功能具体实现，但是该系统在设计的时候，已经预留了相应的设计 接口，在系统框图中为强调这一点，本发明仍然标识出该模块，如图2所示。二、图像处理模块图像处理模块的主要功能是将图像采集模块捕获到的图像进行色彩 校正、畸变校正、倾斜校正、图像分割等处理，然后输出合乎要求的图 像以供后续模块进行信息提取，该模块包括了偏色校正单元、畸变校正 单元、倾斜与倒置校正单元、图像分割单元等子模块。图像处理模块流程如图3所不，整个系统对图像的处理起始r对获取的,!图像进行偏 色校正以去除由于灯光色温引起的色彩失真，然后利用畸变补偿进行图 像复原，紧接着进行倾斜检测实现倾斜矫正，然后对倾斜补偿后的图像 进行分割。2.1偏色校正单元本模块的作用是将色彩失真的图像校正为正常图像，由于本发明的 系统选择了发光接近白色的、无方向性的LED灯为照明光源，因此在这 种背景下拍摄的照片会有偏蓝色现象，这也是同类系统中普遍存在的成 像色彩不真实的问题。为解决偏色的问题，本发明采用的基于"完美反 射法"的偏色校正模块，如图4所示，主要由色温统计、增益计算、色 温校正三部分组成，经过偏色校正后，获取的图像色彩与原图的色彩非 常接近，大大提高了系统的成像质量。完美反射法又称镜面法，它基于一种与灰色世界法完全不同的假设: 镜面可以反射光源色彩，而其本身不带有任何色彩，同时图像中镜面的 亮度是最大的，如果认为图片中R、 G、 B通道值最大(也就是最明亮) 的像素认为是一个镜面，那么通过统计R、 G、 B通道的最大值就可以获 得未知光源的信息，从而通过对角变换矩阵法还原经典图像。本发明先由色温统计模块统计R、 G、 B通道的最大值作为镜面，然后利用增益计 算模块获取各通道的补偿增益，最后由色温校正模块将各通道的色彩校 正还原。2.2桶形失真校正单元本模块的作用是将桶形失真了的图像还原为正常的图像，由于本发 明的系统采用了大视角、微距的鱼眼镜头以缩小设备体积，故在解决设 备体积过大问题的同时，也带来一个新的问题——桶形失真。图像的畸 变给特征提取、参数计算带来困难，甚至导致失败，故我们必须对获取 的图像先进行校正，以恢复图像。根据桶形失真具有圆对称的特点，本 发明采用三次样条曲线对鱼眼镜头的桶形畸变规律进行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作流程如图5所小 基于广角镜头的桶形失真校正方法具体流程为 1)制作同心圆模板，获取模板实测图像数据首先是制作同心圆模板这些同心圆的间距是按事先指定的比例放 置的，具体的比例只是用于确定后述中一组理想半径值，本发明选収问 心圆模板之间圆环的间距相同，即同心圆的半径成奇数倍增长，同心圆 半径值为/ rt=(r。，3^...,(2"-%)，其中r。为同心圆模板的最小半径值， "为同心圆的圆个数，^&…，r为同心圆模板的实测值，/l为实测最小半 径值，/;为实测最大半径值。然后经过同心圆模板的圆心添加一个"十字架"，接着设计一个简单 的图像采集程序，比如在Windows平台上，可以利用DirectShow进行开 发，该采集程序在采集数据时能够在相应的图像显示窗口中心显示一个 虚拟的"十字架"。把广角镜头安装到图像传感器上利用上述采集程序进行同心圆模板成像数据采集。本具体实施例中采用的广角镜头焦距为1.65mm的，视角约为171°。在保证镜头与物平面平行的情况下，令采集 程序显示的虚拟"十字架"与同心圆模板上的"十字架"重合，此时可 以认为镜头光轴中心近似通过同心圆圆心，并且实现了 "对准"。对得到的图像进行滤波和二值化，然后进行圆拟合和圆检测，获取同心圆模板的实测半径i^—n,^…^)，本实施例中的测得的数据一组为[38.00, 112.13， 175.13, 225.00, 263.75， 293.50, 316.25, 333.67， 348.12， 359.70,369.69];2)利用模板实测图像数据进行样条曲线建模首先定义不同采样半径位置的压縮比&为实测半径值与理想半径值 的比值，不同采样半径位置的逆压縮比^"为理想半径值与实测半径值的比值K&A2,…,S》V^"々0。,…^/(2"-1)r。)接下来是畸变规律的三次样条曲线拟合，它包括如下三个步骤2.1) 以实测半径为横轴，压縮比为纵轴构成坐标系，构建桶形及变 规律曲线&=/(。，这样S^/(0必然经过点"A),^A),…,(/;A)，可得到三次样条系数矩阵j。以理想半径为横轴，逆压縮比为纵轴构成坐标系，构建桶形及变规 律曲线， 这样必然经过点 。。，^),(3Wj,…,((2^1)W》得到三次样条系数矩阵A。2.2) 为了使拟合后的三次样条直线满足整个定义域09Smax(r)，当r。较小的时候，修正r。-^^0，则A^V,1，则修正后的两条三次样条曲线分别通过(o,i)^A)，…，(;;A) (O，l)， (r2, Sr2)，…，(rn, Srn) 和(0，l),(3r。,^),…,((2"-lh,&)。2.3)用两组三次样条曲线拟合桶形畸变规律 前向样条曲线^对应于^=/")，& ,。-0、(卜r4)2+c々1) +《 其中a;^《^， BA^"，且r,O， cv V cA、《为三次样条系数矩阵^的行系数值；后向样条曲线^对应于SV =/'(r)，^W"卜(2"1)。)3+Z^ H2"l)。)2+cK2A-l)^)"、 其中(2卜1)。《r^(2A; + l)r, ， l"^w，且& = 1时令(2H)rl=0 ， <、^、 c'4、 "V为三次样条系数矩阵I的行系数值。三次样条的确定需要用到光滑条件，即相连曲线在断点处具有相向 的一阶导数和二阶导数，此外第一条三次样条曲线和最后一条三次样条 曲线需要增加两个约束条件才能确定下来。在我们的发明中，使用了令 边界条件中二次导数均为0的方法，即自然样条(Natural Spline)来拟合 失真曲线。3)利用样条曲线建模参数制作畸变补偿映射表通过样条曲线对失真曲线进行建模后，可以得到一组刻画桶形失真 的模型参数，为了实现对失真图像进行高效、实时复原，可以进一步根 据得到的模型参数将其制作成一张畸变补偿映射表，它包含如下2个步 骤3.1)利用前向投影原理(ForwardProjection)求得目标图像的大小设失真图像的大小为似x^ (宽x高)，则图像的中心为 K，"。) = W + l)xW + l)/2，过该中心以水平向右直线为x轴，垂直向下方向 为^轴，建立一个坐标系。值得注意的是，这里的点坐标 ，")表示y轴分 量为^，"轴为"，下同。则不同像素—，")到图像中心的距离为该点与^轴之间的夹角计算四个顶点到其中心的距离。把求得的距离r代入前向样条曲线&=/W，就可以得到这些点的压缩比^^ 。由S^的定义可知，此时真 实的半径应该为设该像素点(W，")在理想图像上的映射的理想位置为—'，。如果fm' = m0 -r( sin 6* = w。 + ^ cos 6*如果《-附0<0，则有JW =附。+ sin^ 卜'=w0 — ^ cos^在畸变图形上，当把坐标中心原点平移到中心—。，"。)之后，四个顶点的坐标为D，4"。—D]的不同组合。由于假设的模型认为切向没有 失真，因而这些点在目标图像中的方向与在失真图像上的方向相同。因 而目标图像四个顶点的坐标在所建立的^^坐标系中的坐标位置可以分别计算。设计算得到的四个点为左上角(^〃' )，右上角(附"，"")，左下角0%，"/》，右下角(^'"J,则理想图像的大小^e,其中|尸=max {m/6 _ m,, ， mr6 _ mrt} 1G = max {-/zrt}3.2)利用后向投影原理(Backward Projection)求得失真图像到目标图像的映射表从步骤l)中可知，在己经目标图像大小的情况下，如果我们将目标 图像所有像素初始化为全零值。接着依次遍历失真图像所有像素，计算 该像素在目标图像上的具体位置——若为非整数点则采用一定的办法进 行取整，这样便得到一张复原图。但是，由于目标图像比原失真图像大， 因而目标图像上的所有点不可能每一点都被覆盖，因此便产生了前向投 影问题(Forward Projection Problem)。在桶形畸变复原中将产生一些类 似水纹的人为噪声，即使使用中值滤波对校正后的图像处理，也无法很 好的解决。解决前向投影的办法是使用后向投影。这时需要利用前述的后向样 条曲线。由于第一步获得了目标图像的大小之后，新图像中心点的坐标 为Ov《。)"P + l)x(e + lV2。建立以目标图像中心为原点的一个新的坐 标以水平向右直线为^轴，垂直向下方向为^轴。遍历目标图像上的任一个像素(^，W，在平移之后的新坐标中该点坐妙=^标为(P-A)，《—《。)，它与^轴之间的夹角 《1。。 那么该像素到图像中心的距离为G =>/0 —A))2+(《-《0)2把求得的距离,代入后向样条曲线^ 就可以得到这些点的逆压縮比5^。由 ^的定义可知，此时对应的失真图像上的半径应该 为G "〃4设在映射到失真图像上的点为^、')。同样，由于角度"保持不变，因此，如果^—A^，贝uf// = m。 一 q sin a t《'=w。 +。 cos"如果"A^，则有f Z7'=附o + 。 sin " L《'=wo — 。 cos"其中K，0"m+i)x(w+i)/2，即为第一步中的失真图像的中心点坐标。按目标图像"w(P，^中的坐标，由第一行起从左至右，从上至下的方 法，即按如下的顺序扫描整个图像坐标空间(U)，(l,2)…(l,0…(2，l),(2,2)…(2,0),…(尸,l),(尸,2)…(尸,e)，便能够求得目标图上的点映射到失真图像上的点的位置s"^"')，这样便制成了一张畸变补偿 映射表Map。4)根据畸变补偿映射表，利用双线性插值算法实现畸变补偿 最后一步操作是利用已经建立的畸变补偿映射表，并采用双线性插 值算法实现畸变补偿。在上述遍历整个"4^，《)图像坐标过程中，由整数 值像素点^，^计算得到的像素位置W)可能为非整数，而图像像素空间 只能在整数空间中定义，因而在W)点上没有灰度定义。此时需要引入一种新的技术，即灰度级插补技术通过基于整数坐标的灰度值推断那 些非整数位置的灰度值。本发明使用)双线性插值法实现灰度插补。双 线性插值又称为双线性内插，其核心思想是在两个方向上分别进行次 线性插值。在数字图像上，则是利用4个邻近点的灰度值在两个方向上 作线性插值。假设在像素坐标系卜c坐标中，待求点尸，坐标为("，c)的坐标上的值 为/(。 = /(^)，邻近的四个点的坐标分别为Mu="，q)、 M12="，e2;i、 M2l=(r2,Cl)、 M22=(r2,c2)，其值分别为/(^u)、 /(M12)、 /(似")、/(似22)。首先在c方向上进行插值<formula>formula see original document page 19</formula>接着在r方向上进行线性插值，得 =伸，c) /(《)+，2)可得;-。("肌)+ 肌)+ (卜，广c)肌)")(c-c,)肌)在像素空间中，可以利用相邻像素点坐标差为1这个特点简化式中 分母的运算，从而大大提高计算速度。该模块的算法有两个优点1)每次校正桶形失真的图像只需线性遍历一次内存数组保存的像素坐标值，故程序执行速度很高；2)利用双线性插值法，能令补偿后的图像更清晰、细腻，能很好的 提高图像识别率。2.3倾斜与倒置校正单元本模块的作用是对倾斜或倒置了的图像进行校正，从而提高证件信 息识别率。由于证件信息采集时，证件有可能会随意放置，这将导致捕 获的图像存在倾斜或倒置现象，这有可能导致证件信息识别完全失效。图6为本发明的倾斜与倒置校正模块的工作流程图，其说明如下 其中、倾斜校正单元的具体流程为a) 拷贝一份原图像并对其按指定的縮放因子实施縮小操作，縮放因子的确定可以按证件占整个成像区域的比例而确定b) 将縮小之后的图像从RGB色彩空间转换成YCbCr色差空间，转 换公式如式
<formula>formula see original document page 20</formula>
取出转换后的亮度(Y)分量。c)使用对噪声抑制作用明显的Sobel梯度算子模板对上述亮度(Y) 分量实施Sobd边缘检测，得到一个较粗糙的轮廓描述信息，具体如下 一幅数字图像的一阶导数是基于各种二维梯度的近似值，首先定义图像的亮度函数/(x,力在位置(x,力处的梯度向量为<formula>formula see original document page 20</formula>梯度向量指向坐标(x，力点处/的最大变化速率方向，在边缘检测中， 一个重要的量是这个向量的模，艮P:然后根据每个像素点求得的向量模值的大小经过门限操作后得到 幅粗糙的轮廓图像。d)对上述步骤的粗糙轮廓图像进行细化处理操作，得到只有一个像 素宽度的细边缘轮廓信息，细化又称为骨架化，是基于图像形态学原理 的图像处理方法，利用细化算法可以有效地提取图像的边界信息，轮廓 信息，进而使用合适的方法进行描述，如链码等。具体操作如下设边缘上的点值为"1"，而背景上的点值为"0"。本发明优先考虑使用Zhang快速并行算法对边缘检测之后的图像进行细化。首先定义轮 廓点是本身标记为"1"而其8连通邻域中至少有"1"个点标记为"0" 的点。算法对轮廓点进行如下操作该算法对给定区域的轮廓点逐次应用以下两个步骤Stepl:考虑以边界点为中心的8邻域，记中心点为pl，其邻域的8 个点顺时针绕着中心点分别记为p2，p3,...,^9，其中^2在pl的上方。如果下列条件满足，则标记该轮廓点pl:'(a) 2 S 7V(户1) S 6 (6)，) = 1W)/ 4*; 6*p8 = 0其中iV(pl)表示点;;l的非零相邻点数目，艮P 7V(/ 1)"2十p3 + ... + ; 8 +并且7^1)是以/52,/ 3，...，^8^9，^2为次序轮转时，从"0"到"1"的变化次数的计数。当对所有轮廓点都检验完毕后，将所有标记了的点删除，即改为"0" 值，称这样得到的数据为结果数据。Step2: Stepl中的条件(a)、 (b)保持不变，把条件(c)、 (d)变为 / 2* — ; 8 = 0按Stepl中同样的办法遍历结果数据，完成标记工作，并对标记的所 有点在完成整幅图像扫描之后进行删除。以上两步操作构成一次迭代。只要通过反复迭代，直到没有点冉满 足标记条件，这时剩下的点便组成了区域的骨架，我们也便得到了单像 素宽度的细轮廓图像。e)将得到细轮廓图像后使用Hough变换可以求得证件四条边框的直线参数，并进而求得倾斜的角度，具体如下在图像空间中的一条直线方程少="义+ 6可用极坐标表示为其中p是原点到直线的垂直距离，^是直线的垂线与x轴正向之间的夹角。使用极坐标代替斜截式描述直线方程带来的好处是可以避免当直 线接近垂直时，直线的斜率接近无限大。由式可知图像平面上所有经过点(x,.,x)的直线对应于/^平面上的正 弦曲线。而图像平面上满足A"cos《+;;sin《共线点集2生成参数空间中 交于点(A，《.)的正弦曲线。因此通过将-平面划分为不同的累加单元， 建立离散的参数空间，对图像中每个值为1的像素点进行Hough变换计 算，计算出参数空间对应的曲线，并在相应的累加器上加l，再通过寻找累加器中的多个峰值点，其对应的坐标(A^表示的直线就是待检测直线 的参数空间的特征值。在本发明中，由于成像背景环境很好，故拍摄到的证件图像轮廓是 比较清晰的。此时基本上可以检测到证件图像四条边框相应的直线参数。 除了判定边框中长边与短边之外，还需要考虑Hough变换中两种特殊情 况(1) 参数空间的左右边缘反射邻接关系，即参数空间中点(^W2)与 点(-p，-兀/2)描述同一条直线方向；(2) —条长的线段边框检测为多段不连续的子线段的情况，此时需 要按一定准则进行合并；考虑到检测的证件图像四条边中每两条边为一组构成了两组平行 线，而且两组平行线又相互垂直。因而证件图像边框的大小它们的确定 可以通过两组平行线之间的距离，也即Hough变换中计算得到的^值的 差求得。因而利用这些信息可以判断出证件长的边框倾斜的角度。Hough变换的反射邻接问题可以通过检测是否出现在W2倾角附近 出现p值和倾角^同时变换符号，若出现该情况，则对其取绝对值即可。对于上述情况(2)，由于本发明的目的只是为了检测出倾斜角，并 判断出哪一个倾斜角是长边框的倾斜角，因而可以仅利用同一边的某一 子线段的^")信息进行计算。本发明使用了一种对检测到的属于同一条 边框的子线段进行合并的准则，具体操作如下(1 )定义证件四条周边线段元集合LineSegEdgelSet ， LineSegEdge2Set ， LineSegEdge3Set ， LineSegEdge4Set ， 并且设 LineSegEdgelSet与LineSegEdge3Set构成平行 一 组边(对边)，UneSegEdge2Set与LineSegEdge4Set亦构成对边；(2) 对Hough变换所检测出来的所有可能的某- 线段元LineSegEle， 判断LineSegEle属于上述线段元集合中哪一个，即同边关系，并将其添 加到相应集合中。同边的判据为两个线段元倾斜角^相差很小，线段元 对应的极半径P值相差也很小(经过反射邻接预处理之后)！(3) 对得到的四条周边线段元集合内的线段元分别求倾角和极、iM个 的平均值即可求得每条边框直线倾斜的角度和极半径。根据上述求倾斜的角度和极半径可以求得证件较长的边框倾斜的角 度，此即为证件倾斜的角度。f)最后，在求得证件倾斜角度之后便可根据该值进行顺时针或逆时 针旋转原始证件图像便可实现倾斜校正。倒置校正单元的具体流程为a) 将图像縮小到一定的程度并不会改变图像中人脸的相关信息，以减少算法的运算量。b) 将该图像的RGB色彩空间转换为HIS色彩空间，转换公式为.e 若B^GH = 、 360-<9 若B〉G5 = 1- ^——^——^ 「min (凡G，州其中，R、 G、 B表示已归一化到[O, l]范围的RGB色彩空间的红色、 绿色、蓝色三通道的颜色分量；H、 I、 S表示HIS色彩空间的色度、亮度、饱和度分量；<formula>formula see original document page 25</formula>代表像素点与HIS色彩空间的红色轴之间的夹角。C)根据下面的人脸肤色约束条件将图像转换为二值图像0扁<//< 0.174 0.040 <S< 0.352 0,352 </<1转换后的图像还存在一些干扰噪声，必须滤除这些干扰噪声。d) 利用9X9的模板对二值图像进行中值滤波操作，可将干扰噪声 滤除，从而得到一幅只剩下人脸部分的二值图像。e) 根据人脸二值图将前面縮小图的人脸部分图像切割出来，此时图 像尺寸将更小，参与运算的像素数量也更少，从而后续的运算速度会得 到大大提高。f) 利用RGB边缘提取法，得到人脸的边缘二值图像，方法如下 Stepl:设原人脸图像像素/(/J)的红、绿、蓝分量为r。 g,、 b,，相同行/(/ + 1,7)的红、绿、蓝分量为^、 g2、 b2，相同列/(,',7' + 1)的红、绿、蓝 分量为^、 g3、 b3，上述分量先自增1.5倍，然后根据下面的公式得到处理 后图像g(U')的红、绿、蓝分量为r、 g、 b，这三个分量可以通过下式计算 得到Step2:将Stepl得到的r、 g、 b这三个分量用灰度公式转换为灰度值:gray = 0.11xZ) + 0.5xg + 0.39xrStep3:根据约束条件，将该灰度值转换为0或255:Z)Z麼戸/"e二i。 gray>200Step4:遍历整幅图像，重复进行Stepl Step3操作，直至遍历完毕， 此时可得到一幅人脸轮廓的二值图像。g)水平投影统计检测证件倒置,将人脸分成上、下两部分W,、 W， 根据人脸特征可知，带眼睛、眉毛部分的线条像素之和总是比只带鼻于、 嘴唇部分的线条像素之和多，因此可采用水平投影统计方法统计上下部分图像的像素之和，然后根据两者的大小来确定图像是否倒置如果 M-7V2 <15，即上部分与下部分轮廓线条像素之差小于15，则可断定图像倒置(因为人脸上半部分包括眼睛、眉毛，比人脸下半部分包括的鼻子、嘴巴的轮廓像素要多得多。)，应将图像旋转180°;反之，则判断图像为正常。2.4图像分割单元本模块的主要作用是去掉完成预处理后的图像的无用的背景fri'息， 以提高运算速度，同时将证件图像信息分块化，以符合后续的信息提取 模块的输入需求。以第二代身份证为例，证件在签发时是按一定的要求 分布在各个信息块的区域的，故本发明采用的方法是先采用比例分割的 方法将证件图像粗分割为个人信息描述区、头像区、证件号码区三大区 域。然后将个人信息描述区采用水平投影法细分割为姓名、性别和民族、出生日期、住址等四个区域。分割模板如图7所示。细分方法说明如下:1) 先将个人信息描述区的彩色图像转换为灰度图像；2) 采用全局门限法将灰度图像二值化;，3) 利用公式乂=其中尸红￡///0比0"^/1^—0表示第/行上黑色像素点的累加和，/("./)表 示坐标为(/，力的像素的值为目标像素则值为l，否则值为0。这样就得 到了一个水平方向投影的柱状统计图。4) 利用水平投影法确定每一个信息子段的起止区域，然后将它们逐 一分割出来。经过切割后的图像分为姓名、性别和民族、出生日期、住址、身份 证号码、头像等几个区域。其中，头像区域不用进行信息识别。然后提 高各信息块图像的对比度，以提高信息识别正确率。三、图像信息提取模块本模块的作用是将利用OCR(Optical Character Recognition,光学字符 识别)技术将证件图像的文字信息提取出来，本发明的信息提取模块采用 了微软免费提供的Microsoft Office Document Imaging (MODI)组件。它包含了一个可以识别十几种语言文字的OCR引擎，而且这个引擎的中文识 别(包括简体和繁体)采用的是清华紫光的识别引擎，因此能够保证较 高的识别率。
权利要求
1、一种多功能证件信息采集系统，包括用于获取证件图像信息的图像采集模块、用于对获取的证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块，其特征在于，所述图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；所述图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；所述图像信息提取模块利用OCR技术提取证件图像的文字信息。
2、 根据权利要求1所述的多功能证件信息采集系统，其特征在于， 所述CMOS图像采集模块采用焦距为1.65mm、可视角为171。的微距鱼 眼镜头。
3、 根据权利要求2所述的多功能证件信息采集系统，其特征在于， 所述LED光源组模块采用方向性相对较弱，发光颜色接近白光的两个 LED灯。
4、 根据权利要求3所述的多功能证件信息采集系统，其特征在于， 所述图像处理模块的偏色校正单元采用基于完美反射法的偏色校正方 法。
5、 根据权利要求4所述的多功能证件信息采集系统，其特征在于， 所述桶形失真校正单元采用三次样条曲线对鱼眼镜头的桶形畸变规律进 行拟合失真模型，从而对失真图像进行校正，桶形失真校正的工作流程为1) 利用前向投影原理求得目标图像f2的大小；2) 利用后向投影原理求得失真图像fl到目标图像f2的坐标映射表， 并保存在内存数组中；3) 每捕获一幅图像，都遍历内存数组中的坐标映射表，然后使用灰 度双线性插值方法恢复原失真图像。
6、根据权利要求5所述的多功能证件信息采集系统，其特征在于， 所述倾斜与倒置校正单元的工作流程为1) 将证件图像按照一定的比例因子进行缩放；2) 对证件图像进行灰度处理；3) 对灰度处理后的证件图像进行Sobel算子边缘检测，得到较粗宽 轮廓图像；4) 对较粗宽轮廓图像进行细化处理，得到只有一个像素宽度的细边 缘轮廓图像；5) 将所得到的细边缘轮廓图像实施Hough变换，检测出边框的直线 参数，利用检测到的参数计算得到原始证件倾斜的角度；6) 利用得到的倾斜角度对原图像进行旋转操作；7) 对倾斜校正后的图像进行縮小操作，并对图像进行RGB到HSI 色彩空间变换；8) 以人脸肤色为约束条件将图像二值化，并对得到的二值图像进行 中值滤波操作，滤除干扰，令整幅图像只剩下人脸部分的二值图像；9) 利用人脸部分的二值图像从步骤7)所得的縮小的彩色图像切割 出人脸部分图像；10) 利用RGB彩色边缘提取法对人脸部分图像进行边缘柃测，得到 人脸轮廓二值图；11) 利用水平投影统计法，对人脸轮廓二值图像的上、下部分分别 进行水平投影统计，从而判定图像是否倒置；12) 对倒置了的图像进行旋转校正；否则直接输出倾斜校正后的图像。
7、 根据权利要求6所述的多功能证件信息采集系统，其特征在于， 所述证件信息分割单元采用比例分割的方法将证件图像粗分割为个人信 息描述区、头像区和证件号码区三大区域，然后再将个人信息描述区釆 用水平投影法细分割为姓名、性别和民族、出生日期和住址四个区域。
8、 根据权利要求1所述的多功能证件信息采集系统，其特征在于， 所述图像采集模块还包括RFID卡射频感应获取信息的RFID感应模块， 所述传输接口模块在USB接口的基础上增加一个USB的Hub芯片，实 现接口的复用功能，用来传输来自RFID模块的信息。
全文摘要
本发明公开了一种应用于多种证件信息的多功能证件信息采集系统，它包括用于获取证件图像信息的图像采集模块、用于对证件图像进行处理以输出合乎要求的图像的图像处理模块，以及将证件图像的文字信息提取出来的图像信息提取模块。图像采集模块包括CMOS图像采集模块、传输接口模块、LED光源组模块和电源模块；图像处理模块包括偏色校正单元、桶形失真校正单元、倾斜与倒置校正单元和证件信息分割单元；图像信息提取模块利用OCR技术提取证件图像的文字信息。本发明的CMOS图像采集模块采用鱼眼镜头，使得设备小型化；通过图像处理模块可以快速准确解决偏色、桶形失真、倾斜与倒置和证件信息分割问题，给用户以更高的使用自由度，同时令图像分割更加精确。
文档编号H04N5/225GK101662581SQ200910192160
公开日2010年3月3日 申请日期2009年9月9日 优先权日2009年9月9日
发明者文旭桦, 朱雄泳, 谭洪舟, 郑俊辉 申请人:谭洪舟