基于手持终端的车牌图像分割校正方法与流程

本发明涉及图像处理技术领域，具体的涉及一种基于手持终端的车牌图像分割校正方法。

背景技术：

基于手持终端的车牌识别系统，与传统的基于固定平台和固定场景的车牌识别系统相比，具有图像采集方便，应用场景灵活，使用操作简单，拓展范围广泛等优点，对车辆的智能化、科学化管理具有重要的意义。

基于手持终端的车牌号码识别系统的图像采集灵活方便，但容易受到拍照角度、空间位置、人为抖动、手持终端镜头以及车牌本身所存在的形变等因素干扰，所采集的车牌图像常常产生畸变线性畸变和非线性畸变，线性畸变主要包括水平倾斜、垂直倾斜、不规则四边形畸变等，非线性畸变主要包括弯折、扭曲、局部比例失调等。手持终端首次采集的车牌图像畸变对车牌字符分割及识别等后续工作具有极大干扰，会影响车牌识别系统的准确率。

现有的车牌畸变校正方法主要有直线检测法、投影最值法、交点检测法和主成分分析法，这些方法主要针对车牌的线性畸变，对非线性畸变的车牌校正效果较差。

技术实现要素：

本发明的目的在于提供一种基于手持终端的车牌图像分割校正方法，该发明解决了现有技术中手持终端对于非线性畸变校正效果较差的技术问题。

本发明提供了一种基于手持终端的车牌图像分割校正方法，包括以下步骤：

步骤s100：通过手持图像采集终端获取待校正车牌图像，并对车牌图像二值化后作为输入图像；

步骤s200：对输入图像分别进行水平方向和垂直方向的边缘检测，采用radon变换检测输入图像中车牌水平方向的倾斜角θ和垂直方向的倾斜角φ，在水平方向上旋转变换倾斜角θ后去除车牌水平方向上的非字符区域，在垂直方向上错切变换倾斜角φ后去除车牌垂直方向上的非字符区，得到倾斜校正车牌图像；

步骤s300：检测倾斜校正车牌图像中车牌字符区域边界，判断车牌区域是否是正规标准矩形，如果是正规标准矩形，则对倾斜校正车牌图像进行放缩后完成校正，得到畸变校正后的车牌图像；

如果不是则对车牌区域的畸变区域进行判断，判断畸变区域的边界是直线还是曲线，若是边界为直线，则畸变区域为整体线性畸变四边形；

若是曲线边界，则按字符块将畸变区域进行近似四边形分割成多个小四边形区域；

步骤s400：建立透视投影模型，将每个小四边形区域投影变换为对应的正规小矩形区域，将多个正规小矩形区域拼接后得到畸变校正后的车牌图像；

对于整体线性畸变四边形，将线性畸变四边形投影变换为正规标准矩形，得到畸变校正后的车牌图像。

进一步地，步骤s200中对输入图像分别进行水平方向和垂直方向的边缘检测步骤，包括以下步骤：

步骤s210：设f(x,y)表示输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值fx(x,y)表示为：

fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]

其垂直方向的梯度向量值fy(x,y)表示为：

fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

选取输入图像的所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点，将其作为水平方向上的边缘点，得到水平方向边缘；

选取输入图像的所有像素点垂直方向上的梯度向量值fy(x,y)的绝对值求平均值作为垂直方向上的边缘点阈值，如果fy(x,y)的绝对值大于该阈值，则认为(x,y)为垂直边缘点，将其作为垂直方向上的边缘点，得到垂直方向边缘。

进一步地，步骤s200中包括步骤s220：当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的radon变换投影计算公式为：

其中，rθ(x')表示沿着θ方向的投影积分值，

进一步地，步骤s300中车牌的畸变区域的近似四边形分割包括步骤如下：

步骤s310：采用最小周长多边形来求取字符边界，得到字符边界的四边形近似；

步骤s320：求取最小多边形的凸多边形；

步骤s330：以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形，外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到小四边形区域。

进一步地，步骤s400还包括以下步骤：根据畸变图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，根据正规标准矩形建立坐标系，确定正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，采用如下矩阵求解透视投影参数以仅需投影变换：

本发明的技术效果：

本发明提供基于手持终端的车牌图像分割校正方法，首先分别在水平和垂直方向上对图像进行基础倾斜校正，边缘检测后采用radon方法确定倾斜角，倾斜校正后去除非字符区域干扰；然后检测字符区域，判断字符区域边界，建立相应的正规标准矩形作为校正的目标图像区域；最后建立透视投影模型，将畸变图像区域透视变换到目标图像区域，重构图像实现图像畸变校正。动时，保持稳定，实现内筒单轴悬浮稳定的目的。

本发明提供基于手持终端的车牌图像分割校正方法，在实现线性畸变校正的基础上，从基本的线性畸变校正入手，依据车牌字符特征，对非线性畸变的车牌区域，进行近似四边形分割，采用线性近似的方法，对每个分割区域建立透视投影模型，较好的实现在手持终端采集图像产生的一系列图像畸变，提高了车牌图像处理的鲁棒性，提高基于手持终端的车牌号码识别系统的识别率。

本发明提供基于手持终端的车牌图像分割校正方法，充分考虑手持终端采集图像可能出现的各种图像畸变情况，从最常见的线性畸变入手，采用radon变换分别对车牌在水平和垂直方向上进行倾斜校正，然后对车牌字符区域边界进行检测，对于存在的可能情况进行了分类处理，建立了不同畸变情况对应的正规标准矩形目标图像，进一步构建透视投影模型，将畸变图像变换为标准正规矩形图像，通过投影变换实现畸变图像的校正。

本发明提供基于手持终端的车牌图像分割校正方法，对非线性畸变的校正，采用了分割近似的方法，将非线性畸变区域分割为小的线性区域进行处理，较好的解决了车牌各种畸变的情况，提高了车牌图像畸变校正的准确率和应用范围，是基于手持终端的车牌识别系统字符分割和识别的重要基础。

具体请参考根据本发明的基于手持终端的车牌图像分割校正方法提出的各种实施例的如下描述，将使得本发明的上述和其他方面显而易见。

附图说明

图1为本发明提供的基于手持终端的车牌图像分割校正方法的流程框图；

图2为本发明提供方法中透视投影模型的透视变换原理示意图。

图3为本发明优选实施例中基于手持终端的车牌图像分割校正方法的车牌图像分割校正结果示意图。

具体实施方式

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。

参见图1，本发明提供的一种基于手持终端的车牌图像分割校正方法，包括以下步骤：

步骤s100：通过手持图像采集终端获取待校正车牌的图像，并对车牌图像二值化后作为输入图像；为保证所处理图像中含车牌信息，还需对所得图像中所含车牌信息进行车牌定位后分割出含车牌的车牌区域作为车牌图像。

步骤s200：对所述输入图像分别进行水平方向和垂直方向的边缘检测，采用radon变换检测输入图像中车牌水平方向和垂直方向上的倾斜角，根据所得倾斜角在水平方向上采用旋转变换去除车牌的水平方向上的非字符区域，在垂直方向上采用错切变换去除车牌垂直方向上的非字符区，得到倾斜校正车牌图像；从而实现车牌的倾斜校正；

步骤s300：检测倾斜校正车牌图像中车牌字符区域边界，判断车牌区域是否是正规标准矩形，如果是正规标准矩形，则对倾斜校正车牌图像进行放缩后完成校正；

如果不是则对车牌区域的畸变区域进行判断，判断畸变区域的边界是直线还是曲线，若是直线边界，则为线性畸变，建立畸变四边形，建立对应正规标准矩形的目标区域；

若是曲线边界，则为非线性畸变，将畸变区域按字符块分割成多个较小的小四边形区域，建立正规标准矩形目标区域，并将所述正规标准矩形目标区域按字符比例建立多个与所述小四边形区域对应的小矩形区域；

所述步骤s300中检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立对应的正规标准矩形作为校正的目标图像区域，是指检测倾斜校正后的字符区域边界，根据区域边界构成情况，判断图像畸变是线性畸变还是非线性畸变。首先判断区域是否是正规标准矩形，若是，则将图像适当放缩完成校正，若否，则下一步；判断畸变区域边界是直线还是曲线，若是直线边界，则为线性畸变，畸变区域整体为四边形区域，建立对应正规的标准矩形目标区域，直接进行投影变换即可。若是曲线边界，则为非线性畸变，将畸变区域抽象视为多个线性区域构成，并将其按字符块分割成较小的四边形区域，分别对每个分割后的小四边形区域进行投影变换。

步骤s400：建立透视投影模型，求解所述线性畸变四边形和所述正规标准矩形目标区域的变换参数，将所述畸变区域透视变换到所述正规标准矩形目标区域，重构图像得到畸变校正后的车牌图像；对于所述整体线性畸变四边形，将所述线性畸变四边形投影变换为正规标准矩形，得到畸变校正后的车牌图像。

作为本发明的进一步改进，所述步骤s200中对所述输入图像分别进行水平方向和垂直方向的边缘检测步骤，包括以下步骤：

步骤s210：设f(x,y)表示输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值fx(x,y)表示为：

fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]

其垂直方向的梯度向量值fy(x,y)表示为：

fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

选取所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点；

选取所述输入图像的所有像素点垂直方向上的梯度向量值fy(x,y)的绝对值求平均值作为垂直方向上的边缘点阈值，如果fy(x,y)的绝对值大于该阈值，则认为(x,y)为垂直边缘点，将其作为垂直方向上的边缘点，得到垂直方向边缘。按此方法能快速得到图像垂直方向和水平方向的边缘。

采用radon变换检测输入图像中车牌水平方向和垂直方向上的倾斜角步骤，包括以下步骤：步骤s220：当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的radon变换投影计算公式为：

其中，rθ(x')表示沿着θ方向的投影积分值，

倾斜校正的详细过程描述如下：首先对输入图像进行水平方向的边缘检测，radon变换检测出水平方向倾斜角θ，进行旋转变换实现车牌的水平倾斜校正，检测车牌字符的水平边界，去除水平方向的非字符区域；然后对输入图像进行垂直方向的边缘检测，radon检测垂直方向倾斜角φ，进行错切变换实现车牌的垂直倾斜校正，去除垂直方向的非字符区域，实现车牌的倾斜校正。此处的非字符区是指车牌图片中所包含的，诸如车牌铆钉等干扰因素。

作为本发明的进一步改进，所述步骤s300中车牌的畸变区域的近似分割包括步骤如下：

步骤s310：采用最小周长多边形来求取字符边界，得到字符边界的多边形近似。计算最小周长多边形的过程，是使用一组连接单元的集合封入一条边界，允许边界收缩，边界受到这些集合单元的内、外墙的约束，边界收缩，即可得到字符的一个最小周长多边形；

步骤s320：求取最小多边形的凸多边形。最小周长多边形的顶点与字符区域内墙或外墙的顶点一致，可将多边形顶点分为凸顶点和凹顶点两类(凸顶点是一组三个点的中心，它定义了范围0°＜θ＜180°内的一个角，类似的，凹顶点定义了范围180°＜θ＜360°内的一个角)。删除多边形的凹顶点，将凹顶点的相邻顶点直接相连，形成新的多边形，反复迭代这一过程，直到不存在凹顶点为止，得到字符边界的凸多边形；

步骤s330：利用凸多边形的最小宽外接矩形，确定分割的小四边形区域。凸多边形的外接矩形必然经过多边形某一顶点和一条边，以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形。外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到分割的小四边形。按此方法分割车牌的畸变区域，有利于通过透视获得较好的校正效果，避免车牌的变形。

作为本发明的进一步改进，所述步骤s400还包括以下步骤：将畸变图像上的点p(x,y)以某一中心点o为单光源点，投影到正规标准矩形上得到点p'(x',y')，图像的透视变换过程表示为：

透视投影是从一个平面到另一个平面的过程，分别根据畸变图像和正规标准矩形图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，求解透视投影参数，求解的过程矩阵表示如下：

求解透视投影参数，实现畸变图像的透视投影变换。如果畸变图形边界检测为直线，则将区域视为整体畸变的四边形，对四边形进行透视投影即可实现校正；如果畸变图形边界检测为曲线，则需要按照前述方法对其进行近似四边形的分割，分别对每个分割的小四边形建立相应的透视投影模型，分别实现投影变换，变换到相应的正规小矩形区域，再由这些小矩形进行拼接，得到正规标准矩形，最终实现图像畸变校正。

下面结合附图，对本发明进行详细描述：

本实施例提供的一种基于手持终端的车牌图像分割校正方法，包括如下步骤：

步骤s100：基于手持终端采集图像，图像实现车牌定位后分割出车牌区域，将车牌区域二值化作为输入图像；

步骤s200：对输入图像分别进行水平方向和垂直方向的边缘检测，采用radon变化检测车牌水平方向和垂直方向上的倾斜角，水平方向上采用旋转变换后去除水平方向非字符区域，垂直方向上采用错切变换后去除垂直方向上非字符区，实现车牌的倾斜校正。

首先，对车牌进行水平方向和垂直方向的边缘检测，是设f(x,y)表示输入图像像素点(x,y)的像素值，其水平方向上的梯度向量值fx(x,y)表示为：

fx(x,y)＝[f(x-1,y+1)+2*f(x,y+1)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x,y-1)+f(x+1,y-1)]

其垂直方向的梯度向量值fy(x,y)表示为：

fy(x,y)＝[f(x+1,y-1)+2*f(x+1,y)+f(x+1,y+1)]

-[f(x-1,y-1)+2*f(x-1,y)+f(x-1,y+1)]

选取所有像素点水平方向上的梯度向量值fx(x,y)的绝对值求平均值作为水平方向上的边缘点阈值，如果fx(x,y)的绝对值大于该阈值，则认为(x,y)为水平边缘点；同理可求得垂直边缘点。

其次，采用radon变换求车牌倾斜角，是指当投影距离的积分值达到极值时，所对应的角度即为车牌的倾斜角，二维图形的radon变换投影计算公式为：

其中，rθ(x')表示沿着θ方向的投影积分值，

倾斜校正的详细过程描述如下：首先对输入图像进行水平方向的边缘检测，radon变换检测出水平方向倾斜角θ，进行旋转变换实现车牌的水平倾斜校正，检测车牌字符的水平边界，去除水平方向诸如车牌铆钉等干扰因素的非字符区域；然后对输入图像进行垂直方向的边缘检测，radon检测垂直方向倾斜角φ，进行错切变换实现车牌的垂直倾斜校正，去除垂直方向的非字符区域，实现车牌的倾斜校正。

步骤s300：检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立相应的正规标准矩形作为校正的目标图像区域。

检测倾斜校正后的车牌字符区域边界，判断车牌区域畸变的情况，建立相应的正规标准矩形作为校正的目标图像区域，是指检测倾斜校正后的字符区域边界，根据区域边界构成情况，判断图像畸变是线性畸变还是非线性畸变。首先判断区域是否是正规标准矩形，若是，则将图像适当放缩完成校正，若否，则下一步；判断畸变区域边界是直线还是曲线，若是直线边界，则为线性畸变，畸变区域为四边形区域，建立对应正规的标准矩形目标区域，若是曲线边界，则为非线性畸变，将畸变区域抽象视为多个线性区域构成，并将其按字符块分割成较小的四边形区域，对应将正规标准矩形目标区域按字符比例，建立小矩形区域对应畸变分割的小四边形区域。

畸变车牌近似分割具体步骤如下：

首先，采用最小周长多边形来求取字符边界，得到字符边界的多边形近似。计算最小周长多边形的过程，是使用一组连接单元的集合封入一条边界，允许边界收缩，边界受到这些集合单元的内、外墙的约束，边界收缩，即可得到字符的一个最小周长多边形。

其次，求取最小多边形的凸多边形。最小周长多边形的顶点与字符区域内墙或外墙的顶点一致，可将多边形顶点分为凸顶点和凹顶点两类(凸顶点是一组三个点的中心，它定义了范围0°＜θ＜180°内的一个角，类似的，凹顶点定义了范围180°＜θ＜360°内的一个角)。删除多边形的凹顶点，将凹顶点的相邻顶点直接相连，形成新的多边形，反复迭代这一过程，直到不存在凹顶点为止，得到字符边界的凸多边形。

最后，利用凸多边形的最小宽外接矩形，确定分割的小四边形区域。凸多边形的外接矩形必然经过多边形某一顶点和一条边，以外接矩形不能与多边形产生交点为限制，矩形的宽最小作为目标，得到最小宽外接矩形。外接矩形与字符边界线段的交点，即为畸变区域的小四边形交点，得到分割的小四边形。步骤s400：建立透视投影模型，求解畸变四边形和正规标准矩形的变换参数，将畸变区域透视变换到目标区域，重构图像实现畸变校正。

透视投影模型如图2所示，将畸变图像上的点p(x,y)以某一中心点o为单光源点，投影到正规标准矩形上的点p'(x',y')。图像的透视变换过程表示为：

透视投影是从一个平面到另一个平面的过程，分别根据畸变图像和正规标准矩形图像建立坐标系，确定畸变图像四边形角点坐标(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)和正规标准矩形角点坐标(x1',y1')、(x2',y2')、(x3',y3')、(x4',y4')，求解透视投影参数，求解的过程矩阵表示如下：

求解透视投影参数，实现畸变图像的透视投影变换。如果畸变图形边界检测为直线，则将区域视为整体畸变的四边形，对四边形进行透视投影即可实现校正；如果畸变图形边界检测为曲线，则需要按照前述方法对其进行近似四边形的分割，分别对每个分割的小四边形建立相应的透视投影模型，分别实现投影变换，变换到相应的正规小矩形区域，再由这些小矩形进行拼接，得到正规标准矩形，最终实现图像畸变校正。

所得结果如图3所示，对实验车牌图像加入任意的倾斜、形变、扭曲，采用上述方法，均可得到正规的标准矩形区域车牌，说明本发明提供方法的校正效果较好。

本领域技术人员将清楚本发明的范围不限制于以上讨论的示例，有可能对其进行若干改变和修改，而不脱离所附权利要求书限定的本发明的范围。尽管己经在附图和说明书中详细图示和描述了本发明，但这样的说明和描述仅是说明或示意性的，而非限制性的。本发明并不限于所公开的实施例。

通过对附图，说明书和权利要求书的研究，在实施本发明时本领域技术人员可以理解和实现所公开的实施例的变形。在权利要求书中，术语“包括”不排除其他步骤或元素，而不定冠词“一个”或“一种”不排除多个。在彼此不同的从属权利要求中引用的某些措施的事实不意味着这些措施的组合不能被有利地使用。权利要求书中的任何参考标记不构成对本发明的范围的限制。