专利名称：用于改进图像识别的系统和方法
技术领域：
本发明大体上涉及成像，并且更具体地涉及用于处理牌照图像数据的系统和方法。
背景技术：
由于增加的城市化、人口密度、机动化以及总人口，运输基础设施上的交通拥挤不断增长。增长的交通拥挤已经影响行驶效率、空气污染以及燃料消耗。结果，当前的运输基础设施系统正致力于过渡到更智能运输系统(ITS)，从而努力管理车辆、线路、负载、安全措施、燃料消耗、运输时间以及其它因素。ITS的一种努力是交通执法相机的实施和改进，交通执法相机被用于基于诸如数字、字符、州以及其它数据的牌照数据来探测和识别车辆。例如，交通执法相机的某些用途包含收费立体交叉口或亭、速度限制违规、红灯违规、公交车道执法、平交路口执法、高载客量车辆执法、转弯车道违规以及其它用途。当前的自动牌照识别(ALPR)系统由于感测方面的复杂性、天气状况以及其它因素而面临挑战。结果，典型的现有技术水平(SOTA)的ALPR系统对相机或图像质量、相机安装几何、容许的车辆速度范围、在范围内的状态以及其它规格提出了规范要求，从而保证可接受水平的表现。因此，会期望具有用于改进ALPR系统的表现的系统和方法。具体而言，会期望具有用于实施图像预处理和闭环反馈从而改进探测技术的系统和方法。
发明内容
一个实施例大体上涉及一种处理图像数据的方法。该方法包括:探测包含牌照的图像的图像数据；以及检查图像数据从而定位牌照在图像中的区域。在各实施例中，牌照的区域可以被处理从而确定牌照的畸变参数集合。另外，该方法包括应用畸变参数集合到图像数据以增强牌照的图像。在该方法的一个实施例中，通过拟合利用四边形平滑的牌照的轮廓，生成畸变参
数集合。在该方法的一个实施例中，旋转角度是从牌照的图像导出。在该方法的一个实施例中，该方法进一步包含利用直方图均衡化处理牌照的区域。另一实施例大体上涉及一种用于处理图像数据的系统。该系统包括:处理器，其耦合到存储器，并且被配置成探测包含牌照的图像的图像数据以及检查图像数据从而定位牌照在图像中的区域。在各实施例中，牌照的区域可以被处理从而确定牌照的畸变参数集合。另外，处理器被配置成应用畸变参数集合到图像数据以增强牌照的图像。在该系统的一个实施例中，修改和应用被重复了设定的次数或者直至达到阈值结果O在该系统的一个实施例中，应用畸变参数集合到图像数据以增强牌照的图像包括:对牌照的图像执行几何校正以生成校正的图像；将校正的图像改变尺寸到设定的范围；以及处理被改变尺寸的该校正的图像，从而增强被改变尺寸的该校正的图像的质量。在该系统的一个实施例中，对牌照的图像执行几何校正包括:将牌照的图像旋转一旋转角度；以及应用畸变参数集合到被旋转的图像。在该系统的一个实施例中，处理牌照的区域以确定畸变参数集合包括:将牌照的图像旋转一旋转角度；对被旋转的牌照的图像二值化；从被二值化的图像提取牌照的轮廓；以及使用傅立叶描述子平滑牌照的轮廓。在该系统的一个实施例中，通过拟合利用四边形平滑的牌照的轮廓，生成畸变参
数集合。在该系统的一个实施例中，旋转角度是从牌照的图像导出。在该系统的一个实施例中，处理器进一步被配置成执行包含下述的动作:利用直方图均衡化处理牌照的区域。
图1说明依据各实施例的用于获得图像数据的示例性系统；
图2A说明依据各实施例的处理成像数据的示例性流程 图2B说明依据另一实施例的处理成像数据的示例性流程 图3说明依据另一实施例的硬件图示。
具体实施例方式如此处所使用，“最优化”或其变型可以是可以指最佳的可获得的选项的一般术语。换言之，“最优化的”配置不需要代表最佳可能配置，而是反而可以指可能配置的优选配置。另外，术语“最优化”也可以指最大化、增强、改进或者涉及优选或改进的表现水平的其它术语。各实施例大体上涉及用于处理牌照图像数据的系统和方法。更具体而言，处理模块或者其它逻辑器件可以依据此处描述的技术处理数字或模拟图像数据。在各实施例中，处理模块可以被配置成全局地或局部地增强图像数据并且定位图像中的牌照区域。根据各方面，处理模块可以被配置成提取和增强每个牌照区域，推断或评估牌照畸变参数，以及基于评估的畸变参数对每个牌照图像执行几何校正。另外，在各实施例中，处理模块可以将每个牌照图像改变尺寸到预定范围，或者其它范围，以及迭代地锐化每个牌照图像以最优化牌照的质量。在另外实施例中，处理模块可以被配置成扰动或以其它方式修改与图像数据处理关联的一种或多种参数从而获得另一版本的(多个)牌照图像，在(多个)牌照图像上运行自动牌照识别(ALPR)分析，以及重复该过程直至可接受阈值或水平被达到或最大化，直至最大迭代数目被达到，或者是其它量度。如此处讨论的反馈环路处理可以得到适合于牌照畸变和/或退化的致动信号的公式表示。图1描述依据各实施例的ALPR系统可以在其中实施的示例性环境100。本领域普通技术人员应容易理解，图1中描述的环境100代表广义示意性说明并且其它部件可以被添加或者现有部件可以被移除或修改。
如图1所示，环境100可以包括包含牌照110的车辆105。另外，环境100可以包括一个或多个相机115，所述相机可以定位或取向为使得它们可以指向或者以其它方式配置成捕获牌照110上的信息。例如，相机115可以定位在收费立体交叉口或亭、警车或其它执法车辆、平交路口交通灯、行车道、州际公路以及其它位置处、上或附近。另外，相机115可以捕获牌照110的图像从而对例如收费立体交叉口或亭、速度限制违规、红灯违规、公交车道执法、平交路口执法、高载客量车辆执法、转弯车道违规以及其它用途进行调控和/或执法。在各实施例中，相机115可以配置有至少一个灯116，该灯可以被配置成诸如在低光或夜晚环境中照明车辆105正在行驶的区域，从而辅助牌照110的图像捕获。在各实施例中，灯116可以是可见光、红外光或者其它形式的光。在各实施例中，相机115可以被配置成连接到服务器120。例如，相机115可以将牌照110或其它图像的图像数据传输到服务器120，以用于处理或存储在例如数据库112或其它类型存储装置上。在各实施例中，服务器120可以本地连接到相机115或者与相机115远程相连。例如，相机115可以位于警车上，并且服务器120可以位于远程实体或站。另外，在各实施例中，相机115可以被配置成经由任何类型的硬连线、无线、蜂窝、卫星或其它类型的数据网络，将图像数据传输到服务器120。在各实施例中，服务器120可以耦合到和/或可以被配置成连接到客户机125。另夕卜，在各实施例中，服务器120可以被配置成为客户端125提供由相机125捕获的图像数据或者其它数据。在各实施例中，客户机125可以是服务器120的一部分。服务器120可以被配置成经由任何类型的硬连线、无线、蜂窝、卫星或其它类型的数据网络，将图像数据传输到客户端125。在各实施例中，客户端125可以包括处理模块130，该处理模块可以是任何类型的硬件、软件、应用程序或者可以被配置成在客户端125上运行并且对接收的图像数据或其它数据执行分析的其它处理实体。图2A说明根据实施例的成像预处理技术200的流程图。本领域普通技术人员应容易显见，图2A中描述的流程图代表广义说明并且其它步骤可以被添加或者现有步骤可以被移除或修改。在各实施例中，处理模块130或其它逻辑器件可以被配置成对从相机115或从其它实体接收的图像数据执行图像预处理技术200，从而改进图像数据内的牌照识别。由于照明条件变化、运动模糊以及其它因素，图像数据中的牌照会难以定位。在202，处理可以开始。在205，处理模块130可以应用全局图像增强以定位图像数据的(多个)牌照区域。例如，全局图像增强可以是在定位牌照区域时的直方图均衡化、色调再现曲线成形或者其它增强。在其它示例中，全局增强可以使用利用预定参数的阈值滤波步骤、形态滤波步骤或其组合，从而发现潜在牌照区域。在各实施例中，一旦牌照区域被粗略地定位，处理模块130可以对图像数据执行直方图均衡化从而进一步增强牌照图像。在210，处理模块130可以提取和增强每个牌照区域，并且推断牌照畸变参数。在操作中，由于限制和障碍原因，可能存在非最优牌照图像采集技术。例如，焦点和最优相机位置可以是在收费道的中心，与以5英里/小时行驶的车辆距离约20英尺。然而，不是所有的车辆的牌照位于汽车的中间，或者行驶低于5英里/小时。因此，牌照畸变参数可能需要被计算从而计及车辆外观和操作中的变动。另外，在诸如速度执法(speed enforcement)的一些应用中，相机可以安装在沿着道路侧边的杆或类似结构上。这种配置会对采集的牌照图像施加更多的几何畸变。在各实施例中，处理模块130可以被配置成识别或计算下述牌照畸变参数:旋转角度(Θ J、偏斜、平移、运动和/或光学模糊等等。旋转角度(Θ ,)可以直接从牌照图像导出或者在相机115的设置或配置中作为已知参数被提供。在各实施例中，其余畸变参数可以被限制到投影畸变，诸如对于固定视场相机或其它相机。如此处所理解，牌照畸变参数可以分离成源于牌照相对于任何相机的定位的几何畸变参数，诸如牌照图像的旋转角度；以及其它畸变参数，诸如运动和光学模糊。参考图2B，描述了一种如在210标注的用于提取、增强和/或评估牌照图像的几何畸变参数的技术250的流程图。本领域普通技术人员应容易显见，图2B中描述的流程图代表广义说明并且其它步骤可以被添加或者现有步骤可以被移除或修改。在252，处理可以开始。在255，图像的定位的牌照区域可以被扩展。在各实施例中，区域可以被扩展了设定或可变数目的像素，诸如例如5个像素，并且可以基于牌照定位在训练数据集合上的表现而被选择。在260，处理模块130或其它逻辑器件可以确定旋转角度(Θ J是否被给出。如果旋转角度(Θ ,)被给出，则处理可以进行到265，在那里牌照图像被旋转了等效于旋转角度(Q1)的角度，并且处理可以进行到270。另一方面，如果旋转角度(Q1)未被给出，则处理可以进行到270，在那里最优阈值(T。)可以被确定，并且牌照图像可以使用最优阈值(T。)来二值化。在各实施例中，最优阈值(T。)可以被确定使得结果的二进制图像为最凸起的或者其它度量。在275，可以确定是否进一步细化图像旋转校正。在各实施例中，该确定可以自动地进行，或者用户或管理员可以指定经由例如用户界面而进一步细化图像旋转校正。如果图像被选择为被进一步细化，则处理可以进行到280，在那里结果的二值化图像的第二旋转角度(θ2)可以被评估，牌照图像可以旋转第二旋转角度(θ2)，并且旋转的图像可以重新二值化。当旋转角度P1)在前期未被给出时，这种旋转细化会是特别有益的。在各实施例中，第二旋转角度(Θ 2)可以使用在牌照图像的所有前景像素的xy坐标上的主成分分析(PCA)来评估，从而发现主轴的取向。处理随后可以进行到285。相比之下，如果图像不被选择为被进一步细化，则处理可以进行到285。在285，牌照的轮廓可以从二值化的图像被提取，并且被平滑。在各实施例中，通过使用傅立叶描述子代表轮廓，仅仅保留某些数量(例如56个或其它值)的最显著的描述子，以及将这些最显著的描述子转换回到空间域，可以平滑轮廓。应理解，可以使用其它曲线平滑技术。在290，被平滑的牌照轮廓可以用四边形、平行四边形或其它形状拟合，从而获得投影畸变矩阵(A)。在各实施例中，为了近似四边形或平行四边形的角落，来自牌照轮廓的四(4)个节段(例如接近0°、90°、180°和270°，或其它节段)的数据可以被选择以拟合触及或者几乎触及牌照轮廓的四(4)个最小二乘法直线。另外，数值最优化方法可以被应用以细化四边形或平行四边形的角落的位置，其中最优化准则可以是，在排除最大误差的一百分比(例如10%或其它值)之后，最小化该轮廓到所拟合的四边形或平行四边形的总最小平方误差。排除数据的一百分比的原因是匹配下述事实:牌照的角落可能是圆润平滑的，不同于传统的四边形或平行四边形。另外，所述排除导致该拟合对于可能在所采集的牌照图像上出现的成像缺陷是鲁棒的。在各实施例中，该百分比可以基于来自初始猜想和“Otsu方法”的误差直方图而动态地确定。在288，处理可以结束、重复或返回到任何先前步骤。往回参考图2A，在每个牌照区域被提取和增强之后，以及在几何畸变参数被推断或评估之后，处理可以进行到215，在那里可以基于推断的几何畸变参数在每个牌照图像上执行几何校正。在各实施例中，通过将图像旋转一旋转角度θ 3=( θ 1+ Θ 2)，并且通过投影畸变矩阵(A)使旋转的图像无畸变，可以校正每个牌照图像。在220，每个牌照图像可以被改变尺寸到预定范围。具体而言，几何校正的牌照图像的边界框的宽度可以被改变尺寸为预定数目的像素(例如154个像素或其它值)，由此使得结果的牌照图像具有均匀宽度，而与原始牌照图像的宽度无关。执行220的处理，因为一些ALPR会具有有关字符宽度和高度范围的参数，并且对牌照图像改变尺寸可以将牌照图像移动到标称尺寸范围内，其中ALPR在该标称尺寸范围内操作。另外，对牌照尺寸归一化可以简化其中使用牌照质量度量的图像锐化步骤。在225，每个牌照图像可以被迭代地锐化以最优化给定牌照质量度量。在各实施例中，具有可调节增益(α)的预定尺寸(例如3X3或其它值)中的反锐化掩模和具有模糊矢量[mb，nb]以及用于锐化的噪声方差(σ )的威纳(wiener)滤波器可以被用于最优化，其中mb为在竖直方向上的像素模糊并且nb为在水平方向上的像素模糊。另外，为了最优化简单牌照质量量度(该牌照质量量度可以是噪声方差的加权和以及牌照字符区域中平均强边缘强度)，可以在(a，mb，nb，σ)上执行迭代搜寻。在仅仅侧重于牌照字符区域的一些情况中，噪声方差(σ)可以由图像强度的简单标准偏差的平方来近似。225的处理被执行以管理例如离焦图像、运动模糊的图像或其它类型的缺陷或不一致的其它畸变参数。如此处讨论，牌照质量度量可以是可以用于计量牌照识别技术的精确度的任何类型度量。在各实施例中，牌照质量度量可以基于空间分辨率、锐度、对比度、照明条件、位置、视角以及其它量度。在其它实施例中，牌照质量度量可以是来自光学字符识别(OCR)模块的置信度量，其中该模块可以识别牌照的字母数字。另外，在各实施例中，牌照质量度量可以给出下述的指示:精确度百分比，或者来自处理模块130的牌照数据输出与牌照110的实际数据匹配的置信度。在230，可以输出用于每个牌照图像的牌照数据。在各实施例中，处理模块130或其它逻辑器件可以提供下述的指示:对应于牌照的州或其它管辖区域(例如“纽约”、“马里兰”等)，以及牌照的实际数据或代码(例如“ABC 123”)。在各实施例中，处理模块130可以被配置成提供报告、图表和/或其它类型的图形。例如，处理模块130可以经由图形用户界面为用户、管理员或其它实体显示牌照图像的经处理的数据。对于另外示例，处理模块130可以编译来自一系列图形的数据，并且在数据文件、电子邮件或其它形式的数据或通信中提供编译的数据。在232，处理可以结束、重复或者返回到任何先前步骤。在一些情况中，如在图2A和2B中讨论的牌照质量量度的确定和计算会展现出缺乏最优精确度。因此，可以在数据上使用反馈环路技术以进一步改进ALPR系统的精确度。更具体而言，可以在初始牌照图像上执行ALPR技术，该初始牌照图像为诸如由相机115采集的图像或者使用如图2A和2B中讨论的技术预处理的图像。基于ALPR技术的输出结果，图像预处理的参数可以被扰动以获得牌照图像的附加版本，ALPR技术可以应用到附加版本，并且该处理可以重复直至可接受ALPR结果已经被达到，最大化，或者最大迭代数目已经被达到。应理解，反馈环路处理可以被执行任何次数，并且可以自动地被控制或者由管理员或其它实体手动地控制。
在各实施例中，如果图像预处理参数是已知且精确的，牌照畸变和图像退化可以通过下述来校正:投影校正，其包含旋转；以及去模糊，诸如反锐化掩模、运动去模糊以及其它技术。因为图像操纵提供与牌照畸变不想干的许多维度，将空间参数化并且将其限制到与ALPR有关的畸变会是有益的。在各实施例中，投影畸变矩阵(A)可以用方程(I)来公式表不:
权利要求
1.一种处理数据的方法，该方法包含: 探测包含牌照的图像的图像数据； 检查图像数据从而定位牌照在图像中的区域； 通过处理器处理牌照的区域以确定牌照的畸变参数集合；以及 应用畸变参数集合到图像数据以增强牌照的图像。
2.按权利要求1所述的方法，进一步包含: 基于置信度量修改畸变参数集合；以及 应用被修改的畸变参数集合到该图像数据。
3.按权利要求2所述的方法，其中修改和应用被重复了设定的次数或者直至达到阈值结果。
4.按权利要求1所述的方法，进一步包含: 从被增强的牌照的图像提取牌照数据；以及 向用户提供牌照数据。
5.按权利要求1所述的方法，其中应用畸变参数集合到图像数据以增强牌照的图像包括: 对牌照的图像执行几何校正以生成校正的图像； 将校正的图像改变尺寸到设定的范围；以及 处理被改变尺寸的该校正的图像，从而增强被改变尺寸的该校正的图像的质量。
6.按权利要求5所述的方法，其中对牌照的图像执行几何校正包括: 将牌照的图像旋转一旋转角度；以及 应用畸变参数集合到被旋转的图像。
7.按权利要求1所述的方法，其中处理牌照的区域以确定畸变参数集合包括: 将牌照的图像旋转一旋转角度； 对被旋转的牌照的图像二值化； 从被二值化的图像提取牌照的轮廓；以及 使用傅立叶描述子平滑牌照的轮廓。
8.一种用于处理数据的系统，该系统包含: 处理器，其耦合到存储器并且配置成执行包含下述的动作: 探测包含牌照的图像的图像数据； 检查图像数据从而定位牌照在图像中的区域； 通过处理器处理牌照的区域以确定牌照的畸变参数集合；以及 应用畸变参数集合到图像数据以增强牌照的图像。
9.按权利要求8所述的系统，其中处理器进一步被配置成执行包含下述的动作: 基于置信度量修改畸变参数集合；以及 应用被修改的畸变参数集合到图像数据。
10.按权利要求8所述的系统，其中处理器进一步被配置成执行包含下述的动作: 从被增强的牌照的图像提取牌照数据；以及 向用户提供牌照数据。
全文摘要
本发明涉及用于改进图像识别的系统和方法。一个实施例大体上涉及用于处理牌照图像数据的系统和方法。处理模块可以接收包含牌照的图像，并且从图像定位牌照本身的区域。牌照区域可以被提取并且牌照畸变参数可以被推断。图像可以使用推断的牌照畸变参数进行几何校正，并且牌照图像可以被迭代地锐化从而最优化牌照图像的质量。另外，处理参数可以在基于反馈的环路中被修改和应用到图像数据，从而用于进一步最优化。
文档编号G06K9/54GK103093186SQ20121026267
公开日2013年5月8日 申请日期2012年7月27日 优先权日2011年7月28日
发明者W.吴 申请人:施乐公司