物件影像辨识系统及物件影像辨识方法与流程

本发明关于一种物件影像辨识系统及物件影像辨识方法，特别关于一种辨识由移动中的影像捕获设备撷取的影像中至少一目标物件影像的物件影像辨识系统及物件影像辨识方法。

背景技术：

目前停车场或道路监视的摄影机都固定设置于某处(如:停车场出入口)，于定点撷取进入该摄影机取像范围的物件，故单一摄影机只能撷取固定监视区域的影像。若摄影机移动，该摄影机所撷取的影像中，特定物件的影像会变形，造成后续影像辨识系统无法辨视该物件影像的情况发生。在此以车牌为例，依据法规，车牌有固定的尺寸，当摄影机架设于定点，其撷取进入该摄影机取像范围的车辆其车牌的尺寸比例，且此类物件影像辨识系统大多只能在单一影像中辨识一个车牌，在使用上有改进的必要。现有技术中，已经存在分析动态影像中的物件影像的技术，但此类影像分析技术中仅对所撷取的画面中的局部范围影像分析，而非分析所撷取画面中的全部范围，亦有改进的必要。

技术实现要素：

本发明的主要目的在于提供一种辨识由移动中的影像捕获设备撷取的影像中至少一目标物件影像的物件影像辨识系统。

本发明的另一主要目的在于提供一种辨识由移动中的影像捕获设备撷取的影像中至少一目标物件影像的物件影像辨识方法。

为达成上述的目的，本发明的物件影像辨识系统与影像捕获设备电性连接，物件影像辨识系统用于辨识由移动中的影像捕获设备撷取的影像中的至少一目标物件影像，其中至少一目标物件影像包括预定像素长度m，其中m为自然数。本发明的物件影像辨识系统包括图像处理模块、累计值计算模块、形态学处理模块以及物件筛选模块。图像处理模块对影像进行图像处理以产生第一二值化影像，其中第一二值化影像的各像素点为前景值或背景值。于第一二值化影像中，累计值计算模块累计与每一具有前景值的像素点水平相邻的m个像素点对应的前景值而形成该像素点的前景累计值。形态学处理模块依据该些前景累计值对第一二值化影像进行形态学处理而产生第二二值化影像，并从第二二值化影像中标记至少一兴趣框。物件筛选模块由至少一兴趣框中找出该至少一目标物件影像。

本发明另提供一种物件影像辨识方法，用于辨识由移动中的影像捕获设备撷取的影像中至少一目标物件影像，其中至少一目标物件影像包括预定像素长度m，其中m为自然数。本发明的物件影像辨识方法包括下列步骤：藉由图像处理模块对影像进行图像处理以产生第一二值化影像，其中第一二值化影像的各像素点为一前景值或一背景值。藉由累计值计算模块于第一二值化影像中，累计与每一具有该前景值的一像素点水平相邻的m个像素点对应的前景值而形成该像素点的一前景累计值。藉由形态学处理模块依据该些前景累计值对第一二值化影像进行形态学处理而产生第二二值化影像，并从第二二值化影像中标记至少一兴趣框；以及，藉由物件筛选模块由至少一兴趣框中找出至少一目标物件影像。

本发明的物件影像辨识系统及物件影像辨识方法藉由累计值计算模块于该第一二值化影像中，累计与每一具有该前景值的一像素点水平相邻的m个像素点对应的该前景值而形成该像素点的一前景累计值，并利用物件筛选模块删除尺寸特征不符的兴趣框的辨识方式，可降低本发明的物件影像辨识系统及物件影像辨识方法计算量并提升辨识率。此外，本发明的物件影像辨识系统及物件影像辨识方法用于辨识由移动中的影像捕获设备撷取的一影像，只要移动中的影像捕获设备撷取的一影像中的兴趣框中的影像特性符合车牌的特征，即可确认该兴趣框为车牌，故本发明的物件影像辨识系统及物件影像辨识方法可在单一影像中辨识至少一或多个车牌，提高了本发明的物件影像辨识系统及物件影像辨识方法的应用性。

附图说明

图1a为本发明的物件影像辨识系统的一实施例的硬件架构图。

图1b为本发明的计算模块于第一二值化影像累计特征值的一实施例的示意图。

图2为本发明的物件影像辨识方法的一实施例的步骤流程图。

图3为本发明的物件影像辨识方法的另一实施例的步骤流程图。

其中附图标记为：

物件影像辨识系统1影像捕获设备100

影像110图像处理模块10

累计值计算模块20形态学处理模块30

物件筛选模块40水平投影计算模块50

第一二值化影像12像素点121

具体实施方式

为能让贵审查委员能更了解本发明的技术内容，特举较佳具体实施例说明如下。以下请参考图1a与图1b关于本发明的物件影像辨识系统的一实施例的硬件架构图与计算模块于第一二值化影像累计特征值的一实施例的示意图。

如图1a所示，在本实施例中，本发明的物件影像辨识系统1与影像捕获设备100电性连接，且本发明的物件影像辨识系统1与用于辨识由移动中的影像捕获设备100撷取的一影像110中至少一目标物件影像，其中该至少一目标物件影像包括一预定像素长度m，其中m>10，且m为自然数。在本实施例中，至少一目标物件影像为一车牌影像，且车牌影像的预定像素长度m为100个像素点，此m的数量会依据操作的影像大小而不同。

如图1a与图1b所示，在本实施例中，本发明的物件影像辨识系统1包括图像处理模块10、累计值计算模块20、形态学处理模块30、物件筛选模块40以及水平投影计算模块50，其中图像处理模块10对影像110进行一图像处理以产生一第一二值化影像12，其中第一二值化影像的各像素点为一前景值或一背景值。根据本发明的一具体实施例，图像处理模块10先对影像110进行一影像缩小处理。在此须注意的是，影像110不缩小也适用，本实施例缩小影像110只是为了运算快速，该影像缩小处理将影像110的长度与宽度各缩小四分之一(原影像为1920x1080，可依照需求做缩放)，此外若影像110为彩色影像，图像处理模块10会先将影像110转为一灰阶影像，再进行影像缩小处理。

根据本发明之一具体实施例，图像处理模块10可利用索贝尔(sobel)或其他边缘检测算法对影像110进行垂直边缘化处理，并将垂直边缘化处理后的影像110进行影像二值化处理以产生前景值与背景值。在本实施例中，图像处理模块10依据垂直边缘化处理后的影像110中各像素点的梯度值是否超过100对影像110进行影像二值化处理，但本发明不以此实施例为限，图像处理模块10对影像110进行影像二值化处理的梯度阈值可依系统设计者依实际使用需求更动，此外索贝尔(sobel)或其他边缘检测算法为影像边缘化处理的现有技术，故不再此赘述其细节。

在本实施例中，如图1a与图1b所示，于第一二值化影像12中累计值计算模块20累计与每一具有前景值的一像素点水平相邻的m个像素点对应的前景值而形成该像素点的一前景累计值。累计值计算模块20具体计算方式说明如下，在此以像素点121为例，如图1b所示，于第一二值化影像12中，由上而下由左而右依序找一个有前景值的像素点位置，如本例中像素点121，并以此点为中心，累计值计算模块20累计像素点121右侧延伸的m/2个像素点对应的前景值而形成像素点的一右前景累计值，在本实施例中m为100，所以累计值计算模块20累计像素点121右侧延伸50个像素点并累计这50个像素点各自对应的前景值而形成像素点121的右前景累计值r。同时，累计值计算模块20累计像素点121左侧延伸50个像素点，并累计这50个像素点各自对应的前景值而形成像素点121的左前景累计值l，其中像素点121的前景累计值为右前景累计值r与左前景累计值l的总和。

如图1a与图1b所示，若右前景累计值r与左前景累计值l两者差距太大，就表示像素点121可能是垂直边缘变化的特征点，比如是车牌中最左边或最右边的文字边缘或车牌的垂直边缘。此时，根据本发明的具体实施例，若l>5且r≤1，累计值计算模块20停止累计像素点121右侧的前景累计值，改累计像素点121左侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0，例如像素点121若左侧延100个像素点后，其该第100个像素点的左侧第101个的像素点的前景值仍为1则继续累计，直到连续遇到两个像素点的前景值皆为0)对应的该些前景值而形成像素点121的前景累计值；若r>5且l≤1，累计值计算模块20停止累计像素点121左侧的前景累计值，改累计像素点121右侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0)对应的该些前景值而形成像素点121的前景累计值。若发生此情况，以此方式计算，像素点121的前景累计值在之后的二值化有机会被保留，不因计算的前景累计值太少而被清除，以便明显地找出影像110中垂直边缘变化的像素点121，让之后的ccl所选的兴趣框更能接近车牌的边框，减少于会取到不完整的车牌的机会。

根据本发明另一实施例，累计值计算模块20累计像素点121右侧延伸50个像素点后(含)至遇到连续两个像素点或两个以上的像素点的前景值为0，例如累计值计算模块20累计到像素点121右侧延伸的第50个像素点的前景值为0，且该第50个像素点右侧的像素点(也就是像素点121右侧的第51个像素点)的前景值仍为0，累计值计算模块20即停止累计。

根据本发明另一实施例，若累计值计算模块20累计像素点121右侧延伸计算右侧累计前景值r’时，于计算过程中若右侧已计算超过10个像素点且r’的数值小于2则累计值计算模块20停止累计像素点121右侧的延伸计算，改累计像素点121左侧延伸m个像素点，或改累计像素点121左侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0)。

同时，累计值计算模块20累计像素点121左侧延伸的左前景累计值l’时，在计算过程中若左侧已计算超过10个像素点且l’的数值小于2则累计值计算模块20停止累计像素点121左侧的延伸计算，改累计像素点121右侧延伸m个像素点，或改累计像素点121右侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0)。

在此须注意的是，累计值计算模块20会跟前述相同的计算方式与判断方法完成第一二值化影像12中每一个具有前景值的像素点的前景累计值，以供形态学处理模块30进行后续图像处理运算。如图1a所示，在本实施例中，形态学处理模块30依据累计值计算模块20计算出第一二值化影像12中每一个具有前景值的像素点的前景累计值对第一二值化影像进行一形态学处理而产生一第二二值化影像，并从第二二值化影像中标记至少一兴趣框。

在本实施例中，形态学处理模块30会对第一二值化影像12进行一影像二值化处理、一影像膨胀处理以及一兴趣框标记处理，其中形态学处理模块30依据第一二值化影像12中各像素点的前景累计值是否超过18(此阀值会依操作的影像大小而有不同)。对第一二值化影像12进行影像二值化处理而产生第二二值化影像，其中第一二值化影像12中前景累计值超过18的像素点其灰阶值转为255，第一二值化影像12前景累计值小于18的像素点其灰阶值转为0，但本发明不以此实施例为限，形态学处理模块30对第一二值化影像12进行影像二值化处理的前景累计值阈值可依系统设计者依实际使用需求更动。

在本实施例中，形态学处理模块30扫描第二二值化影像中每一像素点，若该像素点为0的8-近邻中只要有一个像素点的值为大于10，就将该像素点的值转为255，而此步骤即为影像膨胀处理，藉此把有可能因运算而被断开得车牌文字连回来。在此须注意的是，本发明的形态学处理模块30乃对影像中符合膨胀条件的像素点进行膨胀处理，也就是说本发明的形态学处理模块30系对车牌内断开的文字，可以做到只计算一次但达到传统需二次膨胀处理，对单一点噪声也只会被放大一倍，不像传统的二次膨胀处理，会被放大两倍，藉以避免影像中的噪声被放大，造成后续圈选兴趣框或数值分析的困扰。形态学处理模块30完成影像膨胀处理后，形态学处理模块30进一步于第二二值化影像中框出至少一兴趣框，在本实施例中，至少一兴趣框为矩形，物件筛选模块40再由至少一兴趣框中找出至少一目标物件影像。

根据本发明的一具体实施例，因至少一目标物件影像为车牌影像，各国车牌影像具有一预定宽长比例(例如中国台湾车牌从机车车牌到汽车车牌，其宽度会大于长度，其宽长比从1.85:1～2.4:1)，在本实施例中车牌影像的预定宽长比例为2.5:1，在此例中m为100，因此宽长比例为100:40(本发明不以此比例为限)。物件筛选模块40由形态学处理模块30所圈选的至少一兴趣框中找出宽长比符合100:40左右的至少一目标兴趣框。此时再利用水平投影计算模块50依序计算至少一目标兴趣框中的所参考的累计值计算模块20的一水平投影累计值，以供物件筛选模块40由至少一目标兴趣框中找出水平投影累计值高于k的目标物件影像，例如兴趣框中每一水平面的水平投影累计大于300，则该水平的k值就加一，其中k为大于2的自然数。若每一水平投影累计小于20则z值加一，其中z≧0。再统计此一目标兴趣框所计算的k是否大于5(此数值会依操作的影像大小而不同)，若k小于5或z大于k则此一目标兴趣框则舍弃，因为车牌影像是由多个英文字母与数字组成，水平投影计算模块50计算某一目标兴趣框的水平投影累计值若太小，则表示该目标兴趣框中的信息与车牌影像应出现的信息不相符，或者就算该目标兴趣框是车牌影像，但其影像中的文字无法辨识，故物件筛选模块40可以将水平投影累计值若太小的该些目标兴趣框删除，而剩余的目标兴趣框就是目标物件影像，此时可将目标物件影像进一步做字符切割处理，以便目标物件影像做文字辨识。

需注意的是，上述各个模块除可配置为硬件装置、软件程序、韧体或其组合外，亦可藉电路回路或其他适当型式配置；并且，各个模块除可以单独的型式配置外，亦可以结合的型式配置。一个较佳实施例是各模块皆为软件程序储存于内存上，藉由物件影像辨识系统1中的一处理器(图未示)执行各模块以达成本发明的功能。此外，本实施方式仅例示本发明的较佳实施例，为避免赘述，并未详加记载所有可能的变化组合。然而，本领域的通常知识者应可理解，上述各模块或组件未必皆为必要。且为实施本发明，亦可能包含其他较细节的现有模块或组件。各模块或组件皆可能视需求加以省略或修改，且任两模块间未必不存在其他模块或组件。

以下请一并参考图1a、图1b、图2与图3，其中图2关于本发明的物件影像辨识方法的一实施例的步骤流程图，图3为物件筛选的步骤流程图。本发明的物件影像辨识方法，应用于物件影像辨识系统1，如图1a与图1b所示，物件影像辨识系统1用于辨识由移动中的影像捕获设备100撷取的一影像110中至少一目标物件影像。如图2所示，本发明的物件影像辨识方法主要包括步骤s1至步骤s4。以下将详细说明本发明的物件影像辨识方法的第一实施例的各个步骤。

步骤s1：对影像进行一图像处理以产生第一二值化影像。

图像处理模块10对影像110进行一图像处理以产生一第一二值化影像12，其中第一二值化影像的各像素点为一前景值或一背景值。根据本发明之一具体实施例，图像处理模块10先对影像110进行一影像缩小处理，该影像缩小处理将影像110的长度与宽度各缩小四分之一(但不以此为限)，此外若影像110为彩色影像，图像处理模块10会先将影像110转为一灰阶影像，再进行影像缩小处理。在此须注意的是，影像110不缩小也适用，本实施例缩小影像110只是为了运算快速。

根据本发明之一具体实施例，图像处理模块10利用索贝尔(sobel)或其他边缘检测算法对影像110进行垂直边缘化处理，并将垂直边缘化处理后的影像110进行影像二值化处理来产生前景值与背景值。在本实施例中，图像处理模块10依据垂直边缘化处理后的影像110中各像素点的梯度值是否超过100对影像110进行影像二值化处理，但本发明不以此实施例为限，图像处理模块10对影像110进行影像二值化处理的梯度阈值可依系统设计者依实际使用需求更动，此外索贝尔(sobel)或其他边缘检测算法为影像边缘化处理的现有技术，故不再此赘述其细节。

步骤s2：于该第一二值化影像中，累计值计算模块累计与每一具有该前景值的一像素点水平相邻的m个像素点对应的该前景值而形成该像素点的一前景累计值。

在本实施例中，如图1a与图1b所示，于第一二值化影像12中累计值计算模块20累计与每一具有前景值的一像素点水平相邻的m个像素点对应的前景值而形成像素点的一前景累计值。累计值计算模块20具体计算方式说明如下，在此以像素点121为例，如图1b所示，于第一二值化影像12中，由上而下由左而右依序找一个有前景值的像素点位置，如本例中像素点121，并以此点为中心，累计值计算模块20累计像素点121右侧延伸的m/2个像素点对应的前景值而形成像素点的一右前景累计值，在本实施例中m为100，所以累计值计算模块20累计像素点121右侧延伸50个像素点，并累计这50个像素点各自对应的前景值而形成像素点121的右前景累计值r。同时，累计值计算模块20累计像素点121左侧延伸50个像素点，并累计这50个像素点各自对应的前景值而形成像素点121的左前景累计值l，其中像素点121的前景累计值为右前景累计值r与左前景累计值l的总和。

如图1a与图1b所示，若右前景累计值r与左前景累计值l两者差距太大，就表示像素点121可能是垂直边缘变化的特征点，比如说:是车牌最左边或最右边的文字边缘或车牌的垂直边缘，此时，根据本发明的具体实施例，若l>5，且r<＝1，累计值计算模块20停止累计像素点121右侧的前景累计值，改累计像素点121左侧延伸至少m个像素点对应的该前景值而形成像素点121的前景累计值；若r>5，且l<＝1，累计值计算模块20停止累计像素点121左侧的前景累计值，改累计像素点121右侧延伸至少m个像素点对应的前景值而形成像素点121的前景累计值。若发生情况，以此方式计算，像素点121在之后的二值化有机会被保留，不因计算的前景累计值太少而被清除，以便明显地找出影像110中垂直边缘变化的像素点121，让之后的ccl所选的兴趣框更能接近车牌的边框，减少于会取到不完整的车牌的机会。在此须注意的是，累计值计算模块20会跟前述相同的计算方式与判断方法完成第一二值化影像12中每一个像素点的前景累计值。

根据本发明另一实施例，累计值计算模块20累计像素点121右侧延伸50个像素点后(含)至遇到连续两个像素点或两个以上的像素点的前景值为0，例如累计值计算模块20累计到像素点121右侧延伸的第50个像素点的前景值为0，且该第50个像素点右侧的像素点(也就是像素点121右侧的第51个像素点)的前景值仍为0，累计值计算模块20即停止累计。

根据本发明另一实施例，若累计值计算模块20累计像素点121右侧延伸计算右侧累计前景值r’时，于计算过程中若右侧已计算超过10个像素点且r’的数值小于2则累计值计算模块20停止累计像素点121右侧的延伸计算，改累计像素点121左侧延伸至少m个像素点，或改累计像素点121左侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0)。

同时，累计值计算模块20累计像素点121左侧延伸的左前景累计值l’时，在计算过程中若左侧已计算超过10个像素点且l’的数值小于2则累计值计算模块20停止累计像素点121左侧的延伸计算，改累计像素点121右侧延伸至少m个像素点，或改累计像素点121右侧延伸至少m个像素点(直到遇到连续两个或以上的像素点的前景值为0)。

步骤s3：依据该些前景累计值对该第一二值化影像进行形态学处理而产生一第二二值化影像，并从第二二值化影像中标记至少一兴趣框。

如图1a所示，在本实施例中，形态学处理模块30依据累计值计算模块20计算出第一二值化影像12中每一个具有前景值的像素点的前景累计值对第一二值化影像进行一形态学处理而产生一第二二值化影像，并从第二二值化影像中标记至少一兴趣框。

在本实施例中，形态学处理模块30会对第一二值化影像12进行一影像二值化处理、一影像膨胀处理以及一兴趣框标记处理，其中形态学处理模块30依据第一二值化影像12中各像素点的前景累计值是否超过18(此阀值会依操作的影像大小而有不同)。对第一二值化影像12进行影像二值化处理而产生第二二值化影像，其中第一二值化影像12中前景累计值超过18的像素点其灰阶值转为255，第一二值化影像12前景累计值小于18的像素点其灰阶值转为0，但本发明不以此实施例为限，形态学处理模块30对第一二值化影像12进行影像二值化处理的前景累计值阈值可依系统设计者依实际使用需求更动。

在本实施例中，形态学处理模块30扫描第二二值化影像中每一像素点，若该像素点为0的8-近邻中只要有一个像素点的值为大于10，就将该像素点的值转为255，而此步骤即为影像膨胀处理，藉此把有可能因运算而被断开的车牌文字连回来。在此须注意的是，本发明的形态学处理模块30乃对影像中符合膨胀条件的像素点进行膨胀处理，也就是说本发明的形态学处理模块30是对车牌内断开的文字，可以做到只计算一次但达到传统需二次膨胀处理，对单一点噪声也只会被放大一倍，不像传统的二次膨胀处理，会被放大两倍，藉以避免影像中的噪声被放大，造成后续圈选兴趣框或数值分析的困扰。形态学处理模块30完成影像膨胀处理后，形态学处理模块30进一步于第二二值化影像中框出至少一兴趣框，在本实施例中，至少一兴趣框为矩形。

步骤s4：由该至少一兴趣框中找出该至少一目标物件影像。

物件筛选模块40再由至少一兴趣框中找出至少一目标物件影像。根据本发明之一具体实施例，因至少一目标物件影像为车牌影像，各国的车牌影像具有一预定宽长比例，例如中国台湾车牌从机车车牌到汽车车牌，其宽度会大于长度，其宽长比从1.85:1～2.4:1，在本实施例中车牌影像的预定宽长比例为2.5:1，在此例中m为100，因此宽长比例为100:40(本发明不以此比例为限)。物件筛选模块40由形态学处理模块30所圈选的至少一兴趣框中找出宽长比符合(接近)100:40左右的至少一目标兴趣框(步骤s41)。此时再利用水平投影计算模块50依序计算至少一目标兴趣框中的所参考的累计值计算模块20的一水平投影累计值，以供物件筛选模块40由至少一目标兴趣框中找出水平投影累计值高于k的目标物件影像，其中k为大于2的自然数(步骤s42)。

例如每一水平投影累计大于300，则该水平的k值就加一，其中k为大于2的自然数。若水平投影累计小于20则z值加一，z≧0。再统计此一目标兴趣框所计算的k是否大于5(此数值会依操作的影像大小而不同)，若k小于5或z大于k则此一目标兴趣框则舍弃，因为车牌影像是由多个英文字母与数字组成，因此水平投影计算模块50计算某一目标兴趣框的水平投影累计值若太小，则表示该目标兴趣框中的信息与车牌影像应出现的信息不相符，或者就算该目标兴趣框是车牌影像，但其影像中的文字无法辨识，故物件筛选模块40可以将水平投影累计值若太小的该些目标兴趣框删除，而剩余的目标兴趣框就是目标物件影像，此时可将目标物件影像进一步做字符切割处理，以便目标物件影像做文字辨识。

本发明的物件影像辨识系统1及物件影像辨识方法藉由累计值计算模块于第一二值化影像12中，累计与每一具有该前景值的一像素点121水平相邻的m个像素点对应的该前景值而形成像素点121的一前景累计值，并利用物件筛选模块40删除尺寸特征不符的兴趣框的辨识方式，可降低本发明的物件影像辨识系统1及物件影像辨识方法计算量提升辨识率。此外，本发明的物件影像辨识系统1及物件影像辨识方法是用于辨识由移动中的影像捕获设备100撷取的一影像110，只要移动中的影像捕获设备撷取的一影像中的目标兴趣框中的影像特性符合车牌的特征，即可确认该目标兴趣框为车牌，故本发明的物件影像辨识系统1及物件影像辨识方法可在单一影像110中辨识至少一或多个物件(车牌)，提高了本发明的物件影像辨识系统及物件影像辨识方法的应用性。

应注意的是，上述诸多实施例仅是为了便于说明而举例而已，本发明所主张的权利范围自应以权利要求所述为准，而非仅限于上述实施例。