专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及从图像中检测特定形状的图像处理装置以及图像处理方法。
背景技术：
现在，广泛利用了从摄像图像中检测出特定形状的图像处理装置以及方法。例如，在适用于FA(自动化工场)的图像处理装置中，通过进行部件形状的检测，实现了部件的取错或缺陷的检测。此外，最近的机器人导航中的诱导标识的识别或遥感中的建筑物的识别也利用了特定形状的检测。此外，存在以下的用于辅助驾驶的装置，识别道路标识，并将该识别出的标识信息通知给驾驶员或将该标识信息用于车辆控制的装置。在标识识别装置中，用相机摄像前方，从该摄像图像中提取出标识所使用的形状等特定区域的图像，并进行该提取出的图像和模板的标识图像的模板匹配等图案识别，从而识别标识。在形状检测中，利用以往的霍夫变换方法(参照专利文献1)。从图像的边缘点，对表现了形状的解析式的参数进行投票，基于参数空间中的峰值，求形状的解析式的参数。标准霍夫变换算法只能利用于直线或圆等可用解析式表现的形状。与此相对，广义霍夫变换算法(参照非专利文献1)能够对任意形状进行检测。在广义霍夫变换中，指定某一参照点，基于形状的标准模板，预先生成形状上的点和参照点间的几何关系，与该点的特征之间的对应关系。由于通常存在多个上述对应关系，所以在从图像中检测形状时，基于图像的边缘点对所有可能的对应关系进行投票。基于投票结果，求可能性高的对应关系，检测出对象形状。此外，为了改善霍夫变换或广义霍夫变换的运行速度，采用了限制投票点的数目等方法(参照专利文献2)。此外，还提出了使用与霍夫变换不同的投票方式来检测正多边形的技术(参照专利文献幻。在该技术中，对边缘点具有辐射对称(radial symmetry)的形状的中心点进行投票，所以投票空间实际上与图像空间相同。由此，与以往的霍夫变换相比，运行速度变快。专利文献1 美国专利3069654号专利说明书专利文献2 美国专利申请公开第2006/(^917 号说明书专利文献3 美国专利申请公开第2006/0098877号说明书非专利文献1 :D. H. Ballard著7変換 一般化(二 J 3任意形状 検出、”夕一父言忍識(Generalizing the Hough transform to detect arbitrary shapes, PatternRecognition) ”、Vol. 13，No.2，1981年
发明内容
本发明要解决的问题
5
以往的技术存在不能高速地检测任意形状的问题。虽然广义霍夫变换能够适用于任意形状，但由于投票空间的维数较高，很难实现高速检测。例如，考虑到形状的尺度变换或旋转参数时，通常投票空间为三维以上。此外，专利文献3中记载的技术能够实现高速检测，但存在无法适用于正多边形以外的形状的问题。此外，以往的形状检测方法为一个一个地检测对象形状的结构分量或综合地检测全部结构分量。因此，例如，由于在专利文献3中使用边缘点的强度，所以对于特定的组合的检测，鲁棒性不充分。本发明的目的在于提供图像处理装置以及图像处理方法，能够从图像中高速地检测出特定形状，而且能够改善鲁棒性。解决问题的方案本发明的图像处理装置采用的结构包括候补位置计算单元，从所提供的图像中，求第一圆的中心点的第一候补位置，所述第一圆与包含在检测对象的形状中的三边以三点相接；角度计算单元，求从所述三边至所述第一候补位置的法线与基准线之间的角度，所述基准线通过所述法线和各边相交的点且具有一定方向；相对关系计算单元，求与关于所述第一候补位置的所述角度的相对关系；以及识别单元，基于所述角度的相对关系以及预先存储的形状的角度的相对关系，识别包含在所述所提供的图像中的形状。根据本发明的一个方面，提供一种图像处理装置，包括边缘处理单元，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理单元，求所述多个边缘的各边缘点的法线的方向；投票处理单元，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理单元，从包含于所述图像中的所有的点提取在局部所述得票值高的局部峰值位置，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理单元，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理单元，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。根据本发明的另一个方面，提供一种图像处理装置，包括边缘处理单元，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理单元，求所述多个边缘的各边缘点的法线的方向；投票处理单元，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理单元，将与加算于第1局部峰值位置的所述得票值对应的所述法线方向进行聚类，在聚类的误差小于规定阈值的情况下，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到所述第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理单元，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理单元，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。根据本发明的再一个方面，提供一种图像处理方法，包括以下步骤边缘处理步骤，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理步骤，求所述多个边缘的各边缘点的法线的方向；投票处理步骤，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理步骤，从包含于所述图像中的所有的点提取在局部所述得票值高的局部峰值位置，判断第1相对关系和第2相对关系是否一致，所述第 1相对关系为与加算到第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理步骤，在所述部分形状检测单元中判断为一致的情况下，求与所述第1 局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理步骤，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。根据本发明的再一个方面，提供一种图像处理方法，包括以下步骤边缘处理步骤，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理步骤，求所述多个边缘的各边缘点的法线的方向；投票处理步骤，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算与所述法线方向对应的得票值；部分形状检测处理步骤，将与加算于第1局部峰值位置的所述得票值对应的所述法线方向进行聚类，在聚类的误差小于规定阈值的情况下，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到所述第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理步骤，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、 与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理步骤，根据所述第 1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。发明的效果根据本发明，能够从图像中高速地检测特定形状，而且能够改善鲁棒性。
图1是表示本发明实施方式1的图像处理装置的结构图。
图2A是表示实施方式1的一例检测对象形状的标准模板的图。图2B表示一例从摄像单元输出的输入图像的图。图2C是表示实施方式1的一例边缘点以及法线方向的图。图3是实施方式1的内切圆的提取例子的图。图4是表示输入图像中所包含形状的内切圆的提取例子的图。图5是表示实施方式1的一例投票区域的图。图6是表示图1中的部分形状检测处理单元的内切圆检测的处理的流程图。图7是表示本发明实施方式2的一例求骨架(skeleton)(细线)的图。图8A是表示本发明实施方式3的一例检测对象形状的标准模板的图。图8B是表示输入图像中所包含的图像形状的提取例子的图。图9A是表示本发明实施方式4的一例检测对象形状的标准模板的图。图9B是表示输入图像中所包含的图像形状的提取例子的图。图IOA是表示输入图像中所包含的图像形状的提取例子的图。图IOB是表示输入图像中所包含的图像形状的提取例子的图。
具体实施例方式以下，参照附图详细地说明本发明的实施方式。在以下说明的实施方式中，特定形状的线段的组合是指，检测对象的图像的轮廓包含一个以上的线段。轮廓可以是开放形状也可以是闭合形状。此外，也可以包含曲线作为线段。2006年7月17日申请的中国专利申请第200610105671. X号中包含的说明书、附图及说明书摘要公开的内容全部被引用在本申请。<实施方式1>图1是本发明实施方式1的图像处理装置的结构图。在图1所示的图像处理装置 100中，存储单元101将检测对象的特定形状作为标准模板存储。形状特征处理单元102 基于存储单元101所存储的检测对象的特定形状的标准模板，生成描述了特定形状的结构特征的结构特征表。例如，形状特征处理单元102对于图2A所示的标准模板，提取如图3 所示的与任意的三边以三点相切的圆(以下称为内切圆)。在图3所示的例子中，形状特征处理单元102合计提取四个内切圆(01，rl ；02, r2 ；03, r3 ；04, r4)。形状特征处理单元 102对各个内切圆的中心点、半径、切点的法线方向以及内切圆中心点间的相对位置关系作为结构特征表进行如表1所示的描述。在为直线时，各点的法线方向相同。对于内切圆，求相当于切点数的法线方向。在图3中，由于法线方向共有四个，所以内切圆之间共享部分法线方向。形状特征处理单元102的处理通常在离线状态下进行。表 1
中心点半径切点的法线方向01rlθ 4， θ 1， θ 202r2θ 1， θ 2， θ 3
8
权利要求
1.图像处理装置，包括边缘处理单元，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理单元，求所述多个边缘的各边缘点的法线的方向；投票处理单元，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理单元，从包含于所述图像中的所有的点提取在局部所述得票值高的局部峰值位置，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理单元，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理单元，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。
2.根据权利要求1所述的图像处理装置，所述第1相对关系为与所述得票值对应的所述法线方向的角度的差分的绝对值，所述第2相对关系为在所述切点中的法线方向的角度的差分的绝对值。
3.根据权利要求1所述的图像处理装置，在有多个所述局部峰值位置存在的情况下，所述形状形态处理单元，进一步求与第2局部峰值位置对应的第2相对尺度变化率以及第2相对旋转角度，所述形状识别处理单元，进一步根据所述第1局部峰值位置与所述第2局部峰值位置之间的相对位置、所述第2相对尺度变化率以及所述第2相对旋转角度，识别所述图像中所包含的图形。
4.图像处理装置，包括边缘处理单元，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理单元，求所述多个边缘的各边缘点的法线的方向；投票处理单元，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理单元，将与加算于第1局部峰值位置的所述得票值对应的所述法线方向进行聚类，在聚类的误差小于规定阈值的情况下，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到所述第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理单元，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理单元，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。
5.图像处理方法，包括以下步骤边缘处理步骤，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理步骤，求所述多个边缘的各边缘点的法线的方向；投票处理步骤，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理步骤，从包含于所述图像中的所有的点提取在局部所述得票值高的局部峰值位置，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理步骤，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理步骤，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。
6.根据权利要求5所述的图像处理装置，所述第1相对关系为与所述得票值对应的所述法线方向的角度的差分的绝对值，所述第2相对关系为在所述切点中的法线方向的角度的差分的绝对值。
7.根据权利要求5所述的图像处理装置，在有多个所述局部峰值位置存在的情况下，所述形状形态处理单元，进一步求与第2局部峰值位置对应的第2相对尺度变化率以及第2相对旋转角度，所述形状识别处理单元，进一步根据所述第1局部峰值位置与所述第2局部峰值位置之间的相对位置、所述第2相对尺度变化率以及所述第2相对旋转角度，识别所述图像中所包含的图形。
8.图像处理方法，包括以下步骤边缘处理步骤，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理步骤，求所述多个边缘的各边缘点的法线的方向；投票处理步骤，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算与所述法线方向对应的得票值；部分形状检测处理步骤，将与加算于第1局部峰值位置的所述得票值对应的所述法线方向进行聚类，在聚类的误差小于规定阈值的情况下，判断第1相对关系和第2相对关系是否一致，所述第1相对关系为与加算到所述第1局部峰值位置的所述得票值对应的所述法线的方向的角度的相对关系，所述第2相对关系为在事先存储的形状的内切圆的切点的法线方向的角度的相对关系；形状形态处理步骤，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度，所述第1相对尺度变化率和第1相对旋转角度根据所述第1峰值位置、与所述规定的距离以及所述得票值对应的法线方向的角度、所述事先存储的形状的内切圆的中心点和半径、以及在所述切点的法线方向的角度求得；形状识别处理步骤，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。
全文摘要
公开了图像处理装置，包括边缘处理单元，从由摄像机所拍摄的图像提取多个边缘；法线矢量处理单元，求所述多个边缘的各边缘点的法线的方向；投票处理单元，对于所述多个边缘的每一个，求在从边缘点到法线方向的规定的距离中的、与所述法线正交的投票领域，对所述投票领域中所包含的点加算对应于所述法线方向的得票值；部分形状检测处理单元，从包含于所述图像中的所有的点提取在局部所述得票值高的局部峰值位置，判断第1相对关系和第2相对关系是否一致，形状形态处理单元，在所述部分形状检测单元中判断为一致的情况下，求与所述第1局部峰值位置对应的第1相对尺度变化率和第1相对旋转角度；形状识别处理单元，根据所述第1相对尺度变化率、所述第1相对旋转角度以及所述事先存储的形状，识别所述图像中所包含的图形。
文档编号G06K9/46GK102393904SQ20111017036
公开日2012年3月28日 申请日期2007年7月17日 优先权日2006年7月17日
发明者刘伟杰, 吴刚, 谢晓辉, 魏强 申请人:松下电器产业株式会社