识别图像的方法及设备的制作方法

专利名称：识别图像的方法及设备的制作方法
技术领域：
本发明涉及图像处理技术，具体地，本发明涉及一种能够高准确 度地识别采集的图像的方法和设备。
背景技术：
越来越多的自动化过程中采用图像识别技术，并取得了显著的性 能提高。图像识别的过程包含采集、检测、识别一系列步骤，受采集 设备和采集环境的影响，输入的待识别图像可能存在较大的干扰，如 模糊、遮挡、阴影、光照变化等，待识别的目标图像可能存在变形、 或者旋转等问题。因此，如何高效准确的识别目标是图像识别技术需 要研究的关键和难点之一。
在一些实际场景的图像识别应用中，目标的检测和识别存在一个
连续的由远及近或由近及远的时间变化过程，通常情况下较远距离的 待识别目标存在面积小分辨率低，特征信息相对较少的问题，近距离 时图像面积较大分辨率较高，图像清晰而且特征信息量相对丰富。图
19示出了两个在不同尺度下的交通标识图像的例子。因此，如何处理 不同尺度下尤其是对低分辨率下的待识别目标图像的识别问题也是研 究的关键和难点之一。
专利文献l (JP2005—44033)提出了一种图像检测技术，从输入
图像中抽出分割图像，然后比较分割图像与欲识别图像的直方图特征， 把相似度极大值的分割图像的位置作为欲识别图像的候选位置。在专 利文献1中，针对各个候补位置进行尺度变换，将尺度变换后的分割 图像与与识别图像的相似度进行比较来得到相似度最大的分割图像。
专利文献2 (JP2005 —346287)提出了一种图像识别技术，从输 入图像得到若干分割图像，然后计算分割图像的鲜明程度。然后，基
于鲜明程度选择最合适的模板，利用所选择的模板的像素特征与分割 图像的像素特征进行比较，识别出分割图像。
上述专利文献虽然都提出将图像分割为多个区域，通过提取每个 局部区域的特征信息并结合区域之间的关系特征来判别是否为标识， 但是这类方法对图像质量敏感，对光照、变形、旋转等具有较差的鲁 棒性，准确性不高。

发明内容
鉴于现有技术中存在的问题，提出了本发明。本发明的目的在于 提出一种能够高准确度地识别输入的图像的方法和设备。
在本发明的一个方面，提出了一种识别图像的方法，包括步骤 从输入图像中检测出候补区域；基于模板图像的基本识别单元划分所 述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度 较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的 基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/ 或相对几何关系；确定所述候补区域的基本识别单元的部分或者全部 的直方图信息和/或相对几何关系与模板图像的识别单元的直方图信 息和/或相对几何关系之间的相似度；以及利用所述相似度判断输入图 像中是否存在模板图像表示的物体图像。
在本发明的另一方面，提出了一种识别图像的设备，包括候补 检测装置，从输入图像中检测出候补区域；划分装置，基于模板图像 的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是 所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区 域中与所述模板图像的基本识别单元相对应的局部图像；特征提取装 置，计算所述识别单元的直方图信息和/或相对几何关系；匹配装置， 确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相 对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何 关系之间的相似度；以及识别装置，利用所述相似度判断输入图像中 是否存在模板图像表示的物体图像。
在本发明的又一方面，提出了一种识别图像的方法，包括步骤
按照时间顺序输入图像序列；从所述输入图像序列的至少两幅输入图 像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区 域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局 部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别 单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几 何关系；针对所述至少两幅输入图像，确定所述候补区域的识别单元 的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本 识别单元的直方图信息和/或相对几何关系之间的相似度；利用识别单 元随着时间的变化规律来调节各个输入图像相似度的系数；利用调节 后的系数对各个相似度进行加权求和来计算最终的相似度；利用所述 最终相似度判断输入图像序列中是否存在模板图像表示的物体图像。
在本发明的又一方面，提出了一种识别图像的设备，包括图像 采集装置，按照时间顺序输入图像序列；候补检测装置，从所述输入 图像序列的至少两幅输入图像中检测出候补区域；划分装置，基于模 板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别 单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述 候补区域中与所述模板图像的基本识别单元相对应的局部图像；特征 提取装置，计算所述识别单元的直方图信息和/或相对几何关系；匹配 装置，针对所述至少两幅输入图像，确定所述候补区域的识别单元的 部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识 别单元的直方图信息和/或相对几何关系之间的相似度；调节装置，利 用识别单元随着时间的变化规律来调节各个输入图像相似度的系数， 其中，利用调节后的系数对各个相似度进行加权求和来计算最终的相 似度；识别装置，利用所述最终相似度判断输入图像序列中是否存在
模板图像表示的物体图像。
利用本发明的上述配置，通过划分识别单元和分层处理，可以有 效识别多种图像，而且该方法可以结合视频图像处理的过程实现效率 和准确性方面的提高。


图1示出了用来说明根据本发明第一实施方式的识别图像的设备 的构成的方框图。
图2示出了用来说明二值图像的变化数的计算的示意图。
图3是在局部区域^作为一个基本识别单元的情况下的示例。
图4 (A) (H)示出了矩形区域4周围的各个区域及其变化数。 图5示出了用来说明检测二值化模板图像的基本识别单元的过程 的流程图。
图6是用来说明基本识别单元之间的关系的示意图。 图7示出了图6所示的左转向标识图像的基本识别单元的层次划 分示意图。
图8示出了根据第一实施方式的划分基本识别单元的方法的流程图。
图9示出了根据第一实施方式的分层匹配方法的流程图。
图IO示出了根据本发明第一实施方式的图像识别方法的流程图。
图11示出了根据本发明第二实施方式的识别图像的设备的方框图。
图12示出了用来说明灰度图像的变化数的计算的示意图。 图13示出了在灰度图像的情况下模板图像的基本识别单元的划 分过程。
图14示出了用来说明根据本发明第三实施方式的识别图像的设 备的结构的方框图。
图15示出了在彩色图像的情况下模板图像的基本识别单元的划 分过程。
图16示出了根据本发明的分层匹配过程的一个变型。
图17是用来说明本发明的识别单元划分方法的一个变型。
图18是根据本发明的识别图像的方法的一个变型。
图19示出了两个在不同尺度下的交通标识图像的例子。
具体的实施方式
下面对照附图以具体实施方式
对本发明进行详细的说明。在下面
的说明中，省略了那些对本领域的技术人员来说是公知的内容，因为 对这些公知内容的描述将会导致本发明的特点、特性和优点变得不清 楚。
第一实施方式
图1示出了用来说明根据本发明第一实施方式的识别图像的设备 的构成的方框图。
由图1可以看出，第一实施方式的识别图像的设备具有离线部分
100和在线部分200。
离线部分100包括对输入的模板图像进行二值化处理的第一二值 化部分110、对二值模板图像进行划分以得到基本识别单元的第一划 分部分120、将基本识别单元划分成层次的第一分层部分130、用于提 取各个基本识别单元的直方图特征信息和它们之间的相对几何关系的 第一特征提取部分140以及用来将各个模板图像与其基本识别单元的 直方图信息和相对几何关系相对应地存储的模板存储器150。下面详 细说明这些部分所执行的过程。
首先，在第一二值化部分110中对输入的模板图像进行二值化， 然后由第一划分部分120提取该模板图像的基本识别单元，基本识别 单元是一幅图像上局部变化度较大的区域。在本实施例中，通过计算 局部图像的变化数来获取该区域中的变化度。具体的计算过程描述如 下。
令」为二值化图像/上大小为/ ></ 的矩形区域，利用下面公式(1) 来计算该矩形区域的变化数
其中/;0O表示直线PA在区域^内取值由0到1和由1到0的变化次 数；而p(力)表示直线"力在区域X内取值由0到1和由1到0的变化次数。
图2示出了用来说明二值图像的变化数的计算的示意图。如图2 所示，直线x-x。上共计两次0/l变化，直线;;=;;。共计4次。二值图像 上的0/1和1/0变化次数大的区域的前景变化较大，高频信息量多。 相反，变化次数小的区域前景变化较小，低频信息多。因此，二值图
像的局部区域的变化数能够描述图像的前景变化的程度。
二值图像的基本识别单元指在某个尺度下，二值图像的局部区域 在一定范围内其变化数为极大值。图3是在局部区域^作为一个基本
识别单元的情况下的示例，区域4的变化数&=4.715，它是周围的各
个区域的变化数的极大值。
图4 (A) (H)示出了矩形区域^周围的各个区域以及按照上
述的方法计算的变化数，其中(A)表示图3中的区域4)向左上侧平 移得到的区域^及其变化数尸;=3.672; (B)表示在图3中的区域^向 上平移得到的区域^及其变化数^=4.117; (C)表在图3中的区域^ 向右平移得到的区域^及其变化数^=3.991; (D)表示图3中的区 域4)向左平移得到的区域厶及其变化数&=4.59; (E)表示图3中的 区域4向右平移得到的区域A及其变化数R二3.932; (F)表示图3 中的区域4向左下平移得到的区域^6及其变化数^二4.058; (G)表 示图3中的的区域4向下平移得到的区域A及其变化数F产3.628(H) 表示图3中的区域^向右下平移得到的区域^及其变化数Fs二4.136。 可见，在区域^附近选择同样尺度的区域的变化数均小于区域^的变 化数。因此，在该尺度下，将区域^。确定为一个基本识别单元。
这样，在不同尺度下遍历二值化模板图像可以搜索到模板图像的 所有基本识别单元。图5示出了用来说明检测二值化模板图像的基本 识别单元的过程的流程图。
如图5所示，在步骤SllO，输入二值化模板图像，例如一个左转 向的交通标识图像。然后，在步骤S120，设定尺度，也就是局部图像 的尺寸，例如32X32像素等等。
接下来，在步骤130，在所设定的尺度下，遍历整个图像，也就 是获得整个图像中具有所设定的尺度的局部图像，然后计算所有这些 局部图像的变化数。在步骤S140，搜索这些局部图像的变化数的极大 值，并在步骤S150判断是否找到极大值。如果找到，则在步骤S160， 将具有极大值的局部图像确定为一个基本识别单元，并且记录该基本 识别单元的位置以及尺度信息。如果没有找到极大值，则流程返回到 步骤S120，重新设定尺度，例如31X31，然后重复上述的步骤。
步骤S170，判断当前尺度是否是最小尺度，如果是，则结束整个
过程，否则流程返回到步骤S120，重复上述的步骤。
由上述基本识别单元的定义和检出方法可以看出，二值图像的前 景区域构成了尺度最大的一个基本识别单元。
在获得了一幅图像的所有基本识别单元之后，在第一分层部分
130对这些基本识别单元进行分层处理。即，依据尺度关系对检出的 基本识别单元划分层次，其中不同的层对应着不同尺度下的基本识别 单元。相邻层次的基本识别单元之间则存在包含关系，同一层的基本 识别单元可以重叠或者相交。由于不同层次可以对应于不同的尺度， 因此基于不同层的基本识别单元与输入的待识别图像进行匹配可以使 得识别方法具有尺度鲁棒性。
假设二值图像的全部前景区域对应的基本识别单元为第一层，则 随着尺度的减小，基本识别单元的层数逐渐增大。随着层数的增大， 基本识别单元刻画图像的细节信息的能力就越强，但并不意味着一个 图像可以无限划分层次，因为一方面在达到一定尺度后无法找到基本 识别单元，另一方面考虑到实际应用中尺度太小的基本识别单元鲁棒 性较差。因此，通常在基本识别单元面积小于一定的阈值之后可以停
止分层，这就是设定最小尺度的原因。
如果基本识别单元4对应的局部区域包含或者几乎包含基本识别
单元^对应的局部区域，则^的层数高于4。以左转向标识图像为例， 如图6所示，」、A和A为图像的基本识别单元，且^包含A和A。 因此基本识别单元」层次较低，具有较大的尺度，^和A对应较高层 次，具有较小的尺度。将图像中的所有基本识别单元依据层次排列， 可以形成了图像的基本识别单元分层结构。
图7示出了图6所示的左转向标识图像的基本识别单元的层次划 分示意图。如图7所示，左转向标识图中存在6个基本识别单元，划 分为三个层次。第一层次的基本识别单元用」u表示，第二层次的基 本识别单元用^;和」22表示，第三层次的基本识别单元用&7、 ^2 和4表示。
在获得一幅模板图像的所有基本识别单元并且分层之后，在第一
特征提取部分140提取各个基本识别单元在;c方向和y方向的直方图， 并且与该基本识别单元的直方图信息、位置信息和尺度等等信息一起 存储在模板存储器150中。
采用如上所述的方法，可以将众多的已知图像作为模板图像来提 取基本识别单元以及将其特征信息与该模板图像相对应地存储在模板 存储器150中。
如图1所示，在线部分200可以通过对实时采集的图像与模板存 储器150中存储的模板进行匹配，来识别采集的图像所表示的物体。 在线部分200包括用于实时采集图像的图像采集部分208、利用预定 的算法对采集的图像进行形状检测以便获得候补区域的候补检测部分 209、对候补区域进行二值化处理的第二二值化部分210、借助于模板 存储器150中存储的各个模板的基本识别单元来将划分候补区域的识 别单元的第二划分部分220、借助于模板存储器150中存储的各个模 板来对识别单元进行分层的第二分层部分230、提取候补区域的各个 识别单元的特征信息的第二特征提取部分240、将候补区域的各个识
别单元的特征信息与模板存储器150中存储的各个模板图像的特征信 息进行匹配的匹配部分250以及根据匹配部分250所得到的匹配结果 来识别候补区域中的图像所代表的物体及其含义的识别部分260。下 面详细说明这些部分所执行的过程。
图像采集部分208，例如是照相机，拍摄到一幅图像之后，输入 到候补检测部分209。候补检测部分209通过现有的技术检测出候补 的待识别区域，例如针对交通标识，采用radio symmetry方法(见Loy et al, "Fast Shape-based Road Sign Detection for a Driver Assistance System" Inter, Conf. on Intelligent Robots and Systems, Sept-Oct， Sendal, Japan, 2004)进行形状检测。在线识别部分针对候补区域是否为关注 的确定标识来进行匹配和识别。
接下来，在第二二值化部分210中对各个候补区域进行二值化处 理。把待识别目标区域二值化之后，还可以将其归一化大小为模板图 像的大小。然后由第二划分部分参考模板存储器150中存储的模板图 像的基本识别单元划分结果进行识别单元的划分，划分方法如图8所
不。
如图8所示，在步骤S210，输入二值化待识别目标图像，即候补
区域，然后将其归一化成与模板图像相对应的大小。在步骤S220，将 归一化的候补区域与模板图像轮廓对准，然后在步骤230划分图像， 这里首先在步骤S240从模板存储器150中读出模板图像基本识别单 元的划分结果，然后依据该划分结果来划分候补区域。
这里，为了清楚区分的目的，将候补区域中与模板图像的基本识 别单元相对应的局部图像称为识别单元，因为根据模板图像直接划分 的局部图像不一定是具有变化数极大值的布局图像。
这里，若对应的切分区域面积小于预定的阈值，则舍弃该候补区 域。上述面积的计算可以依据输入待识别目标区域的尺度来进行。反 之，则确定候补区域中与模板图像的基本识别单元具有对应关系的识 别单元。在步骤S250，依据模板图像的划分结果划分这些识别单元的 层次。然后，在步骤S260和270，计算局部区域的变化数，调整该局 部区域的邻域并且计算其变化数。在步骤S280，以变化数极值点所在 的区域的位置来重新定位该识别单元。这样，可以依据模板图像的基 本识别单元的划分结果来确定候补区域中的基本识别单元。
因此，在第二分层部分230中依据模板图像的基本识别单元的层 数来确定候补区域的识别单元的层数。
层次划分之后，第二特征提取部分240提取每个识别单元的水平 和垂直方向直方图，以及这些识别单元之间的相对几何关系。这些相 对几何关系包括同一层的识别单元之间的相对位置、相对面积比例关 系等以及相邻层之间的相对位置等等。
图9示出了分层匹配的过程。如图9所示。在开始匹配时，令匹 配的层N-1，并且在步骤S310，开始第N层匹配。
在步骤S320，匹配该层的所有识别单元的直方图和模板图像相应 层的基本识别单元的直方图，也就是匹配候补区域的识别单元和模板 图像的基本识别单元的水平和垂直方向直方图特征，例如采用直方图 曲线相关来得到直方图相似度。
在步骤S330，判断所得到的直方图相似度是否大于当前层的阈
值。如果大于当前层的阈值，则在步骤S340保存当前层的相似度，
否则流程转到步骤S390,给出否定回答，也就是判断候补区域中没有 模板图像所表示的物体。
接下来，在步骤S350判断当前层是否是最后一层，如果不是最 后一层，则将N加1，然后流程返回步骤S310，重复上述的过程。否 则，在步骤S360，综合所保存的各层的相似度，也就是通过对这些层 的相似度进行加权求和来得到总的匹配相似度。
在步骤S370判断该总的匹配相似度是否大于识别阈值，如果大 于，在步骤S380给出肯定回答，也就是输入的图像中存在当前的模 板图像所表示的物体。否则，在步骤S390给出否定的回答。
此外，在匹配直方图的同时，还可以匹配候补区域的识别单元的 相对几何关系和模板图像的基本识别单元的相对几何关系，来提高匹 配的准确度。
图IO示出了根据本发明第一实施方式的图像识别过程。如图10 所示，在步骤S410输入待识别的图像。在步骤S420，利用预定的形 状检测算法对输入的待识别图像进行形状检测，以得到可能包含目标 的候补区域。在步骤S430，对候补区域进行二值化处理，以减小噪声 的影响，并且将二值化的候补区域归一化为与模板图像相对应的尺寸。
在步骤S440，划分候补区域的识别单元，首先在步骤S450从模 板存储器150中读出各个模板图像的基本识别单元划分结果，借助于 该划分结果来划分候补区域的识别单元，并对其进行分层。
在步骤S460，对候补区域进行分层融合匹配，首先在步骤S470 从模板存储器150读出相应模板的特征信息，也就是各层的基本识别 单元的直方图信息和/或这些基本识别单元之间的相对几何关系，然后 计算这些直方图信息和/或相对几何关系与候补区域的识别单元的直 方图信息和/或相对几何关系之间的相似度。最后，在步骤S480，通 过将该相似度与预定的识别阈值相比较来确定输入的图像中是否存在 模板图像所代表的物体。这样，用模板存储器150中的各个模板与输 入的待识别图像进行匹配，就可以判断出图像采集部分输入的图像中 是否包含目标物体。
如上所述，由于二值化过程可以降低图像噪声的影响，所以可以 对内容简单、颜色对比鲜明的待识别图像进行二值化，来增强图像识 别性能的鲁棒性。此外，由于这些图像往往具有较高对比度的颜色， 因此二值化过程并不会丢失太多信息，并且具有较高的识别效率。
以上以二值图像为例来说明本发明的第一实施方式，但是本发明 同样可以对灰度图像和彩色图像进行识别，具体描述如下。
第二实施方式
图11示出了根据本发明第二实施方式的识别图像的设备的方框图。
由图11可以看出，第二实施方式的识别图像的设备同样具有离线
部分100和在线部分200。
离线部分100包括提取输入的模板图像的边缘以便得到边缘模板 图像的第一边缘提取部分310、对边缘图像模板图像进行划分以得到 基本识别单元的第一划分部分320、将基本识别单元划分成层次的第 一分层部分330、用于提取各个基本识别单元的直方图信息和它们之 间的相对几何关系的第一特征提取部分340以及用来将各个模板图像 与其基本识别单元的直方图信息和相对几何关系相对应地存储的模板 存储器350。
在线部分200可以对实时采集的图像与模板图像存储器350中存 储的模板进行匹配，来识别采集的图像所表示的物体。在线部分200 包括用于实时采集图像的图像采集部分408、利用预定的算法对采集 的图像进行形状检测以便获得候补区域的候补检测部分409、利用预 定的边缘提取算法提取候补区域的边缘图像的第二边缘提取部分 410、借助于模板存储器350中存储的各个模板来划分候补区域的识别 单元的第二划分部分420、借助于模板存储器350中存储的各个模板 来对对识别单元进行分层的第二分层部分430、提取候补区域的各个 识别单元的特征信息的第二特征提取部分440、将候补区域的各个识 别单元的特征信息与模板存储器150中存储的各个模板图像的特征信 息进行匹配的匹配部分450以及根据匹配部分450所得到的匹配结果来识别候补区域中的图像所代表的物体及其含义的识别部分460。
与二值图像不同，灰度图像局部区域变化程度采用求取边缘计算 边缘点的方式来获取，通过统计归一化后边缘点来划分基本识别单元。 因此，这里仅仅描述与第一实施方式不同的操作过程。
在第一划分部分320和第二划分部分330中如下计算灰度图像中 某区域的变化度(变化数)
令^为灰度图像上大小为^x/"的矩形区域，^为^的边缘图像， 边缘点P的法线方向为0,，则^的变化数计算方式如下所示，具体的实 例则如图12所示。
F ^丄Zp/ .cos0, +丄]^/^ .sin0, (2)
此外，针对灰度图像，每个基本识别单元的直方图信息主要包括 该局部区域的灰度分布图。
图13示出了在灰度图像的情况下模板图像的基本识别单元的划 分过程。
如图13所示，在步骤S510，输入作为模板图像的灰度图像，例 如一个左转向标识图像。然后，在步骤S520，设定尺度，也就是局部 图像的尺寸，例如32X32像素等等。
接下来，在步骤530，在所设定的尺度下，遍历整个图像，也就 是获得整个图像中具有所设定的尺度的局部图像，然后利用上述的计 算方法计算所有这些局部图像的变化数。在步骤S540，搜索这些局部 图像的变化数的极大值，并在步骤S550判断是否找到极大值。如果 找到，则在步骤S560，将具有极大值的局部图像看作一个基本识别单 元，并且记录该基本识别单元的位置以及尺度信息。如果没有找到极 大值，则流程返回到步骤S520，重新设定尺度，例如31X31，然后 重复上述的步骤。
步骤S570，判断当前尺度是否是最小尺度，如果是，则结束整个 过程，否则流程返回到步骤S520，重复上述的步骤。
第三实施方式
图14示出了用来说明根据本发明第三实施方式的识别图像的设
备的结构的方框图。
由图14可以看出，第三实施方式的识别图像的设备同样具有离线
部分100和在线部分200。
离线部分100包括通过计算变化数来划分模板图像的基本识别单 元的第一划分部分520、分析各个基本识别单元的主色的第一主色分 析部分525、将基本识别单元划分成层次的第一分层部分530、用于提 取各个基本识别单元的直方图特征信息和它们之间的相对几何关系的 第一特征提取部分540以及用来将各个模板图像与其基本识别单元的 直方图信息和相对几何关系相对应地存储的模板存储器550。
在线部分200可以对实时采集的图像与模板图像存储器550中存 储的模板进行匹配，来识别采集的图像所表示的物体。在线部分200 包括用于实时采集彩色图像的图像采集部分608、利用预定的算法对 采集的彩色图像进行形状检测以便获得候补区域的候补检测部分 609、借助于模板存储器550中存储的各个模板来划分候补区域的识别 单元的第二划分部分620、借助于模板存储器550中存储的各个模板 来对对识别单元进行分层的第二分层部分630、提取候补区域的各个 识别单元的特征信息的第二特征提取部分640、将候补区域的各个识 别单元的特征信息与模板存储器550中存储的各个模板图像的特征信 息进行匹配的匹配部分650以及根据匹配部分650所得到的匹配结果 来识别候补区域中的图像所代表的物体及其含义的识别部分660。
与二值图像和灰度图像不同，彩色图像局部区域变化程度采用计 算颜色边缘的方法统计边缘点数目来获取，通过统计归一化后边缘点 来划分基本识别单元。因此，这里仅仅描述与第一实施方式不同的操 作过程。
在第一和第二主色分析部分525和625中，对每个基本识别单元 或者识别单元提取该局部区域的主色(通过颜色直方图统计，除去背
景颜色之外，以比例最大的颜色为主色)，以该主色对应的颜色变化空 间域内的值如(HSI空间)作为基本识别单元或者识别单元的特征之 一参与分层匹配。这样，可以取得更加准确和识别效果，而且结合分 层识别的过程，可以有效的提高识别效率。
彩色图像的水平直方图统计方法如下设直线x = x,在基本识别单 元或者识别单元的区域内象素点主色(所占比例最大的颜色为主色) 的颜色变换空间的值作为其水平直方图在A处的值，遍历基本识别单 元或者识别单元对应局部区域所有x,点，可以得到水平方向的直方图， 垂直方向同理可得。采用该直方图统计的匹配方法具有较强的鲁棒性。
图15示出了在彩色图像的情况下模板图像的基本识别单元的划 分过程。
如图15所示，在步骤S610，输入作为模板图像的彩色图像，例 如一个左转向标识图像。然后，在步骤S620，设定尺度，也就是局部 图像的尺寸，例如32X32像素等等。
接下来，在步骤630，在所设定的尺度下，遍历整个图像，也就 是获得整个图像中具有所设定的尺度的局部图像，然后利用上述的计 算方法计算所有这些局部图像的变化数。在步骤S640，搜索这些局部 图像的变化数的极大值，并在步骤S650判断是否找到极大值。如果 找到，则在步骤S660，将具有极大值的局部图像看作一个基本识别单 元，并且记录该基本识别单元的位置以及尺度信息。如果没有找到极 大值，则流程返回到步骤S620，重新设定尺度，例如31X31，然后 重复上述的步骤。
步骤S670，判断当前尺度是否是最小尺度，如果是，则结束整个 过程，否则流程返回到步骤S620，重复上述的步骤。
变型1
在以上具体实施方式
中，识别的过程为基于多层匹配的识别。但 是，并非一定要针对各个层进行匹配。在实际应用中，当识别目标尺 度大小已知时，可以仅对某一层的识别单元进行匹配，并将匹配结果 作为目标的最终匹配结果。这种简化过程可以提高匹配效率，在某些 情况下其识别准确度也不会降低，如视频跟踪识别过程中，若需要判 断先前帧中已经识别出来的目标是否在当前帧中预测的位置时，可以 对预测位置处的待识别区域可以采取这种单层识别的方法实现高效率 的匹配。
变型2
在以上的具体实施方式
中，均假设待识别目标可以划分出和模板 图像同等层数的识别单元，每层对应的识别单元数量也相同。在实际 应用中，在对识别单元面积等进行约束时(面积小于阈值或者尺度较 小时，无法提取可靠的特征信息，因此加以条件约束)，待识别目标获 得的识别单元层数可能小于模板图像的基本识别单元层数，或者对应 层中识别单元的数量不一致。
在这种情况下，分层匹配需要添加分层质量因子(具体定义为0 到1之间的数值，它描述待识别目标的识别单元可划分的层数与模板 图像划分层数之间的差别，与模板层数相同时为1,相差层数量越大 则分层质量因子越小)和划分质量因子(具体定义为为0到1之间的 树枝，描述对应某一层时，待识别目标在该层的识别单元数目与模板 图像在该层的基本识别单元数目之间的差别，数目相等时为1，差别 越大则划分质量因子越小)重新评估识别结果。计算这两个因子的流 程图如图16所示。
如图16所示，在步骤S710和S720，利用如上所述的方法确定基 本识别单元并对其分层。在待识别目标识别单元检出和分层之后，在 步骤S730和S740计算分层质量因子和划分质量因子。在分层融合匹 配过程中，这两个因子影响每层的相似性匹配结果和最终的识别结果。 一种用于融合各层的匹配结果策略如下描述若令每层的匹配相似度 为S,，对应的划分质量因子为a,，分层质量因子为p，分层匹配结果 为"贝U:
(3)
变型3
在判断图像的某块局部图像是否为基本识别单元时，需要在其邻 域内搜索变化数极大值。如果存在极值大则该块图像为基本识别单元， 反之则不存在。在搜索极大值时，除了在邻域内平移搜索之外，还可 以加入对扩大区域或者縮小区域的变化数的计算，若该扩大或者縮小
的图像区域的变化数依旧为极大值，则其为具有尺度鲁棒性的基本识 别单元，这表明该基本识别单元在一定的尺度变化范围内是鲁棒的。 如图4中的基本识别单元也具有尺度不变性，相比区域扩大后的变化 数或者减小区域后的变化数，其变化数依旧为极大值，如图17所示，
其中(A)表示较小尺度下的局部图像，变化数是3.372， (B)表示较 大尺度下的局部图像，变化数是4.267。
变型4
本发明提供的分层识别方法可以方便的扩充到在连续时间序列下 的图像目标检测中，以有效地提高图像中目标检测和跟踪的准确性。
在时间序列图像目标检测中增强匹配的方法如图18所示。首先在 步骤S810和S820，检测和识别当前帧中可能的目标。然后在步骤S840 和S850保留每个可能目标区域的识别参数，这些参数主要指每层的 匹配相似度S,和每个基本识别单元的匹配相似度。在步骤S860读取前 M帧(MH)的识别参数序列，来计算增强匹配系数，在步骤S870 对当前帧的识别结果进行增强处理，并给出识别的结果。
设增强匹配系数初始值为1.0，若识别参数序列每满足一条以下 列举的规律特点，则增强匹配系数增大，不满足则降低增强匹配系数
随着时间的推进，待识别目标的识别单元可划分的层数呈现增大 的趋势；
随着时间的推进，同一层相对应的识别单元的直方图特征相似度 呈现增强的趋势；
随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。 最终的识别结果是当前层识别结果S与增强匹配系数k的融合结
果。本发明采取乘积的方法获取增强处理结果S'，即S'-k.S。
以上所述，仅为本发明中的具体实施方式
，但本发明的保护范围 并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内， 可轻易想到的变换或替换，都应涵盖在本发明的包含范围之内。因此， 本发明的保护范围应该以权利要求书的保护范围为准。
权利要求
1.一种识别图像的方法，包括步骤从输入图像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几何关系；确定所述候补区域的基本识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的识别单元的直方图信息和/或相对几何关系之间的相似度；以及利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。
2. 根据权利要求1所述的方法，还包括步骤-按照模板图像的基本识别单元的层次划分所述候补区域的基本识别单元；其中，所述相似度是通过对各个层次的识别单元的直方图信息和/ 或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对 几何关系之间的相似度进行加权求和而得到的。
3. 根据权利要求2所述的方法，其中利用表示识别单元的划分质 量的第一因子和表示识别单元的分层质量的第二因子对各层的相似度 进行调节。
4. 根据权利要求1或2所述的方法，其中所述图像是彩色图像， 所述计算步骤还包括步骤:确定所述识别单元中比例最大的颜色，作为主色，并针对所述主色或者所述主色在颜色变换空间中的值来计 算所述识别单元的直方图信息。
5. 根据权利要求1或2所述的方法，其中通过计算所述模板图像 中各个局部图像的变化数，来将变化数极值点处的局部图像确定为基 本识别单元。
6. 根据权利要求5所述的方法，其中所述模板图像是二值图像，所述变化数是所述模板图像的各个局部图像内的像素沿着像素行的变 化次数的均值和沿着像素列的变化次数的均值的和。
7. 根据权利要求5所述的方法，其中所述模板图像是灰度图像， 所述变化数是所述模板图像的各个局部图像内的边缘像素的值在水平 方向和垂直方向的投影均值的和。
8. 根据权利要求5所述的方法，其中所述模板图像是彩色图像， 所述变化数是所述模板图像的各个局部图像中颜色发生变化的次数，所述方法还包括步骤确定所述模板图像的各个局部图像中比例 最大的颜色，作为主色，并针对所述主色提取基本识别单元的直方图{曰息。
9. 一种识别图像的设备，包括 候补检测装置，从输入图像中检测出候补区域；划分装置，基于模板图像的基本识别单元划分所述候补区域的识 别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像， 所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对 应的局部图像；特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；匹配装置，确定所述候补区域的识别单元的部分或者全部的直方 图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息 和/或相对几何关系之间的相似度；以及识别装置，利用所述相似度判断输入图像中是否存在模板图像表 示的物体图像。
10. 根据权利要求9所述的设备，还包括分层装置，用于按照模 板图像的基本识别单元的层次划分所述候补区域的识别单元；其中，所述相似度是通过对各个层次的识别单元的直方图信息和/ 或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对 几何关系之间的相似度进行加权求和而得到的。
11. 根据权利要求IO所述的设备，其中利用表示识别单元的划分 质量的第一因子和表示基本识别单元的分层质量的第二因子对各层的 相似度进行调节。
12. 根据权利要求9或10所述的设备，其中所述图像是彩色图像， 所述设备还包括主色分析装置，用于确定所述识别单元中比例最大的颜色，作为主色，以及所述特征提取装置针对所述主色或者所述 主色在颜色变换空间中的值来计算所述识别单元的直方图信息。
13. 根据权利要求9或IO所述的设备，其中通过计算所述模板图像中各个局部图像的变化数，来将变化数极值点处的局部图像确定为 基本识别单元。
14. 根据权利要求13所述的设备，其中所述模板图像是二值图像， 所述变化数是所述模板图像的各个局部图像内的像素沿着像素行的变 化次数的均值和沿着像素列的变化次数的均值的和。
15. 根据权利要求13所述的设备，其中所述模板图像是灰度图像， 所述变化数是所述模板图像的各个局部图像内的边缘像素的值在水平 方向和垂直方向的投影均值的和。
16. 根据权利要求13所述的设备，其中所述模板图像是彩色图像，所述变化数是所述模板图像的各个局部图像中颜色发生变化的次数，将所述模板图像的各个局部图像中比例最大的颜色确定为主色， 并针对所述主色提取所述模板图像的基本识别单元的直方图信息。
17. —种识别图像的方法，包括步骤 按照时间顺序输入图像序列；从所述输入图像序列的至少两幅输入图像中检测出候补区域； 基于模板图像的基本识别单元划分所述候补区域的识别单元，所 述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别 单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部 图像；计算所述识别单元的直方图信息和/或相对几何关系； 针对所述至少两幅输入图像，确定所述候补区域的识别单元的部 分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别 单元的直方图信息和/或相对几何关系之间的相似度；利用识别单元随着时间的变化规律来调节各个输入图像相似度的系数；利用调节后的系数对各个相似度进行加权求和来计算最终的相似度；利用所述最终相似度判断输入图像序列中是否存在模板图像表示 的物体图像。
18. 根据权利要求17所述的方法，当识别单元的变化规律满足下面至少之一时，增加所述系数随着时间的推进，待识别目标的识别单元可划分的层数呈现增大的趋势；随着时间的推进，同一层相对应的识别单元的直方图特征相似度 呈现增强的趋势；以及随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。
19. 一种识别图像的设备，包括 图像采集装置，按照时间顺序输入图像序列；候补检测装置，从所述输入图像序列的至少两幅输入图像中检测 出候补区域；划分装置，基于模板图像的基本识别单元划分所述候补区域的识 别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像， 所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对 应的局部图像；特征提取装置，计算所述识别单元的直方图信息和/或相对几何关系；匹配装置，针对所述至少两幅输入图像，确定所述候补区域的识 别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像 的基本识别单元的直方图信息和/或相对几何关系之间的相似度；调节装置，利用识别单元随着时间的变化规律来调节各个输入图 像相似度的系数，其中，利用调节后的系数对各个相似度进行加权求 和来计算最终的相似度； 识别装置，利用所述最终相似度判断输入图像序列中是否存在模 板图像表示的物体图像。
20.根据权利要求19所述的设备，当识别单元的变化规律满足下面至少之一时，增加所述系数-随着时间的推进，待识别目标的识别单元可划分的层数呈现增大的趋势；随着时间的推进，同一层相对应的识别单元的直方图特征相似度 呈现增强的趋势；以及随着时间的推进，同一识别单元的位置误差量呈现下降的趋势。
全文摘要
公开了一种识别图像的方法和设备。该方法包括步骤从输入图像中检测出候补区域；基于模板图像的基本识别单元划分所述候补区域的识别单元，所述基本识别单元是所述模板图像中变化度较大的局部图像，所述识别单元是所述候补区域中与所述模板图像的基本识别单元相对应的局部图像；计算所述识别单元的直方图信息和/或相对几何关系确定所述候补区域的识别单元的部分或者全部的直方图信息和/或相对几何关系与模板图像的基本识别单元的直方图信息和/或相对几何关系之间的相似度；以及利用所述相似度判断输入图像中是否存在模板图像表示的物体图像。利用本发明的方法和设备，能够提高图像识别的准确度。
文档编号G06T7/00GK101110101SQ20061010567
公开日2008年1月23日 申请日期2006年7月17日 优先权日2006年7月17日
发明者刘伟杰, 刚 吴, 谢晓辉, 强 魏 申请人:松下电器产业株式会社