检测装置、检测方法及检测用集成电路的制作方法

文档序号:6476057阅读:227来源:国知局
专利名称:检测装置、检测方法及检测用集成电路的制作方法
技术领域
本发明涉及一种图像处理技术,特别是涉及一种从输入图像检测出规 定图像的技术。
背景技术
作为从输入图像检测出比输入图像小的特定图像(例如脸部图像)的 方法,已知有通过对照作为特定图像检测用模板的对照用图像与输入图像 而检测出特定图像的方法。在该方法中,从矩形输入图像的左上的像素至 右下的像素, 一边挪动比输入图像小的一定尺寸的对照用图像, 一边与输 入图像进行对照,因此,如果想在短时间内检测出特定图像,就存在需要 处理能力比较高的处理器和存储容量比较大的存储器等的问题。
作为解决该问题的方法,考虑有如下方法,g卩,仅将输入图像中的一 部分区域作为用于检测特定图像的区域(以下称为"检测对象区域"),并 仅在该检测对象区域内与对照用图像进行对照。作为使用该方法的技术, 例如有专利文献l。
图14是专利文献1的图像处理装置的功能框图。
该图像处理装置能够利用于一般道路的车辆检测等,切出单元从由高 析像度照相机输出的高析像度图像中的检测对象区域的图像生成低析像度 图像,检测单元使用该低析像度图像检测车辆等。
并且,图15是表示专利文献1的图像处理装置的检测对象区域的图。
该图表示高析像度照相机的图像(高析像度图像)的检测对象区域, 该高析像度照相机以拍摄纵方向上相同行进方向的2个车线的方式设置, 该图像处理装置中,对于由高析像度照相机依次输出的各高析像度图像, 交替地选择检测对象区域二等分后的各范围(以下,将该范围称作"对照 对象区域"),使用所选择的对照对象区域的图像(部分图像)进行车辆的 检测等。据此,即使在输入图像(高析像度图像)的尺寸比较大的情况下,
5由于仅在检测对象区域内进行车辆的检测等,因此能够抑制用于检测的处 理量,而由处理能力比较低的处理器等进行处理。
并且,作为对照输入图像和对照用图像来检测特定图像时的一般技术,
例如有专利文献2。
图16是专利文献2的脸部检测装置的功能框图。
该脸部检测装置具有模板尺寸输入图像标度变换确定部,在将输入图 像变换(扩大或縮小)为縮小率不同的多个图像之后进行各图像与对照用 图像的对照。据此,即使在包含于输入图像的特定图像的大小和包含于对 照用图像的特定图像的大小不同的情况下,也能够从输入图像检测出特定 图像。
专利文献l:日本特开2005-173787号公报 专利文献2:日本特开2004-30629号公报
但是, 一般的移动物体不仅限于如一般道路上的车辆等那样移动路径 固定的物体,还存在在横跨图15表示的检测对象区域中的各对照对象区域 的位置移动的情况。在该情况下,存在以下问题即使组合专利文献1和 专利文献2的技术,由于对照对象区域的图像(部分图像)中不包含移动 物体整体,所以不能够通过与对照用图像对照来检测出该移动物体。
为了解决该问题,虽然也可以考虑使对照对象区域的尺寸可变,但是 与使对照对象区域的尺寸恒定的情况相比较,造成硬件资源的浪费,因此 不能说是优选方法。对照对象区域的尺寸恒定的情况下,在检测对象区域 的尺寸比对照对象区域的尺寸大时,需要将检测对象区域划分为对照对象 区域的尺寸来进行处理。

发明内容
因此,本发明是鉴于以上问题而做出的,目的是提供一种即使在对照 对象区域的尺寸恒定的情况下,也能够可靠地检测出捡测对象区域所包含 的特定图像的检测装置。
为了解决上述课题,本发明的检测装置是从输入图像检测出特定图像 的检测装置,其特征在于,具有区域确定单元,在上述输入图像中,确
定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方 式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,
来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所 设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检 测出上述特定图像。
为了解决上述课题,本发明的检测方法是使用从输入图像检测出特定 图像的检测装置的检测方法,其特征在于,具有区域确定步骤,在上述 输入图像中,确定上述特定图像能够存在的检测对象区域;设定步骤,以 用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检 测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规 定宽度量的方式,来设定各对照对象范围的位置;以及对照步骤,对于每 个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像与对 照用图像,由此检测出上述特定图像。
并且,为了解决上述课题,本发明的检测用集成电路是使用从输入图 像检测出特定图像的检测装置的检测用集成电路,其特征在于,具有区 域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象 区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域 确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他 对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以 及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照 对象范围的图像与对照用图像,由此检测出上述特定图像。
这里,所谓以用分别为一定尺寸的多个对照对象范围覆盖检测对象区 域的方式,是指检测对象区域的整个区域包含于任意一个对照对象范围。 并且,所谓对照用图像是指用于检测特定图像的模板图像。
发明效果
具有上述结构的本发明的检测装置,由于以各个对照对象范围与其他 对照对象范围重叠规定宽度量的方式来设定各对照对象范围的位置,所以, 能够提高对假设在如下情况下不能被检测出的分散包含于多个对照对象范 围的特定图像得以检测的可能性,所述情况是指以各个对照对象范围与其 他对照对象范围不重叠的方式来设定各对照对象范围的位置的情况。并且,上述检测装置也可以为,还具有倍率确定单元,该倍率确定单 元确定关于各对照对象范围的图像的倍率,由上述设定单元进行的各对照 对象范围的位置的设定,以与其它对照对象范围重叠如下宽度量的方式进 行,该宽度量与上述倍率确定单元所确定的倍率对应,由上述对照单元进 行的各对照对象范围的图像与对照用图像的对照,对以如下倍率改变了各 对照对象范围的图像的尺寸的各图像进行,该倍率是上述倍率确定单元所 确定的倍率。
据此,本发明的检测装置由于各对照对象范围与其它对照对象范围重 叠与倍率确定单元所确定的倍率相对应的宽度,因此,与重叠宽度为任意 宽度的情况比较,能够更高效地检测出特定图像。
并且,也可以为,上述检测对象区域是上述输入图像的一部分的矩形 区域,上述对照对象范围是上述检测对象区域的一部分的矩形区域,上述 倍率是多个縮小率,上述检测装置还具有存储单元,该存储单元对于每个 縮小率存储各对照对象范围的与其它对照对象范围重叠的宽度,由上述倍 率确定单元进行的倍率确定以及由上述设定单元进行的各对照对象范围的 设定,基于上述存储单元存储的信息而进行,上述对照单元包含縮小单元, 该縮小单元对于每个上述倍率确定单元所确定的縮小率,以该縮小率縮小 各对照对象范围的图像。
据此,本发明的检测装置,对于每个縮小率,存储各对照对象范围的 与其它的对照对象范围的重叠宽度,基于此设定对照对象范围的位置,所 以,与每次都算出对照对象范围的位置的情况相比,能够高速地进行处理。
并且,本发明的检测装置,对于每个倍率确定单元所确定的縮小率, 对以该縮小率縮小后的各图像与对照用图像进行对照,所以,能够不使用 多个对照用图像而检测出与对照用图像的尺寸不同尺寸的特定图像。
并且,上述检测装置也可以为,还具有第2缩小单元,将输入图像縮 小到与上述对照对象范围的尺寸相同的尺寸;以及第2对照单元,通过对 照由上述第2縮小单元縮小的输入图像与上述对照用图像而检测出上述特 定图像
据此,本发明的检测装置由于能够通过对照将输入图像縮小至与对照 对象范围的尺寸相同的尺寸的图像与对照用图像而检测出特定图像,所以,即使对于完全占据并包含于输入图像的特定图像也能够进行检测。
并且,上述检测装置也可以为,还具有检测单元,该检测单元从上述 输入图像检测出表示移动物体的区域,由上述区域确定单元进行的检测对 象区域的确定,基于上述检测单元所检测出的区域而进行。
据此,本发明的检测装置由于将检测出输入图像中的移动物体的区域, 即,将包含特定图像的可能性高的区域确定为检测对象区域,所以,能够 更高效地检测出特定图像。
并且,上述检测装置也可以为,还具有图像输入单元,该图像输入单 元按照拍摄顺序取得外部照相机装置依次拍摄的多个输入图像,上述区域 确定单元,以上述图像输入单元所取得的规定数量的输入图像作为一个单 位,在每个单位中,对于取得顺序为最先的输入图像,将整个区域确定为 上述检测对象区域,在上述对照单元对该输入图像检测出上述特定图像的 情况下,以包含与含有该特定图像的区域位置相同的区域的方式确定后续 于该输入图像的输入图像的检测对象区域。
据此,在将输入图像的整个区域确定为检测对象区域并检测出特定图 像的情况下,将与包含该特定图像的输入图像上的位置相同位置的区域确 定为后续输入图像的检测对象区域,所以,能够由包含特定图像的可能性 高的区域更高效地检测出特定图像。


图l是图像处理装置ioo的功能框图。
图2是用于说明通过脸部检测装置160进行的脸部检测方法的附图。
图3是表示縮小ID与縮小率等之对应的一个例子的附图。
图4是用于说明检测对象区域的确定方法的附图。
图5是用于说明对照对象区域的设定方法的附图。
图6是表示各对照对象区域的重叠量与移动量的一个例子的附图。
图7是用于说明高析像度图像数据1000在图像存储器130上的配置的附图。
图8是表示图像处理装置IOO的动作的流程图。
图9是表示通过处理器150进行的对照对象区域的设定处理得流程
9图。
图IO是图像处理装置200的功能框图。
图ll是表示图像处理装置200的动作的流程图。
图12是用于说明脸部检测装置210能够检测的脸部图像的大小的附图。
图13是表示包含实施方式1说明的脸部检测装置160的半导体集成电 路300的结构例的附图。
图14是专利文献1的图像处理装置的功能框图。
图15是表示专利文献1的图像处理装置的检测对象区域的附图。
图16是专利文献2的脸部检测装置的功能框图。
符号说明100、> 200图像处理装置
101处理器总线
102存储器总线
110照相机
120照相机输入电路
130图像存储器
140移动物体检测电路
150传感器
160、.210脸部检测装置
161,> 211析像度变换电路
162脸部检测电路
300半导体集成电路
具体实施例方式
下面,对作为本发明的检测装置的实施方式的脸部检测装置进行说明。
《实施方式1》 <概要>
实施方式1的脸部检测装置是以预定尺寸(例如,QVGA (320X240像素)尺寸)单位对作为输入图像中的一部分区域的检测对象区域进行处 理,并检测出预定尺寸以下的大小的脸部图像的装置。该检测对象区域是 假想存在脸部图像的区域。
以预定尺寸单位通过该脸部检测装置进行的处理如下述进行。即,以 用各自为预定尺寸的多个范围(对照对象区域)覆盖检测对象区域的方式, 即,以用多个对照对象区域填满的方式,使各对照对象区域的位置与其它
的对照对象区域重叠(overlap)规定宽度量来进行设定,每当设定对照对 象区域时,通过对照该对照对象区域的图像縮小后的图像(以下称作"縮 小图像")与脸部图像的模板(以下称为"对照用图像"),从而检测出脸部 图像。
假如将对于每个预订尺寸单纯地分割检测对象区域后得到的区域设定 为各对照对象区域,则无法检测出分开包含于多个对照对象区域的脸部图 像。这是由于各对照对象区域中仅包含脸部图像的一部分,不能与对照用 图像取得一致。
但是,由于这里说明的该脸部检测装置以在对照对象区域间产生重叠 的区域(以下称为"重叠区域")的方式设定各对照对象区域,所以也能够 检测出这样的脸部图像。另外,关于重叠的程度,即,关于重叠多少宽度, 之后进行详细说明。
并且,由于该脸部检测装置阶段性改变缩小率而生成上述縮小图像, 所以不用分别准备不同尺寸的对照用图像,就能够检测出包含于对照对象 区域的、与对照用图像中的脸部图像不同尺寸的脸部图像。
<结构>
首先,对包含本实施方式的脸部检测装置160的图像处理装置100的 结构进行说明。
图1是图像处理装置100的功能框图。
如该图所示,图像处理装置100具有照相机110、照相机输入电路120、 图像存储器130、移动物体检测电路140、处理器150、以及脸部检测装置 160。处理器150与其它构成要素之间的数据收发经由处理器总线101进行, 并且,从除去照相机110的其它构成要素向图像存储器130的访问,经由
ii存储器总线102进行。
移动物体检测电路140相当于本发明的检测单元,处理器150相当于 本发明的区域确定单元、设定单元、以及倍率确定单元,脸部检测装置160 相当于本发明的对照单元。
这里,照相机110以一定的帧滞后进行拍摄,并具有将依次生成的 4VGA (1280X 960像素)尺寸的图像数据(以下称为"高析像度图像数据") 送出到照相机输入电路120的功能。
照相机输入电路120具有对从照相机110取得(取"9込tf)的高析像 度图像数据实施高画质化的各种滤波处理,并使其存储于图像存储器130 的功能。当向图像存储器130存储滤波处理后的高析像度图像数据时,照 相机输入电路120将存储高析像度图像数据的情况通知给处理器150。
图像存储器130是用于存储高析像度图像数据的连续的存储区域。
移动物体检测电路140具有以下功能,即,根据来自处理器150的指 示而读出存储于图像存储器130的高析像度图像数据,并进行移动物体的 检测处理,将检测结果送出到处理器150的功能。在检测出移动物体的情 况下,该检测结果中包含表示检测出的移动物体的区域的坐标值。并且, 移动物体的检测,例如通过以下方式进行,S卩,比较未拍摄移动物体状态 的高析像度图像数据与存储于图像存储器130的高析像度图像数据的边缘 检测结果。
处理器150具有如下功能,g卩,通过执行存储于未图示的内部存储器 的控制程序,来进行图像处理装置100整体的控制和对装置内各区块 (block)的指示(例如,向移动物体检测电路140指示开始检测移动物体)。
并且,处理器150具有如下功能,即,基于从移动物体检测电路140 接收的检测结果所包含的坐标值而确定检测对象区域,并且,设定检测对 象区域内的对照对象区域的功能。当设定对照对象区域时,处理器150将 所设定的对照对象区域指定给脸部检测装置160。关于检测对象区域的确定 方法以及对照对象区域的设定方法,在后面进行说明。并且,处理器150 还具有将縮小所设定的对照对象区域时的縮小率指定给脸部检测装置160 的功能。
脸部检测装置160具有以下功能,BP,将縮小图像与对照用图像进行对照而检测出脸部图像的功能,该縮小图像是将由处理器150所指定的对 照对象区域的图像以所指定的縮小率縮小后的图像,并且,该脸部检测装 置160具有析像度变换电路161和脸部检测电路162。之所以将縮小图像用 于对照,是为了能够检测出与对照用图像中的脸部图像不同大小的脸部图 像。另外,对由处理器150指定的縮小率将在后面进行说明,但也存在指 定的缩小率为1倍的情况,以下将包含縮小率为1倍(即,縮小图像就是 对照对象区域的图像本身)的情况也称为縮小图像。并且,析像度变换电 路161相当于本发明的縮小单元。
这里,析像度变换电路161具有如下功能,即,从图像存储器130读 出由处理器指定的对照对象区域的图像,以所指定的縮小率縮小,并将縮 小后的縮小图像发送至脸部检测电路162的功能。
脸部检测电路162是将与对照对象区域相同尺寸(例如QVGA尺寸) 以下的图像与对照用图像进行对照,而检测出脸部图像的电路。
更详细来说,在从析像度变换电路161接收的縮小图像中,从左上的 像素到右下的像素, 一边每次以规定像素逐渐移动对照用图像, 一边与对 照用图像进行对照,并将对照结果发送至处理器150。以下,将该规定像素 的量称为"间拔量"。如果使该间拔量(thinning amount)为1,则能够无 间隙地将对照对象区域与对照用图像进行对照,如果使间拔量大于1,则由 于仅隔开间隔量这部分的间隙进行对照,所以能够减少处理量。以下,作 为一个例子,对水平方向以及垂直方向的间拔量分别为"2"的情况进行说 明。
<脸部检测>
接下来,对脸部检测装置160的脸部检测方法进行说明。 图2是用于说明脸部检测装置160的脸部检测方法的附图。 在该图中,对照对象区域1021和对照对象区域1022分别包含脸部图
像,包含于对照对象区域1021的脸部图像比包含于对照对象区域1022的
脸部图像大。
为了对照对照对象区域1021和一定尺寸(例如24X24像素)的对照 用图像并检测出脸部图像,需要将包含于该区域的脸部图像的大小縮小至与对照用图像的脸部图像的大小相同的程度。缩小图像1031表示该縮小后 的图像。
脸部检测电路162,在縮小图像1031中,从左上的像素到右下的像素, 一边每次以2像素(间拔量)逐渐移动对照用图像一边进行对照,由此来 检测出脸部图像。
从对照对象区域1022检测出脸部图像的情况也相同,脸部检测电路 162对将对照对象区域1022縮小后的縮小图像1032和对照用图像进行对 照。
这里,可知縮小图像1032的尺寸比縮小图像1031的尺寸大,SP,縮 小图像1032与縮小图像1031相比縮小的程度低。由于包含于对照对象区 域1022的脸部图像的大小比包含于对照对象区域1021的脸部图像小,所 以,能够以更低縮小程度縮小至与对照用图像的脸部图像的大小相同的程 度。
这样,为了从对照对象区域检测出脸部图像,需要对照如下缩小图像 与对照用图像,该縮小图像是以对应于对照对象区域所包含的脸部图像的 大小的縮小率縮小后的图像。但是,在实际进行检测时,由于包含于对照 对象区域的脸部图像的大小不明,所以,脸部检测电路162通过对照阶段 性改变縮小率后的各縮小图像与对照用图像而检测出脸部图像。
各縮小图像的縮小率,例如如图3所示,可以确定为以1/1.22倍阶段 性改变。
图3是表示縮小ID与縮小率等之对应的一个例子的附图。 这里,所谓縮小ID,是指处理器150对脸部检测装置160指定对照对 象区域的縮小率时使用的数据。另外,该图中的縮小率表示扩大的倍率, 即,縮小率的值越小,表示縮小的程度越高。并且,在该图中,"(1/1.22) 、"的记载表示(1/1.22)的n次方。
该图表示,例如,縮小ID为"0"的情况的縮小率为"(1/1.22) 1, 即1倍",以对应的缩小率縮小对照对象区域的图像后的情况的縮小图像的 水平方向尺寸为"320像素",垂直方向尺寸为"240像素"的情况。此外, 表示縮小ID为"11"的情况的縮小率为"(1/1.22) ^11倍",縮小图像的 水平尺寸为"33像素",垂直方向尺寸为"25像素"的情况。
14另外,当縮小图像的尺寸比对照用图像的尺寸(上述例子中的24X24 像素)小时,不能够对照,所以,在本例中,縮小ID为"11"的情况的缩 小率最小,即,该情况的縮小程度最高。
<检测对象区域的确定>
接下来,对处理器150的检测对象区域的确定方法进行说明。
图4是用于说明检测对象区域的确定方法的附图。
在某时点高析像度图像数据1000是存储于图像存储器130的高清晰度 图像数据,区域1010是移动物体检测电路140检测到移动物体的区域。
在该图中,表示将高析像度图像数据1000在水平方向以及垂直方向上 逻辑地4分割而成的16区间,区间内的数字表示用于识别各区间的信息(以 下称为"Searchlndex"(查找指数))。并且,由于各区间是对4VGA尺寸的 高析像度图像数据1000进行16分割后的区间,所以其尺寸为QVGA尺寸。
处理器150将包含区域1010的区间(Searchlndex为7、 8、 11、 12的 区间)确定为检测对象区域1020。
当处理器150确定检测对象区域时,为了指定所确定的检测对象区域, 将对应于检测对象区域的Searchlndex发送至脸部检测装置160。
<对照对象区域的设定>
接下来,对处理器150的对照对象区域的设定方法进行说明。
图5是用于说明对照对象区域的设定方法的附图。
在该图中,区域1023 1025表示检测对象区域1020中的各对照对象 区域,各对照对象区域的尺寸是与上述各区间的尺寸相同的QVGA尺寸。
并且,在该图中,区域1026表示对照对象区域1023与1024之间的重 叠区域,区域1027表示对照对象区域1023与1025之间的重叠区域。
处理器150, —边在所确定的检测对象区域1020中从左上到右下设置 重叠区域, 一边设定各对照对象区域。即,在该图中,以对照对象区域1023、 1024、 1025的顺序设定各对照对象区域。
之所以设定重叠区域,是为了能够检测出分开包含于多个区间的脸部 图像。为此,需要根据作为检测对象的脸部图像的大小而确定重叠区域的尺寸,即重叠的像素数(以下称为"重叠量"),并以下面的公式计算。式1
水平重叠量=对照用图像的水平方向尺寸X 1.22"—k X 1.22n式2
垂直重叠量=对照用图像的垂直方向尺寸X 1.22n—mX 1.22n
这里,n表示图3所示的縮小ID的值,k和m分别表示水平方向、垂
直方向的间拔量。并且,在本实施方式的例子中,对照用图像的水平方向
尺寸以及垂直方向尺寸分别为24像素。
并且,图5所示的各对照对象区域的水平方向移动量(像素数)以及
垂直方向移动量(像素数)由以下公式分别计算。式3
水平方向移动量=对照对象区域的水平方向尺寸一水平重叠量式4
垂直方向移动量=对照对象区域的垂直方向尺寸一垂直重叠量
这里,在本实施方式的例子中,对照对象区域的水平方向尺寸为320
像素,对照对象区域的垂直方向尺寸为240像素。
在K-m-2的情况下,对照对象区域的重叠量以及移动量的计算结果如
图6所示。
图6是表示各对照对象区域的重叠量与移动量的一个例子的附图。 例如,该图表示縮小ID为"0"的情况的各对照对象区域的重叠量为 "22像素",水平方向移动量为"298像素",水平方向移动量为"218像素" 的情况。并且,表示縮小ID为"11"的情况的各对照对象区域的重叠量为 "218像素",水平方向移动量为"102像素",水平方向移动量为"22像素" 的情况。
在脸部检测电路162通过对照縮小图像与对照用图像而能够检测出脸 部图像的情况下,该縮小图像的縮小程度越高(缩小率越小),包含于对照 对象区域的脸部图像越大,所以,可知縮小的程度越高,即,縮小ID越大, 重叠量变得越大。
并且,由于重叠量成为与脸部检测电路162通过对照縮小图像和对照 用图像而能够检测出的脸部图像的大小相对应的尺寸,所以,能够不进行
16无用的重叠而高效地进行对照。 <数据>
接下来,对高析像度图像数据1000的图像存储器130上的配置进行说明。
图7是用于说明高析像度图像数据1000的图像存储器130上的配置的 附图。
高析像度图像数据1000是上述4VGA (1280X960像素)尺寸的图像 数据,构成高析像度图像数据1000的各像素的像素值数据连续存储于图像 存储器130上的连续区域。即,以该图中所示的像素1002、、 1003、 1004、、 1005、 1006、…、1007的顺序存储于连续区域。
这里,当存储像素1002的图像存储器130上的区域的地址值显示为 BASE时,存储各像素数据的区域的地址值由以下公式算出。另外,公式 中的水平方向尺寸是指高析像度图像数据1000的水平方向尺寸,即1280, 所谓基准像素是指检测对象区域的左上的像素。并且,在这里,将1个地 址作为表示如下区域的地址而进行说明,该区域是存储1像素量的像素数 据的图像存储器130上的区域。式5
地址值二BASE+水平方向尺寸X (基准像素的Y坐标+自基准像素起的 相对Y坐标)+ (基准像素的X坐标+自基准像素起的相对X坐标)。
例如,当将像素1005作为基准像素时,存储作为其右侧相邻的像素的 像素1006的图像存储器130上的区域的地址值为"BASE+1280X (240+0) + (640+1)"。这样,通过自基准像素起的相对坐标,能够计算出存储该像 素的图像存储器130上的区域的地址值。
处理器150通过将关于所设定的对照对象区域的左上的像素(以下称 为"起点")的、自基准像素起的相对坐标值发送至脸部检测装置160而指 定对照对象区域,脸部检测装置160的析像度变换电路161使用由接收到 的坐标值算出的地址值,能够从图像存储器130读出对照对象区域的图像。
<动作>接下来,对具有上述结构,处理上述数据的图像处理装置100的动作
进行说明。
图8是表示图像处理装置100的动作的流程图。
当从移动物体检测电路140接收到的检测结果中包含有表示检测出的 移动物体的区域的坐标值时,处理器150基于该座标值,将包含移动物体 的各区间确定为检测对象区域,将对应于所确定的检测对象区域的区间的 Searchlndex指定给脸部检测装置160 (步骤S1)。
并且,处理器150设定縮小ID,并将设定的縮小ID发送至脸部检测 装置160 (步骤S2)。更详细来说,在步骤Sl的处理后最初的步骤S2的处 理中,将缩小ID设定为初始值(以下设为"ll"),之后,每当进行步骤 S2的处理时,缩小ID的值设定为逐次减小l直至变为0。
并且,处理器150,在步骤S1确定的检测对象区域中,设定l个对照 对象区域,将设定的对照对象区域的起点的坐标值(自基准像素起的相对 坐标值)指定给脸部检测装置160 (步骤S3)。对照对象区域的设定处理的 详细内容,使用图9所示的流程图而在下面进行说明。
脸部检测装置160的析像度变换电路161,基于步骤Sl中指定的 Searchlndex以及步骤S3中指定的起点的坐标值,根据式5所示的公式计 算出存储有对照对象区域的图像的图像存储器130上的地址值,并从图像 存储器130读出对照对象区域的图像(步骤S4)。
并且,析像度变换电路161生成縮小图像,该縮小图像是以与步骤S2 中指定的缩小ID相对应的縮小率将所读出的对照对象区域的图像縮小后 的縮小图像,并且发送至脸部检测电路162 (步骤S5)。
脸部检测电路162,在从析像度变换电路161接收到的缩小图像中,从 左上的像素到右下的像素, 一边每次以2像素(间拔量)逐渐移动对照用 图像一边进行对照,并将对照结果发送至处理器150 (步骤S6)。另外,在 检测出脸部图像的情况下,对照结果中包含检测出缩小图像中的脸部图像 的区域的坐标值而发送。
处理器150,对步骤Sl中确定的检测对象区域整体,判定步骤S6的 对照是否结束(步骤S7)。
在步骤S7中,在对照没有结束的情况下(步骤S7:否),返回步骤S3
18的处理,在对照结束的情况下(步骤S7:是),对全部的縮小ID判定步骤 S6的对照是否结束(步骤S8)。
在步骤S8中,在对照没有结束的情况下(步骤S8:否),为了改变縮 小ID并进行对照处理而返回到步骤S2的处理,在对照结束的情况下(步 骤S8:是),处理器150综合步骤S6中从脸部检测电路162送出的各对照 结果并在高析像度图像中特别指定存在脸部图像的区域(步骤S9),并且 结束脸部检测处理。作为存在脸部图像的区域的特别指定方法,例如,通 过以下方式特别指定,即,将包含于各对照结果的各坐标值变换为高析像 度图像数据上的坐标值后取平均值。
处理器150,将该特定结果利用于以下情况,例如,为了对焦于存在脸 部图像的区域而在照相机110上进行自动调焦控制的情况,或者将照相机 IIO拍摄的高析像度图像数据显示在显示器上(未图示),在存在脸部图像 的区域显示边框的情况等。
接下来,对上述步骤S3的处理进行详细说明。
图9是表示处理器150的对照对象区域的设定处理的流程图。
处理器150,在步骤S2确定縮小ID后,判定是否是最初的对照对象 区域的设定(步骤Sll),在是最初的设定的情况下(步骤S11:是),将关 于对照对象区域的起点的、自脸部对象区域的基准像素起的相对坐标值 (Ox, Oy)设定为(0, 0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的縮小 ID相对应的移动量(OFFSETX, OFFSETY)(步骤S13)。
并且,处理器150计算出检测对象区域的尺寸(AREAW, AREAH) (步骤S14),并进入步骤S18的处理。
并且,在步骤S11中,在不是最初的设定的情况下(步骤S11:否), 处理器150使对照对象区域的起点的x坐标(Ox)移动步骤S13中算出的 OFFSETX的量(步骤S15),并判定对照对象区域的起点的x坐标(Ox) 是否大于步骤S13中算出的检测对象区域的水平方向尺寸(AREAW)(步 骤S16)。
在步骤S16中,在对照对象区域的起点的x坐标(Ox)为检测对象区 域的水平方向尺寸(AREAW)以下的情况下(步骤S16:否),进入步骤S18的处理,在比检测对象区域的水平方向尺寸(AREAW)大的情况下(步 骤S16:是),使作为对照对象区域的起点的x坐标(Ox)为"0",并使y 坐标(Oy)移动步骤S13算出的OFFSETY的量(步骤S17),并进入步骤 S18的处理。
在步骤S18中,处理器150将步骤S12、步骤S15、步骤S17的任意一 个的处理中设定的对照对象区域的起点的相对坐标值(Ox, Oy)发送至脸 部检测装置160 (步骤S18),并结束对照对象区域的设定处理。
<具体例子>
关于上述图像处理装置100的动作,结合图8与图9所示的流程图进 行具体说明。
下面,以图4所示的高析像度图像1000存储于图像存储器130的情况 为例进行说明。
在本例中,由于从移动物体检测电路140接收到的检测结果中包含表 示检测出的移动物体的区域(区域1010)的坐标值,所以,处理器150基 于该坐标值,将包含移动物体的各区间(Searchlndex为7、 8、 11、 12的区 间)并将确定为检测对象区域,并将与所确定的检测对象区域相对应的区 间的Searchlndex (7、 8、 11、 12)指定给脸部检测装置160 (图8的步骤 Sl)。
并且,处理器150设定縮小ID (11),并将所设定的缩小ID发送至脸 部检测装置160 (步骤S2),并进入步骤S3的处理。
下面,结合图9所示的流程图说明步骤S3的处理。
在步骤S2确定縮小ID之后,处理器150判定是否是最初的对照对象 区域的设定(步骤Sll),在本例中,由于是最初的设定(步骤S11:是), 将关于对照对象区域的起点的、自脸部对象区域的基准像素起的相对坐标 值(Ox, Oy)设定为(0, 0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的缩小 ID (11)相对应的移动量(OFFSETX-102像素,OFFSETY-22像素)(步 骤S13)。
并且,处理器150计算出检测对象区域(Searchlndex为7、 8、 11、 12
20的各区间的区域)的尺寸(AREAW=320X2=640, AREAH=240X2=480) (步骤S14),并将步骤S12的处理中设定的对照对象区域的起点的坐标值 (Ox=0, Oy=0)发送至脸部检测装置160 (步骤S18),并结束图8的步骤
S3的处理。
脸部检测装置160的析像度变换电路161,基于步骤SI中指定的 Searchlndex (7、 8、 11、 12)以及步骤S3中指定的起点坐标值(Ox=0, Oy=0),根据式5所示的公式计算出存储对照对象区域的图像的图像存储 器130上的地址值,并从图像存储器130读出对照对象区域(对应于 Searchlndex为7的区间)的图像(步骤S4)。
并且,析像度变换电路161生成缩小图像并发送至脸部检测电路162 (步骤S5),该缩小图像是将读出的对照对象区域的图像以与步骤S2中指 定的縮小ID (11)相对应的縮小率((1/1.22) a U)縮小后的缩小图像。
脸部检测电路162,在从析像度变换电路161接收到的縮小图像中,从 左上的像素到右下的像素, 一边每次以2像素(间拔量)逐渐移动对照用 图像一边进行对照,并将对照结果发送至处理器150 (步骤S6)。
处理器150,对步骤SI中确定的检测对象区域整体,判定步骤S6的 对照是否结束(步骤S7)。在本例中,由于对照没有结束(步骤S7:否), 所以返回步骤S3的处理。
下面,对步骤S3的处理进行说明。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象 区域的设定(图9的步骤S11),由于不是最初的设定(步骤S11:否),处 理器150使对照对象区域的起点的x坐标(Ox)移动步骤S13中算出的 OFFSETX (102像素)的量(步骤S15),并判定对照对象区域的起点的x 坐标(Ox)是否大于步骤S13中算出的检测对象区域的水平方向尺寸
(AREAW=640)(步骤S16)。
在步骤S16中,由于在本例中对照对象区域的起点的x坐标(Ox)为 检测对象区域的水平方向尺寸(AREAW)以下(步骤S16:否),所以处 理器150将步骤S15的处理中设定的对照对象区域的起点的相对坐标值
(Ox=102, Oy=0)发送至脸部检测装置160 (步骤S18),并结束图8的步 骤S3的处理。之后,对于对照对象区域进行与上述步骤S4 S7的处理相同的处理, 该对照对象区域将从检测对象区域的基准像素在水平方向上偏离102像素 的位置作为起点,在步骤S7中,由于在本例中对照没有结束(步骤S7: 否),所以返回到步骤S3的处理。
之后,反复步骤S3 (对应于步骤Sll、 S15、 S16、 S18的各处理) S7的处理,在步骤S16中,当对照对象区域的起点的x坐标(Ox=714) 大于检测对象区域的水平方向尺寸(AREAW=640)时(步骤S16:是), 将对照对象区域的起点的x坐标(Ox)设为"0",并使y坐标(Oy)移动 在步骤S13中算出的OFFSETY的量(OFFSETY=22像素)(步骤S17), 处理器150将由步骤S17的处理所设定的对照对象区域的起点的坐标值 (Ox=0, Oy=22)发送到脸部检测装置160 (步骤S18),并结束图8的 步骤S3的处理。
之后,对于将从检测对象区域的基准像素在垂直方向上偏移22像素后 的位置作为起点的对照对象区域,进行与上述步骤S4 S7的处理相同的处 理,在本例中由于对照未结束(步骤S7:否),所以返回到步骤S3的处理。
之后,反复步骤S3 S7的处理,在步骤S7中,当判定对照结束时(步 骤S7:是),对全部的縮小ID判定步骤S6的对照是否结束(步骤S8),在 本例中,由于判定对全部的縮小ID的对照结束(步骤S8:否),所以返回 步骤S2的处理。
步骤S2中,处理器150设定縮小ID (11)减l后的值(10),并将设 定的縮小ID发送至脸部检测装置160 (步骤S2),并进入步骤S3的处理。 下面,对步骤S3的处理进行说明。
处理器150,在步骤S2确定缩小ID后,判定是否是最初的对照对象 区域的设定(步骤Sll),在本例中,由于是最初的设定(步骤S11:是), 所以将关于对照对象区域的起点的、自检测对象区域的基准像素起的相对 坐标值(Ox, Oy)设定为(0, 0)(步骤S12)。
处理器150根据式3、式4表示的公式计算出与步骤S2中设定的缩小 ID (10)相对应的移动量(OFFSETX-142像素,OFFSETY-62像素)(步 骤S13)。
并且,处理器150计算出检测对象区域(Searchlndex为7、 8、 11、 12的各区间的区域)的尺寸(AREAW=640, AREAH=480)(步骤S14),并 将步骤S12的处理中设定的检测对象区域的起点的坐标值(Ox-O, Oy=0) 发送至脸部检测装置160 (步骤S18),并结束图8的步骤S3的处理。
之后,进行与上述相同的处理,在步骤S8中,当判定为对全部的縮小 ID的对照结束时(步骤S8:是),处理器150综合步骤S6中从脸部检测电 路162送出的各对照结果并在高析像度图像中特别指定存在脸部图像的区 域(步骤S9),并且结束脸部检测处理。
《实施方式2》 <概要>
在实施方式1中,对移动物体检测电路140作为进行移动物体的检测 处理的装置进行了说明,下面,对脸部检测装置进行移动物体的检测处理 的例子进行说明。
本实施方式的脸部检测装置是在实施方式1的脸部检测装置160的功 能的基础上,对于依次存储于图像存储器130的各高析像度图像数据,以 规定数间隔,将该高析像度图像数据整体作为检测对象区域而检测脸部图 像的装置。
下面,将高析像度图像数据整体作为检测对象区域而检测脸部图像的 情况称为"整体检测",而将如实施方式l说明的那样,将高析像度图像数 据中的一部分区域作为检测对象区域而检测脸部图像的情况称为"部分检
、、当通过全体检测而检测脸部图像时,该脸部检测装置将包含该检测出 的脸部图像的区域作为检测对象区域,到接下来进行全体检测时为止的期 间,进行部分检测。据此,即使不设置移动物体检测电路140,也能够不大 量增加处理量而通过部分检测进行检测。
并且,在全体检测时,该脸部检测装置另外还进行如下处理,即,将 缩小4VGA尺寸的高析像度图像数据至QVGA尺寸的图像整体作为对照对 象区域而与对照用图像进行对照的处理。据此,能够检测出脸部图像完全 占据并包含于高析像度图像数据的、比QVGA尺寸更大的脸部图像。<结构>
首先,对包含本实施方式的脸部检测装置210的图像处理装置200的 结构进行说明。
图10是图像处理装置200的功能框图。
如该图中所示,图像处理装置200从实施方式1中说明的图像处理装 置100的结构中除去移动物体检测电路140,另外替代脸部检测装置160 而具有脸部检测装置210。脸部检测装置210相当于本发明的对照单元以及 第2对照单元。
下面,以与实施方式l不同的部分为中心进行说明。
脸部检测装置210改变实施方式1的析像度变换电路161而具有析像 度变换电路211,析像度变换电路211,除了析像度变换电路161的功能之 外,另外具有根据来自处理器的指示而缩小高析像度图像数据整体,并生 成QVGA尺寸图像的功能。并且,析像度变换电路211相当于本发明的縮 小单元以及第2縮小单元。
关于脸部检测电路162,由于与实施方式l相同,所以省略其说明
<动作>
对图像处理装置200的动作进行说明。
图11是表示图像处理装置200的动作的流程图。
另外,以下,将进行整体检测的高析像度图像数据数(帧数)的间隔 表示为"NthFrame" (N帧),对该图中的i的初始值以及NthFrame分别为 15的装置进行说明。
当从照相机输入电路120接收到将高析像度图像数据存储于图像存储 器130的内容通知时,处理器150为了判断是进行整体检测还是进行部分 检测,而判定i的值与NthFrame (本例中为15)是否相等(步骤S30),在 相等的情况下(步骤S30:是),作为进行整体检测的数值而将i的值设定 为1 (步骤S31)。
处理器150,对析像度变换电路211进行QVGA尺寸的图像的生成指 示,析像度变换电路211根据该指示,读出存储于图像存储器130的高析 像度图像数据,并縮小至QVGA尺寸(步骤S32)。
24处理器150将步骤S32中生成的QVGA尺寸的图像数据整体确定为检 测对象区域(步骤S33)。另外,作为该检测对象区域的指定方法,例如, 通过指定与实施方式1中说明的Searchlndex (1 16)不同的值(例如0), 从而将QVGA尺寸的图像数据整体指定为检测对象区域。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9 所示的流程图的步骤S2、 S3、 S5、 S6 S8的处理(图11的步骤S34)。该 处理相当于对照各縮小图像和对照用图像并检测脸部图像的处理,其中, 上述各缩小图像是以各缩小ID将步骤S32中生成的QVGA尺寸的图像縮 小后的缩小图像。
接下来,处理器150将高析像度图像数据整体确定为检测对象区域, 将对应于所确定的检测对象区域的区间的Searchlndex (l 16)指定给脸部 检测装置210 (步骤S35)。
处理器150以及脸部检测装置210进行如实施方式1中说明的图8、图 9所示的流程图的步骤S2 S8的处理(图11的步骤S36)。该处理将高析 像度图像数据整体作为检测对象区域,相当于与实施方式1中的说明相同 地进行部分检测的处理。
处理器150综合步骤S34以及步骤S36的处理结果并在高析像度图像 数据中特别指定存在脸部图像的区域(步骤S37),并且结束处理。另外, 作为存在脸部图像的区域的特别指定方法,例如,通过以下方式特别指定, 即,在将包含于各对照结果的各坐标值变换为高析像度图像数据上的坐标 值之后取平均值。
并且,在步骤S30中,在i的值与NthFrame (本例中为15)不相等的 情况下(步骤S30:否),作为进行部分检测的数值而使i的值增加1 (步 骤S38)。
当处理器150通过最近执行的步骤S37的处理而特别指定存在脸部图 像的区域时,将包含特别指定的该区域的各区间确定为检测对象区域,并 且将对应于所确定的检测对象区域的区间的Searchlndex指定给脸部检测装 置210 (步骤S39)。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9 所示的流程图的步骤S2 S8的处理(图11的步骤S40)。该处理将最近进行的整体检测中包含与检测出脸部图像的区域相同位置的区域的各区间作 为检测对象区域,相当于与实施方式1中的说明相同地进行部分检测的处 理。
处理器150与图8所示的流程图的步骤S9的处理相同,综合图11的 步骤S40的处理结果并在高析像度图像数据中特别指定存在脸部图像的区 域(步骤S41),并且结束脸部检测处理。
<具体例>
结合图11所示的流程图,对上述图像处理装置200的动作进行具体说明。
下面,以图4所示的高析像度图像数据1000存储于图像存储器130的 情况为例进行说明。另外,对以下装置进行说明,即,以该图中的区域IOIO 的图像作为脸部图像,以下说明的开始时点的i为15 (初始值),并且,如 上所述,NthFrame为15。
<第一帧的处理>
当从照相机输入电路120接收到将高析像度图像数据存储于图像存储 器130的内容通知时,处理器150为了判断是进行整体检测还是进行部分 检测,而判定i的值与NthFrame (本例中为15)是否相等(步骤S30),由 于在本例中相等(步骤S30:是),所以作为进行整体检测的数值而将i的 值设定为1 (步骤S31)。
处理器150,对析像度变换电路211进行QVGA尺寸的图像的生成指 示,析像度变换电路211根据该指示,读出存储于图像存储器130的高析 像度图像数据IOOO,并縮小至QVGA尺寸(步骤S32)。
处理器150将步骤S32中生成的QVGA尺寸的图像数据整体确定为检 测对象区域(步骤S33),并为了确定该检测对象区域而指定Searchlndex-O。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9 所示的流程图的步骤S2、 S3、 S5、 S6 S8的处理(图11的步骤S34)。
具体为,处理器150设定缩小ID (11),将设定的缩小ID发送至脸部 检测装置210 (图8的步骤S2)、并前进到步骤S3的处理。下面,说明步骤S3的处理。
处理器150,在步骤S2确定縮小ID后,判定是否是最初的对照对象 区域的设定(图9的步骤S11),由于在本例中为最初的设定(步骤Sll-是),所以,将关于对照对象区域的起点的、自脸部对象区域的基准像素起 的相对坐标值(Ox, Oy)设定为(0, 0)(步骤S12)。
处理器150根据式3、式4所示的公式计算出与步骤S2中设定的縮小 ID (11)相对应的移动量(OFFSETX-102像素,OFFSETY-22像素)(步 骤S13)。
并且,处理器150计算出检测对象区域(Searchlndex为0, g卩,步骤 S32中生成的QVGA尺寸的图像数据整体)的尺寸(AREAW-320, AREAH-240)(步骤S14),并将步骤S12的处理中设定的对照对象区域的 起点的坐标值(Ox=0, Oy=0)发送至脸部检测装置210 (步骤S18),并结 束图8的步骤S3的处理。
并且,析像度变换电路211生成縮小图像,该縮小图像是以与步骤S2 中指定的縮小ID (11)相对应的縮小率((1/1.22) a 11)将对照对象区域 (对应于Searchlndex为7的区间)的图像缩小后的缩小图像,并且发送至 脸部检测电路162 (步骤S5)。
脸部检测电路162,在从析像度变换电路211接收到的縮小图像中,从 左上的像素到右下的像素, 一边每次以2像素(间拔量)逐渐移动对照用 图像一边进行对照,并将对照结果发送至处理器150 (步骤S6)。另外,在 检测出脸部图像的情况下,对照结果中包含检测出縮小图像中的脸部图像 的区域的坐标值并发送。
处理器150,对步骤Sl中确定的检测对象区域整体,判定步骤S6的 对照是否结束(步骤S7)。在本例中,由于对照结束(步骤S7:是),所以, 判定对于全部的縮小ID步骤S6的对照是否结束(步骤S8),在本例中, 由于对全部的縮小ID的对照没有结束(步骤S8:否),所以返回步骤S2 的处理,使縮小ID为IO。进行与上述相同的处理。
一边使縮小ID逐次减1 一边重复上述处理,当对全部的縮小ID的对 照结束时(步骤S8:是),结束图11的步骤S34的处理,并进入步骤S35。
处理器150将高析像度图像数据整体确定为检测对象区域,将对应于确定的检测对象区域的区间的Searchlndex (1 16)指定给脸部检测装置 210 (步骤S35)。
处理器150以及脸部检测装置210进行如实施方式1中说明的图8、图 9所示的流程图的步骤S2 S8的处理(图11的步骤S36)。由于该处理与 实施方式1中说明的相同,所以省略其说明。
处理器150综合步骤S34以及步骤S36的处理结果并在高析像度图像 数据1000中特别指定存在脸部图像的区域(区域1010)(步骤S37),并且 结束处理。
<第2帧的处理>
接下来,当从照相机输入电路120接收到将高析像度图像数据存储于 图像存储器130的内容通知时,并且,由于处理器150在步骤S30中,在 i的值(1)与NthFmme (15)不相等(步骤S30:否),所以作为进行部分 捡测的数值而使i的值增加1 (步骤S38)。
由于处理器150通过最近执行的步骤S37的处理而特别指定存在脸部 图像的区域(区域IOIO),将包含特别指定的该区域的各区间(Searchlndex 为7、 8、 11、 12的区间)确定为检测对象区域,并且将对应于确定的检测 对象区域的区间的Searchlndex (7、 8、 11、 12)指定给脸部检测装置210 (步骤S39)。
处理器150以及脸部检测装置210进行实施方式1中说明的图8、图9 所示的流程图的步骤S2 S8的处理(图11的步骤S40)。该处理与实施方 式1中的说明相同,所以省略说明。
处理器150与图8所示的流程图的步骤S9的处理相同,综合图11的 步骤S40的处理结果并在高析像度图像数据中特别指定存在脸部图像的区 域(步骤S41),并且结束脸部检测处理。
<考察>
图12是用于说明脸部检测装置210能够检测出的脸部图像的大小的附图。
在该图中,(A)表示,在以縮小高析像度图像数据(4VGA尺寸)至QVGA尺寸的图像整体作为对照对象区域的情况下,能够检测的脸部图像 的大小,(B)表示,在将高析像度图像数据中的QVGA尺寸的区域作为对 照对象区域的情况下,能够检测的脸部图像的大小。并且,该图中ID0 11的记载表示图3中说明的各縮小ID。
在以高析像度图像数据中的QVGA尺寸(320X240像素)的区域作为 对照对象区域的情况下,由于不能够检测出QVGA尺寸以上的脸部图像, 所以,如图(B)所示,能够检测出的脸部图像的尺寸为240X240像素以 下。
另一方面,在以縮小高析像度图像数据(4VGA尺寸(1280X960像素)) 至QVGA尺寸的图像整体作为对照对象区域的情况下,如该图(A)所示, 能够检测出的脸部图像的尺寸为960X960像素以下。
艮口,通过实施方式1的脸部检测装置160,由于仅以该图(B)的方法 检测脸部图像,所以不能够检测出比240X240像素大的脸部图像,但是通 过实施方式2的脸部检测装置210,能够检 出比其大的臉薪 #。
并且,如上所述,在以縮小高析像度图像数据(4VGA尺寸)至QVGA 尺寸的图像作为对照对象区域的情况下,为了进一步对照根据各縮小ID而 縮小的各縮小图像与对照用图像,能够检测出该对照对象区域的尺寸至IOO 像素X100像素左右的脸部图像。即,如该图中所示,为了通过(A)的方 法或通过(B)的方法都能够检测出约100X100 240X240像素的脸部图 像,所以,在以縮小高析像度图像数据(4VGA尺寸)至QVGA尺寸的图 像作为对照对象区域的情况下(对应于图11的步骤S34的处理),在缩小 ID为5 11的范围内检测即可。据此,能够进一步抑制用于脸部图像检测 的处理量。
<补充>
(1)各实施方式中说明的各组成要素中,可以通过电脑程序实现其全 部或一部分,也可以通过1个芯片或多个芯片的集成电路实现。
图13是表示半导体集成电路300的结构例的附图,该半导体集成电路 300包含与实施方式1中说明的脸部检测装置160对应的半导体集成电路。
如该图所示,半导体集成电路300包含与脸部检测装置160对应的半
29导体集成电路,根据使用半导体集成电路300的装置的用途,另外,还包 含图像符号化电路、声音处理部、以及ROM等。
半导体集成电路300 —般由CMOS等MOS晶体管构成,根据MOS 晶体管的连接结构,实现特定的逻辑电路。近年来,由于半导体集成电路 的集成度提高,能够通过一个至多个半导体集成电路实现非常复杂的逻辑 电路,所以,能够使脸部检测装置160小型化,并且,能够降低电力消耗。
另外,虽然对半导体集成电路300包含与实施方式1的脸部检测装置 160相对应的半导体集成电路的装置进行了说明,但是也可以包含与实施方 式2的脸部检测装置210相对应的半导体集成电路。
(2) 在各实施方式中,虽然对高析像度图像数据中包含1个脸部图像 数据的情况,即,对检测对象区域为1的情况举例进行了说明,但是也可 以对多个检测对象区域进行检测脸部图像的处理。
(3) 在各实施方式中,虽然说明了使对照对象区域的尺寸为QVGA 尺寸,并且使对照用图像的尺寸为24X24像素,但是不仅限定于此,也可 以分别为任意的尺寸。并且,在对照对象区域的尺寸为任意尺寸的情况下, 1区间的尺寸也可以为与对照对象区域的尺寸相匹配的任意尺寸。
并且,虽然对高析像度图像数据的尺寸为4VGA尺寸的装置进行了说 明,但是并不仅限定于此,可以为任意尺寸。
(4) 虽然对各实施方式中对照用图像为l个种类的装置进行了说明, 但是也可以在应检测的脸部图像的脸部的每个方向上准备多个对照用图 像,通过与各个对照用图像对照而检测出脸部图像。
(5) 在各实施方式中,虽然对縮小对照对象区域的图像的装置进行了 说明,但是在使对照用图像的尺寸比对照对象区域的图像的尺寸大的情况 下,也可以放大对照对象区域的图像。
并且,在各实施方式中,虽然对使对照用图像的尺寸一定并縮小对照 对象区域的图像的装置进行了说明,但是也可以使对照对象区域的图像的 尺寸为一定,并扩大或缩小对照用图像的尺寸。
(6) 在各个实施方式中,虽然对无论是否检测出脸部图像,都对照检 测对象区域的全部对照对象区域的装置进行了说明,但是,在一定的基准
(例如,与对照用图像的一致度为预定的阈值以上)下,在判断为检测出脸部图像的情况下,也可以结束对该高析像度图像数据的检测处理。
(7) 在各实施方式中,虽然对检测出脸部图像的装置进行了说明,但 是也可以检测脸部图像以外的特定图像。作为特定图像,例如,可以是赋 予人或物的识别标签,在该情况下,也可以考虑用于由检测出的识别标签 的信息识别个人或物的种类。
(8) 在各个实施方式中,虽然对脸部检测电路162,在检测出脸部的 情况下,将检测出缩小图像中的脸部图像的区域的坐标值包含于检测结果 中并发送至处理器150的装置进行了说明,但是,也可以另外含有缩小ID。 并且,处理器150基于坐标值和縮小ID而计算出脸部图像的大小也可,其 中,上述坐标值包含于由脸部检测电路162送出的各对照结果。
(9) 在实施方式1中,虽然对移动物体检测电路140通过比较没有拍 摄移动物体的状态的高析像度图像数据和存储于图像存储器130的高析像 度图像数据的边缘检测结果,从而检测出移动物体的装置迸行了说明。但 是这是一个例子,例如,也可以通过取连续生成的高析像度图像数据的像 素值的差分而进行检测。
(10) 在实施方式1中,虽然如图3所示,对縮小率逐次变化(1/1.22) 、倍的例子进行了说明,但是这是一个例子,也可以以如下方式设定,即, 以最小縮小率缩小时的图像(g卩,縮小程度最高的图像)的尺寸比对照用 图像的尺寸大,例如,也可以每次变化(1/1.25) ^n倍。
(11) 在实施方式1中,虽然说明了以下例子,即,作为图像处理装 置100的动作,如图8所示,设定縮小ID的处理(步骤S2)循环中,存 在设定对照对象区域的处理(步骤S3)循环,但是反过来也可以。g卩,更 换步骤S2和步骤S3的处理,并且,也可以更换步骤S7和步骤S8的处理。
(12) 在实施方式1中,虽然对如下装置进行了说明,即,如图8所 示的步骤S2的处理中,使縮小ID的初始值为"11",每当执行步骤S2的 处理时,縮小ID的值减1直至为0的装置,但是,以下方式也可以,艮卩, 如果进行对于全部縮小ID的处理,与处理的顺序无关,例如,使縮小ID 的初始值为"0",每当执行步骤S2的处理时,缩小ID的值增加1直至11。
(13) 虽然对实施方式1的脸部检测装置160由析像度变换电路161 和脸部检测电路162构成的装置进行了说明,但是,移动物体检测电路140以及处理器150的全部或一部分包含于脸部检测装置160也可。在实施方 式2中,也可以将处理器150包含于脸部检测装置210。
(14) 在实施方式l中,虽然对以下装置进行了说明,S卩,在图9所 示的步骤S13的处理中,处理器150计算出与縮小ID相对应的移动量
(OFFSETX, OFFSETY)的装置,但是也可以预先将对应于缩小ID的移 动量存储于内部存储器(未图示),使用对应于所存储的縮小ID的移动量。
(15) 在实施方式1中,虽然对处理器150进行如图9所示的对照对 象区域的设定处理的装置进行了说明,但是脸部检测电路160进行也可。
(16) 在实施方式2中,虽然对以下装置进行了说明,即,作为图像 处理装置200的动作,如图11所示,作为检测对象区域而设定高析像度图 像数据整体(步骤S35)的装置,但是,也可以在每当整体检测时,顺序 地将Searchlndex为1 16的区间中的1个区间作为检测对象区域而选择。 即,也可以在第一次整体检测中,将Searchlndex为1的区间确定为检测对 象区域,而在第2次整体检测中,将Searchlndex为2的区间确定为检测对 象区域。据此,能够进一步抑制处理量。
并且,为了提高检测精度,也可以在第一次整体检测中,将Searchlndex 为1和2的区间确定为检测对象区域等,将多个区间确定为检测对象区域。
(17) 虽然对如下装置进行了说明,g卩,实施方式2中说明的图ll所 示的步骤S39的处理,以通过最近执行的步骤S37的处理而特别指定存在 脸部图像的区域的情况为前提,基于特别指定的区域,而确定进行部分检 测时的检测对象区域的装置,但是,在步骤S37的处理中不特别指定脸部 图像的情况下,即,在步骤S34、 S36的处理中没有检测出脸部图像的情况 下,不进行步骤S39 S41的部分检测也可。
(18) 在实施方式2中,虽然对如下装置进行了说明,即,如图ll的 流程图所示,在i为15的情况下进行整体检测,在i为1 14的情况下进 行部分检测的装置,但是,也可以连续进行整体检测直至通过整体检测检 测出脸部图像,在通过整体检测检测出脸部图像的情况下,切换为部分检 测,在通过部分检测没有检测出脸部图像的情况下,再次切换为整体检测。
工业实用性
本发明的脸部检测装置能够用于监视照相机等脸部图像的检测。
3权利要求
1、一种检测装置,从输入图像检测出特定图像,其特征在于,具有区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检测出上述特定图像。
2、 如权利要求1所述的检测装置,其特征在于,还具有倍率确定单元, 该倍率确定单元确定关于各对照对象范围的图像的倍率,由上述设定单元进行的各对照对象范围的位置的设定,以与其它对照 对象范围重叠如下宽度量的方式进行,该宽度量与上述倍率确定单元所确 定的倍率对应,由上述对照单元进行的各对照对象范围的图像与对照用图像的对照, 对以如下倍率改变了各对照对象范围的图像的尺寸的各图像进行,该倍率 是上述倍率确定单元所确定的倍率。
3、 如权利要求2所述的检测装置,其特征在于, 上述检测对象区域是上述输入图像的一部分的矩形区域, 上述对照对象范围是上述检测对象区域的一部分的矩形区域, 上述倍率是多个縮小率,上述检测装置还具有存储单元,该存储单元对于每个縮小率存储各对 照对象范围的与其它对照对象范围重叠的宽度,由上述倍率确定单元进行的倍率确定以及由上述设定单元进行的各对 照对象范围的设定,基于上述存储单元存储的信息而进行,上述对照单元包含縮小单元,该縮小单元对于每个上述倍率确定单元 所确定的縮小率,以该縮小率縮小各对照对象范围的图像。
4、 如权利要求3所述的检测装置,其特征在于,上述检测装置还具有: 第2縮小单元,将输入图像縮小到与上述对照对象范围的尺寸相同的尺寸;以及第2对照单元,通过对照由上述第2縮小单元縮小的输入图像与上述 对照用图像而检测出上述特定图像。
5、 如权利要求1所述的检测装置,其特征在于,上述检测装置还具有 检测单元,该检测单元从上述输入图像检测出表示移动物体的区域,由上述区域确定单元进行的检测对象区域的确定,基于上述检测单元 所检测出的区域而进行。
6、 如权利要求1所述的检测装置,其特征在于,上述检测装置还具有 图像输入单元,该图像输入单元按照拍摄顺序取得外部照相机装置依次拍 摄的多个输入图像,上述区域确定单元,以上述图像输入单元所取得的规定数量的输入图 像作为一个单位,在每个单位中,对于取得顺序为最先的输入图像,将整 个区域确定为上述检测对象区域,在上述对照单元对该输入图像检测出上 述特定图像的情况下,以包含与含有该特定图像的区域位置相同的区域的 方式确定后续于该输入图像的输入图像的检测对象区域。
7、 一种检测方法,用于从输入图像检测出特定图像的检测装置,其特 征在于,具有区域确定步骤,在上述输入图像中,确定上述特定图像能够存在的检 测对象区域;设定步骤,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确 定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对 照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照步骤,对于每个上述设定单元所设定的对照对象范围,对照该对 照对象范围的图像与对照用图像,由此检测出上述特定图像。
8、 一种检测用集成电路,用于从输入图像检测出特定图像的检测装置, 其特征在于,具有区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检 测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确 定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对 照对象范围的图像与对照用图像,由此检测出上述特定图像。
全文摘要
从输入图像检测出特定图像的检测装置,具有区域确定单元,在上述输入图像中,确定上述特定图像能够存在的检测对象区域;设定单元,以用分别为一定尺寸的多个对照对象范围覆盖上述区域确定单元所确定的检测对象区域的方式,并且以各个对照对象范围与其他对照对象范围重叠规定宽度量的方式,来设定各对照对象范围的位置;以及对照单元,对于每个上述设定单元所设定的对照对象范围,对照该对照对象范围的图像和对照用图像,由此检测出上述特定图像。
文档编号G06T1/00GK101542523SQ20088000053
公开日2009年9月23日 申请日期2008年4月11日 优先权日2007年4月13日
发明者富田裕人, 渊上郁雄 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1