对象检测方法和图像检索系统与流程

本申请主张平成27年(2015年)4月20日提出的日本申请特愿2015-85964的优先权，参照其内容并引入本申请。

本发明涉及从图像检测规定的对象的技术。

背景技术：

近年，通过网络的宽带化、各种存储装置的大容量化，大规模地存储图像和影像并将它们发布的服务成为可能。

在大规模地处理内容的系统中检索技术是重要技术。作为一般的检索技术，是检索与图像、影像内容相关联的文本信息的技术。在文本信息的检索技术中，作为查询输入一个或多个关键词，作为检索结果返还与含有所输入的关键词的文本信息相关联的图像、影像。此外，还提案有从图像自身提取信息进行检索的技术。如在日本特开2000-123173号公报和日本特开2007-334402号公报等中记载的那样，在类似图像检索中，通过在数据库注册成为检索对象的注册图像的特征数值化后的图像特征量来实现高速的检索。

类似图像检索的图像特征量的提取中，对含有成为检索对象的事物的图像中的部分区域进行检测的处理多处于重要地位。例如，在使用类似图像检索的面部检索中，检测面部区域，从检测到的面部区域提取图像特征量。同样，在车辆的类似检索中，检测图像中的车辆所在的区域。

作为从图像中检测特定的物体所在的区域的方法，提案有使用学习数据的方法。例如，通过根据将拍摄到成为检测对象的物体的图像的集合作为学习资料使用的adaboost法进行的学习，将基于局部的特征一致的弱分类器在级联上并列而构成而分类器。该方法特别在人物的面部区域检测的领域显示高的有效性。

此外，在该方法中，需要按检测的对象物的各个类别进行鉴别器的学习。就这种情况下的类别而言，单纯意义上的分类是不充分的。在各类别内，图像的观看一定程度上需要为均质。例如，在面部检测中，正面面部与侧面部作为不同的鉴别器进行学习。此外，在各学习中，需要大量的学习用数据。

与此相对，提案有使用注册了部分图像的字典模式的方法。例如，将含有要检测的对象物的部分图像在数据库作为字典模式注册，通过从图像中有效率地提取与字典模式类似的部分区域而实现部分区域的检测。在该方法中，能够将观看方式不同的多种多样的对象物一并检测。

技术实现要素：

发明所要解决的问题

在上述的现有技术中，在要检索的图像为图像中的部分区域的情况下，需要进行上述的检测处理。为了进行上述的检测处理，在任一方法中均需要事先收集设想为检索对象的事物的图像。例如，基于所收集的图像实施鉴别器的学习，或将所收集的图像注册为字典模式。在任一方法中均事先决定所注目的事物来进行检测处理，构筑数据库。因此，在所注目的事物事先不明的情况下，任一方法都不恰当。

使用检索系统的用户一般难以将注目于怎样的事物进行检索在事先完全设想好。此外，即使能够设想好要检索的事物，也存在成为线索的信息、即成为检索查询的信息由于隐蔽等而仅能够得知事物的一部分的情况。在这种情况下，不能通过事先对成为检索对象的图像进行检测处理而数据库化。

用于解决问题的技术方案

将本申请中公开的发明的一个代表例表示如下。即，其是由具有处理器和存储器的计算机构成的图像分析装置执行的对象检测方法，包括：第一步骤，上述处理器接收图像的输入并将其储存至上述存储器；第二步骤，上述处理器从上述输入的图像提取作为其一部分的部分区域并将所述部分区域储存至上述存储器；第三步骤，上述处理器使用从上述部分区域提取出的特征量和将上述特征量进行镜像变换之后的镜像特征量来评价上述部分区域的对称性；和第四步骤，上述处理器将被评价为上述对称性高于规定的阈值的部分区域判断为映现检测对象的对象区域。

发明的效果

根据本发明，能够可靠地检测应该注目的部分区域。上述以外的问题、结构和效果可通过以下的实施例的说明而明了。

附图说明

图1是说明第一实施例的图像特征量的提取的图。

图2是说明第一实施例对称轴的图。

图3是说明第一实施例的微分滤波器的图。

图4是说明第一实施例的亮度梯度强度分布特征量的图。

图5是说明第一实施例的亮度梯度矢量(intensitygradientvector)的方向的图。

图6是表示第一实施例的图像评价系统的物理结构的框图。

图7是第一实施例的图像评价处理的流程图。

图8是表示第二实施例的图像检索系统的结构的图。

图9是表示第二实施例的图像检索系统的逻辑结构的图。

图10是第二实施例的注目区域提取部进行时处理的流程图。

图11是说明第二实施例的注目区域提取处理的步骤701～703的图。

图12是说明第二实施例的注目区域提取部处理的详细化处理(步骤706)的图。

具体实施方式

接着，参照附图对本发明的实施例进行说明。

＜实施例1＞

图1是在第一实施例的检索方法中，用于评价局部的对称性的图像特征量的提取说明的图。

将图像101中任意的矩形部分区域102，进一步分割为规定数jg(图示的例子中为3×3)的区块，提取各区块的区域的图像特征量矢量103。分别以f00、f10、f20、f01、f11、f21、f02、f12、f22表示该9个图像特征量矢量。表示图像特征量矢量的编号的第1个标注数字表示各区块的x方向的位置，第2个标注数字表示y方向的位置。

接着，如图2所示，对于各区块的区域的图像特征量矢量，考虑4个轴为中心的镜像变换。此处，以t0、t1、t3、t4表示用于对图像特征量矢量应用以各轴为中心的镜像变换的矩阵。即，t0是用于进行左右镜像变换的矩阵，t1向用于以右上45度的轴为中心进行镜像变换的矩阵，t3是用于进行上下镜像变换的矩阵，t4是用于以右下45度的轴为中心进行镜像变换的矩阵。另外，图2表示成为通过各矩阵进行的镜像变换的中心的轴。

通过对在各区块的区域提取的图像特征量矢量应用上述的转换矩阵，评价矩形部分的区域内的对称性。例如，为了评价左右对称性，对于存在于以y轴为中心对称的位置的f00与f20，如果将f20进行左右镜像变换后的矢量、即在f20乘以t0而得到的矢量接近f00，则认为对称性高。同样，对于f01与f21，如果接近在f21乘以t0而得到的矢量，则认为对称性高，对于f02与f22，如果接近在f22乘以t0而得到的矢量则认为对称性高。这样，左右对称性能够作为数式(1)所示那样的由特征量矢量间的三个平方距离构成的矢量d0表示。

[式1]

同样，以右上45度的轴为中心的对称性能够作为数式(2)的d1表示。

[式2]

同样，上下对称性能够作为数式(3)的d2表示。

[式3]

同样，以右下45度的轴为中心的对称性能够作为数式(4)的d3表示。

[式4]

另一方面，本实施例的方法中，在由于特征量矢量的转换而对称性相比转换前增大的情况下，评价为对称性高。例如，在d0的计算中使用的f00与f02本来就即使进行左右的镜像变换对称性的变化也小的情况下，不认为左右对称性大。作为将这样的性质定量地表现的修正项，定义数式(5)所示那样的、由与未应用镜像变换的情况对应的区块的区域的特征量矢量间的平方距离构成的矢量e0。

[式5]

同样，对于d1的修正项e1以数式(6)表示。

[式6]

同样，对于d2的修正项e2以数式(7)表示。

[式7]

同样，对于d3的修正项e3以数式(8)表示。

[式8]

使用d0、d1、d2、d3和e0、e1、e2、e3评价矩形部分区域的对称性。作为具体的评价函数，定义以下的四个函数。

数式(9)所示的评价函数使用d0、d1、d2、d3的各要素的总和与e0、e1、e2、e3的各要素的总和之比评价对称性。

[式9]

数式(10)所示的评价函数在评价4个方向的对称性之后使用其平均值评价综合的对称性。

[式10]

数式(11)所示的评价函数在对应的各区块间评价对称性之后，使用其平均值评价综合的对称性。

[式11]

数式(12)所示的评价函数在分别评价4个方向各自的对称性之后使用其最大值评价综合的对称性。

[式12]

这些评价函数采用最适合于应用本发明的具体的案例的评价函数即可。

接着，对本实施例中使用的图像特征量进行说明。

本实施例中使用的图像特征量必须通过能够作为规定维度的矢量从分割成区块的区域中提取的算法提取。进一步，关于镜像变换，不能采用不变的特征量。例如，区块内的颜色平均特征量、即由构成图像的rgb值的平均构成的特征量对于镜像变换而言不变，因此在本实施例中不能使用。

关于对于镜像变换而言并非不变的特征量的提取，具有多个公知技术。例如，将区块的区域内进一步分割为更小区块，按每小区块计算颜色平均而得到的特征量和按每小区块的颜色分布直方图化而得到的特征量对于镜像变换而言并非不变。此外，在黑白浓淡图像的情况下，提取局部的亮度变化的图案的性质的边缘图案特征量对于镜像变换而言也并非不变。在以下的说明中，为了使本实施例的方法容易理解地进行说明，对使用亮度梯度矢量的强度分布作为特征量的例子进行详细说明。

亮度梯度矢量能够通过在黑白浓淡图像中应用二维的数值微分进行计算。图3是用于进行数值微分的滤波器的例子。能够从通过微分滤波器求得的像素位置(x，y)上的亮度梯度矢量(gx，gy)如数式(13)那样计算矢量的方向θ和矢量的平方范数p。

[式13]

矢量的方向θ分布于0度至360度的范围。通过将其以恰当的级别等间隔地量子化，在矩形区域内对平方范数p进行合计，能够将亮度梯度矢量方向的强度分布作为直方图状的数据表现。

图4是说明该处理的图。

首先，从图像提取表示像素的亮度的梯度的亮度梯度矢量401，对所提取的亮度梯度矢量进行合计，计算直方图状的数据402。另外，为了应用本实施例的方法中的4个方向的镜像变换，令量子化的级数为8或8的倍数。此外，使量子化的最初的值域的中心与x轴方向一致即可。

如果令本特征量中量子化的级数为8，则从各区块的区域提取8维的图像特征量矢量。此时，用于评价左右的对称性的镜像变换矩阵t0以数式(14)表示。

[式14]

同样，用于评价以右上45度方向的轴为中心的对称性的镜像变换矩阵t1以数式(15)表示。

[式15]

同样，用于评价上下对称性的镜像变换矩阵t2以数式(16)表示。

[式16]

同样，用于评价以右下45度方向的轴中心的对称性的镜像变换矩阵t3以数式(17)表示。

[式17]

在基于亮度梯度矢量的特征量中，也可以无视从明亮的像素向暗的像素去的亮度梯度与从暗的像素向明亮的像素去的亮度梯度的明暗反转，使矢量的方向θ分布于0度至180度的范围来进行处理。在这种情况下，为了应用本实施例的方法的4个方向的镜像变换，令量子化的级数为4或4的倍数即可。

使用图5说明亮度梯度矢量的方向。

在图5(a)所示那样的2值图像(例如，黑白2值的线画)中，相反方向的亮度梯度矢量接近。因此，仅使用一个亮度梯度矢量求取亮度梯度矢量的方向的分布就足够，使亮度梯度矢量分布于0°～180°的范围即可。另一方面，在图5(b)所示那样的多值图像(例如，多值的灰度图像或彩色图像)中，在各种方向出现亮度梯度矢量。因此，需要使于亮度梯度矢量分布0°～360°的范围。特别是在图5(c)所示背景的亮度改变的情况下，在0°～180°的范围内，不能正确地求取亮度梯度矢量的分布。这样，根据所输入的图像的种类改变亮度梯度矢量的分布的范围即可。

亮度梯度矢量的分布的范围的切换也可以根据输入图像性质设定运算符。此外，也可以由计算机对所输入的图像进行判断，在所输入的图像为2值图像的情况下，使亮度梯度矢量的方向分布于0度至180度的范围，在这以外的情况下，使亮度梯度矢量的方向分布于0度至360度的范围地进行处理。

如果令本特征量中量子化的级数为4，则从各区块的区域提取4维的图像特征量矢量。此时，用于评价左右对称性的镜像变换矩阵t0以数式(18)表示。

[式18]

同样，用于评价以右上45度方向的轴为中心的对称性的镜像变换矩阵t1以数式(19)表示。

[式19]

此外，在这种情况下，用于评价上下对称性的镜像变换矩阵t2与t0相同，用于评价以右下45度方向的轴为中心的对称性的镜像变换矩阵t3与t1相同。

另外，在使用基于亮度梯度矢量的特征量的情况下，由数式(9)至数式(12)定义的评价函数全部相对于特征量矢量的范数不变。这具有能够对于图像的绝对的对比度等不变地评价对称性的优点。另一方面，在几乎不存在亮度梯度的区域、即各特征量矢量接近零矢量的区域，评价函数变得不稳定。为了应对这样的情况，从评价对象排除区域内的亮度梯度强度的平均或和为一定的阈值以下的矩形区域即可。进一步，也可以通过如果区域内的亮度梯度强度的平均或和较小则加入使得评价函数的值增大的修正项，推测更恰当的注目部分区域。

图6是表示第一实施例的图像评价系统的物理的结构的框图。

本实施方式的图像评价系统由具有处理器(cpu)1、存储器2、辅助存储装置3、通信接口4、输入接口5和输出接口8的计算机构成。

处理器1执行储存在存储器2的程序。存储器2包含作为非易失性的存储元件的rom和作为易失性的存储元件的ram。rom储存不变的程序(例如，bios)等。ram是dram(dynamicrandomaccessmemory：动态随机存取存储器)那样的高速且易失性的存储元件，临时储存处理器1执行的程序和在执行程序时使用的数据。

辅助存储装置3例如是磁存储装置(hdd)、闪存存储器(ssd)等的大容量且非易失性的存储装置。此外，辅助存储装置3储存处理器1执行的程序。即，程序被从辅助存储装置3读出并加载至存储器2，由处理器1执行。

通信接口4是按照规定的协议控制与其它装置(文件服务器和网关等)的通信的网络接口装置。

输入接口5连接键盘6和鼠标7等，是接收来自操作员的输入的接口。输出接口8连接显示器装置9和打印机等，是将程序的执行结果以操作员可看的形式输出的接口。

处理器1执行的程序被经可移动介质(cd-rom、闪存存储器等)或网络提供给图像评价系统，储存在作为非临时的存储介质非易失性的辅助存储装置3。因此，图像评价系统具有从可移动介质读入数据的接口即可。

图像评价系统是物理地在一个计算机上、或者在逻辑或物理地构成的多个计算机上被构成的计算机系统，既可以在同一个计算机上以不同的线程(thread)动作，也可以在多个物理的计算机资源上构筑成的虚拟计算机上动作。

图7是第一实施例的对称性评价处理的流程图。

首先，处理器1接收被评价的图像的输入(711)。例如，输入图像从通信接口4输入或从省略图示的数据输入输出端口(例如，usb端口)按照操作员的指示输入即可。

之后，从所输入的图像提取部分区域(712)，提取所提取的部分区域的转换前的特征量(713)。之后，对所提取的部分区域进行镜像变换，提取镜像变换后的特征量(714)。

之后，对镜像变换前的特征量与镜像变换后的特征量进行比较，评价对称性(715)。

如以上说明的那样，根据本发明的第一实施例，能够不事先设想成为对象的事物地检测应该注目的部分区域。

＜实施例2＞

接着，作为第二实施例，对将第一实施例的方法应用于图像检索服务的系统进行说明。

图8是表示第二实施例的图像检索系统的结构的图。

计算机系统500提供检索服务。检索服务提供的各种功能经由网络系统510向使用终端计算机520的用户提供。

计算机系统500能够由具有处理器、存储器和通信接口的一般的服务器装置构成。计算机系统500的物理结构与图6所示的计算机相同即可。

在计算机系统500的存储器2中储存有用于实现后述的图像注册部611、注目区域提取部612、检索用特征量提取部613、查询图像分析部631、类似检索部632和检索结果输出部634的程序。

终端计算机520能够由具有处理器、存储器和通信接口的一般的个人计算机、平板终端构成。终端计算机520的物理结构与图6所示的计算机相同即可。终端计算机520向用户提供的功能既可以由web浏览器构成，也可以由专用应用构成。

图9是表示第二实施例的图像检索系统的逻辑结构的图。

图像注册部611在接收成为检索对象的注册图像610时，将图像数据的保存地址、显示用缩略图像和图像附带的各种目录信息等保存至数据库620。接着，注目区域提取部612运用第一实施例的方法，从注册图像提取应该注目的矩形部分区域的集合。之后，检索用特征量提取部613提取所提取的各矩形部分区域的图像特征量。所提取的图像特征量与注册图像对应地保存在数据库620。

在检索時，查询图像分析部631在得到查询(query)图像630时提取检索用的图像特征量。之后，类似检索部632从查询图像提取的图像特征量与保存在数据库620中的矩形部分区域的图像特征量之间进行基于矢量间距离的类似检索处理，作为检索结果取得与查询图像类似的矩形部分区域。最后，检索结果输出部634使用类似检索的结果和储存在数据库620中的各种信息，生成应该反馈给检索要求地址的信息，作为检索结果640发送至检索要求地址。

检索用特征量提取部613和查询图像分析部631使用的图像特征量基于颜色分布、亮度梯度矢量的分布等来计算。具体的图像特征量能够使用公知图像特征量。此外，使用这些特征量的类似检索处理也能够使用公知类似检索处理。

接着，对直接应用本实施例的方法的注目区域提取部612的处理的详细情况进行说明。

作为本发明的实施例的系统的安装例，除了图8和图9所示的图像检索系统以外，例如包括图像注册部611、注目区域提取部612和检索用特征量提取部613在内，具有检测对象的图像分析装置650。

图10是注目区域提取部612进行的处理的流程图。

首先，生成从注册图像610转换为恰当的尺度(scale)和纵横尺寸比(aspect)后的多个图像(701)。该纵横尺寸比(图像的纵横比)由用户设定即可。此外，也可以根据要搜寻的图像的纵横尺寸比，自动地设定纵横尺寸比。进一步，还可以根据要搜寻的图像的种类自动地设定纵横尺寸比。例如，在要搜寻人的图像的情况下，使用纵长的图像即可。

进一步，将生成的多个图像多分辨率化(702)。之后，通过后述的扫描处理，从多分辨率化后的多个图像生成成为注目部分区域的候选的矩形部分区域，计算所生成的各部分区域的对称性(703)。该步骤703的处理是上述的第一实施例的对称性评价处理(图7)。

之后，将通过扫描处理生成的多个部分区域基于对称性的评价值进行分类，将上级的一定件数的部分区域作为应该注目的部分区域的候选进行保持(704)。接着，通过收敛判断处理(705)判断为应该注目的部分区域的范围缩小已经结束。具体而言，在注目区域不发生变动的情况下或重复次数超过规定次数的情况下判断为已收敛。

之后，在判断为应该注目的部分区域的范围缩小结束之后，通过后述的详细化处理，从该时刻的注目区域候选生成新的部分区域，计算各部分区域的对称性，追加注目区域候选(706)。然后，返回步骤704，再次评价对称性，由此将通过详细化处理生成的注目区域候选范围缩小。

图11是说明注目区域提取部处理(图10)的步骤701～703的图。

在注目区域的提取中，需要根据应用领域恰当地估算图像中的部分区域的大小。特别是在将小得超过需要的区域设定为部分区域时，不需要部分区域的提取、即误检测和处理时间增大，成为运用上的问题的原因。例如，如果令本方式的对称性评价中的1个区块的大小为8×8像素，则部分区域的大小成为24×24像素。假如应该注目的部分区域为图像的大小的10％左右为止是充分的，则图像的大小为240×240像素左右是充分的。

此外，注目部分区域的形状并不一定为正方形，需要横长或纵长的矩形区域的提取的情况也很多。本实施例中，在需要提取横长的矩形的情况下，将原来图像的纵横尺寸比变形为纵长，通过正方格状的区块分割来评价对称性。如果使通过这样的处理生成的矩形区域返回原来的图像的坐标系，则成为横长的矩形。同样，在需要提取纵长的矩形的情况下，将原来图像的纵横尺寸比变形为横长进行处理。

从上述的二个观点出发进行的处理是从图11的注册图像801向图像802的转换。

从注册图像801转换为恰当的尺度，生成将宽度缩小一半后的图像、保持了纵横尺寸比的图像和将高度缩小一半的图像这三个图像802。进一步，在多重解像度处理中，将各图像缩小至各1/2、2阶段为止的图像803生成。对这样生成的九个图像803进行扫描处理(810)。在扫描处理810中，通过将各图像内的窗户每一定像素数地平行移动，粗略生成矩形区域。

图12是说明注目区域提取部处理(图10)的详细化处理(步骤706)的图。

作为新的注目部分区域的候选生成对某个注目部分区域的候选微小地纵横平行移动后的矩形区域910、微小地进行放大缩小后的矩形区域920和将放大缩小后的矩形区域进一步再纵横平行移动后的矩形区域。通过平行移动生成的矩形区域的数量按上下、左右和斜向的移动具有8个图案。通过放大缩小生成的矩形区域为2个图案，通过放大和缩小的矩形区域的平行移动，放大和缩小分别生成8个图案的矩形区域。同时，对成为一种的矩形区域，最大生成26个图案的新的矩形区域，评价其对称性。

如上所述，反复执行详细化处理706。各重复处理中的各微小变动量能够通过下式定义。

[式20]

在数式(20)中，q是详细化处理的反复的次数，sx和sy是扫描处理703中进行平行移动时的横方向和纵方向各自的步幅，dx和dy是第q次详细化处理中的横方向和纵方向各自的变动量。另一方面，dz是第q次详细化处理中的放大率，缩小的情况下的缩小率为1/dz。由数式(20)可知，变动的大小与本处理的重复的次数相应地变小。因为成为对象的图像是分散的数字图像，所以如果将本处理反复进行足够多的次数，则不会由于微小变动而生成新的区域候选。至少，只要不生成新的区域候选，详细化处理706就可以结束。

如以上说明的那样，根据本发明的实施例，能够不依赖于对象物地可靠地检测应该注目的部分区域。

此外，因为使用从部分区域提取的特征量、将特征量镜像变换后的镜像特征量和特征量的平均强度评价部分区域的对称性，所以能够地高精度检测部分区域。

此外，因为将部分区域分割为规定的大小的矩形的区块，从各区块提取特征量，将各区块的特征量进行镜像变换，所以能够以简单的运算计算镜像特征量。

此外，因为生成将部分区域的位置和大小的至少一方变更后的区域，对部分区域的特征量和上述生成的区域的特征量的对称性进行评价，所以能够提取不完全看见应该注目的部分的恰当的部分区域。因此，例如，在不完全看见人的面部、在部分区域的中心具有面部即可的面部认证的应用变得容易。

此外，因为根据所输入的图像的种类改变分布作为特征量提取的亮度梯度矢量的方向的范围，所以能够可靠地计算特征量。

此外，因为将所输入的图像转换为规定的纵横比，从转换纵横比后的图像提取部分区域，所以提取的特征量(亮度梯度矢量)的各向异性消失，能够正确地计算特征量。即，存在如果使用长方形的部分区域则产生亮度矢量的直方图的偏斜的情况，为了评价对称性优选部分区域为正方形。

另外，本发明并不限定于上述的实施例，而包括所附要求的权利范围主旨内的各种各样的变形例及同等的结构。例如，上述的实施例为了将本发明说明得容易明白而进行了详细的说明，但是并不一定限定于包括所说明的所有结构。此外，能够将一个实施例的结构的一部分替换到另一个实施例的结构，此外，还能够在一个实施例的结构中加入另一个实施例的结构。此外，能够对各实施例的结构的一部分进行其它结构的追加、削除、替换。

此外，上述的各结构、功能、处理部、处理单元等例如可以通过利用集成电路等进行设计、利用硬件实现，也可以通过对处理器实现各自的功能的程序进行解释、执行而以软件实现。

实现各功能的程序、图表、文件夹等信息能够存储于存储器、硬盘、ssd(solidstatedrive：固态硬盘)等记录装置或ic卡、sd卡、dvd等记录介质。

此外，对于控制线和信息线，仅展示在说明上被认为需要的部分，并不一定展示安装上所需的所有控制线和信息线。实际上也可以认为几乎所有的结构相互连接。