图像处理装置和控制图像处理装置的方法

专利名称：图像处理装置和控制图像处理装置的方法
技术领域：
本发明涉及图像处理装置、控制图像处理装置的方法和使得计算机执行该方法的 程序，具体地涉及基于深度对图像进行分类的图像处理装置、控制图像处理装置的方法和 使得计算机执行该方法的程序。
背景技术：
近些年，能够在拍摄图像过程中测量被摄体的深度的图像拾取设备变得普及。图 像处理装置执行例如获取由图像拾取设备拍摄的图像和深度的处理，并且基于深度对图像 进行分类。
例如，公开了一种分类设备，它生成深度分布并且根据该分布中的深度离差 (dispersion)与阈值的比较结果对图像进行分类(例如，日本专利公开No. 2006-244424)。 在深度离差小于阈值的情况下，这个分类设备将分类目标图像分类成通过拍摄远景获得的 远拍图像。另一方面，在深度离差大于阈值的情况下，分类设备将分类目标图像分类成通过 拍摄例如建筑物的物体获得的目标拍摄图像。发明内容
然而，上述的分类设备可能不能够明确地对图像进行分类。例如，由于在图像中拍 摄的物体的表面占据大面积并且均一的情况下深度离差小，所以即使拍摄的是该物体，图 像仍被分类成通过拍摄风景获得的图像。另外，由于在诸如人物和建筑物的物体占据风景 的图像的某部分的情况下深度离差大，所以即使拍摄的是风景，图像仍被分类成通过拍摄 物体获得的图像。
鉴于上述问题，期望提供一种基于深度明确对图像进行分类的图像处理装置。
为了解决上述问题，根据本公开的一个实施例，提供了一种图像处理装置、图像处 理装置的控制方法和使得计算机执行该方法的程序，该装置包括图像获取部分，获取图 像；深度获取部分，与包括在图像中的像素相关联地获取深度；对象物检测部分，检测图像 中的预定对象物的区域；对象物检测距离选择部分，选择与包括在检测到的区域中的像素 对应的深度作为对象物检测距离；局部最大距离选择部分，选择在所述深度的频率分布中 具有局部最大频率的深度作为局部最大距离；以及确定部分，根据对象物检测距离的值与 局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象 物而获得的对象物图像。因此，实现了一种效果，其中，根据对象物检测距离的值与局部最 大距离的值之间的接近度是否高于预定值确定所述图像是否是对象物图像。
根据本公开的以上实施例，对象物检测部分可以检测人物的面部区域作为对象物 的区域，并且在所述接近度高于预定值的情况下，确定部分可以确定所述图像是通过拍摄 人物而获得的人物图像。因此，实现了一种效果，其中，检测到人物的面部区域并且在接近 度高于预定值的情况下图像被确定为人物图像。
根据本公开的以上实施例，在确定图像是人物图像的情况下，确定部分当检测到的面部区域的数目小于预定数目时可以确定该人物图像是通过拍摄特定人物而获得的肖像图像，以及当检测到的面部区域的数目等于或大于预定数目时可以确定该人物图像是通过拍摄多个聚集人物而获得的群体图像。因此，实现了一种效果，其中，当面部区域的数目小于预定数目时人物图像被确定为肖像图像，以及当面部区域的数目大于或等于预定数目时人物图像被确定为群体图像。
根据本公开的以上实施例，在接近度高于预定值的情况下，确定部分可以确定图像是对象物图像以及在接近度等于或低于预定值的情况下确定图像是通过拍摄风景而获得的风景图像。因此，实现了一种效果，其中，在接近度高于预定值的情况下图像被确定为对象物图像，以及在接近度等于或低于预定值的情况下图像被确定为风景图像。
根据本公开的以上实施例，还可以包括记录部分，该记录部分与图像相关联地存储由确定部分执行的确定结果。因此，实现了一种效果，其中，与图像相关联地记录确定结果O
根据本公开的另一个实施例，提供了一种图像处理装置，其包括图像获取部分， 获取图像；深度获取部分，与包括在图像中的像素相关联地获取深度；对象物检测部分，检测图像中的预定对象物的区域；对象物检测距离选择部分，在检测到对象物的区域的情况下选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离；局部最大距离选择部分，选择在所述深度的频率分布中具有局部 最大频率的深度作为局部最大距离；以及确定部分，在选择了对象物检测距离的情况下根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像，以及在没有选择对象物检测距离的情况下根据局部最大距离的值是否小于阈值确定所述图像是否是微距图像。因此，实现了一种效果，其中，在选择了对象物距离的情况下确定所述图像是否是对象物图像，以及在没有选择对象物距离的情况下确定所述图像是否是微距图像。
根据本公开的以上实施例，在没有选择对象物检测距离的情况下，当拍摄所述图像的图像拾取设备的超焦点距离或所述局部最大距离的值小于阈值时，确定部分可以确定所述图像是微距图像。因此，实现了一种效果，其中，在没有选择目标检测距离的情 况下，当超焦点距离或者局部最大距离的值小于阈值时，图像被确定为微距图像。
因此，本技术具有的有益效果在于图像处理装置能够基于深度明确地对图像进行分类。


图
图
图
图
图曲线图
图曲线图；图8是示出根据第一实施例的分类成群体图像的图像的例子的图；图9是示出根据第一实施例的分类成群体图像的图像的深度频率分布的例子的 曲线图；图10是示出根据第一实施例的图像处理装置的操作例子的流程图；图11是示出根据第一实施例的图像分类处理的例子的流程图；图12是示出根据第一实施例的拍摄目标分类处理的例子的流程图；图13A和图13B是示出根据第一实施例的图像拾取设备的结构例子的整体视图；图14是示出根据第二实施例的图像分类处理的例子的流程图；图15是示出根据第二实施例的拍摄距离分类处理的例子的流程图；图16是示出根据第二实施例的分类成微距图像的图像的例子的图；图17是示出根据第二实施例的分类成微距图像的图像的深度频率分布的例子的 曲线图；图18是示出根据第二实施例的分类成风景图像的图像的例子的图；图19是示出根据第二实施例的分类成风景图像的图像的深度频率分布的例子的 曲线图；图20是示出根据第二实施例的变型例的拍摄距离分类处理的例子的流程图；图21是示出根据第三实施例的图像处理装置的结构例子的图；图22是示出根据第三实施例的附属信息的数据结构的例子的图；图23是示出根据第三实施例的图像处理装置的操作例子的流程图；图24是示出根据第三实施例的图像分类处理的例子的流程图；图25是示出根据第四实施例的图像处理装置的结构例子的框图；图26是示出根据第四实施例的图像处理装置的操作例子的流程图。
具体实施例方式在下文中，将参照附图详细描述本公开的优选实施例。要注意，在本说明书和附图 中，功能和结构基本相同的构成部件由相同标号进行指示，并且省去了对这些构成部件的
重复解释。将在下文中按下面的顺序描述根据本技术的优选实施例(下文称作实施例)。1.第一实施例(基于面部检测距离和局部最大距离对图像进行分类的例子)2.第二实施例(基于面部检测距离和局部最大距离或者基于局部最大距离对图像 进行分类的例子)3.第三实施例(在存储图像后把分类结果附加到图像的例子)4.第四实施例(在存储图像前把分类结果附加到图像的例子)<1.第一实施例>[图像拾取设备结构例子]图1是示出根据第一实施例的图像拾取设备100的结构例子的框图。图像拾取设 备100包括操作部分110、拍摄镜头120、图像传感器130、模拟信号处理部分140、A/D (模 拟/数字)转换部分150、图像存储器160和工作存储器170。另外，图像拾取设备100包括图像数据存储部分180、显示部分190和图像处理装置300。图像处理装置300包括相机控 制部分310和图像拾取设备控制部分320。
操作部分110经由信号线111将与在触摸面板、按钮等上的用户操作对应的操作 信号输出到图像处理装置300。将在下文中详细描述该操作。
拍摄镜头120是用于拍摄图像的镜头。图像传感器130将来自拍摄镜头120的光 转换成电信号。图像传感器130经由信号线131将转换的电信号输出到模拟信号处理部分 140。模拟信号处理部分140对来自图像传感器130的电信号执行预定的模拟信号处理。模 拟信号处理包括用于除去放大器噪声的⑶S (相关双采样)和用于自动控制增益的AGC (自 动增益控制)。模拟信号处理部分140经由信号线141将在执行处理后的电信号输出到A/ D转换部分150。
A/D转换部分150将从模拟信号处理部分140输出的模拟电信号转换成数字信 号。A/D转换部分150经由信号线151将转换的数字信号作为图像数据输出到图像处理装 置300。这种图像数据被称作RAW图像数据，这是因为在从A/D转换部分150输出图像数据 时的时刻没有对图像数据执行诸如去马赛克处理或压缩处理的图像处理。
图像存储器160临时保持图像数据。工作存储器170临时保持由图像拾取设备控 制部分320执行的工作的内容。图像数据存储部分180存储图像数据。显示部分190显示 图像以及图像的分类结果。
相机控制部分310根据图像拾取设备控制部分320的控制，执行变焦控制和曝光 控制以从A/D转换部分150获取图像数据。相机控制部分310从获取的图像数据中生成与 包括在图像数据中的像素相关联的深度。例如，该深度以米(m)为单位进行测量。相机控 制部分310将包括生成的深度的深度数据与图像数据一起输出到图像拾取设备控制部分 320。
当从图像拾取设备控制部分320接收到图像数据和深度数据时，相机控制部分 310检测图像数据中的面部。相机控制部分310从为图像数据生成的深度之中选择与检测 的面部的区域对应的深度作为面部检测距离。另外，相机控制部分310基于深度数据关于 每个图像数据生成深度频率分布并且从频率分布中的深度值中选择具有局部最大频率的 深度作为局部最大距离。当从图像拾取设备控制部分320接收到多个图像数据时，相机控 制部分310关于每个图像数据选择面部检测距离和局部最大距离。相机控制部分310将选 择的面部检测距离和局部最大距离输出到图像拾取设备控制部分320。
图像拾取设备控制部分320控制整个图像拾取设备100。具体地讲，图像拾取设备 控制部分320响应于来自操作部分110的操作信号，经由相机控制部分310执行变焦控制 和曝光控制。图像拾取设备控制部分320从相机控制部分310接收图像数据和深度数据并 且将深度数据与图像数据相关联地存储在图像数据存储部分180中。
另外，图像拾取设备控制部分320响应于来自操作部分110的操作信号经由信号 线302从图像数据存储部分180读取图像数据和深度数据并且将图像数据和深度数据输出 到相机控制部分310。当从相机控制部分310接收到图像数据和深度数据的面部检测距离 和局部最大距离时，图像拾取设备控制部分320基于这些距离对图像进行分类。在下文将 详细描述分类方法。
[图像处理装置结构例子]
图2是示出根据第一实施例的图像处理装置300的结构例子的框图。如上所述，图 像处理装置300包括相机控制部分310和图像拾取设备控制部分320。相机控制部分310 包括镜头驱动部分311、图像获取部分312、深度生成部分313、面部检测部分314、面部检测 距离选择部分315和局部最大距离选择部分316。图像拾取设备控制部分320包括操作信 号分析部分321、深度数据附加部分322、图像获取部分323、深度获取部分324和图像分类 部分325。
操作信号分析部分321对来自操作部分110的操作信号进行分析。例如，用户能 够通过操作操作部分110改变变焦倍率。通过操作操作部分110，用户能够使得存储在图 像数据存储部分180中的图像数据被读取并且使得显示部分190显示该图像数据。另外， 通过操作操作部分110，用户能够指定多个图像类型中的任何一个并且使得图像处理装置 300搜索属于指定的图像类型的图像数据。例如，图像类型包括人物图像、风景图像和微距 图像。人物图像包括肖像图像和群体图像。这里，人物图像是通过对作为主要被摄体的人 物进行拍摄获得的图像。肖像图像是通过对作为主要被摄体的几个(例如，少于3个)特定 人物进行拍摄获得的人物图像。群体图像是通过对作为主要被摄体的多个(例如，3人以上) 的聚集人物进行拍摄获得的人物图像。风景图像是通过对作为主要被摄体的风景进行拍摄 获得的图像。微距图像是通过对作为主要被摄体的迫近被摄体进行拍摄获得的图像。
镜头驱动部分311控制拍摄镜头120的位置。具体地讲，当从操作信号分析部分 321接收到改变后的变焦倍率的值时，镜头驱动部分311经由信号线301获取拍摄镜头120 的当前位置。接下来，镜头驱动部分311经由信号线301向拍摄镜头120输出基于改变后 的变焦倍率的值控制拍摄镜头120的位置的控制信号。
图像获取部分312获取从A/D转换部分150输出的图像数据。获取的图像数据由 图像存储器160临时保持。图像获取部分312将获取的图像数据输出到深度数据附加部分 322。
深度生成部分313与包括在拍摄图像数据中的像素相关联地生成深度。例如，深 度生成部分313通过相差检测方法生成深度。具体地讲，深度生成部分313检测由分离透 镜分离的被摄体的两个像之间的间隙(相差)并且根据检测的相差生成到被摄体的距离作 为深度。深度生成部分313将与像素相关联地生成的深度输出到深度数据相加部分322作 为深度数据。要注意，深度生成部分313可以通过相差检测之外的方法生成深度。例如，深 度生成部分313可以在被摄体上照射激光束并且检测激光束的反射光以基于从照射时刻 到检测时刻的延迟时间来测量深度。
深度数据附加部分322恰当地压缩从图像获取部分312输出的图像数据并且与图 像数据相关联地存储深度数据。例如，当压缩图像数据时，深度数据相加部分322根据JPEG (联合图像专家组)标准执行压缩。例如，当关联深度数据时，深度数据附加部分322通过将 深度数据附加到图像数据作为Exif (可交换图像文件格式)的附属信息，将深度数据与图 像数据进行关联。深度数据附加部分322将图像数据以及关联的深度数据输出到图像数据 存储部分180作为数据文件。
图像获取部分323通过读取存储在图像数据存储部分180中的图像数据，获取图 像数据。图像获取部分323将获取的图像数据输出到面部检测部分314。深度获取部分324 获取附加到由图像获取部分323读取的图像数据的深度数据。深度获取部分324将获取的深度数据输出到面部检测距离选择部分315和局部最大距离选择部分316。
面部检测部分314检测图像数据中的人面部的区域。具体地讲，面部检测部分314 根据被摄体的色彩和形状提取图像数据中的被假定为面部的被摄体的区域。面部检测部分 314通过执行该区域与预先在数据库中登记的模板图像的匹配，确定该区域是否是面部区域。面部检测部分314将检测的面部区域中的像素的坐标数据输出到面部检测距离选择部分315作为面部区域数据。注意，面部检测部分314是本公开的权利要求中的对象物检测部分的例子。面部检测部分314可以通过上述模板匹配之外的方法检测面部区域。
面部检测距离选择部分315从在图像数据上生成的深度之中选择与图像数据中的检测的面部区域中的像素对应的深度作为面部检测距离z_obj。在从图像数据检测到多个面部区域的情况下，面部检测距离选择部分315关于每个面部区域选择面部检测距离。 面部检测距离选择部分315将选择的面部检测距离z_obj输出到图像分类部分325。要注意，面部检测距离选择部分315是本发明的权利要求中的对象物检测距离选择部分的例子。
局部最大距离选择部分316关于每个图像数据生成深度频率分布并且选择在频率分布中具有局部最大频率的深度作为局部最大距离z_lmax。具体地讲，局部最大距离选择部分316首先关于深度z的每个值对该值在深度数据中出现次数进行计数作为频率。在深度z的值可采取η个(η是等于或大于I的整数)方法的情况下，假设这些值是深度Zi (i 是从O到η-1的整数 )以及对η元组Zi计数的频率F的值是Fi,能够获得在从(Z(l，Ftl)到 (Zn-PFlri)的范围内的频率分布。例如，在这个频率分布中随着i的增加频率Fi持续增加直到达到某点P并且在通过点P以后频率Fi持续下降的情况下，局部最大距离选择部分316 确定点P是局部最大点。局部最大距离选择部分316选择局部最大点P处的深度作为局部最大距离z_lmax并且将结果输出到图像分类部分325。
注意，局部最大距离选择部分316可以通过预定分布函数来近似频率分布并且选择分布函数的局部最大点处的深度作为局部最大距离。在这种情况下，例如，局部最大距离选择部分316通过m次(m是大于I的整数)多项式定义分布函数，并且通过最小二乘法计算多项式的次数m和系数。局部最大距离选择部分316通过计算分布函数的微分值计算局部最大点。
图像分类部分325根据对象检测距离z_obj的值与局部最大距离z_lmax的值之间的接近度是否高于预定值，确定图像是否是人物图像。具体地讲，当值z_obj与值z_lmax 之间的差的绝对值小于阈值S时图像分类部分325确定图像是人物图像并且将该图像分类成人物图像。例如，阈值δ设置成0.2米(m)。这里,在z_obj和z_lmax中的至少一个是复数个的情况下，图像分类部分325计算z_obj和z_lmax的所有组合的差并且当任何差的绝对值小于阈值δ时确定图像是人物图像。这里，局部最大距离是与图像中的面积比周围区域大的区域对应的距离，并且面部检测距离的值接近局部最大距离的值的事实意味着人物占据了图像的相对大部分。人物占据相对大部分的图像很可能是人物图像。因此，图像分类部分325能够根据面部检测距离与局部最大距离的值之间的接近度，明确地将图像分类成人物图像或者不分类成人物图像。
在图像是人物图像的情况下，图像分类部分325当面部区域的数目小于预定数目 (例如，3)时将人物图像分类成肖像图像，并且当面部区域的数目等于或大于预定数目时将人物图像分类成群体图像。
当差的绝对值等于或大于阈值δ时图像分类部分325确定图像是风景图像并且将图像分类成风景图像。当分类的图像是属于用户指定的图像类型的图像时，图像分类部分325将图像的标题和缩略图作为搜索结果输出到显示部分190。注意，图像分类部分325 是本公开的权利要求中的确定部分的例子。或者，图像分类部分325可以将图像的分类结果输出到显示部分190。
[数据文件结构]
图3是示出了根据第一实施例的数据文件的数据结构的例子的图。在Exif标准下生成该数据文件。
在数据文件中，顺序存储图像开始标记(SOI)、应用标记段I (APP1)、定义量化表 (DQT)和定义哈夫曼表(DHT)。然后，在帧头开始标记(SOF)和扫描头开始标记(SOS)后，存储压缩数据的主体以及存储图像结束标记(Ε0Ι)。压缩的数据是根据例如JPEG标准的压缩格式进行压缩的图像数据。然后，在图像处理装置300中生成的深度数据被紧接着图像结束标记(EOI)存储。注意，尽管图像处理装置300将深度数据紧接着Exif标准的EOI存储， 但是深度数据可以存储在其它区域中，只要深度数据能够与图像数据进行关联即可。
APPl是存储Exif附属信息的区域。在APPl中，APPl长度在APPl标记后进行定义。随后，在Exif识别码后存储TIFF头、主图像IFD (第O个IFD)、主图像IFD值(第O个 IFD值)等等。
图4是根据第一实施例的分类成肖像图像 的图像510的例子。一个人物占据了图像510的中心附近的相对大部分并且诸如云和地平线的风景占据了背景部分。由于占据图像的人物是一个人物，所以检测到一个面部区域。由于特定人物被拍摄作为主要被摄体，所以图像510是肖像图像。
图5是示出根据第一实施例的被分类成肖像图像的图像510的深度频率分布的例子的曲线图。在该图中，生成了柱状图，其中，水平轴表示深度z，垂直轴表示频率F，关于每个深度z，频率F的幅值被表示为柱的高度。在这个柱状图中，存在两个频率F是局部最大的局部最大点Pl和P2，并且与这些点对应的深度被分别选择为局部最大距离Z_lmaxl和局部最大距离z_lmax2。局部最大距离z_lmaxl与面部检测距离z_obj之间的差的绝对值小于阈值δ。此外，如上所述从图像510检测到一个面部区域。由于这个原因，图像处理装置 300将产生柱状图的图像510分类成肖像图像。
如上所述，图像处理装置300通过确定局部最大距离的值和面部检测距离的值是否彼此接近并且面部区域的数目是否小于预定数目，能够明确地将图像分类成肖像图像。 这是因为少数的特定人物通常作为主要被摄体占据了肖像图像中的相对大部分，结果，面部区域的数目少并且常常发生面部检测距离z_obj的值与局部最大距离z_lmax的值变得彼此接近。
图6是根据第一实施例的要分类成风景图像的图像520的例子。建筑物占据了这个图像520的中心附近的相对大部分。接近建筑物，与建筑物的部分相比，人物占据了较小部分。因为风景被拍摄为主要被摄体，所以图像520是风景图像。
图7是示出根据第一实施例的要分类成风景图像的图像520中的深度频率分布的例子的曲线图。在该图中，生成了柱状图，其中，水平轴表示深度z，垂直轴表示频率F，并且关于每个深度z，频率F的幅值被表示为柱的高度。在这个柱状图中，存在两个频率F是 局部最大的局部最大点Pl和P2，并且与这些点对应的深度被分别选择为局部最大距离z_ Imaxl和局部最大距离z_lmax2。局部最大距离z_lmaxl与面部检测距离z_obj之间的差 的绝对值等于或大于阈值S。由于这个原因，图像处理装置300将表示为这种柱状图的图 像520分类成风景图像。
如上所述，通过确定局部最大距离的值与面部检测距离的值是否彼此接近，图像 处理装置300能够明确地将图像分类成风景图像。这是因为，尽管人物占据了风景图像的 某部分，但是该部分小于周围风景的部分并且常常发生面部检测距离z_obj的值与局部最 大距离z_lmax的值之间的差的绝对值变得较大。
图8是根据第一实施例的要被分类成群体图像的图像530的例子。多个聚集的人 物分别占据了图像530的某部分。因为占据某部分的人物是三个人物以上，所以检测到三 个以上的面部区域。因为聚集的人物被拍摄为主要被摄体，所以图像530是群体图像。
图9是示出根据第一实施例的被分类成群体图像的图像530的深度频率分布的例 子的曲线图。在该图中，生成了柱状图，其中，水平轴表示深度z，垂直轴表示频率F，并且关 于每个深度z，频率F的幅值被表示为柱的高度。在这个柱状图中，存在两个频率F是局部 最大的局部最大点Pl和P2，并且与这些点对应的深度被分别选择为局部最大距离z_lmaxl 和局部最大距离z_lmax2。由于三个以上的人物占据了某部分，所以包括面部检测距离z_ objl到z_obj3的多个面部检测距离被选择。与从z_lmaxl到z_lmax3的局部最大距离的 各个差的绝对值的每一个小于阈值S。此外，如上所述从图像530检测到多个面部区域。 由于这个原因，图像处理装置300将被表示为这种柱状图的图像530分类成群体图像。
如上所述，通过确定局部最大距离的值与面部检测距离的值是否彼此接近以及面 部区域的数目是否等于或大于预定数目，图像处理装置300能够明确地将图像分类成群体 图像。这是因为多个人物通常作为主要被摄体占据了群体图像中的相对大部分，结果，检测 到的面部区域的数目大并且常常发生面部检测距离z_obj的值与局部最大距离z_lmax的 值变得彼此接近。
[图像处理装置操作例子]
图10是示出根据第一实施例的图像处理装置300的操作例子的流程图。例如当 执行用于图像搜索的处理时这个操作启动。图像处理装置300确定是否输入了搜索目标的 图像类型(步骤S901)。当没有输入图像类型时(步骤S901 :否)，图像处理装置300返回到 步骤S901。
当输入了图像类型时(步骤S901 :是)，图像处理装置300从图像数据存储部分180 读取未搜索的图像数据(步骤S902)。另外，图像处理装置300从图像数据存储部分180读 取与读取的图像数据对应的深度数据(步骤S903)。图像处理装置300执行基于局部最大距 离z_lmax和面部检测距离z_obj对图像进行分类的图像分类处理(步骤S910)。图像处理 装置300基于图像的分类结果，显示图像的搜索结果(步骤S941)。在执行步骤S941后，图 像处理装置300终止用于图像搜索的操作。
图11是示出根据第一实施例的图像分类处理的例子的流程图。图像处理装置300 生成深度频率分布并且选择在深度频率分布中具有局部最大频率的深度作为局部最大距 离z_lmax(步骤S911)。此外，图像处理装置300检测图像数据中的面部区域(步骤S912)。图像处理装置300选择与包括在面部区域中的像素对应的深度作为面部检测距离z_obj (步骤S913)。图像处理装置300执行关注于拍摄目标的类型而对图像进行分类的拍摄目标分类处理(步骤S920)。在执行步骤S920后，图像处理装置300终止图像分类处理。
图12是示出根据第一实施例的拍摄目标分类处理·的例子的流程图。图像处理装置300确定局部最大距离z_lmax与面部检测距离z_obj之间的差的绝对值是否小于阈值 δ (步骤S921)。当差的绝对值小于阈值δ时(步骤S921 :是)，图像处理装置300将图像分类成人物图像。此外，图像处理装置300确定人物图像是否包括三个人物或更多(步骤 S922)。在人物图像包括小于三个人物的情况下(步骤S922 :否)，图像处理装置300将人物图像分类成肖像图像(步骤S923)。在人物图像包括三个人物或更多的情况下(步骤S922 是)，图像处理装置300将人物图像分类成群体图像(步骤S924)。
在局部最大距离z_lmax与面部检测距离z_obj之间的差的绝对值大于或等于阈值δ的情况下(步骤S921 :否)，图像处理装置300将图像分类成风景图像(步骤S925)。在执行步骤S923、S924或S925后，图像处理装置300终止拍摄目标分类处理。
图13Α和图13Β是示出根据第一实施例的图像拾取设备100的结构例子的整体视图。图13Α示出了图像拾取设备100的顶面和正面的例子，图13Β示出了图像拾取设备100 的背面的例子。在图像拾取设备100的顶面上，设置有变焦控制杆101、快门按钮102、播放按钮103和电源按钮104。在图像拾取设备100的正面上，设置有拍摄镜头105、AF (自动对焦)照明器106和镜头盖107。在图像拾取设备100的背面上，设置有触摸屏108。
变焦控制杆101是用于执行变焦控制操作的控制杆。快门按钮102是用于拍摄被摄体的照片的按钮。播放按钮103是用于显示图像数据的按钮。电源按钮104是用于对图像拾取设备100供电或停电的按钮。拍摄镜头105是用于拍摄图像的镜头。当自动对焦功能被激活时，AF照明器106发光。镜头盖107是可移至覆盖拍摄镜头105的位置以保护拍摄镜头105的部件。触摸屏108是实现通过手指等的触摸对图像拾取设备100进行操作的显示器。
图1所示的操作部分110包括图13Α所示的变焦控制杆101、快门按钮102、播放按钮103和电源按钮104。图1所示的操作部分110和显示部分190包括图13Β所示的触摸屏108。
如上所述，根据本技术的第一实施例，图像处理装置300能够基于深度通过根据面部检测距离和局部最大距离的值的接近度是否高于预定值确定图像是否是人物图像，明确地对图像进行分类。因此，即使在人物占据风景图像的某部分的情况下，图像处理装置 300仍能够明确地对图像进行分类。
注意，尽管图像处理装置300检测人物面部的区域，但是图像处理装置300可以检测人物面部之外的例如动物面部和预定物体的对象物的区域。在这种情况下，当局部最大距离的值与对象物的检测距离的值彼此接近时，图像处理装置300将图像分类成通过拍摄对象物获得的对象物图像。
或者，尽管图像处理装置300进一步将人物图像分类成肖像图像或群体图像，但是图像处理装置300可以不将人物图像分类成肖像图像或群体图像。
〈2.第二实施例>
[图像处理装置操作例子]
将参照图14到图20描述本技术的第二实施例。根据第二实施例的图像拾取设备 100的结构与图1所示的根据第一实施例的图像拾取设备100的结构类似。根据第二实施例的图像处理装置300的结构与图2所示的根据第一实施例的图像处理装置300类似。要注意，与第一实施例不同，在图像分类处理中没有检测到面部区域的情况下，根据第二实施例的图像处理装置300还执行拍摄距离分类处理。拍摄距离分类处理是关注于拍摄距离对图像进行分类的处理，并且具体地，拍摄距离分类处理是根据局部最大距离的值是否小于阈值z_nth来确定图像是否是微距图像的处理。这里，阈值z_nth是预定实数并且例如设置为O. 5米(m)。
图14是示出根据第二实施例的图像分类处理的例子的流程图。与第一实施例不同，在图像分类处理中没有检测到面部区域的情况下，根据第二实施例的图像处理装置300 还执行拍摄距离分类处理。在选择了面部检测距离后(步骤S913)，图像处理装置300确定是否检测到面部区域(步骤S914)。在检测到面部区域的情况下(步骤S914 :是)，图像处理装置300执行拍摄目标分类处理(步骤S920)。在没有检测到面部区域的情况下(步骤S914 否)，图像处理装置300执行拍摄距离分类处理，S卩，关注于拍摄距离而对图像进行分类的处理(步骤S930)。在执行步骤S920或步骤S930后，图像处理装置300终止图像分类处理。
图15是示出根据第二实施例的拍摄距离分类处理的例子的流程图。图像处理装置300确定局部最大距离z_lmax是否小于阈值z_nth (步骤S933)。注意,在选择了多个局部最大距离z_lmax的情况下，图像处理装置300将具有最大频率F的局部最大点的局部最大距离z_lmax与阈值z_nth进行比较。
在局部最大距离z_lmax等于或大于阈值z_nth的情况下(步骤S933 :否)，图像处理装置300确定局部最大距离z_lmax是否大于阈值z_fth(步骤S934)。对于阈值z_fth, 设置大于阈值z_nth的实数(例如，10米)。
在局部最大距离z_lmax小于阈值z_nth的情况下(步骤S933 :是)，图像处理装置 300将图像分类成微距图像(步骤S935)。在局部最大距离z_lmax大于阈值z_fth的情况下(步骤S934 :是)，图像处理装置300将图像分类成风景图像(步骤S936)。在局部最大距离z_lmax小于或等于阈值z_fth的情况下(步骤S934 :否)，图像处理装置300将图像分类成其它图像(步骤S937)。在执行步骤S935、S936或S937后，图像处理装置300终止拍摄距离分类处理。
图16是根据第二实施例的要被分类成微距图像的图像540的例子。微距拍摄的昆虫占据了图像540的中心附近的某部分。由于没有人物占据了图像540的部分，所以没有检测到面部区域。由于迫近被摄体被拍摄为主要被摄体，所以图像540是微距图像。
图17是示出根据第二实施例的分类成微距图像的图像540的深度频率分布的例子的曲线图。在该图中，生成了柱状图，其中，水平轴表示深度z而垂直轴表示频率F，并且关于每个深度z，频率F的幅度被表示为柱的高度。在这个柱状图中，与频率F为局部最大的局部最大点P对应的深度被选择为局部最大距离z_lmax。局部最大距离z_lmax的值小于阈值z_nth。此外，如上所述没有从图像540检测到面部区域。由于这个原因，图像处理装置300将被表示为这种柱状图的图像540分类成微距图像。
如上所述，通过确定局部最大距离的值是否小于阈值并且是否检测到面部区域， 图像处理装置300能够明确地将图像分类成微距图像。这是因为人物之外的微距拍摄的被摄体通常占据了微距图像中的相对大部分，结果，没有检测到面部区域并且常常发生局部 最大距离z_lmax的值变得较小。
图18是根据第二实施例的分类成风景图像的图像550的例子。诸如云和地平线 的远方风景占据图像550的某部分。因为风景被拍摄为主要被摄体，所以图像550是风景 图像。
图19是示出根据第二实施例的分类成风景图像的图像550的深度频率分布的例 子的曲线图。在该图中，生成了柱状图，其中，水平轴表示深度z，垂直轴表示频率F，并且关 于每个深度z，频率F的幅度被表示为柱的高度。在这个柱状图中，与频率F为局部最大的 局部最大点P对应的深度被选择为局部最大距离z_lmax。局部最大距离z_lmax的值大于 阈值z_fth。由于这个原因，图像处理装置300将被表示为这种柱状图的图像550分类成风 景图像。
图像处理装置300通过确定局部最大距离的值是否大于阈值能够明确地将图像 分类成风景图像。这是因为远方风景通常占据风景图像的某部分作为主要被摄体，常常发 生局部最大距离z_lmax的值变得较大。
如上所述，根据本技术的第二实施例，图像处理装置300根据局部最大距离的值 的大小以及面部检测距离的值与局部最大距离的值之间的接近度，能够明确地将图像分类 成微距图像或人物图像。
[变型例]
将参照图20描述根据第二实施例的变型例。图20是示出根据第一变型例的拍摄 距离分类处理的例子的流程图。与第二实施例不同，在本变型例的拍摄距离分类处理中，即 使在超焦点距离H的值小于阈值的情况下，图像处理装置300仍确定图像是微距图像。这 里，超焦点距离H是在对距离H处的被摄体进行对焦的情况下景深在从H/2到无穷远的范 围内延伸的距离。在超焦点距离H的值小于阈值z_nth的情况下，假设对低于阈值的距离 处的被摄体进行对焦拍摄。因此，图像处理装置300能够确定图像是微距图像。
在拍摄距离分类处理中，图像处理装置300计算超焦点距离H(步骤S931)。例如， 通过下面的公式I计算超焦点距离H的值。在下面的公式I中，N表示孔径值，c表示图像 中允许焦外成像的容许弥散圆(permissible circle of confusion)的直径。例如,H和c 以米(m)为单位测量。
H=f~2/(Nc) 公式 I
图像处理装置300确定超焦点距离H的值是否小于阈值z_nth(步骤S932)。在超 焦点距离H的值小于阈值z_nth的情况下(步骤S932 :是)，图像处理装置300将图像分类成 微距图像(步骤S935)。在超焦点距离H的值等于或大于阈值z_nth的情况下(步骤S932 否)，图像处理装置300确定局部最大距离z_lmax的值是否小于阈值z_nth (步骤S933)。 步骤S933后的处理步骤与第二实施例中的那些步骤类似。
如上所述，根据第二实施例的变型例，在超焦点距离或局部最大距离的值小于阈 值的情况下，图像处理装置300能够确定图像是微距图像。即，图像处理装置300能够将微 距拍摄的被摄体占据相对大部分的图像或对迫近被摄体聚焦的图像分类成微距图像。
〈3.第三实施例〉
[图像处理装置结构例子]
将参照图21到图24描述本技术的第三实施例。根据第三实施例的图像拾取设备 100的结构与图1所示的根据第一实施例的图像拾取设备100的结构类似。图21是示出根 据第三实施例的图像处理装置300的结构例子的框图。与第一实施例不同，根据第三实施 例的图像处理装置300在图像拾取设备控制部分320中还包括分类结果附加部分326。第 三实施例的图像分类部分325将分类结果还输出到分类结果附加部分326。
分类结果附加部分326将由图像分类部分325获得的分类结果与图像数据相关联 地存储在图像数据存储部分180中。分类结果附加部分326例如通过将分类结果作为Exif 标准下的标记附加到图像数据，对二者进行关联。注意，分类结果附加部分326是本公开的 权利要求中的记录部分的例子。
此外，在分类结果附加到图像数据的情况下，第三实施例的面部检测距离选择部 分315和局部最大距离选择部分316不执行面部检测距离和局部最大距离的选择。类似地， 在分类结果附加到图像数据的情况下，图像分类部分325不执行图像的分类而通过利用附 加的分类结果执行搜索。
[数据文件结构]
图22是示出了根据第三实施例的数据文件中的附属信息的数据结构的例子的 图。图像数据的附属信息(标记)存储在应用标记段I(APPl)中的第零个IFD中。附属信息 被分段成版本标签、用户信息标签、拍摄条件标签等。版本标签包括Exif版本和对应flash fix版本。用户信息标签包括制造者注释、用户评论等。拍摄条件标签包括曝光时间、F数、 镜头的焦距等。例如，分类结果附加部分326将分类结果存储在制造者注释的区域中。
[图像处理装置操作例子]
图23是示出根据第三实施例的图像处理装置300的操作例子的流程图。与在第 一实施例中执行的操作不同，根据第三实施例的图像处理装置300还执行步骤S904。
在读取与图像数据对应的深度数据后(步骤S903)，图像处理装置300确定是否将 分类结果附加到图像数据(步骤S904)。在分类结果没有附加到图像数据的情况下(步骤 S904 :否)，图像处理装置300执行图像分类处理(步骤S910)。在分类结果附加到图像数据 (步骤S904 :是)的情况下或者在执行步骤S910后，图像处理装置300显示搜索结果(步骤 S941)。
图24是示出根据第三实施例的图像分类处理的例子的流程图。与第一实施例不 同，在根据第三实施例的图像分类处理中还执行步骤S940。图像处理装置300执行拍摄目 标分类处理(步骤S920)并且随后将分类结果附加到图像数据(步骤S940)。在执行步骤 S940后，图像处理装置300终止图像分类处理。
如上所述，根据第三实施例，在如需要图像分类处理的图像搜索的情况下图像处 理装置300对图像进行分类并且将分类结果与图像进行关联，从而图像处理装置300能够 省去随后的原本必须的分类处理。
〈4.第四实施例〉
[图像处理装置结构例子]
将参照图25和图26描述本技术的第四实施例。与第三实施例不同，根据第四实 施例的图像处理装置300不是在存储图像数据之后而是在之前将分类结果与图像数据进 行关联。图25是示出根据第四实施例的图像处理装置300的结构例子的框图。与第三实施例不同，根据第四实施例的图像处理装置300包括附属信息附加部分327以替代深度数据附加部分322、图像获取部分323、深度获取部分324和分类结果附加部分326。附属信息附加部分327通过将深度数据和分类结果附加到图像数据而存储图像数据。第四实施例的图像获取部分312将图像数据输出到附属信息附加部分327。第四实施例的深度生成部分 313将深度数据输出到附属信息附加部分327、面部检测距离选择部分315和局部最大距离选择部分316。第四实施例的面部检测部分314检测从A/D转换部分150输出的图像数据中的面部区域。
[图像处理装置操作例子]
图26是示出根据第四实施例的图像处理装置300的操作例子的流程图。例如当执行用于拍摄被摄体的处理时，这个操作启动。图像处理装置300确定是否按下了快门按钮 (步骤S951)。当没有按下快门按钮时(步骤S951 :否)，图像处理装置300返回到步骤S951。
当按下了快门按钮时(步骤S951 :是)，图像处理装置300从A/D转换部分150获取图像数据(步骤S952 )。图像处理装置300与包括在图像数据中的像素相关联地生成深度 (步骤S953)。然后，图像处理装置300执行图像分类处理(步骤S960)。根据第四实施例的图像分类处理是与图11所示的根据第一实施例的图像分类处理(步骤S910)类似的处理。 图像处理装置300通过将分类结果和深度数据附加到图像数据将图像数据存储在图像数据存储部分180中(步骤S970)。在执行步骤S970后，图像处理装置300终止用于拍摄被摄体的处理。
如上所述，根据第四实施例，在通过在存储图像数据之前将分类结果与图像数据进行关联来存储图像数据后，图像处理装置300能够省去图像的分类处理。
注意，在第三和第四实施例中，图像处理装置300可以将选择的局部最大距离附加到图像数据以替代分类结果。结果，读取了已附加了局部最大距离的图像数据的图像处理装置不需要生成频率分布以及选择局部最大距离。此外，在附加局部最大距离后图像处理装置300改变图像分类处理的内容并且对图像再分类的情况下，例如，变得不需要选择局部最大距离。具体地讲，在图像处理装置300改变阈值δ、阈值z_nth或者阈值2_代1!并且对图像再分类的情况下，不必再次选择局部最大距离。
上述实施例指示用于实现本公开的例子和根据实施例的事项，上述例子和事项的每一个与下面解释的权利要求中要求的元素具有对应关系。类似地，权利要求中要求的元素的每一个与具有相同名称的根据本技术的实施例的事项具有对应关系。然而，本公开不限于这些实施例。在不脱离本公开的精神的情况下可以应用多种变型以实施本公开。
另外，以上实施例中的上述过程可被认作具有这一系列过程的方法或者使得计算机执行这一系列过程的程序或者存储该程序的存储介质。存储介质可以包括⑶(紧凑盘)、 MD (迷你盘)、DVD (数字多功能盘)、记忆卡、蓝光盘 、诸如闪存的非易失性存储器等。
此外，本技术还可以被构造如下。
(I) 一种图像处理装置，包括
图像获取部分，获取图像；
深度获取部分，与包括在图像中的像素相关联地获取深度；
对象物检测部分，检测图像中的预定对象物的区域；
对象物检测距离选择部分，选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离；
局部最大距离选择部分，选择在所述深度的频率分布中具有局部最大频率的深度 作为局部最大距离；以及
确定部分，根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于 预定值，确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
(2)根据(I)的图像处理装置，其中，对象物检测部分检测人物的面部区域作为对 象物的区域，以及
确定部分在所述接近度高于预定值的情况下确定所述图像是通过拍摄所述人物 而获得的人物图像。
(3)根据(2)的图像处理装置，其中，在确定所述图像是人物图像的情况下，当检 测到的面部区域的数目小于预定数目时，确定部分确定该人物图像是通过拍摄特定人物而 获得的肖像图像；以及当检测到的面部区域的数目等于或大于预定数目时，确定部分确定 该人物图像是通过拍摄多个聚集人物而获得的群体图像。
(4)根据(I)到(3)的任何一个的图像处理装置，其中，确定部分在所述接近度高 于预定值的情况下确定所述图像是对象物图像，并且在所述接近度等于或低于预定值的情 况下确定所述图像是通过拍摄风景而获得的风景图像。
(5)根据(I)到(4)的任何一个的图像处理装置，还包括记录部分，该记录部分与 所述图像相关联地存储由确定部分执行的确定结果。
(6) 一种图像处理装置，包括
图像获取部分，获取图像；
深度获取部分，与包括在图像中的像素相关联地获取深度；
对象物检测部分，检测图像中的预定对象物的区域；
对象物检测距离选择部分，在检测到对象物的区域的情况下选择与包括在检测到 的区域中的像素对应的深度作为对象物检测距离；
局部最大距离选择部分，选择在所述深度的频率分布中具有局部最大频率的深度 作为局部最大距离；以及
确定部分，在选择了对象物检测距离的情况下，根据对象物检测距离的值与局部 最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而 获得的对象物图像，以及在没有选择对象物检测距离的情况下根据局部最大距离的值是否 小于阈值确定所述图像是否是微距图像。
(7)根据(6)的图像处理装置，其中，在没有选择对象物检测距离的情况下，当拍摄 所述图像的图像拾取设备的超焦点距离或所述局部最大距离的值小于阈值时，确定部分确 定所述图像是微距图像。
(8) 一种控制图像处理装置的方法，包括
由图像获取部分获取图像；
由深度获取部分与包括在图像中的像素相关联地获取深度；
由对象物检测部分检测图像中的预定对象物的区域；
由对象物检测距离选择部分选择与包括在检测到的区域中的像素对应的深度作 为对象物检测距离；
由局部最大距尚选择部分选择在所述深度的频率分布中具有局部最大频率的深 度作为局部最大距离；以及
由确定部分根据对象物检测距离的值与局部最大距离的值之间的接近度是否高 于预定值来确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
(9) 一种使得计算机执行如下处理的程序
由图像获取部分获取图像；
由深度获取部分与包括在图像中的像素相关联地获取深度；
由对象物检测部分检测图像中的预定对象物的区域；
由对象物检测距离选择部分选择与包括在检测到的区域中的像素对应的深度作 为对象物检测距离；
由局部最大距离选择部分选择在所述深度的频率分布中具有局部最大频率的深 度作为局部最大距离；以及
由确定部分根据对象物检测距离的值与局部最大距离的值之间的接近度是否高 于预定值来确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
本领域技术人员应该明白，可以根据设计要求和其它因素想到各种变型、组合、子 组合和变更，只要它们位于权利要求或它们的等同物的范围内即可。
本公开包含与于2011年9月20日提交到日本专利局的日本优先权专利申请JP 2011-204032中公开的主题有关的主题，通过引用将其全部内容并入本文。
权利要求
1.一种图像处理装置，包括 图像获取部分，获取图像； 深度获取部分，与包括在图像中的像素相关联地获取深度； 对象物检测部分，检测图像中的预定对象物的区域； 对象物检测距离选择部分，选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离； 局部最大距离选择部分，选择在所述深度的频率分布中具有局部最大频率的深度作为局部最大距离；以及 确定部分，根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
2.根据权利要求1的图像处理装置，其中，对象物检测部分检测人物的面部区域作为对象物的区域，以及 确定部分在所述接近度高于预定值的情况下确定所述图像是通过拍摄所述人物而获得的人物图像。
3.根据权利要求2的图像处理装置，其中，在确定所述图像是人物图像的情况下，确定部分当检测到的面部区域的数目小于预定数目时确定该人物图像是通过拍摄特定人物而获得的肖像图像，以及当检测到的面部区域的数目等于或大于预定数目时确定该人物图像是通过拍摄多个聚集人物而获得的群体图像。
4.根据权利要求1的图像处理装置，其中，确定部分在所述接近度高于预定值的情况下确定所述图像是对象物图像以及在所述接近度等于或低于预定值的情况下确定所述图像是通过拍摄风景而获得的风景图像。
5.根据权利要求1的图像处理装置，还包括记录部分，该记录部分与所述图像相关联地存储由确定部分执行的确定结果。
6.根据权利要求1的图像处理装置，还包括记录部分，该记录部分与所述图像相关联地存储由局部最大距离选择部分选择的局部最大距离。
7.一种图像处理装置，包括 图像获取部分，获取图像； 深度获取部分，与包括在图像中的像素相关联地获取深度； 对象物检测部分，检测图像中的预定对象物的区域； 对象物检测距离选择部分，在检测到对象物的区域的情况下选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离； 局部最大距离选择部分，选择在所述深度的频率分布中具有局部最大频率的深度作为局部最大距离；以及 确定部分，在选择了对象物检测距离的情况下根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像，以及在没有选择对象物检测距离的情况下根据局部最大距离的值是否小于阈值确定所述图像是否是微距图像。
8.根据权利要求7的图像处理装置，其中，在没有选择对象物检测距离的情况下，当拍摄所述图像的图像拾取设备的超焦点距离或所述局部最大距离的值小于阈值时，确定部分确定所述图像是微距图像。
9.一种控制图像处理装置的方法，包括 由图像获取部分获取图像； 由深度获取部分与包括在图像中的像素相关联地获取深度； 由对象物检测部分检测图像中的预定对象物的区域； 由对象物检测距离选择部分选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离； 由局部最大距离选择部分选择在所述深度的频率分布中具有局部最大频率的深度作为局部最大距离；以及 由确定部分根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
10.一种使得计算机执行如下处理的程序 由图像获取部分获取图像； 由深度获取部分与包括在图像中的像素相关联地获取深度； 由对象物检测部分检测图像中的预定对象物的区域； 由对象物检测距离选择部分选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离； 由局部最大距离选择部分选择在所述深度的频率分布中具有局部最大频率的深度作为局部最大距离；以及 由确定部分根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
全文摘要
本发明涉及图像处理装置和控制图像处理装置的方法。提供了一种图像处理装置，包括图像获取部分，获取图像；深度获取部分，与包括在图像中的像素相关联地获取深度；对象物检测部分，检测图像中的预定对象物的区域；对象物检测距离选择部分，选择与包括在检测到的区域中的像素对应的深度作为对象物检测距离；局部最大距离选择部分，选择在所述深度的频率分布中具有局部最大频率的深度作为局部最大距离；以及确定部分，根据对象物检测距离的值与局部最大距离的值之间的接近度是否高于预定值确定所述图像是否是通过拍摄所述对象物而获得的对象物图像。
文档编号H04N5/232GK103020101SQ20121033882
公开日2013年4月3日 申请日期2012年9月13日 优先权日2011年9月20日
发明者铃木奈穂, 原野猛 申请人:索尼公司