图像处理设备和方法、图像捕捉设备、以及程序的制作方法

专利名称：图像处理设备和方法、图像捕捉设备、以及程序的制作方法
技术领域：
本发明涉及图像处理设备和方法、图像捕捉设备、以及程序，特别地，涉及使得即 使对于除人以外的对象也可以修剪出具有最佳构图的图像的图像处理设备和方法、图像捕 捉设备、以及程序。
背景技术：
在用诸如数码相机的图像捕捉设备来拍摄对象时，进行拍摄以取得喜欢的构图。 由于在拍摄时适当地设置构图需要技巧，所以通过拍摄得到的图像并非总是具有期望的构 图。在这种情况下，存在对图像执行修整以取得期望的构图的技术。例如，提出了执行修整而不引起人体或重要背景的损失(参见例如专利文献1)。专利文献1 日本未审查专利申请公开第2008-42800号

发明内容
技术问题然而，根据专利文献1的技术是基于对象中包括人的假设，恐怕对于包括除人以 外的对象的图像无法实现最佳修整。本发明是鉴于以上情景做出的，并且使得即使对于除人以外的对象也可以修剪出 具有最佳构图的图像。技术方案根据本发明第一方面的图像处理设备包括设置装置，用于基于输入图像中被关 注的显著区域的数量、以及输入图像的场景，设置对应于该输入图像的构图模式；以及确定 装置，用于基于设置装置所设置的构图模式，确定输入图像中对于要从输入图像按该构图 模式修剪出的图像而言最佳的修剪区域。图像处理设备可以进一步包括修剪装置，用于从输入图像修剪出确定装置所确 定的修剪区域。确定装置可以基于设置装置所设置的构图模式，确定输入图像中对于要从输入图 像按该构图模式修剪出的图像而言最佳的修剪区域的多个候选，图像处理设备可以进一步 包括显示装置，用于在输入图像上显示修剪区域的多个候选；以及选择装置，用于选择显 示装置所显示的修剪区域的多个候选中的一个候选，并且修剪装置可以从输入图像修剪出 选择装置所选择的修剪区域。图像处理设备可以进一步包括提取装置，用于提取输入图像中被关注的每个显 著区域；以及甄别装置，用于甄别输入图像的场景。确定装置可以确定修剪区域，以使得包括输入图像中所有被关注的显著区域的最 小矩形区域的中心位置靠近输入图像中修剪区域的中心。确定装置可以确定修剪区域，以使得修剪区域变得更大，并且使得包括输入图像 中所有被关注的显著区域的最小矩形区域与修剪区域之间的公共区域变得更大。
确定装置可以确定修剪区域，以使得修剪区域不脱离输入图像。图像处理设备可以进一步包括判断装置，用于通过将输入图像的宽高比与预定 阈值相比较来判断输入图像是否是全景图像，并且如果判断装置判定输入图像是全景图 像，则确定装置可以基于设置装置所设置的构图模式，确定输入图像中对于要从输入图像 按该构图模式修剪出的图像而言最佳的修剪区域的多个候选。 图像处理设备可以进一步包括添加装置，用于将表示确定装置所确定的修剪区 域的信息添加到输入图像作为EXIF (Exchangeable Image File，可交换图像文件)信息。输入图像中被关注的对象可以包括在每个显著区域中，图像处理设备可以进一步 包括检测装置，用于检测对象的朝向，并且确定装置可以基于设置装置所设置的构图模 式、以及检测装置所检测出的对象的朝向，确定输入图像中对于要从输入图像按该构图模 式修剪出的图像而言最佳的修剪区域。输入图像中被关注的对象可以包括在每个显著区域中，图像处理设备可以进一步 包括运动方向确定装置，用于确定对象运动的方向，并且确定装置可以基于设置装置所设 置的构图模式、以及运动方向确定装置所确定的对象运动的方向，确定输入图像中对于要 从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。图像处理设备可以进一步包括总体运动计算装置，用于得出输入图像的总体运 动；以及局部运动计算装置，用于得出每个显著区域的运动，并且运动方向确定装置可以基 于总体运动计算装置所得出的输入图像的总体运动的朝向、以及局部运动计算装置所得出 的每个显著区域的运动的朝向，确定对象运动的方向。根据本发明第一方面的图像处理方法包括设置步骤，用于基于输入图像中被关 注的显著区域的数量、以及输入图像的场景，设置对应于输入图像的构图模式；以及确定步 骤，用于基于设置步骤中所设置的构图模式，确定输入图像中对于要从输入图像按该构图 模式修剪出的图像而言最佳的修剪区域。根据本发明第一方面的程序使得计算机执行包括如下步骤的处理设置步骤，用 于基于输入图像中被关注的显著区域的数量、以及输入图像的场景，设置对应于输入图像 的构图模式；以及确定步骤，用于基于设置步骤中所设置的构图模式，确定输入图像中对于 要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。根据本发明第二方面的图像捕捉设备包括图像捕捉装置，用于捕捉对象；获取 装置，用于获取图像捕捉装置捕捉到的捕捉图像的场景；设置装置，用于基于包括捕捉图像 中被关注对象的显著区域的数量、以及获取装置所获取的场景，设置对应于捕捉图像的构 图模式，以及确定装置，用于基于设置装置所设置的构图模式，确定捕捉图像中对于要从捕 捉图像按该构图模式修剪出的图像而言最佳的修剪区域。在本发明的第一方面中，基于输入图像中被关注的显著区域的数量、以及输入图 像的场景来设置对应于输入图像的构图模式，并且基于所设置的构图模式确定输入图像中 对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。在本发明的第二方面中，捕捉对象，获取捕捉到的捕捉图像的场景，基于包括捕捉 图像中被关注对象的显著区域的数量、以及所获取的场景来设置对应于捕捉图像的构图模 式，并且基于所设置的构图模式确定捕捉图像中对于要从捕捉图像按该构图模式修剪出的 图像而言最佳的修剪区域。
根据本发明的第一和第二方面，即使对于除人以外的对象，也可以修剪出具有最 佳构图的图像。


[图1]图1是示出了应用了本发明的图像处理设备的实施例的功能配置实例的方 框图。[图2]图2是示出了显著区域提取部的功能配置实例的方框图。[图3]图3是示出了图1的图像处理设备中的图像修剪处理的流程图。[图4]图4是示出了显著区域的实例的图。[图5]图5是示出了基于显著区域的数量以及场景设置的构图模式的图。[图6]图6是示出了构图模式设置部件设置的构图模式的实例的图。
[图7]图7是示出了修剪区域确定处理的流程图。[图8]图8是示出了能量函数E。的系数的图。[图9]图9是示出了三分构图中的显著区域的图。[图10]图10是示出了九分构图的图。[图11]图11是示出了能量函数Es的创建的图。[图12]图12是示出了能量函数Ep的创建的图。[图13]图13是示出了最佳修剪区域的实例的图。[图14]图14是示出了最佳修剪区域的图像的实例的图。[图15]图15是示出了图像处理设备的另一配置实例的方框图。[图16]图16是示出了图15的图像处理设备中的图像修剪处理的流程图。[图17]图17是示出了根据物体的构图模式的实例的图。[图18]图18是示出了图像处理设备的又一配置实例的图。[图19]图19是示出了图18的图像处理设备中的图像修剪处理的流程图。[图20]图20是示出了修剪区域候选确定处理的流程图。[图21]图21是示出了修剪区域候选的显示实例的图。[图22]图22是示出了确认屏幕的显示实例的图。[图23]图23是示出了图像处理设备的另一配置实例的方框图。[图24]图24是示出了图23的图像处理设备中的图像修剪处理的流程图。[图25]图25是示出了目标函数E的系数的图。[图26]图26是示出了在全景图像中修剪出修剪区域候选的图像的图。[图27]图27是示出了图像处理设备的又一配置实例的方框图。[图28]图28是示出了图像处理设备的又一配置实例的方框图。[图29]图29是示出了图28的图像处理设备中的图像修剪处理的流程图。[图30]图30是示出了图像处理设备的又一配置实例的方框图。[图31]图31是示出了图30的图像处理设备中的图像修剪处理的流程图。[图32]图32是示出了应用了本发明的图像捕捉设备的实施例的功能配置实例的 方框图。[图33]图33是示出了图32的图像捕捉设备中的图像修剪处理的流程图。
[图34]图34是示出了图像处理设备的又一配置实例的方框图。[图35]图35是示出了图34的图像处理设备中的图像修剪处理的流程图。[图36]图36是示出了朝向检测处理的流程图。[图37]图37是示出了图34的图像处理设备中的图像修剪处理的流程图。[图38]图38是示出了朝向信息的图。[图39]图39是示出了三分构图的图。[图40]图40是示出了朝向信息的图。[图41]图41是示出了图像处理设备的又一配置实例的方框图。[图42]图42是示出了图41的图像处理设备中的图像修剪处理的流程图。[图43]图43是示出了运动方向确定处理的流程图。[图44]图44是示出了图41的图像处理设备中的图像修剪处理的流程图。[图45]图45是示出了运动方向信息的图。[图46]图46是示出了计算机的硬件配置实例的方框图。
具体实施例方式在下文中，将参照附图对本发明的实施例进行描述。应当注意，将以如下次序给出 描述。1.第一实施例2.第二实施例3.第三实施例4.第四实施例5.第五实施例6.第六实施例7.第七实施例8.第八实施例9.第九实施例10.第十实施例<第一实施例>[图像处理设备的配置实例]图1示出了应用了本发明的图像处理设备的实施例的功能配置实例。图1中的图像处理设备11根据从诸如数码相机的图像捕捉设备输入的输入图像 的显著区域和场景来设置构图模式，并输出最佳修剪区域中修剪出的图像作为基于该构图 模式的输出图像。图像处理设备11包括显著区域提取部件31、场景甄别部件32、构图模式设置部件 33、构图分析部件34、以及图像修剪部件35。输入到图像处理设备11的输入图像被提供给显著区域提取部件31、场景甄别部 件32、以及图像修剪部件35。显著区域提取部件31提取输入图像中被关注的显著区域，并将表示显著区域的显著区域信息提供给构图模式设置部件33。显著区域是输入图像中包括(环绕)对象(物体)的矩形区域。针对输入图像中的对象数量设置和提取显著区域。此外，显著区域信息 是例如矩形区域顶点的位置等等。图2示出了显著区域提取部件31的功能配置实例。显著区域提取部件31包括显著性计算部件51、显著矩形区域确定部件52、以及面 部矩形区域确定部件53。显著性计算部件51得出关于输入图像的每个像素的特征量，并根据特征量计算 各个像素的显著性。此处，特征量是图像边缘部分的尺寸、与附近像素的色调差、图像预定 区域中的色彩分布、整个图像的平均色与每个像素的色调之间的差异等等。此外，显著性计 算部件51根据各像素的显著性(特征量)生成对应于单个输入图像的显著性图，并将显著 性图提供给显著矩形区域确定部件52。显著性计算部件51生成的显著性图可以说是表示 如下区域的信息该区域包括单个输入图像中被关注的对象。另外，显著性计算部件51根据关于单个输入图像的每个像素所得出的特征量来 计算面部性(面部相似性)，从而生成对应于单个输入图像的面部性图，并将面部性图提供 给面部矩形区域确定部件53。显著性计算部件51生成的面部性图可以说是表示如下区域 的信息该区域包括单个输入图像中被关注的面部。 显著矩形区域确定部件52基于来自显著性计算部件51的显著性图确定显著矩形 区域，并将表示显著矩形区域的显著矩形区域信息提供给构图模式设置部件33。更具体地， 在显著性图中，显著矩形区域确定部件52将显著性高于预定阈值的像素(位置)设置为矩 形的中心，并将其附近的显著性低于另一阈值的像素(位置)设置为矩形的端点(顶点)， 从而确定显著矩形区域。此外，如果确定了多个显著矩形区域，则当矩形的中心之间的距离小于预定距离 时，将包括所有这些区域的最小矩形区域设置为显著矩形区域。面部矩形区域确定部件53基于来自显著性计算部件51的面部性图确定面部矩 形区域，并将表示面部矩形区域的面部矩形区域信息提供给构图模式设置部件33。更具体 地，在面部性图中，面部矩形区域确定部件53将面部的鼻子的像素(位置)设置为矩形的 中心，并将其附近的面部性出现突然改变(降低)的像素(位置)设置为矩形的端点(顶 点)，从而确定面部矩形区域。应当注意，显著矩形区域确定部件52获得的显著矩形区域、以及面部矩形区域确 定部件53获得的面部矩形区域统称为显著区域信息。回到图1，场景甄别部件32对输入图像执行频率转换以提取频率信息，以频率信 息作为特征量(矢量)来甄别输入图像的场景，并将作为甄别结果获得的、表示场景的场景 信息提供给构图模式设置部件33。更具体地，场景甄别部件32通过使用用于学习以及例如 诸如SVM(支持向量机)的机器学习的预设图像来执行场景甄别。在SVM中执行两类别甄别(一对一甄别)。例如，将类别判定为类别“海岸”和其 它类别、类别“乡村景观”和其它类别、类别“天空”和其它类别、类别“山”和其它类别等等， 并且将它们各自的分值进行比较，其中使得具有最高分值的类别作为甄别的结果。应当注意，虽然场景甄别部件32采用SVM，但这并非限制性的。例如，可以采用使 用神经网络的模式识别、或者基于模式匹配的模式识别等。构图模式设置部件33基于来自场景甄别部件32的场景信息、以及来自显著区域提取部件31的显著区域信息的数量来设置对应于输入图像的构图模式，并将构图模式提 供给构图分析部件34。构图模式是与场景、以及显著区域(对象)的数量相关联地预先确 定的。有关构图模式的详细内容将在后面参照图5进行描述。基于来自构图模式设置部件33的构图模式，构图分析部件34确定输入图像中对 于要按该构图模式修剪出的图像而言最佳的修剪区域，并将最佳修剪区域提供给图像修剪 部件35。构图分析部件34包括构图模型创建部件34a、安全模型创建部件34b、惩罚 (penalty)模型创建部件34c、目标函数创建部件34d、以及优化部件34e。构图模型创建部件34a基于来自构图模式设置部件33的构图模式创建表示修剪 区域的构图模型。构图模型以预定能量函数E。来表示。安全模型创建部件34b创建用于防止修剪区域变得太小的安全模型。安全模型以 预定能量函数Es来表示。惩罚模型创建部件34c创建用于估算修剪区域的脱离输入图像的区域面积的惩 罚模型。惩罚模型以预定能量函数Ep来表示。目标函数创建部件34d根据表示构图模型的能量函数E。、表示安全模型的能量函 数Es、以及表示惩罚模型的能量函数Ep创建目标函数E。优化部件34e确定使目标函数E最小化的修剪区域，并将修剪区域作为最佳修剪 区域提供给图像修剪部件35。有关能量函数E。、Es和Ep、以及目标函数E的详细内容将在后面进行描述。图像修剪部件35基于来自构图分析部件34的最佳修剪区域从所输入的输入图像 修剪出最佳修剪区域的图像，并输出修剪出的图像。[图像处理设备中的图像修剪处理]接下来，参照图3中的流程图，将对图1的图像处理设备11中的图像修剪处理给 出描述。在步骤Sll中，显著区域提取部件31生成对应于输入图像的显著性图和面部性 图。更具体地，显著性计算部件51生成对应于输入图像的显著性图，并将显著性图提供给 显著矩形区域确定部件52，并且还生成对应于输入图像的面部性图，并将面部性图提供给 面部矩形区域确定部件53。在步骤S12中，显著区域提取部件31基于显著性图和面部性图提取和确定输入图 像中被关注的显著区域。更具体地，显著矩形区域确定部件52基于来自显著性计算部件51 的显著性图确定显著矩形区域，并将表示显著矩形区域的显著矩形区域信息提供给构图模 式设置部件33。此外，面部矩形区域确定部件53基于来自显著性计算部件51的面部性图 确定面部矩形区域，并将表示面部矩形区域的面部矩形区域信息提供给构图模式设置部件 33。应当注意，虽然在步骤S12中显著矩形区域和面部矩形区域均被确定成显著区域，但面部矩形区域也可以被共同处理成显著矩形区域。图4中示出了以此方式确定的显著区域的实例。在图4中，输入图像P是在天空中飞的一只鸟(鹤)的图像。如图4中所示，根据 步骤S12中的处理，这只鸟被关注，并且确定单个显著区域L以包括这只鸟。
回到图3中的流程图，在步骤S13中，场景甄别部件32对输入图像执行频率转换 以提取频率信息，以频率信息作为特征量(矢量)来甄别输入图像的场景，并将作为甄别结 果的、表示场景的场景信息提供给构图模式设置部件33。在步骤S14中，构图模式设置部件33基于来自场景甄别部件32的场景信息、以及 来自显著区域提取部件31的显著区域信息的数量，设置对应于输入图像的构图模式，并将 该构图模式提供给构图分析部件34。此处，参照图5，将对基于场景、以及显著区域(对象)的数量设置的构图模式给出 描述。在图5中，各种构图模式均是与场景“海岸”、“乡村景观”、“天空”、“山”、“高速公 路”、“街道”、“城市”和“高层建筑物”中的每个场景、以及显著区域(对象)的数量相关联 地确定的。根据图5，例如，当场景为“海岸”的输入图像中显著区域的数量为0时(S卩，当只 存在海岸的景观时)，将水平构图设置为构图模式。当显著区域的数量为1时，将三分构图 和水平构图设置为构图模式。此外，当显著区域的数量为2至5时，将对比构图和水平构图 设置为构图模式，并且当显著区域的数量为6或更多时，将对比构图和水平构图设置为构 图模式。 此外，当场景为“乡村景观”的输入图像中显著区域的数量为0时(S卩，当只存在 乡村景观时)，将径向构图设置为构图模式。当显著区域的数量为1时，将三分构图和径向 构图设置为构图模式。此外，当显著区域的数量为2至5时，将对比构图和径向构图设置为 构图模式，并且当显著区域的数量为6或更多时，将径向构图和图案构图设置为构图模式。同样地，根据场景为“天空”的输入图像、场景为“山”的输入图像、场景为“高速公 路”的输入图像等中的显著区域的数量来设置构图模式。应当注意，当设置了两个构图模式时，设置满足这些构图中每个构图的构图模式。此外，参照图5描述的与场景以及显著区域的数量相关联的构图模式可以提前设 置，或者可以由用户适当地设置。此处，参照图6，将对构图模式设置部件33设置的构图模式的实例给出描述。图6中的构图A表示三分构图，其中对象放置在竖直线和水平线的交叉点上，从而 提供了良好均衡的图像。图6中的构图B表示对比构图，在这种构图中相似的对象或相同的对象并排布置。 在构图B中，通过将主要对象放置得大并将其它对象放置得小，突出了主要对象。图6中的构图C表示对角线构图，在期望产生韵律感时使用这种构图。另外，构图 C是使得可以有效地利用狭窄区域的构图。图6中的构图D表示径向构图，在期望产生开阔或扩张感时使用这种构图。对象 的实例包括树枝和破云而出的日光。图6中的构图E是水平构图，在期望给出横向扩张感时使用这种构图。可以通过 在竖直方向上移动水平线的位置来改变主题。图6中的构图F是竖直构图，在期望强调图像的竖直方向时使用这种构图。对象 的实例包括树干和道路。图6中的构图G是远景构图，在期望从没影点(图中对角线的交叉点)产生扩张感时使用这种构图。
图6中的构图H是图案构图，在这种构图中多个相似的对象有规则地放置，并且在 期望产生韵律感或一致感时使用这种构图。S卩，基于场景信息以及显著区域的数量，构图模式设置部件33从图6中所示的构 图模式之中设置图5中与场景以及显著区域的数量相关联的构图模式。应当注意，构图模 式的种类不限于图6中所示的八种，而是可以存在更多种模式。例如，对于图4中所示的输入图像P，由于显著区域的数量为1，并且场景是“天 空，，，所以构图模式设置部件33设置三分构图(构图A)，通过这种三分构图，这些内容在图 5中相关联。应当注意，在以下描述中，假设在步骤S14中将三分构图设置为输入图像P的构图 模式。回到图3中的流程图，在步骤S15中，构图分析部件34基于来自构图模式设置部 件33的构图模式执行修剪区域确定处理，并确定输入图像中对于要按该构图模式修剪出 的图像而言最佳的修剪区域。[构图分析部件中的修剪区域确定处理]此处，参照图7中的流程图，将对图3的流程图中的步骤S15中的修剪区域确定处 理给出描述。在步骤S31中，构图分析部件34的构图模型创建部件34a基于来自构图模式设置 部件33的构图模式创建表示修剪区域的构图模型。换言之，构图模型创建部件34a得出关 于构图模型的能量函数E。。能量函数E。以下面的公式(1)给出。[公式1] 在公式(1)中，Sva表示显著区域的面积，并且GDUm、Gllvn、以及Glffn以下面的公式 (2)给出。[公式2] 在公式⑵中，LDh、Ldv、以及Pd分别表示在输入图像中将水平方向分成三份的线 (水平三分线)、将竖直方向分成三份的线(竖直三分线)、以及水平三分线和竖直三分线的 交叉点(三分线交叉点)，并且Pn表示显著区域的中心位置。此外，d是修剪区域对角线的 长度，其以下面的公式(3)给出。
[公式3]^m^irnf^rnmJmimf ··{3)因此，公式⑴中的GDUm、Gmvn、以及Glipn的值分别随着显著区域的中心位置靠近水 平三分线、竖直三分线、以及三分线交叉点而变得更大。此外，公式(1)中的系数α ta、α νη、以及α ρη分别是如下这种参数该参数根据下 面的公式(4)给出的显著区域的宽高比“VA_aSpect_ration”，如图8的从上至下的图所示 而变化，假设显著区域的宽度和高度分别为“Crop_width”和“Cr0p_height”。在图8的从 上至下的图中，水平轴表示宽高比“VA_aSpeCt_rati0n”，而竖直轴表示系数α ta、α vn、以及 α pn中每个系数的值。[公式4]VA_aspect_ration = VA_widthn/VA_heightn ··· (4)根据图8顶部的图，当宽高比“VA_aSpeCt—ration”为0至r_min时，系数α ta变 成 1.0，并且当宽高比“VA_aSpect_rati0n”大于r_midl时，系数Cihn变成0.0。此外，当宽 高比 “VA_aspect_ration，，为 r_min 至 r_midl 时，系数 α ta 随着宽高比 VA_aspect_ration 增大而减小。即，在公式(1)中，系数Qhn在显著区域被竖直伸长时变得有效。根据图8中间的图，当宽高比VA_aSpeCt_ratiOn*0至r_mid2时，系数ανη变成 0. 0，并且当宽高比VA_aspect_ration大于r_max时，系数α vn变成1.0。此外，当宽高比 VA_aspect_ration 为 r_mid2 至 r_max 时，系数 α νη 随着宽高比 VA_aspect_ration 增大而 增大。即，在公式(1)中，系数α vn在显著区域被水平伸长时变得有效。根据图8底部的图，当宽高比VA_aspect_ration为0至r_min或者大于r_max时， 系数αρη变成0. 0，并且当宽高比VA_aspect_ration*r_midl至r_mid2时，系数αρη变成 1.0。此夕卜，当宽高比VA_aspect_ration*r_min至r_midl时，系数αρη随着宽高比VA_ aspect_ration±曾大而增大，并且当宽高比VA_aspect_r￡ition为r_mid2至r_max时，系数 αρη随宽高比VA_aSpeCt_ration增大而减小。S卩，在公式(1)中，系数Cipn在显著区域形状 接近于正方形时变得有效。根据以上内容，公式(1)表示如果显著区域分别被竖直伸长、水平伸长、或者形状 接近于正方形，则能量函数E。的值随着显著区域靠近水平三分线、竖直三分线、以及三分线 交叉点而变得更大。例如，在图9的实例中，由于显著区域Rh被竖直伸长并接近水平三分线，显著区域 Rv被水平伸长并接近竖直三分线，并且显著区域Rp形状接近于正方形并接近三分线交叉 点，所以能量函数E。变大。虽然以上描述关注于采用三分构图作为构图模式的情况，但例如，如图10中所 示，还可以采用通过进一步将三分构图中的单个划分区域划分成三份而获得的构图(九分 构图)。根据九分构图，可以预见到的是，该构图提供较之三分构图而言的纵深。关于九分构图的能量函数E。以下面的公式(5)给出。[公式5] 在公式(5)中，GdUm、GdLvn,以及Gdpn以下面的公式(6)给出。[公式6] 在公式(6)中，Ldh, Ldv、以及Pd分别表示在九分构图中将水平方向分成九份的线 (水平九分线)、将竖直方向分成九份的线(竖直九分线)、以及水平九分线和竖直九分线的 交叉点(九分线交叉点)。然而，应当注意，如图10中所示，三分构图中心处所划分区域内 的、水平九分线hla、hlb与竖直九分线via、vlb之间的交叉点不包括在内。此外，在公式(5)中，系数α &(1取0到1的值，并且是确定关于三分构图的能量函 数的值与关于九分构图的能量函数的值之间的比率的参数。例如，当要应用的构图模式只 是九分构图时，系数可以被设置为αΜ = 0。回到图7中的流程图，在步骤S32中，安全模型创建部件34b创建用于防止修剪区 域变得太小的安全模型。换言之，安全模型创建部件34b创建关于安全模型的能量函数Es。 能量函数Es以下面的公式(7)给出。[公式7] 此处，如图11中所示，使输入图像内包括所有显著区域的最小矩形为完整显著矩 形区域，其面积为Swa，并且中心位置为PWA。此外，使修剪区域的面积为Stop，并且中心位置 为P&。p。此外，使完整显著矩形面积与修剪区域之间公共区域的面积为SWA&&。P。此时，公式(7)的能量函数Es的值随着完整显著矩形区域与修剪区域之间公共区 域的面积SWMtt。p变得更大而变得更大(公式(7)的第一项)。此外，公式(7)的能量函数Es的值随着修剪区域的中心位置Ptop与完整显著矩形 区域的中心位置Pwa之间的距离变得更加接近而变得更大(公式(7)的第二项)。在步骤S33中，惩罚模型创建部件34c创建用于估算修剪区域的脱离输入图像的 区域面积的惩罚模型。换言之，惩罚模型创建部件34c创建关于惩罚模型的能量函数Ep。能 量函数Ep以下面的公式(8)给出。[公式8]
Ep=SOVER/SCROP …(8)此处，如图12中所示，使修剪区域的面积为Stojp，并且使脱离输入图像区域的修剪 区域的面积为Scjvct15此时，公式(8)的能量函数Ep的值随着脱离输入图像区域的修剪区域的面积Sqvct 变得更大而变得更大。应当注意，为了减少计算量，当修剪区域脱离输入图像区域时，可以 将能量函数总是设置为Ep = 1。在步骤S34中，目标函数创建部件34d根据能量函数E。、Es、以及Ep创建以下面的 公式(9)给出的目标函数E。[公式9]E=I/ (Ce XEc+Cs XEs) +CpXEp ... (9)在公式(9)中，系数Cc、Cs、以及Cp分别是关于能量函数E。、ES、以及Ep的调整函数。 公式(9)表示目标函数E的值越小，所获得的修剪区域变得越接近最佳修剪区域。在步骤S35中，优化部件34e基于关于使目标函数E最小化的修剪区域的位置信 息确定最佳修剪区域，并将最佳修剪区域提供给图像修剪部件35。更具体地，优化部件34e 通过使用粒子群优化(PSO)来优化目标函数E。在粒子群优化中，虽然多个变量随机改变，但随着变量中的一个变量靠近目标最 佳值，其它变量也靠近最佳值，并且重复此处理以使得多个变量变成其各自的最佳值。S卩，通过取修剪区域的修剪开始位置(水平方向/竖直方向)、以及修剪区域的尺 寸(宽度/高度)作为变量，优化部件34e通过粒子群优化得出使目标函数E最小化的位 置信息(修剪区域的开始位置和尺寸)。优化部件34e基于所得出的位置信息确定最佳修 剪区域，并且处理返回步骤S15。应当注意，在修剪区域的宽高比固定的情况下，优化部件34e可以将修剪区域的 修剪开始位置(水平方向和竖直方向)、以及修剪区域的尺寸(宽度)设置为变量。此外， 可以添加修剪区域的旋转角度作为变量。图13中示出了以此方式确定的最佳修剪区域的实例。如图13中所示，在输入图像P中，以如下这种方式确定最佳修剪区域P。该方式使 得单只鸟被放置在三分构图中的三分线交叉点的位置处。回到图3中的流程图，在步骤S16中，图像修剪部件35基于来自构图分析部件34 的最佳修剪区域，从所输入的输入图像修剪出最佳修剪区域的图像，并输出修剪出的图像。 例如，图像修剪部件35基于来自构图分析部件34的最佳修剪区域，在如图14中所示的三 分构图中修剪出最佳修剪区域P。的图像。根据以上处理，可以基于与输入图像的场景、以及输入图像中显著区域的数量相 关联的构图模式确定修剪区域。由于显著区域即使在对象并非人时也得以确定，所以即使 对于除人以外的对象也可以修剪出具有最佳构图的图像。此外，由于构图模式是基于场景 以及显著区域的数量设置的，所以无论输入图像的类别如何都可以修剪出具有最佳构图的 图像。虽然以上描述关注于与场景以及显著区域的数量相关联地提前确定的构图模式 的配置，但还可以对输入图像执行物体识别，并根据物体设置构图模式。
<2.第二实施例〉[图像处理设备的配置实例]图15示出了被配置成对输入图像执行物体识别、并根据物体设置构图模式的图 像处理设备的配置实例。应当注意，在图15的图像处理设备111中，功能与图1的图像处 理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适 当地略去了其描述。即，图15中的图像处理设备111与图1中的图像处理设备11的不同之处在于提 供了构图模式设置部件131来取代构图模式设置部件33。应当注意，在图15中，场景甄别部件32甄别输入图像的场景，并将作为甄别结果 获得的、表示场景的场景信息提供给构图模式设置部件131。构图模式设置部件131识别来自场景甄别部件32的输入图像中的物体。此外，构 图模式设置部件131基于来自场景甄别部件32的场景信息所表示的场景、以及识别出的物 体来设置对应于输入图像的构图模式，并将构图模式提供给构图分析部件34。构图模式设 置部件131针对各个场景存储提前确定了构图内物体的比例和放置的构图模式，并通过从 所存储的构图模式之中根据场景和物体选择构图模式来设置构图模式。可以以使得增强构 图平衡的方式来设置构图内物体的比例和放置。应当注意，具有针对各个场景提前确定的 构图内物体的比例和放置的构图模式可以存储在未示出的数据库等中。[图像处理设备中的图像修剪处理]接下来，参照图16中的流程图，将对图15的图像处理设备111中的图像修剪处理 给出描述。应当注意，由于图16的流程图中的步骤Slll至S113、S115、以及S116中的处 理与参照图3中的流程图描述的步骤Sll至S13、S15、以及S16中的处理一样，所以略去了 其描述。即，在步骤S114中，构图模式设置部件131识别来自场景甄别部件32的输入图像 中的物体。此外，构图模式设置部件131基于来自场景甄别部件32的场景信息所表示的场 景、以及识别出的物体来设置对应于输入图像的构图模式，并将构图模式提供给构图分析 部件34。此处，参照图17，将对根据物体的构图模式的实例给出描述。在图17所示的输入图像中，天空、岩石、草、以及人作为物体存在。在识别出图17 所示的输入图像中的这些物体后，构图模式设置部件131从所存储的构图模式之中选择构 图内天空、岩石、草、以及人的比例分别为30%、20%、40%、以及10%的构图模式。结果，最 终修剪出图17中的输入图像上的框所表示的构图的图像。根据以上处理，可以识别输入图像中的物体，并根据物体和场景设置构图模式。由 于构图模式所确定的构图内的物体的比例和放置被设置成使得增强构图的平衡，所以可以 修剪出具有最佳构图的图像。虽然以上描述关注于只确定了输入图像中的一个修剪区域的配置，但也可以确定 输入图像中的修剪区域的多个候选。<3.第三实施例〉[图像处理设备的配置实例]图18示出了被配置成用于确定输入图像中的修剪区域的多个候选的图像处理设备的配置实例。应当注意，在图18的图像处理设备211中，功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当地略去了 其描述。S卩，图18中的图像处理设备211与图1中的图像处理设备11的不同之处在于提 供了构图分析部件231来取代构图分析部件34，以及额外提供了显示部件232和操作输入 部件233。构图分析部件231基于来自构图模式设置部件33的构图模式，为要按该构图模式 修剪出的图像确定输入图像中的最佳修剪区域的多个候选(修剪区域候选)，并将修剪区 域候选提供给显示部件232。此外，基于来自操作输入部件233的、表示选择了修剪区域候 选之一的操作信号，构图分析部件231将所选择的修剪区域提供给图像修剪部件35构图分析部件231包括构图模型创建部件231a、安全模型创建部件231b、惩罚模 型创建部件231c、目标函数创建部件231d、以及优化部件231e。应当注意，由于构图模型创 建部件231a至目标函数创建部件231d的功能与图1中的构图模型创建部件34a至目标函 数创建部件34d —样，所以略去了其描述。优化部件231e确定给出前η个最小目标函数E的修剪区域，并将这些修剪区域作 为修剪区域候选提供给显示部件232。显示部件232被配置成其上堆叠有作为触摸面板的操作输入部件233的监视器， 并在输入图像上显示表示来自构图分析部件231的修剪区域候选的框或者显示用于向用 户指示操作的操作图像。操作输入部件233被配置成堆叠在显示部件232的显示表面上的触摸面板，并将 根据用户操作的操作信号提供给构图分析部件231。[图像处理设备中的图像修剪处理]接下来，参照图19中的流程图，将对图18的图像处理设备211中的图像修剪处理 给出描述。应当注意，由于图16的流程图中的步骤S211至S114中的处理与参照图3中的 流程图描述的步骤Sll至S14中的处理一样，所以略去了其描述。即，在步骤S215中，构图分析部件231执行修剪区域候选确定处理，该处理基于来 自构图模式设置部件33的构图模式，为要按该构图模式修剪出的图像确定输入图像中的 最佳修剪区域的多个候选。[构图分析部件中的修剪区域候选确定处理]此处，参照图20中的流程图，将对图19的流程图中的步骤S215的修剪区域候选 确定处理给出描述。应当注意，由于图20的流程图中的步骤S231至S234的处理与参照图 7中的流程图描述的步骤S31至S34中的处理一样，所以略去了其描述。S卩，在步骤S235中，优化部件231e确定给出前η个最小目标函数E的修剪区域， 并将这些修剪区域作为修剪区域候选提供给显示部件232。更具体地，例如，在通过使用粒子群优化对目标函数E执行优化后，优化部件231e 保存此时的位置信息和本地最小值，并将具有较大变化的位置信息(按照目标函数E的值 升序排列)的前η个集合提供给显示部件232，并且处理返回到步骤S15。以此方式，构图分析部件231可以确定修剪区域候选。回到图19中的流程图，在步骤S216中，例如，显示部件232以图21中所示的方式在输入图像上显示表示来自构图分析部件231的修剪区域候选的框。图21中所示的显示部件232显示表示两个修剪区域候选的框，并命名为“候选1” 和“候选2”，以用于标识这些候选中的每个候选。用户可以借助于作为堆叠在显示部件232 上的触摸面板的操作输入部件233来选择“候选1”或“候选2”所表示的修剪区域候选。在步骤S217中，构图分析部件231判断是否选择了修剪区域候选之一。S卩，构图 分析部件231判断是否从操作输入部件233提供了表示选择了修剪区域候选之一的操作信 号。此时，当用户选择了图21中所示的“候选1”和“候选2”所表示的修剪区域候选 之一时，显示如图22中所示的包括词语“此视角可以吗？ ”、“是”、“否”的确认屏幕。当在 图22中通过用户在作为显示部件232上的触摸面板的操作输入部件233上的操作而选择 了 “是”时，表示选择了修剪区域候选之一的操作信号被提供给构图分析部件231。如果在步骤S217中判定两个修剪区域候选均未被选择，则重复该处理直到提供 了来自操作输入部件233的、表示选择了修剪区域候选之一的操作信号。另一方面，如果在步骤S217中判定选择了修剪区域候选之一，则构图分析部件 231基于来自操作输入部件233的、表示选择了修剪区域候选中之一的操作信号，将所选择 的修剪区域提供给图像修剪部件35。在步骤S218中，图像修剪部件35基于来自构图分析部件231的修剪区域，从所输 入的输入图像中修剪出所选择的修剪区域的图像。根据以上处理，由于可以显示最佳修剪区域的多个候选以用于选择，所以用户可 以检查修剪区域的候选并做出选择。因此，可以修剪出具有匹配用户喜好的最佳构图的图像。虽然以上没有提到输入图像的尺寸，但也可以输入全景图像作为输入图像。<4.第四实施例〉[图像处理设备的配置实例]图23示出了被配置成用于输入全景图像作为输入图像的图像处理设备的配置实 例。应当注意，在图23的图像处理设备311中，功能与图1的图像处理设备11中提供的那 些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当地略去了其描述。S卩，图23中的图像处理设备311与图1中的图像处理设备11的不同之处在于额 外提供了全景甄别部件331，以及提供了构图分析部件332来取代构图分析部件34。全景甄别部件331甄别输入图像是否是全景图像，并将甄别结果提供给构图分析 部件332。根据来自全景甄别部件331的甄别结果，基于来自构图模式设置部件33的构图模式，构图分析部件332为要按该构图模式修剪出的图像确定输入图像中的修剪区域，并将 修剪区域提供给图像修剪部件35。构图分析部件332包括构图模型创建部件332a、安全模型创建部件332b、惩罚模 型创建部件332c、目标函数创建部件332d、以及优化部件332e。应当注意，由于构图模型创 建部件332a、安全模型创建部件332b、以及惩罚模型创建部件332c的功能分别与图1中的 构图模型创建部件34a、安全模型创建部件34b、以及惩罚模型创建部件34c —样，所以略去 了其描述。
如果来自全景甄别部件331的甄别结果表示输入图像是全景图像，则目标函数创 建部件332d将目标函数E中的能量函数Es项置零。如果来自全景甄别部件331的甄别结果表示输入图像不是全景图像，则优化部件 332e确定使目标函数E最小化的修剪区域，并将该修剪区域作为最佳修剪区域提供给图像 修剪部件35。此外，如果来自全景甄别部件331的甄别结果表示输入图像是全景图像，则优 化部件231e确定给出前η个最小目标函数E的修剪区域，并将这些修剪区域作为修剪区域 候选提供给图像修剪部件35。[图像处理设备中的图像修剪处理]接下来，参照图24中的流程图，将对图23的图像处理设备311中的图像修剪处理 给出描述。应当注意，由于图24的流程图中的步骤S311至S314中的处理与参照图3中的 流程图描述的步骤Sll至S14中的处理一样，所以略去了其描述。此外，由于图24的流程 图中的步骤S318和S319中的处理与参照图3中的流程图描述的步骤S15和S16中的处理 一样，所以略去了其描述。S卩，在步骤S315中，全景甄别部件331甄别输入图像是否是全景图像。更具体地， 使输入图像的宽度和高度分别为“ In_width”和“ In_height”，全景甄别部件331将下面的 公式(10)所表示的宽高比In_aspect_ratio与预定阈值In_aspect_ratio_th相比较。[公式10]
In_aspect_ratio=In_width/In_height...(10)
如果在步骤S315中甄别出输入图像是全景图像，则全景甄别部件331将宽高 比In_aSpect_rati0连同用于表示输入图像是全景图像的信息一起提供给构图分析部件 332，并且处理前往步骤S316。在步骤S316中，构图分析部件332基于来自全景甄别部件331的表示输入图像是 全景图像的信息、以及宽高比Iruaspectjatio执行修剪区域候选确定处理。应当注意，由于图23中的图像处理设备311所进行的修剪区域候选确定处理与以 上参照图20中的流程图描述的图18中的图像处理设备211中的处理基本上一样，所以略 去了其描述。然而应当注意，在步骤S234中，目标函数创建部件332d将目标函数E中的能量函 数Es项置零，其中步骤S234是图20的流程图中对应于图像处理设备311所进行的修剪区 域候选确定处理的处理。更具体地，目标函数创建部件332d根据图25中所示的特性改变 公式(9)所表示的目标函数E中的系数Cs的值。图25示出了输入图像的宽高比Iruaspectjatio与目标函数E中的系数Cs之间 的关系。根据图 25，当宽高比 In_aspect_ratio 大于预定阈值 In_aspect_ratio_th 时， 目标函数E中的系数Cs的值变成0.0，并且当宽高比In_aSpect_ratio小于预定阈值In_ aSpeCt_rati0_th时，目标函数E中的系数Cs的值变成1.0。即，当输入图像是全景图像时， 在目标函数E中，将关于用于防止修剪区域变得太小的安全模型的能量函数设置为0。相应地，将修剪区域候选提供给图像修剪部件35作为相对较小的修剪区域。回到图24中的流程图，在步骤S317中，基于来自构图分析部件332的修剪区域候选，图像修剪部件35以如图26中所示的方式从所输入的输入图像(全景图像)修剪出修 剪区域候选的图像，并输出修剪出的图像。图26示出了全景图像中修剪区域候选的实例。在图26中，在全景图像(即输入 图像)上设置表示三个修剪区域候选(候选1至3)的框。回到图24中的流程图，如果甄别出输入图像不是全景图像，则全景甄别部件331 将表示输入图像不是全景图像的信息提供给构图分析部件332。然后，处理前往步骤S318， 并且确定最佳修剪区域。在步骤S319中，从输入图像修剪出最佳修剪区域的图像。根据以上处理，当输入图像是全景图像时，可以确定多个小修剪区域候选。因此， 用户可以从在全景图像中修剪出的多个构图中选择具有匹配用户喜好的最佳构图的图像。虽然以上描述关注于只输出修剪区域图像作为输出图像的配置，但也可以将输入 图像不做变化地连同修剪区域图像一起输出。<5.第五实施例> [图像处理设备的配置实例]图27示出了被配置成用于将输入图像不做变化地连同修剪区域图像一起输出的 图像处理设备的配置实例。应当注意，在图27的图像处理设备411中，功能与图1的图像 处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并 适当地略去了其描述。S卩，图27中的图像处理设备411与图1中的图像处理设备11的不同之处在于将 输入图像不做变化地连同修剪区域图像一起输出。根据以上配置，由于可以将输入图像不做变化地连同修剪区域图像一起输出，所 以当这些图像被输出到显示设备时，用户可以将输入图像和修剪区域图像彼此相比较。例 如，如果输入图像是用户用图像捕捉设备捕捉到的图像，则用户可以检查用户自身拍摄到 图像的构图与修剪出的图像的构图之间的差异。应当注意，由于图27中的图像处理设备411所进行的修剪区域候选确定处理与参 照图3中的流程图描述的图1中的图像处理设备11中的处理基本上一样，所以略去了其描 述。虽然以上描述关注于在所确定的修剪区域的基础上从输入图像修剪出修剪区域 的图像并将其输出的配置，但也可以只输出表示修剪区域的信息。<6.第六实施例〉[图像处理设备的配置实例]图28示出了被配置成用于只输出表示修剪区域的信息连同修剪区域图像的图像 处理设备的配置实例。应当注意，在图28的图像处理设备511中，功能与图1的图像处理 设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当 地略去了其描述。S卩，图28中的图像处理设备511与图1中的图像处理设备11的不同之处在于移 除了图像修剪部件35，并将输入图像不做变化地输出。应当注意，图28中的构图分析部件34基于来自构图模式设置部件33的构图模 式，为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域，并将表示最佳修剪 区域的信息输出到外部设备等。
[图像处理设备中的图像修剪处理]接下来，参照图29中的流程图，将对图28的图像处理设备511中的图像修剪处理 给出描述。应当注意，由于图29的流程图中的步骤S511至S515中的处理与参照图3中的 流程图描述的步骤Sll至S15中的处理一样，所以略去了其描述。S卩，在步骤S516中，图像处理设备511将输入图像不做变化地输出，并且构图分析 部件34将表示输入图像中的所确定的最佳修剪区域的信息输出到外部设备等。 根据以上处理，由于可以将表示图像修剪区域的信息而非修剪区域的图像连同输 入图像一起输出，所以可以减小图像处理设备511内的未示出的帧存储器的容量。虽然以上描述关注于分别输出输入图像以及表示最佳修剪区域的信息的配置，但 也可以将输入图像以及表示最佳修剪区域的信息作为单条数据输出。<7.第七实施例〉[图像处理设备的配置实例]图30示出了被配置成用于将输入图像以及表示最佳修剪区域的信息作为单条数 据输出的图像处理设备的配置实例。应当注意，在图30的图像处理设备611中，功能与图1 的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标 注，并适当地略去了其描述。S卩，图30中的图像处理设备611与图1中的图像处理设备11的不同之处在于提 供了添加部件631来取代图像修剪部件35。应当注意，图30中的构图分析部件34基于来自构图模式设置部件33的构图模 式，为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域，并将表示该最佳修 剪区域的信息输出到添加部件631。添加部件631将来自构图分析部件34的、表示最佳修剪区域的信息添加到所输入 的输入图像作为EXIF信息，并输出结果作为输出图像。[图像处理设备中的图像修剪处理]接下来，参照图31中的流程图，将对图30的图像处理设备611中的图像修剪处理 给出描述。应当注意，由于图31的流程图中的步骤S611至S615中的处理与参照图3中的 流程图描述的步骤Sll至S15中的处理一样，所以略去了其描述。S卩，在步骤S616中，添加部件631将来自构图分析部件34的、表示最佳修剪区域 的信息添加到所输入的输入图像作为EXIF信息，并输出结果作为输出图像。根据以上处理，由于可以将表示最佳修剪区域的信息作为EXIF信息添加到输入 图像并且将其输出，所以不生成修剪区域的图像，并且可以减小图像处理设备611内的未 示出的帧存储器的容量。虽然以上描述关注于用图像捕捉设备等捕捉到的图像作为输入图像来输出修剪 区域的图像的图像处理设备，但图像捕捉设备也可以包括用于确定关于已捕捉到的捕捉图 像的修剪区域的配置。<8.第八实施例>[图像捕捉设备的配置实例]图32示出了被配置成用于确定关于已捕捉到的捕捉图像的修剪区域的图像捕捉 设备的配置实例。应当注意，在图32的图像捕捉设备711中，功能与图1的图像处理设备11中提供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当地略去 了其描述。即，图32中的图像捕捉设备711与图1中的图像处理设备11的不同之处在于额 外提供了图像捕捉部件731、图像处理部件732、以及显示部件733。应当注意，图32中的构图分析部件34基于来自构图模式设置部件33的构图模 式，为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域，并将该最佳修剪区 域提供给图像修剪部件35和显示部件733。图像捕捉部件731被配置成包括光学透镜、成像装置、以及A/D (模拟/数字)转 换部件(均未示出)。在图像捕捉部件731中，成像装置接收入射在光学透镜上的光并执行 光电转换从而捕捉对象，并且对所获得的模拟图像信号施加A/D转换。图像捕捉部件731 将作为A/D转换结果获得的数字图像数据(捕捉图像)提供给图像处理部件732。图像处理部件732对来自图像捕捉部件731的捕捉图像应用诸如去噪的图像处 理，并将所得图像提供给显著区域提取部件31、场景甄别部件32、图像修剪部件35、以及显 示部件733。显示部件733在来自图像处理部件732的捕捉图像上显示表示来自构图分析部件 34的最佳修剪区域的框、或者显示图像修剪部件35修剪出的最佳修剪区域的图像。[图像捕捉设备中的图像修剪处理]接下来，参照图33中的流程图，将对图32的图像捕捉设备711中的图像修剪处理 给出描述。应当注意，由于图33的流程图中的步骤S713至S717中的处理与参照图3中的 流程图描述的步骤Sll至S15中的处理一样，所以略去了其描述。即，在步骤S711中，图像捕捉部件731捕捉对象，并将所获得的捕捉图像提供给图 像处理部件732。在步骤S712中，图像处理部件732对来自图像捕捉部件731的捕捉图像应用诸如 去噪的图像处理，并将所得图像提供给显著区域提取部件31、场景甄别部件32、图像修剪 部件35、以及显示部件733。在步骤S718中，显示部件733在来自图像处理部件732的捕捉图像上显示表示来 自构图分析部件34的最佳修剪区域的框。此时，例如，当用户对未示出的操作输入部件进 行操作，并且将表示用于修剪出最佳修剪区域的图像的指令的操作信号提供给图像修剪部 件35时，处理前往步骤S719。在步骤S719中，图像修剪部件35基于来自构图分析部件34的最佳修剪区域，从 来自图像处理部件732的捕捉图像修剪出最佳修剪区域的图像。在步骤S720中，显示部件733显示图像修剪部件35修剪出的最佳修剪区域的图像。根据以上处理，可以基于与捕捉图像的场景以及捕捉图像中的显著区域的数量相 关联的构图模式来确定修剪区域。由于显著区域在即使对象并非人时也得以确定，所以即 使对于除人以外的对象也可以修剪出具有最佳构图的图像。此外，由于构图模式是基于场 景以及显著区域的数量设置的，所以无论捕捉图像的类别如何都可以修剪出具有最佳构图 的图像。虽然以上描述关注于无论显著区域中所包括的对象朝向哪个方向都可以确定最佳修剪区域的配置，但也可以根据对象的朝向确定最佳修剪区域。<9.第九实施例>
[图像处理设备的配置实例]图34示出了被配置成用于根据对象的朝向确定最佳修剪区域的图像处理设备的 配置实例。应当注意，在图34的图像处理设备811中，功能与图1的图像处理设备11中提 供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当地略去了其描 述。S卩，图34中的图像处理设备811与图1中的图像处理设备11的不同之处在于额 外提供了朝向检测部件831，以及提供了构图分析部件832来取代构图分析部件34。应当注意，在图34中，显著区域提取部件31提取输入图像中被关注的显著区域， 并将表示显著区域的显著区域信息提供给构图模式设置部件33和朝向检测部件831。此 夕卜，场景甄别部件32甄别输入图像的场景，将作为甄别结果获得的、表示场景的场景信息 连同输入图像一起提供给构图模式设置部件131，并且还将场景信息提供给朝向检测部件 831。朝向检测部件831检测来自显著区域提取部件31的显著区域信息所表示的显著 区域中所包括的对象的朝向，并将表示朝向的朝向信息提供给构图分析部件832。基于来自构图模式设置部件33的构图模式、以及来自朝向检测部件831的朝向信 息，构图分析部件832为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域， 并将该最佳修剪区域提供给图像修剪部件35。构图分析部件832包括构图模型创建部件832a、安全模型创建部件832b、惩罚模 型创建部件832c、目标函数创建部件832d、以及优化部件832e。应当注意，由于构图模型创 建部件832a至目标函数创建部件832d的功能分别与图1中的构图模型创建部件34a至目 标函数创建部件34d —样，所以略去了其描述。优化部件832e基于来自朝向检测部件831的朝向信息确定使目标函数E最小化 的修剪区域，并将该修剪区域作为最佳修剪区域提供给图像修剪部件35。[图像处理设备中的图像修剪处理]接下来，参照图35中的流程图，将对图34的图像处理设备811中的图像修剪处理 给出描述。应当注意，由于图35的流程图中的步骤S811至S814、以及S817中的处理与参 照图3中的流程图描述的步骤Sll至S14、以及S16中的处理一样，所以略去了其描述。此 夕卜，在参照图35中的流程图描述的图像修剪处理中，假设对象的数量(即，显著区域的数 量)为1。即，在步骤S815中，朝向检测部件831在输入图像中执行朝向检测处理，以检测来 自显著区域提取部件31的显著区域信息所表示的显著区域中所包括的对象的朝向。[朝向检测部件中的朝向检测处理]此处，参照图36中的流程图，将对图35的流程图中的步骤S815的朝向检测处理 给出描述。在步骤S821中，朝向检测部件831判断来自显著区域提取部件31的显著区域信 息所表示的显著区域是否是面部矩形区域。如果在步骤S821中判定显著区域是面部矩形区域，即，如果来自显著区域提取部件31的显著区域信息是面部矩形区域信息，则处理前往步骤S822。在步骤S822中，朝向检测部件831在输入图像中检测面部矩形区域信息所表示 的面部矩形区域中所包括的面部的朝向，并将表示该朝向的朝向信息提供给构图分析部件 832。
更具体地，例如，在通过预先学习作为学习样本的、朝向各个方向的面部图像而形 成的树状结构中，朝向检测部件831从树状结构最上游的节点向末端节点对面部矩形区域 中所包括的面部的图像重复进行甄别，从而识别出(检测出)面部的朝向。例如，朝向检测 部件831预先学习朝向九个方向(前方、上方、下方、左方、右方、右上方、右下方、左上方、以 及左下方)的面部图像，并从九个方向之中选择面部矩形区域中所包括的面部的朝向。应当注意，朝向检测部件831当然可以不仅通过上述技术也可以通过其他技术来 检测面部的朝向。另一方面，如果在步骤S821中判定显著区域不是面部矩形区域，即，如果来自显 著区域提取部件31的显著区域信息是面部矩形区域信息，则处理前往步骤S823。在步骤S823中，基于来自场景甄别部件32的场景信息，朝向检测部件831在输入 图像中检测显著矩形区域信息所表示的显著矩形区域中所包括的对象的朝向，并将表示朝 向的朝向信息提供给构图分析部件832。更具体地，朝向检测部件831针对各个场景存储包括如下这种图像的模板在该 图像中，场景中可以存在的物体朝向九个方向(前方、上方、下方、左方、右方、右上方、右下 方、左上方、以及左下方)；从根据来自场景甄别部件32的场景信息所表示的场景的模板之 中，检索与显著矩形区域中所包括的对象对应的物体的模板；并基于所检索的模板执行模 板匹配，从而识别出(检测出)显著矩形区域中所包括的对象的朝向。例如，如果来自场景甄别部件32的场景信息所表示的场景是“草地”，并且显著矩 形区域中所包括的对象是“花”，则朝向检测部件831从针对“草地”的模板中检索“花”的 模板，并基于该模板执行模板匹配，从而识别出作为对象的“花”的朝向。应当注意，朝向检测部件831当然可以不仅通过上述技术也可以通过其他技术来 检测对象的朝向。此外，在上文中，朝向检测部件831通过从对应于场景信息的模板之中使用对应 于对象的物体的模板来识别对象及其朝向。然而，例如，朝向检测部件831还可以通过使用 用于识别目标物体的识别器，基于输入图像中的特征量来判断输入图像中是否存在目标物 体，从而识别出对象及其朝向，其中该目标对象是通过基于特征量执行统计学习处理而生 成的。以上述方式，朝向检测部件831在输入图像中检测显著区域中所包括的对象的朝向。回到图35中的流程图，在步骤S816中，构图分析部件832基于来自构图模式设置 部件33的构图模式、以及来自朝向检测部件831的朝向信息执行修剪区域确定处理，并为 要接该构图模式修剪出的图像确定输入图像中的最佳修剪区域。[构图分析部件中的修剪区域确定处理]此处，参照图37中的流程图，将对图35的流程图中的步骤S816中的修剪区域确 定处理给出描述。
应当注意，由于图37的流程图中的步骤S831至S834中的处理与参照图7中的流 程图描述的步骤S31至S34中的处理一样，所以略去了其描述。即，在步骤S835中，优化部件832e基于关于使目标函数E最小化的修剪区域的位 置信息、以及来自朝向检测部件831的朝向信息确定最佳修剪区域，并将最佳修剪区域提 供给图像修剪部件35。如果显著区域中所包括的对象是面部，则例如，将图38中所示的朝向信息Dltl至 D18中的一条从朝向检测部件831提供给优化部件832e。在图38中，当面朝该图时，示出 了分别朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的面部Dltl至 D18，其中每个面部对应于表示面部朝向方向的朝向信息。即，朝向信息Dltl表示面部在输入 图像中朝向前方，朝向信息D11表示面部朝向上方，并且朝向信息D12表示面部朝向右上方。 同样地，朝向信息D13表示面部朝向右方，并且朝向信息D14表示面部朝向右下方。此外，朝 向信息D15表示面部朝向下方，朝向信息D16表示面部朝向左下方，朝向信息D17表示面部朝 向左方，并且朝向信息D18表示面部朝向左上方。此处，假设将三分构图设置为构图模式，则优化部件832e根据朝向信息Dltl至D18 确定对象(面部)在三分构图中的放置，得出关于使目标函数E最小化的修剪区域的位置 信息，并基于该位置信息确定最佳修剪区域。更具体地，例如，当朝向信息是朝向信息D13和D14中的一个时，S卩，当面部朝向右方 或右下方时，优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉 点Ptl上。此外，当朝向信息是朝向信息D16和D17中的一个时，即，当面部朝向左下方或左方 时，优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P1上。 此外，当朝向信息是朝向信息D12时，S卩，当面部朝向右上方时，优化部件832e确定面部在图 39中所示的三分构图中的放置为在三分线交叉点P2上。此外，当朝向信息是朝向信息D18 时，即，当面部朝向左上方时，优化部件832e确定面部在图39中所示的三分构图中的放置 为在三分线交叉点P3上。应当注意，当朝向信息是朝向信息Dltl和D15中的一个时，即，当面部朝向前方或下 方时，优化部件832e确定面部在图39中所示的三分构图中的放置为在三分线交叉点P。和 P1中的一个上。此外，当朝向信息是朝向信息D11时，S卩，当面部朝向上方时，优化部件832e 确定面部在图39中所示的三分构图中的放置为在三分线交叉点P2和P3中的一个上。以此 方式，在针对朝向信息选择了两种或更多种面部放置时，将放置确定为给出较小目标函数E 的一种放置。此处，存在较少用作用于将面部放置在图39中的三分线交叉点Ptl至P3之中下侧 的三分线交叉点P2和P3上的条件的朝向信息的原因在于当对象是整个人时，面部在构图 中自然被朝上侧放置。然而，每个朝向信息与三分线交叉点之间的对应关系可以任意改变。以上述方式，优化部件832e根据面部的朝向确定面部在三分构图中的放置。特别 地，优化部件832e以如下这种方式确定面部的放置该方式使得面部所朝向的一侧的空间 在三分构图中变大。因此，位于作为对象的人的面部(视线)前面的物体或景观可以包括 在修剪区域中，从而使得可以修剪出具有给出较大扩张感的最佳构图的图像。此外，如果显著区域中所包括的对象是花，则例如，将图40中所示的朝向信息 D2q 至D28中的一条从朝向检测部件831提供给优化部件832e。在图40中，当面朝该图时，示出了分别朝向前方、上方、右上方、右方、右下方、下方、左下方、左方、以及左上方的花D2tl至 D28，其中每个花对应于表示花朝向方向的朝向信息。即，朝向信息D2tl表示花在输入图像中 朝向前方，朝向信息D21表示花朝向上方，并且朝向信息D22表示花朝向右上方。同样地，朝 向信息D23表示花朝向右方，并且朝向信息D24表示花朝向右下方。此外，朝向信息D25表示 花朝向下方，朝向信息D26表示花朝向左下方，朝向信息D27表示花朝向左方，并且朝向信息 D28表示花朝向左上方。然后，假设将三分构图设置为构图模式，则优化部件832e根据朝向信息D2tl至D28 确定对象(花)在三分构图中的放置，得出关于使目标函数E最小化的修剪区域的位置信 息，并基于该位置信息确定最佳修剪区域。更具体地，例如，当朝向信息是朝向信息D24时，即，当花朝向右下方时，优化部件 832e确定花在图39中所示的三分构图中的放置为在三分线交叉点P。上。此外，当朝向信 息是朝向信息D26时，即，当花朝向左下方时，优化部件832e确定花在图39中所示的三分构 图中的放置为在三分线交叉点P1上。此外，当朝向信息是朝向信息D22和D23中的一个时， 艮口，当花朝向右上方或右方时，优化部件832e确定花在图39中所示的三分构图中的放置为 在三分线交叉点P2上。此外，当朝向信息是朝向信息D27和D28中的一个时，即，当花朝向左 方或左上方时，优化部件832e确定花在图39中所示的三分构图中的放置为在三分线交叉 占P 卜
；^ 厂 3 I ■ ο应当注意，当朝向信息是朝向信息D25时，S卩，当花朝向下方时，优化部件832e确定 花在图39中所示的三分构图中的放置为在三分线交叉点Ptl和P1中的一个上。此外，当朝 向信息是朝向信息D2tl和D21中的一个时，即，当花朝向前方或上方时，优化部件832e确定花 在图39中所示的三分构图中的放置为在三分线交叉点P2和P3中的一个上。以此方式，在 针对朝向信息选择了两种或更多种花放置时，将放置确定为给出较小目标函数E的一种放 置。此处，存在较少用作用于将花放置在图39中的三分线交叉点Ptl至P3之中上侧的 三分线交叉点Pc^PP1上的条件的朝向信息的原因在于花在构图中自然被朝下侧放置。然 而，每个朝向信息与其上要放置花的三分线交叉点之间的对应关系可以任意改变。以上述方式，优化部件832e根据花的朝向确定花在三分构图中的放置。特别地， 优化部件832e以如下这种方式确定花的放置该方式使得花所朝向的一侧的空间在三分 构图中变大。因此，位于作为对象的花的前面的物体或景观可以包括在修剪区域中，从而使 得可以修剪出具有给出较大扩张感的最佳构图的图像。虽然以上描述关注于根据对象的朝向确定最佳修剪区域的配置，但也可以根据对 象的运动确定最佳修剪区域。<10.第十实施例>[图像处理设备的配置实例]图41示出了被配置成用于根据对象的运动确定最佳修剪区域的图像处理设备的 配置实例。应当注意，在图41的图像处理设备861中，功能与图1的图像处理设备11中提 供的那些部件一样的部件以相同的名称以及相同的附图标记来标注，并适当地略去了其描 述。S卩，图41中的图像处理设备861与图1中的图像处理设备11的不同之处在于额外提供了帧缓冲器881、GMV(全局运动矢量)计算部件882、LMV(局部运动矢量)计算部件 883、以及运动方向确定部件884，以及提供了构图分析部件885来取代构图分析部件34。应当注意，在图41中，显著区域提取部件31提取输入图像中被关注的显著区域， 并将表示显著区域的显著区域信息提供给构图模式设置部件33和LMV计算部件883。帧缓冲器881保存相当于输入图像的一帧，并将输入图像提供给GMV计算部件882 和LMV计算部件883。GMV计算部件882根据输入图像、以及来自帧缓冲器881的紧挨的前一帧的输入图 像(在下文中，称为“前一帧输入图像”)计算表示图像总体运动的GMV，并将GMV提供给运 动方向确定部件884。
LMV计算部件883根据输入图像以及来自帧缓冲器881的前一帧输入图像，计算表 示来自显著区域提取部件31的显著区域信息所表示的显著区域中的局部运动的LMV，并将 LMV提供给运动方向确定部件884。 运动方向确定部件884基于来自GMV计算部件882的GMV以及来自LMV计算部件 883的LMV，确定显著区域中所包括对象的运动的方向(运动方向)，并将表示运动方向的运 动方向信息提供给构图分析部件885。基于来自构图模式设置部件33的构图模式、以及来自运动方向确定部件884的运 动方向信息，构图分析部件885为要按该构图模式修剪出的图像确定输入图像中的最佳修 剪区域，并将该最佳修剪区域提供给图像修剪部件35。构图分析部件885包括构图模型创建部件885a、安全模型创建部件885b、惩罚模 型创建部件885c、目标函数创建部件885d、以及优化部件885e。应当注意，由于构图模型创 建部件885a至目标函数创建部件885d的功能分别与图1中的构图模型创建部件34a至目 标函数创建部件34d —样，所以略去了其描述。优化部件885e基于来自运动方向确定部件884的运动方向信息，确定使目标函数 E最小化的修剪区域，并将该修剪区域作为最佳修剪区域提供给图像修剪部件35。[图像处理设备中的图像修剪处理]接下来，参照图42中的流程图，将对图41的图像处理设备861中的图像修剪处理 给出描述。应当注意，由于图42的流程图中的步骤S861至S864、以及S867中的处理与参 照图3中的流程图描述的步骤Sll至S14、以及S16中的处理一样，所以略去了其描述。此 夕卜，在参照图42中的流程图描述的图像修剪处理中，假设对象的数量(即，显著区域的数 量)为1。即，在步骤S865中，运动方向确定部件884执行运动方向确定处理，以确定来自显 著区域提取部件31的显著区域信息所表示的显著区域中所包括的对象在输入图像中的运 动方向。[运动方向确定部件中的运动方向确定处理]此处，参照图43中的流程图，将对图42的流程图中的步骤S865的运动方向确定 处理给出描述。在步骤S871中，GMV计算部件882根据输入图像、以及来自帧缓冲器881的前一 帧输入图像计算GMV，并将GMV提供给运动方向确定部件884。在步骤S872中，LMV计算部件883根据输入图像以及来自帧缓冲器881的前一帧输入图像，计算来自显著区域提取部件31的显著区域信息所表示的显著区域的LMV，并将 LMV提供给运动方向确定部件884。在步骤S873中，运动方向确定部件884判断LMV是否为0或基本上为0。 如果在步骤S873中判定LMV不是0或不是基本上为0，S卩，如果显著区域中所包括 的对象有足够的运动，则处理前往步骤S874，并且运动方向确定部件884将LMV的朝向确定 为运动方向，并将表示运动方向的运动方向信息提供给构图分析部件885。另一方面，如果在步骤S873中判定LMV为0或基本上为0，即，如果显著区域中所 包括的对象完全或基本上没有运动，则处理前往步骤S875，并且运动方向确定部件884判 断GMV是否为0或基本上为0。如果在步骤S875中判定GMV不是0或不是基本上为0，S卩，如果图像总体上有足够 的运动，则处理前往步骤S876，并且运动方向确定部件884将与GMV的朝向相反的朝向确定 为对象的运动方向，并将表示运动方向的运动方向信息提供给构图分析部件885。步骤S875中的状态代表如下这种状态在该状态中，虽然输入图像总体上有运 动，但显著区域中所包括的对象没有运动，例如，背景移动但对象维持静止的状态。在此情 况下，对象相对于背景在与背景的运动朝向相反的朝向上移动。即，相对而言，与GMV的朝 向相反的朝向是对象的运动方向。另一方面，如果在步骤S875中判定GMV为0或基本上为0，S卩，如果图像总体上完 全或基本上没有运动，则处理前往步骤S877，并且运动方向确定部件884确定不存在运动 方向，并将表示不存在运动方向的运动方向信息提供给构图分析部件885。以上述方式，运动方向确定部件884确定显著区域中所包括的对象在输入图像中 的运动方向。应当注意，在以上处理中，运动方向确定部件884将运动方向确定为例如以下 九种中的一种无、上方、下方、左方、右方、右上方、右下方、左上方、以及左下方。回到图42中的流程图，在步骤S866中，构图分析部件885基于来自构图模式设置 部件33的构图模式、以及来自运动方向确定部件884的运动方向信息执行修剪区域确定处 理，并为要按该构图模式修剪出的图像确定输入图像中的最佳修剪区域。[构图分析部件中的修剪区域确定处理]此处，参照图44中的流程图，将对图42的流程图中的步骤S866中的修剪区域确 定处理给出描述。应当注意，由于图44的流程图中的步骤S881至S884中的处理与参照图7中的流 程图描述的步骤S31至S34中的处理一样，所以略去了其描述。即，在步骤S885中，优化部件885e基于关于使目标函数E最小化的修剪区域的位 置信息、以及来自运动方向确定部件884的运动方向信息确定最佳修剪区域，并将该最佳 修剪区域提供给图像修剪部件35。更具体地，例如，将图45中所示的运动方向信息D3tl至D38中的一条从运动方向确 定部件884提供给优化部件885e。在图45中，示出了表示上方、右上方、右方、右下方、下 方、左下方、左方、以及左上方的运动的箭头，这些箭头包括分别对应于运动方向信息D3tl至 D38的起始点。即，运动方向信息D3tl表示输入图像中不存在对象的运动方向，运动方向信息 D31表示运动方向为上方,并且运动方向信息D32表示运动方向为右上方。同样地，运动方向 信息D33表示运动方向为右方，并且运动方向信息D34表示运动方向为右下方。此外，运动方向信息D35表示运动方向为下方,运动方向信息D36表示运动方向为左下方,运动方向信息 D37表示运动方向为左方，并且运动方向信息D38表示运动方向为左上方。
此处，假设将三分构图(图39)设置为构图模式，则优化部件885e根据运动方向 信息D3tl至D38确定对象在三分构图中的放置，得出关于使目标函数E最小化的修剪区域的 位置信息，并基于该位置信息确定最佳修剪区域。更具体地，例如，当运动方向信息是运动方向信息D34时，S卩，当对象的运动方向为 右下方时，优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点 P0上。此外，当运动方向信息是运动方向信息D36时，即，当对象的运动方向为左下方时，优 化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P1上。此外， 当运动方向信息是运动方向信息D32中的一个时，S卩，当对象的运动方向为右上方时，优化 部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P2上。此外，当 运动方向信息是运动方向信息D38时，即，当对象的运动方向为左上方时，优化部件885e确 定对象在图39中所示的三分构图中的放置为在三分线交叉点P3上。应当注意，当运动方向信息是运动方向信息D31时，即，当对象的运动方向为上方 时，优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P2和P3 中的一个上。此外，当运动方向信息是运动方向信息D33时，即，当对象的运动方向为右方 时，优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点Ptl和P2 中的一个上。此外，当运动方向信息是运动方向信息D35时，即，当对象的运动方向为下方 时，优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点Ptl和P1 中的一个上。此外，当运动方向信息是运动方向信息D37时，即，当对象的运动方向为左方 时，优化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点P1和P3 中的一个上。此夕卜，当运动方向信息是运动方向信息D3tl时，即，当不存在对象的运动方向时，优 化部件885e确定对象在图39中所示的三分构图中的放置为在三分线交叉点中的一 个上。即，当对象中没有运动时，对象在三分构图中的放置可以为任意一个三分线交叉点。以此方式，在针对运动方向信息选择了两种或更多种对象放置时，将放置确定为 给出较小目标函数E的一种放置。以上述方式，优化部件885e根据对象的运动方向确定对象在三分构图中的放置。 特别地，优化部件885e以如下这种方式确定对象的放置该方式使得对象朝之移动的方向 上的空间在三分构图中变大。因此，位于对象移动方向前面的物体或景观可以包括在修剪 区域中，从而使得可以修剪出具有给出较大扩张感的最佳构图的图像。应当注意，虽然以上描述关注于对象在三分构图(图39)中的放置，但不仅可以在 三分构图中也可以在诸如图6中所示的对比构图(构图B)和图案构图(构图H)的其它构 图中根据对象的朝向或运动来放置对象。此外，虽然以上描述是基于对象的数量(即，显著区域的数量)为1的假设，但即 使在对象的数量为两个或更多个时，也可以根据它们各自的朝向或运动方向来放置这两个 或更多个对象。上述系列处理可以通过硬件执行也可以通过软件执行。如果要通过软件执行该系 列处理，则将构成该软件的程序从程序记录介质安装到嵌入在专用硬件中的计算机中，或者安装到例如在安装了各种程序时可以执行各种功能的通用个人计算机等中。图46是示出了执行上述系列处理的计算机的硬件配置实例的方框图。在计算机中，CPU (中央处理单元)901、ROM (只读存储器)902、以及RAM (随机存取 存储器)903经由总线904彼此相连。总线904进一步与输入/输出接口 905相连。输入/输出接口 905与如下相连 由键盘、鼠标、麦克风等构成的输入部件906，由显示器、扬声器等构成的输出部件907，由 硬盘、非易失性存储器等构成的存储部件908，由网络接口等构成的通信部件909，以及用 于驱动诸如磁盘、光盘、磁光盘、或者半导体存储器的可拆除介质911的驱动器910。在如上所述配置的计算机中，例如，上述系列处理通过如下方式执行CPU 901经 由输入/输出接口 905和总线904将存储部件908中存储的程序加载到RAM 903中，并执 行程序。计算机(CPU 901)执行的程序通过如下方式提供通过记录在可拆除介质911上， 可拆除介质911是由例如磁盘(包括软盘)、光盘(诸如CD-ROM(压缩盘-只读存储器)或 DVD(数字多功能盘))、磁光盘、或者半导体存储器等构成的封装介质；或者经由诸如局域 网、因特网、或者数字卫星广播的有线或无线传输介质。然后，可以通过在驱动器910中装配可拆除介质911而经由输入/输出接口 905 将程序安装到存储部件908中。此外，程序可以经由有线或无线传输介质被通信部件909 接收，并被安装到存储部件908中。可替选地，可以将程序预先安装到ROM 902或存储部件 908 中。应当注意，计算机执行的程序可以是如下这种程序其中，按本说明书中所描述的 次序以时间序列方式执行处理处理；或者可以是如下这种程序其中，在必要的时刻(诸如 被调用时)执行处理。此外，本发明的实施例不限于上述实施例，并且在不脱离本发明范围的情况下可 以进行各种修改。附图标记说明 11图像处理设备，31显著区域提取部件，32场景甄别部件，33构图模式设置部件， 34构图分析部件，34a构图模型创建部件，34b安全模型创建部件，34c惩罚模型创建部件， 34d目标函数创建部件，34e优化部件，35图像修剪部件，51显著性计算部件，52显著矩形 区域确定部件，53面部矩形区域确定部件，111图像处理设备，131构图模式设置部件，211 图像处理设备，231构图分析部件，231a构图模型创建部件，231b安全模型创建部件，231c 惩罚模型创建部件，231d目标函数创建部件，231e优化部件，232显示部件，233操作输入 部件，311图像处理设备，331全景甄别部件，332构图分析部件，332a构图模型创建部件， 332b安全模型创建部件，332c惩罚模型创建部件，332d目标函数创建部件，332e优化部件， 631添加部件，711图像捕捉设备，811图像处理设备，831朝向检测部件，832构图分析部件， 832e优化部件，861图像处理设备，881帧缓冲器，882GMV计算部件，883LMV计算部件，884 运动方向确定部件，885构图分析部件，885e优化部件。
权利要求
一种图像处理设备，包括设置装置，用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景，设置对应于所述输入图像的构图模式；以及确定装置，用于基于所述设置装置所设置的构图模式，确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
2.根据权利要求1所述的图像处理设备，进一步包括修剪装置，用于从所述输入图像 修剪出所述确定装置所确定的修剪区域。
3.根据权利要求2所述的图像处理设备，其中所述确定装置基于所述设置装置所设置的构图模式，确定所述输入图像中对于要从所 述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域的多个候选；并且所述图像处理设备进一步包括显示装置，用于在所述输入图像上显示所述修剪区域的多个候选，以及选择装置，用于选择所述显示装置所显示的所述修剪区域的多个候选中的一个候选；并且所述修剪装置从所述输入图像修剪出所述选择装置所选择的修剪区域。
4.根据权利要求1所述的图像处理设备，进一步包括提取装置，用于提取所述输入图像中被关注的显著区域中的每个显著区域；以及甄别装置，用于甄别所述输入图像的场景。
5.根据权利要求1所述的图像处理设备，其中，所述确定装置确定所述修剪区域，以使 得包括所述输入图像中所有被关注的显著区域的最小矩形区域的中心位置靠近所述输入 图像中的修剪区域的中心。
6.根据权利要求5所述的图像处理设备，其中，所述确定装置确定所述修剪区域，以使 得所述修剪区域变得更大，并且使得包括所述输入图像中的所有被关注的显著区域的所述 最小矩形区域与所述修剪区域之间的公共区域变得更大。
7.根据权利要求1所述的图像处理设备，其中，所述确定装置确定所述修剪区域，以使 得所述修剪区域不脱离所述输入图像。
8.根据权利要求1所述的图像处理设备，进一步包括判断装置，用于通过将所述输入图像的宽高比与预定阈值相比较来判断所述输入图像 是否是全景图像，其中，如果所述判断装置判定所述输入图像是全景图像，则所述确定装置基于所述设 置装置所设置的构图模式，确定所述输入图像中对于要从所述输入图像按所述构图模式修 剪出的图像而言最佳的修剪区域的多个候选。
9.根据权利要求1所述的图像处理设备，进一步包括添加装置，用于将表示所述确定装置所确定的修剪区域的信息添加到所述输入图像作 为EXIF信息。
10.根据权利要求1所述的图像处理设备，其中所述输入图像中被关注的对象包括在所述显著区域中的每个显著区域中；所述图像处理设备进一步包括检测装置，用于检测所述对象的朝向；并且所述确定装置基于所述设置装置所设置的构图模式、以及所述检测装置所检测出的对象的朝向，确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出的图像而言 最佳的修剪区域。
11.根据权利要求1所述的图像处理设备，其中所述输入图像中被关注的对象包括在所述显著区域中的每个显著区域中；所述图像处理设备进一步包括运动方向确定装置，用于确定所述对象的运动方向；并且 所述确定装置基于所述设置装置所设置的构图模式、以及所述运动方向确定装置所确 定的对象运动的方向，确定所述输入图像中对于要从所述输入图像按所述构图模式修剪出 的图像而言最佳的修剪区域。
12.根据权利要求11所述的图像处理设备，进一步包括 总体运动计算装置，用于得出所述输入图像的总体运动；以及局部运动计算装置，用于得出所述显著区域中的每个显著区域的运动， 其中，所述运动方向确定装置基于所述总体运动计算装置所得出的输入图像的总体运 动的朝向、以及所述局部运动计算装置所得出的所述显著区域中的每个显著区域的运动的 朝向，确定所述对象运动的方向。
13.一种图像处理方法，包括设置步骤，用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景， 设置对应于所述输入图像的构图模式；以及确定步骤，用于基于在所述设置步骤中所设置的构图模式，确定所述输入图像中对于 要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
14.一种程序，用于使得计算机执行包括如下内容的处理设置步骤，用于基于输入图像中被关注的显著区域的数量、以及所述输入图像的场景， 设置对应于所述输入图像的构图模式；以及确定步骤，用于基于在所述设置步骤中所设置的构图模式，确定所述输入图像中对于 要从所述输入图像按所述构图模式修剪出的图像而言最佳的修剪区域。
15.一种图像捕捉设备，包括 图像捕捉装置，用于捕捉对象；获取装置，用于获取所述图像捕捉装置捕捉到的捕捉图像的场景； 设置装置，用于基于包括所述捕捉图像中被关注对象的显著区域的数量、以及所述获 取装置所获取的场景，设置对应于所述捕捉图像的构图模式；以及确定装置，用于基于所述设置装置所设置的构图模式，确定所述捕捉图像中对于要从 所述捕捉图像按所述构图模式修剪出的图像而言最佳的修剪区域。
全文摘要
本发明涉及使得即使对于除人以外的对象也可以修剪出具有最佳构图的图像的图像处理设备和方法、图像捕捉设备、以及程序。构图模式设置部件(33)基于输入图像中被关注的显著区域的数量、以及输入图像的场景来设置对应于输入图像的构图模式。基于构图模式设置部件(33)所设置的构图模式，构图分析部件(34)确定输入图像中对于要从输入图像按该构图模式修剪出的图像而言最佳的修剪区域。本发明可应用于例如用于对捕捉图像的构图进行调整的图像处理设备。
文档编号H04N1/387GK101843093SQ20098010085
公开日2010年9月22日 申请日期2009年9月8日 优先权日2008年9月8日
发明者中村雄介, 五味信一郎, 增野智经, 铃木优 申请人:索尼公司