专利名称：图像处理设备、图像处理方法和记录介质的制作方法
技术领域：
本公开涉及图像处理设备、图像处理方法和记录介质。
背景技术：
近年来，自动调整聚焦或曝光的诸如数字静止照相机的成像设备得到了普及。在这样的成像设备中，设置了适合于拍摄场景的聚焦或曝光，并且即使用户不调整聚焦或曝光，用户也可以获取良好的成像图像。另外，已经提出了用于自动设置成像图像的构图而不依赖于用户的操作的技术，例如，在日本特开公报N0.2009-89220和N0.2009-218807中公开的技术。根据这些技术，对象的面部的大小或位置被检测，并基于该大小或位置，切割成像图像的适当区域作为修整图像(trimming image)。
发明内容
但是，根据在日本特开公报N0.2009-89220和N0.2009-218807中公开的技术，当设置的修整图像的区域超出成像图像的范围时，构图没有被设置。因此，如果对象被大部分地显示或者被显示在图像的末端，那么可能不设置构图。即使在这种情况中，用户也会希望自动地设置构图。但是，这些技术不能充分地满足该希望。希望提供能够提高自动设置构图的可用性的图像处理设备、图像处理方法和程序。根据本公开实施例，提供一种包括构图设置单元的图像处理设备，当第一修整区域超出输入图像的范围时，该构图设置单元设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。此外，根据本公开实施例，提供一种图像处理方法，该图像处理方法包括:当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。此外，根据本公开实施例，提供一种计算机可读记录介质，其上记录有程序。该程序使得计算机实现这样的功能:当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。根据上述配置，即使当第一设置修整区域超出输入图像的范围时，通过不同的方法生成处于输入图像的范围内的修整区域的可能性也变高了。因此，在很多情况中可以使用自动设置构图。根据上述的本公开实施例，可以提高自动设置构图的可用性。
图1是示出根据本公开的第一实施例的数字静止照相机的功能配置的示意性框图；图2是示出根据本公开的第一实施例的数字静止照相机的处理的流程图；图3A是示出修整区域设置的例子的示图；图3B是示出修整区域设置的例子的示图；图4A到图4C是示出在本公开的第一实施例中修整区域设置的第一例子的示图；图5A和图5B是示出在本公开的第一实施例中修整区域设置的第二例子的示图；图6A和图6B是不出在本公开的第一实施例中修整区域设置的第三例子的不图；图7A到图7B是示出在本公开的第一实施例中修整区域设置的第四例子的示图；图8是示出根据本公开的第二实施例的数字静止照相机的功能配置的示意性框图；以及图9是示出根据本公开的第二实施例的数字静止照相机的处理的流程图。
具体实施例方式在下文中，将参照附图详细地描述本公开的优选实施例。请注意，在本说明书和附图中，基本上具有相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复解释。将按照下面描 述的顺序进行以下描述。1.第一实施例1-1.功能配置1-2.处理流程1-3.修整区域的设置例子2.第二实施例3.补充在以下的描述中，将公开根据作为图像处理设备的数字静止照相机的本公开的第一和第二实施例。根据本公开实施例的图像处理设备并不限于数字静止照相机，并且可以是具有处理输入图像并生成修整图像的功能的各种设备中的任意一种。本公开实施例包括处理输入图像并生成修整图像的方法、用于使计算机实现处理输入图像并生成修整图像的功能的程序，以及记录有该程序的计算机可读记录介质。(1.第一实施例)(1-1.功能配置)首先，将参照图1描述根据本公开第一实施例的数字静止照相机的功能配置。图1是示出根据第一实施例的数字静止照相机100的功能配置的示意性框图。数字静止照相机100包括成像光学系统101、成像单元102、控制电路110、显示单元120和存储单元130。控制电路110实现对象识别单元111、构图设置单元112、修整单元113、记录控制单元114和显示控制单元115的功能。除了在图1中示出的功能配置以外，数字静止照相机100还包括通常在数字静止照相机中提供的诸如操作单元的结构元件。成像光学系统101包括诸如各种透镜(诸如聚焦透镜和变焦透镜)、滤光器和光圈的光学部件。通过包括在成像光学系统101中的光学部件，从对象入射的光学图像(对象图像)被形成在包括在成像单元102中的成像元件的曝光表面上。
成像单元102包括:诸如电荷耦合器件(CXD)和互补金属氧化物半导体(CMOS)的成像元件、驱动成像元件的定时生成器，以及信号处理电路。信号处理电路对当成像元件对对象图像执行光电转换时输出的模拟图像信号进行处理，将模拟图像信号转换为数字图像信号，并将数字图像信号输出到控制电路110。信号处理电路通过数字信号处理器(DSP)来实现。控制电路110实现对象识别单元111、构图设置单元112、修整单元113、记录控制单元114和显示控制单元115的功能，并控制数字静止照相机100的各个单元的操作。控制电路110通过中央处理单元(CPU)来实现，该中央处理单元(CPU)基于存储在存储单元130中的程序进行操作并实现上述功能。控制电路110的部分或全部功能可以通过类似于信号处理电路的DSP来实现。在下文中，将描述由控制电路110实现的各个功能单元。对象识别单元111分析从成像单元102获取的输入图像的数字图像信号，并识别包含在输入图像中的对象。在这种情况中，该对象是人的面部。另外，该对象可以是诸如动物的面部、花朵和菜肴的各种对象中的任意一种。对象识别单元111使用诸如小波变换或Haar特征检测的算法来计算该对象的区域。例如，在人的面部的情况中，该对象的范围可以其中包括颚部、耳朵和眉毛的最小的矩形的坐标值。该对象的区域并不限于矩形，并可以具有三角形或椭圆形。除了该对象的区域外，对象识别单元111还可以识别该对象的方向。构图设置单元112设置输入图像的修整区域，从而使得该对象按预定构图布置。在本实施例中，构图设置单元112使用三分构图作为预定构图。预定构图可以是诸如二分构图的不同构图。如将在下面描述的，构图设置单元112可以一同使用多种类型的构图。构图设置单元112根据由对象识别单元111所识别的对象的位置、大小和方向来设置修整区域。具体地说，构图设置单元112根据对象的大小来确定修整区域的大小，并确定该修整区域的位置，从而使得该对象被布置于通过将修整区域分成三份而获得的任意一个交叉处。构图设置单元112将设置的修整区域的信息提供给修整单元113。
在这种情况中，作为设置修整区域的处理，构图设置单元112首先试图设置第一修整区域，在第一修整区域中，对象按第一构图布置。当第一修整区域在输入图像之内时，由于输入图像可以原样地被修整，因此构图设置单元112将第一修整区域的信息提供给修整单元113。同时，当第一修整区域超出输入图像的范围时，由于输入图像可能不原样地被修整，因此构图设置单元112试图设置第二修整区域。在第二修整区域中，对象按第二构图布置。当第二修整区域在输入图像的范围之内时，构图设置单元112将第二修整区域的信息供应给修整单元113。由于第二修整区域是在第一修整区域超出输入图像的范围时设置的，因此第二修整区域优选地小于第一修整区域。或者，第二修整区域可以是通过改变第一修整区域的纵横比、以及垂直长度和水平长度而获得的区域。构图设置单元112可以将第一构图和第二构图设置为不同类型的构图(例如，三分构图被用作第一构图，二分构图被用作第二构图)，并设置第二修整区域。构图设置单元112可以重复地执行重新设置修整区域的处理，直到新设置的修整区域处于输入图像的范围内。也就是说，当第二修整区域超出输入图像的范围时，构图设置单元112可以设置第三修整区域，在第三修整区域中，对象按第三构图布置。针对修整区域的处理流程和设置例，将在下面对上述构图设置单元112的处理进行进一步描述。
修整单元113从输入图像生成由构图设置单元112设置的修整区域的修整图像。此时，修整单元113可以通过执行像素内插处理以提高分辨率(超分辨率处理)来将修整图像的大小增大到输入图像的大小。正如下面将要描述的，构图设置单元112甚至可以通过该处理将修整图像的大小扩展至输入图像的大小，并且构图设置单元112可以将其作为构图的重新设置处理的重复条件来使用。记录控制单元114将由修整单元113生成的修整图像作为图像数据记录在存储单元130中。记录控制单元114可以记录输入图像的图像数据和修整图像。显示控制单元115将作为图像数据记录在存储单元130中的图像显示在显示单元120上。在由数字静止照相机100执行了成像后，显示控制单元115可以将图像作为在先的图像来显示，并且根据用户的操作，将记录在存储单元130中的任何图像作为再现图像来显不。显示单元120被配置为使用液晶显示器(IXD)或有机电致发光(EL)显示器。显示单元120根据显示控制单元115的控制为用户显示关于数字静止照相机100的各种信息。关于数字静止照相机100的处理的各种数据被存储在存储单元130中。存储单元130可以是诸如闪存只读存储器(ROM)或动态随机存取存储器(DRAM)的半导体存储器，诸如数字多功能盘(DVD)或压缩盘(CD)的光盘，或硬盘。或者，存储单元130可以是嵌入到数字静止照相机100中的存储装置，或者，可从数字静止照相机100移除的记录介质。存储单元130可以包括多种类型的存储装置或记录介质。修整图像或输入图像的图像数据由记录控制单元114存储在存储单元130中。另外，用于使控制电路110的CPU执行功能的程序可以被存储在存储单元130中。( 1-2.处理流程)接下来，将参照图2描述根据本公开实施例的数字静止照相机的处理流程。图2是示出数字静止照相机10 0的处理的流程图。在图2中示出的处理中，首先，对象识别单元111分析从成像单元102获取的输入图像的数字图像信号，并识别在输入图像中包含的对象(S101)。接下来，根据由对象识别单元111识别出的对象的位置、大小和方向，构图设置单元112设置修整区域，从而使得对象按预定构图布置(步骤S103)。在这种情况中，设置的修整区域对应于上述第一修整区域。构图设置单元112确定修整区域是否被设置在输入图像的范围内(步骤S105)。在这种情况中，当确定修整区域被设置在输入图像的范围内时，修整单元113根据设置的修整区域从输入图像生成修整图像(步骤S107)，并且记录控制单元114将修整图像记录到存储单元130中(步骤S109)。同时，当在步骤S105中确定修整区域没有被设置在输入图像的范围内时，构图设置单元112确定修整区域是否可以被重新设置(步骤SI 11)。如上所述，当修整区域通过重新设置而被减小时，该确定可以是对修整单元113是否能够将减小的修整区域的修整图像的大小增大到输入图像的大小的确定。该确定可以是对重新设置修整区域的次数是否达到预定的次数的确定。当在步骤Slll中确定修整区域可以被重新设置时，构图设置单元112改变修整区域的设置条件(步骤S113)。设置条件的改变可以是当根据对象的大小来设置修整区域的大小时参数的改变或者使用的构图的类型的改变。对改变的设置条件的详细描述将在下面给出。接下来，构图设置单元112根据在步骤S113中改变的设置条件来重新设置修整区域(步骤S103)。在这种情况中，设置的修整区域对应于上述第二修整区域。同时，当在步骤Slll中确定修整区域可能不被重新设置时，构图设置单元112在不设置修整区域的情况下结束处理。在这种情况中，修整单元113不生成修整图像。因此，记录控制单元114不将修整图像记录到存储单元130中。(1-3.修整区域的设置例子)接下来，将参照图3A到图7B描述根据本公开第一实施例的数字静止照相机中的修整区域的设置例子。图3A和图3B是示出修整区域设置的普通例子的示图。图4A到图7B是示出数字静止照相机100中的修整区域的设置例子的示图。图3A是示出可以设置修整区域的情况的例子的示图。在图3A中示出的例子中，对象识别单元111识别输入图像300中包含的作为对象的人的面部。人的面部可以被识别为面部区域310a。在输入图像300中的对象的位置和大小由面部区域310a来示出。对象识别单元111分析面部区域310a的一部分的图像并识别作为对象的面部的方向。构图设置单元112根据由对象识别单元111所识别的对象的位置、大小和方向来设置修整区域320。例如，构图设置单元112首先根据对象的方向来确定修整区域是被制成横向长还是纵向长。在图3A中示出的例子中，由于由面部区域310a所示出的面部转向向左侧，因此构图设置单元112使得修整区域成为纵向长。接下来，构图设置单元112根据面部区域310a的大小来确定修整区域320的大小。在图3A中示出的例子中，构图设置单元112将修整区域320的宽度设置为比面部区域310a的宽度大n (n彡2)倍的宽度。构图设置单元112确定修整区域320的位置，从而使得对象被布置于按预定构图布置对象的预定位置处。例如，在三分构图的情况中，对象被布置的位置是将修整区域320在水平和垂直方向中的每一个方向上都分成三份的线的四个交叉处中的任意一个。构图设置单元112基于对象的方向来确定对象被布置的位置。在本公开中，在修整区域中的对象布置的整体状态被称为“构图”。在上述例子中，“构图”由构图的类型(例如，三分构图或二分构图)、对象相对于修整区域的相对大小(n的值)、以及对象的布置点(在三分构图的情况中，四个交叉处中的布置对象的交叉处)来定义。在图3A的例子中，如上所述地设置的修整区域320在输入图像300的范围内。因此，由修整单元113生成修整区域320中的修整图像400。同时，在图3B的例子中，以与图3A的情况相同的方式设置的修整区域320超出输入图像300的范围。因此，在这种状态中，不生成修整图像400。在图3A和3B中示出的修整区域的设置处理中，如果面部区域310a大，或者面部区域310a位于输入图像300的末端，那么不生成修整图像400。因此，成像图像可能不被修整，并且该图像可能不按适当的构图被存储。在如图3B 的情况中，可以考虑忽略修整区域320的超出输入图像300的范围的一部分并生成修整图像的方法。但是，即使在这种情况中，由于修整图像与设置的构图不匹配，因此成像图像不必一定按适当的构图被存储。
另外，在图3A中示出的修整图像的生成处理中，可以生成修整图像。但是，由于修整区域320的大小与面部区域310a的大小之间的关系是固定的，因此即使修整图像是从不同的输入图像生成的，大部分的对象也相对较小。结果，用户有这样的印象，即，构图的变化差并且缺乏独创性。因此，在本实施例中，在如图3B的情况中，构图设置单元112改变修整区域的设置条件，并试图设置新的修整区域。在上述例子中，修整区域的设置条件的改变可以是:在设置修整区域320的大小时n的值的改变，以及将对象布置在三分构图中的不同的交叉处。或者，构图设置单元112可以改变构图的类型，作为修整设置条件的改变。例如，可以使用二分构图来代替三分构图。以这种方式，如果根据不同的设置条件来设置新的修整区域并且该修整区域在输入图像300的范围内，那么即使当可能不会通过如图3A和图3B的例子的处理来生成修整图像时，也可以生成修整图像。在如上所述地生成的修整图像中，由于通过生成起源(generation origin)的输入图像来改变对象的大小，因此用户会有这样的印象，即，构图的变化丰富并且富有独创性。在下文中，将描述本实施例中的修整区域设置的某些例子。(第一例)图4A到图4C是示出本实施例中的修整区域设置的第一例子的示图。如图4A所示，首先，构图设置单元112设置第一修整区域320，在第一修整区域320中，包含在输入图像300中的对象的面部区域310a按三分构图布置。但是，第一修整区域320超出输入图像300的范围。因此，如图4B所示，构图设置单元112设置第二修整区域322。在图4B中示出的例子中，构图设置单元112减小第一修整区域320以设置第二修整区域322。
例如，构图设置单元112可以减小当在图3A的例子中设置修整区域的大小时使用的n的值并减小修整区域。在图3A的例子中，n的值被设置为n>2。但是，在第二修整区域322的设置处理中，n的值可以被设置为n〈2或n〈l。也就是说，构图设置单元112可以将第一修整区域320减小到不包含面部区域310a的一部分的程度。在这种情况中，第一修整区域320的减小范围可以被任意地设置。但是，构图设置单元112可以减小第一修整区域320，从而使得面部区域310a的眼部区域312a被包括在内。眼部区域312a是注视区域，该注视区域被认为是面部区域310a中的图像的观察者特别地注视的区域。眼部区域312a可以使用与对象识别单元111所使用的算法相同的算法或对象识别单元111的识别结果来指定。注视区域并不限于在图中举例说明的眼部区域，并且可以是包含在脸部区域310a中的另一个器官。第一修整区域320被示出为横向长的区域。但是，第二修整区域322可以是横向长的区域或纵向长的区域。例如，构图设置单元112可以根据对象的特征将第二修整区域322的形状切换为横向长的形状或者纵向长的形状。在图4B中，示出横向长的第二修整区域322a和纵向长的第二修整区域322b。在本例中，由于两个修整区域都在输入图像300的范围内，因此如图4C所示，横向长的修整区域400a和纵向长的修整区域400b都可以被生成。在示出的例子中，横向长的第二修整区域322a和纵向长的第二修整区域322b都在输入图像300的范围内。但是，当第二修整区域322a和322b中只有一个在输入图像300的范围内时，构图设置单元112可以选择在输入图像300的范围内的第二修整区域322。构图设置单元112可以根据对象的特征(例如，被布置在大致水平方向上的眼部区域312a或面部的倾斜度)来选择第二修整区域322a和322b中的任意一个。或者，构图设置单元112可以将横向长的第二修整区域322a的信息和纵向长的第二修整区域322b的信息都提供给修整单元113。在这种情况中，显示控制单元115可以将修整图像400a和400b作为预览图像显示在显示单元120上，从而使得用户可以选择存储的修整图像。第二修整区域的形状被切换为横向长的形状或纵向长的形状或者两种修整图像都被输出以允许用户选择修整图像的配置可以被应用于本文中描述的另一个例子。在图4A到4C中示出的修整图像的生成处理中，第一修整区域320被减小并且第二修整区域322被设置。此时，如果第一修整区域320的减小量不合适，那么可能设置这样的修整区域，其中，用户注视的区域，例如，诸如面部区域310a的眼部区域312a的区域，被在半途切割。在这种情况中，用户会感到第二修整区域的构图是不适当的。因此，在上述例子中，诸如眼部区域312a的区域被设置为注视区域，第一修整区域320被减小，从而使得注视区域被包括在内，并且设置第二修整区域322。因此，用户感到第二修整区域322的构图是适当的可能性会变高。(第二例子)图5A和图5B是示出本实施例中的修整区域设置的第二例子的示图。与图3A到图4C的例子不同，在图5A和图5B的例子中，对象识别单元111将花朵识别为包含在输入图像300中的对象。花朵可以被识别为花朵区域310b。如图5A所示，首先，构图设置单元112设置第一修整区域(在图中未示出)，在第一修整区域中，花朵区域310b 按三分构图布置。由于花朵区域310b在输入图像300上被大部分地显示，因此第一修整区域超出输入图像300的范围。因此，构图设置单元112减小第一修整区域，以设置第二修整区域。通过修整第二修整区域中的输入图像而获得的修整图像400c到400f在图5B中示出。在本例中，构图设置单元112分析输入图像300以设置注视区域312b并减小第一修整区域，从而使得注视区域312b被包括在内。例如，注视区域312b是花朵区域310b中的这样的区域:其中，亮度更高，饱和度更高，或者边缘的数量更大。构图设置单元112可以根据对象的特征来改变第二修整区域的纵横比。图5B示出当使用各种纵横比来设置第二修整区域时生成的修整图像400。在这些修整图像400中，修整图像400c是在输入图像的纵横比(4:3)没有改变时获得的。修整图像400d是在纵横比被改变为16:9时获得的。修整图像400e是在纵横比被改变为3:2时获得的。修整图像400f是在纵横比被改变为1:1时获得的。在图中示出的例子中，具有各自纵横比的所有第二修整区域都在输入图像300的范围内。但是，当具有某一纵横比的第二修整区域超出输入图像300的范围时，构图设置单元112可以将具有相应纵横比的第二修整区域从选择对象中排除。构图设置单元112可以根据对象的特征(例如，注视区域312b的形状)来选择具有任何纵横比的第二修整区域。或者，构图设置单元112可以向修整单元113提供具有多种纵横比的第二修整区域的信息。在这种情况中，显示控制单元115可以将修整图像400c到400f中的每一个作为预览图像显示在显示单元120上，从而使得用户可以选择存储的修整图像。其中第二修整区域的纵横比被切换或者多个修整图像被输出以允许用户选择修整图像的配置可以被应用到本文中描述的另一个例子。在图5A和图5B中示出的修整图像的生成处理中，即使当对象区域中的注视区域(比如，图4A到图4C中的相对于面部区域310a的眼部区域312a)先前没有被设置时，也通过分析输入图像300来设置注视区域312b。因此，即使在诸如花朵或菜肴的对象的情况中，也可以通过适当地设置注视区域312b来设置第二修整区域。当第二修整区域的纵横比被切换时，修整图像的纵横比没有被固定，从而使得修整图像可以在许多情况中被生成。当具有多种纵横比的修整图像被提供给用户时，可以根据用户的嗜好来生成各种修整图像。(第三例子)图6A和图6B是不出本实施例中的修整区域设置的第三例子的不图。与图3A到图5B的例子不同，在图6A和图6B的例子中，对象识别单元111将车辆识别为包含在输入图像300中的对象。车辆可以被识别为车辆区域310c。如图6A所示，首先，构图设置单元112设置第一修整区域(在图中未示出)，在第一修整区域中，车辆区域310c按三分构图布置。由于车辆区域310c在输入图像300上被大部分地显示，因此第一修整区域超出输入图像300的范围。因此，构图设置单元112减小第一修整区域，以设置第二修整区域。通过修整第二修整区域中的输入图像而获得的修整图像400在图6B中示出。在本例中，构图设置单元112通过用户的操作来设置注视区域312c，并减小第一修整区域，从而使得注视区域312c被`包括在内。注视区域312c可以是在对输入图像300成像前通过用户的操作指定的车辆区域310c中的注视点附近的区域。在这种情况中，对象识别单元111可以通过跟踪连续地识别对象的车辆区域310c并移动指定的注视点以对应于跟踪。当用户从作为预览图像或再现图像显示的输入图像300生成修整图像400时，注视区域312c可以是由用户从显示单元120上显示的输入图像300选择的注视点附近的区域。也就是说，可以在图像被成像并记录后设置注视区域312c。在图6A和6B中示出的修整图像的生成处理中，通过用户的指定来设置注视区域312c。因此，即使在难以自动地检测注视区域的对象的情况中，也可以通过根据用户的希望设置注视区域312c来设置适当的第二修整区域。(第四例子)图7A和图7B是示出本实施例中的修整区域设置的第四例子的示图。本例是所谓的宏观摄影(macro photography)的例子。如图7A所示,例子中的对象是占据输入图像300的大部分的蛋糕。这样，对象没有像图3A到图6B那样被识别为区域。由构图设置单元112按三分构图布置对象的第一修整区域超出了输入图像300的范围。因此，构图设置单元112设置第二修整区域。在图中示出的例子中，构图设置单元112设置第二修整区域，从而使得在输入图像中被聚焦的聚焦区域312d被包括在内。具体地说，构图设置单元112可以设置第二修整区域，在该第二修整区域中，按三分构图布置聚焦区域312d。
此时，构图设置单元112可以设置横向长的第二修整区域和纵向长的第二修整区域中的一个或两个。在各个情况中生成的修整图像400a和400b在图7B中示出。构图设置单元112可以根据对象的特征(例如，聚焦区域312d的形状)来选择横向长的第二修整区域和纵向长的第二修整区域中的任意一个。在图7A和图7B中示出的修整图像的生成处理中，在输入图像中被聚焦的聚焦区域312d被设置为注视区域。因此，即使在对象的区域超出输入图像300的区域的宏观摄影的情况中，也可以通过适当地设置注视区域来设置修整区域。(2.第二实施例)接下来，将参照图8和图9描述本公开的第二实施例。图8是示出根据本实施例的数字静止照相机200的功能配置的示意性框图。图9是示出数字静止照相机200的处理的流程图。第二实施例与第一实施例的不同之处在于，数字静止照相机200还包括聚焦确定单元216。但是，由于第二实施例的其它配置与第一实施例相同，因此省略其详细解释。如图8所示，在本实施例中，数字静止照相机200包括聚焦确定单元216。聚焦确定单元216确定由对象识别单元111识别的对象是否被聚焦。使用与自动聚焦相同的方法，诸如对比度检测方法或相差检测方法，聚焦确定单元216确定该对象是否被聚焦。例如，当使用对比度检测方法时，聚焦确定单元216确定在输入图像的对象的区域中的对比度是否等于或大于预定阈值或者大于其它区域的对比度，并确定该对象是否被聚焦。当使用相差检测方法时，基于使用光测量传感器(在图中未示出)检测到的对象的区域中的相差，聚焦确定单元216确定成像光学系统101的透镜是否聚焦在该对象上，并确定该对象是否被聚焦。在这种情况中，聚焦确定单元216将对象是否被聚焦的确定结果提供给构图设置单元112。当作为聚焦确定单元216中的确定结果确定对象被聚焦时，构图设置单元112设置第一修整区域。同时， 当确定对象不被聚焦时，不执行已经在第一实施例中描述的修整区域的设置处理。当被识别为对象的区域完全被聚焦时，聚焦确定单元216可以确定该对象被聚焦。当被识别为对象的区域的至少一部分被聚焦时，聚焦确定单元216可以确定该对象被聚焦。在图9中，聚焦确定单元216的处理如步骤S215所示。在对象识别单元111在步骤SlOl中识别对象后，聚焦确定单元216确定识别对象是否被聚焦(步骤S215)。在这种情况中，当确定对象被聚焦时，执行步骤S103之后的修整区域的设置处理。同时，当确定对象不被聚焦时，处理返回到步骤S101。在上述的第二实施例中，当对象被聚焦时，执行设置修整区域的处理。当对象被聚焦时，构图设置的精度变高。当对象不被聚焦时，即使在修整区域中生成修整图像，相应的操作终究也可能会失败。也就是说，根据本实施例的配置，可以防止生成用户不想要的修整图像，并且可以以高精度生成用户想要的修整图像。(3.补充)本公开的实施例并不限于上述配置，并且可以如同下面的例子那样进行各种修改。例如，根据本公开实施例的图像处理设备并不限于数字静止照相机，并且可以是具有成像功能的移动电话(智能电话)或者诸如平板个人计算机(PC)的便携式终端。图像处理设备可以是没有成像功能的信息处理设备，诸如桌上PC。在这种情况中，图像处理设备获取由另一设备成像的图像作为输入图像。本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、子组合和替换，只要它们在所附权利要求或其等同物的范围即可。另外，本技术也可以被配置如下。(I) 一种图像处理系统,包括:构图设置单元，当第一修整区域超出输入图像的范围时，构图设置单元设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。( 2 )根据(I)所述的图像处理设备，
其中，第二修整区域小于第一修整区域。(3 )根据(2 )所述的图像处理设备，其中，构图设置单元减小第一修整区域，以设置第二修整区域，从而使得对象的预定区域被包括在内。(4)根据(3)所述的图像处理设备，其中，通过用户的操作来设置预定区域。(5)根据(3)所述的图像处理设备，其中，通过分析输入图像来设置预定区域。(6)根据(3)所述的图像处理设备，其中，对象是面部，并且其中，预定区域是对应于包括在面部上的预定器官的区域。(7)根据(I)到(6)中的任意一项所述的图像处理设备，其中，第一构图和第二构图中的至少一个是三分构图。(8)根据(7)所述的图像处理设备，其中，构图设置单元根据对象的特征将第二修整区域的形状切换为横向长的形状或者纵向长的形状。(9)根据(7)或(8)所述的图形处理设备，其中，构图设置单元根据对象的特征改变第二修整区域的纵横比。(10)根据(7)到(9)中的任意一项所述的图像处理设备，其中，构图设置单元设置第二修整区域，从而使得在输入图像中被聚焦的区域被包括在内。( 11)根据(I)到(10 )中的任意一项所述的图像处理设备，其中，第二构图的类型不同于第一构图的类型。( 12 )根据(I)到(11)中的任意一项所述的图像处理设备，还包括:确定对象是否被聚焦的聚焦确定单元，其中，当对象被聚焦时，构图设置单元设置第一修整区域。( 13)根据(I)到(12)中的任意一项描述的图像处理设备，其中，当第二修整区域超出输入图像的范围时，构图设置单元设置第三修整区域，在第三修整区域中，对象按第三构图布置。(14)根据(13)所述的图像处理设备，还包括:修整单元，其从输入图像生成第二修整区域或第三修整区域的修整图像，并通过执行像素内插处理以提高分辨率来将修整图像扩展到输入图像的大小，其中，当可能进行修整图像的扩展时，构图设置单元设置第二修整区域或第三修整区域。(15) 一种图像处理方法，包括:当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。(16) —种计算机可读记录介质,其上记录有程序，其中，该程序使得计算机实现这样的功能:当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。本申请包含与在2012年I月26日提交在日本专利局中的日本在先专利申请JP2012-013921中公开的主题相关的主题，该专利申请的全部内容以引用的方式并入本文 中。
权利要求
1.一种图像处理设备，包括: 构图设置单元，当第一修整区域超出输入图像的范围时，该构图设置单元设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。
2.根据权利要求1所述的图像处理设备， 其中，第二修整区域小于第一修整区域。
3.根据权利要求2所述的图像处理设备， 其中，构图设置单元减小第一修整区域，以设置第二修整区域，从而使得对象的预定区域被包括在内。
4.根据权利要求3所述的图像处理设备， 其中，通过用户的操作来设置所述预定区域。
5.根据权利要求3所述的图像处理设备， 其中，通过分析输入图像来设置所述预定区域。
6.根据权利要求3所述的图像处理设备， 其中，对象是面部，并且 其中，所述预定区域是对应于包括在面部中的预定器官的区域。
7.根据权利要求1所述的图像处理设备， 其中，第一构图和第二构图中的至少一个是三分构图。
8.根据权利要求7所述的图像处理设备， 其中，构图设置单元根据对象的特征将第二修整区域的形状切换为横向长的形状或者纵向长的形状。
9.根据权利要求7所述的图像处理设备， 其中，构图设置单元根据对象的特征改变第二修整区域的纵横比。
10.根据权利要求7所述的图像处理设备， 其中，构图设置单元设置第二修整区域，从而使得在输入图像中被聚焦的区域被包括在内。
11.根据权利要求1所述的图像处理设备， 其中，第二构图的类型不同于第一构图的类型。
12.根据权利要求1所述的图像处理设备，还包括: 确定对象是否被聚焦的聚焦确定单元， 其中，当对象被聚焦时，构图设置单元设置第一修整区域。
13.根据权利要求1所述的图像处理设备， 其中，当第二修整区域超出输入图 像的范围时，构图设置单元设置第三修整区域，在第三修整区域中，对象按第三构图布置。
14.根据权利要求13所述的图像处理设备，还包括: 修整单元，该修整单元从输入图像生成第二修整区域或第三修整区域的修整图像，并通过执行像素内插处理以提高分辨率来将修整图像扩展到输入图像的大小， 其中，当可能进行修整图像的扩展时，构图设置单元设置第二修整区域或第三修整区域。
15.—种图像处理方法,包括: 当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。
16.—种记录有程序的计算机可读记录介质， 其中，该程序使得计算机实现这样的功能:当第一修整区域超出输入图像的范围时，设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构 图布置。
全文摘要
本发明涉及图像处理设备、图像处理方法和记录介质。提供一种包括构图设置单元的图像处理设备，当第一修整区域超出输入图像的范围时，构图设置单元设置第二修整区域，其中，在第一修整区域中，在输入图像中包含的对象按第一构图布置，在第二修整区域中，该对象按第二构图布置。
文档编号H04N5/232GK103227895SQ20131001844
公开日2013年7月31日 申请日期2013年1月18日 优先权日2012年1月26日
发明者深田阳子, 小野俊树, 三上真范 申请人:索尼公司