专利名称：图像处理装置、控制图像处理装置的方法以及用于使计算机执行该方法的程序的制作方法
图像处理装置、控制图像处理装置的方法以及用于使计算机执行该方法的程序
背景技术：
本公开涉及ー种图像处理装置、用于控制图像处理装置的方法以及用于使计算机执行该方法的程序。更具体地说，本公开涉及ー种用于执行平滑处理的图像处理装置、用于控制该图像处理装置的方法以及用于使计算机执行该方法的程序。最近几年，为了拍摄运动对象，广泛采用被称为摇摄的成像方法。摇摄是沿运动方向清楚地拍摄运动对象，而使诸如背景的静止对象模糊的拍摄图像的方法。下面将该图像称为“摇摄图像”。摇摄能够生动地表达运动对象。在执行摇摄的操作中，摄影者在快门速度被设置得低于标准速度的状态下移动成像设备以跟踪对象的运动。为了正确设置快门速度或者成像设备的运动，摄影者必需具有较高的技术，因此，摇摄图像的完成状态主要取决于摄影者个体的技木。
因此，提出过ー种成像设备，当检测到摄影者使成像设备发生运动时，成像设备测量对象的运动速度，并且根据运动速度，控制快门速度(例如，请參见第2009-229732号日本专利申请公开公报)。成像设备使得可以正确设置快门速度，因此，容易拍摄摇摄图像。
发明内容
然而，在上面描述的相关技术中，未实现不利用摇摄技术由标准图像产生摇摄图像。预期第2009 — 229732号专利申请公开公报的成像设备通过调节快门速度辅助摇摄，但是成像设备的移动由摄影者自己完成。因为该原因，即使在第2009 — 229732号专利申请公开公报披露的成像设备中，摇摄图像的完成状态仍取决于摄影者的在除快门速度之外的其它设置方面的技木。希望提供一种不取决于摄影者的技术产生摇摄图像的技木。根据本公开的实施例，提供了ー种图像处理装置，包括深度获取单元，用于获取与对象的拍摄图像中的像素相关联的到所述对象的深度；以及平滑处理单元，用于将图像上的预定区域之外的区域内的像素指定为目标像素，并且用于在预定方向上对目标像素的像素值执行程度与所述目标像素的深度相对应的平滑处理。还提供了ー种用于控制图像处理装置的方法和用于使计算机执行该方法的程序。这样可以在预定方向对目标像素的像素值执行基于深度的程度的平滑处理。根据第一实施例，该平滑处理单元可以包括平滑參数设置部分，用于设置表示平滑处理的特性的平滑參数；并且可以包括平滑处理执行部分，用于根据设置的平滑參数和获取的深度，执行平滑处理。这样可以根据平滑參数和深度执行平滑处理。此外，根据第一实施例，该平滑处理执行部分可以包括计算部分，用于根据平滑參数中规定的量和获取的深度计算平滑处理的程度；并且可以包括平滑滤波器，用于执行所计算的程度的平滑处理。这样可以根据平滑參数中规定的量和深度计算程度。根据第一实施例，该平滑參数设置部分设置的平滑參数包括执行平滑处理的方向，作为所述预定方向，以及该平滑处理执行部分可以根据获取的深度在所述预定方向上执行平滑处理。这样在所设置的方向上执行平滑处理。此外，根据第一实施例，该平滑參数设置部分设置的平滑參数包括指定不执行所述平滑处理的区域作为所述预定区域的信息；以及该平滑处理执行部分可以将所述预定区域之外的区域内的像素指定为目标像素，并且根据获取的深度执行平滑处理。这样将所设置的区域外的区域内的像素设置为目标像素，并且执行平滑处理。根据第一实施例，该平滑參数设置部分设置的平滑參数包括指示所述预定区域内的一个或者多个像素的信息，以及该平滑处理执行部分可以包括区域检测部分，用于检测如下的区域，该区域包括对应的深度与一个或者多个像素所对应的深度之间的差等于或者小于预定值的像素；以及可以包括平滑滤波器，用于将所检测到的区域之外的区域中的像素指定为目标像素，并且用于根据所获取的深度来执行平滑处理。这样可以将深度之差在预定值范围内的区域之外的区域内的像素指定为目标像素，并且执行平滑处理。此外，根据第一实施例，该平滑处理单元可以利用移动平均滤波器执行平滑处理。这样可以利用移动平均滤波器执行平滑处理。 根据第一实施例，该平滑处理单元可以利用高斯滤波器执行平滑处理。这样可以利用高斯滤波器执行平滑处理。此外，根据第一实施例，该图像可以包括被作为基准的基准图像和产生深度时要參照的參考图像。该深度获取单元可以包括视差检测部分，用于检测基准图像上的任何一个像素和所述參考图像上所述像素对应的像素之间的距离作为视差；并且可以包括深度生成部分，用于根据所检测到的视差，产生与基准图像上的像素相关联的深度。该平滑处理单元将基准图像上的预定区域之外的区域中的像素指定为目标像素，并且执行平滑处理。这样根据所检测到的视差产生深度。根据本公开，可以实现由标准图像产生摇摄图像的良好效果。
图I是示出根据第一实施例的成像设备的配置例子的框图；图2是示出根据第一实施例的图像处理装置的配置例子的框图；图3是示出根据第一实施例的图像数据和深度信息的例子的示意图；图4是示出根据第一实施例的用于设置平滑參数的方法的例子的示意图；图5是示出根据第一实施例的平滑參数的例子的示意图；图6是示出根据第一实施例的用于检测运动物体区域的方法的例子的示意图；图7是示出根据第一实施例的滤波器阶数的例子的示意图；图8是示出根据第一实施例的基于运动方向平滑的对象的例子的示意图；图9是示出根据第一实施例的基于滤波器阶数平滑的对象的例子的示意图；图10是示出根据第一实施例的像素值、深度和滤波器阶数的例子的示意图；图11是示出根据第一实施例对其执行摇摄的图像的例子的示意图；图12是示出根据第一实施例被执行平滑处理之前和之后的图像的例子的示意图；图13是示出根据第一实施例的归ー化系数的例子的示意图；图14是示出根据第一实施例的摇摄图像的例子的示意图15是示出根据第一实施例的图像处理装置的操作的例子的流程图；图16是示出根据第一实施例的平滑处理的例子的流程图；图17是示出根据第一实施例的均化处理的例子的流程图；图18是示出根据第二实施例的成像设备的配置例子的框图；图19是示出根据第二实施例的图像处理装置的配置例子的框图；图20是示出根据第二实施例的深度信息获取单元的配置例子的框图；图21是示出根据第二实施例的视差和深度之间关系的例子的示意图；以及图22是示出根据第二实施例的图像处理装置的例子的流程图。
具体实施例下面将參考附图详细描述本公开的优选实施例。请注意，在该说明和附图中，功能和结构基本相同的结构单元被赋予相同的參考编号，并且省略对这些结构单元的重复解释。下面将描述本公开的实施例。以下面的顺序进行描述。I.第一实施例(图像处理产生摇摄图像的例子)2.第二实施例(图像处理采用立体匹配方法的例子)I.第一实施例[成像设备的配置例子]图I是示出根据本公开第一实施例的成像设备100的配置例子的框图。成像设备100拍摄对象，并且由拍摄的对象图像产生摇摄图像。成像设备100包括拍摄单元150、图像数据存储単元200、深度测量单元250、操作単元300、图像处理装置350以及显示単元400。拍摄单元150拍摄对象并且产生图像数据。拍摄单元150通过信号线155将产生的图像数据送到图像数据存储単元200。图像数据存储単元200存储图像数据。图像数据存储単元200存储由拍摄单元150和图像处理装置350分别产生的图像数据。深度测量单元250测量对象的深度。例如，深度测量单元250与拍摄单元150的图像拍摄同步地对对象发射激光，检测对象反射的光以及根据从发射时点到检测到时点的延迟时间测量深度。深度测量单元250測量与图像上的各像素相关的深度，并且产生表示这些深度的深度信息。深度测量单元250将产生的深度信息通过信号线251送到图像处理装置350。操作単元300检测用于操作成像设备100的操作信号。操作信号包括用于设置平滑參数的操作信号。后面将描述平滑參数。操作単元300将检测到的操作信号通过信号线301送到图像处理装置350。图像处理装置350对图像数据执行平滑处理，以产生摇摄图像数据。更具体地说，图像处理装置350根据操作信号设置平滑參数。平滑參数是表示平滑处理的特性的參数，并且包括运动物体位置、运动方向和运动量的值。后面将详细描述平滑处理。运动物体位置对应于拍摄有如下对象的区域内的任何像素的坐标，该对象是图像上的对象当中被认为正在运动的对象。下面将拍摄运动物体的区域称为“运动物体区域”。运动方向被设置为运动物体的运动方向，并且与运动方向相反的方向是平滑处理的方向。运动量是被规定为在运动物体的曝光时间内的运动距离的量。设置了平滑參数后，图像处理装置350根据运动量和对应于像素的深度来计算在运动物体区域之外的区域内的平滑程度。例如，图像处理装置350由下面的表达式(I)计算平滑程度。B = AXS/D (I)在表达式(I)中，“B”代表平滑程度，比如平滑滤波器的滤波器阶数。模糊量根据平滑滤波器的阶数升高或者降低。此外，“S”代表运动量，其单位是[m]等。“D”代表深度，其单位是[m]等。“A”代表用于将S/D的值转换为B的系数。此外，在成像设备100平行于运动物体的运动方向运动的情况下，图像处理装置350根据表达式(I)计算滤波器阶数B(模糊量)。作为ー种选择，在成像设备100旋转的情况下，图像处理装置350可以计算模糊 量。不根据深度而根据运动量来计算当旋转成像设备100以便跟踪运动物体的运动时的模糊量。例如，利用表达式B = AXS代替表达式(1)，计算这种情况下的模糊量。图像处理装置350根据所计算的滤波器阶数在运动方向的反向上对运动物体区域之外的区域内的像素的像素值执行平滑处理。图像处理装置350将对其执行了平滑处理的图像数据通过信号线355送到图像数据存储単元200，作为摇摄图像数据。显示单元400显示从图像数据存储単元200读出的图像数据或者摇摄图像数据。[图像处理装置的配置例子]图2是示出根据第一实施例的图像处理装置350的配置例子的框图。图像处理装置350包括深度信息获取单元360和平滑处理单元370。深度信息获取单元360获取深度测量单元250产生的深度信息。深度信息获取单元360将获取的深度信息通过信号线365送到平滑处理单元370。平滑处理单元370根据深度信息对图像数据执行平滑处理。平滑处理单元370包括平滑參数设置部分371和平滑处理执行部分372。平滑參数设置部分371根据操作信号设置平滑參数。平滑參数设置部分371将设置的平滑參数送到平滑处理执行部分372。平滑处理执行部分372根据平滑參数和深度信息执行平滑处理。平滑处理执行部分372包括运动物体区域检测部分373、滤波器阶数计算部分374和平滑滤波器375。运动物体区域检测部分373检测运动物体区域。更具体地说，运动物体区域检测部分373获取对应于包括在平滑參数中的运动物体位置的深度作为深度信息。然后，运动物体区域检测部分373把由被測量出与该深度间的差在预定值范围内的深度对应的像素所形成的区域检测为运动物体区域。运动物体区域检测部分373产生表示检测到的运动物体区域的运动物体区域信息。运动物体区域信息包括表示例如运动物体区域的轮廓上的像素组的信息。运动物体区域检测部分373将所产生的运动物体区域信息送到滤波器阶数计算部分374。滤波器阶数计算部分374根据深度信息和运动量计算运动物体区域之外的区域的滤波器阶数。更具体地说，滤波器阶数计算部分374将运动物体区域检测部分373检测到的运动物体区域之外的区域指定为作为平滑处理的目标的目标像素。滤波器阶数计算部分374利用表达式(1)，由包括在平滑參数中的运动量“S”和对应于每个目标像素的深度“D”，计算每个目标像素的滤波器阶数“B”。由于运动物体区域内的像素不是平滑处理的目标，所以运动物体区域内的像素的滤波器阶数被设置为“I”。此外，在所计算的滤波器阶数小于“I”的情况下，滤波器阶数被设置为“I”。滤波器阶数计算部分374将每个像素的滤波器阶数送到平滑滤波器375。平滑滤波器375根据滤波器阶数对目标像素执行平滑处理。平滑滤波器375是利用例如简单移动平均方法执行平滑的简单移动平均滤波器。利用简单移动平均滤波器，首先，对于图像上的所有像素，平滑滤波器375初始化被平滑之后的像素值I’(i，j)和归ー化系数n(i，j)。例如，所有值都被初始化为O。在这方面，i是像素的水平坐标，而j是该像素的垂直坐标。如果图像的水平方向上的像素数是W,而垂直方向上的像素数是H，则i是O至W-I的整数，而j是O至H — I的整数。此外，归一化系数是执行归ー化时要乘的系数。后面描述归ー化的细节。 初始化后，平滑滤波器375对准图像中的任何像素，并且将该像素指定为感兴趣像素。平滑滤波器375获取感兴趣像素的像素值I (i，j)和滤波器阶数B(i，j)。平滑滤波器375确定在从感兴趣像素开始连续位于平滑处理方向上的B(i，j)个像素中是否存在位于运动物体区域内的像素。如果存在位于运动物体区域内的像素，则平滑滤波器375确定感兴趣像素的深度是否大于运动物体区域内的像素的深度(即，感兴趣像素的对象比运动物体位于更内侧)。如果感兴趣像素的深度大于运动物体区域内的像素的深度，则平滑滤波器375不将I(i，j)/B(i, j)与像素被平滑后的像素值相加。另ー方面，如果B (i，j)个像素中不存在位于运动物体区域内的像素，或者感兴趣像素的深度等于或者小于运动物体区域内的像素的深度，则平滑滤波器375将I(i，j)/B(i，j)与B(i，j)个像素被平滑后的像素值相加。然而，平滑滤波器375可以将I (i，j)/B(i, j)与B(i,j)个像素被平滑后的像素值相加,而不考虑B (i,j)个像素中是否存在位于运动物体区域内的像素，以及与对象相比，运动物体是否更位于前面。在两种情况下都进行加法的配置中，计算量被减小。例如，在归ー化处理的方向是ー X方向，并且在B(i，j)个像素的组中不存在位于运动物体区域内的像素，则对感兴趣像素执行根据下面的表达式(2)的计算。
权利要求
1.一种图像处理装置，包括 深度获取单元，用于获取与对象的拍摄图像中的像素相关联的到所述对象的深度；以及 平滑处理单元，用于将所述图像上的预定区域之外的区域内的像素指定为目标像素，并且用于在预定方向上对所述目标像素的像素值执行程度与所述目标像素的深度相对应的平滑处理。
2.根据权利要求I所述的图像处理装置，其中所述平滑处理单元包括 平滑参数设置部件，用于设置表示所述平滑处理的特性的平滑参数；以及 平滑处理执行部件，用于根据所设置的平滑参数和所获取的深度，执行所述平滑处理。
3.根据权利要求2所述的图像处理装置，其中所述平滑处理执行部件包括 计算部分，用于根据所述平滑参数中规定的量和所获取的深度，计算所述平滑处理的程度；以及 平滑滤波器，用于执行所计算的程度的所述平滑处理。
4.根据权利要求2所述的图像处理装置，其中所述平滑参数设置部件设置的平滑参数包括执行所述平滑处理的方向，作为所述预定方向，以及 其中所述平滑处理执行部件根据所获取的深度在所述预定方向上执行所述平滑处理。
5.根据权利要求2所述的图像处理装置，其中所述平滑参数设置部件设置的平滑参数包括指定不执行所述平滑处理的区域作为所述预定区域的信息；以及 其中所述平滑处理执行部件将所述预定区域之外的区域内的像素指定为目标像素，并且根据所获取的深度执行所述平滑处理。
6.根据权利要求2所述的图像处理装置，其中所述平滑参数设置部件设置的平滑参数包括指示所述预定区域内的一个或者多个像素的信息，以及 其中所述平滑处理执行部件包括 区域检测部分，用于检测如下的区域，该区域包括对应的深度与所述一个或者多个像素所对应的深度之间的差等于或者小于预定值的像素；以及 平滑滤波器，用于将所检测到的区域之外的区域内的像素指定为所述目标像素，并且用于根据所获取的深度来执行所述平滑处理。
7.根据权利要求I所述的图像处理装置，其中所述平滑处理单元利用移动平均滤波器执行所述平滑处理。
8.根据权利要求I所述的图像处理装置，其中所述平滑处理单元利用高斯滤波器执行所述平滑处理。
9.根据权利要求I所述的图像处理装置，其中所述图像包括被作为基准的基准图像和产生所述深度时要参照的参考图像， 其中所述深度获取单元包括 视差检测部件，用于检测所述基准图像上的任何一个像素和所述参考图像上与所述像素对应的像素之间的距离作为视差；以及 深度生成部件，用于根据所检测到的所述视差，产生与所述基准图像上的所述像素相关联的所述深度；以及 其中所述平滑处理单元将基准图像上的预定区域之外的区域中的像素指定为目标像素，并且执行所述平滑处理。
10.一种用于控制图像处理装置的方法，所述方法包括 利用深度获 取单元，获取与对象的拍摄图像中的像素相关联的到所述对象的深度；以及 利用平滑处理单元，将图像上的预定区域之外的区域内的像素指定为目标像素，并且利用所述平滑处理单元，在预定方向上对所述目标像素的像素值执行程度与所述目标像素的深度相对应的平滑处理。
11.一种用于使计算机执行处理的程序，所述处理包括 利用深度获取单元，获取与对象的拍摄图像中的像素相关联的到所述对象的深度；以及 利用平滑处理单元，将图像上的预定区域之外的区域内的像素指定为目标像素，并且利用所述平滑处理单元，在预定方向上对所述目标像素的像素值执行程度与所述目标像素的深度相对应的平滑处理。
全文摘要
提供了一种图像处理装置、控制图像处理装置的方法以及用于使计算机执行该方法的程序。所述装置包括深度获取单元和平滑处理单元。深度获取单元与对象的拍摄图像中的像素相关联地获取到对象的深度；以及平滑处理单元将图像上的预定区域之外的区域内的像素指定为目标像素，并且在预定方向上对目标像素的像素值执行程度与目标像素的深度相对应的平滑处理。这样使预定区域之外的区域内的像素模糊，从而产生摇摄图像。
文档编号H04N5/232GK102821243SQ20121017773
公开日2012年12月12日 申请日期2012年5月31日 优先权日2011年6月7日
发明者平泽康孝, 加纳夏纪 申请人:索尼公司