专利名称：图像处理设备及其控制方法及程序的制作方法
技术领域：
本发明涉及一种图像处理设备、控制图像处理设备的方法以及致使计算机执行所述方法的程序，更具体地讲，本发明涉及一种根据深度进行图像处理的图像处理设备、控制图像处理设备的方法以及致使计算机执行所述方法的程序。
背景技术：
最近几年，能够测量与图像中的像素相关联的深度的图像拾取装置日趋流行。图像拾取装置中的图像处理设备能够使用深度执行诸如产生焦外成像(bokeh)的模糊处理(即，平滑处理)的图像处理。例如，(例如，申请号为2003-37767的日本专利公开物)推出了这样一种图像拾取装置其测量至对象的深度，并随着聚焦于主要对象将把主要对象的背景平滑处理至相应于基于主要对象的深度的程度。通常对肖像照片的背景进行这样的平滑处理，例如，为了突出特定人物。另外，由于配备了具有小光接收表面区域的图像传感器的图像拾取装置因图像传感器的性能可以捕获具有相当小焦外成像的图像，所以通常采用平滑处理来强调远景(perspective)。
发明内容
过去，在上述技术中，难以通过平滑处理把远景突出至所较高的程度。以上所描述的图像拾取装置相对距聚焦位置的一段距离，线性地改变平滑处理程度。然而，当平滑处理程度相对距聚焦位置的距离非线性地改变时，过大程度地突出了远景。例如，假设在距聚焦位置的一段距离SI上设置平滑处理程度(即，模糊量)，而且距离S2为距离SI的两倍。在这一情况下，当把SI内的对象的模糊量BI设置为S2内的对象的模糊量B2—半以上时，较大程度地突出了远景。尽管用户可以手工地执行这样的远景突出，然而这样的突出需要复杂的操作。鉴于上述问题，人们希望提供一种通过执行图像处理突出图像远景的图像处理设备。根据本发明的实施例，提供了一种图像处理设备，包含获取图像的图像获取部分；深度获取部分，其获取与图像中像素相关联的深度；深度转换部分，其根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及存储部分，其存储与图像相关联的所转换的深度，并且提供了一种控制图像处理设备的方法以及致使计算机执行所述方法的程序。因此，能够把根据具有随深度的增加非线性地接近预定值的特性的函数所转换的深度与图像相关联地加以存储。根据本发明的实施例，还可以包括还包含平滑处理部分，所述平滑处理部分根据相应于图像中预定像素的所转换的深度将图像平滑处理到取决于相应于所述图像中所述像素的所转换的深度的程度。因此，能够依据所转换的深度对图像进行平滑处理。根据本发明的实施例，所述函数为其特性随系数而变化的函数，以及平滑处理部分基于根据所述特性所转换的深度执行平滑处理。因此，能够根据随系数而变化的特性进行基于所转换的深度的平滑处理。另外，根据本发明的实施例，所述函数可以为指数函数，即令深度为X、输出为y、自然对数的底为e、预定常数为α以及系数为β,并且将其定义为下列公式Y= α Χθ~(_βχ)。因此，可以根据上述公式所定义的函数对深度进行转换。而且，根据本发明的实施例，所述函数还可以为这样的指数函数，即令深度为X、输出为y、自然对数的底为e、预定常数为α以及系数为β，并且将其定义为下列公式γ=α Χ{1-θ~(-βχ)}0因此，可以根据上述公式所定义的函数对深度进行转换。另外，根据本发明的实施例，还可以包括还包含系数供给部分，所述系数供给部分依据捕获图像的拍摄条件，供给系数值。因此，能够依据拍摄条件供给系数。而且，根据本发明的实施例，存储部分还存储与图像相关联的拍摄条件，以及系数供给部分依据所存储的拍摄条件供给系数。因此，能够依据所存储的拍摄条件供给系数。 另外，根据本发明的实施例，深度转换部分把像素的集合创建为深度图像，每个像素具有作为像素值的所转换的深度值。因此，能够把像素的集合创建为深度图像，其中，所述像素集合中的每个像素具有作为像素值的所转换的深度值。而且，根据本发明的实施例，还可以包括还包含压缩部分，其根据一种预定图像压缩格式压缩深度图像，存储部分存储与图像相关联的所压缩的深度图像。因此，可以压缩深度图像。根据本发明的实施例，所述图像处理设备的优点在于能够通过图像处理突出图像中的远景。
图I为说明了根据第一实施例的图像拾取装置的配置实例的结构图；图2为说明了根据第一实施例的图像处理设备的配置实例的结构图；图3说明了根据第一实施例的灰度值和对象距离之间关系的实例；图4Α，4Β说明了根据第一实施例的图像数据和深度图像数据的实例；图5解释了根据第一实施例的焦点距离和景深之间的关系；图6说明了根据第一实施例的景深与焦点距离、光圈值、对象距离以及像素β关系的实例；图7说明了根据第一实施例的焦点距离与景深和对象距离关系的实例；图8说明了根据第一实施例的数据文件的数据结构的实例；图9为说明了根据第一实施例的图像拾取装置的操作实例的流程图；图10为说明了根据第一实施例的拍摄处理的实例的流程图；图11为说明了根据第一实施例的平滑处理的实例的流程图；图12说明了根据第一实施例的系数的可调整范围的实例；图13Α，13Β为说明了根据第一实施例的图像拾取装置的配置实例的总视图；图14说明了根据第一实施例的修改的灰度值和对象距离之间关系的实例；图15为说明了根据第二实施例的图像处理设备的配置实例的结构图；图16说明了在其中拍摄模式处于宏模式的情况下根据第二实施例的灰度值和对象距尚之间关系的实例；图17说明了在其中拍摄模式处于风景模式的情况下根据第二实施例的灰度值和对象距尚之间关系的实例；图18为说明了根据第二实施例的拍摄处理的实例的流程图；图19为说明了根据第二实施例的系数设置处理的实例的流程图；图20为说明了根据第三实施例的图像处理设备的配置实例的结构图；图21说明了根据第三实施例的所附信息的数据结构的实例；图22为说明了根据第三实施例的拍摄处理的实例的流程图；图23为说明了根据第三实施例的平滑处理的实例的流程图。
具体实施例方式以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书与附图中，将使用相同的参照数字表示那些具有基本相同功能与结构的结构图元，而且省略了对这些结构图元的重复解释。以下，将按下列次序描述根据本发明的优选实施例(以下，将它们称为实施例)。I.第一实施例(图像处理把深度数据转换为深度图像数据的实例)2.第二实施例(图像处理根据拍摄模式改变系数值的实例)3.第三实施例(图像处理在存储了图像数据之后改变系数值的实例)< I.第一实施例〉[图像拾取装置配置实例]图I为说明了根据第一实施例的图像拾取装置100的配置实例的结构图。图像拾取装置100包括操作部分110、拍摄透镜130、图像传感器140、模拟信号处理部分150、A/D(模拟/数字)转换部分160、图像存储器170以及工作存储器180。另外，图像拾取装置100还包括图像数据存储部分190、显示部分200以及图像处理设备300。图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。操作部分110响应用户在触摸面板、按钮等上的操作、经由信号线111，向图像处理设备300输出操作信号。拍摄透镜130为用于拍摄图像的透镜。图像传感器140把来自拍摄透镜130的光转换为电信号。图像传感器140经由信号线141把所转换的电信号输出于模拟信号处理部分150。模拟信号处理部分150对电信号进行预定模拟信号处理。模拟信号处理包括消除放大器噪音和重置噪音的⑶S (相关双取样)和自动控制增益的AGC (自动增益控制)。在进行了所述处理之后，模拟信号处理部分150经由信号线151向A/D转换部分160输出电信号。A/D转换部分160把模拟电信号转换为数字信号。A/D转换部分160经由信号线161，把所转换的数字号作为图像数据输出于图像处理设备300。把这样的图像数据称为RAW图像数据，因为在从A/D转换部分160输出图像数据时不对图像数据进行诸如色彩插值处理或者压缩处理的图像处理。图像存储器170临时保存图像数据。工作存储器180临时保存图像拾取装置控制部分320所执行的工作的内容。图像数据存储部分190存储图像数据。显示部分200根据图像数据显示图像。照相机控制部分310根据图像拾取装置控制部分320的控制，执行变焦控制和曝光控制，以从Α/D转换部分160获取图像数据。照相机控制部分310从所获取的图像数据中获取与像素相关的深度。照相机控制部分310根据预定函数对深度进行转换。以下，将详细描述转换方法。照相机控制部分310生成像素集合所获得的图像，其中，像素集合中的每个像素像具有作为灰度值的所转换的深度。所生成的图像为其中图像中的对象的深度由对象区域中的像素的灰度值加以表示的图像(以下，将其称为“深度图像”)。照相机控制部分310把深度图像的数据作为深度图像数据与图像数据一起输出于图像拾取装置控制部分 320。图像拾取装置控制部分320控制整个图像拾取装置100。具体地讲，图像拾取装置控制部分320响应来自操作部分110的操作信号，经由照相机控制部分310进行变焦控制和曝光控制。图像拾取装置控制部分320从照相机控制部分310接收图像数据和深度图像数据，并且把深度图像数据与图像数据相关联地存储在图像数据存储部分190中。另外，图·像拾取装置控制部分320还响应来自操作部分110的操作信号，经由信号线302从图像数据存储部分190读出图像数据。图像拾取装置控制部分320根据相应的深度图像数据对图像数据进行诸如平滑处理的图像处理。而且，在图像处理之后把图像数据存储在图像数据存储部分190中，图像拾取装置控制部分320经由信号线303把图像数据输出于显示部分200，以使显示部分200显示图像数据。[图像处理设备配置实例]图2为说明了根据第一实施例的图像处理设备300的配置实例的结构图。如以上所描述的，图像处理设备300包括照相机控制部分310和图像拾取装置控制部分320。照相机控制部分310包括透镜驱动部分311、图像获取部分312、深度获取部分313、深度转换部分314以及平滑处理部分315。图像拾取装置控制部分320包括操作信号分析部分321、图像压缩部分322、深度图像数据添加部分323以及图像控制部分324。操作信号分析部分321分析来自操作部分110的操作信号。此处，用户可以通过操作操作部分110改变平滑处理等中的变焦放大能力、远景突出程度。操作信号分析部分321分析操作信号，而且当改变变焦放大能力时，把变焦放大能力的改变的值输出于透镜驱动部分311。另外，当改变远景突出程度时，操作信号分析部分321把所改变的突出程度输出于图像控制部分324。透镜驱动部分311控制拍摄透镜130的位置。具体地讲，当从操作信号分析部分321接收变焦放大能力的所改变的值时，透镜驱动部分311经由信号线301获取拍摄透镜130的当前位置。接下来，透镜驱动部分311，经由信号线301，把根据变焦放大能力的所改变的值控制拍摄透镜130的位置的控制信号输出于拍摄透镜130。图像获取部分312获取所捕获的图像数据。图像存储器170临时保存所获取的图像数据。图像获取部分312把所获取的图像数据输出于图像压缩部分322。深度获取部分313获取相应于所捕获的图像数据中的像素的深度。例如，深度获取部分313检测由分隔器透镜所分隔的对象的两个图像之间的间隙(相差)，并且根据所检测的相差，作为深度数据，计算距对象的距离。深度获取部分313把作为深度数据的、与像素相关联地加以计算的深度输出于深度转换部分314。注意，深度获取部分313可以通过除相差检测之外的其它方法获取深度。例如，深度获取部分313可以把激光光束照射在对象上，并且检测所反射的激光光束的光，以根据检测时间相对照射时间的延迟时间测量深度。深度转换部分314根据预定函数对深度进行转换。例如，以下的公式I和公式2定义了这样的函数。注意，在公式I中，X代表深度，y代表函数的输出(即，所转换的深度)、e代表自然对数的底以及β代表大于O的实数系数。在以下的公式2中，η代表不小于I的整数。Y=CteHx) 公式 Iα=2~η_1公式 2
注意，深度转换部分314可以使用除公式I所定义的函数之外的其它函数对深度进行转换。最好令所使用的函数具有这样的特性随着深度X的增加，输出y非线性地接近预定值(例如，O)。例如，深度转换部分314可以使用根据公式I修改过的公式所定义的对数函数或者以下所描述的公式12所定义的函数。深度转换部分314为系数β设置预定初始值，并且把深度X转换为y，以创建每个把I作为灰度值的像素的集合所获得的图像数据。深度转换部分314把所创建的图像数据作为深度图像数据输出于深度图像数据添加部分323。注意，除了灰度值之外，深度转换部分314还可以把7转换为还包括彩色相位(红、绿、蓝等)的像素值。例如，深度转换部分314可以依据y、相对每一种颜色改变灰度值，以致y值越小越接近红色灰度值，y值越大越接近蓝色灰度值。当需要时，图像压缩部分322根据预定图像压缩方案压缩图像数据。在图像压缩处理期间，图像压缩部分322把工作存储器180用作工作区。例如，把JPEG(联合图像专家组)用作图像压缩方案。图像压缩部分322把所压缩的图像数据输出于深度图像数据添加部分323。注意，图像压缩部分322可以向深度图像数据添加部分323输出未压缩的图像数据。作为选择，图像压缩部分322还可以压缩深度图像数据。在这一情况下，最好令用于深度图像数据的压缩技术与用于图像数据的压缩技术相同。深度图像数据添加部分323把从图像压缩部分322输出的图像数据与从深度转换部分314输出的深度图像数据相关联地加以存储。例如，深度图像数据添加部分323通过按Exif (可交换图像文件格式)把深度图像数据作为所附信息(即，标签)添加于图像数据，把深度图像数据与图像信息相关联。深度图像数据添加部分323把与深度图像数据相关联的图像数据作为数据文件输出于图像控制部分324。注意，深度图像数据添加部分323为根据本发明实施例的存储部分的实例。图像控制部分324管理图像文件。具体地讲，图像控制部分324把深度图像数据添加部分323所创建的数据文件存储在图像数据存储部分190中。另外，图像控制部分324还从图像数据存储部分190中读出包括将加以显示的图像数据的数据文件，并且把所读出的图像数据输出于显示部分200，以使显示部分200显示图像数据。而且，当操作信号分析部分321设置了远景突出程度的设置值时，图像控制部分324还从图像数据存储部分190读出包括平滑处理目标的图像数据的数据文件，并且把数据文件随设置值一起输出于平滑处理部分315。接下来，图像控制部分324从平滑处理部分315接收所平滑的图像数据，并且把所平滑的图像数据输出于图像数据存储部分190和显示部分200。
平滑处理部分315对图像数据进行平滑处理。具体地讲，当从图像控制部分324接收数据文件和设置值时，平滑处理部分315根据深度图像数据对数据文件中的图像数据进行平滑处理。然而，如以上所描述的，用户可以通过操作部分110改变远景突出程度。当改变了远景突出程度时，平滑处理部分315依据这一改变更新公式I中的系数β的值。具体地讲，在其中用户把远景突出程度改变为较强的情况下，把系数β的值更新为较大，在其中用户把远景突出程度改变为较弱的情况下，把系数β的值更新为较小。然后，在根据所更新的系数β的值更新了深度图像数据之后，平滑处理部分315进行平滑处理。在平滑处理过程中，平滑处理部分315根据被确定为深度图像数据中焦点的像素的灰度值，使用相应于被确定为焦点的像素的灰度值与每一像素的灰度值之间的差的程度对图像数据进行平滑处理。平滑处理部分315把所平滑的图像数据输出于图像控制部分324。图3说明了根据第一实施例的灰度值和对象距离之间关系的实例。在该图中，水平轴代表对象距离，即深度，垂直轴代表灰度值。例如，按米(m)测量深度的单位。实线代表公式I所定义的函数的图，虚线代表公式3所定义的函数的图。注意，在以下的公式3中，X代表深度，y代表函数的输出以及Y代表大于O的实数系数。`Y= (2~ 16-1)-Yx 公式 3在公式3中，把深度转换为随着深度的增加线性地减小的灰度值。此处，令平滑处理中的聚焦位置的深度为Xf。并且，令比Xf深的深度为xl，以及令比xl更深的深度为x2。令通过将深度xf、xl以及x2代入公式I得到的灰度值I分别为yf_e、yl_e以及y2_e。令通过将深度xf、xl以及x2代入公式3得到的灰度值y分别为yf_L、yl_L以及y2_L。并且，令xf和xl之间的差为Λ xl，令xf和x2之间的差为Λ χ2。并且，令yf_e和yl_e之间的差为Λ yl_e, yf_e和y2_e之间的差为Λ y2_e。而且,令yf_L和yl_L之间的差为Λ yl_L,以及yf_L和y2_L之间的差为Λ y2_L。在平滑处理中，依据相应于聚焦位置的深度x_f的灰度值进行平滑处理，以达到取决于相应于图像中每一像素的灰度值的程度。例如，根据以下的公式4计算代表平滑程度的模糊量B。注意，在以下的公式4中，A代表实数系数，Δ y代表聚焦位置的灰度值和在其处进行平滑的位置的灰度值之间的差。具体地讲，把Λ yl_e、y2_e、A yl_L、A y2_L等代ΛΔ y。B=AX Ay公式 4例如，使用以下公式5 公式7所定义的高斯滤波器进行平滑处理。然而，以下公式5中的I (xp+k，yp+l)代表进行平滑处理之前的坐标(xp+k，yp+l)上像素的像素值。在公式5中，r代表高斯滤波器的半径，并且为不小于O的整数，w (k，I)代表像素值I (xp+k，yp+1)与其相乘的权重系数。另外，在公式6中，σ代表标准偏差，并且将其设置为预定实数。根据公式5和公式6，在较接近高斯滤波器中心的位置把权重系数设置为较大，在较接近周围区域的位置，把权重系数设置为较小。在以下的公式7中，“lOund O”为通过对括号中所示的值执行预定舍入操作返回不小于O的整数值的函数。例如，作为舍入操作，执行四舍五入。注意，平滑处理部分315可以使用除了高斯滤波器之外的其它滤波器(例如，均值滤波器)进行平滑处理。,'U= Σ 玄妹，,)^+*，·^ + O…公式 5
k~~r l~r
权利要求
1.一种图像处理设备，包含 获取图像的图像获取部分； 深度获取部分，其获取与图像中像素相关联的深度； 深度转换部分，其根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及 存储部分，其存储与图像相关联的所转换的深度。
2.根据权利要求I所述的图像处理设备，还包含平滑处理部分，所述平滑处理部分根据相应于图像中预定像素的所转换的深度将图像平滑处理到取决于相应于所述图像中所述像素的所转换的深度的程度。
3.根据权利要求2所述的图像处理设备，其中，所述函数为其特性随系数而变化的函数，以及 平滑处理部分基于根据所述特性所转换的深度执行平滑处理。
4.根据权利要求3所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数 Y= a Xe' (_β x),其中，X为深度、y为输出、e为自然对数的底、α为预定常数以及β为系数。
5.根据权利要求3所述的图像处理设备，其中，所述函数为由下列公式所定义的指数函数 Y= α X {l-e~ (_β x)}，其中，X为深度、I为输出、e为自然对数的底、α为预定常数以及β为系数。
6.根据权利要求3所述的图像处理设备，还包含系数供给部分，所述系数供给部分依据捕获图像的拍摄条件，供给系数值。
7.根据权利要求6所述的图像处理设备，其中，存储部分还存储与图像相关联的拍摄条件，以及 系数供给部分依据所存储的拍摄条件供给系数。
8.根据权利要求I所述的图像处理设备，其中，深度转换部分把像素的集合创建为深度图像，每个像素具有作为像素值的所转换的深度值。
9.根据权利要求8所述的图像处理设备，还包含压缩部分，其根据一种预定图像压缩格式压缩深度图像，以及 存储部分，其存储与图像相关联的所压缩的深度图像。
10.一种控制图像处理设备的方法，包含 使用图像获取部分获取图像； 使用深度获取部分获取与图像中像素相关联的深度； 使用深度转换部分，根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及 使用存储部分存储与图像相关联的所转换的深度。
11.一种致使计算机执行下列操作的程序 获取图像； 获取与图像中像素相关联的深度；根据具有随深度的增加非线性地接近预定值的特性的函数对深度进行转换；以及 存储与图像相关联的所转换的深度。
全文摘要
本发明涉及一种图像处理设备，所述图像处理设备包括获取图像的图像获取部分；深度获取部分，其获取与图像中像素相关联的深度；深度转换部分，其根据函数对深度进行转换，所述函数具有随深度的增加非线性地接近预定值的特性；以及存储部分，其把所转换的深度与图像相关联地加以存储。
文档编号H04N5/232GK102957861SQ20121029487
公开日2013年3月6日 申请日期2012年8月17日 优先权日2011年8月24日
发明者铃木奈穗, 锅迫英辉, 水仓贵美 申请人:索尼公司