专利名称：图像处理设备、图像处理方法及计算机程序产品的制作方法
技术领域：
本发明涉及一种从图像信息中提取区域的技术。
背景技术：
数字静态照相机(digital still camera)使用者的数量随着数字静态照相 机技术的发展而增长。
小型图像传感元件被用于被称为紧凑型数字照相机的图像捕捉设备 中。因此，图像捕捉光学系统的焦距也较短。假设图像捕捉光学系统的F 数不改变，则景深在使焦距变短时变深。
假设紧凑型数字照相机与单反照相机被设置了相同的F值，那么使用 紧凑型数字照相机可得到略微虚化的图像，因为与单反照相机相比，其焦 点可在相对较宽的调焦范围(focal range)内聚焦。在某些情况下，这对于 风景图像等很有效。但是，在拍摄需要背景虚化的图像时，如肖像，清晰 效果延伸到背景，这对于照片的表现力会造成破坏。
日本专利申请(公开号2005-39680)揭示了一项技术，其通过使用 具有较大景深的照相机，能够使拍摄的图像的背景变模糊。在这一技术中， 两幅图像在不同的焦点位置被拍摄，而后，聚焦区域与虚化区域被从图像 中剪裁出来，再将被剪裁出的区域组合入一个图像。
在曰本专利申请(公开号2005-39680)揭示的技术中，虛化程度随 着远离聚焦区域逐渐变强。因此，在主体(subject)周围的背景则很难被 虚化。在一种情况下，例如，拍摄一个人物，人物周围的背景一点不会虚 化。因此，相片的表现力因此很难说被提高了。在日本专利申请(公开号2005-39680)揭示的技术中遇到了这个问题，因为需要虚化的区域与不需 要被虚化的区域无法被区分。现在问题变成了如何区分需要被虚化的区域 与不需要被虚化的区域。
技术同时存在于，图像信息中的、大体上相同的色彩以平滑的方式延 续的多个区域被确认表示该图像信息中存在的多个对象(object)中的同一 对象的多个区域。相反地，色彩明显变化的部分则被确认为是与其他对象 的边界部分。相同色彩是否以平滑的方式延续，或色彩是否明显地变化， 是基于图像信息中的色彩及边缘来确定的。这一技术在Comaniciu, D.和 Meer， R的 "Robust analysis of feature spaces: color image segmentation", Computer Vision and Pattern Recognition, 1997. Proceedings.， 1997 IEEE Computer Society Conference on Volume, Issue, 17-19 1997年6月，750-755 页中已被公开。由此，可以识别不同对象的区域。
但是，"Robust analysis of feature spaces: color image segmentation"中揭 示的技术，在不同色彩存在于同一对象中作为不连续区域的情况下进行识 别时，存在问题。例如，当主体是人物的时候，人物的头发被识别为面部 的分离区域。
发明内容
本发明的目的在于至少部分地解决传统技术中的问题。 根据本发明的一个方面，提供了一种图像处理设备，包括图像获取 单元，获取为主体捕捉的图像信息；距离信息获取单元，对构成所述图像 信息的多个区域中的每个区域的图像信息，获取从包含于每一 区域的所述 主体到捕捉位置的距离；区分信息获取单元，从所述图像数据中获取用于
区分所述主体的区分信息；以及，生成单元，根据所述距离和所述区分信 息，从所述图像数据中生成，所述图像数据中的所述主体划分成了各个处 理目标的对象区域。
根据本发明的另一方面，提供了一种图像处理方法，包括第一获取， 包括获取为主体捕捉的图像信息；第二获取，包括对构成所述图像信息的 多个区域中的每个区域的图像信息，获取从包含于每一区域的所述主体到捕捉位置的距离；第三获取，包括从所述图像数据中获取用于区分所述主 体的区分信息；以及，生成步骤，根据所述距离信息和所述区分信息，从 所述图像数据中生成，所述图像数据中的所述主体划分成了各个处理目标 的对象区域。
根据本发明的再一方面，提供了一种计算机程序产品，包括存储于计 算机可读取的记录媒介上的计算机程序，当所述计算机程序在计算机上执 行时使得计算机会执行上述方法。
当结合附图考虑时，通过阅读以下对本发明的当前的优选实施方式的 详细描述，将会更容易理解本发明的上述或其他特征、优点及技术和工业 上的意义。
图1是本发明第一实施方式的图像捕捉设备的图像处理器的方框图2是表示虚化功能数据库的图表结构；
图3是由图像区域划分单元分开的小区域的示例图4是被划分成块的简化图像的例子的示图5是从图像数据中提取的对象的例子的示图6是每一对象经过不同虚化处理的图像数据的例子的示图7是由第一实施方式的图像捕捉设备执行的，从对图像数据执行虛
化处理到输出结果数据的流程图8是在图7的步骤S701中执行的处理的具体流程图9是在图7的步骤S706中执行的处理的具体流程图IO是第一实施方式的数字照相机的硬件的方框图11是本发明第二实施方式的数字静态照相机及图像处理设备的方
框图12是由第二实施方式的图像处理设备执行的，从对图像数据执行虚 化处理，到输出结果数据的流程图；以及
图13是第二实施方式的图像处理设备的硬件的方框图。
具体实施方式
参照附图详细说明本发明的示意性实施例。以下示出的示意性实施例 说明了将图像处理设备应用于图像捕捉设备的例子。
图1是第一实施方式的图像捕捉设备100的图像处理器的方框图。图 像捕捉设备100包括图像获取单元101，图像区域划分单元102，对象提取 单元103，图像虚化处理单元104，图像合成单元105，图像输出单元106， 照相机参数输入单元107，距离信息获取单元108，虚化功能获取单元109， 虚化功能数据库(DB) 110，镜头焦点调整单元111，区域距离指定单元 112以及区分信息获取单元113。图像捕捉设备IOO对输入的图像数据执行 虚化处理，并输出结果数据。
在图像捕捉设备100中，对照片中具有深的景深的区域执行虚化处理， 从而生成具有虚化的背景的图像数据。虚化的程度可以根据拍摄距离而调 整。
虚化功能数据库110中存储用于虚化处理的功能。图2是虚化功能数 据库的表格结构的图表。虚化功能数据库110中以相关联的方式存储了距 离差、焦距、F值、光圏形状(aperture shape)以及虚化功能过滤器。拍摄 距离是指主要的主体与期望的主体之间在拍摄距离上的差值。焦距、F值 以及光圏形状可以被虚拟地设置，而不是被实际设定。
虚化处理中使用的虛化功能过滤器f是NxN过滤器。每一元件的该 值根据照相机参数、拍摄距离、假设的照相机镜头、快门速度等，预先适 当地设置。这样，就可以制造与单反相机相同的背景虚化效果。
虚化功能数据库IIO是为虚化功能设定的数据，是由照相机参数的设 计值，如焦距、光圈大小、与主要的主体的拍摄距离差及眼型(eyeshape) 计算出的。拍摄距离差是指，到作为虚化处理目标(target)的主体或背景 的拍摄距离，与到主要的主体的拍摄距离之差。以这种方式，在图像捕捉 设备100中，根据照相机使用的参数以及拍摄距离差可以设定合适的虛化 功能过滤器。主要的主体是指被聚焦的主体，且是不被作为虚化处理目标 的主体。
图像获取单元101获取由图像捕捉设备为主体所捕捉的图像数据。所述图像数据是具有深的景深的图像数据。
区分信息获取单元113从图像数据中获取用于区分出图像数据中的主 体的区别信息。区分信息获取单元113荻取但不限于主体的色彩和/或边缘 作为区分信息。
图像区域划分单元102根据区分信息，将图像数据划分成被确定属于 同一主体的小的区i或。可以采用"Computer Vision and Pattern Recognition, 1997， Proceedings" , IEEE Computer Society Conference on Volume, 17-19 June, 1997, 750-755页记录的方法来划分图像数据。
图像区域划分单元102首先使用低通过滤器过滤图像数据，从而平滑 图像数据中的边缘及色彩。随后，图像区域划分单元102识別过滤后的图 像数据中具有不同色彩及对比度的区域。最后，图像区域划分单元102划 分出在过滤后的图像数据中识别的每个区域以及与过滤前的图像数据对应 的各个小区域。
图3是由图像区域划分单元102划分的，图像数据中的小区域的视图。 在图3的示例中，图像区域划分单元102将图像数据划分成小区域301、 小区域302、小区域303、小区域304及背景。
镜头焦点调整单元111调整图像捕捉设备100的镜头的焦距。
距离信息获取单元108包括简化图像获取单元(reduced image acquiring unit) 151,边缘信息计算单元152以及距离信息计算单元153。随后，对 于预定大小的每个块(block),为图像捕捉设备100及图像数据获取图像 捕捉设备100及主体的拍摄距离。距离信息获取单元108同时获取主要的 主体与其他主体的拍摄距离差。距离信息获取单元108指定被聚焦的块。
简化图像获取单元151根据镜头焦点调整单元111对镜头焦点做出的 调整，使用图像捕捉设备100，获取每个不同焦点的简化图像。通过获取 简化图像，可以提高处理速度。
对于不同获取焦点的多个简化图像，边缘信息计算单元152对于每个 块分离每一简化图像，并且计算每一块中的对比度值的总值。边缘信息计 算单元152比较多个简化图像中同一位置的对比度值。随后指定拥有最高
10对比度值的简化图像，并确定焦点在指定的简化图^f象所在的块中是否聚焦。
边缘信息计算单元152指定对比度值最高的块作为被聚焦的块。
图4是被划分成块的简化图像的例子的示图。如图4所示，可以分别 计算按照每一预定大小划分的块的拍摄距离。
回到图1，距离信息计算单元153,从被指定的，其中每一块具有最高 对比度值的简化图像的焦点位置，计算每一块的拍摄距离。可以从在图像 捕捉设备100的图像捕捉元件和焦点聚焦时镜头的位置以及拍摄元件与主 体的位置关系，计算所述拍摄距离。
距离信息计算单元153同样对每个块计算被聚焦的块的拍摄距离差。
在本实施例中，采用了检测对比度的方式进行到主体的拍摄距离的计 算。但是，计算拍摄距离的方式不限于此。例如，可以通过发出辅助光的 方式计算到主体的拍摄距离。
区域距离指定单元112对于每个由图像区域划分单元划分的小区域， 将从包括一个小区域的块获取的拍摄距离，指定作为从在该小区域中拍摄 的主体到捕捉位置的拍摄距离。
当该小区域被包括在多个块之内时，区域距离指定单元112采用从表 面面积被该小区域覆盖最多的块获得的拍摄距离，指定到在小区域中拍摄 的主体的拍摄距离。
在图4的示例中，在确定小区域304的距离时，采用其中小区域304 的表面面积最大的块402，而不是块403。由此，可以对每个小区域指定具 有高准确度的拍摄距离。
对象提取单元103将由图像区域划分单元102划分的小区域合并，并 提取有意义的对象。"对象"是指在图像数据中的拍摄的主体，并且是指人、 物、前景或者背景。
对象提取单元103根据拍摄距离指定单元112对每个小区域指定的拍 摄距离合并小区域。本实施例的对象提取单元103通过将由区域距离指定 单元112指定的、拍摄距离接近的小区域合并，来生成对象。同样可以测 定是否拍摄距离处于预定的阈值之内，从而确定拍摄距离是否接近。图像区域划分单元102、区域距离指定单元112以及对象提取单元103 是生成对象所必须的。换句话说，这些结构组合而成的结构是对象生成单 元o
图5是从图像数据中提取的对象的例子的示图。图3中的小区域301 与小区域302的拍摄距离较小。因此所述小区域是相连的，从而提取出图 5中的对象501。小区域303与小区域304的拍摄距离同样较小。因此，所 述小区域是相连的并被提取作为对象502。因此，图像数据包括对象501、 对象502以及背景。同样会为背景指定拍摄距离(例如，无穷大等)。
回到图1，照相机参数输入单元107输入虚拟的照相机焦距、F值和光 圈形状。所述虚拟照相机与单反相机相同。也可输入图像捕捉设备100的 实际焦距、F值以及光圈形状。
虚化功能获取单元109以由照相机参数输入单元107输入的焦距、F 值和光圏形状以及由距离信息获取单元108获取的拍摄距离差作为检索关 键词，来获取虚化功能。焦距、F值和光圏形状被作为检索关键词。虚化 功能获取单元109使用检索关键词从虚化功能数据库IIO获取虛化功能。 随后，将获得的虚化功能输出到图像虚化处理单元104。
图像虚化处理单元104使用由虚化功能获取单元109获取的虛化功能， 对由对象提取单元103提取的每个对象执行虚化处理。虚化处理根据与主 要的主体的拍摄距离差，对每个对象采用不同的虚化功能。图像虚化处理 单元104通过区域距离指定单元112，从虚化功能获取单元109，通知正被 聚焦的块的位置。
图6是经过对每个对象进行不同虚化处理的图像数据的例子的示图。 如图6所示，当焦点在对象501处聚焦(包括确定被聚焦的块)时，所述 对象被确定为主要的主体，并且不被执行虚化处理。远离对象501的目标， 以及背景等，被进行强的虚化处理。图像虚化处理单元104采用虚化较为 轻微的虚化功能，对对象502进行虚化处理。虚化功能从与主要的主体的 拍摄距离差获取适当的项。图像虚化处理单元104从而采用强虚化的虚化 功能对背景执行虚化处理。在由图像虚化处理单元104执行虚化处理之后，图像合成单元105将 对象与背景合成，并生成图像数据。随后，图像输出单元106将生成的图 像数据输出到图像捕捉设备100具有的显示单元(图未示)，以及与图像捕 捉设备100连接的其他设备。
因此，可以通过在图像捕捉设备IOO执行上述处理，即使对于具有宽 景深的图像数据，也可以获得例如单反照相机的背景虚化的效果。
现在给出由在图像捕捉设备100对图像数据执行的虚化处理到输出点 的说明。图7是在图像捕捉设备100执行的上述处理的过程的流程图。
距离信息获取单元108根据由镜头焦点调整单元111通过移动镜头(步 骤s701)进行焦点的调整，对每个作为拍摄目标的块获取拍摄距离。
接下来，图像获取单元101获取由图像捕捉设备100拍摄的图像数据 (步骤S702 )。
区分信息获取单元113随后从图像数据中获取区分信息(边缘和/或色 彩)(步骤S703 )。
图像区域划分单元102将图像数据划分成小区域(步骤S704 )。
接下来，区域距离指定单元112从由距离信息获取单元108获取的每 一块的拍摄距离，为每一小区域识别拍摄距离(步骤S705 )。
对象提取单元103随后通过将拍摄距离接近的小区域合并，来提取对 象(步骤S706 )。
接下来，虚化功能获取单元109对于由距离信息获取单元108获取的 每一拍摄距离差，根据拍摄距离差及照相机参数(焦距、F值及光圈形状) 获取虛化功能(步骤S707)。
图像虚化处理单元104随后在提取到的对象以及背景上，采用获得的 虚化功能进行虚化处理(步骤S708 )。
接下来，图像合成单元105将对象及背景合成，生成图像数据(步骤 S709 )。同样根据距离对图像数据进行适当的虚化处理。
图像输出单元106将生成的图像数据输出到显示单元及其他与图像捕 捉设备IOO相连的装置(步骤S710)。因此，用户可以看到并使用图像数据。
下面给出在图7中步骤S701进行的，获取拍摄距离处理的说明。图8 是步骤S701进行的获取拍摄距离处理的详细流程图。
首先，简化图像获取单元151获取每个不同焦点的简化图像(步骤 S801 )。
接下来，边缘信息计算单元152对每个预定大小的块，计算多个获取 的简化图像中每个的对比度值(步骤S802)。
随后，距离信息计算单元153对于每个块，从被指定具有最高对比度 值的简化图像的焦点位置，计算每个块的拍摄距离(步骤S803 )。对于每 个块，具有最高对比度值的块是焦点聚焦的块。
下面给出在图7中步骤S707进行的获取虚化功能的处理的说明。图9 是步骤S707进行的荻取虚化功能的处理的详细流程图。
首先，虛化功能获取单元109从照相机参数输入单元107处获取焦距、 F值及光圈形状作为照相机参数(步骤S901 )。
接下来，虚化功能获取单元109从距离信息获取单元108处获取拍摄 距离(及与主要的主体的拍摄距离差)(步骤S902)。也可获取多个被获取 的拍摄距离(及与主要的主体的拍摄距离差)。
虚化功能获取单元109随后以焦距、F值、光圈形状及拍摄距离差作 为检索关键词检索虚化功能数据库IIO(步骤S903 )。当拍摄距离有多个时， 执行多次检索。
接下来，虛化功能获取单元109将检索到的虚化功能输出到图像虚化 处理单元104 (步骤S904 )。随后可以采用对应于所述拍摄距离的虚化功能 进行虚化处理。
下面对作为实施上述图像处理的图像捕捉设备的示例的数字照相机进 行说明。图IO是本实施例的数字照相机的硬件的方框图。图10中主体的 光在首先经过图像捕捉光学系统1后入射到CCD (电荷耦合器件)。机械 快门2被布置在图像捕捉光学系统1与CCD3之间。因此，可以使用所述 机械快门2阻止光入射到CCD 3。所述图像捕捉光学系统1与机械快门2由驱动单元6驱动。
CCD 3将在图像传感面形成的光学图像转化为电学信号，从而以模拟 图像数据输出。通过CDS ( Correlated Double Sampling)电路4消除由CCD 3输出的图像信息的噪声分量。图像信息在被A/D转换器5转换为数字值 后被输出到图像处理电路8。
图像处理电路8执行多种图像处理，如Y CrCb转化处理、白平衡控制 处理、对比度修正处理、边缘增强处理和色彩转化处理，采用SDRAM (同 步DRAM) 12暂时存储图像数据。所述白平衡处理调整图像信息的色彩浓 度。所述对比度修正处理是对图像信息进行对比度调整的图像处理。所述 边缘强化处理调整图^^信息的锐度。所述色彩转化处理是调整图像信息的 颜色的图像处理。所述图像处理电路8在液晶显示器16 (LCD)上显示经 过信号处理及图像处理后的图像信息。
经过信号处理与图像处理后的图像信息，通过图像压缩扩展电路13记 录在存储卡14中。所述图像压缩扩展电路13是根据由操作单元15获取的 指令，对由图像处理电路8输出的图像信息进行压缩以输出到存储卡14的 电路。另外，图像压缩扩展电路13将从存储卡14读出的图像信息进行扩 展以输出到图像处理电路8 。
另外，CCD3、 CDS电路4以及A/D转换器5的定时由CPU (中央处 理器)9通过生成定时信号的定时信号生成器7进行控制。图像处理电路8、 图像压缩扩展电路13以及存储卡14也由CPU9控制。
在图像捕捉设备100中，CPU9根据程序执行不同的操作处理。ROM 11和RAM 10内建于CPU 9中，ROM (只读存储器)11是读取专用的存 储器(read-dedicated memory )，用于存储程序等，RAM (随机存取存储器) IO是自由读写的存储器，具有在各种处理中利用的工作区域及用于存储各 种数据的区域。CPU 9、 ROM11及RAM10通过总线相互连接。
图像捕捉设备100首先为主体测量距离信息。镜头焦点调整单元111 在移动镜头的驱动单元6时改变焦点位置，简化图像获取单元151获取多 个简化图像。即，多个不同拍摄距离的简化图像被存储在SDRAM 12中。随后进行拍摄，图像获取单元101获取在背景虚化处理中使用的大尺寸图
像数据。SDRAM 12可以作为图像处理的工作区域。
接下来，调用距离信息获取单元108，将每一图像划分成块，并且计 算在在一个块中的相同位置的对比度值的总和。具有高对比度的块被确定 为在此位置聚焦，并且被作为一帧的图像形成位置。具有所述块的对象是 主要的主体。随后，从距离信息获取单元108计算主体距离。随后测量对 应于所有的块的拍摄距离。此后的处理由于上面已说明，因此不再进一步 说明。
在本实施例中，由图像捕捉设备100执行的图像处理程序包括具有面 部检测功能的模块配置。实际的硬件使得，CPU9从ROM 11中读出并执 行图像处理程序，从而将每个单元装载到RAM10中。随后执行距离测量、 区域分离、对象提取、虛化处理、图像合成、图像压缩处理以及将图像输 出到存储卡的处理。当采用面部检测功能时，人脸将会被聚焦。
多种设备可作为图像捕捉设备100，如数字静态照相机或拍摄动态图 像的相机等。
根据图像捕捉设备100，对于每个处理目标，可以适当地提取主体作 为划分的对象。从而，易于对图像数据中的主体进行图像处理。
根据图像捕捉设备100，可以对背景而不是所提取的对象进行虚化处 理来获取对例如用单反照相机拍摄的肖像有效虚化过的图像数据。同样可 以通过根据对象的距离执行虚化处理，从而获取经过有效虚化的图像数据。
修改的例子
本发明不限于上述实施例。如多种以下给出的改进方式是可行的。 现在给出 一种不同于第一实施例的合成图像的过程。在本修改例中，
图像虚化处理单元104特别通过过滤器f一l对图像数据进行处理，并存储
图像数据B。随后，图像虚化处理单元104使用过滤器f一2对原始图像数
据执行过滤处理，并存储图像数据C。
图像合成单元105从原始图像数据为对象501剪裁出一个区域，从图
像数据B中剪裁出对象502,从图像数据C剪裁出背景部分，并合成一张
16图像。虚化及合成处理也可釆用其他各种方式执行。
上述处理不限于由如图像捕捉设备100的图像捕捉设备执行。作为第 二实施例，给出了当图像处理设备对由数字静态照相机拍摄的图像数据执 行处理的说明。
图11是第二实施例的数字静态照相机1100及处理设备1150的方框图。 在以下的说明中，对于与第 一 实施例相同的元件配置将仅给出相同的数字 而不再i兌明。
数字静态照相机1100包括镜头焦点调整单元111、距离信息获取单元 108、图像获取单元101、嵌入单元1101以及图像输出单元1102。
嵌入单元1101关于由图像获取单元101获取的图像数据，对每个块， 嵌入由距离信息获取单元108获取的拍摄距离。嵌入的位置并不被严格地 限制，但是可以考虑嵌入Exif区域。
图像输出单元1102将对每个块嵌入了拍摄距离的图像数据输出到图 像处理设备1150。随后，便可以通过图像处理设备1150对图像数据进行 虚化处理。
图像处理设备1150包括图像获取单元1151、图像区域划分单元102、 区域距离指定单元112、对象提取单元103、图像虚化处理单元104、图像 合成单元105、图像输出单元106、距离信息获取单元1152、照相机参数 输入单元107、虚化功能获取单元109以及虚化功能数据库110。
随后，图像获取单元1151从数字静态照相机1100获取对每个块嵌入 了拍摄距离的图像数据。
距离信息获取单元1152从图像数据获取每个块的拍摄距离。随后，将 获取的拍摄距离输出到区域距离指定单元U2及虚化功能获取单元109。
现在给出从在图像处理设备1150对图像数据执行的虚化处理到输出 点的说明。图12是前面提到的，在图像处理设备1150执行的处理过程的 流程图。
首先，图像获取单元1151从数字静态照相机1100获取对每个块嵌入 了拍摄距离的图像数据(步骤S1201 )。接下来，距离信息获取单元1152从图像数据获取作为拍摄目标的每个 块的拍摄距离(步骤S1202)。
之后，以与图7中步骤S703到S710相同的方式执行处理，直到输出 图像(步骤S1203到S1210)。
图13是图像处理设备1150的硬件的方框图。图像处理设备1150是微 型电子计算机，包括对每一单元进行中央控制的CPU (中央处理器)24。 ROM (只读存储器)22是用于存储BIOS等的读取专用的设备，RAM (随 机存储器)21用于以可复写方式存储多种数据并且其作为CPU的工作区 域，ROM 22和RAM 21通过总线与CPU 24相连接。用于存储控制程序的 HDD25，可以读取CD-ROM的CD-ROM驱动器26和作为负责与打印机 等的通信传输的接口 1/F23等，都与所述总线连接。
图13所示的CD-ROM 28中存储预定的控制程序。CPU 24使用 CD-ROM驱动器26读出存储在CD-ROM 28的控制程序，并将所述控制程 序装载到HDD 25。由此可以执行上述的多种处理。进一步，图像数据等 被存储在存储卡29中，并由存储卡驱动27读出。
记录介质并不限于CD-ROM或存储卡。也可以采用^f吏用各种方法的介 质，例如，各种光碟，例如DVD等；各种磁碟，如磁光碟片及软盘(FD); 以及半导体存储器等。也可以从网络，如互联网下载程序，并将程序装载 于HDD 25。在这种情况下，在发送端的服务器上存储程序的存储设备也 是本发明的存储介质。所述程序可以运行于预定的OS (操作系统)。在这 种情况下，可以假设在操作系统上执行各种处理的每一个的一部分。所述 程序也可以被包含作为构成如文档处理软件或操作系统等预定应用软件中 的一些文件。
也可以将由图像处理设备1150执行的图像处理程序存储在与网络，如 互联网连接的计算机中并且作为通过网络下载的结果而提供。本实施例的 由图像处理设备执行的图像处理程序也可以通过网络，如互联网提供或分 发。
也可以采用预先嵌入到ROM中的方式来提供本实施例的图像处理程序。由第一实施例的图像捕捉设备100所使用的图像处理程序也可以通过 类似于将其集成在ROM中的方式提供，或者以存储于多种存储媒介的方 式提供。
上述实施例中的由图像处理设备或图像捕捉设备所执行的图像处理程 序，也可以通过将以能够装载或执行的格式记录在计算机可读的记录^(某介， 如CD-ROM 、软盘(FD)、 CD-R、或者DVD ( Digital Versatile Disk)中的 方式，进行提供。
根据本申请，可以对每个处理目标通过适当地提取划分成了主体的对 象区域，使对图像信息的处理变得筒单。
虽然针对特定的实施例对本发明进行了完整清楚的描述，但是所附权 利要求并不因此而受限，而应解释为包含对于本领域技术人员可以想到的、 明显落入这里的基本教导中的所有修改例和可选的构造。
权利要求
1. 一种图像处理设备，包括图像获取单元，获取为主体捕捉的图像信息；距离信息获取单元，对构成所述图像信息的多个区域中的每个区域的图像信息，获取从包含于每一区域的所述主体到捕捉位置的距离；区分信息获取单元，从所述图像数据中获取用于区分所述主体的区分信息；以及生成单元，根据所述距离和所述区分信息，从所述图像数据中生成，所述图像数据中的所述主体划分成了各个处理目标的对象区域。
2. 根据权利要求1所述的图像处理设备，其中，生成单元包括划分单元，根据所述区分信息将所述图像信息划分成每一局部区域； 距离指定单元，对于每个划分出的所述局部区域，将从包括所述局部区域的所述区域获取的距离指定作为从包括所述局部区域的所述主体到所述捕捉位置的距离；以及提取单元，根据所指定的距离组合所述部分区域，并提取所述对象区域。
3. 根据权利要求2所述的图像处理设备，其中，当多个区域被包括在划 分出的所述局部区域中时，所述距离指定单元指定从所述部分区域占据最大空 间的区域获取的距离。
4. 根据权利要求1至3中任意一项所述的图像处理设备，还包括 虚化处理单元，对所述图像信息的背景区域而不是由所述生成单元生成的对象区域进行所述虚化处理；以及合成单元，合成对象区域和经过虚化处理的背景区域，并生成虚化处理后 的图像信息。
5. 根据权利要求4所述的图像处理设备，其中，当提取了不同拍摄距离 的多个对象区域时，所述虚化处理单元根据获取的距离对所述对象区域执行所 述虛化处理。
6. 根据权利要求4或5所述的图像处理设备，还包括 设定信息获取单元，用于获取设定信息，该设定信息表示假定作为在虛化处理中参考的照相机的设定，其中，所述虚化处理单元使用与获得的设定信息对应的虚化量执行虚化处理。
7. 根据权利要求6所述的图形处理设备，其中，所述设定信息是代表焦 距、F值和光圈形状的信息中的一个或多个。
8. 根据权利要求4至7中任意一项所述的图像处理设备，还包括 虚化功能存储单元，用于以相关联的方式存储表示照相机的设定的设定信息和虚化功能；以及虚化功能获取单元，用于获取与由所述图像获取单元获取的图像捕捉信息 相关联的虛化功能，其中，所述虚化处理单元采用虛化功能对背景或对象执行虚化处理。
9. 根据权利要求1至8中任意一项所述的图像处理设备，其中，所述距 离信息获取单元对每一区域，根据在不同焦点位置的多个图像信息中的区域中 具有最高对比度值的图像信息的焦点位置，获取所述距离。
10. 根据权利要求1至9中任意一项所述的图像处理设备，其中，所述区 分信息是图像信息的边缘和色彩中的 一个或多个。
11. 一种图像处理方法，包括 第一获取，包括获取为主体捕捉的图像信息；第二获取，包括对构成所述图像信息的多个区域中的每个区域的图像信 息，获取从包含于每一区域的所述主体到捕捉位置的距离；第三获取，包括从所述图像数据中获取用于区分所述主体的区分信息；以及，生成步骤，根据所述距离信息和所述区分信息，从所述图像数据中生成， 所述图像数据中的所述主体划分成了各个处理目标的对象区域。
12. 根据权利要求11所述的图像处理方法，其中，所述生成步骤包括 划分步骤，根据所述区分信息将所述图像信息划分成每一局部区域； 指定步骤，对于每个划分出的所述局部区域，将从包括所述局部区域的所述区域获取的距离指定作为从包括所述局部区域的所述主体到所述捕捉位置 的3巨离；以及提取步骤，根据所指定的距离组合所述部分区域，并提取所述对象区域。
13. 根据权利要求12所述的图像处理方法，其中，所述指定步骤包括 当多个区域被包括在划分出的所述局部区域中时，指定从所述部分区域占据最 大空间的区域获取的距离。
14. 根据权利要求11至13中任意一项所述的图像处理方法，进一步包括 虚化处理步骤，对所述图像信息的背景区域而不是在所述生成步骤生成的对象区域进行所述虚化处理；合成步骤，合成对象区域和经过虚化处理的背景区域，从而生成虚化处理 后的图像信息。
15. 根据权利要求14所述的图像处理方法，其中，所述虚化处理步骤包 括当提取了不同拍摄距离的多个对象区域时，根据获取的距离对所述对象区 域执行所述虚化处理。
16. 根据权利要求14或15所述的图像处理方法，还包括第四获取，包括获取设定信息，该设定信息表示假定作为在虚化处理中参 考的照相机的设定，其中，所述虛化处理步骤包括，使用与在所述第四获取获得的设定信息对 应的虚化量执行虚化处理。
17. 根据权利要求14至16任意一项所述的图像处理方法，还包括 以相关联的方式将表示照相机的设定的设定信息和虚化功能存储在虚化功能存储单元中；以及第五获取，包括获取与在所述第一获取获取的图像捕捉信息相关联的虚化 功能，其中，所述虚化处理步骤包括，采用虚化功能对背景或对象执行虚化处理。
18. —种计算机程序产品，包括存储于计算机可读取的记录媒介上的计算 机程序，当所述计算机程序在计算机上执行时使得计算机执行第一获取，包括获取为主体捕捉的图像信息；第二获取，包括对构成所述图像信息的多个区域中的每个区域的图像信 息，获取从包含于每一区域的所述主体到捕捉位置的距离；第三获取，包括从所述图像数据中获取用于区分所述主体的区分信息；以及，生成步骤，根据所述距离信息和所述区分信息，从所述图像数据中生成， 所述图像数据中的所述主体划分成了各个处理目标的对象区域。
全文摘要
本发明涉及图像处理设备、图像处理方法及计算机程序产品。在图像捕捉设备中，图像获取单元，获取为主体捕捉的图像信息；距离信息获取单元，对构成所述图像信息的多个区域中的每个区域的图像信息，获取从包含于每一区域的所述主体到捕捉位置的距离；区分信息获取单元，从所述图像数据中获取用于区分所述主体的区分信息；以及，生成单元，根据所述距离和所述区分信息，从所述图像数据中生成，所述图像数据中的所述主体划分成了各个处理目标的对象区域。
文档编号H04N5/262GK101426093SQ20081016675
公开日2009年5月6日 申请日期2008年10月23日 优先权日2007年10月29日
发明者关海克 申请人:株式会社理光