图像处理设备、图像处理方法和程序的制作方法

专利名称：图像处理设备、图像处理方法和程序的制作方法
技术领域：
本发明涉及图像处理设备、图像处理方法和程序，更具体地，涉及能够从输入图像和二值掩码图像(二值图像)提取前景目标图像而不造成颜色模糊的图像处理设备、图像处理方法和程序。
背景技术：
阿尔法(Alpha)抠图(matting)是用于剪切出诸如照片之类的数字图像的特定区域作为前景目标图像的常规技术。
考虑通过将由阿尔法抠图技术生成的阿尔法掩码图像与输入图像相乘在一起来剪切出前景目标图像，并将该前景目标图像与新的背景图像相合成。
这里，使用表示前景目标图像中的单个像素的透明度水平的值(以下也称作oc值)来表示阿尔法掩码图像。也就是说，阿尔法掩码图像是包括表示前景目标图像中的透明度水平的像素的透明度图像。在阿尔法掩码图像中，使用前景目标图像中的颜色配置的透明度a来表示各个像素值。例如，由oc-l来表示100。/。的透明度，由cx-0来表示0。/。的透明度，而由oc=0.5来表示50%的透明度(中间色调)。由此，通过将前景目标图像中的像素值乘以阿尔法掩码图像中的对应像素的透明度ot而获得的图<狄提取作为前景目标图像。
这里，在前景目标图像的边缘附近的像素可能残留有输入图像的背景图4象的颜色。
这是因为输入图像原本包括其中前景目标图像的颜色与背景图像的颜色相混和的、前景目标图像的边缘部分，并且当该前景目标图像与新的背景图^^目合成时，该颜色混和的边缘部分作为颜色模糊而变得明显。因此，为了实现更自然地合成被剪切出的前景目标图像，不仅必须获得阿尔法掩码图像，而且还必须通过计算前景目标图像的真实颜色来获得前景目标图像，使得可以将该前景目标图像与阿尔法掩码图^NMM^—起而用于
7合成。
例如，以下说明的方法是上述的阿尔法抠图技术中使用的前景色估计方法。
第一种方法是如下的方法该方法用于根据使用阿尔法抠图获得的阿尔法掩码图像以及输入图像，使得该输入图像的像素值与从估计的前景图像、估计的背景图像和阿尔法掩码图像获得的像素值之间的差最小化，以及用于使得一阶微分差最小化(参见A. Levin、 D. Lischinski和Y. Weiss的"A Closed Form Solution to Natural Image Matting" , 2006 Conferenceon Computer Vision and Pattern Recognition (CVPR 2006), 2006年6月，第61-68页)。在该方法中，基于以下预测可获得平滑的前景图像在像素值变化很大的像素位置处，阿尔法值、前景色或背景色变化很大。
第二种方法是如下的方法该方法用于在对oc值的差分的约束下才艮据使用阿尔法抠图获得的阿尔法掩码图像以及输入图像建立联立线性方程，从而补偿输入图像的像素值和估计前景色(参见Jue Wang、 ManeeshAgrawala和Michael K Cohen的"Soft Scissors: An Interactive Tool forRealtime High Quality Matting", ACM Transactions on Graphics, 26( 3 )，2007年7月，第9:1-9:6页)。由于仅使a差分值受到约束，因此第二种方法是有效率的。
第三种方法是如下的方法该方法用于在使用阿尔法抠图来计算阿尔法掩码图像时使用过渡性地获得的临时的前景色作为估计的前景色(参见Yung-Yu Chuang、 Brian Curless 、 David H. Salesin和Richard Szeliski的"A Bayesian Approach to Digital Matting", In Proceedings of IEEEComputer Vision and Pattern Recognition(CVPR 2001 )第二巻，264-271,2001年12月)。在该第三种方法中，通it^要计算的位置处的像素周围的像素中对前景色和背景色的多个候选进行采样来计算阿尔法值。
第四种方法是如下的方法该方法用于通it^使用阿尔法抠图获得的阿尔法掩码图像以及输入图像使用图像处理软件来手动地去除颜色模糊。该第四种方法被提供作为"去边功能，，(参见http://help.adobe.com/ja_JP/Photoshop/10.0/help.html content=WSfdl234elc4b69f30ea53e41001031ab64-76de.html )
发明内容
然而，在第一种方法中，由于在计算过程中暂时产生的联立线性方程的大小很大，因此有存在必需大量存储器的限制。
在第二种方法中，由于仅使阿尔法差分值受到约束，因此可实现有效性。然而，在前景色的分布并不简单、而是以复杂的方式相混和的情况下，可能会得不到正确的结果。
在第三种方法中，由于未对估计的前景色施加空间约束，因此如果直^^吏用前景色，则会仅获得不连续的前景图像。此外，在未获得良好的样本的情况下，可能^^f吏用不适当的颜色。
在第四种方法中，必须手动地设置要消除的背景色、空间位置、应用
范围等。因此需要复杂的IMt。
期望减少对前景色的估计所必需的存储器数量，并期望即使前景色就空间而言是平滑连续的且在前景边缘部分中存在复杂的颜色分布，也能够提取前景目标图像而不造成颜色模糊。
根据本发明的实施例，提供了一种图像处理设备，包括规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用指示输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成的在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素^殳置为具有预定的第二值，以及在该水平图像中的像素的第 一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景
色图像生成装置，用于生成与输入图^te关联的估计前景色图像，在该估
计前景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值被设置为输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
估计前景色图像生成装置可包括微分处理装置，用于对水平图像中
的各个像素执行第一值的微分处理；以;o巨离计算装置，用于计算通过微
分处理装置获得的对水平图像中的各个像素的微分处理结果的累计值，作为各自从所述连续性信息的变化量的累计值获得的距离，该微分处理结果与从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的缚在上的像素相关。
估计前景色图像生成装置可通过以下方式来生成与输入图傳4目关联
的估计前景色图像将预定的权重应用于输入图像中的位于与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的输入图像中
像素值，获得已受到加权的像素值的平均值，以及将规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素的像素值i殳置为该平均值。
该预定的权重可以根据与被作为规定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相距的距离来设置。
该各自从连续性信息的变化量的累计值获得的距离可表示为4从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的水平图像中的各个像素的前景图像区域中的像素集合的位置和背景图像区域中的像素集合的位置、以统计方式获得的前景似然值的变化量的绝对值的积分值。
该各自从连续性信息的变化量的累计值获得的距离可表示为在从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的水平图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
该各自从连续性信息的变化量的累计值获得的距离可表示为在从水平图像中的各个像素到被作为规定区域像素且被设置为具有预定的第二值的像素的路径上的输入图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
所述图像处理设备可进一步包括加权图像生成装置，用于将权重应用于规定二值图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像素中的每个像素，并生成与该规定二值图像相关联的加权图像；矩阵生成装置，用于根据以图表结构表示7K平图像中的各个像素的路径信息来生成拉普拉斯矩阵；函数生成装置，用于根据该加权图像、该拉普拉斯矩阵和估计前景色图像来生成使用前景色图像作为参数的能量函
10数；以及前景色图像计算装置，用于计算针对其获得最小能量函数的前景 色图像。
对该加权图像设置的权重可对用于使得该能量函数中的估计前景色 图像接近于前景色图像的约束力进行控制。
对该加权图像设置的权重可以是在所述水平图像中的各个像素中设 置的所述第一值。
根据本发明的另 一 实施例，提供了 一种用于图4象处理i殳备的图像处理 方法，规定二值图像生成装置，用于生成与和输入图^^目关联的水平图像 相关联的规定二值图像，该7jc平图像具有使用指示输入图像中的前景图像 区域中的像素值的水平的第一值来表示的各个像素的像素值，该规定二值 图像是通过以下方式生成的在该水平图像中的像素的第一值接近于最大 值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像 素，并将该像素设置为具有预定的第二值，以及在该水平图像中的像素的 第一值既不接近于该最大值也不接近于该最小值的情况下，将该像素作为 位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三 值；以及估计前景色图像生成装置，用于生成与该输入图^^目关联的估计 前景色图像，在该估计前景色图像中，该规定二值图像中的被作为未规定 区域像素且被设置为具有预定的第三值的各个像素的像素值^L设置为该 输入图像中的与被作为规定区域像素且被设置为具有预定的第二值的像 素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短 的像素相对应的像素的像素值，该方法包括以下步骤利用规定二值图像 生成装置生成与和输入图4M目关联的水平图4W目关联的规定二值图像，该 水平图像具有使用指示该输入图像中的前景图像区域中的像素值的水平 的第 一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生 成的在该水平图像中的像素的第一值接近于最大值或接近于最小值的情 况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为 具有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最 大值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未 规定区域像素，并将该像素设置为具有预定的第三值；以及利用估计前景 色图像生成装置生成与该输入图^f目关联的估计前景色图像，在该估计前 景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有 预定的第三值的各个像素的像素值被设置为输入图像中的与被作为规定 区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的^象素 值。
根据本发明的另 一实施例，提供了 一种用于使得控制图像处理设备的
计算机执行处理的程序，该图像处理设备包括规定二值图像生成装置， 用于生成与和输入图^N目关联的7jc平图4M目关联的规定二值图像，该水平 图像具有使用指示该输入图像中的前景图像区域中的像素值的水平的第 一值来表示的各个像素的像素值，该规定二值图像是通过以下方式生成 的在该水平图像中的像素的第一值接近于最大值或接近于最小值的情况 下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具 有预定的第二值，以及在该水平图像中的像素的第一值既不接近于该最大 值也不接近于该最小值的情况下，将该像素作为位于未规定区域中的未规 定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像 生成装置，用于生成与该输入图像相关联的估计前景色图像，在该估计前 景色图像中，该规定二值图像中的被作为未规定区域像素且被设置为具有 预定的第三值的各个像素的像素值被设置为该输入图像中的与被作为规 定区域像素且被设置为具有预定的第二值的像素中的、针对其的各自从连 续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像 素值，该处理包括以下步骤利用规定二值图像生成装置生成与和输入图 寸M目关联的水平图<|^目关联的规定二值图像，该7jc平图像具有使用指示输 入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素 的像素值，该规定二值图像是通过以下方式生成的在该7jc平图像中的像 素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规 定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以M 该水平图像中的像素的第一值既不接近于该最大值也不接近于该最小值 的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像 素设置为具有预定的第三值；以及利用估计前景色图1象生成装置生成与该 输入图^^目关联的估计前景色图像，在该估计前景色图像中，该规定二值 图像中的被作为未规定区域像素且被设置为具有预定的第三值的各个像 素的像素值被设置为输入图像中的与被作为规定区域像素且被设置为具 有预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计 值获得的距离为最短的《象素相对应的4象素的1象素值。
根据本发明实施例的图像处理设备可以是独立的设备或被配置用于 执行图像处理的模块。根据本发明的实施例，可以在减少必需的存储器的数量的同时实现对 前景色的鲁棒的估计。此外，减少了由背景色导致的颜色^t糊，并且可实 现例如与新的背景相合成的图像处埋结果的图4象质量。


图1是示出了根据本发明实施例的图像处理设备的配置示例的框图2是示出了估计前景色图4象生成单元的配置示例的框图3是用于说明前景图像生成处理的流程图4是示出了输入图像的示例的图5是示出了阿尔法掩码图《象的示例的图6是示出了规定值像的示例的图7是用于说明估计前景色图像生成处理的流程图8是用于说明最短距离的图9是用于说明8个相邻像素中的关系的图10是用于i兌明多巨离图的图11是用于说明图表结构的图12是示出了前景色图像的示例的图；以及
图13是用于说明个人计算机的配置示例的图。
具体实施例方式
图寸象处理i殳备的配置示例
图1示出了根据本发明的实施例的图像处理设备的配置示例。
图1所示的图像处理设备l能够根据阿尔法掩码图像A(表示前景目 标图像中的透明度的水平的水平图像)从输入图像I提取前景目标图像F， 而不造成颜色模糊。
图寸象处理i殳备1包括输入图《象获取单元11、阿尔法掩码图像获取单 元12、规定值图生成单元13、像素权重图生成单元14、估计前景色图像 生成单元15、拉普拉斯(Laplacian)矩阵生成单元16、能量函数生成单元17和前景色图像生成单元18。
输入图像获取单元11获取包括要提取的前景目标图像的输入图像I, 并将所获取的输入图像I提供,定值图生成单元13和估计前景色图像 生成单元15。
阿尔法掩码图像获取单元12获取阿尔法掩码图像A (包括表示前景 目标图像中的透明度的水平的像素的水平图像)，该阿尔法掩码图像A包 括表示接收到的前景目标图像中的像素单位中的透明度oc的值(以下也称 作cx值)。然后，阿尔法掩码图像获取单元12将所获取的阿尔法掩码图像 A提供皿定值图生成单元13、像素权重图生成单元14、估计前景色图 像生成单元15和拉普拉斯矩阵生成单元16。稍后将参照图2说明估计前 景色图像生成单元15的详细配置。
规定值图生成单元13从阿尔法掩码图像A和输入图像I生成规定值 像S。该规定值像S包括具有第一像素值的、，定为位于规 定区域中且属于前景目标图像或背景图像的像素，以及具有第二像素值 的、位于未规定的区域中且不属于前景目标图^M^背景图像的像素。规定 值图生成单元13将生成的规定值像S提供^^象素权重图生成单元14 和估计前景色图像生成单元15。这里，不属于前景目标图像或背景图像 的像素被认为是其中前景目标图像和背景图像中的颜色相混合的像素。在 规定值像S中，例如对第一像素值设置"1"，并且例如对第二像素值 设置"0"。规定值图生成单元13i3^规定值像S中的各个规定像素 提供表示该规定像素是属于前景目标图像还是属于背景图像的信息。
像素权重图生成单元14根据规定值像S和阿尔法掩码图像A生 成像素权重像Ds，并将所生成的像素权重像Ds提供给能量函数 生成单元17。更具体地，像素权重图生成单元14通过将与规定值像 S中的位于未规定的区域中的各个像素相对应的、阿尔法掩码图像A中的 像素值(即，透明度oc )设置为要被应用于像素的权重来生成像素权重图 图像Ds。
估计前景色图像生成单元15从输入图像I、阿尔法掩码图像A和规 定值<象S生成估计前景色图《象F、并将所生成的估计前景色图l象FA 提供给能量函数生成单元17。更具体地，估计前景色图像生成单元15通 过使用索贝尔滤波(Sobd filtering)来计算与规定值像S中的位于未 规定区域中的各个像素相对应的阿尔法掩码图像A的像素的微分值。当像素的微分值的累计值被视为距离时，将在最短距离处的规定像素的像素 值设为未规定像素的像素值。相应地，包括在最短的距离处的前景目标图
像中的像素位置处的像素值的图^m获得作为估计前景色图像F、其中 该距离由未规定像素的微分值的累计值来表示。
拉普拉斯矩阵生成单元16从阿尔法掩码图像A根据例如在标的像素 周围的像素的平均值和方差来假设前景目标图像和背景图像的局部区域 中的像素值的线性模型，并计算周围像素的贡亂变以生成拉普拉斯矩阵 L。拉普拉斯矩阵L是其中行数和列数与阿尔法掩码图像A的像素的总数 相对应的正定对称稀疏矩阵。
例如，在A. Levin、 D. Lischinski和Y. Weiss的文献"A Closed Form Solution to Natural Image Matting" ， 2006 Conference on Computer Vision and Pattern Recognition ( CVPR 2006 ), 2006年6月，第61-68页 中描述的技术的情况下，拉普拉斯矩阵L的各个元素包括相对于相邻元素 的权重，并假设其中前景目标图像的颜色和背景图像的颜色在包括3x3像 素的小区域内基本上是恒定的且仅oc值改变的线性模型。拉普拉斯矩阵L 的各个元素是根据包括中心像素周围的3x3像素的小区域的平均值和协 方差来计算的。根据这种元素来定义相邻像素的a值与中心像素的a值应 相似的程度。拉普拉斯矩阵L的详情例如可从A. Levin、 D. Lischinski和 Y. Weiss的文献"A Closed Form Solution to Natural Image Matting" ， 2006 Conference on Computer Vision and Pattern Recognition ( CVPR 2006 )， 2006年6月，第61-68页中获得。
能量函数生成单元17根据像素权重像Ds、拉普拉斯矩阵L和估 计前景色图像FA而生成其中形成前景色图像F的RGB颜色图像Fc的矢 量x被用作M的能量函数E，并将所生成的能量函数E提供给前景色图 像生成单元18。
前景色图像生成单元18计算针对其可获得最小能量函数E的RGB 颜色图像Fc的矢量x,并从各个颜色的矢量x计算前景色图像F。前景色 图像生成单元18输出该前景色图像F作为来自输入图像I的由阿尔法掩 码图像定义的前景色图像。前景色图像F是根据最终提取的阿尔法掩码图 像A而从输入图像I中提取的前景目标图像。
估计前景色图像生成单元的配置示例
下面将参照图2说明估计前景色图像生成单元15的详细配置的示例。估计前景色图像生成单元15包括微分图像生成部分31、最近前景像 素图生成部分32和估计前景色〗象素生成部分33。
微分图像生成部分31通过使用例如索贝尔滤波对阿尔法掩码图像A 中的各个像素的oc值求微分，并将由微分结果形成的微分图像A，提供给 最近前景像素图生成部分32。由于微分图像生成部分31只需对值求微分， 因此可使用其它类型的滤波来代替索贝尔滤波。
最近前景像素图生成部分32针对规定值像S中的未规定区域的 各个像素而在最短距离处的搜索规定区域中的像素。在该处理中，最近前 景像素图生成部分32计算从未规定区域中的各个像素到规定区域中的像 素的路径上存在的未规定像素的微分值的累计值作为该路径的距离，并在 最短距离处的搜索规定区域中的像素。然后，最近前景像素图生成部分 32生成最近前景像素像N，，并将该最近前景像素像N提供给估 计前景色像素生成部分33，在该最近前景4象素4象N中，与所找到的 规定区域中的像素的像素位置相关的信息与对应的像素相关联。
估计前景色像素生成部分33通it^"输入图像I中的与最近前景l象素 像N中所设置的像素位置相对应的的像素值进行设置来生成估计前 景色图像FA，并输出该估计前景色图像FA。
前景色图《象生成处理
下面将参照图3的流程图说明前景色图像生成处理。
在步骤Sl中，输入图像获取单元11判定输入图像I是否已被提供， 并且阿尔法掩码图像获取单元12判定阿尔法掩码图像A是否已被提供。 重复该处理，直到输入图像I和阿尔法掩码图像A已被提供为止。在例如 如图4和5所示的在步骤Sl中判定已接收到输入图像I和阿尔法掩码图 像A的情况下，处理进行至步骤S2。图4示出了通过拍^LA物的面部图 像的部分而获得的输入图像I的示例，图5示出了与图4所示的输入图像 I相关联的阿尔法掩码图像A的示例。在图5所示的阿尔法掩码图像A中， 在透明度oc是"1"的情况下设置白色，在透明度cx是"0"的情况下设置 黑色。在下面的说明中，将输入图像I中的包括4JC图像的面部图像区域 作为前景目标图像，并将其它区域作为背景图像。
在步骤S2中，输入图像获取单元11将接收到的输入图像I提供g 定值图生成单元13和估计前景色图像生成单元15。阿尔法掩码图像获取 单元12将接收到的阿尔法掩码图像A提供皿定值图生成单元13 、像权重图生成单元14、估计前景色图像生成单元15和拉普拉斯矩阵生成单 元16。
规定值图生成单元13从阿尔法掩码图像A生成规定值像S，该 规定值像S包括具有预定的第一像素值的、被规定为属于前景目标 图像或背景图像的像素，以及具有预定的第二像素值的、不属于前景目标 图像或背景图像的像素。
更具体地，规定值图生成单元13生成规定值像S，在该规定值 像S中，其透明度oc被设置为"1"或"0"的像素被作为对其规定了 前景目标图像的颜色的规定像素，并且规定像素的像素值被设置为例如 "1"，而未规定像素的像素值被设置为"0"。此外，规定值图生成单元 13将被设置为规定像素的、透明度a大于0.5的像素设置为前景规定像素， 并将被设置为规定像素的、透明度a小于0.5的像素设置为背景规定像素。 针对图5所示的阿尔法掩码图像A，规定值图生成单元13生成例如如图 6所示的规定值像S。在图6中，白色区域Z1表示包括形成前景目 标图像的规定像素的规定区域，黑色区域Z2表示包括未规定像素的未规 定区域，在区域Z2的另一边对着区域Z1的白色区域Z3表示形成背景图 像的规定区域。
此外，规定《象素不一定具有"1"或"0"的透明度。可以根据期望的 阈值来作出关于像素是否是规定像素的判定。例如，可将透明度a大于 0.98或透明度a小于0.02的像素作为规定像素。此外，为了改进后续处 理中的精度，包括未规定像素的未规定区域可以比规定区域宽例如若干像 素。通过执行这种处理，例如，即使在由于输入图像I是上采样的图像而 计算在规定像素和未规定像素之间内插的颜色的情况下，也可以高精度地 计算前景目标图像的颜色而不造成颜色模糊，
在步骤S3中，像素权重图生成单元14根据规定值像S和阿尔法 掩码图像A生成像素权重像Ds,并将所生成的像素权重像Ds 提供给能量函数生成单元17。更具体地，像素权重图生成单元14生成像 素权重像Ds，在该像素权重像Ds中，阿尔法掩码图像A中的与 规定值像S中的未规定区域中的像素相对应的像素值(即，透明度ot ) 被设置为要被应用于像素的权重。通过调整与该像素权重像Ds中的 各个^象素相对应的值，来改变稍后将说明的能量函数E的特性。例如，以 如下这种方式设置能量函数E:随着与像素权重像Ds中的各个像素 相对应的值越增大，就越可能获得接近于估计前景色图像的前景色图像。同时，随着与像素权重像Ds中的各个像素相对应的值越减小，可获 得越接近于根据前景目标图像中的相邻像素的像素值而内插的值的值，因 此可获得具有平滑的连续性的前景自标图像的像素值。
在本实施例中，将各个像素的透明度oc (0《a《l)用作要被应用于像 素权重像Ds中的像素的权重。但是也可将任何其它值用作权重。
在步骤S4中，估计前景色图像生成单元15执行估计前景色图像生成 处理。在估计前景色图《象生成处理中，估计前景色图4象生成单元15从输 入图像I 、阿尔法掩码图像A和规定值像S生成估计前景色图4象Fa ， 并将所生成的估计前景色图像FA提供给能量函数生成单元17。
估计前景色图^^生成处理
下面将参照图7的流程图说明估计前景色图像生成处理。
在步骤S31中，微分图像生成部分31通过使用索贝尔滤波来对阿尔 法掩码图像A中的各个像素的oc值求微分，并将包括微分值Aoc的微分图 像A'提供给最近前景像素图生成部分32。
在步骤S32中，最近前景像素图生成部分32根据微分图像A'而对从 规定值像S中的未规定区域中的各个像素到在规定区域的边界上的 前景目标图像中的所有规定像素的所有路径上的像素的微分值A cx进行 累计。然后，最近前景像素图生成部分32针对各个像素而搜索具有最小 的微分值Aot的累计值的i^作为至规定像素的最短i^圣，并读取规定像 素的像素位置。
也就是说，如图8所示，最近前景像素图生成部分32对从未规定区 域中的像素Pd到边界上的多个规定像素Pu的所有# PATH上的像素 的微分值Aoc进行累计，并根据由式(1)所示的计算来搜索具有最小值 的规定像素Pu。
d(Pd'Pu)= 幽广lAaldp
PATHpd,p; (1)
在式(1)中，d (Pd， Pu )表示具有从未规定区域中的像素Pd到规 定区域的边界上存在的规定像素Pu的所有# PATH上存在的所有像素 的微分值Aa的绝对值的累计值中的最小的一个累计值的规定像素Pu。 各个，的被定义为微分值A a的累计值的距离一般被称为测地距离。此 外，各个# PATH是通过如图9所示地将像素连接至作为节点8个相邻
18像素来设置的。也就是说，如图9所示，可被设置为在路径上紧接着像素 TP的像素的相邻像素是8个方向上的像素Pl至P8。
在图8中，区域Zll是包括未规定像素的未规定区域，区域Z12和 Z13是包括前景目标图像的规定像素的规定区域。此夕卜，边界B表示未规 定区域和规定区域之间的边界，白色像素SFP1至SFP8以及黑色像素Pu 是边界B上的规定像素。
此外，其中将作为最短距离而获得的、从像素至最近的规定像素的距 离(测地距离)被设置为像素值的距离像M例如如图IO所示。在图 IO所示的距离像M中，对于规定像素设置黑色。根据距离而设置颜 色的亮度。对于最远的《象素i殳置白色。
在步骤S33中，最近前景4象素图生成部分32生成最近前景像素 像N，并将该最近前景像素像N提供给估计前景色像素生成部分33， 其中在最近前景像素像N中各个未规定像素与和被找到作为可通过 最短路径到达未规定像素的像素的像素的位置相关的信息相关联。
在步骤S34中，估计前景色〗象素生成部分33通过以下方式来生成估 计前景色图像Fa :根据最近前景像素像N读^针对每个未规定像 素而设置的像素位置处的输入图像I中的规定像素的像素值，并将所读取 的像素值设置为未规定像素的像素值。也就是说，例如，如图8所示，估 计前景色像素生成部分33将未规定像素Pd的像素值设置为输入图像I 中的与《象素Pu的像素位置相对应的像素值，其中像素Pu是被找到作为 可通过最短路径到达未规定^象素Pd的<象素的最近前景<象素。
在这种情况下，被选择作为可通过最近前景像素像N中设置的 最短路径而到达未规定像素的像素的像素可能是不适合的像素。因此，估 计前景色l象素生成部分33可将通过以下方式获得的值的平均值设置为未 规定像素的像素值将预定权重应用于位于该被选择作为可通过最短距离 到达未规定像素的像素的像素附近的、且位于边界上的多个规定4象素。
也就是说，如图8所示，可以计算以下像素的像素值的平均值以使得 该平均值可以被设置作为未规定像素Pd的像素值被设置作为可通过最 短距离到达未规定像素Pd的4象素的4象素Pu，以及位于像素Pu附iOL位 于边界上的规定像素SFP1至SFP8。
另外，与在像素Pu附近的像素相关的更详细的信息可从例如Jue Wang Cohen, M. F.的"Optimized Color Sampling for Robust Matting",
19Computer Vision and Pattern Recognition, 2007中获得。
通过执行以上说明的处理，可以将未规定像素替换成前景目标图l象中 的可以通过针对其的微分值的累计值为最小的路径到达未规定像素的像 素。因此可再现前景目标图像中的自然颜色。因此，在前景目标图4象和背 景图〗象之间的边界附近，可减少前景目标图像中的由背景图〗象造成的颜色 模糊。
返回参照图3所示的流程图。在步骤S5中，拉普拉斯矩阵生成单元 16从阿尔法掩码图像A生成拉普拉斯矩阵L，并将所生成的拉普拉斯矩 阵L提供给能量函数生成单元17。更具体地，拉普拉斯矩阵生成单元16 生成总像素(节点)数x总像素数的拉普拉斯矩阵，该拉普拉斯矩阵是其 中行数和列数相同且使用图表结构来表示像素间的关系的正方矩阵。更具 体地，拉普拉斯矩阵生成单元16生成如下的拉普拉斯矩阵L:在该拉普 拉斯矩阵L中，每行中的对角线元素与通过使该行中的对角线元素以外的 元素的总和的符号反号而获得的值相同(即，每行中的总和为0)。
例如，如图ll所示，将<象素Pl至P6相连接，并且通过线勤目连接 的l象素具有相邻关系。在图11所示的关系的情况下，拉普拉斯矩阵生成 单元16生成例如如等式(2 )所示的拉普拉斯矩阵L:
2一100一10
一13一10一10
0一12一100
00一13一1—1
一1一10一130
000一101
也就是说，如图11所示，将像素P2和P5连接到像素P1。因此，如 由等式(2)表示的拉普拉斯矩阵L所示地，对于第一行，拉普拉斯矩阵 生成单元16在与像素P2和P5相对应的第二列和第五列中设置"-l，，，并 在第一列中设置"2"(=卜llx2 )。
类似地，如图ll所示，将像素P1、 P3和P5连接到像素P2。因此， 如由等式(2)表示的拉普拉斯矩阵L所示地，对于第二行，拉普拉斯矩 阵生成单元16在与《象素P1、 P3和P5相对应的第一列、第三列和第五列 中设置"-l"，并在第二列中设置"3"(叫画llx3)。
此外，类似地，如图11所示，将像素P2和P4连接到像素P3。因此，拉斯矩阵L所示地，对于第三行，拉普拉斯矩 阵生成单元16在与像素P2和P4相对应的第二列和第四列中设置 并在第三列中设置"2" ( = |-I|x2)。
此外，类似地，如图ll所示，将像素P3、 P5和P6连接到《象素P4。 因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第四行，拉普 拉斯矩阵生成单元16在与〗象素P3、 P5和P6相对应的第三列、第五列和 第六列中设置"-l"，并在第四列中设置"3" ( = |-I|x3)。
此外，类似地，如图ll所示，将像素P1、 P2和P4连接到像素P5。 因此，如由等式(2)表示的拉普拉斯矩阵L所示地，对于第五行，拉普 拉斯矩阵生成单元16在与1象素P1、 P2和P4相对应的第一列、第二列和 第四列中设置"-l"，并在第五列中设置"3" ( = |-I|x3)。
此外，类似地，如图ll所示，仅将像素P4与像素P6相连接。因此， 如由等式(2)表示的拉普拉斯矩阵L所示地，对于第六行，拉普拉斯矩 阵生成单元16在与像素P4相对应的第四列中设置并在第六列中 设置"1" ( = |-l|xl)。
在步骤S6中，能量函数生成单元17根据像素权重像Ds、拉普 拉斯矩阵L和估计前景色图像FA而生成如等式(3 )所示的其中前景色图 像F被用作参数的能量函数E，并将所生成的能量函数E提供给前景色图 像生成单元18:
x = argmin (xTLx + X (x-FA) TDs (x-FA)) (3)
在等式(3)中，"argmin (Q)"表示如下的数学符号该数学符号 是用于以使得可获得函数Q的最小值的方式来确定参数x的值的函数。 此外，"x"表示形成要生成的前景色图像F的彩色图像Fc中的像素的矢 量。因此，在等式(3)中，获得了针对其可获得最小能量函数E的矢量 x的组合。此外，"xT"和"(x-FA)T"表示矢量x和(x-FA)的转置，"L" 表示拉普拉斯矩阵，'V表示作为正值的系数，"Ds"表示像素权重 像。
在等式(3 )中，"xTLx"表示平滑化项(smoothing item )， "" x-FA ) TDs (x-F八)"表示数据项。
平滑化项工作用于以使得相邻像素的值可被平滑(相同)的方式来确 定矢量x。此外，数据项工作用于通过将矢量x和估计前景色图像FA设为 0来使得矢量x接近于估计前景色图像Fa 。平滑化项和数据项具有互相折衷的关系。当将平滑化项和数据项之一
优选地设为o (最小值)时，平滑化项和数据项中的另一个被设置为更大
的值。因此，以使得可获得平滑化项和数据项的值之间的良好平衡以及总
和最小的方式来进行式(3)的计算。在实际计算中，前景色图像生成单 元18通过使用共辄梯度法或LU分解来执行等式(3 )的计算以实现最小 化。
此外，系数k调整数据项相对于平滑化项的相对强度。此外，〗象素权 重像Ds设置数据项中的^f亍的相对的重要程度，即，对构成前景目 标图像的像素的像素值的影响的程度。也就是说，如果像素权重像 Ds中存在1.0的项，则约束力随系数X而增大，并且约束力随着系数k 减小而减小。当约束力根据像素权重像Ds或系数3i而变成0时，数 据项的重要程度变成O，因此能量函数E仅根据平滑化项来确定。注意， 尽管像素权重像Ds包括一般在介于0.0与1.0之间的范围之内的正 值，但是像素权重像Ds中可以包括任何值。
此外，平滑化项和数据项是二次方程式(对矢量x的乘法被执行两 次)，以便以数学方式获得最小解。例如，如等式(4)所示，可以通过使 用微分形式获得最小值
(L+XDs) x = XFA……(4)
在步骤S7中，前景色图《象生成单元18通过执行例如等式(4)的计 算以求解矢量x来获得构成前景色图4象F的彩色图4象Fc。
在步骤S8中，前景色图像生成单元18判断是否已获得了全部的R (红)、G(绿)和B(蓝)颜色的彩色图像Fc。在尚未完成对全部颜色 的处理的情况下，处理返回到步骤S7以对未处理的颜色执行处理。也就 是说，重复步骤S7和S8的处理，直到已获得了全部颜色的彩色图像Fc 为止。
在在步骤S8中确定已获得了全部颜色的彩色图像Fc且已完成了对全 部颜色的处理的情况下，前景色图4象生成单元18才艮据全部颜色的彩色图 像Fc而形成前景色图像F，并输出前景色图像F作为基于针对输入图像 I的阿尔法掩码图像A而设置的、例如如图12所示的前景色图像F。
通过执行上述的处理，以可获得最小能量函数E的方式获得由与 个 颜色相对应的前景色图像的像素值形成的矢量x,并且可从由这些矢量x 形成的各个颜色的彩色图像而获得前景色图像F。相应地，前景色图4象F被形成作为前景目标图像F。结果，可以减少前景目标图像中的在前景目 标图像和背景图像之间的边界附近出现的、由背景图像的颜色造成的模 糊。
在步骤S4的处理中获得的估计前景色图像FA可被提Wt为输入图 像。也就是说，如同在Jue Wang Cohen、 M.F.的文献"Optimized Color Sampling for Robust Matting", Computer Vision and Pattern Recognition, 2007中说明的那样，估计前景色图像FA是在生成阿尔法掩码图像时作为 副产品而生成的。通it^t本发明实施例中的步骤S4的处理中再次使用估 计前景色图像FA,可以实现更高的处理速度和必需的存储器数量的減少。
此外，对于在步骤S4的处理中获得的估计前景色图像FA,可以祁^据 前景目标图像的像素集合(ot=l)和背景图像的像素集合(oc=0)以统计 方式获得前景似然值，并可通过使用对从前景目标图像的像素集M始的 前景似然值中的变化量的绝对值进行累计而获得的距离来获得最短距离。
另夕卜，对于在步骤S4的处理中获得的估计前景色图像F、可通过使 用对从前景像素集M始的阿尔法掩码图像A的边缘切线流(edge tanget flow)(矢量)的变化量的绝对值进行累计而获得的距离来获得最短距离。 可4吏用例如在H. Kang、 S. Lee、 C. Chui的文献"Coherent Line Drawing" Proc. ACM Symposium on Non-photorealistic Animation and Rendering, 2007中说明的技术来获得边缘切线流矢量。如等式(5)所示，可例如根 据当前位置x的边缘切线流矢量ti (x)和相邻位置的边缘切线流矢量tj (x)来计算边缘切线流矢量的变化量w。
w = l- |ti(x)xtj(x)| (5)
此外，对于在步骤S4的处理中获得的估计前景色图像FA，可通过使 用通过对从前景目标图像的像素集^始的输入图像I的边缘切线流(矢 量)的绝对值的变化量进行累计而获得的距离来获得最短距离。
另夕卜，在步骤S5的处理中获得的拉普拉斯矩阵L可根据输入图像I 的R、 G和B值来获得。
此外，在步骤S5的处理中获得的拉普拉斯矩阵L可通过4吏用才艮据输 入图像中的前景像素集合和背景像素集合以统计方式获得的前景似然值 来获得。例如，如等式(6)所示，可通过计算规范化前景似然值Pb (x) 来构建前景似然值
Pb(x) =p (cx|eGF) / (p (cx|eGF)+P (cx|eGB)) (6)
23在等式(6)中，"x"表示标的像素，"p(cx|eGF)"表示前景似然值， "p (cx|eGB)，，表示背景似然值。例如通过使用高斯混合模型来计算上述 的似然值"p()"。
在用户希望使计算时间比前景色图像f的质量更优先的情况下，在步
骤S4的处理中可省略对估计前景色图像F八的计算。在这种情况下， 定区域中的估计前景色图像FA中的各个像素的像素值设为0,并将像素权 重像Ds中除了前景目标图像区域以外的区域中的像素的像素值设为 0。相应地，由于在仅对前景4象素位置的约束下获得前景色图〗象，因此可 实现高速处理。
此外，在步骤S5的处理中，能量函数E的定义是通过提^U^入图像 I的颜色成分之一作为Fc来进行的。然而，在用户希望使处理速度比必需 的存储器的数量的减少更优先的情况下，可以定义同时包括3色的能量函 数E。
如上所述，根据本发明的实施例，可减少前景目标图像中的在前景目 标图像和背景图像之间的边界附近出现的、由背景图像的颜色造成的模糊。
上述一 系列处理可通过硬件或较:件来执行。在通过软件来执行一 系列 处理的情况下，构成该软件的程序被从记录介质安装到嵌入在专用硬件中 的计算机或例如能够基于安装在其上的各种程序来执行各种功能的通用 个人计算机中。
图13示出了通用个人计算机的配置示例。该个人计算机包含中央处 理单元(CPU )1001。输yV输出接口 1005通过总线1004连接至CPU 1001。 只读存储器(ROM) 1002和随MM储器(RAM) 1003连接至总线 1004。
由用户用来输入操作命令的包括诸如键盘和鼠标器等的输入装置的 输入单元1006、用于将处理操作画面和处理结果图像输出至显示装置的 输出单元1007、包括其中存储有程序和各种数据的硬盘驱动器的存储单 元1008、以及包括局域网(LAN)适配器等的、经由诸如因特网之类的 网g行通信处理的通信单元1009与输V输出接口 1005相连接。此夕卜， 用于从诸如磁盘(软盘等)、光盘(光盘只读存储器(CD-ROM)、数字 多能盘((DVD)等)、磁光盘(小型盘(MD))或半导体存储器之类的 可拆卸介质1001读取数据或向其写入数据的驱动器1010与输V输出接口 1005相连接。
CPU 1001根据存储在ROM 1002中的镡序，或根据被从诸如磁盘、 光盘、磁光盘或半导体存储器之类的可拆卸介质1011、被安装到读取存储 单元1008中、并被从存储单元1008加载到RAM 1003的程序，来执行各 种处理。当CPU 1001执行各种处理时所必需的数据也被以适当的方式存 储在RAM 1003中。
在本说明书中，对记录在记录介质中的程序进行说明的步骤不仅包括 根据行文顺序而以时序方式执行的处理，而JLi￡包括并列地或独立地执行 的处理，该处理不一定以时序方式执行。
本申请包括与2008年9月8日向日本专利局提交的日本优先权专利 申请JP 2008-229836中公开的主题相关的主题，其^P内容通过引用包 括于此。
本领域的技术人员应当理解，取决于设计需求和其它有关因素，可以 进行各种变型、组合、子组合和变更，只要它们落入所附权利要求或其等 效内容的范围之内即可。
权利要求
1.一种图像处理设备，包括规定二值图像生成装置，用于生成与和输入图像相关联的水平图像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的在所述水平图像中的像素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为所述输入图像中的与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值。
2. 根据权利要求1所述的图像处理设备，其中所述估计前景色图像生成装置包括微分处理装置，用于对所述水平图像中的各个像素执行所述第 一值的微分处理；以及距离计算装置，用于计算通过所述微分处理装置获得的对所述水平图像中的各个像素的微分处理结果的累计值，作为所述各自从所述连续性信息的变化量的累计值获得的距离，所述微分处理结果与从所述水平图4象中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的像素相关。
3. 根据权利要求l所述的图像处理设备，其中所述估计前景色图像生成装置通过以下方式来生成与所述输入图^t目关联的估计前景色图像将预定的权重应用于所述输入图像中的位于与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的所述输入图像中个像素的像素值，获得已受到加权的像素值的平均值，以及将所述规定二值图像中的被作为未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值设置为所述平均值。
4. 根据权利要求3所述的图像处理设备，其中所述预定的权重是根据与被作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相距的距离来设置的。
5. 根据权利要求l所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离M示为4从所述7jc平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述水平图像中的各个像素的所述前景图像区域中的像素集合的位置和所述背景图像区域中的像素集合的位置、以统计方式获得的前景似然值的变化量的绝对值的积分值。
6. 根据权利要求l所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离^示为在从所述7jc平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述水平图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
7. 根据权利要求l所述的图像处理设备，其中所述各自从连续性信息的变化量的累计值获得的距离M示为在从所述水平图像中的各个像素到被作为所述规定区域像素且被设置为具有所述预定的第二值的像素的路径上的所述输入图像中的各个像素的、边缘切线流矢量的变化量的绝对值的积分值。
8. 根据权利要求l所述的图像处理设备，还包括加权图像生成装置，用于将权重应用于所述规定二值图像中的被作为未规定区域像素且被设置为具有所述预定的第三值的各个像素中的每个像素，并生成与所述规定二值图^4目关联的加权图像；矩阵生成装置，用于根据以图表结构表示所述水平图像中的各个像素的路径信息来生成拉普拉斯矩阵；函数生成装置，用于根据所述加权图像、所述拉普拉斯矩阵和所述估计前景色图像来生成使用前景色图像作为参数的能量函数；以及前景色图像计算装置，用于计算针对其获得最小能量函数的前景色图像。
9. 根据权利要求8所述的图像处理设备，其中对所#权图像设置的权重对用于使得所述能量函数中的所述估计前景色图像接近于所述前景色图像的约束力进行控制。
10. 根据权利要求8所述的图像处理设备，其中对所述加权图像设置的权重是在所述水平图4象中的各个傳_素中i殳置的所述第 一值。
11. 一种用于图像处理设备的图像处理方法，所述图4象处理i殳备包括规定二值图像生成装置，用于生成与和输入图〗!4目关联的水平图#4目关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的在所述水平图像中的像素的第 一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第 一值既不接近于所述最大值也不接近于所述最小值的情况下，将该《象素作为位于未规定区域中的未规定区域像素，并将该《象素i殳置为具有预定的第三值；以及估计前景色图像生成装置，用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为所述输入图像中的与被作为所皿定区域像素且被设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，所述方法包括以下步骤利用所述规定二值图像生成装置生成与和输入图傳湘关联的水平图^M目关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值，所述规定二值图像是通过以下方式生成的在所述水平图像中的4象素的第一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像素设置为具有预定的第三值；以及利用所述估计前景色图像生成装置生成与所述输入图傳4目关联的估计前景色图像，在所述估计前景色图像中，所述规定二值图〗象中的被作为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像素值被设置为所述输入图像中的与被作为所述规定区域像素且被设置为 具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量 的累计值获得的距离为最短的像素相对应的像素的像素值。
12. —种用于使得控制图像处理设备的计算机执行处理的程序，所述 图像处理设备包括规定二值图像生成装置，用于生成与和输入图^M目关 联的水平图^f目关联的规定二值图像，所述水平图像具有使用指示所述输 入图像中的前景图像区域中的像素值的水平的第一值来表示的各个像素 的像素值，所述规定二值图像是通过以下方式生成的在所述水平图像中 的像素的第一值接近于最大值或接近于最小值的情况下，将该l象素作为位 于规定区域中的规定区域像素，并将该像素设置为具有预定的第二值，以 及在所述水平图像中的像素的第一值既不接近于所述最大值也不接近于 所述最小值的情况下，将该像素作为位于未规定区域中的未规定区域像 素，并将该像素设置为具有预定的第三值；以及估计前景色图像生成装置， 用于生成与所述输入图像相关联的估计前景色图像，在所述估计前景色图 像中，所述规定二值图像中的被作为所述未规定区域像素且被设置为具有 所述预定的第三值的各个像素的像素值被设置为所述输入图像中的与被 作为所述规定区域像素且被设置为具有所述预定的第二值的像素中的、针 对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，所述处理包括以下步骤利用所述规定二值图像生成装置生成与和输入图像相关联的水平图 像相关联的规定二值图像，所述水平图像具有使用指示所述输入图像中的 前景图像区域中的像素值的水平的第一值来表示的、各个像素的像素值， 所述规定二值图像是通过以下方式生成的在所述水平图像中的《象素的第 一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域 中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水 平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值 的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像 素设置为具有预定的第三值；以及利用所述估计前景色图像生成装置生成与所述输入图像相关联的估 计前景色图像，在所述估计前景色图像中，所述规定二值图4象中的被作为 所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的像 素值被设置为所述输入图<象中的与^L作为所述规定区域〗象素且^l设置为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化量 的累计值获得的距离为最短的像素相对应的像素的像素值。
13. —种图4象处理i殳备，包括规定二值图像生成单元，被配置用于生成与和输入图像相关联的7jc平 图^f目关联的规定二值图像，所述水平图像具有使用指示所述输入图像中 的前景图像区域中的像素值的水平的第一值来表示的各个像素的像素值， 所述规定二值图像是通过以下方式生成的在所述水平图像中的4象素的第 一值接近于最大值或接近于最小值的情况下，将该像素作为位于规定区域 中的规定区域像素，并将该像素设置为具有预定的第二值，以及在所述水 平图像中的像素的第一值既不接近于所述最大值也不接近于所述最小值 的情况下，将该像素作为位于未规定区域中的未规定区域像素，并将该像 素设置为具有预定的第三值；以及估计前景色图像生成单元，被配置用于生成与所述输入图像相关联的 估计前景色图像，在所述估计前景色图像中，所述规定二值图^象中的衫L作 为所述未规定区域像素且被设置为具有所述预定的第三值的各个像素的 像素值被设置为所述输入图像中的与被作为所皿定区域像素且被设置 为具有所述预定的第二值的像素中的、针对其的各自从连续性信息的变化 量的累计值获得的距离为最短的像素相对应的像素的像素值。
全文摘要
公开了一种图像处理设备、图像处理方法和程序。一种图像处理设备，包括规定二值图像生成单元，被配置用于通过将像素作为规定区域像素或未规定区域像素并将该像素设置为具有预定的第二值或第三值，来生成与和输入图像相关联的水平图像相关联的规定二值图像，该水平图像具有使用第一值来表示的像素的像素值；以及估计前景色图像生成单元，被配置用于通过将规定二值图像中的被作为未规定区域像素的像素的像素值设置为输入图像中的与被作为规定区域像素的像素中的、针对其的各自从连续性信息的变化量的累计值获得的距离为最短的像素相对应的像素的像素值，来生成与输入图像相关联的估计前景色图像。
文档编号G06T7/00GK101673401SQ200910171790
公开日2010年3月17日 申请日期2009年9月8日 优先权日2008年9月8日
发明者山田英史 申请人:索尼株式会社