专利名称：从分割图像中去除伪边缘的方法和设备的制作方法
技术领域：
本发明总体涉及图像及视频处理领域。尤其涉及对图像及视频的基于区域的分割和滤波，并将具体参考其而进行描述。
视频序列被用来从所观察的运动域中估算对象的时变的三维(3D)结构。得益于时变的三维重建的应用包括基于视觉的控制(机器人学)、安全系统，和为在立体(3D)电视上观看而对传统的单像管(monoscopic)视频(2D)所进行的转换。在这种技术中，使用运动恢复结构(structure from motion)方法从视频序列中的两个连续图像导出深度图。
图像分割是重要的第一步，其经常在例如基于分割的深度估算的其它任务之前进行。一般而言，图像分割就是将图像划分成一组无重叠的部分或片断的处理，并且该组部分或片断一同与场景中存在的自然对象尽可能的相一致。进行图像分割任务的途径有很多种，包括基于直方图的分割、传统的基于边缘的分割、基于区域的分割，以及混合分割。但是，对于上述任何一种分割方法都有一个问题，就是在分割的图像中有可能出现伪边缘(false edge)。这些伪边缘可由许多原因引起，包括在两个对象边界的像素彩色可能平稳地变化而不是突然变化，这导致了一个具有两个相应的伪边缘而不是单一的真实边缘的薄的细长的片断。该问题易于出现在散焦对象的边界上，或者出现于在三个彩色通道的一个或者多个通道中具有降低的空间分辨率的视频素材中。伪边缘问题严重困扰着为在3D电视上观看而进行的从传统2D视频到3D视频的转换。
在另外的申请中已提出了一些检测伪边缘的方法。例如，美国专利No.5268967揭示了一种从数字射线照相的图像的不期望区域中自动分割出所期望区域的数字图像处理方法。该方法包括边缘检测、块生成、块分类、块精细化，和位图生成步骤。
美国专利No.5025478揭示了一种用来处理用于传输的图片信号的方法和设备，其中，图片信号被提供给一个识别有相似强度的区域的分割装置。将因此产生的区域信号提供给一个模态滤波器，在其中区域边缘被矫正，随后将其发送到一个自适应轮廓平滑电路，在其中，对识别为伪边缘的轮廓部分进行平滑。从原始亮度信号中减去滤波信号以产生编码的亮度纹理信号。将区域信号与指示区域信号中的哪个轮廓表现为伪边缘的标志一起编码。
已公布的PCT申请WO00/77735揭示了一种图像分割器，其采用一种渐进的底面填充(floor fill)来不完全填充有界片断和采用标度变换以及在一标度处使用另一标度的分割结果来引导分割；其使用一个由多彩色平面合成的复合图像来检测边缘，利用多级边缘像素生成边缘链，利用所述标度变换生成边缘链，并在一标度处根据在另一个标度处检测到的边缘来滤波伪边缘。
但是，现有技术只包括对伪边缘的边缘检测和/或平滑。没有一项发明例如通过使用仅对分割图操作的滤波器而实际上从被分割图像去除了伪边缘。本发明设计了一种改进的设备和方法，克服了上述及其它局限。
根据本发明的一个方面，提供一种图像处理设备。提供一种用于将图像分割为分割图的分割装置，该分割图包括多个由至少包含一些伪边缘的边缘分隔的像素组。提供一种用于滤波分割图以去除伪边缘的滤波装置，该滤波装置将经滤波的分割接着输出到分割装置用于预分割。
根据本发明的另一个方面，提供一种用于处理一个或多个图像的方法。一图像被分割成一分割图，该分割图包括多个由至少包含一些伪边缘的边缘分隔的像素组。滤波该分割图以去除伪边缘。重复该分割步骤以生成一输出图像。
本发明的一个优点在于改进了将2D视频素材转换为3D视频的分割质量。
本发明的另一个优点在于改进了视频图像在对象边缘的分割质量。
本发明的还一个优点在于减小了用于图像和视频压缩的边缘编码的花费。
对本领域的技术人员而言，通过阅读下面优选实施例的详细描述，本发明众多的其它优点和有益效果将变得显而易见。
本发明可采用多种组件及组件排列的形式，以及采用多个步骤及步骤排列的形式。附图仅为说明优选实施例，而不能理解为对本发明的限制。
图1示出了一种在分割步骤之间利用伪边缘去除滤波器的图像分割方法。
图2(a)示出了一个输入图像的例子。
图2(b)示出了一个具有5×5像素的正方形区域的初始分割图的例子。
图2(c)示出了一个具有伪边缘的输出分割图的例子。
图2(d)示出了一个已去除伪边缘的已滤波分割图的例子。
图3示出了一种示范的伪边缘去除滤波方法。
图4示出了一个以像素位置(i，j)为中心的5×5像素窗的例子。
从2D视频到3D视频的转换中的一个重要步骤是识别具有均匀彩色的图像区域，即，图像分割。假设深度不连续性与检测到的均匀彩色区域的边缘相一致。对每一彩色区域估算一个单一深度值。这个每区域的深度估算具有使每种清晰度都存在沿区域边界的大彩色对比的优点。彩色边缘位置的时间稳定性对于深度图的最终质量是决定性的。当边缘随着时间的过去变得不稳定时，如果在3D彩色电视上显示该视频，那么观众可能会察觉到令人厌恶的闪烁。因此，在从2D到3D视频的转换过程中，第一步是要有一个时间稳定的分割方法。利用一种恒定彩色模型的基于区域的图像分割可实现这种期望的效果。以下将更细致地描述这种图像分割的方法。
恒定彩色模型假设可以通过平均的区域彩色来对对象区域的时变的图像进行足够细致的描述。利用图像坐标的向量值函数来表示图像I(x，y)＝(r(x，y)，g(x，y)，b(x，y)) (1)其中r(x，y)，g(x，y)和b(x，y)是红、绿、蓝彩色通道。目标是找到一个区域划分，其被称为由固定数目的区域N构成的分割1。最佳分割1opt被定义为使遍及图像中所有像素的误差项加规则项f(x，y)之和最小化的分割lopt=argminlΣ(x,y)[e(x,y)+kf(x,y)]---(2)]]>其中k是一个对规则项的重要性加权的规则化参数。当一个样本从一个群移动到另一个群时，用于对误差准则进行简单而有效更新的方程式在2001年纽约的John Wiley and Sons Inc.的Richard O.Duda、PeterE.Hart，和David G.Stork的“Pattern clasification(图案分类)”的第548-549页导出。这些推导被应用于导出分割方法的方程式。需注意所述规则项是基于由1998年Artech-House的C.Oliver和S.Quegan在“Understanding Synthetic Aperture Radar Images(了解合成孔径雷达图像)”中给出的测定。该规则项限制了随机信号波动(例如传感器噪声)在边缘位置产生的影响。在像素位置(x，y)的误差e(x，y)依赖于彩色值I(x，y)和区域标记l(x，y)e(x,y)=||I(x,y)-ml(x,y)||22---(3)]]>其中mc是区域c的平均彩色，并且l(x，y)是在区域标记图中位置(x，y)的区域标记。在双垂直线处的下标表示欧几里德范数。规则项f(x，y)依赖于区域的形状f(x,y)=Σ(x′,y′)χ(l(x,y),l(x′,y′))---(4)]]>其中(x′，y′)是来自于(x，y)的8个连接的相邻像素的坐标。x(A，B)的值取决于区域标记A和B是否不同 函数f(x，y)具有一个简单解译。对于给定的像素位置(x，y)，该函数仅仅返回具有不同的区域标记的8个连接的相邻像素的数量。
利用正方形的镶嵌式小方格对分割进行初始化。给出该初始分割，则通过将一个边界像素指配到毗连的区域来在区域边界制造一个变化。假设将当前处于标记为A的区域内的、坐标为(x，y)的像素试验性地移到具有标记B的区域。则区域A的平均彩色的变化是ΔmA=-I(x,y)-mAnA-1---(6)]]>区域B的平均彩色的变化是ΔmB=I(x,y)-mBnB+1---(7)]]>其中的nA和nB分别是在区域A和B中的像素的数量。提议的标记改变导致由下式给出的误差函数的相应变化Δe=nBnB+1||I(x,y)-mB||22-nAnA-1||I(x,y)-mA||22---(8)]]>在像素(x，y)处的提议从A到B的标记变化还改变全局规则化函数f。提议的移动不仅在(x，y)，还在(x，y)的8个连接的相邻像素位置影响f。规则化函数的改变由下面的总和给出
Δf=2Σ(x′,y′)x(B,l(x′,y′))-χ(A,l(x′,y′))---(9)]]>其中上述总和遍及由(x′，y′)表示的8个连接的相邻位置。上述改变Δf的简单形式是从x是对称的事实而得出的x(A，B)＝x(B，A) (10)如果Δe+kΔf＜0，则提议的标记改变就改进了拟合准则。最后，将区域合并。
上述的、在改进模型对数据的拟合时用于更新分割图并接受所提议的更新的过程对上述序列中的每一个图像都进行。只有在合并步骤之后，才用从视频流中读出的新图像更新上述区域平均值。该区域拟合和合并将再次对新图像开始。
参照图1，优选地根据恒定彩色模型的一个基于区域的分割操作30以彩色图像10和初始分割图20作为它的输入。分割操作30的输出是一个分割图40，该图示出了在图像中发现的对象。图2(a)示出了输入彩色图像10的一个例子。其中，图像有一连串尺寸递减的椭圆形以及一连串尺寸递减的矩形。在图2(b)所示的示范实施例中，图像被分割为5×5像素的正方形区域。图2(c)示出了输出分割图40的一个例子。
在图2(c)中可以很好地看到可能出现在分割图像中的伪边缘。这些伪边缘的出现是由于在两个对象间边界处的散焦造成的。由于很多电影具有降低的彩色通道空间分辨率，所以也可以出现伪边缘。
此外，彩色欠采样(undersample)会导致分割算法的问题。当一个分割算法试图以高精度检测边缘时，通常会出现信号的空间欠采样并在接近对象边界处导致小而细长的区域。图2(c)很好地示出了这一不想要的影响。以白色编码的多重边缘在对象边界附近是可视的。通过在分割步骤之间增加一个伪边缘去除滤波步骤50来去除这些小而细长的区域。图2(d)示出了将滤波50应用于图2(c)所示图像数据的结果。
图像分割应用需要少量具有高边缘精度的区域。例如，精确的边缘是从2D单像管视频到3D立体视频的精确转换所必须的。对于这种应用，将分割用于深度估算，并且在分割图像中每个区域被指配给一个单一深度值。这样边缘位置和其时间稳定性对于3D视频的感知质量是很重要的。
伪边缘问题的解决方法是在分割操作之间增加伪边缘去除滤波步骤50。参照图1，优选实施例包括彩色图像10、初始分割图20、分割步骤30、第一输出分割图40、伪边缘去除滤波步骤50、已滤波的分割图60、第二分割步骤70，以及第二输出分割图80。滤波器50作用于分割图40，因而独立于彩色图像10。
参照图3，下面将描述伪边缘去除滤波器50的操作。在步骤100中，输出分割图40的每个像素(i，j)均取决于其彩色而用区号(或分割标记)来标记。指配给每个区号k的值是一个任意的整数。在步骤110中，在正方形窗w中对每个像素(i，j)计算分割标记的直方图。该直方图用向量表示[hk]1≤k＜n (11)其中hk是窗w中区号k的频率，且n为分割中的区域总数。在步骤120中，确定每个区号的出现频率。在步骤130中，确定最频繁出现的区号。在步骤140中，确定所述直方图是否具有一个单一最大值。如果是，则在步骤150中，如下地通过出现最大值的区号kmax给出在像素(i，j)处的已滤波的分割图kmax＝argmax([hk]) (12)但是，有可能是这种情况，即两个或更多区号具有相同的频率并且该频率高于窗口w中所有其它编号的频率。在这种情况下，使用仲裁器160，例如将同样频繁出现的区号中最小的一个指配给输出分割，或将最大的区号指配给输出分割。
图4示出了一个以像素位置(i，j)为中心的示范5×5像素窗100的例子。但是，可选择地，还可以设想其它窗尺寸，如3×3像素窗。在滤波器操作的左手边是带有输入区号的窗100。包含星号(*)的像素位置位于图像平面之外。就是说，示出的实例有图片的边缘。当构建直方图时，这些像素位置的区号被忽略。滤波器操作以编号3作为输出。可以通过计数输入窗中每一区号的频率来验证这一结果[hk]＝(h1，h2，h3，h4...，hn)＝(6，0，7，7，...，0) (13)在这个例子里，直方图中具有多于一个的全局最大值。就是说，区号3和4都具有频率7。利用仲裁器选择较小的区号(k＝3)作为答案并在像素位置(i，j)处指配给输出分割。但是，可选择地，也可以选择较大的区号(k＝4)并在像素位置(i，j)处指配给输出分割。伪边缘去除滤波步骤50一直重复，直至分析完分割图40中的所有像素(i，j)。
任意数量的区域分割方法都可以使用，只要该方法在给出初始分割的情况下能迭代地拟合(或更新)区域边界。伪边缘去除滤波器50不仅去除小的和细长的区域，还可以去除畸变的区域边界。因此，在应用滤波操作后，可以通过再次运行分割操作70来校正畸变。
将已被滤波和分割的图像的图载入已滤波的分割图或存储空间60中。执行第二分割处理70以重新分割图60，产生输出图80。滤波和分割步骤有可能被重复一次或多次。
伪边缘去除滤波器的应用包括对用于从现有的2D视频素材到3D视频的转换的分割质量进行改进；改进对象边缘的视频图像质量(边缘锐化算法)；和降低用于图像及视频压缩的边缘编码的花费。
本发明已经参考优选实施例进行了描述。很明显，可以在对先前详细描述的阅读和理解的基础上作出其它修改和变更。旨在使本发明可以解释为包括所有这种修改及变更，只要它们是在附加权利要求或其等同物范围之内。
权利要求
1.一种图像处理设备，包括一个第一分割装置(30)，用于将一个或多个图像(10)分割成一包含以边缘分隔的多个像素组的输出分割图(40)，所述边缘至少包含一些伪边缘；一个滤波装置(50)，用于滤波该分割图(40)以去除该伪边缘，该滤波装置(50)接着将已滤波的分割(60)输出到第二分割装置(70)用于再分割。
2.根据权利要求1的图像处理设备，其中第一和第二分割装置(30，70)使用恒定彩色模型，该恒定彩色模型包括一个识别装置，用于识别具有均匀的彩色或灰度等级的图像区域。
3.根据权利要求1的图像处理设备，其中的像素组初始是矩形形状区域。
4.根据权利要求1的图像处理装置，其中的滤波装置包括一个计算装置(110)，用于计算在一围绕分割图中给定像素的窗内的像素标记的直方图(200)；和一个第一确定装置(120)，用于确定窗中的每一个像素标记的出现频率。
5.根据权利要求4的图像处理装置，其中的滤波装置进一步包括一个第二确定装置(130)，用于确定直方图中最频繁出现的像素标记；一个指配装置(150)，用于将最频繁出现的像素标记指配给输出分割图(40)中的给定像素。
6.根据权利要求5的图像处理设备，进一步包括一个仲裁装置(160)，用于在两个或更多标记同样且最频繁出现时选择以下之一以指配给该给定像素同样最频繁出现的标记中的较大标记，和同样最频繁出现的标记中的较小标记。
7.根据权利要求5的图像处理设备，进一步包括一个仲裁装置(160)，用于在两个或更多像素标记具有相同频率并且该频率高于直方图中所有其它像素标记的频率时，选择出要指配给该给定像素的像素标记。
8.根据权利要求4的图像处理设备，其中的窗(110)是一个5×5像素的正方形。
9.根据权利要求1的图像处理设备，其中的一个或多个图像(10)包括一二维视频的帧。
10.一种用于处理一个或多个图像的方法，该方法包括将图像分割成一包含以边缘分隔的多个像素组的分割图，所述边缘至少包含一些伪边缘；滤波该分割图以去除该伪边缘；并重复分割步骤以生成一输出图像。
11.根据权利要求10的用于处理一个或多个图像的方法，进一步包括多次重复基于区域的分割步骤和滤波步骤以进一步精细化边缘。
12.根据权利要求10的用于处理一个或多个图像的方法，其中的图像分割是基于区域的。
13.根据权利要求12的用于处理一个或多个图像的方法，其中的基于区域的分割步骤使用一个恒定彩色模型，该恒定彩色模型包括对具有均匀彩色的图像区域的识别。
14.根据权利要求10的用于处理一个或多个图像的方法，其中的像素组是5×5像素的正方形区域。
15.根据权利要求10的用于处理一个或多个图像的方法，其中的滤波步骤包括计算在一用于分割图中给定输出像素的窗内的像素标记的直方图；及确定窗中每个像素标记的出现频率。
16.根据权利要求15的用于处理一个或多个图像的方法，其中的滤波步骤进一步包括确定直方图的最频繁出现的标记；将出现最多的像素标记指配给输出像素。
17.根据权利要求16的用于处理一个或多个图像的方法，进一步包括在多于一个的像素标记出现得同样最频繁时，将下述其中之一指配给定像素同样频繁的标记中最小的一个，和同样频繁的标记中最大的一个。
18.根据权利要求10的用于处理一个或多个图像的方法，其中所述的一个或多个图像包括一二维视频的帧。
全文摘要
在用于处理一个或多个图像的方法中，图像被分割成一包含以边缘分隔的多个像素组的分割图，所述边缘至少包含一些伪边缘。滤波该分割图以去除伪边缘。重复分割步骤从而生成一输出分割图。
文档编号G06T5/00GK1720550SQ200380104972
公开日2006年1月11日 申请日期2003年12月4日 优先权日2002年12月5日
发明者C·瓦雷坎普 申请人:皇家飞利浦电子股份有限公司