专利名称：视频图像序列的编码之前的预处理设备和方法
技术领域：
本发明涉及在视频图像序列的编码之前的一种预处理设备和方法。
背景技术：
因为编码的图像的时间或空间熵减小，图像编码设备变得更加有效。
因此，图像编码设备经常与图像预处理设备相关联，在所述图像预处理设备中处理图像以允许更好地编码。
已经知道，用于减小视频序列的熵的预处理设备使用线性或非线性滤波器，所述滤波器减小、甚至消除了主要导致帧内模式中的图像编码成本的高频分量。这里存在很多可用滤波器，包括一维或二维低通滤波器、Nagao滤波器、平均值滤波器、以及中值滤波器。
这些方法的主要缺点是由于交织视频的每一个帧仅具有一半图像的垂直分辨率的事实，减小太明显的空间清晰度，尤其是在垂直轴；对象的模糊效应；恶化的轮廓。
发明内容
本发明旨在解决至少一个上述缺点。
为此，本发明提出了一种在对视频图像序列编码之前进行预处理设备，其特征在于所述预处理设备包括将形态学处理步骤应用于视频图像序列的装置；混合器，用于在每一个形态学处理步骤之后，向已经进行了所述处理步骤之一的视频序列应用加权。
应用原始的形态学处理对于图像的质量具有破坏性的效果。每一个形态学运算器之间的混合器的存在通过将运算器的原始结果和相同运算器的输入混合在一起，对该处理的效果进行加权。
根据优选的实施例，所述设备包括在应用多个形态学处理步骤之前测量所述视频图像序列的复杂性的装置。
实际上，将用于减小图像的空间熵的预处理主要地推荐给具有较高复杂性的图像。因此可以根据图像的复杂性来控制预处理，并且所述预处理适合于图像的复杂性。
有利地，测量所述视频图像序列的装置测量图像内的相关性。
根据优选的实施例，测量复杂性的装置计算针对每一个混合器的加权系数。
有利地，针对每一个混合器的加权系数是相同的。
有利地，加权系数与图像内的相关性成反比。
优选地，针对每一个图像，应用多个形态学处理步骤的装置和混合器将所述处理步骤逐像素地应用于视频信号的辉度分量。
优选地，所述设备包括在测量图像内的相关性之前对所述视频图像序列进行解交织的装置；以及在最后的加权之后对所述视频序列进行交织的装置。
这使得可以获得逐行的帧，所述帧的每一个均包含图像的完整垂直清晰度。然后，可以无偏差地在图像的两个轴中(水平和垂直)考虑处理。
本发明还涉及一种在编码视频图像序列之前的预处理方法。根据本发明，所述方法包括对于输入视频图像序列的多个形态学处理步骤；在每一个形态学处理步骤之后，用于向形态学处理步骤的结果应用加权的多个加权步骤。
参考但是不局限于附图，将借助于实施例和有利实施方式的示例更好地理解和说明本发明，其中图1代表根据本发明的设备的优选实施例；图2代表考虑定义当前图像的复杂性的当前点P的邻近区域。
具体实施例方式
所表现的模块是功能单元，所述模块可以或不可以与物理可区分的单元相对应。例如，可以以单独的组件、或一个和相同的软件的形式功能性对这些模块或模块中的一些进行分组。相反地，如有必要，确定的模块可以包括分离的物理实体。
预编码设备的输入处的视频信号Ei是交织型视频信号。
为了改善预编码设备的性能，通过解交织器1来解交织视频信号。解交织器1基于视频信号Ei的三个连续的场，使用本领域普通技术人员公知的解交织方法，使视频信号Ei的每一个场的线的数目加倍。然后获得逐行格式，其中每一个场变成帧并且包含图像的完整垂直清晰度，使得可以在垂直轴中执行所述处理。
在解交织器1的输出处获得信号E。
然后执行图像的复杂性分析。实际上，将空间熵减小主要应用于具有较高空间熵的图像。
因此，所述设备包括测量每一个图像的相关性的上游装置2。
图2示出了考虑到用于计算模块2中的当前图像的复杂性的邻近区域的示例。
针对图像的每一个像素，使用当前点的辉度及其四个邻居的辉度来计算像素结果“Rp”Rp＝[abs(P-P(-1，0))+abs(P-P(0，-1))+abs(P-P(0，+1))+abs(P-P(+1，0))]/4然后，将累加一个帧的这些像素结果。
Cintra=Σ0nbpixelsRpnblignes×nbcol]]>将该相关性测量用于确定整个图像的像素及其相邻像素之间的平均偏差。从而获得关于图像中清晰度的感兴趣信息。
在其他实施例中，可以修改这些等式以便获得图像复杂性的更加完整的清晰度。还可以在考虑计算图像的复杂性时扩大当前像素的邻近区域。
根据该测量，在
的范围内计算系数K，作为输入图像的复杂性的函数。
下表示出了系数K的值，作为Cintra的函数，以下仅作为演示。
对于8个像素编码Cintra的值，并且因此Cintra的值在0至255之间。
当相关性非常强时(清晰度非常小)，仍然执行图像的预处理，但是以通过系数K的值演示的较小比例进行。
相反地，弱相关性是强熵的指示。随机噪声的示例(弱相关性，甚至是零相关性)是较好的示例(高熵)在优选实施例中，针对每一个混合器，系数K可以是相同的，或针对所有的混合器不同。
将在图1的设备中执行的处理仅应用于视频的辉度分量。
实际中，色度分量的处理可能激发颜色的不当伪象，但首先，辉度分量具有图像的大部分复杂性。
然后，模块2的输出处的信号Ein(与信号E相同)在模块2中进行腐蚀(erosion)。腐蚀过程包括在作为输入接收的结构化(structuring)元素的像素中，保持具有最小辉度值的像素。结构化元素包括围绕当前像素的3×3窗口，三行乘三列，或者9个像素。然而可以采用其它窗口尺寸，只需窗口的尺寸与腐蚀的严重程度成比例。
因此，模块3针对输入的视频信号Ein的每一个像素计算其新的辉度值。
因此，模块3的输出处的视频信号T0代表已腐蚀的信号Ein，或因此针对每一个像素，与对应于作为一部分的结构化元素的最小值的T0相关地改变其辉度值。
然后，将信号T0发送到混合器4。混合器4还接收由模块2发送的系数K，作为输入。
混合器4根据以下公式产生作为输出的信号S0S0＝K×T0+(1-K)×Ein将信号S0输入到膨胀模块5。
膨胀运算包括用3×3＝9像素的尺寸，在以当前像素为中心的结构化元素的元素中，保留具有最大辉度值的像素。
膨胀模块产生新的视频信号T1作为输出，将所述视频信号传输到混合器6的输入。混合器6还接收加权系数K作为输入。
然后，混合器6针对每一个像素，通过以下公式，根据对作为输入接收的辉度值进行加权，产生信号S1S1＝K×T1+(1-K)×S0然后，将信号S1输入到第二膨胀模块7。
然后，膨胀模块7对信号S1执行膨胀操作。膨胀操作包括用3×3＝9的像素尺寸，在以当前像素为中心的结构化元素的元素中保留具有最大辉度值的像素。
然后，膨胀模块7产生视频信号T2，作为输出，将所述视频信号T2输入到混合器8的输入，所述混合器8针对接收的每一个像素，对接收的信号的辉度分量进行加权。混合器8还接收加权系数K作为输入。
混合器8根据以下公式产生信号S2作为输出S2＝K×T2+(1-K)×S1然后，将信号S2输入到第二腐蚀模块9。
模块9向信号S2应用腐蚀，所述腐蚀运算包括如之前所示，用之前定义的结构化元素的像素中的最小像素来代替当前像素。腐蚀模块9产生信号T3作为输出，将所述信号T3输入到第一混合器10。混合器10还接收加权系数K作为输入。
混合器根据以下等式产生信号S3作为输出S3＝K×T3+(1-K)×S2然后，将信号S3发送到交织器11的输入，所述交织器用于交织信号S3以便获得预处理设备的视频输出Si，然后将所述视频输出Si发送到编码设备。
然后，输入的视频信号Si受益于减小的空间熵，并且其随后的编码变得更加容易。随后可以考虑任意的编码类型。
当然，本发明不限于上述实施例，本领域的普通技术人员应当容易地理解，可以考虑修改预处理设备的形态学操作的数目，与可以修改相关的混合器数目相同。
将之后是膨胀的腐蚀称作开运算。
将之后是腐蚀的膨胀称作闭运算。
权利要求
1.一种在视频图像序列(Ei)的编码之前的预处理设备，其特征在于所述预处理设备包括将形态学处理步骤应用于视频图像序列(Ei)的装置(3、5、7、9)；混合器(4、6、8、10)，用于在每一个形态学处理步骤之后，向形态学处理的结果应用加权。
2.如权利要求1所述的设备，其特征在于所述设备包括在应用多个形态学处理步骤之前测量所述视频图像序列(Ei)的复杂性的装置(2)。
3.如权利要求2所述的设备，其特征在于测量所述视频图像序列(Ei)的装置测量图像内的相关性。
4.如权利要求3所述的设备，其特征在于所述测量复杂性的装置计算针对每一个混合器(4、6、8、10)的加权系数(K)。
5.如权利要求4所述的设备，其特征在于针对每一个混合器(4、6、8、10)的所述加权系数(K)是相同的。
6.如权利要求4或5所述的设备，其特征在于所述加权系数与图像内的相关性成反比。
7.根据前述权利要求中的任一项所述的设备，其特征在于针对每一个图像，应用多个形态学处理步骤的装置(3、5、7、9)和混合器(4、6、8、10)将所述处理步骤逐像素地应用于视频信号的辉度分量。
8.根据前述权利要求中的任一项所述的设备，其特征在于所述设备包括在测量图像内的相关性之前对所述视频图像序列(Ei)进行解交织的装置(1)；以及在最后的加权之后交织所述视频序列(Ei)的装置(11)。
9.根据前述权利要求中的任一项所述的设备，其特征在于应用多个形态学处理步骤的装置执行开运算，之后是关运算。
10.一种在视频图像序列的编码之前的预处理方法，其特征在于所述方法包括对于视频图像序列(Ei)的多个形态学处理步骤；在每一个形态学处理步骤之后，用于向形态学处理步骤的结果应用加权的多个加权步骤。
全文摘要
本发明涉及在视频图像序列(Ei)的编码之前的一种预处理方法和设备。根据本发明，所述设备包括将多个形态学处理步骤应用于视频图像序列(Ei)的装置(3、5、7、9)；混合器(4、6、8、10)，用于在每一个形态学处理步骤之后，向形态学处理的结果应用加权。
文档编号G06T5/30GK101032170SQ200580019469
公开日2007年9月5日 申请日期2005年6月22日 优先权日2004年7月1日
发明者让-伊夫·巴博诺, 雅基·迪厄默加尔, 奥利维耶·勒默尔 申请人:汤姆森许可贸易公司