专利名称：分析图像的设备和方法
技术领域：
本发明涉及一种分析图像的设备和方法。
背景技术：
当用于编码图像的设备对处理减少的时间或空间熵的图像进行编码时，该用于编码图像的设备更加有效。
因此，该设备经常与图像预处理设备相关联，在所述图像预处理设备中，按照能够进行更好编码的方式来处理这些图像。
视频预处理的目的首先是增加相关编码系统的性能，并且这能够以2种方式来表明提高针对相同吞吐量的编码/解码图像的质量，或减少相同图像质量的编码吞吐量。
然而，特定的处理操作趋向于以过度可视的方式来减少图像的清晰度；因此，有利地，建立对这些处理操作的有效控制，从而最佳地避免这些缺陷。
控制空间滤波器的常见过程经常具有以下通用种类以全局的方式来表示要处理的图像序列的特征，并且作为结果的函数，对滤波器的严格性进行调整。
发明内容
因此，本发明提出了在像素级、对空间轴熵操作的任意清晰度或熵减少系统进行局部控制。
为此，本发明涉及一种分析视频图像的设备，其特征在于所述设备包括装置，用于获取图像的高频分量；装置，根据所述高频分量来获取高频图像；
装置，计算针对所述高频图像的每一个像素的方差；装置，作为所述方差的函数，将系数(k)与图像的每一个像素相关联，所述系数表示每一个像素对人眼的可视灵敏度。
根据本发明，获取高频分量的装置包括对所述视频信号进行小波变换的装置。
优选地，获取高频图像的装置包括对通过小波变换获得的高频图像进行加权、将更大的加权赋予表示对角轮廓的高频图像的装置。
具体地，与水平和垂直轮廓相比，眼睛较为不易于固定到对角轮廓上。因此，优选地，有利于表示对角轮廓的分量，从而能够随后在其上执行处理操作。
按照优选的方式，计算每一个像素的方差的装置针对每一个像素定义以所述像素为中心的邻近像素，并计算所述邻近像素中的每一个像素的值的平均偏差。
根据优选实施例，所述设备包括用于将方差的等级分割为等长度的跨度的装置、针对每一个跨度将所述系数k与将数值分配给所述系数的每一个像素相关联的装置。
按照优选的方式，关联所述系数k的装置作为当前像素离图像中心的距离的函数来修改所述系数。
实际上，眼睛在图像的中心区域会逗留更长的时间并因而必须有利这些区域。
根据优选实施例，所述设备包括装置，用于检测图像中具有较弱运动的区域。
按照优选的方式，计算针对每一个像素的所述系数k的装置在与所述系数k相关联的所述像素属于固定区域时，将所述系数k的值减少为最小值。
图像的固定区域是对人眼特别敏感的区域。因此，这些区域是优选地需要避免进行将修改图像在敏感区域中的质量的处理操作的区域。
本发明还涉及一种用于视频预处理的设备，包括对输入视频信号进行熵减少的装置、在所述输入视频信号和熵减少之后的视频信号之间执行混合运算的装置，其特征在于所述设备包括根据权利要求1到8之一所述的设备，所述系数k在混合装置中、在输入视频信号和熵减少之后的视频信号之间执行加权。
本发明还涉及一种用于视频编码的设备，其特征在于所述设备包括根据权利要求1到8之一所述的用于分析视频图像的设备，所述系数k能够调整由所述编码设备施加的压缩率。
本发明还涉及一种加数字水印的设备，其特征在于所述设备包括根据权利要求1到8之一所述的用于分析视频图像的设备，所述系数k能够确定包含所述水印的图像的区域。
本发明还涉及一种分析视频图像的方法，其特征在于所述方法包括步骤，获取图像的高频分量；步骤，根据所述高频分量来获取高频图像；步骤，计算针对所述高频图像的每一个像素的方差；步骤，作为所述方差的函数来关联针对图像的每一个像素的系数(k)，所述系数表示每一个像素对人眼的可视灵敏度。
参考附图，通过示例性优选的、完全非限定性的实施例和实施方式，本发明将得到更好地理解和说明，其中图1示出了根据本发明的典型设备；图2示出了用于计算高频图像的加权系数的灵敏度与对比度的曲线图；图3示出了根据本发明的设备的典型应用；图4示出了根据本发明的典型过程。
具体实施例方式
所示的模块是功能单元，可以也可以不与物理上可区分的单元对应。例如，这些模块或其中的一部分可以在单个组件中组合在一起，或构成同一软件的功能。相反，特定的模块可能由分离的物理实体构成。
在预编码设备的输入处的视频信号Sid是交织型的视频信号。
为了提供预编码设备的性能，对视频信号Sid进行解交织。解交织器根据视频信号Si的三个连续帧，利用本领域技术人员已知的解交织过程来对视频信号Si的每帧中的行数进行加倍。然后，获得渐进帧，所述渐进帧每一个均包含完全垂直清晰度的图像，能够随后执行逐帧比较，两个连续帧的各行在空间上位于图像中的相同位置处。
小波分析模块5将解交织后的视频信号Si的图像的各种频率分量分离为子带。
该小波分析模块包括两个单维滤波器、低通滤波器和高通滤波器。
首先对行然后对列执行这两个滤波。
在该滤波之后，于是可得到四个图像针对低频的图像；针对高垂直频率的图像HFV；针对高视频频率的图像HFH；针对高对角频率的图像HFD。
将三个高频子图像HFV、HFH、HFD传送到模块6，模块6对其求和。具体地，这里我们使用了眼睛的特性。眼睛对具有大空间频率的图像区域中的恶化较为不敏感。以大空间频率为特征的结构充当掩蔽信号，因此能够掩蔽任意恶化。因此，图标表示具有大空间频率的区域。在这些区域中，将能够处于视频编码应用中，例如，减少图像的熵并因而减小吞吐量，而不会使图像对于眼睛而言发生视觉恶化。
模块6计算这三个子图像的加权和以获得HF图像。
该加权和基于人类视觉系统的特性，该特性会使眼睛与水平和垂直轮廓相比，较为不易于集中到对角轮廓。眼睛的灵敏度是各向异性的。
因此，所述加权通过向其提供比HFV和HFD子图像更大的权重来有利于HFD子图像。
图像HF＝(A*HFV)+(B*HFH)+(C*HFD)，其中C＞B且C＞A。
通过试验，按照以下方式来定义系数A、B、C。
A＝0.25；B＝0.25；C＝0.5。
在另一实施例中，可以使用CSF曲线(“对比度灵敏性函数”的首字母缩写)来定义系数A、B、C。在图2中定义了这样的曲线的示例。
CSF表达检测信号时的眼睛的灵敏度(该灵敏度事实上是引起第一检测的对比度值的反转)。结果，在查看该曲线时，注意到-该灵敏度对于低水平和垂直频率最大。这表明以低频为特征的信号可由眼睛检测，即使具有较弱的对比度。在较大频率处，该对比度阈值较强地增加(零灵敏度)；-另外，在等效频率处，与对角频率相比，眼睛更易于检测垂直和水平分量上的信号。考虑到重力，眼睛必须面对水平/垂直结构。因此，生物系统已经开发了针对这些方向的超敏性。
在本发明中，已经将对对角分量的检测的人眼较弱的灵敏度考虑在内，以便更强地使图像的对角结构恶化。因此，将根据CSF曲线来推导加权参数，如下标准化A＝B＝1-ValueCSFNormC＝1-ValueCSFNorm将这样获得的HF图像传送到模块7，模块7计算针对该HF图像的每一个像素的方差。
模块7选择每一个像素周围的邻近像素。该邻近像素是5*5像素的方块，以当前像素为中心。然后，模块7计算在该邻近像素的亮度的平均偏差。该计算的结果给出了256个灰度级的范围上的方差的图像，其中每一个像素的幅度表示结构层次。
将所获得的方差图像传送到模块9，模块9计算图像的每一个像素的系数k。
系数k表示可以应用于相应像素的处理的严格度。系数k越大，则相应像素越会形成具有较强结构的区域的一部分，其中熵的减少将特别有利于编码。
对于每一个像素，在所获得的方差和系数k之间根据下表进行对应
表1为了获得平滑的映射，重要是考虑邻近像素。实际上，具有接近于1的较大系数k的像素不能够由具有零标签的像素围住。因此，模块9将二维高斯低通滤波器应用于系数k。
下表给出了要应用于系数k的典型二维高斯滤波器。其给出了要应用于5像素乘以5像素的窗口的系数值，必须应用归一化因子1/1444。
表2模块9还应用Huber加权，从而有利于对眼睛特别敏感的图像的中心区域。
假设Kin(x，y)表示在应用高斯滤波器之后的具有坐标(x，y)的像素的k值，而Kout(x，y)表示在应用Huber加权之后的该相同像素的k值；对于dx0,y0(x,y)>D,]]>则Kout(x,y)=(1-Ddx0,y0(x,y))Kin(x,y);]]>
对于dx0,y0(x,y)<=D,]]>则Kout(x，y)＝0，其中-d表示从点(x，y)到图像(x0，y0)的中心的距离；-D表示根据其来衰减信号的常数。例如，D定义了表示总面积的1/8的图像的中心区域；于是，这样针对图像的每一个像素获得的值Kout(x，y)由模块8验证，所述模块8检测图像的固定区域。
模块8检测具有较弱的图像运动的区域和具有较强的图像运动的区域。具体地，另一心理可视特征在于实际上几乎不发生变化的区域是眼睛易于最佳地分辨缺陷的区域。因此，必须使针对这些区域中的像素的系数k最小。
用于检测固定区域的模块8接收解交织后的视频信号Sid，作为输入。
模块8检测当前帧相对于前一帧的固定区域。
为此目的，模块8包括延迟模块，用于以帧来延迟信号Si。
固定区域的检测在于检测逐帧地或逐图像地保持为不运动的区域。根据亮度信息来执行固定区域的检测，并对可变尺寸的块来进行该检测。计算在每一个帧中类似坐标的块之间的平均误差。将该误差与预定阈值进行比较，从而验证该固定区域。块的尺寸越小，则分析越精确，但是其对噪声越敏感。
并非针对图像中的每一个像素而是针对2*2的像素块来计算固定区域，从而确保稳定度。
对于2*2的像素块，被称为像素的等级(0…255)的误差的均值必须不超过6，阈值的值。
模块8输出信号ZFT，指示当前像素形成了相对于前一帧固定的所谓的固定区域的一部分。
模块9按照以下方式来考虑信号ZFT-对于不属于固定区域的每一个像素(ZFT＝0)；k＝kout，-对于属于固定区域的每一个像素，k＝kmin。
图2示出了计算出的系数k用于视频预编码的典型实施例。
由解交织模块2对视频信号Si进行解交织。解交织模块2输出解交织后的信号Sid，将该信号输入如图1所述的分析模块1。
分析模块1输出针对图像的每一个像素的系数k。
熵减少处理模块3接收信号Si，作为输入。
有利地，熵减少处理模块3由形态学运算器构成。本领域技术人员已知的各种方法能够应用熵减少。
混合运算器4接收由分析模块1提供的系数k作为输入，以及接收熵减少模块T的视频输出。
混合运算器4还接收视频信号Si作为输入。其执行以下运算So＝k*T+(1-K)*SiSo是混频运算器的视频输出。
因此，如果值k较大，则这里通过熵减少表示的视频预处理之后的视频信号接近于信号T。因此，针对对恶化较为不敏感的区域，应用较强的熵减少。
另一方面，如果值k较小，则视频信号So接近于输入信号并因而经过了非常小的熵减少。因此，针对对恶化更为敏感的区域，应用较小的熵减少。
在诸如数字水印等应用中，使用系数k来信号通知优选地设置水印的区域。当k较大时，该区域对视频恶化较为不敏感，并且在这种情况下，可以通过判决来选择该区域以在其中设置数字水印。
在视频编码应用中，系数k可以用来在对于眼睛而言特别敏感的区域中分配给多编码资源。通过编码资源，例如，能够设想针对这些更为敏感区域，使用更小的量化间隔。
图4示出了根据分析模块1中实现的本发明的典型过程。
在步骤E1中，对输入图像进行解交织。在步骤E2期间，将解交织图像分解为小波从而获得图像的高频分量。诸如离散余弦变换等其他方法能够获得图像的高频分量。
在步骤E3期间，如图1所述那样来计算图像的高频分量的加权和。
在步骤E4期间，针对图像的每一个像素选择邻近像素。根据优选实施例，选择5像素乘以5像素的邻近像素，中心在当前点熵。
在步骤E5期间，计算高频图像的每一个像素的邻近像素的像素的平均偏差。
在步骤E6期间，根据如表1中预先示出的像素的方差，针对每一个像素计算系数k。
在步骤E7期间，作为针对邻近像素获得的值k的函数来平滑系数k。因此，将二维高斯低通滤波器应用于系数k。
在步骤E8期间，测量当前像素和图像中心之间的距离。具体地，图像中心为特别吸引眼睛的区域，在图像处理方面必须有利于该区域。
在步骤E9期间，将帧的延迟施加到解交织后的输入图像，从而计算运动矢量且计算该图像相对于前一图像的运动。
在步骤E10期间，根据运动信息来检测图像中的固定区域。
在步骤E11期间，执行测试以确定当前像素是否属于固定区域。
如果测试是否定的，则当前像素并不属于固定区域，这样，在步骤E15期间，针对该像素的系数k取k的最小值，kmin。
如果测试是肯定的，则进入步骤E12。在该步骤期间，进入步骤E12，其中测试图像的中心和当前像素的距离。
如果该距离小于距离D，则在步骤E13期间，将零值分配给与该像素相关的系数k。
否则，如果该测试的结果是肯定的，则在步骤E14期间，将以下值分配给系数kKout(x,y)=(1-Ddx0,y0(x,y))Kin(x,y).]]>
权利要求
1.一种分析视频图像的设备(1)，其中所述设备包括装置(5)，用于获取图像的高频分量(HFD，HFH，HFV)；装置(6)，根据所述高频分量(HFD，HFH，HFV)来获取高频图像(HF)；装置(7)，计算针对所述高频图像(HF)的每一个像素的方差；装置(9)，作为所述方差的函数，将系数(k)与图像的每一个像素相关联，所述系数(k)表示每一个像素对人眼的可视灵敏度。
2.根据权利要求1所述的设备，其特征在于获取高频分量(HFD，HFH，HFV)的装置(5)包括对所述视频信号进行小波变换的装置(5)。
3.根据权利要求2所述的设备，其特征在于获取高频图像(HF)的装置(6)包括对通过小波变换获得的高频图像进行加权、将更大的加权赋予表示对角轮廓的高频图像(HFD)的装置(6)。
4.根据前述权利要求之一所述的设备，其特征在于计算每一个像素的方差的装置(7)针对每一个像素定义以所述像素为中心的邻近像素，并计算所述邻近像素中的每一个像素的值的平均偏差。
5.根据前述权利要求之一所述的设备，其特征在于所述设备包括用于将方差的等级分割为等长度的跨度的装置、针对每一个跨度将所述系数(k)与将数值分配给所述系数的每一个像素相关联的装置。
6.根据权利要求5所述的设备，其特征在于关联所述系数(k)的装置作为当前像素到图像中心的距离的函数来修改所述系数(k)。
7.根据权利要求5或6所述的设备，其特征在于所述设备包括装置(8)，用于检测图像中具有较弱运动的区域。
8.根据权利要求7所述的设备，其特征在于计算针对每一个像素的所述系数(k)的装置在与所述系数(k)相关联的所述像素属于固定区域时，将所述系数(k)的值减少为最小值(kmin)。
9.一种用于视频预处理的设备，包括对输入视频信号进行熵减少的装置(3)、在所述输入视频信号(si)和熵减少之后的视频信号(T)之间执行混合运算的装置(4)，其特征在于所述设备包括根据权利要求1到8之一所述的设备，所述系数(k)在混合装置(4)中、在输入视频信号(si)和熵减少之后的视频信号(T)之间执行加权。
10.一种用于视频编码的设备，其特征在于所述设备包括根据权利要求1到8之一所述的用于分析视频图像的设备(1)，所述系数(k)能够调整由所述编码设备施加的压缩率。
11.一种加数字水印的设备，其特征在于所述设备包括根据权利要求1到8之一所述的用于分析视频图像的设备(1)，所述系数k能够确定包含所述水印的图像的区域。
12.一种分析视频图像的方法，其特征在于所述方法包括步骤(E2)，获取图像的高频分量；步骤(E3)，根据所述高频分量来获取高频图像；步骤(E5)，计算针对所述高频图像的每一个像素的方差；步骤(E6)，作为所述方差的函数来关联针对图像的每一个像素的系数(k)，所述系数表示每一个像素对人眼的可视灵敏度。
全文摘要
本发明涉及一种分析视频图像的设备和方法。根据本发明，所述设备包括装置，用于获取图像的高频分量；装置，根据所述高频分量来获取高频图像；装置，计算针对所述高频图像的每一个像素的方差；装置，作为所述方差的函数，将系数(k)与图像的每一个像素相关联，所述系数表示每一个像素对人眼的可视灵敏度。
文档编号H04N5/14GK1801937SQ200510136970
公开日2006年7月12日 申请日期2005年12月15日 优先权日2005年1月5日
发明者让-伊夫·巴博洛, 雅基·迪厄默加尔, 奥利弗·勒默尔 申请人:法国耐思讯公司