专利名称：压缩域中基于dct的视频序列的图像处理的制作方法
技术领域：
本发明涉及视频数据的图i^象处理领域，特别涉及压缩域中^L频 数据的图像处理领域。
背景技术：
数字^L频照相机正在市场上迅速的普及。最新的移动电话配备 有视频照相机，为用户提供了拍摄视频片段并将其在无线网络上发 送的功能。
数字视频序列的文件大小非常之大。即使是短小的视频序列也 包含数十个图像。因此，视频总是以压缩格式被保存和/或传送。存 在若干可用于此目的的视频编码技术。H.263和MPEG-4是适合无线 蜂窝环境的应用最广泛的标准压缩格式。
为了允许用户在其终端产生高质量视频，诸如移动电话的具有 视频照相机的设备提供视频编辑功能是必要的。视频编辑是将可用 的 一见频序列转换和/或组织为新的— 见频序列的过程。
已有的移动电话上的照相机在性能方面无法与市场上最尖端的 数字照相机相比。因此，这样的照相机所捕获的视频通常受到校准 的影响而导致下降的亮度和对比度以及不足的色彩平衡。因此，视 频编辑中最为广泛需要的操作是视频的可视知觉质量的增强。这包 括调整视频片段的亮度和对比度。
调整静态图像的亮度和对比度需要改变图像系数，这通常是在 空域(spatial domain)中完成的。对于受约束的移动设备，调整视 频(其包含数百个帧)的亮度或对比度对系统资源而言是非常高代 价和繁重的。考虑到用户在获得预期的结果前可能进行多次亮度或 对比度调整试验，这就变成了一个更大的问题。 大多数图像编辑工具允许用户在图像上应用图像增强效果。一 个示例是在原始视频过暗或过亮时提高或降低亮度。在视频编辑工 具中，需要类似的操作来产生视频片段的更好的表示。
若干商业产品支持这些特征，但是它们主要是面向PC平台的。 这些产品采取了在空域中应用视频增强效果的直接方法。更具体地， 它们首先将视频片段解压缩到其原始格式，继而操作原始图像序列 的像素值，并最终将经过增强的原始图像序列压缩为压缩比特流。 这个过程^t称为空域^L频编辑。
然而，空域视频编辑消耗了包括存储器、储存器和计算能力在 内的大量资源。尽管这对于今天的台式PC而言不是很大的问题，但 是对于配备低能力的处理器以及低存储和储存资源的移动设备而 言，这显然是个问题。在这些设备中，编码和解码过程花费很长的 时间并且消耗很多电池电量。因此，空域方案对于移动设备而言不 是可行的解决方案。
在现有技术中，为了在视频片段上执行亮度或对比度调整，视 频片段首先被解码为原始格式。继而，原始图像序列被调整为指定 的亮度或对比度水平。最后，经过增强的原始图形序列被再次编码。 这个方法是非常计算密集型的，特别是编码部分。
亮度和对比度调整的空域视频编辑的一个示例在下文中参考图 2给出。
亮度调整是指将视频片段的亮度强度提高或降低某个常量值的 情况。对比度调整是指在帧内扩展亮度强度之间的差异。
为了在空域中得到这些亮度和对比度调整， 一旦视频被完全解
码，执行以下操作
<formula>formula see original document page 7</formula> (2)
其中(l)表示亮度调整，(2)表示对比度调整，^x，乂"是解码后 的视频序列，P(;c,;V)是编辑后的视频，XJ是帧内像素的空间坐标，f 是时间轴。〖是亮度调整值，它对于帧内的所有像素是常量。^的正 值将使视频较亮，而尺的负值将使视频较暗。义>0是用于对比度调 整的扩展因子，它对于帧内的所有像素是常量。如果A大于l,结果 视频具有较高的对比度水平，而如果义在O和l之间，结果视频具有 较低的对比度水平。义=1的值不会对图像造成任何改变。7表示特定 帧内的像素强度的平均值。公式(2)示出，对于对比度调整来说， 像素强度是统 一地扩展的；扩展中心是像素强度的平均值。
在修改了视频帧的像素值之后，结果帧被输送给编码器以用于 重新编码，这是一个消耗时间的过程。
发明内容
本发明的目的是提供用于基于离散余弦变换(DCT )的视频序列'的图像处理的方法和设备，所述方法和设备克服了现有技术的不足。 本发明提供一种用于在压缩域中在视频序列上执行增强的技术。在压缩域中执行调整解决了与移动设备相关联的计算代价问题。
可以通过这个技术实现的视频增强操作可以包括提高或降低亮度、提高或降低对比度、以及阴影补偿。
本发明的目的通过所附独立权利要求中定义的主题得以解决。 根据本发明的第 一方面，提供了 一种用于将对比度调整和亮度调整中的至少一个应用于经过压缩和运动补偿的基于DCT的视频序 列的方法。所述方法 一 般地包括步骤提供所述经过压缩的基于D C T 的视频序列，以及在压缩域中将图像处理操作应用于所述视频序列 以得到图像经过处理的压缩视频序列。根据本发明的压缩域中的图 像处理提供了支持压缩域中图像增强并且节约计算能力的有效技 术。然而，数字视频序列的编码和解码步骤得以避免。
根据本发明的其它实施方式，通过调整定义了所述基于DCT的 视频序列的DCT分量来执行所述应用。由此提供了空域和DCT域 之间的有益连接。因此，通过调整DCT分量实现了空域中的图像操 作。
根据本发明的其它实施方式，通过部分解码和编码所述基于
DCT的视频序列来提供对所述DCT分量的调整。然而，部分编码和 解码有时是基于DCT的权频序列的适当图像操作所需的。
根据本发明的其它实施方式，所述应用支持所述基于DCT的视
频序列的对比度调整。通过执行对比度调整，用户可以增强或修改
视频序列。由此实现根据本发明的方便的图像数据处理。
根据本发明的其它实施方式，所述对比度调整基于以下表达式
<formula>formula see original document page 9</formula>
其中
-m,w是步贞域(frequency domain )坐标；
-r(","2)是经过编辑的图像的DCT变换；
-义是对比度比例因子； '
-J^,附)是原始图像的DCT变换；
-是图像内所有块的DC系数的平均值。
根据本发明的其它实施方式，所述应用支持所述基于DCT的视 频序列的亮度调整。通过执行亮度调整，用户可以增强或修改视频 序列。由此实现根据本发明的方便的图像数据处理。
根据本发明的其它实施方式，所述亮度调整是基于以下表达式
<formula>formula see original document page 9</formula>
其中〖'对应于压缩域中亮度调整的值，它由以下表达式给出
J"8.i^。c;," = " = 0
通常较小。因子(l-l)通 常是一个小值(小于l)。因此上面公式中的第二项可以忽略，针对 帧间MB的操作是
<formula>formula see original document page 21</formula>本发明的进一 步的目标是减小视频序列中的阴影效应。下面的 小节讨论阴影效应和根据本发明的降低所述效应的方法。所述方法 在压缩域中提供。
阴影效应
应用压缩域视频增强时，当包含尖锐边界的区域发生改变时，
可以观察到一种:f皮称为"阴影效应，，的特定效应。出现阴影效应的
原因是在视频被播;改时应用了剪切(clipping)。
在数字视频系统中， 一个像素由一定数目的位表示。普遍的表 示法是8位。更特别地，像素亮度可以有28=256种可能的值(0 255 )。 当应用视频增强效果时，得到的像素值可能超出范围，也即，高于 255或低于0，标准的方法是将其限制在0~255的范围内。这个过程 一皮称为剪切。
在空域视频增强中这不是问题，因为剪切是在完全解码的图像 序列被重新编码之前被应用于完全解码的图像序列的。经过编辑的 视频比特流不包含任何越界的像素。
在压缩域中，如图3所示，增强效果是在dct层面上执行的。 编辑之后的dct系数可能对应于超出范围的像素。这些值将在解码 过程中^皮剪切掉。
阴影效应是由剪切引起的。所述阴影效应可能发生在呈现尖锐
边界或尖锐变化的区域，例如深色背景上的白色字母等。没有阴影 效应补偿，则每个边界都将有干扰的阴影。
当区域包含尖锐边界时，两个相邻区域的亮度差异非常大。在 这个区域上应用增强效果将使这个区域的一个部分内的像素超出范 围，而该区域其它部分仍在范围之内。在一个示例中，数字(或字母)的像素是白色的，其对应的值接近255。另一方面，背景像素是黑色的，其对应的值接近o。当通过正值调整亮度时，白色数字的像素将大于255，而黑色背景像素将仍然位于范围之内。当剪切在解码 过程中被应用时，超出范围的像素将被剪切而其它像素仍然保持不 变。在下一帧中，如果这个区域内的块是帧间编码的，则只有连续 两帧之间的差异被恢复。这些残差没有针对前面帧中的剪切得到补 偿。因此，当残差^皮添加到前面的帧时，#4居前面帧中一皮剪切的^象 素而重建的像素将比其指定的亮度水平较暗或较亮。
根据本发明的创造性概念，解决这个问题的 一种建议是在前面 的帧中检测到超出范围的像素时，对残差进行补偿。由于DCT系辨 是在没有完全解码的情况下被直接操作的，因此空域中超出范围的 像素无法被识别。可以使用DCT层面中的对应检测。这可以通过i殳 置针对DC系数和一些AC系数的阈值得以实现。当DC系数过大或 过小并且AC系数的绝对值过大时，通常意味着该块包含尖锐对比 边界，而且一些像素几乎超出范围，并且这些像素在应用增强效果 时将肯定超出范围。在这种情况下，这个块将被完全解码并存储。 在下 一帧中，对应于这个块的残差将得到补偿并被重新编码。
这个方法需要对一些块完全解码并重新编码。然而，这仅仅应 用于包含超出范围的像素的块。在实际视频序列中，这种情况并不 经常发生。因此，这个修正措施将不会明显增加计算复杂性。
参考图4,描述了一种用于经过压缩的基于DCT的视频序列 的图像处理的模块M400。所述模块包括两个主要组件用于提供经 过压缩的基于DCT的视频序列的组件M410,以及用于执行根据本 发明的图像处理操作的组件M420 。两个模块连接在 一起，使得M410
的输出对应于所述图像处理组件M420的输入。用于提供视频序列
的组件M410接收由数字数据流表示的视频序列，并且适合于将原 始图像数据变换为基于DCT的且经过压缩的视频序列。这个数据可 -陂用作对应图像处理组件的M420的输入。
在执行所述图像处理操作之后，数据例如可以被进一步使用或 被存储在存储器组件中。图像处理模块或者组件M420的基础已经 在前文参考附图
进行过描述。
图5示出了便携消费电子(CE)或移动设备550的主要结构; 组件，其示例性的代表了可以应用本发明的任何类型的便携消费电 子(CE)设备。应当理解，本发明既不限于所说明的CE设备550,' 也不限于任何其它特定类型的便携CE设备。
所说明的便携CE设备550示例性地实现为照相机电话，它通 常是指通过图像捕获传感器而具备图像和视频片段捕获能力的蜂窝 电话。特别地，设备550被实施为基于处理器或基于微控制器的设 备，它包括中央处理单元(CPU);数据存储器520;应用存储器(未 示出)；包括具有射频天线500的蜂窝射频接口 (I/F) 580以及用 户标识模块(SIM) 570在内的蜂窝通信装置；包括音频输入/输出 (I/O)装置540 (通常是麦.克风和扬声器)以及具有键输入控制器 (Ctrl)(未示出)的键、小键盘和/或键盘以及具有显示控制器(Ctrl) (未示出)的显示器在内的用户接口输入/输出装置；通常是具有光 学器件(未示出)的用于图像投影的CCD (电荷耦合器件)传感器 (未示出)的图像捕获传感器510;以及示例性的代表了根据本发明 的图像处理所需的若干从属或独立模块和组件实现的图像处理模块 M400 (参见图4)。
通常由中央处理单元(CPU)基于操作系统或基础控制应用来 控制CE设备550的操作，其中所述操作系统或基础控制应用通过将 CE设备的特征和功能性的使用提供给其用户来控制CE设备的特征 和功能性。显示器和显示器控制器(Ctrl)由中央处理单元(CPU) 控制并且为用户提供信息。小键盘和小键盘控制器(Ctrl)允许用户 输入信息。通过小键盘输入的信息由小键盘控制器(Ctrl)提供给中
央处理单元(CPU) , CPU可以根据输入信息得以指令和/或控制。 音频输入/输出(I/O)装置540至少包括用于播放音频信号的扬声器 以及用于记录音频信号的麦克风。中央处理单元(CPU)可以控制 从音频数据到音频输出信号的转换以及从音频输入信号到音频数据 的转换，其中音频数据例如具有适合于传输和存储的格式。从数字 音频到音频信号的音频信号转换及其逆过程通常由数字-模拟和模拟 -数字电路支持。
另外，根据图5中所描述的特定实施方式的便携CE设备550 可选择的包括蜂窝接口 (I/F) 580,其耦合到射频天线500上并且是 用户标识模块(SIM) 570可操作的。蜂窝接口 (I/F) 580被布置为 蜂窝收发器，用以接收来自蜂窝天线的信号，对信号进行解码，对 信号进行解调，并将信号降低到基带频率。蜂窝接口 580提供了空 中(over-the-air)接口，它与用户标识模块(SIM) 570结合，用于 与公共陆地移动网络(PLMN)的无线接入网络(RAN)的对应基站 (BS)进行蜂窝通信。蜂窝接口 (I/F) 580的输出因而包含可能需 要中央处理单元(CPU)进一步处理的数据流。被部署为蜂窝收发 器的蜂窝接口 (I/F) 580还适合于接收来自中央处理单元(CPU)的 数据，这些数据将通过空中接口被传输给无线接入网络(RAN)的 基站(BS)。因此，蜂窝接口 (I/F) 580对包含信号的数据进行编, 码、调制并将其上转换为待使用的射频。蜂窝天线继而将结果射频 信号传输给公共陆地移动网络(PLMN)的无线接入网络(RAN)的对 应基站(BS)。
图像捕获传感器510通常以CCD (电荷耦合器件)和光学器 件的方式实现。包含像素栅格的电荷耦合器件作为光感设备在数字 照相机、数字光学扫描仪以及数字 一见频照相机中被用于数字图像捕 获。图像被电容器阵列(CCD)上的光学器件(镜头，或者一个或 更多镜头的排列)投影，使得每个电容器累积与那个位置的光强度 成t匕例的电荷。数字视频和数字静态照相机中所使用的二维阵列捕获全部图像或图像的矩形部分。 一旦阵列对该图像曝光，控制电路 使每个电容器将其内容传送给其邻居。阵列中的最后一个电容器将 其电荷全部传递给放大器，放大器将电荷转换为电压。通过重复这 个过程，控制电路将阵列的整个内容转换为变化的电压，控制电路 对变化电压进行采样、数字化，并将原始图像数据提供给图像处理
模块M400以用于进一步处理。图像处理模块M400允许CE设备550 的用户拍摄静态数字图像和视频序列。通常，原始图像数据被图像 处理模块M400压缩并被存储在数据存储器中。除了其它功能外， 图像处理模块M400还实现静态数字图像处理和视频(图像序列) 处理所需的编解码模块，也即编码和解码模块，其中所实现的图像 处理模块M400的组件优选地是软件应用组件，其操作可由特定的 硬件实现支持，这有利于改进图像处理模块M400的处理能力和功 能性。
尽管本发明是参考根据附图的实施方式描述的，显而易见本发 明不限于此，而是可以在所附权利要求书的范围内以各种方式对其 进行修改。
权利要求
1.一种将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的方法，包括步骤提供所述经过压缩和运动补偿的基于DCT的视频序列；以及在压缩域中将所述图像处理操作应用于所述视频序列以得到图像经过处理的压缩视频序列，其中，所述应用是通过调整定义了所述基于DCT的视频序列的DCT分量得以执行的。
2. 根据权利要求1所述的方法，其中，通过部分解码和编码所 述基于DCT的视频序列提供对所述DCT分量的调整。
3. 根据权利要求1所述的方法，其中，在对所述基于DCT的视 频序列的所述图像处理进行所述应用的基础之上提供阴影效应补 偿。
4. 根据权利要求3所述的方法，其中，通过在前面的帧中检测 到超出范围的像素时对残差进行补偿来提供所述阴影补偿。
5. 根据权利要求4所述的方法，其中，通过设置针对DC和AC 系数的阈值在基于DCT的视频序列中检测出所述超出范围的像素。
6. 根据权利要求4所述的方法，其中，通过部分解码其中可能 存在越界系数的该帧中的某些块来提供所述阴影效应补偿。
7. 根据权利要求1所述的方法，其中，所述视频序列是代表所 述序列的H.263比特流，其中该H.263比特流一皮VLC解码，该比特 流中的DCT系数被解量化，并且该图像处理操作被应用于该DCT 系数。
8. 根据权利要求1所述的方法，其中，如果所述序列对应于所 述H.263比特流，则通过将对所述序列的所述亮度调整应用于帧内 编码宏块，使像素强度的改变量与DC系数的改变量完全相同。
9. 根据权利要求1所述的方法，其中，所述视频序列是代表所 述序列的数字MPEG-4比特流，其中该MPEG-4比特流被VLC解码， 该比特流中的DCT系数被解量化，并且该图像处理操作被应用于该 DCT系数。
10. 根据权利要求1所述的方法，其中，对于帧内编码宏块，所 述MPEG-4比特流所代表的所述序列中的所述对比度调整被提供为 单程过程。
11. 一种用于将对比度调整和亮度调整中的至少一个应用于涉 及所定义环境的经过压缩和运动补偿的基于DCT的视频序列的计算 机程序产品，包括存储在可读介质上的程序代码段，当所述程序代 码段在计算机、基于微处理器的设备、终端、网络设备、移动终端 或支持便携通信的终端上运行时，所述程序代码段执行权利要求1 的步骤。
12. —种用于涉及所定义环境的基于DCT的视频序列的图像处 理的计算机程序产品，包括存储在机器可读介质上的程序代码段， 当所述程序产品在计算机、基于微处理器的设备、终端、网络设备、 移动终端或支持便携通信的终端上运行时，所述程序代码段执行权 利要求1的步骤。
13. —种用于将对比度调整和亮度调整中的至少一个应用于涉 及所定义环境的经过压缩和运动补偿的基于DCT的视频序列的软件 工具，包括程序部分，当所述程序部分在计算机程序中被实现以用 于在基于微处理器的设备、处理设备、.终端设备、网络设备、移动 终端、或支持便携通信的终端上执行时，所述程序部分实现权利要 求1的操作。
14. 一种适合于将对比度调整和亮度调整中的至少一个应用于 对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列 的模块，包括用于提供所述经过压缩的基于DCT的视频序列的组件；以及 用于在压缩域中将所述图像处理操作应用于所述视频序列以得 到图像经过处理的压缩视频序列的组件，其中，所述应用是通过调 整定义了所述基于DCT的视频序列的DCT分量得以执行的。
15.根据权利要求14所述的模块，其中，所述对比度调整基于以下表达式<formula>see original document page 4</formula> (7)其中- m,n 是频域坐标；-Y'(n,m)是该经过编辑的图像的DCT变换； -λ是对比度比例因子； -Y(n, m)是该原始图像的DCT变换；以及 -YDC 是该图像内所有块的DC系数的平均值。
16.根据权利要求H所述的模块，其中，所述亮度调整基于以下表达式<formula>see original document page 4</formula>其中K'对应于该压缩域中该亮度调整的值，它由以下表达式给出<formula>see original document page 4</formula>(5)其中-m,n 是频域坐标；；-Yq'(n,m)是该经过编辑的图像的DCT变换； -Yq(n,m)是该原始图像的DCT变换；以及 -QDC是针对DC系薮的量化比例。
17. 根据权利要求14所述的模块，其中，所述视频序列是代表所述序列的数字MPEG-4比特流，其中该MPEG-4比特流被VLC解码，该比特流中的DCT系数被解量化，并且该图像处理操作被应用于该DCT系数。
18. 根据权利要求14所述的模块，其中，对于帧内编码宏块， 所述MPEG-4比特流所代表的所述序列中的所述对比度调整被提供为单程过程。
19. 一种用于将对比,度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的电子设备，包括-至少一个用于根据权利要求14的图像处理的模块；-I/O接口 ；-存储器单元；以及-适合于控制所述电子设备内所有实体的处理器。
全文摘要
本发明涉及一种用于将对比度调整和亮度调整中的至少一个应用于对应于图像处理操作的经过压缩和运动补偿的基于DCT的视频序列的方法，包括步骤提供经过压缩和运动补偿的基于DCT的视频序列，在压缩域中将图像处理操作应用于视频序列以得到图像经过处理的压缩视频序列，其中，所述应用是通过调整定义了基于DCT的视频序列的DCT分量得以执行的。
文档编号H04N7/26GK101208955SQ200680022091
公开日2008年6月25日 申请日期2006年4月25日 优先权日2005年6月21日
发明者A·艾斯拉姆, F·切比尔, J·罗 申请人:诺基亚公司