专利名称：一种运动补偿系统和方法
技术领域：
本发明涉及数字图像处理领域，特别涉及运动补偿领域。
背景技术：
运动图像专家组(MPEG)标准因其多层次的图像质量和传输速度、具有可分级性、灵活性和广泛的适应性，已成为DVB、HDTV信源编码的公认标准。近年来，除传输外，在电视中心的采集、制作和播出系统中以及多媒体领域里，也得到了广泛的应用。
为了便于对图像序列的随机访问和编辑，MPEG对视频数据流规定了分层的结构如图1所示，从顶层开始依次为第一层是图像序列层，它包含序列头、若干个图像组层的数据以及序列终止符。第二层是图像组(GOP，Group ofPicture)，它由定义的一组或多组帧内编码帧或非帧内编码帧图像组成。每组包括组头和图像层数据。第三层是图像层本身，由图像头和宏块条层数据组成。第四层是宏块条层，它由条层头和若干个连续的宏块组成。第五层是宏块层，由宏块头及块层数据组成，图像以亮度数据矩阵为基准，分为16×16像素的宏块，作为运动补偿的基本单元。宏块分为亮度宏块和色度宏块，色度宏块大小与抽样格式有关。第六层是块层由图像数据和块结束符组成，是进行离散余弦变换的单元。在这六层数据结构相应的序列头、图像组头、图像头、宏块条头、宏块头等头部包含了对MPEG码流进行解码所需的起始码、定时、以及其他相关的参数和信息。
视频信号帧内编码是利用信号的空间相关性实现信息压缩，利用帧内离散余弦变换编码技术，发掘同一画面邻近像素之间的空间相关性来实现有效的数据压缩。而帧间编码则是利用图像信号在时间轴上的相关性来实现信息压缩。统计测量表明，当景物不含剧烈运动，不发生场景切换以及摄像机不做明显运动时，相邻帧间的空间位置对应的像素比帧内相邻像素具有更强的相关性。
如前所述，每个图像组中包括三种类型的图像帧I帧，P帧，B帧。I帧只做帧内编码，不做运动补偿帧间预测。每一个图像组以一个I帧开始，便于随机接收和定时进行帧刷新，以防止传输误码由于帧间预测可能引起长时间扩散。P帧是前向预测帧，由在前传输的I帧或P帧(参考帧)做运动补偿预测。B帧是双向预测帧，它同时由已传输的在图像序列中处于该帧前和该帧后的两个参考帧分别作前向运动补偿预测和后项运动补偿预测。B帧不能用来作为其它帧进行运动补偿预测的参考帧。
所谓的运动可以理解为一个二维的矢量值，根据该矢量值并结合前/后参考帧内宏块的信息，即可得到本帧图像内相应的宏块信息。运动补偿系统通过去除帧间时间上的冗余，改善了P帧和B帧的编码。
然而，运动补偿系统需要具备一定的存储空间用来存储参考帧的图像数据。随着数字视频信号解析度的不断提高，对于运动补偿系统中所述存储空间的大小以及带宽的要求也就不断的提高，这样无形中就大大提高了视频解码系统的成本，给制造视频接收装置(如数字电视机顶盒)的厂商带来极大的困扰。
发明内容
本发明的目的是提供一种运动补偿系统和进行运动补偿的方法，保障在不影响对高解析度的图像进行运动补偿的基础上，降低对运动补偿系统中存储模块大小的要求。为实现上述发明目的，本发明记载了如下的技术方案一种运动补偿系统，包括一视频分析模块，一逆离散余弦变换模块，一运动补偿模块，存储模块，以及一压缩和一解压缩模块。所述视频分析模块接收图像序列并分析，使所述运动补偿模块对本帧图像编码类型进行判断并对所述存储模块进行读/写操作。当进行读操作时，所述解压缩模块对来自于所述存储模块中的参考帧图像数据进行解压缩；在进行写操作的时候，所述运动补偿模块对来自于所述逆离散余弦变换模块的包含运动矢量信息的数据和所述经解压缩的参考帧图像数据进行结合得到本帧图像数据并输出；如果本帧为独立图像帧或前向预测帧，则经过所述压缩模块对本帧图像数据进行压缩并写入所述存储模块。
所述的运动补偿系统中所述运动补偿模块还包括运动补偿预测器，读命令寄存器，写命令寄存器，运动补偿读模块以及运动补偿写模块。所述运动补偿预测器根据从所述视频分析模块接收到的数据对所述读/写命令寄存器分别发出相应的读/写命令并对本帧图像编码类型进行判断，所述运动补偿读/写模块从所述读/写命令寄存器分别接收相应的读/写命令并对所述存储模块进行读/写。
所述的运动补偿系统中所述运动补偿读模块包括读操作地址产生器，调整器，半像素插值器，读缓冲寄存器；所述运动补偿写模块包括写地址产生器，结合器，写缓冲寄存器。在进行读操作时，所述读地址产生器根据来自于所述读命令寄存器的命令产生某一读操作地址，所述存储模块中对应于该读操作地址的参考帧图像数据被传送到所述解压缩模块进行解压缩操作，经解压缩后的参考帧图像数据依次经过所述调整器、半像素插值器之后被发送到所述读缓冲寄存器中；在进行写操作时，所述结合器对来自于所述逆离散余弦变换模块的包含运动矢量信息的数据和来自于所述读缓冲寄存器的经解压缩的参考帧图像数据进行结合得到本帧图像数据并输出；经所述运动补偿预测器判断，如果本帧图像为独立帧或前向预测帧，则经结合后生成的本帧图像数据经过所述压缩模块的压缩后被发送到所述写缓冲寄存器中，所述写地址产生器根据来自于所述写命令寄存器的命令产生某一写地址，所述写缓冲寄存器中的经压缩的图像数据被存储到所述存储器模块中对应该写地址的位置。
另外，所述运动补偿系统中所述压缩模块中包括对所述结合后的图像数据进行离散余弦变换(DCT)的装置；对经过所述离散余弦变换所得到的系数进行量化的装置；以及对量化后的离散余弦变换系数进行压缩的装置。所述运动补偿系统中所述解压缩模块包括对所述参考帧图像数据进行解压缩的装置；对解压缩后的参考帧图像数据进行解量化的装置；以及对被解量化的参考帧图像数据进行逆离散余弦变换(IDCT)的装置。在所述压缩模块中，在所述离散余弦变换装置和所述量化装置之间还可以包括一用于对离散余弦变换系数中的交流系数进行扩展的装置；在所述量化装置和所述压缩装置之间还可以包括一钳位装置。在所述解压缩模块中，在所述解量化装置和所述逆离散余弦变换装置之间还可以包括一用于对离散余弦变换系数中的交流系数进行逆扩展的装置。
另外，本发明还记录了一种进行运动补偿的方法，该方法包括对接收到的图帧序列进行分析判断，并产生读/写命令的操作；根据读命令产生读地址，并根据该读地址读出参考帧图像数据并进行解压缩的操作；根据写命令，对所述经过解压缩的参考帧图像数据以及包含运动矢量信息的经过逆离散余弦变换的数据进行结合，产生本帧图像数据并输出的操作；如果本帧是独立图像帧或前向预测帧，则根据写命令产生写地址，对所述本帧图像数据进行压缩并写入所述写地址的操作。
采用本发明所记载的运动补偿系统，在不改变图像数据吞吐量的前提下，通过对运动补偿操作中的参考帧图像数据进行压缩，降低了运动补偿系统对于其内部存储模块的大小和带宽的要求，从而大大降低了视频接收装置的成本。
图1是MPEG视频数据流结构图；图2是本发明中运动补偿系统的结构图；图3A和图3B是本发明中运动补偿系统内部压缩模块的工作状态图；图4A和图4B是本发明中运动补偿系统内部解压缩模块的工作状态图。
具体实施例方式
本发明为实现前述的发明目的，提供了一种运动补偿系统，如图2所示。视频信号分析模块100负责接收到来自于视频发射装置的视频信号并对其进行分析，将包含运动矢量信息的图像数据发送到逆离散余弦变换模块200，同时将经过分析的信号发送给运动补偿模块300中的运动补偿预测器310。所述运动补偿预测器310对本帧图像编码类型进行判断，如果本帧图像为不需要参考其它帧数据的I型帧，则发出信号到写命令寄存器330。运动补偿写模块350收到来自写命令寄存器330的写命令，则将来自于逆离散余弦变换模块200的数据传输到结合器352，由于不需要进行任何结合操作，该经过逆离散余弦变换的数据作为本帧图像数据被输出到视频接收装置的显示系统，同时所述本帧图像数据也被送入压缩模块600进行压缩，经压缩后的数据被写入写缓冲寄存器353，并最终被写入存储模块400作为参考帧图像数据。
如果所述运动补偿预测器310检测到本帧图像编码为需要进行前向预测的P型帧，则发送读命令到读命令寄存器320。所述读命令寄存器320根据所接收到的命令指示读地址产生器341产生所需要参考的前向帧图像数据位于存储模块400中的地址。由于在存储模块400中所储存的都是经过压缩的参考帧图像数据，因此当所述读地址所对应的前向参考帧图像数据被读出以后会被传送到解压缩模块500种进行解压缩。经过解压缩后的前向参考帧图像数据依次通过调整器342以及半像素插值器343进行调整和插值，再被传送到读缓冲寄存器344中待命。所述运动补偿预测器310向所述写命令寄存器330发出写命令。写命令寄存器330指示写地址产生器351产生一个写地址，以便将本帧图像的数据写入存储模块400的中相应位置。在进行写操作时，来自于所述逆离散余弦变换模块200的包含运动矢量信息的数据被传送到结合器352中与来自于所述读缓冲寄存器344的前向参考帧图像数据结合，从而得到本帧图像的数据并被输出。这时所得到的本帧数据是未经压缩的，因此需要较大的存储空间来容纳这些数据。然而，经过压缩模块600的压缩后，本帧图像数据所占据的存储空间被大大减小。经过压缩的本帧图像的数据被传送到写缓冲寄存器353中，并根据所述写地址产生器351所产生的写地址被写入存储模块400作为新的参考帧图像数据。
如果所述运动补偿预测器310检测到本帧图像编码为需要进行双向参考的B型帧，则将当前B帧图像后向的I或P帧按照前述对应的流程作为参考帧存储到所述存储模块400中，然后再针对当前B帧进行运动补偿。在针对当前B帧进行运动补偿时，所述运动补偿预测器310发送数据到读命令寄存器320。所述读命令寄存器320根据所接收到的信号指示读地址产生器341产生所需要参考的前向和后向参考帧图像数据在存储模块中400的地址。当所述参考帧图像数据被读出以后会被传送到解压缩模块500中进行解压缩。经过解压缩后的参考帧图像数据依次通过调整器342以及半像素插值器343进行调整和插值，再被传送到读缓冲寄存器344中待命。所述运动补偿预测器310会向所述写命令寄存器330发出写命令。在进行写操作时，来自于所述逆离散余弦变换模块200的包含运动矢量的图像数据被传送到结合器352中与来自于所述读缓冲寄存器344的参考帧图像数据结合，从而得到本帧图像的数据并输出。
图3A，B示出的是本发明技术方案中位于运动补偿系统内对图像数据进行压缩的模块600的操作图，图4A，B示出的是本发明技术方案中位于运动补偿系统内部对参考帧图像数据进行解压缩的模块500的操作图。该压缩/解压缩模块的存在使读出或者写入所述存储模块400的数据都是经过压缩的数据，从而降低了对所述存储模块的大小及带宽的要求。
如图3A所示，所述压缩模块600包括一离散余弦变换(DCT)装置D，量化装置Q以及压缩装置P。所述离散余弦变换装置D对由8个像素组成的像块进行转换，变换精度为16位，所得到的变换参数coefficient精度为9位。在进行过离散余弦变换之后，如图3B所示，所得到的离散余弦变换参数中的交流参数还可以经过一个扩展装置C，该扩展装置C依据公式(1)对所述交流参数进行扩展，其中的参考点breakpoint依不同的交流参数取值不同。
breakpoint+abs(coefficient-breakpoint)/2 (1)所述经过离散余弦变换的参数在经过扩展后被一个量化装置Q所量化。在进行过量化操作以后，进行压缩操作之前，所述参数可以被一个钳位装置CP根据要采取的压缩格式对量化后的参数进行钳位。例如所要采取的压缩格式为“8 7 65 4...”，这代表直流参数占用8位，取值上限为255；第一交流参数占用7位，取值范围为-64到+63；其他交流参数遵循此压缩格式确定各自的取值范围。超过这些取值范围的参数值将被钳位，也就是近似的取最接近的上限或者下限值。在进行钳位后，所述离散余弦变换参数经过一压缩装置P以预定的压缩格式进行压缩。
图4A，B所示为所述解压缩模块500的操作图，其操作过程为所述压缩模块600的逆过程，唯压缩过程中的钳位步骤为不可逆的步骤。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。
权利要求
1.一种运动补偿系统，包括一视频分析模块，一逆离散余弦变换模块，一运动补偿模块以及存储模块，其特征在于，所述运动补偿模块还包括一压缩和一解压缩模块；所述视频分析模块接收图像序列并分析，使所述运动补偿模块对本帧图像编码类型进行判断并对所述存储模块进行读/写操作；当进行读操作时，所述解压缩模块对来自于所述存储模块中的参考帧图像数据进行解压缩；在进行写操作的时候，所述运动补偿模块对来自于所述逆离散余弦变换模块的包含运动矢量信息的数据和所述经解压缩的参考帧图像数据进行结合得到本帧图像数据并输出；如果本帧为独立图像帧或前向预测帧，则经过所述压缩模块对本帧图像数据进行压缩并写入所述存储模块。
2.如权利要求1所述的运动补偿系统，其特征在于所述运动补偿模块还包括运动补偿预测器，读命令寄存器，写命令寄存器，运动补偿读模块以及运动补偿写模块；所述运动补偿预测器根据从所述视频分析模块接收到的数据对所述读/写命令寄存器分别发出相应的读/写命令，并对本帧图像编码类型进行判断；所述运动补偿读/写模块从所述读/写命令寄存器分别接收相应的读/写命令并对所述存储模块进行读/写。
3.如权利要求2所述的运动补偿系统，其特征在于所述运动补偿读模块包括读操作地址产生器，调整器，半像素插值器，读缓冲寄存器；所述运动补偿写模块包括写地址产生器，结合器，写缓冲寄存器；在进行读操作时，所述读地址产生器根据来自于所述读命令寄存器的命令产生某一读操作地址，所述存储模块中对应于该读操作地址的参考帧图像数据被传送到所述解压缩模块进行解压缩操作，经解压缩后的参考帧图像数据依次经过所述调整器、半像素插值器之后被发送到所述读缓冲寄存器中；在进行写操作时，所述结合器对来自于所述逆离散余弦变换模块的包含运动矢量信息的数据和来自于所述读缓冲寄存器的经解压缩的参考帧图像数据进行结合得到本帧图像数据并输出；经所述运动补偿预测器判断，如果本帧图像为独立帧或前向预测帧，则经结合后生成的本帧图像数据经过所述压缩模块的压缩后被发送到所述写缓冲寄存器中，所述写地址产生器根据来自于所述写命令寄存器的命令产生某一写地址，所述写缓冲寄存器中的经压缩的图像数据被存储到所述存储器模块中对应该写地址的位置。
4.如权利要求1所述的运动补偿系统，其特征在于所述压缩模块中包括对所述结合后的本帧图像数据进行离散余弦变换(DCT)的装置；对经过所述离散余弦变换所得到的系数进行量化的装置；以及对量化后的离散余弦变换系数进行压缩的装置；所述解压缩模块包括对所述参考帧图像数据进行解压缩的装置；对解压缩后的参考帧图像数据进行解量化的装置；以及对被解量化的参考帧图像数据进行逆离散余弦变换(IDCT)的装置。
5.如权利要求6所述的运动补偿模块，其特征在于在所述压缩模块中，在所述离散余弦变换装置和所述量化装置之间还包括一用于对离散余弦变换系数中的交流系数进行扩展的装置；在所述量化装置和所述压缩装置之间还包括一钳位装置；在所述解压缩模块中，在所述解量化装置和所述逆离散余弦变换装置之间还包括一用于对离散余弦变换系数中的交流系数进行逆扩展的装置。
6.一种进行运动补偿的方法，该方法包括对接收到的图帧序列进行分析判断，并产生读/写命令的操作；根据读命令产生读地址，并根据该读地址读出参考帧图像数据并进行解压缩的操作；根据写命令，对所述经过解压缩的参考帧图像数据以及包含运动矢量信息的经过逆离散余弦变换的数据进行结合，产生本帧图像数据，并输出的操作；如果本帧图像是独立图像帧或前向预测帧，则根据写命令产生写地址，对所述本帧图像数据进行压缩，并写入所述写地址的操作。
全文摘要
为了实现基于有限的存储模块空间的对具有高解析度的数字图像进行运动补偿的目的，本发明提供了一种运动补偿系统，该运动补偿系统内部包括压缩/解压缩模块，对进行运动补偿所需要的参考帧图像数据进行压缩，降低了对于运动补偿系统内部存储模块大小的要求，从而降低了视频接收装置的成本。
文档编号H04N7/32GK1787643SQ20051012388
公开日2006年6月14日 申请日期2005年11月23日 优先权日2005年11月23日
发明者张幼京 申请人:北京中星微电子有限公司