专利名称：基于时间和空间复杂性自适应编码运动图像的方法及装置的制作方法
技术领域：
本发明涉及一种运动图像编码装置和方法，特别是涉及一种基于时间和空间复杂性的自适应编码运动图像的方法及其装置。
背景技术：
随着数字录像机(DVR)和个人录像机(PVR)得到广泛的使用，关于图像压缩技术的研究已经得到积极的执行。然而，由于在传统的DVR和PVR中以一个固定的分辨率进行图像压缩不考虑时间和空间复杂性，因此压缩的效率较低。
图1是一个现有技术的运动图像编码系统的方框图。
首先，输入图像数据被分割成8×8象素块。为了消除空间相关性，一个离散余弦变换(DCT)单元110对以8×8象素块为单位被输入的图像数据执行离散余弦变换操作。通过在离散余弦变换单元获得的量化离散余弦变化系数，一个量化单元(Q)120以一些具有代表性的值表达离散余弦变换系数，因此执行了高效率有损耗压缩。一个可变长度编码(VLC)单元130平均信息量编码量化离散余弦变换系数，并且输出一个平均信息量编码数据流。
一个逆量化(IQ)单元140逆量化在量化单元120被量化的图像数据。一个逆离散余弦变换单元150逆离散余弦变换在逆量化(IQ)单元140被逆量化的图像数据。一个帧存储单元160以帧为单位存储在逆离散余弦变换单元150被逆离散余弦变换的图像数据。一个运动估计(ME)单元170通过使用一个正被输入的当前帧的图像数据和一个被存储在帧存储单元160的先前帧的图像数据消除时间相关性。
为了数据压缩，在现有DVR和PVR中使用如图1所示的一个MPEG-2编码器。当输入数据没有被压缩时，数据通过MPEG-2编码器被压缩并且比特流被存储在存储媒介比如硬盘驱动器(HDD)或者数字通用盘(DVD)中。当输入图像数据是被压缩比特流时，为了使用如图2所示的运动图像代码转换器产生具有预期条件的MPEG-2流，对MPEG-2运动图像进行解码，然后执行一个预定比例和格式转换。然后，执行MPEG-2运动图像编码。
图2是一个现有技术代码转换装置的方框图。
当输入图像数据是压缩比特流时，通过运动图像解码器220对图像数据进行解码，此运动图像解码器包括可变长度解码(VLD)单元222、逆量化单元224、逆离散余弦变换单元226、帧存储器228、和运动压缩(MC)单元230。然后，为了产生具有所需条件的MPEG-2流，通过使用与在图1所示的运动图像编码器相同的MPEG-2编码器以预定分辨率对运动图像进行编码。此过程被称为代码转换。当执行代码转换时，如果必要的话，使用比例和格式转换单元240来减少图像比例或者转换通过运动图像解码器220解码的图像的格式。然后，使用MPEG-2编码器260以预定分辨率执行MPEG-2编码。
因而，在现有的MPEG-2编码中，总是以一个恒定分辨率执行编码。因此，无论空间复杂性根据一个输入图像的特性是大还是小，总是以一个相同的分辨率执行编码。同样，即使运动图像具有小的空间改变，也应该维持30Hz的较高帧速率，因此减小了编码效率。
发明内容
本发明提供一种自适应运动图像编码方法和装置，以便基于一个输入运动图像的特性自适应执行运动图像编码，因此提高了编码效率。
本发明还提供了一种自适应运动图像编码方法和装置，以便当通过MPEG-2压缩把一个运动图像存储在HDD或者DVD中时最大化存储效率。
根据本发明的一个方面，提供一种基于空间复杂性的自适应图像编码方法，包括(a)计算输入图像数据的空间复杂性；(b)通过对已计算空间复杂性和一个预定阈值进行比较来确定分辨率；和(c)基于已确定分辨率转换输入图像数据的分辨率。
根据本发明的另一个方面，提供一种基于空间复杂性的自适应图像编码装置，包括空间复杂性计算单元，计算输入图像数据的空间复杂性；分辨率确定单元，通过对已计算空间复杂性和一个预定阈值进行比较来确定分辨率；和分辨率转换单元，基于已确定分辨率转换输入图像数据的分辨率。
同样根据本发明的另一个方面，提供一种基于时间复杂性的自适应图像编码方法，包括(a)计算输入图像数据的时间复杂性；(b)通过对已计算时间复杂性和一个预定阈值进行比较来确定帧速率；和(c)基于已确定帧速率转换输入图像数据的帧速率。
同样根据本发明的另一个方面，提供一种基于时间复杂性的自适应图像编码装置，包括时间复杂性计算单元，计算输入图像数据的时间复杂性；帧速率确定单元，通过对已计算空间复杂性和一个预定阈值进行比较来确定帧速率；和帧速率转换单元，基于已确定帧速率转换输入图像数据的帧速率。
通过根据附图详细描述其中一个最佳实施例，本发明的上述和其它发明目的以及优点就会变得更加清楚，其中图1是一个现有技术运动图像编码系统的方框图；图2是一个现有技术代码转换装置的方框图；图3是根据本发明的一个实施例，一个基于空间复杂性的自适应运动图像编码装置的方框图；图4是一个基于根据本发明空间复杂性的自适应代码转换装置的方框图；图5根据本发明一个实施例基于时间复杂性的一种自适应运动图像编码装置的一个方框图；图6是根据本发明一个实施例基于时间复杂性的一种自适应代码转换装置的方框图。
具体实施例方式
用于存储目的的图像压缩技术的核心在于所提供的图像是否被高效率的压缩。在传统的DVR和PVR中，图像以预定的分辨率压缩，然后存储。
本发明将要解决当图像以预定的分辨率压缩和存储时发生的问题。根据本发明的一个最佳实施例，考虑到时间和空间复杂性可能会大或会小，根据一个输入运动图像的特性，以根据输入图像的时间和空间复杂性具有不同时间和空间分辨率的图像组(GOP)为单位执行编码，所以在存储中能够达到高效率。
在编码之后，一个具有低空间复杂性的图像组经过内插被扩展，然后被显示。一个具有低时间复杂性，也就是具有很小移动的图像组以一个很低的帧速率被编码，所以增加了编码效率。
现在将参见附图解释本发明的最佳实施例。
图3是根据本发明的一个实施例，一个基于空间复杂性的自适应运动图像编码装置的完整方框图。
根据本发明的运动图像编码装置包括空间复杂性计算单元320、分辨率确定单元340、分辨率转换单元360、和一个编码单元380，它们被顺序连接，也就是以级联连接。
空间复杂性计算单元320获得以图像组为单位用于输入图像的8×8方块单元中的离散值，并且计算离散值的一个平均值。虽然在本实施例中平均离散值以图像组为单位被获得，但是平均离散值能够选择性地获得用于其它单元。
分辨率确定单元340把在空间复杂性计算单元320中被计算的平均离散值与一个预定阈值进行比较，并以图像组为单位确定分辨率。比如，如果一个在空间复杂性计算单元320中被计算的平均离散值大于预定阈值，那么对此具有一个预定原始分辨率的图像组执行MPEG-2编码。如果在空间复杂性计算单元320中被计算的平均离散值小于预定阈值，那么此图像组中的每一个图像的分辨率被降低到比如在各个方向的一半，然后对这些图像组执行MPEG-2编码。
虽然在本实施例中，以图像组为单位计算空间复杂性，然后确定分辨率，但是对于其它单元比如以序列为单位选择性地计算空间复杂性，然后确定分辨率也是可能的。同样，虽然在本实施例中对于MPEG-2编码分辨率被改变，但是这能够被选择性地应用到除了MPEG-2的编码方法中。
此时，考虑到系统环境例如一个缓存器和存储器容量，预定阈值可以被最初确定下来，或者根据输入图像的类型可以被一个使用者任意地确定下来。
同时，选择性地自适应确定一个阈值来替代使用一个固定的阈值是可能的。比如，通过一个从所有先前8×8方块单位的离散值获得的已累计平均值来决定增加分辨率是否是可能的。比如，如果一个单元离散值大于一个已累计平均值，那么对于具有原始期望分辨率的此图像组执行MPEG-2编码。如果一个单位离散值小于一个已累计平均值，那么此图像组中的每一个图像的分辨率被降低到比如在各个方向的一半，然后对此图像组执行MPEG-2编码。选择性地，阈值能够通过对已累计平均值乘以一个确定值α来确定。在此情况中，通过适当地确定一个恒定值α，分辨率被降低，因此能够调整将被编码的图像组的比率。
当执行上述方法时，仅仅在一个图像组延迟之后编码才能够开始，即，图像组延迟是不可避免的。为了避免或者减少这种延迟，通过获得一个平均离散值，仅仅对于每一个图像组的第一个图像确定分辨率也是可能的。考虑到在性能和延迟之间的折衷，这能够被一个使用者适当地确定。
图4是一个基于根据本发明空间复杂性的自适应代码转换装置的方框图。
根据本发明的代码转换装置包括一个运动图像解码器420，空间复杂性计算单元440，分辨率确定单元450，分辨率转换单元460，和一个编码器单元480。运动图像解码器420包括一个可变长度解码(VLD)单元422，一个反转量子化(IQ)单元424，一个IDCT单元426，一个帧存储器428，和一个运动补偿(MC)单元430。此时，运动图像解码器420和编码器单元480执行与在图2所示的现有技术运动图像代码转换装置相同的功能，因此将省略其中的详细解释。
当一个输入图像数据是一个被压缩流时，输入图像数据在VLD单元422中被解码。
不管帧类型比如I、B和P，空间复杂性计算单元440在一个空间域的8×8方块单元中获得一个对于输入图像的离散值，并且以图像组为单位计算一个平均值。虽然在本实施例中以图像组为单位获得一个平均离散值，但是对于其它单元比如以序列为单位选择性地获得一个平均离散值也是可能的。
分辨率确定单元450把在空间复杂性计算单元440中被计算的平均离散值与一个预定阈值进行比较，并确定一个当前图像组的分辨率。比如，如果一个在空间复杂性计算单元440中被计算的平均离散值大于预定阈值，那么对此具有一个预定原始分辨率的图像组执行MPEG-2编码。如果在空间复杂性计算单元440中被计算的平均离散值小于预定阈值，那么此图像组中的每一个图像的分辨率被降低到比如在各个方向的一半，然后对这些图像组执行MPEG-2编码。
虽然在本实施例中，以图像组为单位计算空间复杂性，然后确定分辨率，但是对于其它单元比如以序列为单位选择性地计算空间复杂性，然后确定分辨率也是可能的。同样，虽然在本实施例中为了MPEG-2编码分辨率被改变，但是这能够被选择性地应用到除了MPEG-2的编码方法中。
此时，考虑到系统环境例如缓存器和存储器容量，预定阈值可以被最初确定下来，或者根据输入图像的类型可以被一个使用者任意地确定下来。
同时，自适应地确定一个阈值来替代使用一个固定的阈值是可能的。比如，通过一个从所有先前8×8方块单位的离散值获得的已累计平均值来决定是否增加分辨率是可能的。
当执行上述方法时，仅仅在一个图像组延迟之后编码才能够开始，即一个图像组延迟是不可避免的。为了避免或者减少这种延迟，通过获得一个平均离散值，仅仅对于每一个图像组的第一个图像确定分辨率也是可能的。考虑到在性能和延迟之间的折衷，这个能够被一个使用者适当地确定。
上述方法是一个代码转换方法，也就是说，为了增加存储效率改变一个比特流。在具有一个不同比特速率、一个不同分辨率、或者一个不同标准的转换之后存储一个比特流以便满足原始代码转换的目的也是可能的。
同样，就像通过基于上述空间复杂性对具有不同分辨率的数据进行编码的高效率存储一样，通过基于时间复杂性改变帧速率来高效率存储数据也是可能的。
图5是根据本发明一个实施例基于时间复杂性的一种自适应运动图像编码装置的方框图。
根据本发明的运动图像编码装置包括一个运动活动性计算单元520，帧速率确定单元540，帧速率转换单元560，和一个编码器单元580。
运动活动性计算单元520获得对于在图像组中的所有宏块的运动向量，基于运动向量计算运动活动性，并且计算宏块的一个平均运动活动性。在本实施例中，如果一个宏块的运动向量(MV)是(MV1，MV2)，那么宏块的运动活动性被定义为MV12+MV22。
帧速率确定单元540把在运动活动性计算单元520中被计算的平均运动活动性与一个预定阈值进行比较，并为图像组确定帧速率以及执行编码。通过适当地调整阈值，能够执行多种帧速率调整方法。同样，拥有多个阈值以及在对运动活动性和阈值进行比较之后调整帧速率是可能的。例如，能够设计一个方法为，当被确定阈值是10和20时，如果运动活动性小于10，那么选择帧速率为10Hz，如果运动活动性小于20，那么选择帧速率为20Hz，并且如果运动活动性等于或者大于20，那么选择帧速率为30Hz。然而，为了阻止由运动的突然改变(图像抖动)而引起的问题，更可取的是，只有当运动活动性非常接近0时，相应图像组的帧速率被调整到相对较低。
帧速率转换单元560根据在帧速率确定单元540中被确定的帧速率调整输入图像数据的帧速率，并且输出结果给编码器单元580。
图6是根据本发明基于时间复杂性的一种自适应代码转换装置的方框图。
根据本发明的自适应代码转换装置包括一个运动图像解码器620，运动活动性计算单元640，帧速率确定单元650，一个比例转换单元660，和一个编码器单元680。运动图像解码器620包括一个可变长度解码(VLD)单元622，一个逆量化(IQ)单元624，一个IDCT单元626，一个帧存储器628，和一个运动补偿(MC)单元630。
当输入图像数据是压缩流时，运动活动性计算单元640以图像组为单位通过使用在压缩流的解码步骤中获得的运动向量信息计算运动活动性。例如，在如图6所示的本发明实施例中，运动活动性计算单元640接收从可变长度解码单元622输出的运动向量(MV)，并且基于运动向量计算每一个宏块的运动活动性。
在一个MPEG-2流中，一个图像组首标跟随着一个序列首标。通常，一个序列首标位于整个序列的前面并且一个图像组首标位于每一个图像组的前面。图像尺寸信息位于每一个序列首标中。然而，在一个真实的广播中，当传输一个MPEG-2流时为每一个图像组单元传输一个序列首标。因此，如果当执行编码时把一个序列首标放入到每一个图像组单元，那么就能够没有任何问题的执行解码。
本发明并不局限于上述最佳实施例，并且只有在本发明权利要求所规定的精神和范围内，技术熟练的人可以进行各种改变。
同样，本发明可以被具体表现为一个在计算机可读记录媒介中的节目代码，此节目代码能够被一个计算机读出。计算机可读记录媒介包括在其上存储计算机可读数据的各种记录设备。计算机可读记录介质包括存储介质比如磁存储媒介(例如ROM，软盘，硬盘等)，光可读媒介(例如CD-ROM，DVD等)和载波(例如在国际互联网络上传输)。同样，计算机可读记录媒介能够被传输到通过网络连接的计算机系统，并且能够以一个被分配模式存储和执行一个计算机可读编码。
根据如上面所示的本发明，以图像组为单位计算一个图像的时间和空间复杂性，并且具有相对较低时间和空间复杂性的图像组以比原始分辨率低的分辨率被编码，此时具有相对较高时间和空间复杂性的图像组以原始分辨率被编码，因此运动图像能够更有效地存储在存储媒介中。
权利要求
1.一种基于空间复杂性的自适应图像编码方法，包括(a)计算输入图像数据的空间复杂性；(b)通过将已计算空间复杂性与预定阈值进行比较来确定分辨率；和(c)基于已确定分辨率转换输入图像数据的分辨率。
2.根据权利要求1所述的方法，其中基于对于输入图像数据的每一个块的平均离散值计算空间复杂性。
3.根据权利要求1所述的方法，其中以输入图像数据的图像组为单位执行用于计算空间复杂性和确定分辨率的步骤。
4.根据权利要求1所述的方法，其中以输入图像数据的序列为单位执行用于计算空间复杂性和确定分辨率的步骤。
5.根据权利要求1和2之一的方法，其中如果输入图像数据是被编码的图像数据，那么基于输入图像数据的被解码数据测量空间复杂性。
6.根据权利要求1和2之一的方法，其中如果输入图像数据是被编码的图像数据，那么基于从被逆离散余弦变换数据和运动压缩数据获得的离散值计算空间复杂性。
7.一种基于空间复杂性的自适应图像编码装置，包括空间复杂性计算单元，计算输入图像数据的空间复杂性；分辨率确定单元，通过将已计算空间复杂性与一个预定阈值进行比较来确定分辨率；和分辨率转换单元，基于已确定分辨率转换输入图像数据的分辨率。
8.根据权利要求7所述的装置，其中基于对于输入图像数据的每一个块的一个平均离散值计算空间复杂性。
9.根据权利要求7所述的装置，其中以输入图像数据的图像组为单位执行在空间复杂性计算单元的空间复杂性计算和在分辨率确定单元的分辨率确定。
10.根据权利要求7所述的装置，其中以输入图像数据的序列为单位执行在空间复杂性计算单元的空间复杂性计算和在分辨率确定单元的分辨率确定。
11.根据权利要求7和8之一的方法，其中如果输入图像数据是被编码的图像数据，那么基于输入图像数据的被解码数据测量空间复杂性。
12.根据权利要求7和8之一的方法，其中如果输入图像数据是被编码的图像数据，那么基于从被逆离散余弦变换数据和运动压缩数据获得的离散值计算空间复杂性。
13.一种基于时间复杂性的自适应图像编码方法，包括(a)计算输入图像数据的时间复杂性；(b)通过将已计算时间复杂性与预定阈值进行比较来确定帧速率；和(c)基于已确定帧速率转换输入图像数据的帧速率。
14.根据权利要求13所述的方法，其中基于输入图像数据的每一个宏块的运动活动性计算时间复杂性。
15.根据权利要求14所述的方法，其中运动活动性是宏块运动向量的尺寸。
16.根据权利要求15所述的方法，其中当一个宏块的运动向量是(MV1，MV2)时，运动活动性是MV12+MV22。
17.根据权利要求13所述的方法，其中以输入图像数据的图像组为单位执行用于计算时间复杂性和确定帧速率的步骤。
18.根据权利要求13所述的方法，其中以输入图像数据的序列为单位执行用于计算时间复杂性和确定帧速率的步骤。
19.根据权利要求14所述的方法，其中如果输入图像数据是被编码的图像数据，那么通过使用在输入图像数据的一个解码步骤中获得的一个运动向量计算运动活动性。
20.根据权利要求13所述的方法，其中基于输入图像数据的每一个宏决的运动活动性计算时间复杂性。
21.一种基于时间复杂性的自适应图像编码装置，包括时间复杂性计算单元，计算输入图像数据的时间复杂性；帧速率确定单元，通过对已计算空间复杂性和一个预定阈值进行比较来确定帧速率；和帧速率转换单元，基于已确定帧速率转换输入图像数据的帧速率。
22.根据权利要求21所述的装置，其中基于输入图像数据的每一个宏块的运动活动性计算时间复杂性。
23.根据权利要求22所述的装置，其中运动活动性是宏块运动向量的尺寸。
24.根据权利要求23所述的装置，其中当一个宏块的运动向量是(MV1，MV2)时，运动活动性是MV12+MV22。
25.根据权利要求21所述的装置，其中以输入图像数据的图像组为单位(GOP)执行在时间复杂性计算单元的时间复杂性计算和在帧速率确定单元的帧速率确定。
26.根据权利要求21所述的装置，其中以输入图像数据的序列为单位执行在时间复杂性计算单元的时间复杂性计算和在帧速率确定单元的帧速率确定。
27.根据权利要求22所述的装置，其中如果输入图像数据是被编码的图像数据，那么通过使用在输入图像数据的一个解码步骤中获得的一个运动向量计算运动活动性。
28.根据权利要求21所述的装置，其中基于输入图像数据的每一个宏块的运动活动性计算时间复杂性。
全文摘要
本发明提供一种基于时间和空间复杂性的自适应编码运动图像的方法及其装置。在此方法中，在基于输入图像的时间和空间复杂性的帧速率上以不同的时间和空间分辨率执行编码，因此能够高效率地存储图像数据。此方法包括计算输入图像数据的空间复杂性；通过将已计算空间复杂性与一个预定阈值进行比较来确定分辨率；和基于已确定分辨率转换输入图像数据的分辨率。
文档编号H04N7/46GK1444397SQ03103428
公开日2003年9月24日 申请日期2003年1月30日 优先权日2002年3月9日
发明者宋秉哲, 千畺旭 申请人:三星电子株式会社