专利名称：视频图像数据压缩和解压缩的方法
技术领域：
本发明是关于视频图像序列的或类似视频图像序列的视频图像数据压缩和解压缩的一种方法，这些图像序列作为各自在二维可寻址的像素中所属像素数据的一个序列存在，其中将各个所选出像素集合的像素数据用数学函数进行分析并缩小地压缩到它们的函数参数上去，在存储和/或传输之后用一个相应的数学函数尽可能再现地进行解压缩。
这类方法在ISO-标准MPEG，MPEG1至MPEG4，JPEG中是众所周知的。在这些标准中，通过图像片断的，所谓瓷砖(Kacheln)的像素集合数据的微分分析、样本分析、傅里叶分析或类似分析，和尤其是通过分析那些涉及与上述视频图像有相同图像行坐标和图像列坐标的瓷砖的瓷砖数据，去确定函数参数，并考虑到在这些视频图像序列中的变化情况相称地表示出商定的标准-帧格式。这些帧格式包括相应压缩函数的说明，相继出现图像的或这些图像相同放置瓷砖的内容越一致，在应用函数时获得的参数越有力，就越广泛压缩地选出相应的压缩函数。
为了去除压缩，总是从帧中得到有关当时压缩函数的说明，根据这个压缩函数，借助于一个相应的函数和提供的参数以及必要时至少一个上述图像的瓷砖数据，又产生出连同容许误差的原始像素集合。
本发明的任务是，在像已知方法那样几乎相同的图像质量时，在视频图像序列数据的实时过程中，产生高得多的数据压缩。
解决办法在于在一个视频图像的视频数据的基本分析中，-在相互邻近的像素时，用亮度和/或色度跳跃式的变化确定图像结构的轮廓，-通过内插法进行轮廓平整和轮廓闭合，-将如此找到的轮廓逐段通过一个参数化了的数学函数来说明并被定义为对象，所有包括在一个可预先规定的阈值以下的像素数对象属于一个背景，-以向量方式按照方向和大小为各个对象和背景确定颜色偏移和颜色分布，
-以向量方式确定各个对象的位置和扩展，-为各个对象和背景各确定一个结构函数，并且在视频图像图像序列分析时-考虑到彼此相接对象的共同轮廓的情况，确定对象的亮度、大小、位置和取向的微分变化，-将如此规定的对象和背景与它们如此获得的光学的、按位置的和结构上的数据一起，布置和提供在一个结构化的基本帧或序列帧中；-将依此提供的基本帧数据和序列帧数据，为了解压缩和图像再处理，变换成像素数据，-此时从来自对象的基本帧确定它们在像素图像中所属的轮廓位置数据，-对于图像的背景和对象，总是用轮廓位置数据来限制，将它们相应于像素表示给各所属的结构函数用像素数据进行补充，-将它们按照颜色支配值(Farbdominanzwert)和颜色偏移向量以及亮度值被恢复，和-为了转移和/或改变对象，序列帧数据总是被用到先前的像素表示上。
本发明的扩展方案在从属权利要求中说明。
与传统的方法相比，借助于其轮廓和其结构确定和说明对象，导致极高的数据压缩，在传统的方法时总是处理单个矩形片断，而没有归纳和使用较大的图像的联系。
此外，为了使方法加速，在各个方法步骤中应用优选的新型方法，它们也被认为是独立的发明。
许多对象在它们的基本结构和在它们与其它对象的关系中相似，例如与一个人的头、臂、上身、下身、腿等，基于这种认识，在与其另外和所属的对象属于一个神经网络中，用它们的数据给轮廓数据存放一次识别出的和与函数有关刻画出特性的对象，以致于各自为一个要去发现的对象以后直接找到通常是邻接的对象并能为简化轮廓确定所用。
也能从神经网络中推断出编制不同对象的数学函数说明，这些说明只用诸如半径、中心向量、起动坐标和结束坐标等相应的现实参数设立。
一个对象的结构函数往往也等于或接近于同类对象的，以致于如果它存储在神经网络中和从中提取，都能将它作为第一个近似来用。
一个像素行的像素数据总是一列数字，可以通过用自然数执行的基本计算操作表示，通过利用上述知识有利地达到一个很高的压缩。尤其除法和n的平方根是简单的运算，它们很接近产生一行的或多或少周期性的像素数据。行的表示就缩小到函数的编码数据和数值，它们优先作为素数乘方的和或差来表示。
每个已经为一个像素序列找到的这类结构说明，优先放置在一个神经网络中，以致于它在那里直接可以利用或在以后出现一个类似的像素数据序列时作为第一个近似调出。
因为要应用的函数是基本的且由通常的高速计算机作为固定指令运算执行，可以从结构数据在图像再现的运行时间里产生像素数据；压缩完全没有问题。
视频-运行时间数据的压缩，在其各个步骤中，有利的是在于它的精确性与误差相容性的匹配。
在轮廓数据确定、平整等时，给予动荡的前台对象高分辨率的注意力，要大于给背景和被动对象获得的，此时总是为了进行处理给对象分配不同的最大计算时间。
此外，一个对象为像素规定的最小的像素集合，总是与还可供使用的计算时间匹配。只要图像时间的计算时间还有余，最大的对象先处理，将较小的对象从背景分离出并详细地在几何上和机构上加以说明并调整到帧中。
为了确定一个对象的结构函数，有利的是执行一个预先规定的最大时间，此时利用下面的知识，即如果像素数据没出现相邻堆积，各个像素数据的偏差没对图像质量产生本质的影响，因为结构仅涉及一个对象表面的普通外观，不涉及图像细节。
为了直观阐述，举个结构函数的例子由a的m次方+/-b的n次方除以c的p次方+/-d的q次方得到第x的方根；x＝1-3的整数；a，b，c，d＝到17的素数；m，n，p，q＝1-9的整数。
作为要分析的像素集合，例如各取一个图像行片断或一个8×8或16×16像素图像-片断的256个像素。像素数据通常以8-位编码。因此，运算不是十进制或十六进制而是模数256地进行，这样如编码数据那样的源数据和回收的目标数据永远作为8-位像素数据直接存在。
如果分析一个图像行或相继出现的图像行的多个行片断，往往由继续进行和/或移动以前有关结构函数的一些位置，以简单和省时的方式产生一个适当的解决办法。在所属的帧中给出变换来代替一个新的结构函数。
图1示出的是图像编码的一个方块图视频数据VD逐渐进行不同的方法步骤。
首先进行对象识别OE，此时利用在图像中以前识别出的对象01*；02*以及在第一个神经网络NN1中放置的对象作为辅助信息。将识别出的对象进行对象平整OG，此时预先规定一个分辨极限MIN。
将平整过的对象在注意到邻近极限关系的情况系进行一个对象说明，致使将对象01，02等按功能放在帧FR中。
为各个对象进行位置-和方向向量OL1，OL2等的确定OLV以及进行借助于颜色-和颜色分布向量OF1，OF2等的颜色说明。
此外，优先借助第二个神经网络NN2为对象01，02等确定结构函数和它们的参数OS1，OS2等，并像位置-和颜色向量那样放在帧FR中。
如果所有的对象保持在帧中，还要从背景HG确定出颜色向量HGF和背景结构HGS并存放到帧FR中。一个图像的完整的帧FR就被作为历史的帧FRH安置好，其总是用一个星在参考符号上标记的内容供下一个图像的编码作为起点材料使用。
如果确定出一个对象的颜色、位置、结构或取向只有微小的变化，变化只有在序列帧中详细说明，这使处理时间、存储-和传输能力有明显的节约。
将各自找到的对象说明、它们的邻近关系以及结构函数输送给神经网络NN1，NN2的基极，致使找到类似的对象和结构并在新图像编码时使用。
编码时间经过一个时间管理器TMG控制，并通过适当预先规定结构分析的最小分辨率MIN和最大时间TMAx保持在极限。
对以前所说明的结构函数计算的一种变通，可以类似于有利的用十六进制运算进行，为此要将通常8-位-像素信息划分为两个4-位-符号，这样要计算双份的位数和检验最大可能的相似性。将函数及其参数最好是，尤其是联系起来，也作为十六进制数码编码，并成对地以8-位字节封装在帧中。视给出的函数而定，给出或多或少的参数。
如果在一个字节中总有三个位是为了八个函数，三个位是为了八个第一批素数和两个位是为了它们的指数1-4，也可以通过这种方式在帧中实现一个很高的封装密度。作为函数的元素，可以例如将四个基本运算方法、开方-和乘方函数以及公式括号编码。对于括号函数，可以在字节的另外5位给出另外的特殊函数，就像一个公式结束符号或复函数那样。
权利要求
1.视频图像序列的或类似视频图像序列的视频图像数据压缩和解压缩的方法，这些图像序列作为各自在二维可寻址的像素中所属像素数据的一个序列存在，其中将各个所选出像素集合的像素数据用数学函数进行分析并缩小地压缩到它们的函数参数上去，在存储和/或传输之后用一个相应的数学函数尽可能再现地进行解压缩，其特征在于在一个视频图像的视频数据的基本分析中-对相邻的像素，用亮度和/或色度跳跃式的变化确定图像结构的轮廓，-通过内插法进行轮廓平整和轮廓闭合，-将如此找到的轮廓逐段通过一个参数化了的数学函数来说明并被定义为对象，所有包括在一个可预先规定的阈值以下的像素数对象属于一个背景，-以向量方式按照方向和大小为各个对象和背景确定颜色偏移和颜色分布，-以向量方式确定各个对象的位置和扩展，-为各个对象和背景分别确定一个结构函数，并且在视频图像图像序列分析时-在考虑彼此相接对象的共同轮廓的情况下，确定对象的亮度、大小、位置和取向的微分变化，-如此定义的对象和背景与它们如此获得的光学的、按位置的和结构上的数据一起被布置和提供在一个结构化的基本帧或序列帧中；-为了解压缩和图像再处理，将依此提供的基本帧数据和序列帧数据变换成像素数据，-此时从来自对象的基本帧确定它们在像素图像中所属的轮廓位置数据，-对于图像的背景和对象，总是用轮廓位置数据来限制；相应于各自所属结构函数的像素表示被用像素数据填充，-它们根据按照颜色支配值和颜色偏移向量以及亮度值被恢复，和-为了转移和/或改变对象，所述序列帧数据总是被应用于先前的像素表示上。
2.如权利要求1的方法，其特征在于将所说明的对象与它们的数学函数存放在一个神经网络(NN1)中，该神经网络用于识别(OE)视频图像数据(VD)中的对象。
3.如上述权利要求之一的方法，其特征在于将所确定的结构函数(OS)与它们对象和背景的参数存储在一个神经网络(NN2)中，该神经网络在进一步确定结构函数(OS)及其参数时被用作一个起点基础。
4.如上述权利要求之一的方法，其特征在于结构函数(OS)总是被表示为一个数学函数，参数是整数数值，函数提供小数位的一个无限数。
5.如权利要求4的方法，其特征在于结构函数(OS)是一个分数、一个n次方根或一个超越函数。
6.如权利要求4或5的方法，其特征在于整数数值被以偏移的方式表示为素数的指数以及这些素数的和或差编码。
7.如权利要求4至6之一的方法，其特征在于所述参数表示模数2的8次方，所述函数用表示模数2的8次方的量执行，这样一些量作为小数位提供。
8.如权利要求4至7之一的方法，其特征在于将各个结构函数(OS)与一个预先规定长度或一个矩形像素图像片断的图像行片断像素数据序列近似相配地去确定。
9.如权利要求8的方法，其特征在于行片断有个64、128或256字节的长度，或像素图像片断有8乘8或16乘16字节的量。
10.如权利要求8或9之一的方法，其特征在于将结构函数(OS)总是这样长地或这样准确地通过逐渐接近与近似表示的像素数据序列匹配，该像素数据序列是通过一个预先规定的时间(TMAx)或一个预先规定的精度确定的。
11.如权利要求10的方法，其特征在于所述预先规定的时间或精度取决于相应对象的位置或一个相应位置变化速度来确定，其中，对于在图像当中的和/或静止的对象分配比在边缘的和/或相对快速运动的对象和/或给背景一个较长的时间和/或一个较高的精度。
12.如上述权利要求之一的方法，其特征在于总是只进行一个另外识别和描述的那些有最少像素个数的对象，以及将较小的对象分配给背景。
13.如权利要求12的方法，其特征在于只要可供使用的计算时间够用，就一个接一个地以降低的像素数目处理对象，由此在一个图像内容的编码时，根据可供使用的计算时间确定像素的最少个数。
全文摘要
视频图像数据压缩和解压缩的方法，在一个视频图像的视频数据的基本分析中，在相互邻近的像素时，用亮度和/或色度跳跃式的变化确定图像结构的轮廓，将如此找到的轮廓逐段通过一个参数化了的数学函数来说明并作为对象来确定，为各个对象确定一个颜色偏移和一个颜色分布以及各个对象的位置和扩展和一个结构函数，在视频图像图像序列分析时考虑到彼此相接对象的共同轮廓的情况，去确定对象的亮度、大小、位置和取向的微分变化。将如此规定的对象，布置和提供在一个结构化的基本帧或序列帧中。轮廓分析和结构分析借助于神经网络进行。
文档编号H04N7/36GK1669054SQ03816633
公开日2005年9月14日 申请日期2003年7月10日 优先权日2002年7月12日
发明者U·普罗克诺 申请人:艾特维西坎股份公司