专利名称：活动图像专家组4图像设备的物体背景信息编码设备和方法
技术领域：
本发明涉及一种用于运动图像专家组—4(下文称之“MPEG—4)图像设备的物体背景信息编码设备和方法。特别是涉及一种用于MPEG—4图像设备的改进了的物体背景信息编码设备和方法。它能够有利地编背景图像，用存储器对应MPEG—4标准来压缩图像数据，并且没有误差的补偿背景信息。
通常，MPEG—4是利用图像的空间关系来有效地压缩和重现运动图像。它直接使用离散余弦变换(下文称“DCT”)，并用运动补偿来消除时间冗余。
参考
图1A至1B，在MPEG—4中，编码类型是分成三种帧图像类型I—帧图像，P—帧图像和B—帧图像。
I—帧图像类型是用离散余弦变换电路106直接对图像本身取离散余弦变换形式进行编码无运动预测。P—帧图像是预测仅仅向前方向的，B—帧图像是预测向前方向和向后方向。
因此，在B—帧图像类型情况下，从第一输入端101输出的图像应该对译码操作的次序进行重建。这是由第一帧重建电路102完成的。
从第一帧重建电路102输出的输入图像是用运动预测电路122来预测的。
此时，第一运动补偿电路121是用运动矢量123进行运动补偿。
中间/内部分析电路124判断目前处理的宏块是否是运动补偿方式的中间模式，还是没有运动补偿直接变换成离散余弦变换方式的内部模式，并且控制第一开关电路125。
被第一输入端101补偿了的图像以差分图像的形式输出到减法器103上。而差分图像是由帧/场分析电路104直接确定离散余弦变换的类型。帧/场格式化电路105变换由帧/场分析电路104所确定的余弦类型的数据。
帧/场格式化电路105的输出通过离散余弦变换电路106以离散余弦形式变换成频率成分信号。此外离散余弦变换的频率成分信号被量化电路107量化，并输入到Zig/Zag锯齿扫描变换电路108。
从量化电路107输出的量化系数值通过锯齿扫描变换电路108依次被以锯齿扫描的形式扫描，并且以Zero—run(零游程)和以电平对形式被测定。
同时，量化电路107根据第一缓冲电路110的状态接收控制。
即，如果一大数目的比特数组存储在第一缓冲电路110里，那么量化控制电路111用增加量化标值来减少比特量，反之，如果是小数目的比特数组存储在第一缓冲电路110里，量化标值被减少，比特数量就增加。
通过锯齿扫描变换电路108得到的游程和电平对被变换成与MPEG—4主要标准(profile)对应的比特数组以及附加的其他信息，如运动矢量123，然后用预定的比特速率以比特的形式输出到输出端126。
在此时，锯齿扫描变换电路108的输出通过第一锯齿扫描变换电路112，第一反量化电路113，第一反离散余弦变换电路114，第一反帧/场格式化电路115被解码并且被解码的输出信号通过第一加法器116加在图像运动补偿信号上，从而被恢复。
如果通过第二输入端的编码类型是I—帧类型和一个P—帧类型，用于运动预测电路和第一运动补偿电路121的参考图像时，被恢复的图像通过第二开关电路117，被存储到第一反向参考存储器120上。此外，当I—帧图像或者P—帧图像被编码时，存储的图像被移动到第一正向的预测参考图像存储器119上。
此外，图2表示了一个常规的MPEG—4视频解码器的系统的结构图。解码器是用来恢复比特流在监视器上显示用。它的操作说明如下首先，从第三输入端201输出的比特流被存储在第二缓冲电路202上，并且通过流动和固定长度的解码器203被解码转变成为附加的信息，如离散余弦变换系数，运动矢量一个内部/中间，编码类型等。
用第二反扫描变换电路204通过第二反扫描变换电路204被解码的离散余弦变换系数信息被恢复到锯齿扫描变换以前的值。
在I—帧图像(内部方式)情况下，信息是通过第二反量化电路205和第二反帧/场格式化电路207被恢复成图像。在P—帧图像情况下和B—帧图像情况下(内部方式)，信息被恢复成差分图像。
被恢复的差分图像与运动补偿图像一起又被恢复成图像，并且通过第二帧重建电路209按照显示顺序被重建，和被输出到输出端218。
假如通过第六输入端217的图像编码类型是I—帧图像和P—帧图像，被恢复的图像通过第四开关电路216被存储在第二反向的预测参考图像存储器215上。当I—帧图像或者P—帧图像被解码时，它从第二反向的预测参考图像存储器215移动到第二正向的预测参考图像存储器214上。
通过由游程(run)—和固定的长度解码器203上得到的，用第五输入端213上输出的运动矢量第二运动补偿电路212实现了运动补偿。利用一个由游程—和固定的长度解码器203上得到的一个内部/中间211，假如在一个内部方式情况下，通过第二运动补偿电路212被补偿了的运动图像由第三开关电路210被传送到第二加法器208上。
然而，常规的MPEG—4视频解码器和解码器具有图像质量不好的缺点，这是因为以编码方式传送的被压缩了的图像是简单地恢复到原有的图像数据。另外，因为这里是分别地提供编码器和解码器不能够得到较好的压缩和恢复操作，结果是压缩得很糟糕的图像数据被传送了。
因此，本发明的目的是提供一种用于MPEG—4图像设备的物体背景信息编码设备和方法。它克服了在常规的用于MPEG—4图像设备的物体背景信息编码设备和方法上所碰到的问题。
本发明的另一个目的，是提供一种改进了的用于MPEG—4图像设备的物体背景信息编码设备和方法。它能够有利地编一个背景图像编码，利用一个存储器来压缩和MPEG—4轮廓相对应的一个图像数据，并且没有误差的补偿了背景信息。
为了完成上述的目的，这里提供一种用于MPEG—4图像设备的物体背景信息编码设备。该设备包括了第一区域抽取电路，该电路用由当前的输入图像信号和在当前输入图像信号之后输入的图像信号所得到的运动矢量抽取变化区域；第二区域抽取电路，用于从第一区域抽取电路的输入信号中抽取未被覆盖的区域；未被覆盖的背景抽取电路，用于从第一区域抽取电路抽取的变化的区域信息中用运动矢量抽取未被覆盖的背景信息；背景存储器，用来存储第一区域抽取电路的区域信息和第二区域抽取电路的区域信息；环境值补偿电路，补偿由未被覆盖背景抽取电路抽取的未覆盖背景信息，用于背景存储器的环境值；背景综合电路，用于综合由环境值补偿电路所补偿的未被覆盖背景信息和存储器的背景信息；误差区域抽取电路，用于从背景综合电路所综合的未被覆盖背景信息中抽取误差区域。
采样电路，该电路用来抽取的误差区域信息采样；差分脉冲编码调制电路，用于对采样电路采样的未被覆盖的误差区域信息进行差分—脉冲—编码—调制，并且把调制的信息传送到解码器。
为了达到上述的目的，这里进一步提供一种用于MPEG—4图像仪器的物体背景信息编码的方法，它包括第一步用当前的输入图像信号和当前的输入图像信号之后的一个图像信号来抽取运动矢量；
第二步，是利用第一步抽取物一个运动矢量来抽取变化的区域信息和未变化的区域信息；第三步是利用运动矢量和第二步抽取的变化区域信号一起来抽取未被覆盖的背景；第四步是更新变化区域和未变化区域的背景信息；第五步用被存储背景信息的环境值来补偿第三步的未被覆盖背景的信息；第六步综合用第五步补偿的未被覆盖的背景信息和第四步存储的背景信息；第七步抽取第六步综合的未被覆盖的错误背景区域，对这个抽取的未被覆盖错误背景区域采样并且差分—脉冲—编码—调制该被采样的未被覆盖的错误背景区域。
图1A到1B是常规的MPEG—2视频编码系统的方框图。
图2是常规的MPEG—2视频解码系统的方框图。
图3是根据本发明物体背景信息编码设备的方框图。
图4是表示了根据本发明，关于图3的输入图像信息的一个未变化区域和未被覆盖背景的视图。
图5是表示了根据本发明，存在图3存储器里的初始背景信息的状态的视图。
图6是表示了根据本发明，用环境值去填充图3初始背景图像中未被覆盖的背景的例子的视图。
图7是表示了根据本发明，用图3上的背景存储器，在组合了未被复盖的背景之后误差区域的视图。
参考图3，根据本发明，用于MPEG—4图像设备的物体背景信息编码设备利用一个输入的图像信号300和下一图像信号直接定出一个运动矢量，利用通过一个接收端(解码设备)的一个运动信号定出下一图像信号。运动矢量存在的区域被认为是一个变化区域，而且它的区域信息被传送到第一区域抽取电路301上。剩余的区域被认为是未变化区域和它的区域信息被传送到第二个区域抽取电路302上。
在初始输入图像信号中不存在象素值的区域被认为是一个未复盖的背景和它的信息，利用由第一区域抽取电路301输出的运动矢量被传送到未覆盖的背景抽取电路303上。
图像的背景信息是使用背景存储器304从第二区域抽取电路302的输出获得。背景存储器304具有同样的内容。存储器的容量是和图像的大小相同。从连续图像上得到背景信息然后存储在存储器上。此后，已变化的背景被更新。
从第二区域抽取电路302输出的信号信息被用于从存储在背景存储器304上的初始图像里抽取未变化的区域。运动图像信号信息是不存在背景存储器304上。它是不必要的。
在初始化过程结束之后，在这些情况下对存储器进行更新过程。其一是在最初时被认为是未变化的背景之后由第二区域抽取电路302的区域信息去更新背景存储器304；另一个情况是在直图像变化时，当变化的区域被改变成未变化区域时，将信息传送到背景存储器304上。
对于未被覆盖背景的合成，设有环境补偿电路305，以补偿存储在背景存储器304中的环境值。在此时，如果在预先规定的时间内没有被更新的区域，则无论何时制作用未覆盖背景都从背景存储器304输出象素值。
如果未被覆盖的背景合成电路306是不正确的，误差背景是由误差区域抽取电路307定位，用采样电路以4∶1比例采样，并且用差分脉冲编码调制电路309编码。
图3显示了根据本发明图像设备的物体背景信息编码设备。此外，图4显示了根据本发明的相对于图3的输入图像信息未变化区域和未被覆盖的背景。
如同所示的那样，一个运动矢量是用一个初始的输入图像信号300和下一个图像信号被定位出。相反地，在接收端，下一个图像信号是用一个运动矢量来定位。
在运动矢量存在的区域被认为是变化区域，然后它的信息被传送到第一区域抽取电路301上。剩余的区域被认为是未变化区域，然后该信息被传送到第二区域抽取电路302上。
依运动矢量，变化区域被分成有物体运动的区域，和另一个区域有运动矢量存在形成未被覆盖的背景。
在这里，问题是如何抽取和补偿未被覆盖的背景。为了解决这个问题，首先定位未被覆盖背景的方法是使用第一区域抽取电路301抽取的区域信息及运动矢量，确认初始输入图像信号中不存在象素值的区域为未被覆盖的背景。此外，一个连续图像的背景信息可由背景存储器304得到。
接收端和传送端都需要的背景存储器304必须要具有相同的内容，并且存储器的容量必须要和图像的大小相同。
背景信息是从连续(straight)图像上得到并存在背景存储器304上。此外，新出现的背景信息应用于对其内进行更新。在连续图像里被认为是背景的信号值是被存在背景存储器304里。背景信息是在初始阶段和更新阶段得到的。另外，初始阶段第二区域抽取电路302从第一图像中抽取未变化区域。由此得到的信号信息被存储在背景存储器304中。
在通常用背景存储器编码的方法中，第一个图像的信息是被存储在初始阶段的背景存储器中。
然而，根据本发明，在物体背景编码方法中，因为变化区域是在分开图像的阶段里抽取的，运动物体的信号值，也就是不必作为背景信号的信号不存储在背景存储器中的。
图5显示了一个过程，它是在初始阶段在第一图像中未变化区域被存储在背景存储器304中。
在初始化阶段之后，存储器的更新过程被分成2种情况。第一种情况是使用第二抽取电路302对背景存储器304进行更新，第二抽取电路302用于从第一阶段中抽取未变化区域作为未变化的背景。第二种情况是当有未变化区域信息其在第一阶段时被认为是变化区域信息但在连续图像过程中被变成为未变化区域信息时对背景存储器304进行信息更新。
而在此时，为了合成未被覆盖的图像，先前存储在背景存储器304里的环境值是由环境值补偿电路305来补偿。
此外，图6表示了一个例子。按照本发明的图3上的一个初始背景图像用环境值填充未被覆盖背景的例子。图7显示了一个误差区域，它是按照本发明的图3的背景存储器，组合未被覆盖的背景之后的一个误差区域。
在那里所显示的，如果不在存在规定的时间内进行更新的区域，则无论何时出现未被覆盖的背景都由背景存储器304中获得象素值。
按照上面所描述的过程和方法，图像信号能够传输但不传输背景图像的每个象素。
然而，有时，当背景的亮度被改变时，或者当上述的存储器值作为背景信息是不正确时，存储在背景存储器304里的背景信息不能精确地被预测。
如果用背景综合电路306不能精确地实现背景的综合，通过误差区域抽取电路307得到的误差区就被定位。与误差区域相对应的信号值被采样电路308以4∶1比例采样，然后传送到差分脉冲编码调制电路309。
差分脉冲编码调制电路309，差分—脉冲—编码—调制了未被覆盖的背景的错误区域信息并且被传送到背景综合电路306上。
如上所述，本发明是用背景存储器、环境值、差分脉冲调制编码并传送大量的背景信息。从而使用对应于MPEG—4标准压缩图像数据的存储器无误差的对背景图像优化编码。
权利要求
1.一种用于MPEG—4图像设备的物体背景信息编码设备和方法包括第一区域抽取装置用于使用运动矢量抽取一个变化区域，运动矢量是由当前输入图像信号及该当前输入信号之后输入的图像信号获得的；第二区域抽取方式用于从中所述第一区域抽取方式的输入图像信号中抽取一个未被覆盖的区域；未被覆盖的背景抽取装置用于从第一抽取装置用运动矢量抽取的所述变化区域中抽取未覆盖的背景信息；一个背景存储器用来存储第一区域抽取装置的区域信息和上述第二区域抽取装置的区域信息；环境值补偿装置是用于对背景存贮的环境值补偿所述未被覆盖背景抽取装置的未被覆盖背景信息；背景缩合装置用于综合被上述环境值补偿装置补偿了的未被覆盖的背景信息和存储器的背景信息；误差区域抽取装置是用于从背景综合装置所综合的未被覆盖的背景信息中抽取误差区；采样装置用于对抽取的误差区域信息采样；微分脉冲编码调制装置用于对被所述的采样装置采样的、未被复盖的误差区域信息进行微分脉冲编码调制并且将被调制的信息传送到解码器。
2.如权利要求1中的设备，其中所述第一区域抽取装置是直接来识别一个有运动矢量存在的区域做为变化区域，并识别剩余的设有运动矢量的区域做为未变化区域，并且传送已识别的信息到上述的第二区域抽取装置。
3.如权利要求1中的设备，其中所述未被覆盖的背景抽取装置是使用运动矢量及第一区域抽取装置的变化区域信息，在初始输入图象中素值不存在的区域抽取未被覆盖的背景。
4.如权利要求1中的设备，其中所述背景存储器是具有同样的传输和接收端，并且它的存储器容量和图像的大小是相同的。
5.一种用于MPEG—4图像设备的物体背景信息编码方法，包括下列几步骤第一步是使用当前输入图像信号和该当前输入图像信号之后输入的图像信号来抽取运动矢量；第二步是使用第一步骤中抽取的运动矢量来抽取变化区域信息和不变化的区域信息；第三步是使用运动矢量和由上述的第二步抽取的变化区域信号一起抽取未被覆盖的背景；第四步更新变化区域和未变化区域的背景信息；第五步是为上述存储的背景信息的环境值补偿上述第三步的未被覆盖的背景信息；第六步是综合上述第五步补偿的未被覆盖的背景信息和上述第四步存储的背景信息；第七步是抽取上述第六步综合的未被覆盖的误差背景区域，采样这个已被抽取的未被覆盖的误差背景区域，和微分—脉冲—编码—调制这个已被采样的未被覆盖的误差背景区域。
6.如权利要求5的方法，其中，所说的二个区域的抽取是直接通过识别区域有矢量存在，作为变化区域，而剩余的区域作为未变化区域。
7.如权利要求5的方法，其中，所说的未被覆盖的背景的抽取是使用运动矢量同变化区域信息一起，直接通过识别区域，在该区域在初始输入图像信号中一个初始像素值不存在，作为未被覆盖的区域而抽取。
8.如权利要求5的方法，其中，所说的第四步是使用未变化区域信息直接得到连续图像的背景信息并把得到的背景信息存进存储器里。
9.如权利要求8的方法，其中，所说的存储器的容量和图像的大小相同，并且要具有相同的接收和传送端。
10.如权利要求5的方法，其中，所说的存储器的容量和图像的大小相同，并且要具有相同的接收和传送端。
11.如权利要求5的方法，其中，所说的第四步是直接存储未变化区域信息，而不存储运动物体的信号值。
12.如权利要求5的方法，其中，在初始化过程之后所说的第四步包括一个子步骤，将一个区域，在该区域中背景被作为未变化区域信息，与另一区域，在该区域中第一阶段，区域被作为变化的区域，在预定的时间之后，区域被作为未变化区域分开。
13.如权利要求5的方法，其中所说的第六步是当一定时间，不进行更新区域时，不论何时未覆盖的背景信号被输出，这些总是从所说的被存储的背景存储器里读一个像素值。
全文摘要
一种改进了的用于MPEG-4图像设备的物体背景信息编码设备和方法，它能够有利地编背景图像编码，用存储器对应于MPEG-4标准来压缩图像数据，并且没有误差的外径背景信息。
文档编号H04N7/26GK1128457SQ95109650
公开日1996年8月7日 申请日期1995年7月28日 优先权日1994年12月28日
发明者吴诚埈, 千胜文, 文柱禧, 金在均 申请人:现代电子产业株式会社