专利名称：智能水环扫描装置及方法及使用它的视频编码/解码装置的制作方法
技术领域：
本发明涉及智能水环扫描装置及方法，更具体地说，涉及通过使用水环扫描技术和适当地交换用于在每个水环处人的视觉系统(HVS)的图像序列，即使在不良数据传送环境中，也能提高图像质量的水环扫描装置和方法，以及用于记录实现该方法的程序的计算机可读记录介质。水环扫描技术通过最优先地扫描某一、任意光点处的图像序列，扫描在图像序列的边界上的另一相邻图像数据，以及重复这一过程来恢复图像序列。
背景技术：
强烈需求用于可扫描编码方法作为用于编码包括静止图像和运动图像的图像的方法。特别地，人们想使用能使任何一个人可以与使用图像数据的任何人、任何时间和任何地点，以及与各种计算机诸如膝上型电话、掌上型计算机、PDAs等等连接、已经引入无线Internet的信息家用电器通信的移动通信服务，获得、管理和修改图像数据。因此，将在市场中展示不同形式的图像数据家用电器，以及那些图像数据家用电器的解码能力或信息传输环境将彼此不同，因为根据终端的类型，属性和应用环境是不同的。
在此需要考虑的是如何稳定地将运动图像传送到每个终端的接收环境。例如，如果同意对低质量解码器执行编码，具有高质量解码器的用户将用他的昂贵的解码器接收低质量图像，这是没有人所希望的。即，具有高质量解码器的用户可以适当地获得高质量图像，以及甚至具有低质量解码器的用户也将接收相当图像水平。例如，当接收端的终端是高计算能力和交付层，例如无线、ATM、LAN等等处于良好状态，其能接收和显示高质量运动图像。然而，当其计算能力和交付线不处于良好状态时，它不能接收高质量图像。
为解决这一问题，运动图像专家组-4(MPEG-4)设计基于接收部分上终端的环境和性能，以各种水平的图像质量提供图像。
可扩展性编码是编码部生成和传送可扩展性位流以便接收端能以从低质量到高质量的不同图像质量接收图像的方法。即，如果位流可扩展，低性能接收端将接收和显示编码在基本层中的基本质量的图像位流，而高质量接收端接收和显示编码在增强层中的高质量图像位流。
可扩展编码方法主要由基本层和增强层组成。编码部的基本层传送基本运动图像以及其增强层除传送基本质量的运动图像数据外，还传送用于提供高级质量的图像的数据，以便接收端能同时从基本层提出数据和从增强层提出数据并解码成高质量图像。
因此，接收端在根据接收端的计算能力和交付层状态传送的两个层的图像数据上执行解码。如果解码器不具有用于通过交付层传送的所有数据的足够的解码能力，它仅解码来自为最小图像质量补偿层的基本层的数据，以及来自增强层的数据仍然未解码并消除。同时，高质量接收端能提供来自所有层的所有数据以及实现高质量图像。因此，通过使用可扩展编码方法，可以接收能满足具有高质量解码器的用户以及具有低质量解码器的用户的图像。
传统的可扩展编码方法适当地设计为交付层处于相对稳定和良好状态的情形。即，仅当接收端接收从增强层传送的所有位流时，才能完全恢复图像帧。如果交付层状态改变(改变交付层能适应的位流带宽交付层如Internet通过外部因数，诸如Internet用户的数量，改变分配到用户的带宽)，以及不接收来自增强层的整个位流，不能正常地恢复相应的帧图像。在这种情况下，接收端应当请求传送方重传，或放弃执行图像恢复直到接收到所述位流为止，或通过使用在前帧图像，执行传输错误隐藏。
在有线/无线Internet中频率地发生由于不稳定的交付层状态，不能赶上实时地快速传送图像位流。简单地说，为即使当由于正好出现在有线/无线Internet中的不稳定的交付层状态，改变带宽时，也能实时恢复所传送的图像，接收端必须能仅通过到那时为止已经接收的图像位流部分，实时恢复图像，尽管还没有接收到所述位流。用于这种方法的一个例子是由MPEG-4提出并确定为国际标准草案的精细分级编码(FGS)方法。
FGS编码方法使得当接收方未接收在基本层编码器和增强层编码器中编码并从其传送的所有位流时，例如，在可扩展编码期间，当交付不稳定，并且突然改变时，正好有线/无线Internet，并改变分配到用户的带宽时，通过到那时为止已经接收的一些位流，恢复所传输的图像成为可能。计划补充考虑到稳定的交付层具体化的传统的可扩展编码方法的缺点。
为在接收端通过部分图像位流有效地恢复图像，当传送端基于所传输的图像，在基本层形成具有提高质量的图像并传送它时，以位平面为基础传送图像位流。即，FGC方法与传统的可扩展编码方法类似之处在于当增强层所需的位流从传输方传送到接收端时，通过发送原始图像和从基本层传送的图像间的图像差异，提高所传送的图像的质量。然而，通过本发明的方法，尽管突然改变交付层的带宽以及还没有接收到图像恢复所需的所有位，通过使用到那时为止接收的位流，能恢复图像。根据该方法，将传送的图像被分成位平面。随后，通过以最高优先权传送最高有效位(MSB)，然后传送下一有效位，并不停地重复该过程。
图1A是示例说明传统的FGS编码器的结构的框图，以及图1B是示例说明传统的FGS解码器的结构的框图。如图中所述，按MPEG-4国际标准定义的FGS编码器的基本层采用MPETG-4图像编码方法。
FGS编码器包括离散余弦变换(DCT)单元、位平面平移单元、最大值计算单元、基于位平面的可变长度编码(VLC)单元、量化(Q)单元、可变长度编码(VLC)单元、运动补偿(MC)单元、逆量子化(Q-1)、逆离散余弦变换(IDCT)、运动估算(ME)、帧存储器和剪辑(clipping)单元。
在图像编码方法中，通过DCT、量化单元、ME单元、逆量子化单元和IDCT单元，在空间和时间方向中施加图像数据。然后，通过执行VLC，基于符号生成概率的优势，执行熵编码，从而传送基本层位流。
如该图中所示，通过获得原始图像和存储在基本层中的图像间的剩余图像，执行DCT，执行位图平移，查找最大值和执行位图VLC的过程，执行增强层的FGS编码。
在获得剩余图像的过程中，通过计算原始图像和在基本层中编码后恢复的图像间的差异，获得剩余图像。后一图像是已经通过该图中的逆量子化(Q-1)、IDCT单元和剪辑单元的恢复图像。
DCT单元通过使用基于块(8×8)的DCT，将在上述过程中获得的基本图像的剩余物变换成DCT域。
在这里，如果你需要具有可选的更高质量的块，在别的之前应当传送相应值，以及为此，可以可选地执行位平面平移。这定义为选择性增强，以及在位平面平移单元中执行。
最大值计算单元计算已经通过DCT的所有其他值的绝对值中的最大值。使用所获得的最大值来计算用于传送相应图像帧的最大位平面的数量。
位平面VLC单元将在块基础上获得的64个DCT系数(对应于DCT系数0或1的位平面的位)形成为按Z字形扫描顺序的矩阵。每个矩阵是根据VLC表编码的游程长度。
如图1B中所示，将按MPEG-4国际标准草案定义的传统的FGS解码器的结构划分成基本层和增强层。与在图1A中所述的编码器的编码过程相反，执行从交付层传送的位流的解码。
在基本层中，实际上使用MPEG-4图像解码方法，而没有任何损坏。FGS编码器包括位平面可变长度解码(VLD)单元、位平面平移单元、逆离散余弦变换(IDCT)、剪辑单元、VLD单元、逆量子化(Q-1)、运动补偿(MC)单元和帧存储器。在将位流输入基本层后，执行VLD、执行逆量子化、在相应的值上执行IDCT、将它们增加到MC值上，以及剪辑人0至255的值间的相应值，恢复从基本层传送的图像。
在采用FGS编码方法的增强层中，与编码器的编码过程相反，执行传送到增强层的位流的解码。首先，在输入的增强位流上执行位平面VLD，以及如果传送有关具有可选更高图像质量的位置信息，可选地执行位平面平移。
随后，IDCT单元在通过执行位平面VLD和执行可选平移获得的值上执行基于块(8×8)IDCT以便恢复从增强层传送的图像。然后，将编码在基本层中的图像的合计值剪辑成0和255间的值以便最后恢复具有提高质量的图像。
在这里，为恢复具有到那时为止接收到的一样多位流的图像，仅可以使用能最大化基本层的编码效率的方法以及不可能使用提高增强层的编码效率的其他方法。
图2A是示例说明在使用DCT的图像和运动图像编码方法中，传统的光栅扫描顺序的示例图，以及图2B是将传统的光栅扫描顺序应用于可扩展编码方法的示例图。
在通常用在联合图像专家组(JPEG)、H.263、MPEG中的使用DCT的图像编码方法中，按宏块或8×8块编码的传送图像数据。在这里，编码和解码所有图像帧或视频对象平面(video object plane(VOP)在图像的左上行从宏块或块开始并逐步地进行到左下部分的一个。在本发明中，这被称为光栅扫描顺序，如图2A所示。
光栅扫描顺序是将用于增强基本层和增强层间，或增强层间的编码效率的方法应用于传统的图像或运动图像处理方法所必须使用的扫描顺序。
当将光栅扫描顺序应用于使仅恢复具有到那时为止接收的一些位流的图像成为可能的可扩展编码方法时，在上面部分上的部分宏块或块被解码以及在接收端的屏幕上显示所恢复的图像，如图2B所示。黑块是解码块，而白块是未解码的块。
即，在基于传送到基本层的位流和传送到增强层并解码的位流，在接收端恢复所改进的图像的过程中，如图2B所示，如果在增强层中仅接收和解码上面部分的图像数据，恢复图像数据变为仅在增强层中执行解码的部分上具有改进图像。然而，这一问题的缺点在于某些浏览者未注意到所恢复的图像的改进部分，诸如背景、或除演员的脸外的其他部分，从而接收和恢复增强层的位流的这一过程变为无价值。
发明内容
为恢复仅具有一些位流的图像，应当最大化基本层中的编码效率。因此，即使按任意扫描顺序而不是光栅扫描顺序传送增强层的图像数据，也能恢复从解码器传送的位流，而没有任何错误。
因此，本发明的目的是提供能即使在不良图像数据传送环境中，也能改进主图像帧部分处的图像质量以及通过使用重复执行编码最高优先级的图像帧的某一部分，然后编码在前编码的图像的外界上的相邻图像数据以便基于优先级，编码和传送每个水环的图像数据的水环扫描技术，提供适合于人的视觉系统的图像的装置和方法。
本发明的另一目的是提供考虑到人的视觉系统，而不使用光栅扫描顺序，能最大化所接收的图像的质量，以便即使在不良数据传送环境中，也能在图像编码装置的接收端，恢复仅具有从增强层接收的一些位流的图像的扫描装置和方法。
本发明的其他目的和方面从参考附图的本发明的说明书和权利要求书，将变得显而易见。
根据本发明的一个方面，图像编码装置根据有效性优先级，分化将编码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，图像编码方法根据有效性优先级，分化将编码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，用于记录实现图像编码方法的程序的计算机可读记录介质根据有效性优先级，分化将编码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，图像解码装置根据有效性优先级，分化将解码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，图像解码方法根据有效性优先级，分化将解码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，用于记录实现图像解码方法的程序的计算机可读记录介质根据有效性优先级，分化将解码的图像数据量以便按不同图像质量水平，处理适合于人的视觉系统的图像。
根据本发明的另一方面，水环扫描装置扫描和处理按预定顺序编码/解码的图像数据以便在图像编码/解码过程中，易于处理图像数据。
根据本发明的另一方面，水环扫描方法扫描和处理按预定顺序编码/解码的图像数据以便在图像编码/解码过程中，易于处理图像数据。
根据本发明的另一方面，计算机可读记录介质记录实现用于扫描和处理按预定顺序编码/解码的图像数据以便在图像编码/解码过程中，易于处理图像数据的水环扫描方法的程序。
从参考附图的本发明的说明书和权利要求书，本发明的其他目的和方面将变得显而易见。另外，当确定在相关现有技术上更详细的描述会使得本发明的发明点变得模糊时，将省略详细描述。在此，将参考附图，描述本发明的优选实施例。
本发明的方法通过在水环扫描过程中，在水环原点传送图像，该图像需要在最高优先级，以高质量编码，以及适度地退化整个图像的边界上的其他图像部分，改进适合于人的视觉系统的图像。例如，在图像的中心部分是水环原点的情况下，因为当摄取照片时，最高有效位目标通常处于屏幕的中央，在中央部分上的图像不仅按最高优先级传送/接收，而且显示出最高质量。由于用户很少对该图像感兴趣，随着其进入图像的边界，适度地降低用于传送/接收的优先级以及图像质量。这样，在接收端保证感兴趣部分中的图像质量，同时维持传统的视频编码方法的相同传输位率。
根据本发明的另一方面，在将传送的图像帧的任意部分，按优先级执行编码。在这里，基于图像部分的有效性，分化数据传输量以便执行智能方法。在智能方法中，适合于人的视觉系统地提供特定部分上的图像质量。然后，接收端从按最高优先级传送的部分接收图像数据并执行解码。通过由于不良传输环境，在数据传输停止前传送的位流，恢复图像。按优先级传送/接收最高有效性部分中的图像数据以便基于有效性，提高相应位置中的数据。
在本发明的方法中，确定需要按优先级编码和传送的图像帧的任意部分。然后，适度地从该部分到相邻的部分执行编码。即，在某一部分首先执行编码后，重复编码与在前图像相邻的下一图像数据的过程。该方法通过传送/接收用于最高有效性图像部分的更多数据和用于边界上的图像部分的更少数据，使得适合于人的视觉系统地提高图像帧。
从下述结合附图的优选实施例的描述，本发明的上述和其他目的和特征将显而易见，其中图1A是示例说明传统的精细分级编码(FGS)编码器的结构的框图，以及图1B是示例说明传统的FGS解码器的结构的框图。
图2A是示例说明在使用DCT的图像和运动图像编码方法中，传统的光栅扫描顺序的示例图；图2B是应用于可扩展编码方法的传统的光栅扫描顺序的示例图；图3是描述水环扫描的原理的图；图4是描述图像区的有效性和水环的振幅的关系的图；图5是描述水环原点和质量因数(QF)间的关系的图，其基于每个图像部分中的有效性。
图6A是描述使用基于QF的水环扫描的数据处理的流程图；图6B是描述根据本发明的实施例的基于QF的水环扫描装置的结构图；图7A是根据本发明的另一实施例，描述使用基于QF的水环扫描的编码过程的流程图；图7B是表示图7A的编码器的结构图；图8A是示例说明根据本发明的另一实施例，使用基于QF的水平的解码过程的流程图；图8B是表示图8A的解码器的结构图；图9A是描述水环原点的绝对坐标的图；
图9B是示例说明从设定为水环原点的图像的中心部分的相对坐标的图；图9C是表示到在前图像帧的水环原点的相对坐标的图；图10是示例说明水环(i)和QF间的关系的图；图11是根据本发明的实施例的水环-QF表；图12表示固定长度编码(FLC)表，其是从编码器传送到解码器的水环(i)-QF表的分类；图13是根据本发明的实施例，描述用于生成图12的FLC表的过程的流程图；图14是描述使用水环(i)-QF表的过程的流程图；图15A和15B是根据本发明的实施例，示例说明将参数应用于QF确定模型的结果的表和图；图16是表示用于使用QF模型，确定QF值的装置和方法的图；图17是根据本发明的实施例，描述用于使用水环(i)QF模型的过程的流程图；图18是表示水环的类型，诸如圆形(方形)水环和椭圆形(矩形)水环的图；图19是描述第i个方形水环的生成位置的图；图20是描述当使用预测方法来处理相邻数据时，用于通过使用光栅扫描顺序，处理第i个水环的数据的预测路径的图；图21是使用交替扫描，描述水环(i)中的数据处理的图；图22是描述当使用预测方法来处理相邻数据时，用于通过使用交替扫描，处理第i个水环的数据的预测路径的图；图23是表示第i个矩形水环的中心行和原点的图；图24A是根据本发明的实施例，描述生成矩形水环的过程的流程图；图24B是表示根据本发明的实施例，表示矩形水环生成装置的结构图；图25是通过使用交替扫描，描述处理中心行中的数据和矩形水环中第i个水环的原点中的数据的方法的图；图26是通过使用交替扫描，示例说明用于处理中心行中的数据和矩形水环中第i个水环的数据的预测路径的图；图27是表示编码器的结构图，其中根据本发明的实施例，将智能水环扫描应用于FGS编码方法；以及图28是表示解码器的结构图，其中根据本发明的实施例，将智能水环扫描应用于FGS解码方法。
具体实施例方式
从下文阐述的参考附图的实施例的描述，本发明的其他目的和方面将变得显而易见。
该方法的原理是类似当将石头投入湖中时，在水面上产生的水环。该方法的基本原理如图3所示。
图3是描述水环扫描顺序的原理的图。图中的块表示视频数据处理中的像素、块或宏块。当将水环扫描顺序应用于运动图像的编码时，从水环原点编码图像数据。水环原点类似于投入石头的湖表面上的点。从原点产生水环，并向湖的外界扩展。简单地说，水环扫描是从水环原点处理数据，然后连续处理在前方形水环周围的数据的方法。
如图3所示，在处理水环原点(水环(0))中的数据后，处理相邻水环(1)中的数据，然后连续地处理水环(1)的边界上的水环(2)的数据和水环(2)周围的水环(3)的数据，正如水环在湖表面上扩展开一样。生成水环以及处理相应水平位置中的图像数据的这一过程的扫描顺序将称为水环扫描顺序。
能在像素、块或宏块的基础上，应用图像/运动图像编码中的水环扫描顺序。在以像素为基础应用水环扫描顺序的情况下，使用基于像素的图像编码方法，诸如小波平移。在应用使用DCT的方法的情况下，以块或宏块为基础，通过执行水环扫描，处理图像/运动图像。
图4是描述图像区的有效性和水环的振幅间的关系的图。如该图中所示，在水环原点处的水环的振幅是最大的，以及水环的振幅与离水环原点的距离成反比。即，当水环离水平原点越远，则它们变得越小。在本发明中，按最高优先级，以高图像质量编码和传送水环原点中的数据，以及当转向图像的边界时，适度地降低图像质量，从而提高强调图像的有效性部分，适合于人的视觉系统的图像改进。
例如，当图像的中心部分是水环原点时(在大多数情况下，在拍摄期间，最感兴趣的目标处于屏幕的中心)，按优先级传送中心区的数据以及增强中心区的图像质量。这是因为它们对用户来说最有意义。用户很少对边界上的图像感兴趣。因此，降低边界区上的数据的优先级，以及适度地降低图像质量。因此，传输位率仍然与传统的图像/运动图像编码方法相同，而在接收端中保证了有效区的图像质量。
图5是描述基于每个图像部分的有效性，水环原点和质量因数(QF)间的关系的图。在该图中，当最大QF为4，以及假定水环原点中的图像数据为最有效时，将最大QF值4指定为水环(0)，3指定到水环(1)，2指定到水环(2)，1指定到水环(3)，以及0指定到超出水环(3)的水环。根据给定的QF，编码图像。在这里，编码器从水环(0)执行编码，然后，将每个水环的图像数据传送到解码器以便解码器能执行解码。在解码过程中，如果QF值是已经预定的或被传送到解码器，能根据QF值执行解码。因此，能按最高优先级传送/接收最高有效区中的图像数据，以及还能智能地提高图像区的质量。
图6至8是表示根据本发明的实施例，智能水环扫描装置及其方法的流程图。图6A是描述使用基于QF的水环扫描的数据处理的流程图，以及图6B是根据本发明的实施例，描述基于QF的水环扫描装置的结构图。水环扫描装置包括用于确定图像帧中水环(0)的位置的水环原点确定单元、用于根据水环的有效性，确定QF值的水环QF确定单元、用于执行编码/解码和数据传送/接收的数据处理单元、用于由水环原点(即，水环(0))确定水环(1)的位置的水环位置确定单元，以及用于重复地启动水环位置确定单元和数据处理单元直到处理过当前输入图像帧中的所有数据为止的操作重复确定单元。
图6A和6B的优选实施例表示在不同水环扫描方法中，如何使图像数据的编码和传输同步。
在步骤S61，在水环原点确定单元61中任意确定水环原点。在步骤S63，在水环QF确定单元63中，根据图像区的有效性，确定QF值。随后，在步骤S65，在数据处理单元65中，根据QF值，处理图像数据。在这里，编码器中的数据处理表示数据编码和传输，在解码器中，表示数据接收和解码。在步骤S67，在操作重复确定单元67中确定是否处理过所有图像数据。如果处理图像的最后一个数据，操作结束，如果不是，逻辑流进入步骤S69，然后在水环位置确定单元69中确定下一水环，诸如水环(1)、水环(2)、...、水环(i)的位置。在步骤S65，对的水平，再次执行数据处理。
图7A是根据本发明的另一实施例，描述使用基于QF的水环扫描的编码处理的流程图，以及图7B是表示图7A的编码器的结构图。图8A是根据本发明的另一实施例，示例说明使用基于QF的水环扫描的解码过程的流程图，以及图8B是表示图8A的解码器的结构图。
在该实施例中，按光栅扫描顺序编码输入图像，而数据传输、接收和解码均按水环扫描顺序执行。在这里，根据每个水环，确定QF。
如图7A和7B所示，在步骤S61，在水环原点确定单元61中确定水环原点(即，水环(0))。然后，在步骤S63，根据图像数据的有效性，在水环QF确定单元63中确定QF值。在步骤S71，通过应用QF值，从水环原点开始编码整个输入图像帧，以及在步骤S73，数据处理单元73传送在水环区的数据处理结果。在这里，使用任意扫描方法执行编码。随后在步骤S67，在操作重复确定单元67中确定到最后一个数据为止，是否处理过所有数据，以及如果处理过最后一个数据，操作结束。如果未处理过最后一个数据，在步骤S69，在水环位置确定单元69中确定与在前水环的边界相邻的下一水环，诸如水环(1)、水环(2)、...水环(i)，以及从步骤73重复该操作，其中传送相应水环的数据。
参考图8A和8B，解码执行如下。在步骤S81，在水环原点确定单元81中确定任意水环原点，即水环(0)。无论何时从编码器接收到图像数据时，通过检查已经存储在解码器中的水环(0)的位置，或通过接收有关水环(0)的信息，确定水环(0)的位置。在步骤S83，根据图像区的有效笥，在水环QF确定单元83中确定QF值。无论何时从解码器接收到新图像数据时，通过检查已经存储在解码器中的QF值，或通过接收QF值，确定QF值。在步骤S84，数据接收单元84接收相应水环的传输位流，在步骤S85，通过使用在每个水环中确定的QF值，在数据解码单元85中执行解码。随后，在步骤S87，在操作重复确定单元87中确定是否处理过最后一个数据。如果处理过最后一个数据，操作结束，如果不是，确定与在前水环的边界相邻的下一水环的位置，诸如水环(1)、水环(2)、水环(i)，以及对在上述中确定其位置的新水环，重复数据接收处理(步骤S84)和数据解码处理(步骤S87)。
简单地说，根据本发明的实施例的智能水环扫描装置包括用于确定视觉上有效以及需要按优先级处理的水环(0)，即，水环原点的水环原点确定单元；用于根据水环的有效性，确定QF值的水环QF确定单元；用于根据所确定的QF值，执行编码/解码以及传输/接收的数据处理单元；用于确定从水环原点(即，水环(0))的第i个中生成的水环(i)的位置-例如，在当前水环原点(即水环(0))周围的将扫描的下一方形水环区(即，水环(1))，或在前水环(i-1)周围的将扫描的下一方形水环区(即，水环(i))；以及用于重复地启动水环位置确定单元和数据处理单元直到处理过当前输入图像帧中的所有数据为止的操作重复确定单元。
在下文中，将详细地描述水环原点确定单元、水环QF确定单元、水环位置确定单元、数据编码单元和数据传送单元。
水环原点确定单元在水环原点确定单元中，用三种方法，任意确定水环原点。
1.将中心区预定为水环原点。
已经将水环原点确定为图像帧的中心部分，因为在大多数情况下，最有意义的目标通常位于中心。如果已经将图像帧的中心部分(像素、块或宏块)确定为水环原点，水环原点中的图像数据不需要从编码器传送到解码器，因为编码器和解码器已经知道水环原点在何处。
2.将图像帧的任意点预定为水环原点。
已经将传送的图像帧的任意区(像素、块或宏块)确定为编码器和解码器间的水环原点。在这里，当传送图像序列时，通过与首部一起传送原点处的图像数据，从任意确定的原点执行水环扫描。
在图像的大小为最大2000×2000像素，以及将水环扫描序列应用于每个宏块的情况下，为x轴上7位以及y轴上7位的基于任意宏块水环原点中的图像数据与序列首部一起被从编码器传送到解码器。然后，解码器能由所接收的有关水环原点的信息定位水环原点。
3.在每个图像帧中改变水环原点。
如果在图像序列中，主目标的位置是可变的，应当按每个图像帧，将在每个图像帧中任意确定的水环原点从编码器传送到解码器。在这里，有关任意确定的水环原点的信息被包括在首部中，并在每个图像帧中与其一起传送。用于该方法的实施例如下a)将任意确定的水环原点的绝对坐标与每个图像帧中的首部一起传送到解码器的方法。
b)通过传送有关离中心固定图像位置，诸如图像的中心部分的相对坐标的信息，降低数据传输量的方法。
c)通过传送离在前图像帧的水环原点的相对坐标，降低数据传输量的方法。
图9A是描述水环原点的绝对坐标的图，以及图9B是示例说明离设定为水环原点的图像帧的中心部分的相对坐标的图。图9C是表示离在前图像帧的水环原点的相对坐标的图。上述三个实施例a)、b)和c)在图9A、9B和9C中示例说明。
水环QF确定单元将更详细地描述基于每个水环，用于提高适全于人的视觉系统的图像质量的水环QF确定单元。
首先，当在水环原点确定单元61或81中确定水环原点(水环(0))，或在水环位置确定单元69或89中确定当前水环周围的下一水环(水环(i))时，应当根据水环中图像的有效性，在水环QF确定单元63或82中确定QF值。使用所确定的水环(i)的QF值来编码/解码图像数据以及提高适合于人的视觉系统的图像质量。用于提高适合于人的视觉系统的图像质量的水环QF确定单元63或83使用如下。
图10是示例说明水环(i)与QF间的关系的图。将不同QF值应用地每个水环(i)以便提高适合于人的视觉系统的图像质量。在图10的图中示例说明了水环(i)与QF间的这种关系。由于水环(0)和水环(i)具有相对有效的图像数据，为其分配最大QF值，以及将较小QF值分配给其他水环。
通过使用由用户选择的表，或通过使用数学模型，能确定用于每个水环(i)的QF值。在使用使用用户选择的QF表的方法的情况下，能精确地符合来自用户的请求。另一方面，在使用数学模型的后一方法的情况下，相对降低增加到传输位流上的开销。在本发明中，将考虑这两个方法。
1.使用用于每个水环(i)的QF表的方法能通过将水环QF表从编码器传送到解码器，或通过使用已经存储在编码器和解码器中的水环QF表，能使用于编码器和解码器中的每个水环(i)的QF值同步。
<方法A>该方法使用已经存储在编码器和解码器中的相同的水环QF表。
在图11中示例说明水环(i)-QF表的实施例。在图中，将最大QF值设定为4。因此，用于水环(0)的QF值为最大值4，以及用于水环(1)的QF为3。用于水环(3)和水环(4)的QF值分别为2和1，以及除水环(4)以外的所有其他水环具有QF值0。在方法A中，通过将与图11类似的参考表存储在编码器和解码器中，确定QF值。
<方法B>在方法B中，只要从编码器和解码器传送每个图像序列，则将QF表插入序列首部。
<方法C>当在每个图像帧中需要改变QF值时，使用该方法。当传送图像帧时，传送适合于该图像帧的水环(i)-QF。
在方法B和C的情况下，通过将如图11所示的QF表信息包括在序列首部或帧首部以及将其从编码器传送到解码器，使QF信息同步。在传送QF表信息的过程中，使用用于降低数据位量的各种方法。
图12表示为从编码器传送到解码器的一种水环(i)-QF表的固定长度编码(FLC)表。在图12中示例说明从FLC表传送到解码器的实施例。通过将具有QF值、最大QF值和每个环的QF值的水环数从编码器传送到解码器，使水环(i)-QF表信息同步。
如该图中所示，如果解码器了解具有QF值的水环(i)数，能将跟在第i+1th水环后的水环的QF值处理为0。在该实施例中，如果将4位指定为最大QF的FLC，这意味着24，即，16个水环能具有QF值。在这里，如果具有QF的水环数为5，解码器识别出水环(0)、水环(1)、水环(2)、水环(3)、水环(4)和水环(5)具有不为0的QF值，以及接收用于最多五个水环的QF值。在水环(6)后的其他水环具有QF值0。如果需要指定更多QF值，你能增加多于的位数。图12表示最大QF值为4的情形。在这里，分配两位。如图中所示，如果解码器知道具有QF值和最大QF值的水环的数量，解码器根据水环QF FLC表，确定用于每个水环的QF值。在需要传送图11的水环QF表的情况下，能通过分配18位，传送QF表，正如图12的右图所示。这仅仅表示一个实施例。能用各种方法，在编码器和解码器间确定或传送QF表。
图13是根据本发明的实施例，用于生成图12的FLC表的过程的流程图。FLC表生成过程是将水环(i)-QF表从编码器传送到解码器的方法的一部分。在该图中，在步骤S1301和S1303，当确定具有QF值和最大QF值(R)的水环的数量(F)时，将水环(0)的初始QF值指定为输入值(R)(V(0)＝R，S1303)。同时，在步骤S1303，将输入值(R)指定到水环(-1)作为用于计算QF补偿的模型(V(-1)＝R)。
在步骤S1305、S1306和S1309，只要指数i不超出具有QF值的水环的最大数(F)，重复使用QF补偿值，计算在前水环的QF值(V(i-1))与当前水环的QF值间的差值。通过该过程，能产生图12的FLC QF表。然后，当需要将水环-QF表从编码器传送到解码器时，能将对应于图13的流程图的SYNTAX包括在传输位流中。
图14是描述使用水环(i)-QF表的过程的流程图。图14的流程图表示在相同水环(i)-QF存在于编码器和解码器中、水环(i)-QF表包括在序列首部中并且当图像序列从编码器传送到解码器时，传送到解码器，以及只要传送图像帧，传送用于每个图像帧的水环(i)-QF表的所有情形中，使用水环(i)-QF表的编码器和解码器。
如图中所示，在步骤S1401，确定是否使用高于序列首部级的用于每个水环的QF值。在不使用基于水环的QF值的情况下，在步骤S1403，仅使用水环扫描序列，编码、传送、接收和解码图像。如果在步骤S1401使用基于水环的QF值，在步骤S1405，确定是否使用可变QF值，以及如果不接收可变QF表，在步骤S1407，使用存储在编码器和解码器中的相同水环-QF表来执行编码、传送、接收和解码。如果在步骤S1405使用可变QF表，在步骤S1409，通过接收/传送个图像序列的QF表以及使用对应于每个图像序列的QF表，执行编码和解码。
在步骤S1411，在帧首部级，根据每个帧，确定是否更新可变QF表。如果不更新基于帧的可变QF表，在步骤S1413，通过使用已经传送的基于序列的QF表，执行编码和解码。如果更新基于帧的可变QF表，在步骤S1415，相应地更新对应帧的QF表。
为形成图14的流程图中所示的装置以及执行该方法，可以将用于在序列首部级和帧首部级中执行操作的SNTAX增加到位流结构。
2.根据QF模型，确定QF的方法通过使用在编码器和解码器间建立的数学模型，确定用于提高适合于人的视觉系统的图像质量的适当的QF值。对于适合于人的视觉系统的数学模型，可以使用Gaussian函数。为确定QF，函数表示如下。
QFValue=ROUND(QFMax×e-12QFFactor2)]]>方程式1在这里，i表示水环(i)的指数。为获得QF值(QFValue)，应当输入模型参数，即QFMax和QFFactor。对QFMax，输入最大QF值，以及对QFFactor，将可变值输入到Gaussian函数。使用QFFactor来控制QF的扩展。
图15是描述将参数应用于QF确定模型的结果的表。在图15中示例说明等式1的实施例。图15A表示将相关的QF参数施加到QF确定模型的实施例，以及图15B示例说明将图15A中的相关的QF参数用到图中的结果。正好通过将两个模型参数QFMax和QFFactor施加到模型中来确定用于每个水环的QF值。在此使用的数学模型不限于Gaussian函数，而是能使用几个其他的数学函数。当i表示水环(i)的指数时，另一实施例表示如下。
方程式2如上所示，当使用不同数学模型时，优点在于能降低增加到传输位流上的开销。
在该实施例中，当将二位和四位分别施加到QFMax和QFFactor上时，需要总共6位以便确定QF值。因此，与使用水环QF表的方法相同，显著地降低另外的开销。
图16是表示使用QF模型，用于确定QF值的装置和方法的图。如图16中所示，当将QF模型参数QFMax和QFFactor输入到模型参数输入单元1601时，在QF模型应用单元1603中使用模型数学方程式，诸如方程式1或2。然后，在QF输出单元1605中输出用于每个水环的QF值，以及使用所输出的QF值，执行图像编码/解码。
图16中所示的QF确定装置的QF确定方法用与使用水环-QF表相同的方法，使编码器和解码器间的QF值同步。
<方法A>
通过将已经存储在编码器和解码器中的QF确定参数QFMax和QFFactor应用于相同的数学模型，确定QF值。
<方法B>
当将图像序列从编码器传送到解码器时，将用于生成QF值的参数QFMax和QFFactor包括在序列首部中，然后一起传送。
<方法C>
在每个图像帧中QF值需要改变的情况下，只要传送图像帧，传送用于生成用于每个图像帧的QF值的参数QFMax和QFFactor。
图17是根据本发明的实施例，描述用于使用水环(i)QF模型的过程的流程图。将使用该过程的QF模型参数应用于基于相同的水环QF模型参数QFMax和QFFactor被存储在编码器和解码器中、只要将图像序列从编码器传送到解码器，基于水环的QF模型参数QFMax和QFFactor被包括在序列首部并一起传送，以及只要传送图像帧，传送用于每个图像帧的基于水环的QF模型参数QFMax和QFFactor的情形。
在步骤S1701，确定在高于序列首部级的级中，是否使用基于水环的QF。如果不使用基于水环的QF，在步骤S1703，通过使用水环扫描顺序，编码、传送和接收图像。如果在步骤S1701使用基于水环的QF，在步骤S1705，确定是否使用可变QF模型参数。如果不使用可变QF模型参数，在步骤S1707，使用已经存储在编码器和解码器中的相同QF模型参数来执行编码、传送、接收和解码。如果在步骤S1705使用可变QF模型参数，传送/接收基于序列的QF模型参数，以及在步骤S1709，使用对应于每个图像序列的QF模型参数，执行编码和解码。
随后，在步骤S1711，确定是否更新帧首部级中的基于帧的可变QF模型参数，在步骤S1713，使用已经传送的基于序列的QF模型参数，执行编码和解码。如果更新基于帧的可变QF模型参数，相应地更新相应帧的QF模型参数。
为执行在图17的流程图中示例说明的方法，或具体化该装置，可以将用于执行首部级和帧首部级中的操作的SNTAX增加到位流体系结构上。
水环位置确定单元水环位置确定单元生成第i个水环(水环(i))。其将水环(i)的产生位置传送到数据处理单元以便处理水环内的数据。
图18是表示水环类型的图，即，圆形(方形)水环和椭圆形(矩形)水环。水环主要分为圆形形状和椭圆形形状。当将这些应用于图像数据时，分别以方形或矩形的形式表示它们，如图18所示。矩形水环以16∶9的屏幕比出现在屏幕中。
方形(圆形)水环位置确定单元图19是用于描述第i个方形水环的产生位置的图。用下述方法确定方形水环的位置。
步骤1确定水环原点(水环(0))确定任意水环原点′(图中标为“水环原点(x，y)′)。在这里，可以将要传送的图像帧的中心部分确定为水环原点，或用户能他任意希望的来确定水环原点。
步骤2确定水环(i)确定离水环原点的第i个水环的位置，第i个是基于像素的图像帧中的像素的数量，、基于块或宏块的图像帧中的块或宏决的数量。
步骤3重复步骤2重复步骤2的处理，直到传送了需要传送的图像帧中的所有数据为止。
方形水环(i)是在第i个时间生成的方形水环。水环具有组成像素、块或宏块的A行(顶行)、B行(左端行)、C行(右端行)和D行(底行)。
在图中，顶行(A行)包括被分成在y轴上离水环原点-i以及在x轴上等于或小于±i一样多单元的所有基于像素、块或宏块的图像数据，A行表示如下。
A行所有数据位于y-i和(x-i≤x≤x+i)。
在图中，定义为左端行(B行)的位置包括被分成x轴上离水环原点-i以及y轴上小于±i一样多单元的所有基于像素、块和宏块的图像数据。当水环原点为(x，y)时，B行表示如下B行所有数据位于x-i和(y-i＜y＜y+i)中。
在图中，右端行(C行)包括被分成在x轴上离水环原点+i以及y轴上小于±i一样多单元的所有基于像素、块或宏块的图像数据。当水环原点为(x，y)时，C行表示如下。
C行所有数据位于x+i和(y-i＜y＜y+i)中。
在图中，定义为底行(D行)的位置包括被分成在y轴上离水环原点+i以及在x轴上等于或小于±i一样多单元的所有基于像素、块或宏块的图像数据。当水环原点为(x，y)时，D行表示如下。
D行所有数据位于y+i和(x-i≤x≤x+i)。
在水环(i)中，能用各种方式表示图像数据，其用光栅扫描和交替扫描顺序表示。
在光栅扫描顺序中，按顺序从左边数据到底右数据处理水环(i)中的数据。当图像被分成A行、B行、C行和D行时，按A行、B行、C行和D行的顺序从左到右水环扫描数据。在这里，当处理B行和C行中的数据时，从左到右交替扫描B行和C行中的数据，以及当向上扫描行时，从上到下扫描中间行中的数据直到扫描了中间行中的所有数据为止。该方法的优点于能很容易应用。
使用光栅扫描顺序的水环位置确定单元的示例性例子表示如下⊙初始参数n第n个环N第n个环中的MB的数量prev_n第(n-1)个环start_x，start_y环的起始位置(环的left_topX，环的left_topY)curr_x，curr_y环中MB的每个位置⊙算法步骤1初始MB填充n＝1；curr_x＝start_x；curr_y＝start_y；if(InBoundary(curr_x，curr_y))FillMB(start_x，start_y)；步骤2顶行MB填充<pre listing-type="program-listing"><![CDATA[n++；N＝2*n-1；prev_n＝2*(n-1)-1；start_x--；start_y--；curr_x＝start_x；curr_y＝start_y；for j＝1 to N{if(InBoundary(curr_x，curr_y)) FillMB(curr_x，curr_y)； curr_x++；}]]></pre>步骤3中间行MB填充<pre listing-type="program-listing"><![CDATA[N＝prev_n；for j＝1 to N{ curr_x＝start_x； curr_y＝start_y+j；if(InBoundary(curr_x，curr_y)) FillMB(curr_x，curr_y)； curr_x+prev_n+1；if(InBoundary(curr_x，curr_y)) FillMB(curr_x，curr_y)；}]]></pre>步骤4底行MB填充N＝2*n-1；curr_x＝start_x；curr_y＝start_y+Prev_n+1；for j＝1 to N{if(InBoundary(curr_x，curr_y))FillMB(curr_x，curr_y)；curr_x++；}步骤5if(not VOP Fill)goto step 2.
elsestop同时，由于图像数据非常与相邻图像数据有关，在许多其他方法中，通常使用考虑相邻像素/块/宏块间的关系的预测编码方法。
图20是当使用预测方法来处理相邻图像数据时，示例说明通过使用光栅扫描顺序，处理第i个水环的数据的预测路径的图。如图中所示，当使用光栅扫描方法来处理数据时，应当交替处理B行和C行中的数据。然而，由于指数i变得越大，在处理相邻图像数据中越难以使用预测编码方法。在散度的数量为2i的情况下，变得非常难以进行精确的预测。
为解决这一问题，引入交替扫描顺序以便在处理水环(i)的数据中使用预测编码方法，如图21所示。在图中，首先从左到右处理A行的数据，然后从上到下处理C行中的数据。随后，从上到下处理B行中的数据，然后处理D行中的数据。处理图像数据的这一方法被称为交替扫描。在交替扫描中，按A行、C行、B行和D行的顺序处理水环(i)中的图像数据。
图22是当使用预测方法来处理相邻图像数据时，描述用于通过使用交替扫描，处理第i个水环的数据的预测路径的图。如图中所示，几乎在所有情况下，可以从相邻图像数据执行预测编码。然而，在处理C行数据后，处理B行中的数据的情况下，出现一个散度。因此，当处理位于B行数据的上面的数据时，用于预测的数据不是C行的最后一个数据，而是A行的起始(最左)数据。
矩形(椭圆形)水环位置确定单元如果需要的话，可以将矩形水环应用于其宽度长于垂直长度的图像，诸如具有16∶9的屏幕比的屏幕。矩形水环具有长于垂直长度的水平长度。因此，在任意水环原点中确定左右对称中心行，然后，按优先级处理中心行中的数据。
图23是表示第i个矩形水环的中心行和原点的图。矩形水环的原点确定如下。
步骤1确定水环原点(水环(0))确定在图中被标记为水环原点(x，y)的水环原点。在这里，可以将图像帧的中心部分确定为水环原点，或用户可以自己任意地确定原点。
步骤2确定中心行参数矩形水环具有比垂直长度更大的宽度。因此，需要确定在任意水环原点处的左右对称中心行的长度。为确定中心行的长度，应当确定影响中心行长度的参数(m)。
步骤3确定中心行位置当确定水环原点和中心行参数时，能确定中心行。所确定的中心行是x轴上从(x-m)到(x+m)，在水环原点(x，y)处固定的y轴的所有数据。x和y轴基于像素、块或宏块。
步骤4确定水环(i)位置从水环原点，在x轴上±(i+m)行和y轴上±(i+m)中生成水环(i)的位置。x和y轴基于像素、块或宏块。
步骤5重复步骤4直到处理过所有数据为止重复步骤4直到处理过需要传送的图像帧中的所有数据为止。
在图23中，中心行的水环由中心行组成，以及矩形水环(i)由位于A行(顶行)、B行(左端行)、C行(右端行)和D行(底行)中的像素、块或宏块组成。矩形水环(i)表示在离水环原点(水环(0))的第i中生成的水环。
该图中的中心行包括在x轴上离水环原点等于或小于±m，在水环原点固定的y轴的位置中的像素、块或宏块。当水环原点为(x，y)时，中心行表示如下。
中心行所有数据位于y和(x-m≤x≤x+m)中。
在该图中，顶行(A行)包括被分成与在y轴上离中心原点-i以及x轴上等于或小于±(i+m)一样多单元的基于像素、块或宏块的图像数据。当水环原点为(x，y)时，A行表示如下。
A行所有数据位于y-i和(x-(i+m)≤x≤x+(i+m))在该图中，左端行(B行)包括分成与在x轴上离水环原点-(i+m)以及y轴上小于±i一样多单元的所有基于像素、块或宏块的图像数据。当水环原点为(x，y)时，B行表示如下。
B行所有数据位于x-(i+m)以及(y-i＜y＜y+i)。
在该图中，定义为右端行(C行)的位置包括分成与在x轴上离水环原点+(i+m)以及y轴上小于±i一样多单元的所有基于像素、块或宏块的图像数据。当水环原点为(x，y)时，C行表示如下。
C行所有数据位于x+(i+m)以及(y-i＜y＜y+i)中。
在该图中，定义为底行(D行)的位置包括分成与在y轴上离水环原点±i以及x轴上等于或小于±(i+m)一样多单元的所有基于像素、块或宏块的图像数据。当水环原点为(x，y)时，D行表示如下。
D行所有数据位于y+i和(x-(i+m)≤x≤x+(i+m))中。
为生成矩形水环，可以将用于处理中心行的水环的方法和装置增加到用于处理方形水环的方法和装置中。
图24A是根据本发明的实施例，描述生成矩形水环的过程的流程图，以及图24B是表示根据本发明的实施例，用于生成矩形水环的装置的结构图。即，当在水环原点输入单元2401中，在步骤S2401中确定任意水环原点，以及在中心参数输入单元2403中，在步骤2403确定或输入中心参数时，中心行水环生成单元2405在步骤S2405使用中心参数生成水环以及处理该数据。然后，在步骤2407中，水环(i)生成单元2407生成第i个水环以便处理在相应位置中的数据。在步骤S2409和S2411，重复这一过程，直到生成水环以便覆盖整个图像以及处理相应水环位置中的数据为止。
正如方形水环处理方法，在矩形水环处理方法中，能用各种方法处理水环(i)中的数据。在这些方法中，为光栅扫描和交替扫描。
在光栅扫描中，按从左上到右下的顺序处理水环(i)中的数据。从中心行中的数据开始执行扫描，然后，在每个水环的A行、B行/C行以及D行上执行。在这里，当处理B行和C行中的数据时，从左到右交替扫描B行的数据和C行的数据，以及如果向上扫描一行，扫描该行下的下一行，以及重复该过程直到扫描完中间行中的所有数据为止。这一方法的优点在于很容易使用。引入用于处理水环(i)的数据的交替扫描方法以便容易使用预测编码方法。
图25是描述通过使用交替扫描，处理矩形水环中中心行中的数据和第i个水环中的数据的方法的图。如图25所示，按优先级处理水环原点处中心行的数据，然后当生成水环(i)时，从左到右处理其A行的数据，以及从上到下处理其C行的数据。随后，从上到下处理B行的数据，最后，处理D行的数据。这一处理方法被称为交替扫描。即，首先处理中心行的数据，按A行、C行、B行和D行的顺序处理数据。
图26是示例说明通过使用交替扫描，处理矩形水环中中心行中的数据和第i个水环的数据的预测路径的图。在使用交替扫描的情况下，在几乎所有情况下，能从相邻数据执行预测编码。然而，在处理C行的数据，然后处理B行的数据后，出现一个散度。在这里，当处理在B行上面的数据时，不是通过使用C行的最后一个数据，而是通过使用A行的最左数据来执行预测。
数据处理单元根据在水环位置确定单元中确定的将扫描的水环的位置以及在图像QF确定单元中确定的图像中的有效性的加权，执行图像数据的编码和传输。
用于执行该过程的方法和装置能分成两种。一种是如图6所示的方法，其中使图像的编码和传输(在编码器的情况下，编码和传输，以及在解码器的情况下，传输和解码)与水环原点同步，以及另一种是图7和8所示的方法，其中分别处理图像(编码/解码)和位流传输/接收，如果使用光栅扫描顺序执行数据编码的话。这些方法在执行数据处理的顺序方面是不同的，但每个单元的操作相同。
如上所述，数据处理单元通过将在水环QF确定单元中确定的QF值应用于每个水环(i)，按照用于提高适合于人的视觉系统的图像质量的编码方法。其按在水环位置确定单元中确定的每个水环位置的顺序，执行从编码器到解码器的数据传输。
根据每个位平面，使用在水环QF确定单元中的确定的QF值的一个例子编码数据。除此之外，有许多使用QF的方法，以及在本发明中，假定如下。
基于位平面的QF的应用有许多用于基于位平面，执行图像编码的方法。一个方法是MPEG中的精细分级(FGS)编码方法。FGS编码方法将从传送端传送到接收端的图像数据分成位平面，以及按最高优先级传送位平面的最高有效位(MSB)。然后，其将下一最高有效位分成位平面，以及继MSB后，传送位平面。
例如，假定需要传送25个图像数据。在二进法中，25表示为11001，以及11001由五个位平面组成。为基于位平面传送数据，应当告知将从编码器传送到解码器的所有数据由5个位平面组成。当在从MSB到最低有效位(LSM)的位基础上，将数据传送到接收端，以及传送第一MSB位时，接收端了解到将传送的数据超过16(10000)。然后，当传送第二位时，其能理解到传送超出24(11000)的值。
在本发明中，提出将QF值用作平移因素的方法以便将QF值应用于基于位平面的编码方法。通过将QF值应用于每个水环(i)作为平移因数，从而与平移因素一样多单元地将相应的数据值向左移，能按优先级将更多的位平面传送到接收端。通过精确地编码所接收的位平面，能提高图像质量。随后，解码器接收对应于需要解码的数据的QF值，以及将QF值用作平移因数。然后，将相应的数据的位流向右移，从而更精确地恢复数据。
例如，假定有数据55。55由八个位平面组成，以及在二进法中表示为00110111。通常，当传送该数据时，第一位平面进0，以及第二和第三位平面分别进0和1。如果QF值为2，两个位变为转移到右以便产生11011100的位流，以及当将数据从编码器传送到解码器时，第一位平面进1，以及第二和第三位平面变为分别进1和0。首先解码器接收QF值和三个位平面110。然后，借助于QF值，将位平面向右平移两位，以及恢复成00110000。这是将原始数据恢复成48的结果。如果不使用QF值以及原样接收三个位平面，所接收的位平面为001。然后，恢复值变为00100000，其为32。简单地说，如果将QF值应用于相同的数据，变得可以将位平面解码成更接近于原始数据的值，导致提高图像质量。
在确定每个水环(i)中的QF值并用于基于位平面的图像数据编码的情况下，将QF值用作平移因子。然后，对具有大QF值的水环，传送和恢复更多数据，以而对具有小QF值的水环传送更小数据。因此，更精确地恢复具有大QF值的水环中的数据，从而产生提高适合于人的视觉系统的图像质量的结果。
表1所示的是当QF值假定为2以及当没有给出QF值时，通过七个位平面中的前三个位平面，恢复图像数据的解码器的例子。从表1，能看出当给出QF值时，与不具有任何QF值相比，更精确地恢复数据。这显示出通过使用QF值恢复的图像质量更好。
表1使用基于位平面的QF值，在解码器中的数据恢复结果
将智能水环扫描应用于运动图像编码方法的例子在此描述将在本发明中提出的智能水环扫描应用于实际运动图像编码方法的例子。当使用离散余弦变换(DCT)编码方法时，通过在4×4或8×8块基础上，或在16×16宏块基础上，生成水环来编码图像数据。在使用小波变换的基于像素的图像编码方法中，通过在像素基础上，生成水环来编码图像数据。
作为将水环扫描顺序应用于使用DCT的运动图像处理的例子，当将水环扫描顺序应用于QCIF(176×144像素)图像帧时，有16×16个11×9宏块。在实施例中，如果通过由图像帧的中心中的宏块，在宏块的基础上，生成水环来编码图像数据，由水环原点(水环(0))生成总共六个水环，水环(1)、...水环(5)，以及使用水环的QF值，编码图像帧，以便提供适合于人的视觉系统的图像质量。在由于不良传输环境未接收一些数据的情况下在图像帧的中心中的基于宏块的数据，诸如水环(0)和水环(1)均按最高优先级传送，以及它们具有能在接收端接收它们并解码的高概率。因此，尽管未处理图像的边界上的基于宏块的的数据，总是尽可能好地保证中心处的图像质量。将智能水环扫描应用于FGS编码方法的例子如下所示。
图27是表示解码器的结构图，其中根据本发明的实施例，将智能水环扫描应用于FGS编码方法，以及图28是表示解码器的结构图，其中根据本发明的实施例，将智能水环扫描应用于FGS解码方法。
如图27所示，通过用于获得原始图像和在基本层中的恢复的图像间的剩余的剩余计算单元、离散余弦变换(DCT)单元、将QF用于每个水环的位平面平移单元、最大值计算单元以及水环扫描顺序位平面VLC单元，执行FGS增强层中的编码。
在剩余计算单元中，获得原始图像和在基本层中编码和存储的图像(即，在通过逆化单元(Q-1)后恢复的图像)间的差异。在这里，差异变为剩余。
DCT使用基于块(8×8)DCT，将在上述剩余计算过程中获得的基于图像的剩余变换成DCT域。将QF用于每个水环的位平面平移单元通过使用用于每个水环的QF，执行位平面平移以便提高适合于人的视觉系统的图像质量。
在最大值计算单元中，获得已经通过余弦变换的所有数的绝对值的最大值。使用所获得的最大值来获得用于传送相应图像帧的最大位平面的总数。
当根据每个位平面，执行位平面VLC时，水环扫描顺序位平面VLC通过执行从任意确定的某一位置开始水环扫描，按最高优先级确定将扫描的宏块或块的位置。然后，根据所确定的编码顺序，即，优先级顺序，从每个位平面基于块的64DCT系数，按Z字形形成矩阵，以及每个矩阵根据VLC表，执行游程编码。由于已经在现有技术的背景中描述过基本层中的其他编码处理，在此将不再描述。
同时，如图28所示，与编码相反，在传送到增强层的位流上执行在本发明中提出的FGS增强层解码。根据先前输入的增强位流，水环扫描顺序位平面VLD单元按水环扫描顺序，从水环原点执行位平面VLD。
随后，当传送每个水环的QF值以便使图像质量适合于人的视觉系统时，将QF值用于每个水环的位平面平移单元通过使用用于每个水环的QF值，执行位平面平移。IDCT单元在使用用于每个水环的QF值的位平面VLD过程和位平面平移事，以及在增强层中恢复所传送的图像后获得的值上执行基于块(8×8)的逆离散余弦变换(IDCT)，剪辑单元将在基本层中恢复的图像和合计值剪辑成0和255间的值以便恢复具有提高质量的图像。
如上所述，能将本发明的方法具体化为程序并记录在计算机可读记录介质，诸如CD-ROM、RAM、ROM软盘、硬盘、光磁盘等等中。具有上述结构的本发明的装置通过改进适合于人的视觉系统的有效部分，然后在接收端编码、传送和解码具有优先级的有效部分的数据，即使在不良传输环境中，也能保证具有有效性的特定图像部分中的质量图像，其中并非连续将所有位流从编码器传送到解码器。
尽管参考本发明的某些优选实施例描述了本发明，对本领域的技术人员来说在不背离在下述权利要求书限定的本发明的范围的情况下，可以做出各种修改和改进。
权利要求
1.一种应用于图像编码/解码系统的水环扫描装置，包括水环原点确定装置，用于确定图像帧中的水环原点、即水环(0)；水环位置确定装置，用于确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；以及水环质量因数(QF)确定装置，用于基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值。
2.如权利要求1所述的水环扫描装置，其特征在于，预定所述水环原点并存储在所述图像编码/解码系统中。
3.如权利要求1所述的水环扫描装置，其特征在于，在所述图像编码系统中，相对于构成图像序列的所有图像帧，确定所述水环原点，并传送到所述图像解码系统。
4.如权利要求1所述的水环扫描装置，其特征在于，在所述图像编码系统中，相对于每个图像帧，确定所述水环原点并传送到所述图像解码系统。
5.如权利要求4所述的水环扫描装置，其特征在于，所述水环原点表示为所述图像帧中的绝对坐标。
6.如权利要求4所述的水环扫描装置，其特征在于，所述水环原点表示为离所述图像帧的中心点的相对坐标。
7.如权利要求4所述的水环扫描装置，其特征在于，所述水环原点表示为离先前从所述图像编码系统传送到所述图像解码系统的在前图像帧的所述水环原点的相对坐标。
8.如权利要求1所述的水环扫描装置，其特征在于，预定对应于所述水环原点和每个水环的QF值并排列在表中，以及所述表存储在所述图像编码/解码系统中。
9.如权利要求1所述的水环扫描装置，其特征在于，在所述图像编码系统中确定用于构成图像序列的所有图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
10.如权利要求1所述的水环扫描装置，其特征在于，在所述图像编码系统中确定用于所述图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
11.如权利要求1所述的水环扫描装置，其特征在于，所述QF值包括在所述图像帧中，具有QF值的水环的最大数；最大QF值；以及用于具有所述QF值的每个水环的QF补偿值，其是通过从在前水环的QF值减去当前水环的QF值获得的，以及其中，通过灵活长度编码编码法编码所述QF值并从所述图像编码系统传送。
12.如权利要求1所述的水环扫描装置，其特征在于，基于所述最大QF值和所述QF值的方差值的QF方差，确定和预定所述QF值，并存储在所述图像编码/解码系统中。
13.如权利要求1所述的水环扫描装置，其特征在于，基于所述最大QF值和为所述QF值的方差值的方差，确定构成图像序列的所有图像帧的水环的QF值，其中，在编码中确定所述最大QF值和所述QF方差并传送到所述解码系统。
14.如权利要求1所述的水环扫描装置，其特征在于，基于所述最大QF值和为所述QF值的方差值的QF方差，确定图像帧的水环的QF值，其中，在编码中确定所述最大QF值和QF方差并传送到所述解码系统。
15.一种应用于图像编码/解码系统中的水环扫描方法，包括步骤a)确定图像帧中的水环原点、即水环(0)；b)确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；以及c)基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值。
16.如权利要求15所述的水环扫描方法，其特征在于，预定所述水环原点并存储在所述图像编码/解码系统中。
17.如权利要求15所述的水环扫描方法，其特征在于，在所述图像编码系统中，相对于构成图像序列的所有图像帧，确定所述水环原点，并传送到所述图像解码系统。
18.如权利要求15所述的水环扫描方法，其特征在于，在所述图像编码系统中，相对于每个图像帧，确定所述水环原点并传送到所述图像解码系统。
19.如权利要求18所述的水环扫描方法，其特征在于，所述水环原点表示为所述图像帧中的绝对坐标。
20.如权利要求18所述的水环扫描方法，其特征在于，所述水环原点表示为离所述图像帧的中心点的相对坐标。
21.如权利要求18所述的水环扫描方法，其特征在于，所述水环原点表示为离先前从所述图像编码系统传送到所述图像解码系统的在前图像帧的所述水环原点的相对坐标。
22.如权利要求15所述的水环扫描方法，其特征在于，预定对应于所述水环原点和每个水环的QF值并排列在表中，以及所述表存储在所述图像编码/解码系统中。
23.如权利要求15所述的水环扫描方法，其特征在于，在所述图像编码系统中确定用于构成图像序列的所有图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
24 如权利要求15所述的水环扫描方法，其特征在于，在所述图像编码系统中确定用于所述图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
25.如权利要求15所述的水环扫描方法，其特征在于，所述QF值包括在所述图像帧中，具有QF值的水环的最大数；最大QF值；以及用于具有所述QF值的每个水环的QF补偿值，其是通过从在前水环的QF值减去当前水环的QF值获得的，以及其中，通过灵活长度编码编码法编码所述QF值并从所述图像编码系统传送。
26.如权利要求15所述的水环扫描方法，其特征在于，基于所述最大QF值和所述QF值的方差值的QF方差，确定和预定所述QF值，并存储在所述图像编码/解码系统中。
27.如权利要求15所述的水环扫描方法，其特征在于，基于所述最大QF值和为所述QF值的方差值的方差，确定构成图像序列的所有图像帧的水环的QF值，其中，在编码中确定所述最大QF值和所述QF方差并传送到所述解码系统。
28.如权利要求15所述的水环扫描方法，其特征在于，基于所述最大QF值和为所述QF值的方差值的QF方差，确定图像帧的水环的QF值，其中，在编码中确定所述最大QF值和QF方差并传送到所述解码系统。
29.一种用于执行水环扫描编码的图像编码系统，包括水环原点确定装置，用于确定图像帧中的水环原点、即水环(0)；水环位置确定装置，用于确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；水环质量因子(QF)确定装置，用于基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值；以及数据处理装置，用于在逐个位平面的基础上，将QF值用作位平移因子，生成水环扫描编码数据，执行编码所述图像帧，以及用于将所述水环扫描编码数据传送到所述图像解码系统。
30.如权利要求29所述的图像编码系统，其特征在于，预定所述水环原点并存储在所述图像编码/解码系统中。
31.如权利要求29所述的图像编码系统，其特征在于，在所述图像编码系统中，相对于构成图像序列的所有图像帧，确定所述水环原点，并传送到所述图像解码系统。
32.如权利要求29所述的图像编码系统，其特征在于，在所述图像编码系统中，相对于每个图像帧，确定所述水环原点并传送到所述图像解码系统。
33.如权利要求32所述的图像编码系统，其特征在于，所述水环原点表示为所述图像帧中的绝对坐标。
34.如权利要求32所述的图像编码系统，其特征在于，所述水环原点表示为离所述图像帧的中心点的相对坐标。
35.如权利要求32所述的图像编码系统，其特征在于，所述水环原点表示为离先前从所述图像编码系统传送到所述图像解码系统的在前图像帧的所述水环原点的相对坐标。
36.如权利要求29所述的图像编码系统，其特征在于，已经预定对应于所述水环原点和每个水环的QF值并排列在表中，以及所述表存储在所述图像编码/解码系统中。
37.如权利要求29所述的图像编码系统，其特征在于，在所述图像编码系统中确定用于构成图像序列的所有图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
38.如权利要求29所述的图像编码系统，其特征在于，在所述图像编码系统中确定用于所述图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
39.如权利要求29所述的图像编码系统，其特征在于，所述QF值包括在所述图像帧中，具有QF值的水环的最大数；最大QF值；以及用于具有所述QF值的每个水环的QF补偿值，其是通过从在前水环的QF值减去当前水环的QF值获得的，以及其中，通过灵活长度编码编码法编码所述QF值并从所述图像编码系统传送。
40.如权利要求29所述的图像编码系统，其特征在于，基于所述最大QF值和所述QF值的方差值的QF方差，确定和预定所述QF值，并存储在所述图像编码/解码系统中。
41.如权利要求29所述的图像编码系统，其特征在于，基于所述最大QF值和为所述QF值的方差值的方差，确定构成图像序列的所有图像帧的水环的QF值，其中，在编码中确定所述最大QF值和所述QF方差并传送到所述解码系统。
42.如权利要求29所述的图像编码系统，其特征在于，基于所述最大QF值和为所述QF值的方差值的QF方差，确定图像帧的水环的QF值，其中，在编码中确定所述最大QF值和QF方差并传送到所述解码系统。
43.如权利要求29所述的图像编码系统，其特征在于，所述数据处理装置通过将在每个水环(i)中确定的所述QF值用作位平移因子，以及将所述原始数据的二进制值与所确定的QF值一样大地向左平移，在位平面的基础上，执行编码。
44.一种用于执行水环扫描解码的图像解码系统，包括水环原点确定装置，用于确定从图像编码系统接收的水环扫描编码数据的图像帧中的水环原点、即水环(0)；水环位置确定装置，用于确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；水环质量因子(QF)确定装置，用于基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值，以及数据处理装置，用于将所述QF值用作位平移因子，在逐个位平面的基础上，执行解码所述水环扫描编码数据的图像帧。
45.如权利要求44所述的图像解码系统，其特征在于，预定所述水环原点并存储在所述图像编码/解码系统中。
46.如权利要求44所述的图像解码系统，其特征在于，在所述图像编码系统中，相对于构成图像序列的所有图像帧，确定所述水环原点，并传送到所述图像解码系统。
47.如权利要求44所述的图像解码系统，其特征在于，在所述图像编码系统中，相对于每个图像帧，确定所述水环原点并传送到所述图像解码系统。
48.如权利要求47所述的图像解码系统，其特征在于，所述水环原点表示为所述图像帧中的绝对坐标。
49.如权利要求47所述的图像解码系统，其特征在于，所述水环原点表示为离所述图像帧的中心点的相对坐标。
50.如权利要求47所述的图像解码系统，其特征在于，所述水环原点表示为离先前从所述图像编码系统传送到所述图像解码系统的在前图像帧的所述水环原点的相对坐标。
51.如权利要求44所述的图像解码系统，其特征在于，已经确定对应于所述水环原点和每个水环的位置的QF值并排列在表中，以及所述表存储在所述图像编码/解码系统中。
52.如权利要求44所述的图像解码系统，其特征在于，在所述图像编码系统中确定用于构成图像序列的所有图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
53.如权利要求44所述的图像解码系统，其特征在于，在所述图像编码系统中确定用于所述图像帧的所述水环原点和每个水环的QF值并传送到所述图像解码系统。
54.如权利要求44所述的图像解码系统，其特征在于，所述QF值包括在所述图像帧中，具有QF值的水环的最大数；最大QF值；以及用于具有所述QF值的每个水环的QF补偿值，其是通过从在前水环的QF值减去当前水环的QF值获得的，以及其中，通过灵活长度编码编码法编码所述QF值并从所述图像编码系统传送。
55.如权利要求44所述的图像解码系统，其特征在于，基于所述最大QF值和所述QF值的方差值的QF方差，确定和预定所述QF值，并存储在所述图像编码/解码系统中。
56.如权利要求44所述的图像解码系统，其特征在于，基于所述最大QF值和为所述QF值的方差值的方差，确定构成图像序列的所有图像帧的水环的QF值，其中，在编码中确定所述最大QF值和所述QF方差并传送到所述解码系统。
57.如权利要求44所述的图像解码系统，其特征在于，基于所述最大QF值和为所述QF值的方差值的QF方差，确定图像帧的水环的QF值，其中，在编码中确定所述最大QF值和QF方差并传送到所述解码系统。
58.如权利要求44所述的图像解码系统，其特征在于，所述数据处理装置通过将在每个水环(i)中确定的所述QF值用作位平移因子，以及将所述原始数据的二进制值与所确定的QF值一样大地向左平移，在位平面的基础上，执行编码/解码。
59.一种用于执行图像的水环扫描编码的方法，其应用于图像编码系统，包括步骤a)确定图像帧中的水环原点、即水环(0)；b)确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；c)基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值；以及d)在逐个位平面的基础上，将QF值用作位平移因子，执行编码所述图像帧，生成水环扫描编码数据，以及用于将所述水环扫描编码数据传送到所述图像解码系统。
60.一种用于执行水环扫描编码蝗图像的水环扫描解码的方法，其应用于图像解码系统，包括步骤a)确定从图像编码系统接收的水环扫描编码数据的图像帧中的水环原点、即水环(0)；b)确定在所述水环原点周围的第i个水环、即水环(i)的位置，i为整数；c)基于所述水环原点和所述水环的有效性，确定所述水环原点和所述水环的QF值，以及d)将所述QF值用作位平移因子，在逐个位平面的基础上，解码所述水环扫描编码数据的图像帧。
全文摘要
提供一种智能水环扫描装置及其方法、使用水环扫描和方法的图像编码/解码装置，以及用于记录实现这些方法的程序的计算机可读记录介质。这一研究的装置或方法通过传输适合于人的视觉系统的特定图像部分的图像数据，有选择地提高需要按优先级编码特定图像部分的图像质量以便提供可视改进的图像。这一研究的编码装置根据某一图像的有效性，分化图像数据量，以便按适合于人的视觉系统的各种质量处理图像。这一研究的方法能应用于图像编码/解码过程。
文档编号H04N7/24GK1613258SQ02826893
公开日2005年5月4日 申请日期2002年11月26日 优先权日2001年11月26日
发明者郑元植, 金奎宪, 朴光勋, 李润辰, 金镇雄, 安致得 申请人:韩国电子通信研究院, 学校法人高凰