专利名称：动画编码设备、动画编码方法和动画编码程序的制作方法
技术领域：
本发明涉及动画编码方法、动画编码设备和动画编码程序，更具体地说涉及根据用途类型的有效编码方法。
背景技术：
近年来，具有视频接口的视频通信终端例如装有摄像机的蜂窝电话、电视电话正在快速广泛普及。这些视频通信终端在用作摄像机等时能够存储由该摄像机所拍摄的动画数据，以便再现该数据以随后浏览它并且将该数据作为邮件的附件发送出。当它们用作视频电话等时，它们通过通信路径发送和接收动画数据。允许对动画数据进行浏览的视频通信终端还能够通过互联网等利用数据流或下载来接收和浏览动画数据。
采用动画信号的压缩编码技术以便有效地对高质量动画数据进行传输和存储。用于该目的的已知技术的一个示例为由ITU-T和ISO/IEC、ITU-T Recommendation H.264或ISO/IEC国际标准14496-10(下面被称为H.264)为联合国际标准确定的动画编码系统。
如图1所示，在H.264中，将一帧图像数据分成被称为宏块的区域，并且对每个宏块单元进行编码处理(在图1中，一帧图像101被分成多个宏块102)。帧间编码是采用在编码目标帧中的周围宏块的编码信息对一宏块进行编码的预测编码方法。帧间编码是通过获得在原始图像和由参照前面编码的另一帧参考图像进行运动预测而产生出的运动预测图像之间的差异来对宏块进行编码并且采用周围宏块的编码信息在编码目标帧中进行编码的预测编码方法。另外，提供了执行解块滤波器的功能以便针对在帧间编码的情况下所使用的参考图像进行除噪例如块扭曲(环间滤波器)，并且通过应用解块滤波器来改善图像质量和压缩比。
在通过通信路径传输压缩编码数据期间，在通信路径中会将误码混入到该数据中。混入误码的可能性尤其在无线电链路中比在有线链路中更高。在压缩编码数据混入了误码的情况下，会导致后面的码同步失败并且进入到不能继续进行正常的解码的状态。
在H.264中，如图2所示，提供一种对由一个宏块或多个宏块构成的每个切片单元(slice unit)进行单独编码的功能(在图2中，一帧图像201包含四个切片202-205)。每个切片由一个切片标题和一个或多个宏块构成，并且采用属于其它切片的宏块的信息不用预测地对在一切片中的每个宏块进行编码。因此，即使某一帧的压缩编码数据混入有误码，也可以正常地将从在那一帧中接下来检测到的切片标题开始的切片之后的宏块进行解码。
如图5所示，为了将误码分散，存在一种将交替的宏块集中到一个切片中的编码传输方法(在图5中，在一帧图像501中的宏块被交替地集中到一切片502和一切片503中)。在该情况中，因为在宏块之间的相互关系不可用，所以降低了编码效率。但是，这在分散误码方面是有效的。同样，可以通过按照与扫描线的顺序不同的随机顺序发送切片数据来制作出错误弹性方案。图6显示出首先传输切片数据604然后传输切片数据602的方法(其中数据包606、607、608和609包含分别与切片604、602、605和603相对应的数据)，而在正常过程中按照形成这帧图像601的切片602、603、604和605的顺序传输编码数据。还有一种反复传输相同切片的数据的技术。例如，图7显示出复制切片702的编码数据以将该数据存储在数据包706a和数据包706b中，并且传输这些数据包。即使在数据包706a的数据中出现错误，或者即使数据包706a自身丢失，只要数据包706b的数据存在，该切片的图像也就可以再现。如上所述一样例如通过按照与图像的扫描顺序不同的顺序将在一帧图像中的每个区域编码或者通过复制由编码装置编码的压缩数据来增强与编码相关的编码图像的错误弹性(errorresilience)的功能将被称为“错误弹性工具”。
如上所述，传统的H.264编码系统通过使用切片结构在错误弹性能力方面实现了改进，并且通过使用环间滤波器在图像质量和压缩比方面实现了改进。
发明内容
但是，使用上述切片结构确实改善了错误弹性能力，但是降低了编码效率，因为预测在切片之间的边界处变得不连续。另外，如图7所示一样反复传输相同的数据确实增强了错误弹性，但是带来了数据体积(data volume)增加的问题。
在视频通信终端的使用中，最好如下进行编码在其中错误容易混入在压缩编码数据的用途类型例如通过无线电链路进行通信的视频电话中，通过选择即使牺牲了一些图像质量和编码效率也要进一步增强错误弹性能力的编码装置来对数据进行编码；在错误不容易混入的用途类型例如摄像机中，通过选择即使牺牲了一些错误弹性能力也要改善图像质量和编码效率的编码装置来对数据进行编码。
但是，还没有任何用于根据视频通信终端的环境或使用目的来正确地设定编码装置的组合的传统方法，因此进一步增强错误弹性能力带来了图像质量和编码效率降低的问题。
对于环间滤波器(intra-loop-filter)，当将它用在由于混入了错误而没有正确解码的第一切片和与之相邻的没有错误的第二切片上时，在这些切片之间的环间滤波器的处理导致在对被正常解码的第二切片图像的滤波结果中产生失真。因此，使用环间滤波器降低了错误弹性能力，因此同时使用环路滤波器和切片结构将降低使用切片结构在错误弹性能力方面的改进效果。如上所述，在存在多个编码装置并且它们结合使用的情况下，错误弹性能力和图像质量以及编码效率等将不必要地降低，除非作出了适当的组合。
但是，一般来说，在每个编码装置中独立地确定是否应该使用一编码装置，因此存在错误弹性能力的不必要降低以及图像质量和编码效率不必要降低的问题。
本发明是为了解决上述问题而作出的，并且因此本发明的一个目的在于提供能够在需要错误弹性的环境下增强错误弹性能力并且在不需要错误弹性的环境下能够增强图像图像质量和编码效率的动画编码设备、动画编码方法和动画编码程序。
为了实现上面的目的，根据本发明的动画编码设备是这样一种动画编码设备，它包括输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据发送到外界；以及确定装置，用于根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，并且用于在确定第二模式时将经编码的压缩数据存储进存储装置中。
在根据本发明的动画编码设备中，确定装置可以根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且图像编码装置可以根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
为了实现上面的目的，根据本发明的动画编码方法是这样一种动画编码方法，它包括输入步骤，使用图像输入装置输入一图像；图像编码步骤，将在图像输入步骤中输入的图像分成多个区域，并且在有选择地打开或关闭用来提高与编码相关的编码图像的错误弹性的错误弹性工具的同时对图像进行编码；存储步骤，将在图像编码步骤中编码的压缩数据存储到存储装置中；发送步骤，从发送装置将在图像编码步骤中编码的压缩数据发送给外面；以及确定步骤，根据用户的指令输入确定将在图像编码步骤中编码的压缩数据输出给发送装置的第一模式和将在图像编码步骤中编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码步骤根据在确定步骤中所确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储进存储装置中。
在根据本发明的动画编码方法中，确定步骤可以根据用户的指令输入确定将在图像编码步骤中编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且图像编码步骤可以根据在确定步骤中确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
为了实现上面的目的，根据本发明的动画编码程序是一种用于让计算机如下作用的动画编码程序输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据向外面发送；以及确定装置，用于根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储进存储装置中。
在根据本发明的动画编码程序中，确定装置可以根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且图像编码装置可以根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
通过采用如上所述的结构，可以在需要错误弹性的环境(在向外传输的期间)下实现错误弹性能力的改善并且在不需要错误弹性的环境(在内部存储期间)下实现在图像质量和编码效率上的改善。
在根据本发明的动画编码设备中，确定装置可以根据用户的指令输入确定将在图像编码步骤中编码的压缩数据输出给发送装置的第一模式和将在图像编码步骤中编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具；并且图像编码装置可以根据在确定步骤中确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输送出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
在根据本发明的动画编码方法中，确定步骤可以根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具；并且编码步骤可以根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输送出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
在根据本发明的动画编码程序中，确定装置可以根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具；并且图像编码装置可以根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输送出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
通过采用如上所述的结构，可以在需要错误弹性的环境(在向外传输的期间)下实现错误弹性能力的改善并且在不需要错误弹性的环境(在内部存储期间)下实现在图像质量和编码效率上的改善。尤其是，在这些区域之间的边界上进行的滤波过程在容易引起错误的环境(在向外传输期间)下关闭，由此可以正确地复制没有错误的数据包的数据。
为了实现上面的目的，根据本发明的另一种动画编码设备是这样一种动画编码设备，它包括输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；发送装置，用于将由图像编码装置编码的压缩数据向外面发送并且获取外部链路的传输差错率；以及链路确定装置，用于根据由发送装置所获取的外部链路的传输差错率在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由链路确定装置确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
在根据本发明的动画编码设备中，根据由发送装置所获取的外部链路的传输差错率，确定装置可以在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具。
为了实现上面的目的，根据本发明的另一种动画编码方法是这样一种动画编码方法，它包括输入步骤，使用图像输入装置输入一图像；图像编码步骤，将在图像输入步骤中输入的图像分成多个区域并且对其进行编码，同时有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具；发送步骤，从发送装置将在图像编码步骤中编码的压缩数据向外面发送并且通过该发送装置获取外部链路的传输差错率；以及链路确定步骤，根据由在发送步骤中所获取的外部链路的传输差错率在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码步骤根据在链路确定装置步骤中确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
在根据本发明的动画编码方法中，根据在发送步骤中所获取的外部链路的传输差错率，链路确定步骤可以在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具。
为了实现上面的目的，根据本发明的另一种动画编码程序是一种用于让计算机如下作用的动画编码程序输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于提高与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据向外面发送并且获取外部链路的传输差错率；以及链路确定装置，用于根据由发送装置所获取的外部链路的传输差错率在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由链路确定装置确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
在根据本发明的动画编码程序中，根据由发送装置所获取的外部链路的传输差错率，链路确定装置可以在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在这些区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在这些区域之间的边界上的滤波过程并且关闭错误弹性工具。
通过采用如上所述的结构，可以在需要错误弹性的环境(在向外传输的期间)下实现错误弹性能力的改善并且在不需要错误弹性的环境(在内部存储期间)下实现在图像质量和编码效率上的改善。
在本发明的动画编码设备中，上述错误弹性工具可以是用于按照与图像的扫描顺序不同的顺序对每个区域进行编码的工具或者用于复制由编码装置编码的压缩数据的工具。
由于本发明根据视频通信终端的使用类型或目的实现了根据对使用或不使用用于错误弹性的编码装置的适当确定来进行编码，所以它能够在需要错误弹性的环境下提高错误弹性能力，并且在不需要错误弹性能力的环境下改善图像质量和编码效率。
由于本发明实现了通过控制编码装置以便在视频编码中以最优的组合使用来进行编码，所以它能够避免由于环路滤波器而导致错误弹性能力下降并且避免由于不必要的错误弹性能力而导致图像质量和编码效率降低。
图1为一示意图，显示出在传统技术中所使用的在对图像编码中的宏块结构；图2为一示意图，显示出在传统技术中所使用的在对图像编码中的切片结构；图3为一方框图，显示出根据本发明第一实施方案的动画编码设备；图4为一流程图，显示出在根据本发明第一实施方案的动画编码设备中的第一确定方法；图5为一示意图，显示出用在本发明第一实施方案中的第一错误弹性编码方法；图6为一示意图，显示出用在本发明第一实施方案中的第二错误弹性编码方法；图7为一示意图，显示出用在本发明第一实施方案中的第三错误弹性编码方法；图8为一流程图，显示出在根据本发明第一实施方案的动画编码设备中的第二确定方法；图9为一示意图，显示出在根据本发明第一实施方案的动画编码设备中的环间滤波器；图10为一方框图，显示出根据本发明第二实施方案的动画编码设备；图11A至11C用来说明用来存储用于通过计算机系统执行在每个实施方案中的动画编码和解码方法的程序的数据存储媒介；并且图12为一流程图，显示出在根据本发明第二实施方案的动画编码设备中的确定方法。
具体实施例方式
下面将参照图3至12对本发明的实施方案进行说明。
(实施方案1)图3为根据本发明第一实施方案的动画编码设备的方框图。在图3中，参考标号301表示输入终端，302表示图像输入装置，303表示确定装置，304表示编码装置，305表示转换开关，308表示一发送装置，309为一存储装置，而311为一输出终端。
下面将针对具有如上所述的结构的动画编码设备对其操作进行说明。该图像输入装置302摄入一动画。在当前实施方案中，图像输入装置为一摄像机，但是它也可以是能够与盒式磁带录像机或电视连接并且接收视频信号的装置。在摄入动画时，通过编码器304对其图像信号进行压缩编码。本实施方案采用了H.264，但是也可以采用任意其它编码器例如H.263或MPEG-4等。通过转换开关305将这样编码的压缩数据发送给发送装置308或发送给存储装置309。本实施方案采用了基于IMT-2000的无线电传输方法，但是也可以采用任意其它的无线或有线传输方法。存储装置309是终端设备的内置存储器或外部存储卡，但是它可以是能够记录数据的任意记录媒介。
开关305根据由编码器304的压缩数据是发送给发送装置308还是发送给存储装置309来进行切换。用于控制开关305的切换操作的装置是确定装置303。确定装置303根据来自输入终端301的输入进行在图4中所示的处理。在本实施方案中，通过从显示在设备的显示装置(未示出)上的菜单进行选择来确定进入输入终端301的输入信号。该菜单包括视频电话、视频记录和视频邮件的选项，选择其中一个选项。将这样选择的选项作为使用模式信号发送给确定装置303。
图4显示出在本实施方案中的第一确定方法的流程图。在步骤401处，用户首先输入使用模式。在步骤402处，然后根据输入的用户模式确定存储类型或是传输类型。让我们在这里将存储类型定义为这样一种情况，即与在视频记录或视频邮件的情况中一样将由编码器304编码的图像的整个数据(从图像的开始到图像的结束)存储进存储装置309中。另一方面，将通过发送装置308将由编码器304编码的图像向外面顺序传输的情况定义为传输类型。通常，在传输类型的情况中，编码数据也暂时部分存储在缓存器中以便进行多路复用和调制，但是它与存储整个图像数据的存储类型不同。在步骤402导致确定存储类型的情况下，该流程转到步骤403，并且在步骤405处确定装置303输出编码条件以关闭错误弹性工具。另一方面在传输类型的情况中，流程转向步骤404，并且在步骤405处确定装置303输出编码条件以打开错误弹性工具。在本实施方案中，错误弹性工具打开，并且编码器304通过下面所述的方法中的任一个或通过这些方法的组合来进行编码过程。
图5为用在本实施方案中的第一错误弹性工具的示意图。图像501被分成多个宏块，每个宏块由16×16象素构成，并且为偶数0、2、4、6、...的宏块重新布置成所要编码的一个切片502。另一方面，将为奇数1、3、5、...的宏块也重新布置成另一个所要编码的切片503。另一个重新排列方法如下对于水平行上的宏块，将在第一行、第三行和第五行奇数行上的宏块组成第零行，将第二行、第四行组成另一个切片组，因此将这些宏块重新排列成所要编码的两个切片组。根据除上面方法之外的任意其它原则来重新排列这些宏块。
图6为用在本实施方案中的第二错误弹性工具的示意图。将图像601分成多个区域(切片)602至605，并且将每个切片编码。代替按照从顶部开始的顺序传输数据的传统方法，按照首先传输与切片604对应的数据包606的数据然后传输与切片602对应的数据包607的数据的所谓随机切片顺序来传输这样编码的数据。
图7为用在本实施方案中的第三错误弹性工具的示意图。将图像701分成多个区域(切片)702至705，并且将每个切片编码。在数据的传输中，将与切片702对应的数据放进数据包706a和706b中，从而在两个数据包中传输相同的数据。即，在706a中的数据与在706b中的图像的编码数据相同(但是它们在标题信息上不同以便区分数据包)。同样，复制切片703的数据，并且在数据包707a和707b中传输。
还可以采用除了上面的技术之外的任意其它用来提高错误弹性的技术。例如，可以采用数据分块来对运动数据和图像的变换系数数据进行单独编码，或者采用自适应地进行更新操作的方法。
另一方面当在本实施方案中错误弹性工具关闭时，按照以下方式将数据编码，而不用进行从图5到图7的过程。即，按照扫描顺序将数据编码，而不用将宏块重新排列，并且按照从上到下的顺序排列编码切片数据。该数据没有被复制。
确定装置303在上述方法中作出确定，根据确定结果通过线路314a将编码条件发送给编码器304，并且还通过线路314b将控制信号发送给开关305以对它进行控制。在存储类型的情况中，开关305切换到终端307，而在传输类型的情况中，开关305切换到终端306。编码器304在存储类型的情况中在将错误弹性工具关闭期间进行编码，而在传输类型的情况中在将错误弹性工具打开期间进行编码。这样，该设备在容易产生错误的环境例如无线网络下提高了错误弹性以传输数据，并且在视频记录或视频邮件的情况下在注重图像质量同时不削弱错误弹性的同时进行编码。
图8为在本实施方案中的第二确定方法的流程图。在步骤801处，首先输入使用模式。在步骤802处，然后根据输入的使用模式来确定是存储类型或是传输类型。当步骤802导致确定是存储类型时，该流程转到步骤803，并且在步骤805处确定装置303输出编码条件以关闭错误弹性工具并且打开在切片之间的边界上的滤波。另一方面，在传输类型的情况中，该流程转到步骤804，并且在步骤805处确定装置303输出编码条件以打开错误弹性工具并且关闭在切片之间的边界上的滤波。在当前实施方案中，当在切片之间的边界上的滤波打开时，编码器304根据下面所述的方法进行编码过程。
图9为在当前实施方案中的环间滤波器的示意图。该环间滤波器指的是在存储到帧存储器中之前对当前时刻所复制的图像进行滤波以作为用于对随后图像进行编码的参考图像的过程。环间滤波器降低了在块边界处的块扭曲。为了改善图像质量，最好在切片之间的边界处进行滤波。在图9中的图像901分成四个切片902至905。圆形区域920的放大部分作为放大的圆形区域906给出。为了对在宏块909中的象素907进行垂直滤波，除了在宏块909中的象素913之外还使用了在相邻切片中的象素912。同样，为了对象素908进行水平滤波，除了象素914之外还使用了在相邻切片中的象素915。这种过程被称为在切片之间的边界处进行滤波。另一方面，没有穿过在切片之间的边界的滤波是只使用在切片内的象素进行的滤波。在这里的实施例采用了包括作为所要处理的目标的象素在内的七个抽头的滤波器，但是该滤波器不必限于此。在这里的实施例使用了一维分向滤波器，但是也可以使用二维滤波器。
这样编码的图像数据具有以下特征。即，当用来表示错误弹性工具的语法为“no”(在当前实施方案中，作为在ITU-T RecommendationH.264中的语法的num_slice_groups_minusl取非零数值)，表示在切片之间的边界上进行的滤波的语法为“off”(在当前实施方案中，作为在ITU-T Recommendation H.264中的语法的disable_deblocking_filter_idc取非零数值)。当用来表示在切片之间的边界上进行的滤波的语法为“on”(在当前实施方案中，当作为在ITU-TRecommendation H.264中的语法的disable_deblocking_filter_idc取零值时)时，用来表示错误弹性工具的语法变为“off”(在当前实施方案中，作为在ITU-T Recommendation H.264中的语法的num_slice_groups_minusl取零值)。在当前实施方案中，当用来表示错误弹性工具的语法为“off”时，用来表示在切片之间的边界上进行的滤波的语法可以为“off”或“on”。同样，当用来表示在切片之间的边界上进行的滤波的语法可以为“off”时，用来表示错误弹性工具的语法可以为“off”或“on”。
在会出现许多错误从而导致数据包丢失和出现错误的环境中将错误弹性工具打开。为此，在切片之间的边界处进行的滤波会导致不能无错误地对数据包的数据进行正确复制。因此，将滤波关掉能够无错误地对数据包的数据进行正确复制。
(实施方案2)图10为根据本发明第二实施方案的动画编码设备的方框图。在图10中，参考标号1002表示图像输入装置，1003为链路确定装置，1004表示编码装置，1008为发送装置，并且1011为输出终端。
下面将针对具有如上所述的结构的动画编码设备对其操作进行说明。该图像输入装置302摄入一动画。在摄入动画时，通过编码器1004对其图像信号进行压缩编码。将这样编码的压缩数据发送给发送装置1008并且通过输出终端1011传输给外部传输网络。链路确定装置1003通过与发送装置1008进行通信捕获外部网络的传输状态。具体地说，在建立链路的情况下，它从接收机中接收关于重复条件的答复以检查链路状态。链路确定装置1003根据链路状态确定出编码条件，并且编码器1004根据编码条件将图像编码。在图12中显示出在当前实施方案中的链路确定装置1003中的过程。基本的过程与在图8中相同。在这里的过程中，步骤1202用来将链路的差错率与阈值进行比较作为确定条件。当差错率超过阈值时，确定会出现大量错误，并且进行步骤1204以打开错误弹性工具并且关闭在切片之间的边界上进行的滤波。否则，该流程转到步骤1203以关闭错误弹性工具并且打开在切片之间的边界上进行的滤波。在这里阈值为0.001，但是它可以任意其它的数值。代替测量链路的差错率，还可以根据网络是尽力而为类型或是确保速率类型来确定编码条件。
在该实施方案中，代替在图12中所示的过程可以进行在图4中所示的过程。也就是说，当差错率超过阈值时，进行步骤404以打开错误弹性工具。否则，该流程转到步骤403以关闭错误弹性工具。
如上所述由于该设备构成为根据传输网络的状态确定编码条件并且在将编码部件控制为在最优的组合中使用的同时进行编码，所以它可以实现能够避免由于环路滤波器而导致的错误弹性能力下降的效果并且避免由于不必要的错误弹性能力而导致的图像质量和编码效率降低。
图11A至11C用来说明这样一种情况，通过计算机系统采用存储有上述编码程序的floppy(注册商标)磁盘来进行在上面实施方案1或2中的编码过程。
图11B显示出从floppy(注册商标)磁盘的前面看的外观、其剖面结构以及该floppy(注册商标)磁盘，并且图11A显示出作为记录媒介的主体的floppy(注册商标)磁盘的物理格式的一个示例。将floppy(注册商标)磁盘FD设置在一壳体F中，在该磁盘的表面上从外侧周边朝着内侧周边同心地形成有多个磁道Tr，并且每个磁道沿着角度方向分成十六个扇区Se。因此，在存储有上述程序的floppy(注册商标)磁盘中，将作为上述程序的数据记录在分配在floppy(注册商标)磁盘FD上的区域中。
图11C显示出用于在floppy(注册商标)磁盘FD上进行程序的记录和复制的结构。为了将程序记录到floppy(注册商标)磁盘FD上，通过floppy(注册商标)磁盘驱动器将作为来自计算机系统Cs的程序的数据写入到该磁盘上。当通过在floppy(注册商标)磁盘中的程序在计算机系统中构建上述编码或解码设备时，通过floppy(注册商标)磁盘驱动器从floppy(注册商标)磁盘中读出程序，并且将它传送给计算机系统。
在上面的说明中，floppy(注册商标)磁盘用作数据记录媒介，但是同样也可以使用光盘。记录媒介并不限于这些，而是可以为具有类似作用的能够记录程序的任意媒介例如IC卡、ROM磁带等。
权利要求
1.一种动画编码设备，它包括输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据发送到外界；以及确定装置，用于根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩输送据输出给存储装置的第二模式中的任一个，并且用于在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储到存储装置中。
2.如权利要求1所述的动画编码设备，其中所述确定装置根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
3.如权利要求1所述的动画编码设备，其中所述确定装置根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具；并且所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
4.一种动画图像编码设备，它包括输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；发送装置，用于将由图像编码装置编码的压缩数据发送到外界并且用于获取外部链路的传输差错率；以及链路确定装置，用于根据由发送装置所获取的外部链路的传输差错率在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由链路确定装置确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
5.如权利要求4所述的动画编码设备，其中根据由发送装置所获取的外部链路的传输差错率，所述确定装置在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具。
6.如权利要求1至5中任一项所述的动画编码设备，其中所述错误弹性工具是用来按照与图像的扫描顺序不同的顺序对每个区域进行编码的工具。
7.如权利要求1至5中任一项所述的动画编码设备，其中所述错误弹性工具是用来将由编码装置编码的压缩数据复制的工具。
8.一种动画编码方法，它包括输入步骤，通过使用图像输入装置输入一图像；图像编码步骤，将在图像输入步骤中输入的图像分成多个区域，并且在有选择地打开或关闭用来增强与编码相关的编码图像的错误弹性的错误弹性工具的同时对图像进行编码；存储步骤，将在图像编码步骤中编码的压缩数据存储到存储装置中；发送步骤，从发送装置将在图像编码步骤中编码的压缩数据发送到外界；以及确定步骤，根据用户的指令输入确定将由图像编码步骤编码的压缩数据输出给发送装置的第一模式和将由图像编码步骤编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码步骤根据在确定步骤中所确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储到存储装置中。
9.如权利要求8所述的动画编码方法，其中所述确定步骤根据用户的指令输入确定将在图像编码步骤中编码的压缩数据输出给发送装置的第一模式和将在图像编码步骤中编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且所述图像编码步骤根据在确定步骤中确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
10.如权利要求8所述的动画编码方法，其中所述确定步骤根据用户的指令输入确定将在图像编码步骤中编码的压缩数据输出给发送装置的第一模式和将压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具；并且所述编码步骤根据在确定步骤中确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
11.一种动画编码方法，它包括输入步骤，使用图像输入装置输入一图像；图像编码步骤，将在图像输入步骤中输入的图像分成多个区域，并且对其进行编码，同时有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具；发送步骤，从发送装置将在图像编码步骤中编码的压缩数据发送到外界并且通过该发送装置获取外部链路的传输差错率；以及链路确定步骤，根据由在发送步骤中所获取的外部链路的传输差错率在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码步骤根据在链路确定装置步骤中确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
12.如权利要求11所述的动画编码方法，其中根据在发送步骤中所获取的外部链路的传输差错率，所述链路确定步骤在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具。
13.一种用于让计算机如下作用的动画编码程序输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由所述图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据向外面发送；以及确定装置，用于根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储到存储装置中。
14.如权利要求13所述的动画编码程序，其中所述确定装置根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；并且所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
15.如权利要求13所述的动画编码程序，其中所述确定装置根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩数据输出给存储装置的第二模式中的任一个，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具；并且所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，在确定第一模式时将编码的压缩数据输送出给发送装置，并且在确定第二模式时将编码的压缩数据存储到存储装置中。
16.一种用于让计算机如下作用的动画编码程序输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有有选择地打开或关闭用于增强与编码相关的编码图像的错误弹性的错误弹性工具的功能；发送装置，用于将由图像编码装置编码的压缩数据发送到外界并且获取外部链路的传输差错率；以及链路确定装置，用于根据由发送装置所获取的外部链路的传输差错率，在该传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且用于在确定第一模式时确定这样一种编码条件以便打开错误弹性工具，或者在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由链路确定装置确定的编码条件来对图像进行编码，并且将编码的压缩数据输出给发送装置。
17.如权利要求16所述的动画编码程序，其中根据由发送装置所获取的外部链路的传输差错率，链路确定装置在传输差错率超过预定阈值时确定第一模式，或者在该传输差错率不大于预定阈值时确定第二模式，并且在确定第一模式时确定这样一种编码条件以便打开错误弹性工具并且关闭在区域之间的边界上的滤波过程，或者在确定第二模式时确定这样一种编码条件以便打开在区域之间的边界上的滤波过程并且关闭错误弹性工具。
全文摘要
一种动画编码设备，它包括输入装置，用于输入图像；图像编码装置，用于将由图像输入装置输入的图像分成多个区域并且对其进行编码，该图像编码装置具有选择地打开或关闭用于提高与编码相关的编码图像的错误弹性的错误弹性工具的功能；存储装置，用于存储由图像编码装置编码的压缩数据；发送装置，用于将由图像编码装置编码的压缩数据向外面发送；以及确定装置，用于根据用户的指令输入确定将由图像编码装置编码的压缩数据输出给发送装置的第一模式和将由图像编码装置编码的压缩输送据输出给存储装置的第二模式中的任一个，并且在确定第二模式时确定这样一种编码条件以便关闭错误弹性工具；其中所述图像编码装置根据由确定装置确定的编码条件来对图像进行编码，并且在确定第二模式时将经编码的压缩数据存储进存储装置中。
文档编号H04N7/50GK1578467SQ20041006333
公开日2005年2月9日 申请日期2004年7月8日 优先权日2003年7月8日
发明者文仲丞, 杉本和夫 申请人:株式会社Ntt都科摩