专利名称：运动补偿装置和运动图象编码装置及方法
技术领域：
本发明涉及适用于数字图象发送装置、数字CATV和数字广播系统等的运动补偿装置。
图18是说明在电子情报通信学会技术研究报告VOL.95,No.217,P2～8(1995)记载的「MPEG2实时编码系统芯片设置的开发」中所示的现有数字图象编码方式的方框图。
在图18中，400是输入输入图象202和参照图象152并输出预测图象204和最适当矢量449的运动补偿处理部，222是求出输入图象202与预测图象204的差分并输出残留误差223的差分器，401是对所输入的残留误差223进行编码并输出差分编码数据450的差分信号编码处理部，402是对所输入的最适当矢量449进行编码并输出运动矢量编码数据451的运动矢量编码处理部。
下面对上述构成所对应的动作进行说明。
运动补偿处理部400输入作为目前帧的图象的输入图象202和作为以前帧的图象的参照图象152，从参照图象152中检索出与输入图象202最近似的图象。检索方法是取输入图象202和参照图象152的差分绝对值和，把在参照图象中提供最小变形的图象作为最适当图象即预测图象204。此时，如图19所示的那样，最适当图象(预测图象)从目前帧中的输入图象的位置表示某处暗淡空间运动的是运动矢量。该运动矢量作为最适当矢量449被发送给运动矢量编码处理部402，由运动矢量编码处理部402进行编码并输出。
另一方面，对于由运动补偿处理部400进行预测后的预测误差信号，由差分器222取出由运动补偿处理部400所选择的最适当预测图象204与输入图象202的差分，由差分信号编码处理部401对该残留误差223进行编码并输出。该处理的编码处理中的发生信息量为把由差分信号编码处理部401发生的差分编码数据450的信息量和由运动矢量编码处理部402发生的运动矢量编码数据451的信息量相结合的值。
现有的装置，在上述那样的运动补偿处理部400中，把表示差分绝对值和的最小矢量作为最适当矢量，但是，在图象编码处理中，通过运动补偿来对选择作为最适当矢量的矢量进行编码(运动矢量编码)，同时，对于目前块和最适当矢量位置的以前块的残留误差(预测误差)进一步进行编码(残留误差编码)。接着，把由运动矢量编码所产生的信息量与由残留误差编码所产生的信息量相结合的信息成为编码量。由此，例如，如果对成为最适当矢量的进行编码，则信息量变得非常大，在此情况下，由上述方法选择的最适当矢量并不仅限于使编码量成为最小的。
一般，在运动补偿预测中仅使用亮度信息来求出矢量，但是，在亮度信号相同而色差信号不同的图象中，就会抽出错误的运动矢量。
为了解决上述问题，本发明的目的是提供运动补偿装置和运动图象编码装置及方法，为了决定最适当矢量，不仅考虑预测差分的差分绝对值和，而且考虑用于对运动矢量进行编码的编码量，由此，能够提高总的编码效率。
本发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；变形量运算部，输入上述输入图象和上述预测图象来求出输入图象与预测图象之间的变形量；矢量值编码部，输入上述运动矢量来进行编码并输出矢量编码量；最适当矢量决定部，输入上述运动矢量和上述变形量及上述矢量编码量，对进行评价的多个运动矢量的全部求出从变形量和矢量编码量所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
上述变形量运算部是计算上述输入图象与上述预测图象之间的差分绝对值和并输出的差分绝对值和运算部。
上述变形量运算部是计算上述输入图象与上述预测图象之间的差分平方和并输出的差分平方和运算部。
上述矢量值编码部包括延迟所输入的运动矢量的延迟器、取得所输入的运动矢量与经过上述延迟器的运动矢量的差分并输出差分矢量的差分器、对上述差分矢量进行编码并输出矢量编码量的差分矢量编码部。
另一个发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；第一平均值分离部，得到从上述输入图象分离平均值的平均值分离输入图象；第二平均值分离部，得到从上述预测图象分离平均值的平均值分离预测图象；变形量运算部，输入上述平均值分离输入图象和上述平均值分离预测图象，来求出由平均值分离输入图象与平均值分离预测图象之间的变形量的运算所得到的评价值；最适当矢量决定部，输入上述运动矢量和上述平均值，对进行评价的多个运动矢量的全部求出其评价值，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
上述变形量运算部是计算上述输入图象与上述预测图象之间的差分绝对值和并输出的差分绝对值和运算部。
上述变形量运算部是计算上述输入图象与上述预测图象之间的差分平方和并输出的差分平方和运算部。
进一步包括输入上述运动矢量来进行编码而输出矢量编码量的矢量值编码部，上述最适当矢量决定部输入上述运动矢量和上述变形量以及上述矢量编码量，对进行评价的多个运动矢量的全部求出从变形量和矢量编码量所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
另一个发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；减法器，把上述输入图象和上述预测图象相减来求出预测误差；频率解析部，把上述预测误差变换为频率系数；评价值生成部，根据所变换的频率系数来生成评价值；矢量决定部，输入上述运动矢量和上述评价值，从多个取出的运动矢量中输出上述评价值呈现最小值的运动矢量来作为最适当矢量。
另一个发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；减法器，把上述输入图象和上述预测图象相减来求出预测误差；差分图象编码部，对上述预测误差进行差分编码并输出差分图象编码量；矢量值编码部，输入上述运动矢量来进行编码而输出矢量编码量；矢量决定部，输入上述运动矢量和上述差分图象编码量及上述矢量编码量，从多个取出的运动矢量中输出在上述差分图象编码量上相加了上述矢量编码量的编码量成为最小的运动矢量来作为最适当矢量。
另一个发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；第一亮度色差分离部，从上述输入图象分离输入图象亮度信号和输入图象色差信号；第二亮度色差分离部，从上述预测图象分离预测图象亮度信号和预测图象色差信号；第一减法器，求出来自上述第一亮度色差分离部的输入图象色差信号与来自上述第二亮度色差分离部的预测图象色差信号的差分；第二减法器，求出来自上述第一亮度色差分离部的输入图象亮度信号与来自上述第二亮度色差分离部的预测图象亮度信号的差分；色差评价值生成部，根据来自上述第一减法器的输出来生成色差评价值；亮度评价值生成部，根据来自上述第二减法器的输出来生成亮度评价值；评价值运算部，根据来自上述色差评价值生成部的色差评价值和来自上述亮度评价值生成部的亮度评价值来运算最适当矢量决定用评价值；矢量决定部，输入上述运动矢量和上述最适当矢量决定用评价值，从多个取出的运动矢量中输出在上述最适当矢量决定用评价值成为最小的运动矢量来作为最适当矢量。
上述评价值运算部是把来自上述色差评价值生成部的色差评价值与来自上述亮度评价值生成部的亮度评价值相加而求出总评价值的加法器，上述矢量决定部输入作为上述运动矢量和上述总评价值的总相加值，从多个取出的运动矢量中输出在上述上述总评价值成为最小的运动矢量来作为最适当矢量。
另一个发明所涉及的运动补偿装置，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和对于输入图象的亮度成分从参照图象根据运动矢量亮度信号抽出的预测图象亮度信号和根据运动矢量色差信号抽出的预测图象色差信号；第一亮度色差分离部，从上述输入图象分离输入图象亮度信号和输入图象色差信号；第三亮度色差分离部，从上述运动矢量分离运动矢量亮度信号和运动矢量色差信号；第一减法器，求出来自上述第一亮度色差分离部的输入图象色差信号与上述预测图象色差信号的差分；第二减法器，求出来自上述第一亮度色差分离部的输入图象亮度信号与上述预测图象亮度信号的差分；色差评价值生成部，根据来自上述第一减法器的输出来生成色差评价值；亮度评价值生成部，根据来自上述第二减法器的输出来生成亮度评价值；亮度色差评价值比较部，把来自上述色差评价值生成部的色差评价值与来自上述亮度评价值生成部的亮度评价值进行比较而输出评价值比较差；矢量决定部，输入上述运动矢量亮度信号和运动矢量色差信号以及上述评价值比较差，从多个取出的运动矢量中输出在上述评价值比较差成为最小的运动矢量来作为最适当矢量。
另一个发明所涉及的运动补偿装置，在进行执行运动图象编码的编码时，以块单位从以前帧的数据来预测运动，而进行信息量削减，其特征在于，包括以前帧存储部，存储以前帧的数据；最小变形计算部，从目前块和以前帧的特定区域来进行图形匹配，计算提供最小变形的运动矢量和变形值；特定矢量变形计算部，计算目前块和与所输入的一个以上运动矢量相对应的以前帧的块的变形；最适当矢量输出部，根据从上述最小变形计算部所输出的变形和从上述特定矢量变形计算部所输出的变形，来输出最适当运动矢量。
被输入上述特定矢量变形计算部的运动矢量是从上述最适当矢量输出装置所输出的矢量。
上述最适当矢量输出部包括加法器，对来自上述最小变形计算部的变形进行加权；比较器，把进行了加权的来自最小变形计算部的变形与来自上述特定矢量变形计算部的变形进行比较；选择器，根据该比较器的比较结果来选择提供最小变形的运动矢量或特定矢量中的一个，并作为最适当运动矢量而输出。
上述最适当矢量输出部进一步包括偏移值计算部，通过提供最小变形的运动矢量与特定矢量的差分的大小，来适当地变更提供对来自上述最小变形计算部的变形进行了加权的偏移值。
上述最小变形计算部输出目前探索范围内的最小变形和在窄于目前探索范围的范围中的预先设定的范围中的最小变形。
本发明所涉及的运动图象编码装置，根据运动补偿预测来进行运动图象编码，其特征在于，包括存储器，存储用于运动补偿预测的参照图象数据；运动检出部，根据输入宏块和来自上述存储器的参照图象数据来检出提供最小预测误差的运动矢量；预测矢量导出部，导出在对用于输入宏块的运动补偿预测的运动矢量进行编码时所使用的预测矢量；运动补偿部，根据所提供的运动矢量来取出上述存储器内的参照图象数据对应位置的图象数据，来作为与运动矢量相对应的预测图象；阈值处理部，根据由上述运动检出部所得到的运动矢量并使用从上述运动补偿部所输出的预测图象来求出预测误差量，使用第一阈值来对该预测误差量进行阈值判定，当判定结果是预测误差量大于第一阈值时，把由上述预测矢量导出部所得到的预测矢量输出给上述运动补偿部，而当预测误差量小于第一阈值时，把由上述运动检出部所得到的运动矢量输出给上述运动补偿部；预测图象判定部，生成由与预测矢量相对应的预测图象所产生的预测误差信号，使用第二阈值来对该预测误差信号的发生编码量推定值进行阈值判定，当判定结果是预测误差信号的发生编码量推定值大于第二阈值时，输出由上述运动检出部所得到运动矢量来作为最终运动矢量，而当预测误差信号的发生编码量推定值小于第二阈值时，输出上述预测矢量来作为最终运动矢量，并且，输出与最终运动矢量相对应的预测图象来作为最终预测图象。
进一步包括帧活动计算部，根据来自上述运动检出部的运动矢量和最小预测误差量的输入来算出帧活动的值，根据所算出的值来以帧单位切换控制使用由上述阈值处理部和上述预测图象判定部所产生的预测矢量的运动矢量的置换处理。
本发明所涉及的运动图象编码方法，根据运动补偿预测来进行运动图象编码，其特征在于，包括运动矢量检出步骤，根据输入宏块和参照图象数据来检出提供最小预测误差的运动矢量；第一阈值判定步骤，根据输入宏块和运动矢量所相对应的预测图象并使用第一阈值来对预测误差信号进行阈值判定；预测矢量导出步骤，当第一阈值判定结果是预测误差信号大于第一阈值时，导出在对运动矢量进行编码时所使用的预测矢量；预测误差信号生成步骤，生成由与预测矢量相对应的预测图象所产生的预测误差信号；计算步骤，算出预测误差信号的发生编码量推定值；第二阈值判定步骤，使用第二阈值来对所算出的预测误差信号的发生编码量推定值进行阈值判定；置换步骤，当第二阈值判定结果是预测误差信号的发生编码量推定值小于第二阈值时，把运动矢量置换为上述预测矢量；使用运动矢量来实施运动预测编码。
进一步包括控制步骤，根据运动矢量和最小预测误差来算出帧活动值，根据所算出的值来进行是否以帧单位进行运动矢量和预测矢量的置换的切换控制。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中图1是表示本发明的实施例1所涉及的运动补偿装置的方框图；图2是表示本发明的实施例2所涉及的运动补偿装置的方框图；图3是表示本发明的实施例3所涉及的运动补偿装置的方框图；图4是表示本发明的实施例4所涉及的运动补偿装置的方框图；图5是表示本发明的实施例5所涉及的运动补偿装置的方框图；图6是表示本发明的实施例6所涉及的运动补偿装置的方框图；图7是表示本发明的实施例7所涉及的运动补偿装置的方框图；图8是表示本发明的实施例8所涉及的运动补偿装置的方框图；图9是表示本发明的实施例9所涉及的运动补偿装置的方框图10是表示本发明的实施例9所涉及的运动补偿装置的变形例的方框图；图11是表示本发明的实施例9所涉及的运动补偿装置的另一个变形例的方框图；图12是表示本发明的实施例9所涉及的运动补偿装置的又一个变形例的方框图；图13是表示本发明的实施例10所涉及的运动图象编码装置的方框图；图14是表示图13中的编码装置中的运动补偿预测部19的处理流程的流程图；图15是说明本发明的实施例11所涉及的MPEG-4或ITU-T推荐的H.263中的运动矢量的预测值的计算方法的示意图；图16是表示本发明的实施例12所涉及的运动图象编码装置的方框图；图17是表示图16的编码装置中的运动补偿预测部19的处理流程的流程图；图18是表示现有的运动补偿装置的方框图；图19是求出最适当图象(预测图象)的示意图。
实施例1图1是表示实施例1所涉及的运动补偿装置的方框图。
如图1所示的那样，实施例1所涉及的运动补偿装置包括运动补偿处理部200，输入作为目前帧的图象的输入图象202和作为以前帧的图象的参照图象201，从参照图象201中探索与输入图象202最近似的图象块，输出抽出符合运动矢量的预测图象时的输入图象202和参照图象201之间的运动矢量203和预测图象204；作为变形量运算部的差分绝对值和运算部205，计算并输出差分绝对值和206来作为输入图象202和运动矢量203的变形量；矢量值编码部207，输入运动矢量203并进行编码而输出矢量编码量208；最适当矢量决定部209，输入运动矢量203和差分绝对值和206以及矢量编码量208，对于进行评价的多个运动矢量的全部来运算出从差分绝对值和206和矢量编码量208所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量210。
下面对上述构成所涉及的实施例1的动作进行说明。
运动补偿处理部200对于输入图象202从参照图象201抽出符合运动矢量203的预测图象204。在差分绝对值和运算部205中，从输入图象202和预测图象204计算差分绝对值和206。
另一方面，为了抽出预测图象204而使用的运动矢量203被输入矢量值编码部207和最适当矢量决定部209。被输入矢量值编码部207的运动矢量203被进行编码，而输出矢量编码量208。其中，在矢量值编码部207中，大多使用可变长编码等。在最适当矢量决定部209中，输入差分绝对值和206、矢量编码量208和运动矢量203，对于进行评价的多个运动矢量的全部来运算出从差分绝对值和206和矢量编码量208所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量210。其中，作为所使用的评价函数，对例如差分绝对值和206和矢量编码量208进行加权相加。
这样，在最适当矢量210的决定中，不仅使用差分绝对值和206，还要同时使用矢量编码量208，由此，能够提高总的编码效率。特别是，在低速率编码中，矢量的编码量占全部编码量的一半以上，考虑矢量编码量的运动矢量选择是重要的。
即，为了对运动矢量进行编码，使用用于对编码量和预测误差信号进行编码的信息量作为评价值，来选择最适当矢量，由此，与现有的运动补偿预测相比，最终的编码结果效率更高。
实施例2图2是表示实施例2所涉及的运动补偿装置的方框图。
与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，211是取代在图1中作为变形量运算部而使用的差分绝对值和运算部205所使用的差分平方和运算部。差分平方和，与差分绝对值和相比，由于是进行平方运算，作为需要更复杂的运算，但是，能够评价在信号中包含的功率。一般，功率方能够以更高精度来评价预测误差信号，与实施例1相比，能够进行精度更高的预测，由此，能够求出更正确的最适当矢量。
实施例3图3是用于说明实施例3所涉及的运动补偿装置的图，是实施例1和2中的矢量值编码部207的内部构成图。
如图3所示的那样，矢量值编码部207包括延迟所输入的运动矢量203的延迟器213、取得所输入的运动矢量203与经过延迟器213的运动矢量的差分而输出差分矢量的差分器214、对上述差分矢量进行编码而输出运动矢量编码量208的差分矢量编码部215。
被输入矢量值编码部207的运动矢量203，由差分器214取得与在以前被输入并存储在延迟器213中的运动矢量的差分，由差分矢量编码部215对该差分矢量进行编码。运动矢量大多取在画面内的局部看时相似的值。这样，取得与已经使用的近边的运动矢量的差分，由此，能够减小进行编码的值，能够减少矢量编码量而谋求编码效率的提高。
实施例4图4是表示实施例4所涉及的运动补偿装置的方框图。
在图4中，与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，216a是从输入图象202得到分离出平均值的平均值分离输入图象217的第一平均值分离部，216b是从预测图象204得到分离出平均值的平均值分离预测图象218的第二平均值分离部，219是变形量运算部，输入平均值分离输入图象217和平均值分离预测图象218来求出平均值分离输入图象217与平均值分离预测图象218之间的变形量，该变形量运算部219与实施例1和2相同求出由差分绝对值和或差分平方和的运算所得到的评价值220，被输入最适当矢量决定部209，在最适当矢量决定部209中，输入上述运动矢量203和由差分绝对值和或差分平方和的运算所得到的评价值220，求出全部评价评价值220的多个运动矢量203，输出评价值呈现最小值的运动矢量而作为最适当矢量210。
如图4所示的那样，运动矢量203和预测图象204分别由平均值分离部216a和216b进行平均值的分离。通过变形量运算部219，在分离出平均值的平均值分离输入图象217与分离出平均值的平均值分离预测图象218之间，求出由图1和图2中说明的差分绝对值和或差分平方和的运算所得到的评价值220，被输入最适当矢量决定部209，来求出最适当矢量210。
这样，分离平均值并进行评价就使不依赖于图象的水平的运动补偿成为可能。例如，在淡入图象和亮度变化剧烈的图象的情况下，在现有的探索中，不能检出正确的运动，但是，通过分离出平均值，则即使在这些情况下，也能检出精度更高的运动矢量。
即，在分离输入图象和预测图象两方的平均值的图象相互间进行运动预测评价，由此，能够实现不依赖于图象的水平的运动补偿，即使对变化剧烈的图象也能实现精度更高的运动矢量的检出。
虽然在此没有描述，但是，当然能够象图1和图2中说明的那样，使用矢量编码量208作为另一个评价值，而供最适当矢量的决定使用。同样，具有图3所示的那样对矢量编码进行差分矢量编码的效果。
实施例5图5是表示实施例5所涉及的运动补偿装置的方框图。
在图5中，与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，222是把输入图象202与预测图象204相减来求出预测误差223的减法器，224是把预测误差223变换为频率系数225的DCT和FFT等的频率解析部，226是生成根据所变换的频率系数225来进行加权的评价值227的评价值生成部，最适当矢量决定部209输入运动矢量203和评价值227，从多个取出的运动矢量中，输出上述评价值227呈现最小值的运动矢量作为最适当矢量210。
如图5所示的那样，输入图象202和预测图象204通过减法器222得到预测误差223，预测误差在频率解析部224中被变换为频率系数225。所变换频率系数在评价值生成部226中完成评价运算，作为评价值227被输出。
这样，进行预测误差的频率解析来求出频率系数的过程相当于进行与对预测误差进行变换编码时的处理大致相同的过程。例如，在求出的频率系数中，对低频成分进行加权，来生成评价值，由此，能够相当正确地预测对预测误差进行变换编码时的编码量。通过使用该编码量作为评价值，能够希望进行效率更高的编码。
即，求出进行预测差分的频率解析的频率系数，从该系数来求出评价值，由此，能够相当正确地预测在预测误差的编码之前包含的变换编码后的编码量，能够实现效率高的编码。
实施例6图6是表示实施例6所涉及的运动补偿装置的方框图。
在图6中，与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，228是对来自减法器222的预测误差223进行差分编码而输出差分图象编码量229的差分图象编码部228，矢量决定部209输入运动矢量203和上述差分图象编码量229以及来自矢量值编码部208的矢量编码量208，从多个取得的运动矢量203中，输出把上述矢量编码量208加上上述差分图象编码量229的编码量成为最小的运动矢量来作为最适当矢量210。
如图6所示的那样，输入图象202和预测图象204通过减法器222得到预测误差223，预测误差由差分图象编码部228进行编码，而输出编码量229。对预测误差进行差分编码的过程与进行通常的编码处理的过程相同，而且，通过把其与矢量编码量相加，能够计算出在使用运动矢量203时的大致完全的编码量。这样，通过采用本构成，能够在取得的总的运动矢量中，求出编码量成为最适当的矢量。
即，对预测误差进行编码而求出编码信息量，接着，使用矢量编码的编码量，由此，能够得到该矢量中的大致完全的编码量，在变形与编码量的关系上，能够进行最适当的编码。
实施例7图7是表示实施例7所涉及的运动补偿装置的方框图。
在图7中，与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，230a是从输入图象202分离出输入图象亮度信号231和输入图象色差信号232的第一亮度色差分离部，230b是从预测图象204分离出预测图象亮度信号233和预测图象色差信号234的第二亮度色差分离部，235a是求出来自第一亮度色差分离部230a的输入图象亮度信号231与来自第二亮度色差分离部230b的预测图象亮度信号233的差分的第二减法器，235b是求出来自第一亮度色差分离部230a的输入图象色差信号232和来自第二亮度色差分离部230b的预测图象色差信号234的差分的第一减法器，237是根据来自第一减法器235b的输出而生成色差评价值的色差评价值生成部，236是根据来自第二减法器235a的输出而生成亮度评价值的亮度评价值生成部，238是根据来自色差评价值生成部237的色差评价值和来自亮度评价值生成部236的亮度评价值来运算最适当矢量决定用总评价值239的作为评价值运算部的加法器，矢量决定部209输入运动矢量203和最适当矢量决定用总评价值239，从多个取得的运动矢量中，输出最适当矢量决定用总评价值成为最小的运动矢量来作为最适当矢量210。
如图7所示的那样，输入图象202和预测图象204分别输入亮度色差分离部230a、230b，被分离成输入图象亮度信号231、输入图象色差信号232、预测图象亮度信号233、预测图象色差信号234。由减法器235a、235b从所分离的信号中求出亮度信号彼此或者输出信号彼此的差分，由亮度评价值生成部236和色差评价值生成部237来分别独立地计算出评价值。通过加法器238来把所算出的亮度评价值和色差评价值相加，而得到总评价值239。根据该总评价值，在多个取得的运动矢量中，总评价值成为最小的运动矢量成为最适当矢量210。
在现有的运动补偿预测中，一般是仅由亮度成分算出评价值。而分离成亮度色差来求出评价值的方案能够通过使用色差图象来求出仅由亮度不能求出的运动。当分离出亮度成分和色差成分时，虽然在亮度信号上没有变化，而存在在色差成分上明确看到变化的图象。在这样的图象的情况下，当仅由亮度成分进行运动补偿时，不可能追随色差成分的变化，而求出了错误的矢量。通过同时评价色差成分，就能在上述那样的情况下求出最适当矢量。
这样，通过把亮度信号和色差信号加到运动补偿预测的评价值上，就能提高仅由亮度信号不能进行平价的颜色的运动的再现性。
虽然在此没有描述，但是，通过由加法器238来在亮度评价值和色差评价值的相加中进行加权相加运算，就能求出更适当的评价值。
实施例8图8是表示实施例8所涉及的运动补偿装置的方框图。
在图8中，与图1所示的实施例1相同的部分使用相同的标号，而省略其说明。作为新的标号，230c是从运动矢量203分离出运动矢量亮度信号242和运动矢量色差信号243的第三亮度色差分离部，244是把来自色差评价值生成部237的亮度评价值与来自色差评价值生成部237的色差评价值进行比较而输出评价值比较差的作为评价值运算部的亮度色差评价值比较部，运动补偿处理部200输入输入图象202和参照图象201，输出输入图象202和参照图象201之间的运动矢量，以及，相对于输入图象202的亮度成分，输出从参照图象201按照运动矢量亮度信号抽出的预测图象亮度信号240和按照运动矢量色差信号抽出的预测图象色差信号241，最适当矢量决定部209输入运动矢量亮度信号242以及运动矢量色差信号243和上述评价值比较差，从多个取得的运动矢量中，输出上述评价值比较差成为最小的运动矢量来作为最适当矢量。
如图8所示的那样，对于输入图象202的亮度成分，从参照图象201分别求出符合运动矢量亮度信号242的预测图象亮度信号240，和符合运动矢量色差信号243的预测图象色差信号241。输入图象202通过亮度色差分离部230a被分离成亮度信号231和色差信号232。对于亮度信号的输入图象和预测图象以及输出信号的输入图象和预测图象分别取得差分，分别运算亮度评价值和色差评价值，并输入亮度色差评价值比较部244。由比较部244来执行进行了加权的比较，把被判断为更适当的评价值输出给最适当矢量决定部209。最适当矢量决定部209输入亮度、色差的各自的矢量，通过以前输入的评价值，来输出从亮度、色差矢量中所选择的来作为最适当矢量210。
实施例9图9是表示实施例9所涉及的运动补偿装置的方框图。
图9所示的运动补偿装置是在进行运动图象编码时以块单位从以前帧的数据预测运动来进行信息量削减的运动补偿装置，包括存储以前帧的数据的以前帧存储器104；从目前帧的块数据150和以前帧的探索范围数据151的特定区域来进行图形匹配，而计算提供最小变形的运动矢量155和最小变形154的最小变形计算部101；计算目前帧的块数据150和与从外部所输入的一个以上特定矢量153相对应的以前帧的块数据152的变形156的特定矢量计算部102；根据从上述最小变形计算部101所输出的变形和从上述特定矢量计算部102所输出的变形而输出最适当运动矢量157的最适当矢量输出部103。
下面对图9的动作进行说明。
在最小变形计算部101中，对于目前帧的块数据150，从以前帧的探索范围数据151来计算出成为最小的最小变形154和提供最小变形的运动矢量155，并输出。另一方面，在特定矢量计算部102中，从以前帧存储器104取出与由外部提供的特定矢量153相对应的数据152，计算该数据和目前帧的块数据150的变形156。
以来自最小变形计算部101的最小变形154和来自特定矢量计算部102的变形156为基础，在最适当矢量输出部103中计算最适当矢量。
作为最适当矢量输出部103的最适当矢量计算方法，例举出了图11。即，把来自最小变形计算部101的最小变形154与偏移值110相加，由比较器112来比较其结果和来自特定矢量计算部102的变形156，输出提供较小值的矢量来作为最适当运动矢量156。
如图10所示的那样，输入作为最适当矢量输出部103的输出的最适当运动矢量157来作为特定矢量计算部102的输入和特定矢量153，由此，输入前一个块的最适当矢量来作为特定矢量，由此，在选择以前块的最适当矢量作为目前块的最适当矢量的情况下，能够大幅度减小运动矢量的可变长编码中的信息量。
最适当矢量输出部103，如图12所示的那样，进一步包括偏移值计算部114，通过提供最小变形的运动矢量155与特定矢量153的差分的大小来适当地变更提供在来自最小变形计算部101的变形上进行了加权的偏移值，这样就能通过差分值来决定偏移值。例如，当矢量的差分较小时，提供较小的偏移值。当差分较大时，提供较大的偏移值。由此，当某种程度矢量的差分较大时，如果特定矢量的值≤((最小变形)+偏移)作为选择特定矢量作为最适当运动矢量。
由此，能够大幅度削减可变长编码时的发生信息量。
实施例10下面，在以下的实施例中，提供运动图象编码装置和方法，不但具有简单构成下的实用性和通用性，还考虑了总的编码量和变形的平衡，把当对编码变形的降低没有贡献时所考虑的运动矢量校正为成为编码量最小的预测矢量，抑制整体变形的增大并削减运动矢量的编码量。本方法能够用于在现有技术中所述的各种国际标准运动图象编码方式，在有效地削减编码系统整体中的编码量的目的上，与上述各实施例相一致。
首先，在该实施例10所涉及的运动图象编码装置中，根据运动补偿预测来进行运动图象编码，其中包括存储器，存储用于运动补偿预测的参照图象数据；运动检出部，根据输入宏块和来自上述存储器的参照图象数据来检出提供最小预测误差的运动矢量；预测矢量导出部，导出在对用于输入宏块的运动补偿预测的运动矢量进行编码时所使用的预测矢量；运动补偿部，根据所提供的运动矢量来取出上述存储器内的参照图象数据对应位置的图象数据，来作为与运动矢量相对应的预测图象；阈值处理部，根据由上述运动检出部所得到的运动矢量并使用从上述运动补偿部所输出的预测图象来求出预测误差量，使用第一阈值来对该预测误差量进行阈值判定，当判定结果是预测误差量大于第一阈值时，把由上述预测矢量导出部所得到的预测矢量输出给上述运动补偿部，而当预测误差量小于第一阈值时，把由上述运动检出部所得到的运动矢量输出给上述运动补偿部；预测图象判定部，生成由与预测矢量相对应的预测图象所产生的预测误差信号，使用第二阈值来对该预测误差信号的发生编码量推定值进行阈值判定，当判定结果是预测误差信号的发生编码量推定值大于第二阈值时，输出由上述运动检出部所得到运动矢量来作为最终运动矢量，而当预测误差信号的发生编码量推定值小于第二阈值时，输出上述预测矢量来作为最终运动矢量，并且，输出与最终运动矢量相对应的预测图象来作为最终预测图象。对于图象数据的编码量，当运动参数(运动矢量)的编码量的比率变高的低比特率编码时，实现了全体的编码量和编码变形的平衡良好的编码。
本实施例10，在由一般的运动补偿预测和离散余弦变换(discrete cosinetransform，以下简称为DCT)·量化所进行的运动图象编码装置中，表示出了装入本实施例所涉及的技术要素的例子。
图13是本实施例10中的运动图象编码装置的内部构成图。
在根据图13所示的实施例10中的使用运动矢量的运动补偿预测来进行运动图象编码的装置中，作为主要的构成，在运动补偿预测部19内包括帧存储器34，存储用于运动补偿预测的参照图象数据；运动检出部20，根据输入宏块3和来自上述存储器34的参照图象数据来检出提供最小预测误差的运动矢量21；预测矢量导出部27，导出在对用于输入宏块3的运动补偿预测的运动矢量进行编码时所使用的预测矢量28；运动补偿部22，根据所提供的运动矢量来取出上述存储器34内的参照图象数据对应位置的图象数据，来作为与运动矢量相对应的预测图象23,29；阈值处理部24，根据由上述运动检出部20所得到的运动矢量21并使用从上述运动补偿部22所输出的预测图象23来求出预测误差量，使用第一阈值来对该预测误差量进行阈值判定，当判定结果是预测误差量大于第一阈值时，把由上述预测矢量导出部27所得到的预测矢量28输出给上述运动补偿部22，而当预测误差量小于第一阈值时，把由上述运动检出部20所得到的运动矢量21输出给上述运动补偿部22；预测图象判定部30，生成由与预测矢量28相对应的预测图象29所产生的预测误差信号，使用第二阈值来对该预测误差信号的发生编码量推定值进行阈值判定，当判定结果是预测误差信号的发生编码量推定值大于第二阈值时，输出由上述运动检出部20所得到运动矢量21来作为最终运动矢量33，而当预测误差信号的发生编码量推定值小于第二阈值时，输出上述预测矢量28来作为最终运动矢量33，并且，输出与最终运动矢量33相对应的预测图象37来作为最终预测图象。
作为其他的标号，2是根据输入图象信号1而生成输入宏块3的宏块生成部，5是根据输入宏块3和预测误差信号4的输入来进行方式判定而输出方式选择信息6和编码对象图象信号7的方式判定部，8是对编码对象图象信号7进行离散余弦变换而输出DCT系数数据的DCT部，10是对DCT系数数据9进行量化而输出量化DCT系数数据的量化部，12是对量化DCT系数数据11进行逆量化而输出逆量化DCT系数数据13的逆量化部，14是根据逆量化DCT系数数据13来复原解码图象数据15的逆DCT部，16是解码重放图象，17是按照来自方式判定部5的方式选择信息6来进行控制的开关，26和32是运动补偿预测部19内的开关，38是可变长编码·复用部，把量化DCT系数数据11、方式选择信息6、运动矢量33以预定的语法、可变长编码方法复用为比特流39的形式而输出。
图14是表示用于说明本实施例10所涉及的运动图象编码装置和方法的包含图13的运动补偿预测部19的运动矢量检出的处理过程的流程图。
下面说明图13和图14。
(1)编码装置的全体动作首先，对图13的编码装置的全体动作进行简单地说明。输入图象信号1中与一帧相对应的数据被输入，该帧数据由宏块生成部2分割成输入宏块3。对于各个输入宏块，在方式判定部5中决定是进行帧内编码还是进行帧间编码。用于判定的是输入宏块3和预测误差信号4，该预测误差信号4是通过运动补偿预测部19的处理而得到的预测图象37与输入宏块3的差分信号，通过预定的判定方法来选择判断为编码效率高的信号作为编码对象图象信号7。此时的判定方法可以采用各种方法，但是，由于其不是本发明的技术要素，就不进行详细说明了。下面详细说明生成预测图象37和运动矢量33的运动补偿预测部19的处理。
编码对象图象信号7在DCT部8中对每个由8×8象素组成的块进行DCT，而变换为DCT系数数据9。DCT系数数据9由量化部10按照预定的方法进行量化，而作为量化DCT系数数据11送给可变长编码·复用部38。量化DCT系数数据11在逆量化部12中被恢复为逆量化DCT系数数据13，在逆DCT部14中复原为解码图象数据15。其中，按照来自方式判定部5的方式选择信息6来控制开关17，当是帧内编码方式时，得到「0」；当是帧间编码方式时，与预测图象37相加而得到解码重放图象16。
解码重放图象16用于以后的运动补偿预测，因此，被存储在帧存储器34中。运动补偿预测部19除了输出预测图象37外，还向可变长编码·复用部38输出用于得到预测图象37的运动矢量33。
可变长编码·复用部38以预定的算法、可变长编码方法来把量化DCT系数数据11、运动矢量33和方式选择信息6等复用成为比特流39形式并输出。其中，预定的算法是指按照上述的国际标准运动图象编码标准所决定的数据复用规则。
(2)运动补偿预测部19的动作运动补偿预测部19的内部构成为图13所示的那样。下面同时使用图14的流程来详细说明其动作。
(2-1)运动检出处理(步骤S1)首先，如步骤S1所示的那样，对于输入宏块3，求出提供最小预测误差(最小匹配变形)的运动矢量21。该处理在运动检出部20中进行。对于预测误差，具有现有技术中所述的差分绝对值和(SAD)和对宏块亮度成分的全部象素来总合象素差分平方的差分平方和等，但是，在下面使用SAD。运动检出部20在输入宏块3和帧存储器34中提供参照图象的运动矢量探索范围中包含的图象数据之间，求出使SAD成为最小的参照图象数据位置，输出距输入宏块3的帧内位置的偏移来作为运动矢量21。用于预测误差的计算的帧存储器34中的参照图象数据通过图象数据总线35送入运动检出部20。
接着，开关26接通而把该运动矢量21传输给运动补偿部22。运动补偿部22通过运动矢量21来经过图象数据总线36取出与帧存储器34中的参照图象数据的对应位置的图象数据，而作为预测图象23输出。预测图象23首先被送给最终预测图象判定部30，在此时刻，最终预测图象判定部30把该预测图象23原封不动地作为预测图象37直接输出。
(2-2)方式判定(步骤S2、S3)接着，在步骤S2中，进行帧内/帧间判定。该处理不是由运动补偿预测部19而是由方式判定部5来按(1)所述的那样进行。接着，在步骤S3中，判定方式选择信息6是否表示「帧间方式」。如果是帧内方式即把输入宏块3直接作为编码对象信号的方式，则在此结束运动补偿预测部19的处理。
(2-3)运动矢量的效率判定(步骤S4)如果是帧间方式即把输入宏块3和预测图象37的差分图象(预测误差信号)作为编码对象信号的方式，则按照以下说明的顺序和动作来考虑编码量和编码变形的均衡，而在总体上修改决定效率更高的运动矢量。首先，在帧间方式的情况下，启动最小匹配变形阈值处理部24，对于由预测图象23所产生的SAD，根据预定的阈值TH1来进行阈值判定(步骤S4)。其中，如果实验或经验地决定TH1来作为谋求预测效率的值，则在产生大于TH1的SAD的情况下，由运动矢量21所产生的运动补偿预测能够判断为预测效率不那么好。即，在该宏块中，使用运动矢量21来得到预测误差信号，为了对该预测误差信号进行编码，可以进行较多的编码量为必要的某种程度推测。因此，此时的运动矢量21消耗运动矢量21自身的编码量，而判断为进行运动补偿预测的价值较低，而谋求运动矢量的编码量的削减。
反之，在SAD为小于TH1的值的情况下，确认运动矢量21的效率，原封不动地使用其来作为最终的运动矢量，来进行编码。
(2-4)运动矢量的置换处理(步骤S5～S9)在上述步骤S4中，讨论了当判断为SAD大于TH1时，把运动矢量21置换为在实际进行差分编码时使用的预测矢量。一般，在现有的运动图象编码标准方式中，运动矢量由附近的运动矢量进行预测，对其差分值进行编码。由于运动矢量取与附近相似的值，则分配预测差分接近于零等编码长度短的编码，来进行编码。因此，使运动矢量与预测矢量相一致，由此，运动矢量的编码量成为最小的，因此，通过该置换，如果预测误差信号的编码量不是非常大，就能进行在总量上削减了编码量的效率高的编码。
当最小匹配变形阈值处理部24在步骤S4中判断为SAD大于TH1时，通过控制信号25来切换开关26，给预测矢量导出部27提供运动矢量21。预测矢量导出部27进行步骤S5的处理，导出在对运动矢量21实际进行编码时使用的运动矢量编码用的预测矢量28。例如，使预测方法取以前的宏块的运动矢量作为预测矢量(在MPEG-1和MPEG-2中采用其)。这样一来，运动矢量21为(-2,8)，在以前的宏宽的运动矢量为(0,4)的情况下，进行编码的运动矢量数据其差分为(2,4)。其中，运动矢量(x,y)代表把从被预测宏块的象素位置向水平方向偏移x象素(以右方向为正)、向垂直方向偏移y象素(以下方向为正)的位置的正存储器中的象素作为预测象素。预测矢量导出部27输出与预测矢量相对应的(0,4)作为置换候补矢量。
运动补偿部22接受预测矢量28，以与上述预测图象23的取得相同的程序来输出与预测矢量28相对应的预测图象29。
预测图象29与预测图象23一起被输入最终预测图象判定部30。最终预测图象判定部30生成由预测图象29所产生的预测误差信号(通过取得与输入宏块3的差分而得到。相当于步骤S6)，检验该预测误差信号的编码效率。其目的是在用预测矢量28来置换运动矢量21时，当随之预测误差信号的编码量大幅度增加时，运动矢量的置换为反效果，由此，以某种程度来测量预测误差信号的编码量的程度。
检验的方法是使用作为预测误差信号的发生编码量推定值的亮度成分的分散值的阈值判定(步骤S7、S8)。该判定方法的根据为以下这样预测误差信号一般具有在零附近存在峰值的拉普拉斯、高斯类的分布。编码是把该预测误差信号通过DCT变换为频率成分，为了利用其系数分布偏向于低频的情况来削减冗余度，则在高频成分中建立的系数的发生频率成为编码效率的量度。高频成分的含有率在某种程度上有预测误差信号的信号分布的分散所代表。分散越大，信号分布的峰值下部越宽。则DCT系数的高频成分的发生频率变高。
从这样的观点看，特别是把占编码量的多数的亮度成分的分散值σ2用于阈值判定，当该分散值小于阈值TH2时，作为由运动矢量置换所产生的预测误差信号的编码量增加被进行了某种程度的抑制的结果，而确认运动矢量的置换(步骤S9)。反之，当亮度成分的分散值大于TH2时，则判定为运动矢量置换反而引起了预测误差信号的编码量增加，则不确认运动矢量的置换，把提供最小SAD的运动矢量21作为最终的运动矢量。
最终预测图象判定部30根据以上的亮度信号分散值来进行置换可否的判定，作为其结果，通过控制信号31来切换开关32，输出最终运动矢量33，同时，从预测图象23、预测图象29中选择与最终运动矢量33相对应的最终预测图象37而输出。即，在帧间方式中，使用经过以上处理后的最终预测图象37来实施帧间编码，同时，把最终运动矢量33送给可变长编码·复用部38来进行编码。
当根据使用上述图14所示的运动矢量的运动补偿预测来归纳运动图象编码方法中的处理步骤时，为以下这样即，图14所示的运动图象编码方法包括运动矢量检出步骤S1，根据输入宏块和参照图象数据来检出提供最小预测误差(最小匹配变形)的运动矢量；第一阈值判定步骤S4，根据输入宏块和运动矢量所相对应的预测图象并使用第一阈值来对预测误差信号进行阈值判定；预测矢量导出步骤S5，当第一阈值判定结果是预测误差信号大于第一阈值时，导出在对运动矢量进行编码时所使用的预测矢量；预测误差信号生成步骤S6，生成由与预测矢量相对应的预测图象所产生的预测误差信号；计算步骤S7，算出预测误差信号的发生编码量推定值；第二阈值判定步骤S8，使用第二阈值来对所算出的预测误差信号的发生编码量推定值进行阈值判定；置换步骤S9，当第二阈值判定结果是预测误差信号的发生编码量推定值小于第二阈值时，把运动矢量置换为上述预测矢量；使用运动矢量来实施运动预测编码。
通过上述构成的编码装置和方法，通过阈值判定来指定对预测误差信号的编码量削减没有贡献的运动矢量，而能够一边抑制预测误差信号的编码量增加一边削减运动矢量的编码量来进行编码，因此，能够选择运动信息、图象信息的总的编码效率最适当的运动矢量。
在本实施例10中，虽然未对阈值TH1和TH2的具体决定方法进行描述，但是，由于这些值根据特定的编码比特率和帧速率等来变化最适当值，因此能够作为与状况相对应的调谐的参数来使用。通过把这些值设定为最适当，能够提高编码效率。
在本实施例10的编码装置中，与现有的运动矢量探索相比，追加了SAD的阈值处理、预测矢量和由预测矢量所产生的预测误差信号的导出、由预测矢量所产生的预测误差信号的亮度信号的分散值的计算和阈值处理。但是，除了SAD和分散值的阈值处理可以由一个条件分支来实现之外，预测矢量导出即使在现有的运动矢量编码时也不需要特别的追加机构。
由预测矢量所产生的预测误差信号的导出能够通过宏块的缓冲存储和预测矢量的暂时存储，而由检出提供最小SAD的运动矢量的过程(运动检出部20)来实施，分散值计算不仅可以每一个宏块进行一次处理(但是，在步骤S4中，仅对成为运动矢量置换的候补的宏块)，而且可以通过追加极少的运算量来实现。在由硬件构成的情况下，必须追加若干内部构成部件，而在由软件构成编码装置的情况下，能够仅增加少量的运算量来实现。
在本实施例10中，虽然使用运动矢量来作为表现运动量的参数来进行说明，但是，也可以适用于使用仿射参数和透视变换参数等更复杂的运动参数来进行预测的情况。对于这些复杂的运动参数，在预测矢量导出部27中，能够算出在参数编码时削减冗余度来进行编码的参数。
实施例11在上述实施例10中，提供最小SAD的运动矢量可以从几种方式中选择。例如，根据MPEG-4的最终草案(ISO/IEC JTC 1/SC29WG11/N2202)和作为ITU-T推荐的H.263的选项之一的Advanced Prediction Mode，作为运动矢量，可以选择对每个宏块求出一个矢量的「1MV方式」和对于每个成为DCT单位的4个8象素×8线的块求出一个运动矢量的「4MV方式」。在此情况下，比较「1MV方式」和「4MV方式」，选择提供最小SAD的方式。
该处理可以在图13的运动检出部20的内部实施，能够作为图14的步骤S1的分步骤而设置。
在此情况下的预测矢量导出部27进行使用附近运动矢量的中间值的预测矢量的计算。
在图15中，MV代表被预测运动矢量，MV1～MV3代表用于预测矢量的计算的必要的运动矢量，(a)决定了宏块中左上的块的运动矢量时的MV1～MV3的位置；(b)决定了宏块中右上的块的运动矢量时的MV1～MV3的位置；(c)决定了宏块中左下的块的运动矢量时的MV1～MV3的位置；(a)决定了宏块中右下的块的运动矢量时的MV1～MV3的位置。
预测矢量(Px,Py)由下式求出Px=Median(MV1x,MV2x,MV3x)Py=Median(MV1y,MV2y,MV3y)其中，MV1=(MV1x,MV1y)MV2=(MV2x,MV2y)MV3=(MV3x,MV3y)函数Median()输出三个独立变量的中央值。
虽然图15为「4MV方式」的示意图，但是，对于「1MV方式」，在该图(a)的情况下也能说明。
在「1MV方式」的情况下，使用图3(a)，来把MV视为宏块全体的运动矢量，来求出预测矢量。MV1～MV3，在它们属于的宏块的运动矢量方式是「1MV方式」时，4个块都视为相同的运动矢量。
根据本实施例12，在MPEG-4和H.263等把低比特率编码作为目标的编码装置中，可以使用本发明。
实施例12在本实施例12中，对具有以帧单位切换在实施例10中说明的运动矢量置换处理的ON/OFF的构成的编码装置进行说明。在运动补偿预测的效率极高的帧中，运动矢量的置换成为逆效果，为了防止其，在帧全体中进行ON/OFF，由此就能削减不进行置换处理的帧中的运算量。
即，在该实施例12中，进一步包括帧活动计算部40，根据来自运动检出部20的运动矢量和最小预测误差量的输入，来算出帧活动的值，根据所算出的值来以帧单位切换控制使用由最小匹配变形阈值处理部24和最终预测图象判定部30所产生的运动矢量的置换处理，能够对每帧控制运动参数置换处理的ON/OFF，由此能够更柔软低进行全体的编码量和编码变形的均衡良好的编码。
在图16中表示了本实施例12中的运动补偿预测部19的内部构成。
在该图中，与图13所示的实施例10相同的部分使用相同标号，而省略其说明。作为新的标号，40是帧活动计算部，根据来自运动检出部20的运动矢量21和最小预测误差41的输入，来算出帧活动的值，根据所算出的值来以帧单位切换控制使用由最小匹配变形阈值处理部24和最终预测图象判定部30所产生的运动矢量的置换处理，43和44是用于根据该控制信号进行运动矢量的置换处理的开关。
图17是表示使用图16的运动补偿预测部19时的运动补偿预测处理程序的流程图。下面，使用图16和图17来详细说明本实施例12中的运动补偿预测部19的动作。编码装置全体的构成与在实施例10中说明的图13相等价，仅置换了运动补偿预测部19，方式判定部5的动作与实施例10相同。
(1)运动检出处理(步骤S1)首先，与实施例10相同，如步骤S1所示的那样，对于输入宏块3，求出提供最小预测误差(最小匹配变形)的运动矢量21。该运动矢量检出的处理在一帧的范围中实施，把各宏块的运动矢量21和最小SAD 41输入帧活动计算部40。帧活动计算部40在该帧中计算成为是否进行运动矢量置换处理的判定基准的帧活动(步骤S10)。在从该帧活动的值判断为进行运动矢量置换的情况下，通过开关42来使开关26、43、44都向着进行实施例10的处理的方向动作。否则，根据提供最小SAD的运动矢量21来使开关26、43、44强制地动作，以便于进行运动矢量预测。这些开关的切换相当于图17中的步骤S11，在图17中，进行宏块单位的切换。虽然这也可以以帧单位来实施，而以下根据帧活动的值对宏块单位进行选择。
作为帧活动的值，考虑帧全体的运动的大小和复杂度等。在具体的量中，考虑表示帧全体中的最小SAD总和和帧全体的运动矢量的偏差的程度的运动矢量分散等。例如，当在帧间运动复杂的情况下，以仅用平行移动来捕获运动的运动矢量不能得到足够的预测效率的可能性较高。在此情况下，运动矢量不能有效作用的位置较多，因此，使运动矢量置换的机构成为ON。反之，在运动能够通过单调来得到足够的预测效率的情况下，使运动矢量置换的机构为OFF，可以考虑一直使用最小SAD的运动矢量这样的控制。在最小SAD的总和较大的帧中，考虑到来自以前帧的运动是复杂的无法捕获运动的情况，可以仅对运动矢量的分散较大的情况视为运动的复杂度较大。因此，考虑帧活动的定义。
下面，以在运动矢量置换的ON/OFF切换中使用最适当的活动作为前提来接着进行说明。
(2)方式判定(步骤S2、S3)接着，在步骤S2中，进行帧内/帧间判定。该处理不是由运动补偿预测部19而是由方式判定部5来按(1)所述的那样进行。接着，在步骤S3中，判定方式选择信息6是否表示「帧间方式」。如果是帧内方式即把输入宏块3直接作为编码对象信号的方式，则在此结束运动补偿预测部19的处理。
(3)根据帧活动来判定运动矢量置换处理的ON/OFF判定(步骤S11)如在(1)中说明的那样，在步骤S11中，以在步骤S10中求出的帧活动为基础，来判定是使处理进到运动矢量置换处理(步骤S4～S9)，还是原封不动地使用提供最小SAD的运动矢量并结束运动补偿预测的处理。
(4)运动矢量的置换处理(步骤S4～S9)当在(3)中判定为进行运动矢量置换处理时，在帧间方式下，通过在实施例1中所述的程序，考虑编码量与编码变形的均衡，来修改决定在总体上效率高的运动矢量。此时，控制开关43和44来进行实施例1的动作。在此情况下的处理程序与在实施例10中所述的方法大致相同，因此在此省略了其说明。
如上述那样，根据使用图17所示的运动矢量的运动补偿预测，在运动图象编码方法中的处理步骤中，进一步包括控制步骤，对图14所示的处理步骤，根据运动矢量和最小预测误差拉算出帧活动的值，根据所算出的值来进行是否以帧单位来进行运动矢量和预测矢量的置换的切换控制，来实施运动预测编码。
通过以上构成的编码装置和方法，以帧单位和宏块单位，通过阈值判定来指定对预测误差信号的编码量削减没有贡献的运动矢量，就能一边抑制预测误差信号的编码量增加一边削减运动矢量的编码量来进行编码，因此，对运动信息、图象信息的总的编码效率，更柔软地进行最适当运动矢量的选择。由此，对于运动矢量的置换不是有效的帧，从开始使置换处理为OFF，就能防止效率的降低。在处理为OFF的情况下，能够以帧单位削减置换处理的运算量。
在本实施例12的编码装置和方法中，与实施例10的编码装置和方法相比，进一步追加了帧活动计算的处理过程，而由于其对每帧仅实施一次，则对作为全体的运算量的增加没有较大的影响。
在本实施例12中，在帧存储器34内过去所编码的图象数据与所输入的原图象之间来计算帧活动，在其构成中，在包含编码变形的图象和原图象之间来进行活动计算，不能算出严密的帧间活动。由此，通过设置缓冲存储了过去帧的原图象的帧存储器，而能够在原图象相互之间算出帧间的活动。
在本实施例12中的编码装置中，如实施例11中所述的那样，能够适应于「1MV方式」和「4MV方式」，由此，能够用于MPEG-4和H.263等低比特率编码装置。
如上述那样，根据本发明，为了决定最适当矢量，作为变形量，不仅考虑预测差分的差分绝对值和，还考虑矢量编码量的编码量，由此，能够提高总的编码效率。
通过使用差分平方和来取代差分绝对值，能够评价在差分信号中包含的功率，能够实现更高精度的预测，因而能够期待编码效率的提高。
在运动矢量编码中，对与以前所使用的运动矢量的差分进行编码，由此，能够减少矢量编码量，而能够期待提高编码效率。
通过在分离出输入图象和预测图象两者的图象彼此间进行运动预测评价，就能实现不依赖于图象水平的运动补偿，即使在变化剧烈的图象中，也能实现精度高的运动矢量检出。
通过进行预测差分的频率解析，求出频率系数，从该系数求出评价值，就能相当正确地预测出预测误差的变换编码后的编码量，能够实现效率高的编码。
通过对预测误差进行编码来求出编码信息量，进而使用矢量编码的编码量，就能得到该矢量中的大致完全的编码量，在变形与编码量的关系中，能够进行最适当的编码。
通过把输入图象和预测图象分解为亮度·色差来求出评价值，就能通过色差的评价值检出仅由亮度不能判定的运动，能够忠实地判定颜色的运动。
通过把输入图象和预测图象分解为亮度·色差来对亮度、色差分别进行预测，从亮度·色差的评价值中选择最适当的矢量，由此，能够实现效率更高的编码。
能够求出在可变编码之前包含的最适当运动矢量，而得到提高画质的效果。
根据本发明的运动图象编码装置和方法，不大大增加预测误差信号的编码量，就能有效地削减运动矢量的编码量。特别是，对于图象数据的编码量，在运动参数的编码量的比率变高的低比特率编码中，能够进行全体的编码量和编码变形的均衡良好的编码。
而且，根据帧活动的值，来以帧单位切换控制是否进行运动参数的置换，因此，能够对每帧控制运动参数置换处理的ON/OFF，能够更柔软地进行全体的编码量和编码变形的均衡良好的编码。对于不进行置换处理的帧，能够削减运算量。
权利要求
1.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；变形量运算部，输入上述输入图象和上述预测图象来求出输入图象与预测图象之间的变形量；矢量值编码部，输入上述运动矢量来进行编码并输出矢量编码量；最适当矢量决定部，输入上述运动矢量和上述变形量及上述矢量编码量，对进行评价的多个运动矢量的全部求出从变形量和矢量编码量所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
2.根据权利要求1所述的运动补偿装置，其特征在于，上述变形量运算部是计算上述输入图象与上述预测图象之间的差分绝对值和并输出的差分绝对值和运算部。
3.根据权利要求1所述的运动补偿装置，其特征在于，上述变形量运算部是计算上述输入图象与上述预测图象之间的差分平方和并输出的差分平方和运算部。
4.根据权利要求1至3任一项所述的运动补偿装置，其特征在于，上述矢量值编码部包括延迟所输入的运动矢量的延迟器、取得所输入的运动矢量与经过上述延迟器的运动矢量的差分并输出差分矢量的差分器、对上述差分矢量进行编码并输出矢量编码量的差分矢量编码部。
5.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；第一平均值分离部，得到从上述输入图象分离平均值的平均值分离输入图象；第二平均值分离部，得到从上述预测图象分离平均值的平均值分离预测图象；变形量运算部，输入上述平均值分离输入图象和上述平均值分离预测图象，来求出由平均值分离输入图象与平均值分离预测图象之间的变形量的运算所得到的评价值；最适当矢量决定部，输入上述运动矢量和上述平均值，对进行评价的多个运动矢量的全部求出其评价值，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
6.根据权利要求5所述的运动补偿装置，其特征在于，上述变形量运算部是计算上述输入图象与上述预测图象之间的差分绝对值和并输出的差分绝对值和运算部。
7.根据权利要求5所述的运动补偿装置，其特征在于，上述变形量运算部是计算上述输入图象与上述预测图象之间的差分平方和并输出的差分平方和运算部。
8.根据权利要求5至7所述的运动补偿装置，其特征在于，进一步包括输入上述运动矢量来进行编码而输出矢量编码量的矢量值编码部，上述最适当矢量决定部输入上述运动矢量和上述变形量以及上述矢量编码量，对进行评价的多个运动矢量的全部求出从变形量和矢量编码量所算出的评价函数，输出评价函数呈现最小值的运动矢量来作为最适当矢量。
9.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；减法器，把上述输入图象和上述预测图象相减来求出预测误差；频率解析部，把上述预测误差变换为频率系数；评价值生成部，根据所变换的频率系数来生成评价值；矢量决定部，输入上述运动矢量和上述评价值，从多个取出的运动矢量中输出上述评价值呈现最小值的运动矢量来作为最适当矢量。
10.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；减法器，把上述输入图象和上述预测图象相减来求出预测误差；差分图象编码部，对上述预测误差进行差分编码并输出差分图象编码量；矢量值编码部，输入上述运动矢量来进行编码而输出矢量编码量；矢量决定部，输入上述运动矢量和上述差分图象编码量及上述矢量编码量，从多个取出的运动矢量中输出在上述差分图象编码量上相加了上述矢量编码量的编码量成为最小的运动矢量来作为最适当矢量。
11.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和从参照图象根据运动矢量抽出的预测图象；第一亮度色差分离部，从上述输入图象分离输入图象亮度信号和输入图象色差信号；第二亮度色差分离部，从上述预测图象分离预测图象亮度信号和预测图象色差信号；第一减法器，求出来自上述第一亮度色差分离部的输入图象色差信号与来自上述第二亮度色差分离部的预测图象色差信号的差分；第二减法器，求出来自上述第一亮度色差分离部的输入图象亮度信号与来自上述第二亮度色差分离部的预测图象亮度信号的差分；色差评价值生成部，根据来自上述第一减法器的输出来生成色差评价值；亮度评价值生成部，根据来自上述第二减法器的输出来生成亮度评价值；评价值运算部，根据来自上述色差评价值生成部的色差评价值和来自上述亮度评价值生成部的亮度评价值来运算最适当矢量决定用评价值；矢量决定部，输入上述运动矢量和上述最适当矢量决定用评价值，从多个取出的运动矢量中输出在上述量适当矢量决定用评价值成为最小的运动矢量来作为最适当矢量。
12.根据权利要求11所述的运动补偿装置，其特征在于，上述评价值运算部是把来自上述色差评价值生成部的色差评价值与来自上述亮度评价值生成部的亮度评价值相加而求出总评价值的加法器，上述矢量决定部输入作为上述运动矢量和上述总评价值的总相加值，从多个取出的运动矢量中输出在上述上述总评价值成为最小的运动矢量来作为最适当矢量。
13.一种运动补偿装置，其特征在于，包括运动补偿处理部，输入输入图象和参照图象，输出输入图象与参照图象之间的运动矢量和对于输入图象的亮度成分从参照图象根据运动矢量亮度信号抽出的预测图象亮度信号和根据运动矢量色差信号抽出的预测图象色差信号；第一亮度色差分离部，从上述输入图象分离输入图象亮度信号和输入图象色差信号；第三亮度色差分离部，从上述运动矢量分离运动矢量亮度信号和运动矢量色差信号；第一减法器，求出来自上述第一亮度色差分离部的输入图象色差信号与上述预测图象色差信号的差分；第二减法器，求出来自上述第一亮度色差分离部的输入图象亮度信号与上述预测图象亮度信号的差分；色差评价值生成部，根据来自上述第一减法器的输出来生成色差评价值；亮度评价值生成部，根据来自上述第二减法器的输出来生成亮度评价值；亮度色差评价值比较部，把来自上述色差评价值生成部的色差评价值与来自上述亮度评价值生成部的亮度评价值进行比较而输出评价值比较差；矢量决定部，输入上述运动矢量亮度信号和运动矢量色差信号以及上述评价值比较差，从多个取出的运动矢量中输出在上述评价值比较差成为最小的运动矢量来作为最适当矢量。
14.一种运动补偿装置，在进行执行运动图象编码的编码时，以块单位从以前帧的数据来预测运动，而进行信息量削减，其特征在于，包括以前帧存储部，存储以前帧的数据；最小变形计算部，从目前块和以前帧的特定区域来进行图形匹配，计算提供最小变形的运动矢量和变形值；特定矢量变形计算部，计算目前块和与所输入的一个以上运动矢量相对应的以前帧的块的变形；最适当矢量输出部，根据从上述最小变形计算部所输出的变形和从上述特定矢量变形计算部所输出的变形，来输出最适当运动矢量。
15.根据权利要求14所述的运动补偿装置，其特征在于，被输入上述特定矢量变形计算部的运动矢量是从上述最适当矢量输出装置所输出的矢量。
16.根据权利要求14或15所述的运动补偿装置，其特征在于，上述最适当矢量输出部包括加法器，对来自上述最小变形计算部的变形进行加权；比较器，把进行了加权的来自最小变形计算部的变形与来自上述特定矢量变形计算部的变形进行比较；选择器，根据该比较器的比较结果来选择提供最小变形的运动矢量或特定矢量中的一个，并作为最适当运动矢量而输出。
17.根据权利要求14或15所述的运动补偿装置，其特征在于，上述最适当矢量输出部进一步包括偏移值计算部，通过提供最小变形的运动矢量与特定矢量的差分的大小，来适当地变更提供对来自上述最小变形计算部的变形进行了加权的偏移值。
18.根据权利要求14或17所述的运动补偿装置，其特征在于，上述最小变形计算部输出目前探索范围内的最小变形和在窄于目前探索范围的范围中的预先设定的范围中的最小变形。
19.一种运动图象编码装置，根据运动补偿预测来进行运动图象编码，其特征在于，包括存储器，存储用于运动补偿预测的参照图象数据；运动检出部，根据输入宏块和来自上述存储器的参照图象数据来检出提供最小预测误差的运动矢量；预测矢量导出部，导出在对用于输入宏块的运动补偿预测的运动矢量进行编码时所使用的预测矢量；运动补偿部，根据所提供的运动矢量来取出上述存储器内的参照图象数据对应位置的图象数据，来作为与运动矢量相对应的预测图象；阈值处理部，根据由上述运动检出部所得到的运动矢量并使用从上述运动补偿部所输出的预测图象来求出预测误差量，使用第一阈值来对该预测误差量进行阈值判定，当判定结果是预测误差量大于第一阈值时，把由上述预测矢量导出部所得到的预测矢量输出给上述运动补偿部，而当预测误差量小于第一阈值时，把由上述运动检出部所得到的运动矢量输出给上述运动补偿部；预测图象判定部，生成由与预测矢量相对应的预测图象所产生的预测误差信号，使用第二阈值来对该预测误差信号的发生编码量推定值进行阈值判定，当判定结果是预测误差信号的发生编码量推定值大于第二阈值时，输出由上述运动检出部所得到运动矢量来作为最终运动矢量，而当预测误差信号的发生编码量推定值小于第二阈值时，输出上述预测矢量来作为最终运动矢量，并且，输出与最终运动矢量相对应的预测图象来作为最终预测图象。
20.根据权利要求19所述的运动图象编码装置，其特征在于，进一步包括帧活动计算部，根据来自上述运动检出部的运动矢量和最小预测误差量的输入来算出帧活动的值，根据所算出的值来以帧单位切换控制使用由上述阈值处理部和上述预测图象判定部所产生的预测矢量的运动矢量的置换处理。
21.一种运动图象编码方法，根据运动补偿预测来进行运动图象编码，其特征在于，包括运动矢量检出步骤，根据输入宏块和参照图象数据来检出提供最小预测误差的运动矢量；第一阈值判定步骤，根据输入宏块和运动矢量所相对应的预测图象并使用第一阈值来对预测误差信号进行阈值判定；预测矢量导出步骤，当第一阈值判定结果是预测误差信号大于第一阈值时，导出在对运动矢量进行编码时所使用的预测矢量；预测误差信号生成步骤，生成由与预测矢量相对应的预测图象所产生的预测误差信号；计算步骤，算出预测误差信号的发生编码量推定值；第二阈值判定步骤，使用第二阈值来对所算出的预测误差信号的发生编码量推定值进行阈值判定；置换步骤，当第二阈值判定结果是预测误差信号的发生编码量推定值小于第二阈值时，把运动矢量置换为上述预测矢量；使用运动矢量来实施运动预测编码。
22.根据权利要求21所述的运动图象编码方法，其特征在于，进一步包括控制步骤，根据运动矢量和最小预测误差来算出帧活动值，根据所算出的值来进行是否以帧单位进行运动矢量和预测矢量的置换的切换控制。
全文摘要
本发明的装置包括:输出输入图象和参照图象之间的运动矢量和从参照图象按照运动矢量抽出的预测图象的运动补偿处理部200、作为输出输入图象和预测图象而求出输入图象与预测图象之间的变形量的变形量运算部的差分绝对值和运算部205、输入运动矢量来进行编码而输出矢量编码量的矢量值编码部207、最适当矢量210,输入运动矢量和变形量以及矢量编码量,对进行评价的多个运动矢量的全部求出从变形量和矢量编码量所算出的评价函数,输出评价函数呈现最小值的运动矢量来作为最适当矢量。
文档编号H04N11/04GK1226782SQ98126970
公开日1999年8月25日 申请日期1998年12月19日 优先权日1997年12月25日
发明者村上笃道, 大平英雄, 西川博文, 浅野研一, 山田悦久, 关口俊一, 浅井幸太郎 申请人:三菱电机株式会社