动画图像编码方法、动画图像编码装置及解码装置的制作方法

文档序号:6413831阅读:271来源:国知局
专利名称:动画图像编码方法、动画图像编码装置及解码装置的制作方法
技术领域
本发明涉及输入动画图像后进行编码的方法及装置以及对编码的动画图像进行解码的装置。
图27是第一现有技术,是表示基于ITU-T的建议H.263的动画图像编码装置的结构框图。图中,1是输入数字图像信号(以下简称为输入图像),101是差分器,102是预测信号,103是预测误差信号,104是编码单元,105是编码数据,106是解码单元,107是解码的预测误差信号,108是加法器,109是局部解码图像信号,110是存储器,111是预测单元,112是运动向量。
首先将应编码的输入图像1输入差分器101。差分器101取输入图像1与预测信号102的差分,将其作为预测误差信号103输出。编码单元104对原信号即输入图像1或预测误差信号103进行编码后,输出编码数据105。作为编码单元104中的编码方法,在上述建议中,采用了使用一种正交变换即离散余弦变换(DCT)将预测误差信号103从空间区域变换成频域来对所得的变换系数进行线性量化的方法。
编码数据105向两个方向分支。一方是向接收侧的图像解码装置(未图示)送出,另一方是输入到本装置的解码单元106。解码单元106进行和编码单元104相反的动作,从编码数据105生成解码预测误差信号107后输出。加法器108将解码预测误差信号107和预测信号102相加,将其作为解码图像信号109输出。预测单元111使用输入图像1和存储器110中存储的1帧前的解码图像信号109进行动补偿预测,输出预测信号102和动向量112。此时,动补偿以称为宏块的由16×16象素构成的固定大小的块单位进行。对于运动剧烈的区中的块,作为可选功能,也可以用将宏块分成四份的8×8象素的子块单位来进行动补偿预测。将所求的动向量112向图像解码装置送出,将预测信号102向差分器101和加法器108送出。利用该装置,通过使用动补偿预测,能够一面维持图像质量一面压缩动画图像的数据量。
图28是与第二先有技术有关的图像编码装置的构成图。该装置是基于L.C.Real等在《基于向量量化的低位速率视频编码器》(A VeryLow Bit Rate Video Coder Based on Vector Quantization)(IEEE会刊图像处理,Vol.5,No.2,1996)中提案的编码方法的。图中,113是区域分割单元,114是预测单元,115是区域确定单元,116是包括帧间编码/帧内编码信息的编码方式信息,117是动向量,118是编码单元,119是编码数据。
在该装置中,首先由区域分割单元113将输入图像1分割成多个区域。区域分割单元113根据动补偿误差确定区域大小。区域分割单元113使用与帧间信号的分散有关的阈值,从预先准备的十种块大小4×4、4×8、8×4、8×8、8×16、16×8、16×16、16×32、32×16、32×32中进行判断,在运动大的区域中分配小的块,在后台等运动小的区域中分配大的块,具体地说,对于由预测单元114得到的预测误差信号,由区域确定单元115计算其分散值,据此来确定块的大小。在该时刻确定区域形状信息和编码方式等属性信息及运动向量117。因而,由编码单元118利用编码方式信息对预测误差信号或原信号进行编码,得到编码数据119。此后的处理和第一现有技术相同。
在第一现有技术中,将编码单位的区域形状限定为2种。并且,它们都是正方形。因而,对适应于图像的体系结构或图像特征的编码自然会有限制。例如,只想对运动大的被写体提高编码量时,尽量定义与其被写体相同形状的区域,但在现有技术中是困难的。
在准备多种大小的块这一点上,第二现有技术比第一现有技术具有更多的处理的灵活性。因而,即使在该装置中,结果各区域还是限于正方形。然而,即使是十种大小的正方形,在对任意形状的图像区域的适应性方面,也还有改善的余地。
本发明系鉴于这样的问题而提案的,其目的在于根据处理的图像状况提供进行更灵活处理的动画图像编码技术。本发明的更具体的目的在于提供使用能够与各种图像结构可靠地对应的区域分割技术的动画图像编码技术。本发明的另一目的在于根据各种观点提供为了编码而分割区域时的分割标准。本发明的其他目的在于提供对分割成各种形状的区域的编码数据正确地进行解码的技术。
本发明的动画图像编码方法包括根据规定的是否可分割的判断标准,将输入图像分割成多个区域的步骤;对分割的多个区域,分别根据规定的是否可综合的判断标准来将该区域与其邻近区域进行综合的步骤。还有,还包括在综合后分别对所剩的区域进行图像信号编码的步骤。
对某一区域,上述是否可分割判断标准与分割该区域时和不分割该区域时的编码好坏的比较结果相关连。
对某一区域,上述是否可综合判断标准与将该区域与其邻近区域综合和不将该区域与其邻近区域综合时编码好坏的比较结果相关连。
另一方面,本发明的动画图像编码装置包括区域分割单元和编码单元。区域分割单元包括分割处理单元及综合处理单元,分割处理单元根据规定的是否可分割的判断标准将输入图像分割成多个区域,综合处理单元根据规定的是否可综合的判断标准,对由分割处理单元分割的多个区域进行该区域与其邻近区域的综合。编码单元对由综合处理单元综合后所剩的各区域进行图像信号的编码。
上述综合处理单元包括暂时编码单元、解码单元、编码失真计算单元和评价值计算单元,暂时编码单元对每一区域将图像进行预编码,解码单元对由暂时编码部编码的图像进行解码,编码失真计算单元使用由解码单元解码的图像计算编码失真,评价值计算单元边考虑编码量和编码失真,边计算用于判断编码好坏的评价值,对各区域,根据与邻近区域综合时所得的评价值与不综合时所得的评价值的比较结果来确定区域是否可综合。
上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元将伴随各区域的动补偿预测的预测误差功率作为该区域的活动度计算,分割判断单元将计算的活动度同预设定的标准值进行比较,比较的结果,活动度大于标准值时,将该区域进一步分割成小的区域。
另外,上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元计算各区域的原信号的边缘强度,将其作为该区域的活动度,分割判断单元将计算的活动度同预设定的标准值进行比较,比较的结果,活动度大于标准值时,将该区域进一步分割成小的区域。
另外,上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元对各区域计算表示该区域图像特性的多个数值的线性和,将其作为该区域的活动度,分割判断单元将计算的活动度同预设定的标准值进行比较;比较的结果,活动度大于标准值时,将该区域分割成更小的区域。
此时,上述多个数值也可以包括伴随动补偿预测的各区域的运动参数的编码量和预测误差功率。
还有,上述多个数值也可以包括各区域的运动参数的编码量、伴随动补偿的预测误差功率、原信号的分散值、边缘强度及各区域的运动参数的大小。
上述分割处理单元还包括作为等级确定各区域的重要度的等级识别单元,从上述活动度和等级两方面判断各区域是否可分割。
上述等级识别单元跨过多个区域的被写体结构,确定各区域的等级。
此时,上述被写体结构也可以根据区域的原信号分散,边缘强度及邻近区域的边缘的连接程度来判断。
还有,上述等级识别单元注视图像的特征量进行被写体的检测,根据该结果确定各区域的等级。
此时,上述等级识别单元也可以按照可预料为包括在图像中的被写体,预先保存包括该被写体的图像的特征量,根据各区域的图像的特征量与保存的被写体的特征量的一致度来确定各区域的等级。
上述分割处理单元包括暂时编码单元、解码单元、编码失真计算单元和评价值计算单元,暂时编码单元对每一区域将图像进行预编码,同时计算其编码量,解码单元对由暂时编码单元编码的图像进行解码,编码失真计算单元使用解码单元解码的图像计算编码失真,评价值计算单元边考虑编码量和编码失真,边计算判断编码好坏的评价值;对各区域,根据将其分割为更小区域时所得的评价值与不分割时的评价值的比较结果,确定区域是否分割。
还有,伴随动补偿预测的预测误差信号的量化参数在上述暂时编码单元中设定为可变,上述评价值计算单元边改变量化参数,边计算评价值。
进一步,也可以将伴随动补偿预测的各区域的运动参数的编码量和预测误差功率的线性和作为评价值计算的评价值计算单元设置在上述暂时编码单元的前级,上述暂时编码单元根据该评价值检测运动参数。
另一方面,本发明的动画图像解码装置是在分割给多个区域后将编码的图像的编码数据输入后进行解码的装置,包括区域形状解码单元和图像数据解码单元,区域形状解码单元根据编码数据中所含的区域形状信息,对编码时分割的各区域的形状进行恢复,图像数据解码单元除根据恢复的各区域的形状来确定对区域编码的顺序外,还从编码数据去解码各区域的图像。
此时,上述区域形状信息包括在编码时与进行区域分割及综合时的处理过程有关的信息,上述区域形状解码单元通过根据该信息再现与编码装置相同的处理来掌握区域的分割状态。


图1是与实施例有关的动画图像编码装置整体的构成图。
图2是表示图1的编码装置的动作的流程图。
图3是图1的区域分割单元的内部结构图。
图4是图3的分割处理单元的内部结构图。
图5是表示图4的分割处理单元的动作的流程图。
图6是表示图4的分割处理单元的均匀分割结果的例子的图。
图7是表示图4的分割处理单元的初次初始分割的结果的图。
图8是表示图4的分割处理单元的初始分割的最终结果的图。
图9是图3的综合处理单元的内部结构图。
图10是表示图9的综合处理单元的动作的流程图。
图11是表示图9的综合处理单元的区域的带标志的例子的图。
图12是表示图9的综合处理单元的邻近区域的设定例的图。
图13是表示图10的S19的顺序的流程图。
图14是图3的分割处理单元的其他实施例的内部结构图。
图15是表示图14的分割处理单元的初始分割的最终结果的图。
图16是图3的分割处理单元的其他实施例的内部结构图。
图17是表示图16的分割处理单元的动作的流程图。
图18是表示图16的等级识别单元的其他实施例的图。
图19是表示利用块匹配法进行动补偿预测的图。
图20是图3的分割处理单元的其他实施例的内部构成图。
图21是表示图20的分割处理单元的动作的流程图。
图22是图3的综合处理单元的其他实施例的内部构成图。
图23是表示图22的综合处理单元的动作的流程图。
图24是图3的综合处理单元的其他实施例的内部构成图。
图25是与实施例有关的动画图像解码装置的内部构成图。
图26是表示图22的解码装置的动作的流程图。
图27是表示与第一现有技术有关的动画图像解码装置的图。
图28是表示与第二现有技术有关的动画图像解码装置的图。
实施例1图1是表示与本实施例有关的动画图像编码装置的构成的框图。该装置能用于例如电视电话和电视会议等图像通信用的便携或固置型设备中。还有,能够作为数字VTR、视频服务器等的图像存储及记录装置中的动画图像编码装置使用。进一步,该装置的处理顺序也能以软件或DSP(数字信号处理机)的固件的形式安装的动画图像编码程序使用。
图1中,1是输入图像,2是区域分割部,3是区域形状信息,4是区域图像信号,5是区域运动信息,6是区域属性信息,7是编码单元,8是局部解码图像,9是存储器,10是参考图像,11是编码位流。图2是表示本装置的动作的流程图。首先,根据图1和图2说明装置整体的动作。
将输入图像1输入到区域分割单元2(S1),在这里分割成多个区域。区域分割单元2进行后述那样的初始分割(S2)和邻近区域综合(S3)的两个系统的处理。区域分割单元2对分割结果所得的各区域,将形状信息3、图像信号4、运动信息5、各区域的编码方式等属性信息6送给编码单元7。在编码单元7,根据规定的编码方法,将这些信息进行位模式变换及多重化,作为编码位流11输出(S4,S5)。将各区域的编码为到最终区域为止(S6,S7)。并且,根据动补偿预测,为进行区域分割及编码,在编码单元7,对每一区域生成局部解码图像8,将其存储在存储器9中。区域分割单元2及编码单元7将存储器9中存储的局部解码图像作为参考图像10取出,进行动补偿预测。
图3是区域分割单元2的详细构成图。图中,12是分割处理单元,13是初始分割形状信息,14是综合处理单元。(1)初始分割在分割处理单元2进行相当于图2的S2的初始分割。所谓初始分割是指在综合前进行的分割,分割的合计次数依赖于图像的状态即图像的特征或特性。
图4示出了分割处理单元12的内部构成。图中,15是均匀分割单元,16是活动度计算单元,17是活动度,18是分割判断单元,19是分割状态指示信号。所谓活动度是为判断图像的特征或特性而与规定的性质有关的数值化了的数据。这里,作为活动度,采用伴随区域的动补偿预测的预测误差功率。
图19示出了利用块匹配法进行动补偿预测的方法。在块匹配法中,给出下面表达式来作为被预测区域S的运动向量取向量V。〔表达式1〕Dmin=minv∈R(ΣS[fs(x+vx,y+vy,r-1)-fs(x,y,t)])]]>其中,在被预测区域S的时刻t的(x,y)上的象素值为fs(x,y,t)、在时刻t-1的(x,y)上的象素值为fs(x,y,t-1)、使位置(x,y,t-1)仅进行向量V的位移的位置的象素值为fs(x+vx’,y+vy’,t-1)。还有,R表示运动向量检索范围。
利用由该结果所得的向量,由fs(x+vx’,y+vy’,t-1)提供预测图像,预测误差功率即活动度成为Dmin。通过由该方法定义活动度,能够按图像局部运动的复杂程度进行区域分割。可进行运动剧烈的部分密、运动弱的部分粗的编码等控制。另外,也可以使用计算仿射运动参数的仿射动补偿、检测三维运动的透视动补偿等。
图5是表示分割处理单元12的动作的流程图。如图,首先,由均匀分割单元15无条件地进行均匀块分割(S8)。此时,例如如图6那样将1帧分割成32×32象素的块。将该分割处理称为第0分割级。在第0分割级生成的块数记为No,将各块记为Bon(1≤n≤N0)。
接着,对各Bon个别地判断是否还进行块分割及怎样进行块分割(S9)。因此在活动度计算单元16中计算各Bon的活动度17。分割判断单元18将预设定的阈值TH0与各块的活动度进行比较,在活动度17比TH0还大时,将Bon进一步分割为4份(S10)。将其进行到最终块为止(S11,S12)。这就是第1分割级。
图7是第1分割级结束时刻的图像的分割状态。将新生成的16×16象素块数记为N1,将各块记为B1n(1≤n≤N1)。之后,计算各B1n的活动度,使用阈值TH1进行第2分割级。下面,将阈值THj应用于第j分割级生成的块Bjn,执行第j+1分割级(S13~S16)。j到达规定的上限值时,结束初始分割,这里,为便于说明,用第2分割级结束分割。在这种情况下,最终生成图8所示的块。块的大小为8×8象素~32×32象素。将初始分割结束时刻的块数记为M0,将各块记为初始区域Son。Son的形状信息作为初始分割形状信息13,送到综合处理单元14。(2)邻近区域的综合接着,在综合处理单元14中,对各Son进行与邻近区域的综合。图9示出了综合处理单元14的内部构成图。图中,20是标志单元,21是邻近区域设定单元,22是暂时编码单元,23是解码单元,24是编码失真计算单元,25是评价值计算单元,26是评价值计算单元所用的常数,27是综合判断单元,28是综合处理反复指示信号。
图10是表示综合处理单元14的动作的流程图。如图所示,根据固定的规则,首先,在标志单元20,向初始区域Son给编号即标志(S17)。例如,边以象素单位从左上角向右下角水平地扫描图像帧,边顺序向区域提供编号。图11示出了带标志的简单例。如图所示,以在扫描线上出现的顺序,在区域上给标志[1][2]…。此时,区域的大小不限。下面,将区域Skn的标志值记为1(Skn)。还有,k与后述第k综合级对应,在初始状态为k=0。
接着,在邻近区域设定单元21,利用标志定义各区域的“邻近区域”(S18)。图12是邻近区域的例子。图中,根据图11的标志示出了区域Son的邻近区域。即,将对象区域A与边相连、并且将比对象区域的标志值大的区域B、C、D定义为邻近区域。
接着,按照区域判断区域与其邻近区域可否综合。因此,在暂时编码单元22、解码单元23、编码失真计算单元24、评价值计算单元25,计算用于综合的评价值(S19)。评价值是下面表达式所示的编码量,即失真成本L(Skn)。
L(Skn)=D(Skn)+λ(Skn) (表达式1)这里,D(Skn)是Skn的编码失真即平方误差总和,R(Skn)是Skn的编码量、λ是常数26。综合沿L(Skn)减少的方向进行。L(Skn)变小相当于在规定的编码量的范围内以给定的常数λ减少编码失真。通过减少帧内的L(Skn)的总和,能够减少使用同一编码量时的编码失真。
图13是S19的详细流程图。首先,在暂时编码单元22对Skn预编码(S22)。该编码的目的在于准备计算编码量R(Skn)和导出编码失真D(Skn)。在本实施例中,暂时编码单元22使用参考图像进行动补偿预测。编码的数据包括图像数据,即预测误差信号或原信号,用于确定预测图像的运动信息和编码方式等属性信息,这些编码量的总和是R(Skn)。预测误差信号作为区域Skn的原信号和预测图像的差而得到。
另一方面,在解码单元23,使用暂时编码单元22所得的编码数据生成Skn的局部解码图像(S23)。接着,在编码失真计算单元24计算局部解码图像和原图像的失真D(S24)。评价值计算单元25根据R(Skn)和D(Skn)计算编码量失真成本L(Skn)(S25)。
在工序S19,对全部区域,用三种种类实施上述评价值计算。
1.各区域Skn本身…L(Skn)2.Skn的邻近区域Ni[Sknl…L(Ni[Skn])3.Skn与Ni(Skn)临时的区域…L(Skn+Ni[Skn])这里,Ni(Skn)表示Skn的邻近区域,i表示用于区别多个邻近区域的编号。
接着,在综合判断单元27中,在图像帧内,搜索使DL=L(Skn)+L(Ni[Skn])-L(Skn+Ni[Skn])最大的地方,将其Skn与Ni(Skn)综合(S20)。这是第k综合级。之后,综合判断单元27通过综合处理反复指示信号28,对标志单元20指示标志的更新。标志单元20用标志1(Skn)置换标志1(Ni[Skn]),在邻近区域设定单元21,对邻近区域再设定。以此,得到新区域Sk+1n与邻近区域Ni[Sk+1n],求取L(Sk+1n)、L(Ni[Sk+1n]、L(Sk+1n+Ni[Sk+1n])。在没有将DL的值组合为正的时刻,综合判断单元27向标志单元20停止指示,结束综合处理(S21)。
以上,结束了与区域的分割和综合有关的处理,最终将表示输入图像1的区域分割状态的信息3、各区域的图像数据4、运动信息5和属性信息6输出到编码单元7。之后,用规定的编码方法进行编码。
在本实施例中,不只进行分割,也进行综合。因此,最终,各区域能够用各种大小的正方形块的集合来表现。例如,能够将图像中运动大的被写体综合到与其轮廓线相近形状的一个区中。结果,根据被写体改变量化参数控制编码量等,能够与实际图像结构灵活地对应。另外,在提供的编码量的制约下,实现了使编码失真最小的最佳区域分割。因而,与现有普通动画图像编码装置相比,容易以更小的编码量实现更高的图像质量。
还有,在本实施例中,是用第2分割级结束初始分割,但当然也可以在其他分割级结束。例如,在图像整体运动小的情况下,可以在第1级结束,在相反的情况下,也可以增大级数。还有,在本实施例中,是将图像帧作为编码对象,但对由外接四角形所围的矩形图像数据等,图像帧中的任意形状的被写体同样可以应用。
在本实施例中,对编码单元7和暂时编码单元22,由DCT和线性量化组合来进行区域Skn的编码,但也可使用其他编码方法,如向量量化、子带编码、小波编码等。也可以准备多种编码方法、选择使用编码效率最高的方法的结构。
在本实施例中,作为活动度采用了预测误差功率,但作为与此不同的例,可考虑有如下所述例。
第一例是区域内的分散值,分散值表示区域的象素分布的复杂度,在包括边缘等象素值急剧变化的图像的区域,分散值变大。将区域S内的象素值作为fs(x,y,t),将区域S内的象素值的平均值作为μs时,分散值σs由下面表达式给出。〔表达式2〕σs=1NΣs(fs(x,y,t)-μs)2]]>如果采用该活动度,则能够根据图像的局部结构的复杂度分割区域,也可进行对象素值变化剧烈的部化密编码,对象素值变化少的部分粗编码的控制。
第二例是区域内的边缘强度。边缘强度例如能由G.Robinson的“Edge detection by compass gradient masks”(Journal of ComputerGraphics and Image Processing,Vol.6,No.5,Oct.1977)记载的Sobel运算符计算,作为边缘上分布的象素数(边缘分布面积)求得。在这种方法的情况下,能够根据图像的边缘结构分割区域,可进行对存在边缘的部分密编码、对不存在边缘的部分粗编码的控制。
第三例根据区域的动补偿预测参数的大小。动补偿预测的结果是计算运动参数。在块匹配法的情况下,向量V即为此。根据该方法,能够根据图像运动的程度分割区域,进行对被写体区等产生对运动大的部分局部地进行密编码、对后台区域等不太产生运动的部分进行粗编码的控制。
第四例是基于区域动补偿预测的运动参数的编码量与预测误差功率的线性和。用下面表达式定义这种情况下的评价值。
Lmc=Dmc+λRmc(表达式2)这里,Dmc是运动参数检测过程中计算的预测误差功率,λ是常数,Rmc是运动参数的编码量。计算将Lmc处理成最小的运动参数,将其时的评价值作为活动度。根据该方法,能够将区域分割为根据图像运动的复杂度使包括信息量和运动参数的信息量的全部编码成本小,可用少的信息量进行区域编码。
第五例是至此所述的活动度的值的线性和。通过适量地叠加到各活动度上,可与各种图像相对应。实施例2本实施例涉及将实施例1的区域分割单元2进行部分变形的装置。图14是本实施例的区域分割单元2的内部构成图。如图所示,实施例2的区域分割单元2是将图3的分割处理单元12置换成均匀分割单元15的形式。在该构成中,如图15所示,在初始分割处理中不进行活动度的阈值判断,而是无条件地均匀分割成区域的最小面积的正方形块。也可以设定最小的区域面积。
在本实施例中不需要进行阈值设定,只将编码量失真成本作为评价值来进行区域分割。因而,除不需要与阈值设定有关的手续外,还不需要计算活动度、进行比较判断等处理。因此,在谋求减轻与这些处理有关的计算负载时,能利用本实施例来替代实施例1。实施例3在本实施例的分割处理中,不只是活动度,还判断是否进行包含表示区域的重要度的指标(下称等级)的分割。最好对重要度高的区域进行密编码来减少区域面积。使重要度低的区域尽可能大,减少每一象素的编码量。
活动度例如是在区域内所包围的局部统计量。另一方面,本实施例的等级基于横跨区域间的图像的特征。在本实施例中,根据起因于横跨区域的被写体结构的、人注视该区域的程度即人的注视度来定义等级。例如,在某一区域的边缘分布跨过宽范围、人与邻近区域的连接强时,该区域位于某一被写体边界的可能性变高。
图16是本实施例的分割处理单元12的内部构成图。此外的结构和实施例1相同,主要说明与实施例1不同的部分。图中,29是等级识别单元,30是等级,31是分割判断单元。图17是表示图16所示分割处理单元12的动作的流程图。
如图17所示,首先进行均匀分割(S26)。之后,在等级识别单元29确定各区域的等级30(S27)。等级识别单元29评价区域内分散的大小α、区域内边缘分布状态β(包括边缘方向、分布面积等)、边缘与邻近区域的连接性γ,确定等级。例如,将区域内分散α比规定值还小的区域作为低等级(等级C),对α大的区域进一步计算区域内边缘分布β。β的定量化能够例如由上述Sobel运算符等进行。在β比规定值小的情况下,将该区域视为具有比被写体边界更独立的边缘的小区域,作为中等程度的等级(等级B)。β增大某一程度时,评价连接性γ,γ大时,分类为最重要等级(等级A)。
等级分类后,在活动度计算单元16中,计算活动度17,在分割判断单元31中,首先进行与活动度有关的阈值判断(S28)。这里,对判断为应分割的区域,根据等级30判断是否允许分割(S29)。因此,分割判断单元31可以将各等级的区域分割成某一程度大小的区域,或具有预定的标准。如果允许与等级有关的分割,就分割该区域(S30)。对全部区域进行该分割处理,进一步分割,对新生成的区域,也进行相同的分割处理(S33~S38)。
根据本实施例,能够考虑跨过多个区的图像的特征、特别是被写体的轮廓线进行图像编码。对注视度低的区域进行粗编码,减少信息量,可进行将该部分充作注视度高的区域的信息量的控制。实施例4在实施例3中,在等级确定中使用人的注视度。在本实施例中、使用图像的特征量。在本实施例中,应保持某已知图像的特征量,根据它和由各区域计算的特征量的一致程度来确定等级。
例如,至今已对人脸图像进行了许多研究,提案了用特征量将脸的结构数值化的种种方法。若保持该特征量,则能够从图像中检测出人脸(概括地讲,重要度高)。还有,对其他被写体,能够根据亮度和纹理信息利用特征量进行描述的情况也很多。如果鲜明地表现人脸的话,则将具有与人脸特征量相符合的特征量的区域作为最重要等级A,将此外的区域作为普通重要度等级B等等。
图18是本实施例的等级识别单元29的结构图。其他部分和实施例3相同。图18中,32是特征量存储器,33是特征一致度计算单元,34是等级确定单元。
将与被写体有关的特征量按等级分类后,按照被写体保持在特征量存储器32中。特征一致度计算单元33分别计算输入图像1与按各等级分类的被写体的特征量的一致度。一致度例如作为输入图像1的特征量和特征量存储器32中的特征量的误差而求得。接着,等级确定单元34检测一致度最高的被写体,将该区域分类为该被写体所属的等级。
以上,根据本实施例,可以说,可利用图像的特征量进行被写体的识别或检测。而且,能够对所需的被写体提高图像质量。可以按照与人的注视度有关的特征量进行被写体的分级等,在这种情况下,可以考虑人对图像的视觉特性进行编码。实施例5在实施例1中,在综合处理时考虑编码失真。在本实施例中,在分割处理阶段考虑编码失真。
图20是本实施例的分割处理单元12的内部构成图。图中,35是分割判断单元,36是分割处理反复指示信号。图21是表示图20的分割处理单元12的动作的流程图。
本实施例的分割处理单元12使用在实施例1导入的表达式1。利用该表达式,在使帧内的L(Skn)的总和减少的方向进行初始分割处理,能够减少使用相同编码量时的编码失真。
如图21所示,首先在均匀分割单元15中,例如如图6的状态那样进行均匀块分割(S39)。这相当于第0分割级。将这时所得的块数记为N0,将各块记为Bon(1≤n≤Bon)。对各Bon,判断是否进一步进行块分割。将与Bon有关的L(Bon)和将Bon分割成四份所得的各子块SBon(i)(1≤i≤4)有关的L(SBon)的总和进行比较,如果后者小就允许分割。
每当计算编码量失真成本时,就首先在暂时编码单元22中进行Bon和SBon(i)的编码。接着,在解码单元23中,由暂时编码单元22所得的编码数据生成Bon和SBon(i)的局部解码图像。接着,在编码失真计算单元24计算局部解码图像与原图像间的失真D(Bon)、D(SBon(i))。评价值计算单元25根据编码量R(Bon)、R(SBon(i))、编码失真D(Bon)、D(SBon(i))计算L(Bon)、L(SBon(i))(S40、S41)。
分割判断单元35将L(Bon)和四个子块L(SBon(i)(i=1,2,3,4)的总和进行比较(S42),如果后者小,就将Bon分割成四个SBon(i)(S43)。这相当于第1分割级。将作为SBon分割的块新记为B1n(1≤n≤N1),对B1n进行同样的分割判断(S46~S51)。下面,进行规定次数的同样的分割处理。最终,例如实现图8所示的分割状态。
以上,由于在本实施例中不进行与活动度有关的运算,故在重视降低运算量的情况下特别有用。实施例6说明实施例1的图9所示的综合处理单元14的其他例。图22是本实施例的综合处理单元14的内部构成图。图中,37是量化参数设定单元,38是量化参数,39是暂时编码单元。该综合处理单元14的动作基本上和图10相同,仅S19不同。
图23是表示相当于S19的评价值计算的处理的流程图。评价值计算由暂时编码单元39、解码单元23、编码失真计算单元24和评价值计算单元25来进行。
首先,在量化参数设定单元37中设定初始参数值,输出到暂时编码单元39(S52)。接着,在暂时编码单元39中进行区域Skn的编码(S53)。编码时,使用设定的量化参数进行量化。
在解码单元23,从这样得到的编码数据生成Skn的局部解码图像(S54)。接着,由编码失真计算单元24计算局部解码图像与原图像间的失真D(Skn)(S55)。评价值计算单元25根据编码量R(Skn)和编码失真D(Sdn)计算L(Skn)(S56)。将最初计算所得的成本值作为Lmin保持,之后,改变量化参数,进行同样的成本计算。通过改变量化参数,由于编码量和失真的平衡发生变化,所以,采用使编码量失真成本最小时的参数,作为最终的区域Skn的编码量失真成本L(Skn)(S57~S60)。以下的处理和实施例1相同。
根据本实施例,考虑量化参数来实现最佳综合处理。并且,加入量化参数的方法也能够应用于根据实施例5所述的编码量失真成本的分割处理。实施例7在本实施例中,进一步说明实施例6的其他例。图24是本实施例的综合处理单元14的内部构成图。图中,40是动补偿预测成本计算单元,41是动补偿预测成本,42是暂时编码单元。
暂时编码单元42使用基于动补偿预测的编码确定运动参数。这时,使用实施例1所述的动补偿预测成本(式2)。即,确定暂时编码时的运动参数,以便通过动补偿实现使匹配失真和运动参数的编码量平衡,成本最低。具体地说,在利用暂时编码单元42的编码中,根据动补偿预测成本计算单元40计算的成本值确定运动参数。以下的处理和实施例6相同。
根据本实施例,边由给定的常数λ使从动补偿到编码间的编码量失真成本最小化,边可确定区域形状。结果,能够由规定的编码量降低编码失真。实施例8在本实施例中,说明将由至此所述的各种动画图像编码装置生成的编码位流解码的动画图像解码装置。图25示出了解码装置的构成。图中,43是位流解析单元,44是区域形状解码单元,45是属性信息解码单元,46是图像数据解码单元,47是运动信息解码单元,48是运动参数,49是动补偿单元,50是预测图像,51是图像恢复单元,52是外部存储器,53是再生图像。
该解码装置解码包括表示与图像帧或图像帧中的部分图像(下称“图像帧等”)有关的区域分割状态的区域形状信息、利用规定的方法编码的各区域的图像数据、各区域的属性信息和各区域的运动信息的编码位流,恢复区域图像,再生图像帧等。
本实施例的情况,由于在编码过程中产生正方形以外的区域,所以,区域形状信息的描述方法和先有一般的方法不同。在本实施例采用的方法有(i)写明各区域的顶点坐标,(ii)写明在编码时对区域进行分割及综合时的处理过程等。在方法(ii)的情况下,例如对任意的i、j,描述在第i分割级分割的区域的编号及在第j综合级综合的区域的编号。在解码装置中,与编码装置相同,首先进行如图6所示的第0分割级,以后,能够按照与编码装置完全相同的顺序恢复最终的分割状态。在方法(ii)的情况下,数据量一般比直接描述坐标数据还少。
图26是表示解码装置的动作的流程图。首先把编码位流11输入到位流解析单元43,进行从位串向编码数据的变换(S61)。在编码数据中,在区域形状解码单元44中将码区域形状信息解码,用上述方法恢复图像帧等的区域分割状态(S62)。通过恢复区域,确定在下面的位流中编码的区域信息的编码顺序。将各区域作为Sn。
接着,按照编码顺序,从位流依次解码各区域的数据。首先,由属性信息解码单元45解码区域Sn的属性信息,解码区域的编码方式信息等(S63)。这里,如果是内部方式(帧间编码方式),即如果是预测误差信号编码的方式(S64),就在运动信息解码单元47中解码运动参数48(S65)。将运动参数48送到动补偿单元49。动补偿单元49据此计算相当于外部存储器52中存储的参考图像中的预测图像的存储器地址,从外部存储器52中取出预测图像50(S66)。接着,在图像数据46中解码区域Sn的图像数据(S67)。在内部方式时,通过将解码的图像数据和预测图像50相加,得到最终的区域Sn的再生图像。
另一方面,在内部方式(帧内编码方式)的情况下,将解码的图像数据仍旧作为最终的区域Sn的再生图像53。Sn再生图像作为以后预测图像生成的参考图像使用,所以,写入外部存储器52。在图像恢复单元51进行这些判断和再生图像的恢复(S68)。
在对图像帧等所含的整个区域进行的时刻结束一连串的处理。对之后的其他图像帧等,也可进行相同的处理。
根据本发明的动画图像编码方法,由于不仅进行区域分割,还可进行区域综合,所以,实现了可与图像结构灵活对应的编码。
在使用与不分割区域时的编码好坏的比较结果相关连的可否分割的判断标准的情况下,能够在良好编码的方向上可靠进行所需的分割。
在使用与不综合区域时的编码好坏的比较结果相关连的可否综合的判断标准的情况下,能够在良好编码的方向上可靠进行所需的综合。
另一方面,本发明的动画图像编码装置包括区域分割单元和编码单元,区域分割单元包括分割处理单元和综合处理单元。结果,由于不但进行区域分割,而且可进行综合,所以,实现了与图像结构灵活对应的编码。
在综合处理单元包括暂时编码单元、解码单元、编码失真计算单元、评价值计算单元的情况下,在提供的编码量制约下,能够使编码的失真最小化。
在分割处理单元作为活动度使用预测误差功率的情况下,能够进一步分割预测误差大的区域,即一般说来运动大的区域。
在分割处理单元作为活动度使用各区域的原信号的边缘强度的情况下,能够获得与图像的边缘结构对应的区域形状,能够将被写体的轮廓部分等、容易受主观图像质量影响的区域进一步分割。
在分割处理单元作为活动度使用表示图像特性和的多个数值的线性的情况下,能够根据多个观点或标准进一步分割区域。
还有,若上述多个数值包括伴随动补偿预测的各区域的运动参数的编码量与预测误差功率,则能够进行区域分割,以便使包括图像运动的复杂度的信息量和运动参数的信息量的标题的编码成本减少,如果是同等的失真,则能够以少的信息量进行编码。
还有,若上述多个数值包括各区域的运动参数的编码量、伴随动补偿的预测误差功率、原信号的分散值、边缘强度及各区域的运动参数的大小,则得到了综合考虑各种标准的最佳区域形状。
在分割处理单元包括等级识别单元的情况下,增加区域重要度进行分割就变得容易。
标志识别单元在注视跨过多个区域的被写体结构的情况下,容易进行适合被写体的形状的区域分割。
还有,若被写体结构根据区域的原信号分散、边缘强度及邻近区域的边缘的连接程度进行判断,则能够得到与原图像信号的复杂度和被写体结构相适应的区域形状。特别是,能够将与被写体的轮廓结构有关的区域进行详细分割。
在注视图像的特征量的情况下,等级识别单元容易将区域例如因人脸等被写体不同而进行详细分割。因而,能够获得与人的注视度等相对应的特定模式和与具有图案的图像区域的重要度等相对应的区域形状。
此时,若按照依被写体保持的图像的特征量和实际图像的特征量的一致度确定各区域的级别,被写体的识别率提高,实现更可靠地区域分割。
在分割处理单元包括暂时编码单元、解码单元、编码失真计算单元、评价值计算单元的情况下,能够在给出的编码量的制约下,使编码失真最小。
在评价值计算单元边改变量化参数边计算评价值的情况下,能够同时实现区域编码中的量化参数的最佳化和区域形状的最佳化,能够提高编码效率。
在暂时编码单元的前级设置将伴随动补偿预测的各区域的运动参数的编码量和预测误差功率的线性和作为评价值而计算的评价值计算单元,能够边选择使编码成本最小的运动参数边使区域分割最佳,能够进行使包括量化参数最佳的区域的总编码成本降低的区域分割。
另一方面,由于本发明的动画图像解码装置包括区域形状解码单元和图像数据解码单元,所以,即使在编码装置生成各种形状的区域也能够对应。因而,与本发明的动画图像编码装置的组合变得容易。
在区域形状信息包括与在编码时分割及综合区域时的处理过程有关的信息时,可以少量的信息量恢复区域形状。
权利要求
1.一种动画图像编码方法,其特征在于,包括根据规定的是否可分割的判断标准,将输入图像分割成多个区域的步骤;对分割的多个区域,分别根据规定的是否可综合的判断标准来将该区域与其邻近区域进行综合的步骤;在综合后分别对所剩的区域进行图像信号编码的步骤。
2.权利要求1记载的动画图像编码方法,其特征在于对某一区域,上述是否可分割的判断标准与分割该区域时和不分割该区域时的编码好坏的比较结果相关连。
3.权利要求1或2记载的动画图像编码方法,其特征在于对某一区域,上述是否可综合判断标准与将该区域与其邻近区域综合和不将该区域与其邻近区域综合时的编码好坏的比较结果相关连。
4.一种动画图像编码装置,其特征在于,包括区域分割单元和编码单元;区域分割单元包括分割处理单元及综合处理单元,分割处理单元根据规定的是否可分割的判断标准将输入图像分割成多个区域,综合处理单元根据规定的是否可综合的判断标准对由分割处理单元分割的多个区域进行该区域与其邻近区域的综合;编码单元对由综合处理单元综合后所剩的各区域进行图像信号的编码。
5.权利要求4记载的动画图像编码装置,其特征在于上述综合处理单元包括暂时编码单元、解码单元、编码失真计算单元和评价值计算单元,暂时编码单元对每一区域将图像进行预编码,解码单元对由暂时编码单元编码的图像进行解码,编码失真计算单元使用在解码单元解码的图像计算编码失真,评价值计算单元边考虑编码量和编码失真,边计算用于判断编码好坏的评价值;对各区域,根据与邻近区域综合时所得的评价值与不综合时所得的评价值的比较结果来确定区域是否可综合。
6.权利要求4记载的动画图像编码装置,其特征在于上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元将伴随各区域的动补偿预测的预测误差功率作为该区域的活动度计算,分割判断单元将计算的活动度同预设定的标准值进行比较;比较的结果,活动度大于标准值时,将该区域进一步分割成小的区域。
7.权利要求4记载的动画图像编码装置,其特征在于上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元计算各区域的原信号的边缘强度,将其作为该区域的活动度,分割判断单元将计算的活动度同预设定的标准值进行比较;比较的结果,活动度大于标准值时,将该区域进一步分割成小的区域。
8.权利要求4记载的动画图像编码装置,其特征在于上述分割处理单元包括活动度计算单元和分割判断单元,活动度计算单元对各区域计算表示该区域图像特性的多个数值的线性和,将其作为该区域的活动度,分割判断单元将计算的活动度同预设定的标准值进行比较;比较的结果,活动度大于标准值时,将该区域进一步分割成更小的区域。
9.权利要求6~8任一记载的动画图像编码装置,其特征在于上述分割处理单元进一步包括作为等级确定各区域的重要度的等级识别单元,从上述活动度和等级两方面判断各区域是否可分割。
10.权利要求9记载的动画图像编码装置,其特征在于上述等级识别部单元注视跨过多个区域的被写体结构,确定各区域的等级。
11.权利要求9记载的动画图像编码装置,其特征在于上述等级识别单元注视图像的特征量,进行被写体的检测,按照该结果确定各区域的等级。
12.权利要求4记载的动画图像编码装置,其特征在于上述分割处理单元包括暂时编码单元、解码单元、编码失真计算单元和评价值计算单元,暂时编码单元对每一区域将图像进行预编码,同时计算其编码量,解码单元对由暂时编码单元编码的图像进行解码,编码失真计算单元使用解码单元解码的图像计算编码失真,评价值计算单元边考虑编码量和编码失真,边计算判断编码好坏的评价值;对各区域,根据将其分割为更小区域时所得的评价值与不分割时的评价值的比较结果,确定区域是否可分割。
13.权利要求5或12记载的动画图像编码装置,其特征在于伴随动补偿预测的预测误差信号的量化参数在上述暂时编码单元中设定为可变,上述评价值计算单元边改变量化参数,边计算评价值。
14.一种动画图像解码装置,在将分割给多个区域后编码的图像的编码数据输入后进行解码,其特征在于包括区域形状解码单元和图像数据解码单元,区域形状解码单元根据编码数据中所含的区域形状信息,对编码时分割的各区域的形状进行解码,图像数据解码单元根据解码的各区域的形状来确定区域编码的顺序,从编码数据进行各区域的图像的解码。
15.权利要求14记载的动画图像解码装置,其特征在于上述区域形状信息包括与编码时的区域分割及综合时的处理过程有关的信息,上述区域形状解码单元通过根据该信息再现与编码装置相同的处理来掌握区域的分割状态。
全文摘要
一种动画图像编码装置,具有:区域分割单元1、编码单元7及用于动补偿预测的存储器9。区域分割单元1包括分割处理单元和综合处理单元。分割处理单元根据与可否分割有关的标准来分割输入图像。综合处理单元根据与可否综合有关的标准来相互综合邻近区域。然后,进行各区域编码。依据综合处理,区域的形状富有多样性。
文档编号G06T9/20GK1197250SQ9810523
公开日1998年10月28日 申请日期1998年2月26日 优先权日1997年4月24日
发明者关口俊一, 井须芳美, 浅井光太郎 申请人:三菱电机株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1