专利名称：图像编码装置和图像编码方法
技术领域：
本发明涉及适用于将数字活动图像信号传输到携带电话等无线通信终端的图像传输装置中的图像编码装置和图像编码方法。
背景技术：
目前，作为对活动图像进行编码的技术，例如有国际标准化委员会(ISO/IEC)推荐的ISO/IEC 14496 part2(Visual)(MPEG-4)。该MPEG-4Visual是多媒体编码方式，是可以对各种图像素材进行编码的技术。
图像编码技术可用‘动作补偿预测编码方式’、‘离散余弦变换’及‘可变长度编码’这三种技术来实现。
以下，说明这些技术。
(1)动作补偿预测编码方式首先，比较输入图像和前一个编码图像，预测它们之间的动作(动作检测)，根据其动作量和前一个编码图像来预测输入图像。接着，计算预测的图像(预测图像)和输入图像之间的差分(预测误差信号)，将该预测误差信号和前面求出的动作量送至接收端。通过这样预测动作，可以用少的数据量来发送图像信息。除了该动作补偿预测编码方式以外，还有不依据与前一个编码图像的差分，而对图像数据本身进行编码的内部编码方式。在该方式中产生代码量增加的另一面，由于不使用预测误差，所以大多用于将运算误差复位的情况或从传输差错的画质恶化中进行恢复的情况。
(2)离散余弦变换离散余弦变换是将上述的预测误差信号变换到频域。如果将预测误差信号变换到频域，那么由于具有将功率集中到某个特定的频域(低频频域)的特征，所以产生该该特征，与可变长度编码方式进行组合，可以用更少的数据量来传输图像信息。
(3)可变长度编码方式可变长度编码方式是在要编码的数据的出现频度上有偏差的情况下，利用该偏差，通过对出现频度高的现象以短的编码长度来表现，而对出现频度低的现象以长的编码长度来表现，从而缩短平均编码长度的方式。通过使用该方式，可以用少的数据量来传输图像信息。
上述的三个主要因素技术不适用于图像整体，而适用于每个将图像分割成16×16像素的编码块(宏块)的单位。所述动作都可以用补偿预测编码方式和内部编码方式以宏块单位来切换。
但是，近年来，随着携带电话等无线终端的普及，活动图像信号的无线传输技术引人注目。无线传输与有线传输相比，由于传输差错率高，所以需要有抗传输差错性的编码技术。
在抑制传输差错造成的图像恶化的技术中，有所谓的视频分组技术。这种技术将多个宏块的编码数据作为一个传输单位(视频分组)来传输。视频分组由被称为视频分组首标的信息和任意数的宏块编码数据构成。在视频分组首标中，包含开头的宏块位置地址(表示该宏块处于图像的哪个位置的地址)或解码所需的参数。
作为视频分组的构成方法的一例，有累积宏块单位的产生代码量，在其达到某个一定的代码量时构成视频分组的方法(例如，特开平7-014514号公报(日本))。根据该方法，背景等的没有动作的代码量少的部分由多个宏块来构成视频分组，而动作大的代码量多的部分由少的宏块来构成视频分组。因此，即使因传输差错在视频分组中产生了差错的情况下，由于动作大的部分由少的宏块来构成，所以可以将恶化的范围抑制得小。即，虽然背景部分包含许多宏块，但由于没有动作，所以恶化不明显。通过采用该方法，可以高效率地分配比特。
一般地，代码量多的宏块在动作补偿预测编码的情况下，变化量大。即，可以认为是动作大的部分。如果在该宏块中发生传输差错，那么对再现图像的画质产生的影响大。即，认为产生代码量多的宏块的重要度高。另一方面，在内部编码的情况下，由于不使用预测而产生代码量多，但由于可以恢复传输差错造成的画质恶化，所以也认为其重要度高。
作为提高抗差错性的其他技术，有根据图像的重要度来进行再发的技术(特开平9-214721号公报(日本))。这种技术是将静止图像变换到频域，对比某个规定频率高的分量和低的分量单独实施可变长度编码，来构成两种传输帧。发送这些帧，并进行控制，使得在接收端发现了传输差错的情况下，对频率低的分量进行再发请求，而对于频率高的分量不进行再发请求。由此，容许一些画质恶化，但可以提高传输效率。
但是，在现有的图像传输方法中，存在以下问题。
一般来说，如果根据频域或图像的分辨率来进行分层编码，那么需要将信息进行分割的开销(overhead)信息，由此产生分割损失。即，编码数据一般由传输单位的首标信息和宏块编码数据构成，所以例如在分割成两个的情况下，传输单位的首标信息变为2倍。这部分成为开销。
此外，随着分层编码，需要进行每个层的解码处理的硬件或软件资源，使装置结构变得复杂。
但是，近年来，正在研究通过无线传输活动图像的技术，由于无线传输路径的传输速率比有限网低，所以不能忽视上述分割损失所占的比例。另外，可接收活动图像的移动终端需要将消耗功率抑制得低，以便使通信时间尽量长。但是，随着分层化，硬件和软件的资源增加也对终端的通信时间产生影响。
发明内容
本发明的目的在于提供一种图像编码装置和图像编码方法，不必进行分层，就可以用非常简单的结构来决定活动图像编码数据的重要度，能够进行有效的再发控制。
该目的如下实现在根据图像的重要度来进行再发控制的图像传输处理中，在每个包含多个编码的宏块的传输单位中附加重要度信息，根据传输单位中包含的代码量来决定其重要度信息。
本发明提供一种图像编码装置，其特征在于，包括编码部件，将数字图像分割成宏块，以宏块为单位来进行编码处理；以及重要度决定部件，在每次将所述编码部件编码过的多个宏块作为一个传输单位来生成时，根据在所述多个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
本发明还提供一种图像传输装置，其特征在于，包括重要度决定部件，在每次输入由编码过的多个宏块构成的1个传输单位时，根据在所述多个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
本发明还提供一种图像分配服务器，其特征在于，包括本发明的图像传输装置。
本发明还提供一种基站装置，其特征在于，包括本发明的图像传输装置。
本发明还提供一种图像编码方法，其特征在于，将数字图像分割成宏块，以宏块为单位来进行编码处理，在每次从编码过的多个宏块中生成一个传输单位时，在该传输单位中附加重要度信息，根据在该传输单位中是否包含图像解码所需的图像首标信息来决定其重要度。
本发明还提供一种重要度决定方法，其特征在于，根据在由编码后的多个宏块组成的一个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
图1是表示本发明实施例1的图像传输装置的结构方框图；图2是表示本发明实施例1的图像传输装置的图像编码部的结构方框图；图3是表示本发明实施例2的图像传输装置的图像编码部的结构方框图；图4是表示本发明实施例3的图像传输装置的结构方框图；图5是表示本发明实施例3的图像传输装置的图像编码部的结构方框图；图6是表示传输单位的结构的图；以及图7是表示本发明实施例4的图像传输装置的重要度判定部的结构方框图。
具体实施例方式
以下，参照附图来详细说明用于实施本发明的优选实施例。
(实施例1)图1是表示本发明实施例1的图像传输装置的结构方框图。
在图1中，本实施例的图像传输装置100包括摄像部101，配有CCD(Charge coupled Device；电荷耦合器件)等摄像元件，输出模拟的图像信号；A/D(Analog/Digital)变换部102，将从摄像部101输出的图像信号变换成数字信号；图像编码部(图像编码装置)103，对由A/D变换部102变换的数字图像信号进行图像编码处理，输出编码的宏块；分组部(重要度信息附加部件)104，将图像编码部103编码的宏块以每个传输单位来进行分组；调制部105，对分组部104生成的发送分组进行数字调制；无线发送部106，对来自调制部105的调制信号实施规定的无线发送处理；天线107，用于向空中发射调制信号和捕捉调制信号；无线接收部108，接收由天线107捕捉的调制信号，变换成可解调的信号并输出；解调部109，对无线接收部108接收的信息进行解调；再发缓冲器110，存储再发用的发送分组；缓冲控制部(控制部件)111，控制对再发缓冲器110的发送分组的读取；以及计时部112，在发送分组生成中，生成用于对宏块赋予时间信息的时间。
图2是表示图像编码部103的详细结构的方框图。
在图2中，图像编码部103包括光栅-宏块变换部201；差分器202；动作评价部203；宏块计数器204；保持前图像的编码再现图像的帧存储器205；加法器206；离散余弦变换部207；量化部208；可变长度编码部209；复用部210；反量化部211；反离散余弦变换部212；可变长度编码部213，比特计数器214；同步单位分割判定部215；同步字产生部216；以及重要度判定部217。
光栅-宏块变换部201将输入的数字图像信号分割成编码的宏块，分别输入到差分器202、动作评价部203和宏块计数器204。动作评价部203根据来自光栅-宏块变换部201的编码块(当前图像)来评价从帧存储器205读出的前图像的动作量。然后，将评价结果作为动作矢量分别输入到帧存储器205和可变长度编码部213。
可变长度编码部213对从动作评价部203输入的动作矢量进行可变长度编码，分别输入到复用部210和比特计数器214。从帧存储器205中读出校正了动作矢量的预测图像，作为预测信号分别输入到差分器202和加法器206。差分器202求来自帧存储器205的预测图像和作为当前时刻处理对象的编码的宏块之间的差分，将求出的差分值输入到离散余弦变换部207。离散余弦变换部207将来自差分器202的差分值变换到频域，输入到量化部208。
量化部208对来自离散余弦变换部207的差分值根据规定的量化参数进行量化，将量化后的离散余弦变换系数分别输入到可变长度编码部209和反量化部211。可变长度编码部209对来自量化部208的离散余弦变换系数进行可变长度编码，分别输入到复用部210和比特计数器214。反量化部211对来自量化部208的量化过的离散余弦变换系数进行反量化，输入到反离散余弦变换部212。反离散余弦变换部212根据反量化过的离散余弦变换系数来再现预测误差信号，输入到加法器206。加法器206将来自反离散余弦变换部212的预测误差信号和来自帧存储器205的预测信号相加，输出其结果。通过将预测误差信号和预测信号相加，将再现图像再现。该图像作为用于对下个图像进行编码的预测图像被存储到帧存储器205中。
宏块计数器204对来自光栅宏块变换部201的编码过的宏块进行计数，将该计数值分别输入到同步单位分割部215和重要度判定部217。同步单位分割判定部215在编码过的宏块达到规定的数目时，对同步字产生部216指示输出同步字，以便区分传输单位，同时将宏块计数器204复位。同步字产生部216在有来自同步字单位分割判定部215的同步字产生指示时，输出同步字。该同步字、来自可变长度编码部209的可变长度编码过的离散余弦变换系数、以及来自可变长度编码部213的动作矢量被输入到复用部210进行复用。
比特计数器214对可变长度编码过的动作矢量和离散余弦变换系数的比特数(即1传输单位中包含的代码量)进行计数，将该计数值输入到重要度判定部217。重要度判定部217仅在同步单位分割判定部215判定为进行同步单位分割的情况下输出重要度信息。
重要度判定部217由阈值计算部218、平均代码量计算部219、以及阈值比较部220构成。平均代码量计算部219通过将比特计数器214计数的1传输单位中包含的代码量除以1传输单位中的编码宏块数，来计算1编码宏块的平均代码量，将其输入到阈值比较部220。
阈值计算部218根据帧速率和比特速率来计算用于判定1传输单位的数据的重要度的阈值。这种情况下，设帧速率为F，比特速率为B，图像内的编码宏块数为N，则阈值T根据T＝(B/F)/N来获得。可以将该阈值T看作每个编码宏块的平均代码量。
阈值比较部220比较平均编码量计算部219算出的1传输单位的平均编码率和阈值计算部218算出的阈值，在平均代码量超过阈值的情况下输出重要度信息。
本实施例的图像传输装置100被这样构成。
下面，说明该图像传输装置100的工作情况。
在图1中，从摄像部101输出的图像信号由A/D变换部102变换成数字图像信号，输入到图像编码部103。输入到图像编码部103的数字图像信号按规定的编码算法进行编码，编码过的数据和该编码数据的重要度信息被输入到分组部104。分组部104对编码数据和其重要度信息及编码数据赋予时间信息，生成发送分组，生成的发送分组被输入到调制部105。
调制部105在输入的发送分组中对载波进行调制，生成调制信号，输入到无线发送部106。无线发送部106进行功率放大，直至输入的调制信号达到规定的电平后从天线107向空中发射。
再发缓冲器110在分组部104生成的发送分组中仅存储重要度高的发送分组。这里，发送分组因传输中产生的差错而不能正确地发送，如果从接收端发出再发请求，那么包含该再发请求的调制信号被无线接收部108接收，并输入到解调部109。由此，能够恢复传输差错造成的画质恶化。解调部109根据输入的调制信号来解调再发请求，输入到缓冲控制部111。缓冲控制部111在输入再发请求后，在再发缓冲器110保持的发送分组中，为了再发指定的发送分组，从再发缓冲器110中读出该发送分组，输入到调制部105。由此，从无线发送部106输出要再发的发送分组，从天线107向空中发射。
这里，说明对图像编码过的传输单位赋予优先级的处理。
光栅-编码块变换部201中输入的数字图像例如被分割成16×16像素尺寸的编码宏块。分割的编码宏块被输入到动作评价部203，在那里进行与帧存储器205中存储的前图像的动作量评价，输出动作矢量。输出的动作矢量由可变长度编码部213进行可变长度编码，并被输入到复用部210和比特计数器214。
从帧存储器205输出仅校正了动作矢量的预测图像，由差分器202获得与作为当前处理对象的编码宏块的差分，输出该差分值。从差分器202输出的差分值由离散余弦变换部207变换到频域后，输入到量化部208进行量化。然后，在量化后，再由可变长度编码部209变换成可变长度代码。量化过的离散余弦变换系数被输入到反量化部211进行反量化后，由反离散余弦变换部212再现预测误差信号。由加法器206将再现的预测误差信号和预测信号相加来使再现图像进行再现。再现的再现图像作为用于对下个图像进行编码的预测图像被保存在帧存储器205中。
另一方面，从光栅-宏块变换部201输出的编码宏块由宏块计数器204进行计数，该计数值被输入到同步单位分割判定部215。如果编码宏块的计数值达到规定的值，那么从同步单位分割判定部215对同步字产生部216输出指示，从同步字产生部216输出同步字。在编码宏块的计数值达到规定值的时刻，将宏块计数器204复位。
如果同步单位分割判定部215判定为进行同步单位分割，将该判定输入到重要度判定部217，那么从重要度判定部217输出重要度信息。这种情况下，在重要度判定部217中，平均代码量计算部219根据比特计数器214计数的可变长度编码过的动作矢量和离散余弦变换系数的比特数，来计算传输单位中包含的编码块的平均代码量。然后，将算出的平均代码量与阈值计算部218算出的阈值进行比较，在超过该阈值的情况下，输出重要度高的重要度信息。
于是，根据本实施例，由比特计数器214对1传输单位中包含的代码量进行计数，由重要度判定部217将比特计数器214计数的代码量除以1传输单位中包含的编码宏块数，计算每个编码宏块的平均代码量，由阈值比较部220将来自重要度判定部217的平均代码量与根据帧速率和比特速率算出的阈值进行比较，来决定该传输单位的重要度。即，可以用非常简单的结构来决定图像编码处理中的图像数据的重要度。
因此，能够进行高效率的再发控制，即使在传输差错的发生频度高的情况下，也可提供质量好的图像信息。由此，例如，在使用容易产生传输差错的传输线路的图像信息分配服务(例如，活动图像)中，也可以保持良好的画质。
(实施例2)下面说明本发明实施例2的图像传输装置。
图3是表示本实施例的图像传输装置的图像编码部113的结构方框图。在该图中，对于具有与上述图2相同功能的部分附以相同的标号，并省略其说明。
在图3中，光栅-宏块变换部301将输入图像信号变换成编码宏块来输出，同时输出表示图像开头的垂直同步定时。重要度判定部302仅在同步单位分割判定部215发出指示的情况下才输出重要度信息。重要度判定部302根据来自光栅-宏块变换部301的垂直同步定时，仅在图像开头的传输单位时判定为重要度高，输出重要度信息。
于是，根据本实施例，根据是否包含图像解码上所需的图像首标信息来决定传输单位的重要度，所以与实施例1的图像传输装置同样，可以用非常简单的结构来决定图像编码处理中的图像数据的重要度。由此，能够进行高效率的再发控制，即使在使用容易产生传输差错的传输线路来分配图像数据的服务(例如，活动图像)中，也可以保持良好的画质。
(实施例3)下面说明本发明实施例3的图像传输装置。
图4是表示本实施例的图像传输装置的结构方框图。在该图中，对于具有与上述图1相同功能的部分附以相同的标号，并省略其说明。
在对1幅图像进行编码的情况下，可获得由多个传输单位组成的被称为比特流的比特串。在图像开头的传输单位中，包含用于对该图像整体进行解码所需的必要信息，将该信息称为图像首标。在该图像首标中产生传输差错的情况下，该图像中包含的第2个以后的传输单位不能正确地进行解码。包含该图像首标的传输单位是非常重要的。即使是已经结束该编码处理的比特流，也可以决定包含图像首标的传输单位的重要度。
在图4中，重要度判定部401仅根据输入的图像编码后的比特流来判定重要度。图5是表示该重要度判定部401的详细结构的方框图。重要度判定部401由传输单位分割部501、代码量计数器502、宏块地址提取部503、1传输单位延迟部504、506及509、差分器505、阈值计算部507、重要度判定部(名称虽相同，但是构成重要度判定部401的一部分)508来构成。
从外部输入的比特流由多个传输单位构成。这里，在各传输单位中，如图6所示，插入用于识别其开头的同步字。
在图5中，传输单位分割部501从输入的比特流中搜索同步字，将比特流分割成图像的传输单位。这种情况下，从当前的同步字至下一个同步字为一个传输单位。分割的传输单位被输入到代码量计数器502和宏块地址提取部503。代码量计数器502对输入的传输单位的比特数进行计数，输出其计数值。宏块地址提取部503读出在传输单位的开头包含的首标信息中的宏块地址信息并输出。宏块地址信息由1传输单位延迟部504延迟1传输单位，由差分器505计算差分值。这意味着计算前一个传输单位和当前传输单位的宏块地址之间的差分，由此可以掌握前一个传输单位中包含的编码块数。
另一方面，代码量计数器502计数的传输单位的比特数在1传输单位延迟部506中被延迟1传输单位。阈值计算部507根据帧速率、比特速率、图像格式信息来计算阈值。这种情况下，阈值的决定方法，在这里也使用相同于上述实施例1的图像传输装置中使用的方法。在本发明中，阈值决定方法并不限于此，可以容易地类推，即使是其他决定方法，也可以使本发明有效地产生作用。
重要度判定部508根据传输单位的比特数和编码宏块数来计算该传输单位中包含的每个编码宏块的平均代码量，与阈值计算部507算出的阈值进行比较。在该平均代码量比阈值大的情况下，输出重要度高的重要度信息。
于是，根据本实施例，即使是已经结束编码处理的比特流，通过对传输单位中包含的编码宏块数和每个传输单位的代码量进行计数，与实施例1的图像传输装置同样，可以用非常简单的结构来决定图像编码处理中的图像数据的重要度。由此，能够进行高效率的再发控制，在使用容易产生传输差错的传输线路，分配存储的图像数据的服务(例如，图像数据库存取)中，也可以获得良好的画质。
(实施例4)下面，说明本发明实施例4的图像传输装置。
本实施例的图像传输装置除了重要度判定部以外，有与上述图4所示的实施例3的图像传输装置相同的结构。下面用图7来说明本实施例的图像传输装置的重要度判定部。
在图7中，重要度判定部510由传输单位分割部501、传输单位首标解析部601构成。传输单位首标解析部601对由传输单位分割部501分割了传输单位的传输单位的开头部分比特串进行解析。在传输单位的开头存在同步字，但表示图像开头的同步字使用与除此以外的同步字不同的同步字。因此，通过仅对传输单位的开头进行解析，可以容易地判断该同步单位是否是图像的开头，在检测出表示图像开头的同步字情况下，输出重要度高的重要度信息。
于是，根据本实施例，即使是已经结束编码处理的比特流，通过对传输单位的开头部分的比特串进行解析，与实施例1的图像传输装置同样，可以用非常简单的结构来决定图像编码处理中的图像数据的重要度。由此，能够进行高效率的再发控制，在使用容易产生传输差错的传输线路，分配存储的图像数据的服务(例如，图像数据库存取)中，也可以获得良好的画质。
上述的本发明除了功能以外也可以将电路组合，也可以使用微计算机通过软件来实现。在使用微计算机的情况下，将本发明程序化并存储在ROM等可写记录媒体中，通过微计算机来处理该存储的程序。顺便说明一下，作为记录媒体，除了ROM(Read Only Memory；只读存储器)等半导体存储元件以外，还可列举出磁记录媒体、光记录媒体、光磁记录媒体等。
本发明除了图像传输装置以外，也可以简单地使图像编码部独立而作为图像编码装置来实现，而且可以作为图像传输装置或包括图像编码装置的图像信息分配用服务器(图像分配服务器)来实现。也可以在数字无线通信系统中的基站装置或移动台装置那样的通信终端装置中实现。
在本发明的实施例3和4中，根据图像编码的数据来判定重要度，赋予重要度信息来传输，但在处于发送端和终端之间的中继器中，在从没有与重要度有关信息的传输单位变换成具有重要度信息的传输单位(协议变换)时，也可以使用上述方法来进行变换。
如以上说明，根据本发明，在图像编码处理中，由于可以用非常简单的结构来决定图像数据的重要度，所以可以进行再发控制，使用了有传输差错的传输路径的图像信息分配服务(例如活动图像)也可以获得良好的画质。
本说明书基于2000年7月7日申请的(日本)特愿2000-207297。其内容全部包含于此。
本发明在产业上的可利用性在于本发明适用于图像传输装置。特别适用于将数字活动图像信号传输到携带电话等无线通信终端的图像传输装置。
权利要求
1.一种图像编码装置，其特征在于，包括编码部件，将数字图像分割成宏块，以宏块为单位来进行编码处理；以及重要度决定部件，在每次将所述编码部件编码过的多个宏块作为一个传输单位来生成时，根据在所述多个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
2.一种图像传输装置，其特征在于，包括重要度决定部件，在每次输入由编码过的多个宏块构成的1个传输单位时，根据在所述多个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
3.一种图像分配服务器，其特征在于，包括权利要求2所述的图像传输装置。
4.一种基站装置，其特征在于，包括权利要求2所述的图像传输装置。
5.一种图像编码方法，其特征在于，将数字图像分割成宏块，以宏块为单位来进行编码处理，在每次从编码过的多个宏块中生成一个传输单位时，在该传输单位中附加重要度信息，根据在该传输单位中是否包含图像解码所需的图像首标信息来决定其重要度。
6.一种重要度决定方法，其特征在于，根据在由编码后的多个宏块组成的一个宏块中是否包含图像解码所需的图像首标信息来决定该传输单位的传输目的端的图像解码的重要度。
全文摘要
比特计数器(214)计数1传输单位中包含的代码量，重要度判定部(217)将比特计数器(214)计数的代码量除以1传输单位中包含的编码宏块数来计算每1个编码宏块的平均代码量，阈值比较部(220)将平均代码量与根据帧速率和比特速率算出的阈值进行比较，来决定该传输单位的重要度。
文档编号H04N7/26GK1571517SQ20041004728
公开日2005年1月26日 申请日期2001年7月3日 优先权日2000年7月7日
发明者井村康治, 井户大治, 宫崎秋弘, 畑幸一 申请人:松下电器产业株式会社