专利名称：动态图像编码装置及其控制方法
技术领域：
本发明涉及一种对动态图像进行压缩编码的图像编码装置及其控制方法，特别是涉及一种预测帧间运动的图像编码装置及其控制方法。
背景技术：
近年来，为了将动态图像信息作为数字数据储存/传送，希望有如下技术，即以高压缩率和高画质来编码图像信息。作为图像信息的压缩技术，广泛普及了以MPEG方式为代表的组合了离散余弦变换(DCT)等正交变换和运动预测/运动补偿的压缩编码方式。
另外，近年来，作为以更高压缩率、高画质为目标的编码方式，有ITU-TH.264/AVC(MPEG4 AVC)。已经知道该H.264与称为MPEG2或MPEG4的现有编码方式相比，其编码、解码需要更多的运算，但是可实现更高的编码效率(例如参照ISO/IECFCD 14496-102004(Mpeg-4 Part10)‘Advanced VideoCoding’)。
图13表示使用H.264方式对图像信息进行压缩编码的图像编码装置的基本结构例。在图13中图像编码装置具有帧重新排列部1300、帧内预测部1301、正交变换部1302、量子化部1303、编码部1304、反量子化部1305、反正交变换部1306。还具有加法运算部1307、环路滤波器处理部1308、帧存储器1309、运动预测部1310、运动补偿部1311、减法运算部1312。
下面，对图13中的图像编码装置的编码处理流程进行说明。
数字化后的动态图像信号(动态图像数据)被输入到帧重新排列部1300中。在帧重新排列部1300中，帧(有时称为“图”)被重新排列为将被编码的顺序。图像帧的类型有由同一帧内信息编码的I图、利用与时间上靠前的帧的差别来编码的P图、以及还可利用与时间上靠后的(局部解码)帧的差别的B图。由于B图参照了时间上靠后的帧，因此，其编码顺序比参照帧靠后。
按编码顺序重新排列的图像帧，以每个作为具有规定大小的小区域的宏块为单位被编码。I图(进行帧内预测的宏块)在帧内预测部1301中，根据帧内的图元素信息来预测宏块内的图元素，并将预测像素和实际像素(当前像素)的差别数据输出到正交变换部1302中。
如果输入像素为B或者P图(进行帧间预测的宏块)，则将根据后述的帧间预测的预测图像和当前图像的差别数据输出到正交变换部1302中。
在正交变换部1302中，进行4×4像素的整数变换(正交变换)，将输入的差别数据变换成频率成分，并提供给量子化部1303。在量子化部1303中，对该频率成分数据进行量子化。然后被量子化部1303量子化后的图像数据，被输出到编码部1304以及反量子化部1305中。
在编码部1304中，对量子化数据进行可变长编码或者算术编码，并输出作为编码结果的位流。另一方面，在反量子化部1305中，对被量子化部1303量子化后的图像数据进行反量子化，解码为频率成分，并且通过由反正交变换部1306进行反正交变换，解码为预测误差别图像。
从反正交变换部1306输出的图像是P图或者B图的预测误差别图像时，通过由加法运算部1307将来自运动补偿部1311的运动补偿图像与预测误差别图像相加，将图像被解码为帧。
该局部解码后的图像，由环路滤波器1308执行除去块失真的滤波器处理后，存储到帧存储器1309中。在MPEG2编码方式中，I图以及P图必须作为用于运动检测的参照图像帧使用，而B图不能作为参照帧使用。因此，可根据图的种类来判断是否需要将对象的图像帧保存到帧存储器1309中。与此相对，在H.264方式中，即使是P图，也有不能作为参照帧利用的情况。另外，即使是B图，也有可作为参照帧利用的情况。另外，能够在帧存储器1309中存储任意张数的局部解码帧图像，作为参照帧利用。
运动预测部1310在进行帧间预测时，从存储在帧存储器1309中的解码图像中，搜索与输入图像差别最小的图像，算出并输出作为输入图像的将被编码的帧的运动信息的运动矢量。另外，还输出参照方向信息，该参照方向信息是指参照图像相对于输入图像是前方图像、还是后方图像、还是前后图像。在运动补偿部1311中，进行由运动矢量以及参照方向信息表示的运算，并输出运动补偿图像(预测图像)。在减法运算部1312中，得到输入图像和运动补偿图像的差别，并将差别图像(预测误差别图像)输出到正交变换部1302中。
应该注意的是，根据编码模式，对由帧内预测部1301和减法运算部1312中的哪个对正交变换部1302输出数据，进行适当切换。
如前所述，在H.264方式中能够与图类型无关，将任意帧作为运动检测的参照图像来利用。这样的编码方式，比起只参照固定图类型的图像帧进行运动预测的编码方式，可以从更多的候选中选择参照图像，因此能够进行高精度的运动预测。但是，为了进行高效率的编码，在进行运动预测时，需要尽量将适合参照的图像帧作为参照候选进行选择。如果能够选择最佳的参照图像，则与输入图像的差别数据将变小，可削减生成编码量。
另外，在如H.264方式那样，将多个图像存储到帧存储器，并能够将其全部作为参照图像利用的编码方式中，存在这样的问题，即从帧存储器内的所有图像中搜索运动矢量时，运算量将增大。
发明内容
本发明是鉴于这样的现有技术的问题而提出的，其目的在于，能够选择有效的参照图像，作为在使用运动预测的动态图像编码中所使用的参照图像。
根据本发明的一方面，提供一种动态图像编码装置，包括运动信息检测单元，用于使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码单元，用于对与使用前述运动信息而生成的预测图的差别信息进行编码；存储单元，用于存储前述参照图像的候选图像；以及第一选择单元，用于根据从输出前述输入动态图像的照相机获取的信息，选择不应该作为候选图像保持在前述存储单元中的图像。
根据本发明的另一方面，提供一种动态图像编码装置，包括运动信息检测单元，用于使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码单元，用于对与使用前述运动信息而生成的预测图的差别信息进行编码；存储单元，用于存储前述参照图像的候选图像；以及第二选择单元，用于根据从输出前述输入动态图像的照相机获取的信息，从前述存储单元中的前述候选图像中选择应作为前述参照图像使用的图像。
根据本发明的另一方面，提供一种动态图像编码装置控制方法，包括运动信息检测步骤，使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码步骤，对与使用前述运动信息生成的预测图的差别信息进行编码；存储步骤，将前述参照图像的候选图像存储在存储单元中，以及第一选择步骤，根据与前述输入动态图像对应的照相机信息，选择不应该作为候选图像保持在前述存储单元中的图像。
根据本发明的另一方面，提供一种动态图像编码装置控制方法，包括运动信息检测步骤，使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码步骤，对与使用前述运动信息生成的预测图的差别信息进行编码；存储步骤，将前述参照图像的候选图像存储在存储单元中，以及第二选择步骤，根据与前述输入动态图像对应的照相机信息，从前述存储单元中的前述候选图像中选择应作为前述参照图像使用的图像。
通过根据拍摄时的照相机信息来选择应作为参照图像使用的图像，能够只参照有效图像作为运动预测的参照图像，来进行运动矢量的检测，并能够提高编码效率。
通过以下对本发明的优选实施例的说明，除上述外，本发明的其它目的和优点对本领域的技术人员来说是显而易见的。在说明书中，参考构成说明书一部分、并示出本发明的不同实施例的示例的附图。但是，该示例并非穷举本发明的不同实施例，因此，参考说明书后的权利要求书来确定本发明的范围。
图1是表示作为根据本发明第一实施方式的动态图像编码装置的视频照相机的结构例的框图。
图2是表示被闪光灯照射的图像例的图。
图3A、3B和图3C是表示了本发明第一实施方式中的图像处理顺序和帧存储器内容的图。
图4A、4B和图4C是表示了本发明第一实施方式中的图像处理顺序和帧存储器内容的图。
图5A、5B和图5C是表示了本发明第一实施方式中的图像处理顺序和帧存储器内容的图。
图6是表示作为根据本发明第二实施方式的动态图像编码装置的视频照相机的结构例的框图。
图7A、7B、7C和图7D是表示了本发明第二实施方式中的图像处理顺序和帧存储器内容的图。
图8是表示作为根据本发明第三实施方式的动态图像编码装置的视频照相机的结构例的框图。
图9A、9B和图9C是表示了本发明第三实施方式中的图像处理顺序和帧存储器内容的图。
图10是表示作为根据本发明第四实施方式的图像编码装置的视频照相机的结构例的框图。
图11A、11B和图11C是表示了本发明第四实施方式中的图像处理顺序和帧存储器内容的图。
图12A、12B图12C是表示了本发明第四实施方式中的处理对象图像和帧存储器内容的图。
图13是表示现有图像编码装置的结构例的框图。
图14是说明本发明第一实施方式中的照相机信息管理部的动作的流程图。
图15是说明本发明第一实施方式中的帧选择部的动作的流程图。
图16是说明本发明第二实施方式中的帧选择部的动作的流程图。
图17是说明本发明第三实施方式中的运动预测部的动作的流程图。
图18是说明本发明第四实施方式中的运动预测部的动作的流程图。
引入并构成说明书的一部分的附图，示出了本发明的实施例，并与说明书一起用来解释本发明的原理。
具体实施例方式
下面参考附图来详细说明本发明的优选实施例。
第一实施方式图1是表示作为根据本发明第一实施方式的图像编码装置的数字视频照相机结构例的框图。本实施方式的数字视频照相机的特征在于，使用照相机信息来选择作为参照图像存储到帧存储器中的局部解码图像。
在图1中，本实施方式的数字视频照相机具有帧重新排列部100、帧内预测部101、正交变换部102、量子化部103、编码部104、反量子化部105、反正交变换部106、加法运算部107。还具有环路滤波器处理部108、帧存储器109、运动预测部110、运动补偿部111、减法运算部112，它们与图13中同名结构的基本结构相同。除了这些结构之外，本实施方式的数字视频照相机还具有摄像部120、照相机信息管理部121、帧选择部122。
下面，根据图1对处理流程进行说明。摄像部120具有变焦透镜及其变焦机构以及自动对焦机构、闪光灯、摄像元件、A/D变换器等视频照相机通常所具有的用于摄像的结构。并且，摄像部120通过光学系统拍摄被摄体，将图像信号作为数字数据输出到帧重新排列部100中。另外，如后所述，摄像部120将照相机信息输出到照相机信息管理部121中。
在此，以IBBPBBPB...的顺序处理输入图像的图类型。在帧重新排列部100中，按照后述的规定编码顺序重新排列输入图像信号并将其输出。如果将被编码的图像是帧内预测图像，则通过帧内预测部101生成差别图像，如果将被编码的图像是帧间预测的图像，则通过减法运算部112生成差别图像，并由正交变换部102生成频率图像，由量子化部103生成量子化图像。
另一方面，照相机信息从摄像部120输出到照相机信息管理部121中。照相机信息，换句话说，是与拍摄图像时的照相机状态相关的信息，例如能够利用以下的任一个或者它们的组合等。
·光圈值或快门速度、摄像元件的AGC(自动增益控制)增益等、表示被摄体亮度的信息·透镜的变焦倍率、闪光灯的发光状态(打开/关闭)·自动对焦的状态·防振控制的运动信息·拍摄图像的大小·白平衡的控制状态·ND(Neutral Density中性密度)滤波器的状态·拍摄模式在本实施方式中，以照相机信息是闪光灯发光信息的情况为例进行说明。
在本实施方式的数字视频照相机的摄像部120中，在由使用者指示了同时拍摄动态图像/静止图像等情况下，能够进行用于静止图像拍摄的闪光灯的发光。图2示出了在进行这样的拍摄时，从摄像部120向帧重新排列部100输出的图像序列的例子。在图2中帧1至8按照时间顺序排列，帧6表示闪光灯闪光时拍摄的被摄体。与使闪光灯发光的时间对应的图像帧信息被从摄像部120输入到照相机信息管理部121。照相机信息管理部121将闪光灯的发光状态和图像帧相对应进行管理。
当从量子化部103输入量子化的图像数据时，帧选择部122基本上为了使用I帧以及P帧作为用于算出运动矢量的参照帧进行局部解码而将数据送入反量子化部105中。
下面，根据图3A～图3C、图4A～图4C详细说明帧选择部122的控制。图3A、3B和图3C是表示图像序列结构和编码顺序以及帧存储器109状态的图。图3A表示从摄像部120输出的图像数据，其从左到右按时间序列排列。另外，帧P10是P图，且表示是以闪光灯发光状态拍摄的图像数据。帧P10是闪光灯发光而拍摄的图像，这些由如前所述的照相机信息管理部121进行管理。
图3B表示了由帧重新排列部100对图3A的图像序列进行重新排列后的图像序列。在本实施方式中，帧重新排列部100按照B图可参照其后出现的第一个P图的帧顺序而重新排列。即，在对B图编码前，对该B图之后(时间上)的第一出现的P图进行编码。
帧选择部122将来自量子化部103的输出数据全部输出到编码部104中，但是只是选择性地将与作为参照图像利用的图相关的数据输出到反量子化部105。
在本实施方式中，如上述那样，将I以及P图存储到帧存储器，并作为参照图像利用，因此，基本上将I以及P图的量子化数据以编码顺序送入反量子化部105中。但是，根据来自照相机信息管理部121的输出，输出到反量子化部105的数据将变化。
使用反量子化部105以及反正交变换部106对量子化数据进行局部解码，将该解码图像数据存储到帧存储器109中，并由运动预测部110检测运动矢量的一系列流程与图13中说明的现有例相同。因此，省略详细说明。需要注意的是，在本实施方式中，帧存储器109能够将3帧图像数据作为参照图像来存储。
对于本实施方式中的帧选择部122的动作，使用图3C所示的例子进一步说明。如上所述，帧选择部122基本上按编码顺序，选择I或者P图并输出到反量子化部105中。因此，到图B5从量子化部103开始输出的时刻为止，帧I1、P4、P7选择、解码并依次存储到帧存储器109中。
对在该状态中的编码处理帧P10的情况进行说明。输入到帧选择部122的帧P10是P图，但是如图2的第6帧所示，是使用闪光灯拍摄的图像。使用闪光灯拍摄的图像，与不用闪光灯拍摄的图像的帧间连续性低(相关性低)，不适合作为运动检测的参照图像。因此，在帧选择部122中，根据来自照相机信息管理部121的输出，检测出帧P10是使用闪光灯拍摄的图像时，进行控制使P图不作为参照图像的候选图像使用。具体地说，不将帧P10输出到反量子化部105中，且不存储到帧存储器109中。
下面，根据图4A～图4C说明对帧P10之后被编码的帧B8进行编码的情况。与图3A～图3C相同，图4A表示从摄像部120输出的图像顺序，图4B表示编码顺序，图4C表示帧存储器的状态。
通过前述的处理，作为被闪光灯闪光的帧的P10，不能存储到参照用帧存储器109中。因此，继帧P10之后对帧B8编码时，存储在帧存储器中的数据仍然是I1、P4、P7。如图4C所示，在运动预测部110中，在帧B8和存储在帧存储器109中的帧I1、P4、P7之间通过块匹配进行运动预测。由此，算出运动矢量，同时用运动补偿部111生成补偿图像。以该补偿图像为基础求出图像差别，编码的方法与使用图13所述的相同。
采用如上所述的结构，不将如被闪光灯照射的被摄体那样，作为动态图像帧间连续性低的不适合作为参照图像的帧设为参照图像，而在与可能更有效的参照图像之间进行运动检测。由此，能够提高编码精度。
图14是说明本实施方式中的照相机信息管理部121动作的流程图。
首先，照相机信息管理部121从摄像部120接收照相机信息(步骤S201)，将图像帧和照相机信息相链接存储到未图示的存储装置中(步骤S203)。并且，从照相机信息中，搜索是否存在能够可能连续性低的帧图像(不应该作为参照图像的候选图像保持在帧存储器109中的帧)(步骤S205)。作为这样的帧，例如有照射闪光灯进行拍摄的帧。对检测方法并没有特别限制，但如果是有无闪光灯的照射，则可直接检测，并在通过与前帧或后帧的照相机信息的比较来检测时，能够通过参照规定数量的前后帧的照相机信息而进行检测。
当没有检测出可能连续性低的帧时，直接进入步骤S209。另一方面，当检测出这样的帧时，将帧选择部122能够确定该帧的信息，例如将帧编号通知给帧选择部122(步骤S207)，并进入步骤S209。在步骤S209中，拍摄没有结束时返回到步骤S201，而当拍摄结束时结束处理。
图15是说明本实施方式中的帧选择部122动作的流程图。
在步骤S101中，帧选择部122在监视量子化数据的同时，接收作为照相机信息管理部121的输出的非选择帧信息。作为非选择帧信息，例如也可以是帧编号。如上所述，照相机信息管理部121，根据从摄像部120依次接收的照相机信息检测连续性低的图像帧。并且，将检测出的图像帧编号，作为确定不适合作为参照图像候选图像的图像帧的信息，依次通知帧选择部122。
步骤S103是结束判断步骤，判断是否结束了对输入动态图像序列的全部帧的编码处理。
当没有结束时，在步骤S105中，例如通过检测头部信息来调查是否成为与新帧对应的量子化数据。在没有变成新帧期间，返回到步骤S101进行重复处理。当切换了帧时，在步骤S107中，判断从量子化部103开始输出的新图像帧是否是从照相机信息管理部121作为非选择帧而通知的帧。这是例如通过比较包含在头部的帧编号与被通知的非选择帧编号来进行的。
如果是被闪光灯照射的帧等、被通知非选择的帧时，进入步骤S115中，切换未图示的内部开关，从而使该帧的量子化数据不被选择而只输出给编码部104。
另一方面，如果是没有被通知作为非选择帧的帧时，在步骤S109中判断是不是I图或者P图，即判断是不是要作为参照图像的候选图像而存储到帧存储器109内的图。该判断也可以通过参照量子化数据的头部部分来实现。在此，是I图或者P图时，进入到步骤S111中，切换未图示的内部开关，从而使选择该帧的量子化数据，不仅输出到编码部104中，还输出到反量子化部105中。
在步骤S109中，是B图(不作为参照图像使用的图)时，进入到步骤S115中，作为非选择帧进行处理。此外，对于步骤S113，在后面叙述的变形例1中进行说明。
第一实施方式的变形例1需要注意的是，虽然在上述的方法中，实施例使照射闪光灯而拍摄的图像不论图是哪种类型均不作为参照图像的候选图像，但是实施例也可以使代替的帧存储到帧存储器中。
图5A～图5C表示这种情况的例子。与图3A～图3C以及图4A～图4C相同，图5A表示从摄像部120输出的图像顺序，图5B表示编码顺序，图5C表示帧存储器的状态。在帧选择部122中，不将被闪光灯照射的帧P10加入参照帧这一点，与上述方法相同。在此，帧选择部122不将帧P10加到参照帧中。取而代之，选择帧B9的量子化数据输出到反量子化部105中、以将紧挨着帧P10并在P10之前拍摄的帧B9(在编码顺序中是P10之后)作为参照图像的候选图像存储到帧存储器109中。结果，在对作为下一个将被编码的的帧P13进行编码时，不仅可以参照帧P4、P7等时间上稍远的帧，还可以参照时间上近的帧B9，从而能够提高运动检测的精度。
在实施变形例1时，当在图15中的步骤S109中是B图时，执行步骤S113，在此判断是否是代替帧(在上述例中是否是帧B9)。在此，判断代替帧是哪个帧，可通过如下来实现，即帧选择部122存储最近的非选择帧编号并判断是否是比该帧编号少1的帧编号。
第一实施方式的变形例2另外，作为照相机信息，可以与闪光灯照射同样，使用被摄体亮度信息。此时，亮度信息能够根据摄像部120输出的、光学系统的光圈状态或摄像元件的AGC增益等、与被摄体的亮度对应变化的照相机信息(亮度信息)的水平，由照相机信息管理部121检测。具体地说，通过检测这些亮度信息的时间上的变化能够检测出如被闪光灯照射等的亮度极端不同的帧。
第一实施方式的其他变形例此外，本实施方式的基本思想在于，根据照相机信息，检测包含在拍摄图像序列中的连续性低的帧图像，不将这些帧图像作为参照图像的候选图像保持在帧存储器中。因此，只要能够检测出连续性低的帧，也可以是使用上述以外的照相机信息的方法。
另外，在上述方法中，鉴于通常闪光灯拍摄的频率较低，进行控制使被闪光灯照射的图像帧不成为参照帧。但是，从参照图像的候选图像中排除连续性低的帧的观点来看，当闪光灯发光频率非常多时，也存在被闪光灯照射的图像作为参照图像而有效的情况。因此，闪光灯的发光频率超过规定阈值时，即使是被闪光灯照射的图像帧也可以选择其作为参照图像的候选图像。
另外，在本实施方式中，将检测不适合作为参照图像的图像帧的照相机信息管理部121与执行选择、非选择的帧选择部122作为分别的结构进行了说明，但是也可以由一个结构实现这些功能。
如以上所说明，本实施方式基于照相机信息检测连续性低的图像帧，使其不成为参照图像的候选图像。由此，可实现运动矢量的检测精度的提高和检测速度的提高，结果可达到能够实现高速且编码产生量少的动态图像编码的效果。
第二实施方式在第一实施方式中，根据照相机信息决定不存储到帧存储器中的图像帧，从而使可能关联性高的帧图像作为参照图像的候选图像存储到帧存储器中。
第二实施方式的特征在于，根据照相机信息选择不应该保持在帧存储器中的需要优先删除的图像。在本实施方式中，也与第一实施方式同样，将具备摄像功能的动态图像的压缩编码装置作为例子进行说明。
图6是表示作为本实施方式的动态图像压缩编码装置的视频照相机结构例的框图，对与第一实施方式相同的结构标注相同的参照数字。
在图6中，本实施方式的特征在于使用照相机信息管理部621与帧存储器管理部622管理帧存储器这点，因此，只说明照相机信息管理部621以及帧存储器管理部622的处理。此外，在本实施方式中，帧存储器109也能够将3帧图像数据作为参照图像的候选图像来存储。
帧存储器管理部622管理存储在帧存储器109中的图像数据。例如，在帧存储器109中存储有3帧图像数据的状态时，假设输入了存储在帧存储器109中的新图像数据。此时，删除存储在帧存储器109中的帧图像中、最旧的帧图像(帧编号小的图像)，取而代之，将新输入的帧图像作为候选图像存储到帧存储器109中。
与第一实施方式的照相机信息管理部121同样，照相机信息被从摄像部120输入到照相机信息管理部621中。在本实施方式中为了便于说明及理解，与第一实施方式同样，将使用照相机信息中闪光灯发光状态的情况作为例子进行说明。
与第一实施方式的照相机信息管理部121同样，照相机信息管理部621将帧存储器109内的图像帧和照相机信息相链接。即，管理存储在帧存储器109内的哪个图像是被闪光灯照射的图像。
使用图7A～图7D以及图8说明这样的结构中在帧存储器109中追加、删除图像的方法的概要。
图7A表示从摄像部120输出的图像顺序，图7B表示编码顺序。编码顺序与实施方式1同样，是可使B帧参照时间上靠后一个的P帧的顺序。帧P10是被闪光灯照射的图像。
图7C表示编码帧P13时的帧存储器109的状态，在此，存储有比P13更早编码的3张帧(P4、P7、P10)。另外，在照相机信息管理部621中，管理着帧P10是被闪光灯照射的图像的内容。
在该状态中，在P10之后被编码的帧(B8、B9、B13)，参照帧存储器109内的图像(P4、P7、P10)进行运动检测以及运动补偿来编码。在编码帧P13时，由于帧P13是P图故被局部解码，并作为参照图像的候选图像存储到帧存储器109中。
但是，由于帧存储器109中没有空余空间，因此，在帧存储器管理部622中，通常是将如前所述的时间上最旧的(最早拍摄的)图像数据(此时是P4)，首先从帧存储器109中删除。并且，将新的参照用图像数据(P13)存储到帧存储器109中。
但是，根据照相机信息管理部621的信息，在帧存储器109内有需要首先删除的图像(此时是被闪光灯照射的图像)时，首先从帧存储器109中删除被闪光灯照射的图像。在该例中，如图7D所示，比作为时间上更旧数据的帧P4更早删除P10，并追加帧P13。
本实施方式中的照相机信息管理部621的动作，可以与在图14中说明的第一实施方式相同，根据照相机信息检测出可能连续性低的帧，并将该确定信息通知给帧存储器管理部622即可。
图16是说明本实施方式中的帧存储器管理部622动作的流程图。
首先，在步骤S301中，帧存储器管理部622在监视环路滤波器108的输出的同时，接收来自照相机信息管理部621的帧确定信息。从环路滤波器108输出新的帧图像(在步骤S305中“是”)时，检查帧存储器109中是否存在空余空间(步骤S307)。有空间时，在步骤S315中如通常那样进行向帧存储器109的写入。
另一方面，当没有空间时，在步骤S309中，确认目前存储在帧存储器109中的图像中，有无由照相机信息管理部621通知的作为应该首先删除的帧的帧。假如有被通知的帧，则在步骤S311中删除该帧后，在步骤S315中写入新的帧图像。此外，在帧存储器109中存在多个接受到通知的帧时，删除例如其中最早拍摄的图像。
在本实施方式中，在帧存储器内有闪光灯发光而拍摄的帧时，首先从帧存储器109中删除该帧。但是，也可以根据帧时间信息和有无闪光灯发光来分配权重，从而不删除与编码中的数据时间上最近的帧。
另外，即使是被闪光灯照射的图像，如果在过去为了运动预测而参照的次数超过规定阈值时，也可以将其从首先删除对象中排除。此时，帧存储器管理部622对每个帧存储参照次数，在图16的步骤S309中的判断时，对于参照次数超过规定数的帧，将其作为未通知的帧而进行处理。
另外，在本实施方式中，将照相机信息作为闪光灯发光状态进行了说明，但是这是一个例子，与第一实施方式同样，也可以是利用了闪光灯发光以外的信息、例如被摄体的亮度信息等的装置。
采用如上所述的结构，如被闪光灯照射的被摄体图像那样，作为动态图像连续性低的、不适合作为参照图像的图像，不能够作为候选图像长时间残留在帧存储器中。由此，能够用与第一实施方式不同的方法高效率地利用帧存储器，能够实现编码精度的提高和编码量的抑制。
第三实施方式第三实施方式的特征在于，根据照相机信息，决定从存储在帧存储器中的图像帧中进行运动检测的图像帧。在本实施方式中，也与上述实施方式同样，将具备摄像功能的动态图像的压缩编码装置作为例子进行说明。
图8是表示作为本实施方式的动态图像压缩编码装置的视频照相机结构例的框图，与第一实施方式相同结构标注相同的参照数字。
如图8所示，由于本实施方式将照相机信息管理部821与运动预测部810的动作作为特征，因此，只对这些结构进行说明。此外，在本实施方式中，能够将5帧图像存储到帧存储器109中。
与上述实施方式同样，从摄像部120将照相机信息输入到照相机信息管理部821中。在本实施方式中，以作为照相机信息使用变焦倍率的情况为例进行说明。照相机信息管理部821将帧存储器109内的图像帧以及目前正在编码的图像帧的变焦倍率与图像链接。运动预测部810，从照相机信息管理部821取得帧存储器109内的图像帧的各自的变焦倍率以及目前正在编码的图像帧的变焦倍率。并且，从存储在帧存储器109内的5张帧图像中，选择两张变焦倍率与作为目前将被编码的的帧图像的变焦倍率接近的帧图像。并且，使用该两张帧图像，运动预测部810例如通过与将被编码的帧的块匹配处理，进行运动矢量的检测。
使用图9A～图9C以及图17的流程图，进一步说明运动预测部810的处理。图9A表示从摄像部120输出的图像顺序，图9B表示编码顺序。编码顺序与实施方式1、2相同。另外，图9C表示帧存储器109内的状态。
在此，说明帧B11是将被编码的帧的情况。当帧B11是将被编码的帧时，在帧存储器109中存储有I1、P4、P7、P10、P13这5张帧图像数据。对这5张帧全部进行与帧B11的块匹配时，将导致运算量增大。因此，从照相机信息管理部821中取得将被编码的帧B11以及与帧存储器109内的帧数据对应的变焦倍率(步骤S401)。并且，选择规定数量(在此是2张)的变焦倍率与作为将被编码的帧B11的变焦倍率最接近的帧(步骤S403)。以图9C为例时，具有和帧B11的变焦倍率(3.0倍)相同倍率的帧P10、与其次接近的帧P7(2.8倍)被选择。并且，使用选择的参照图像，采用块匹配等众所周知的方法，进行运动矢量的检测(步骤S405)。
由于由变焦引起的图像变化不是水平、垂直的移动变化，因此，即使对以不同变焦倍率拍摄相同被摄体的图像进行块匹配，被检测的运动矢量的精度也不会变高。因此，通过从参照对象中除去变焦倍率相差规定值以上的帧图像，从而能够降低运算量。
此外，在帧存储器109内的帧中有多个相同变焦倍率的帧时，装置选择与将被编码的帧时间上最近的帧。
另外，帧存储器109内的帧图像的变焦倍率的取得，也可以不在运动矢量的检测时进行，而在向帧存储器109写入新帧图像时从照相机信息管理部821取得、存储。
此外，在本实施方式中，说明了从存储在帧存储器109中的5张图像帧中选择2张的方法。但是，只要是根据照相机信息来限定参照帧即可，例如，也可以是只选择、参照一张变焦倍率最接近将被编码的帧的变焦倍率的帧等任何方式。另外，也可以采用从运动矢量搜索对象中除去变焦倍率的差超过规定值的帧的方法。
另外，在本实施方式中，只说明了仅根据变焦倍率来选择用于参照的帧的例子，但是，由于与将被编码的帧在时间上接近的帧的差别也变小，因此，也可以使用以时间和变焦倍率的相近度设定权重而综合判断的方法。另外，也可以是与其他照相机信息组合从而决定用于参照的帧的方法。
另外，前面只说明了使用变焦倍率作为照相机信息的例子。但是，除了变焦倍率之外，可以使用从摄像部输出的照相机信息中、根据被摄体或者拍摄系统的状态变化的信息，例如AE信息或摄像部的摇镜头/俯仰运动控制信息等。
另外，本实施方式也可以与第一实施方式或第二实施方式组合来实施。
第四实施方式本发明的第四实施方式即根据从图像的元数据中得到的照相机信息，从存储在帧存储器中的图像帧中，决定用于运动检测的参照帧图像。
图10是表示本实施方式的动态图像压缩编码装置的结构例的框图，与第一实施方式相同的结构标注相同的参照数字。
如图10所示，由于本实施方式将元数据分析部1020和照相机信息管理部1021以及运动预测部1010的动作作为特征，因此，只说明这些结构。此外，在本实施方式中，能够在帧存储器109中存储5帧图像。
下面，说明处理流程。元数据分析部1020，例如从与上述摄像部120同样的外部装置，将作为输入图像被数字化后的图像数据作为输入接受，并在抽样/分析输入图像的元数据后，将图像数据送入帧重新排列部100中。
元数据是指与图像数据相关的信息，包含有从图像大小和图像数据的时间以及拍摄时的照相机信息。此外，在本实施方式中也与第三实施方式相同，能够在帧存储器109中存储5张帧图像数据。
图11A～图11C表示输入图像数据的处理顺序和存储到帧存储器中的数据结构。图11A表示处理输入图像的图像类型，图11B表示在图像重新排列部100中重新排列后的帧顺序。另外，本实施方式的帧重新排列部100进行重新排列使B图可参照2张在时间上靠后的P图。例如在编码帧B8前，进行重新排列使先编码作为时间上比B8靠后的P图的P10以及P13。结果，在运动预测部1010中进行帧B8的运动预测时，帧存储器109中存储有图11C所示的图像。帧B8是B图，因此，能够参照作为在时间上比帧B8靠前的帧的I1、P4、P7与作为在时间上比帧B8靠后的帧的P10、P13而进行运动预测。
另一方面，元数据分析部1020从输入图像数据的元数据中提取照相机信息，并输出到照相机信息管理部1021中。在本实施方式中，将照相机信息是被摄体亮度信息(具体地说，例如是光圈值，如需要还可以加上快门速度。另外，也可以是摄像元件的AGC增益等)的情况作为例子进行了说明。照相机信息管理部1021，将将被编码的图像及存储在帧存储器109内的图像数据与被摄体的亮度信息链接。在此，由于将I图和P图存储到帧存储器109中，因此，照相机信息管理部1021能够按照IBBPBBPB...的图顺序确定帧存储器109内的帧。当然，也可以访问帧存储器109，从实际存储的帧图像中进行确认。
使用图12A～图12C详细说明照相机信息管理部1021的处理。图12A具体地示出了图11A所示的输入图像。该例中，在帧B8和B9中图像发生了大变化，被摄体亮度也发生了大变化，此外，虽然没有图示，但是帧I1～B4是与B5～B8相同的图像。
照相机信息管理部1021，根据包含在来自元数据分析部1020的照相机信息中的亮度信息的变化，检测帧B8和B9之间的场景变化。并且，例如将被判断为场景变化的第一帧的帧编号(场景的开始帧编号)等的场景变化信息，输出到运动预测部1010中。
并且，在运动预测部1010中，例如在对帧B8进行编码时，只对与该场景相同的场景的帧图像进行运动矢量搜索。例如，考虑场景变化信息是场景开始帧编号的情况。从帧存储器109内的候选图像中，运动预测部1010选择时间上比将被编码的帧靠前且最近的场景开始帧，到时间上比将被编码的帧靠后且最近的场景开始帧的前一帧为止之间的帧图像中选择参照图像。即，运动预测部1010预先从运动矢量搜索中除去与帧B8的场景不同，图像差变大的图像。在此时的例子中，如图12B所示，参照帧I1、P4、P7搜索运动矢量。
紧接着帧B8的编码之后，对帧B9进行编码时，帧B9本身是场景开始帧，因此，参照场景变化后的P10以后的图像来搜索运动矢量。即，如图12C所示，从帧P10以及P13中求出运动矢量。
本实施方式中的照相机信息管理部1021的动作，相当于变更了在图14中说明的第一实施方式中的照相机信息管理部121的处理与步骤S205的动作。具体地说，在步骤S205中，照相机信息管理部1021也可以不进行连续性低的帧检测，而采用上述方法对场景的最前帧进行检测。
使用图18的流程图，说明本实施方式中的运动预测部1010的动作。
首先，在步骤S501中，接收来自照相机信息管理部1021的场景变化信息，并存储到未图示的存储装置中。其次，从存储在帧存储器109内的候选图像中，选择包含在与将被编码的帧相同场景中的帧图像作为参照图像(步骤S503)。然后，使用该参照图像，通过众所周知的方法检测运动矢量(步骤S505)。
此外，在本实施方式中，是不具备摄像部而从图像数据的元数据得到照相机信息的结构，但也可以是如第一～第三实施方式所说明的、具备摄像部并从摄像部取得照相机信息的结构。另外，反之在上述的第一～第三实施方式中，也可以从图像数据的元数据取得照相机信息。
此外，在本实施方式中，只说明了利用亮度信息作为检测场景变化的照相机信息的情况。但是，可以使用任何能够在照相机信息管理部中判断输入图像的场景切换的信息，例如可以是拍摄时间等(能够根据时间的连续性进行检测)任何信息。
如上所说明，在本实施方式中，从照相机信息检测出场景变化，并根据场景变化，从候选图像中进一步选择用于运动矢量的检测的参照图像。由此，能够省去运动预测部1010中的运动矢量的检测所需的不必要的运算，降低运算量。
其他实施方式此外，将实现前述的实施方式功能的软件程序，从存储介质直接或者使用有线/无线通信提供给具有能够执行该程序的计算机的系统或者装置，该系统或者装置的计算机通过执行该被提供的程序，从而达成同等功能，这种情况也包含在本发明中。
因此，为了用计算机实现本发明的功能处理，提供、安装在该计算机中的程序代码本身也实现本发明。即，用于实现本发明的功能处理的计算机程序本身，也被包含在本发明中。
此时，只要系统或装置具有程序的功能，程序可以以任何形式执行，例如目标代码、由解释器执行的程序、提供给OS的原稿数据等。
作为用于提供程序的存储介质，例如有软盘、硬盘、磁带等磁性存储介质，MO、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-R、DVD-RW等光/光磁存储介质，非易失性半导体存储器等。
作为使用了有线/无线通信的程序提供方法，可例举出如下的方法等，即将形成本发明的计算机程序本身或者被压缩的包含自动安装功能的文件等、能够成为在客户计算机上形成本发明计算机程序的数据文件(程序数据文件)存储到计算机网络上的服务器中，并将程序数据文件下载到具有连接的客户计算机中。此时，也能够将程序数据文件分割成多个分割文件，并将分割文件发布在不同的服务器上。
即，使对于多个用户下载用于由计算机实现本发明功能处理的程序数据文件的服务器装置，也包含在本发明中。
另外，也可以这样实现，即将本发明的程序加密后存储到CD-ROM等存储介质中，并发布给用户，允许满足规定条件的用户，例如通过经由因特网从主页上下载来提供解开加密的键信息，通过使用该键信息执行被加密的程序，并将程序安装到计算机中。
另外，计算机通过执行读出的程序，实现前述实施方式的功能外，根据该程序命令，在计算机上运行的OS等进行实际处理的一部分或者全部，并通过该处理也可实现前述实施方式的功能。
并且，将从存储介质读出的程序，写入到插入计算机的功能扩展板或者连接计算机的功能扩展单元所具备的存储器后，根据该程序命令，该功能扩展板或者功能扩展单元所具备的CPU等进行实际处理的一部分或者全部，通过该处理也可实现前述实施方式的功能。
由于在不脱离本发明的精神和范围的条件下，可以做出很多明显大为不同的本发明的实施例，因此，应该理解的是，本发明除所附权利要求书所定义的内容之外，不受其具体实施例的限制。
权利要求
1.一种动态图像编码装置，包括运动信息检测单元，用于使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码单元，用于对与使用前述运动信息而生成的预测图的差别信息进行编码；存储单元，用于存储前述参照图像的候选图像；以及第一选择单元，用于根据从输出前述输入动态图像的照相机获取的信息，选择不应该作为候选图像保持在前述存储单元中的图像。
2.一种动态图像编码装置，包括运动信息检测单元，用于使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码单元，用于对与使用前述运动信息而生成的预测图的差别信息进行编码；存储单元，用于存储前述参照图像的候选图像；以及第二选择单元，用于根据从输出前述输入动态图像的照相机获取的信息，从前述存储单元中的前述候选图像中选择应作为前述参照图像使用的图像。
3.根据权利要求1所述的动态图像编码装置，其特征在于，前述第一选择单元，对每个前述将被编码的图，根据与拍摄该图像时的照相机状态相关的信息，判断该图像是否为不应该作为候选图像保持在前述存储单元中的图像，该动态图像编码装置还包括解码单元，该解码单元生成未被认为是不应该作为前述候选图像保持的前述将被编码的图的局部解码图像，并将该局部解码图像作为前述候选图像存储到前述存储单元中。
4.根据权利要求1所述的动态图像编码装置，其特作在于，前述第一选择单元，根据与拍摄成为存储在前述存储单元中的候选图像源的图时的照相机状态有关的信息，检测不应该作为候选图像保持的图像，该动态图像编码装置还包括删除单元，当需要删除前述存储单元中的候选图像的某一个时，该删除单元首先删除作为不应该作为前述候选图像保持的图像而检测出的候选图像。
5.根据权利要求1所述的动态图像编码装置，其特征在于，前述第一选择单元，将根据与拍摄该图像时的照相机状态相关的信息而检测出的可能连续性低的图，判断为是不应该作为前述候选图像保持的图像。
6.根据权利要求5所述的动态图像编码装置，其特征在于，使用与有无闪光灯照射相关的信息，作为与拍摄图像时的照相机状态相关的信息。
7.根据权利要求2所述的动态图像编码装置，其特征在于，前述第二选择单元，根据与拍摄前述将被编码的图时的照相机状态相关的信息、和与拍摄成为存储在前述存储单元中的候选图像源的图时的照相机状态相关的信息，从前述候选图像中，选择以与拍摄前述将被编码的图时的照相机状态最近的照相机状态拍摄的规定数量的候选图像，作为应该作为前述将被编码的图的前述参照图像使用的图像。
8.根据权利要求2所述的动态图像编码装置，其特征在于，前述第二选择单元，根据与拍摄前述输入动态图像的每个图时的照相机状态相关的信息，检测前述输入动态图像中的场景变化，并从前述存储单元中的前述候选图像中，选择可能包含在与前述将被编码的图相同的场景中的候选图像。
9.根据权利要求1或2所述的动态图像编码装置，其特征在于，还包括用于生成前述输入动态图像的摄像单元，前述第一或第二选择单元从前述摄像单元取得与拍摄前述输入动态图像的每个图时的照相机状态相关的信息。
10.根据权利要求1或2所述的动态图像编码装置，其特征在于，还包括照相机信息取得单元，该照相机信息取得单元用于从前述每个图的元数据中取得与拍摄前述输入动态图像的每个图时的照相机状态相关的信息，前述第一或第二选择单元，从前述照相机信息取得单元取得与拍摄前述输入动态图像的每个图时的照相机状态相关的信息。
11.一种动态图像编码装置控制方法，包括运动信息检测步骤，使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码步骤，对与使用前述运动信息生成的预测图的差别信息进行编码；存储步骤，将前述参照图像的候选图像存储在存储单元中，以及第一选择步骤，根据与前述输入动态图像对应的照相机信息，选择不应该作为候选图像保持在前述存储单元中的图像。
12.一种动态图像编码装置控制方法，包括运动信息检测步骤，使用一个或一些参照图像来检测输入动态图像的将被编码的图的运动信息；编码步骤，对与使用前述运动信息生成的预测图的差别信息进行编码；存储步骤，将前述参照图像的候选图像存储在存储单元中，以及第二选择步骤，根据与前述输入动态图像对应的照相机信息，从前述存储单元中的前述候选图像中选择应作为前述参照图像使用的图像。
13.根据权利要求11所述的动态图像编码装置控制方法，其特征在于，前述第一选择步骤，对每个前述将被编码的图，根据与拍摄该图像时的照相机状态相关的信息，判断该图像是否为不应该作为候选图像保持在前述存储单元中的图像，该动态图像编码装置控制方法还包括解码步骤，该解码步骤用于生成未被认为是不应该作为前述候选图像保持的前述将被编码的图的局部解码图像，并将该局部解码图像作为前述候选图像存储到前述存储单元中。
14.根据权利要求11所述的动态图像编码装置控制方法，其特征在于，前述第一选择步骤，根据与拍摄成为存储在前述存储单元中的候选图像源的图时的照相机状态相关的信息，检测不应该作为前述候选图像保持的图像，该动态图像编码装置控制方法还包括删除步骤，当需要删除前述存储单元中的候选图像的某一个时，首先删除作为不应该作为前述候选图像保持的图像而检测出的候选图像。
15.根据权利要求11所述的动态图像编码装置控制方法，其特征在于，前述第一选择步骤，将根据与拍摄前述图像时的照相机状态相关的信息而检测出的可能连续性低的图，判断为不应该作为前述候选图像保持的图像。
16.根据权利要求15所述的动态图像编码装置控制方法，其特征在于，使用与有无闪光灯照射相关的信息，作为与拍摄图像时的照相机状态相关的信息。
17.根据权利要求12所述的动态图像编码装置控制方法，其特征在于，前述第二选择步骤，根据与拍摄前述将被编码的图时的照相机状态相关的信息、和与拍摄成为存储在前述存储单元中的候选图像源的图时的照相机状态相关的信息，从前述候选图像中，选择以与拍摄前述将被编码的图时的照相机状态最近的照相机状态所拍摄的规定数量的候选图像，作为应该作为前述将被编码的图的前述参照图像使用的图像。
18.根据权利要求12所述的动态图像编码装置控制方法，其特征在于，前述第二选择步骤，根据与拍摄前述输入动态图像的每个图时的照相机状态相关的信息，检测前述输入动态图像中的场景变化，并从前述存储单元中的前述候选图像中，选择可能包含在与前述将被编码的图相同的场景中的候选图像。
19.根据权利要求11或12所述的动态图像编码装置控制方法，其特征在于，还包括用于生成输入动态图像的摄像单元，前述第一或第二选择步骤从前述摄像单元取得与拍摄前述输入动态图像的每个图时的照相机状态相关的信息。
20.根据权利要求11或12所述的动态图像编码装置控制方法，其特征在于，还包括照相机信息取得步骤，从前述每个图的元数据取得与拍摄前述输入动态图像的每个图时的照相机状态相关的信息，前述第一或第二选择步骤，使用在前述照相机信息取得步骤中取得的与拍摄前述输入动态图像的每个图时的照相机状态相关的信息。
全文摘要
一种动态图像编码装置及其控制方法，从照相机信息中检测被闪光灯照射的帧图像等、可能连续性低的帧图像，使这样的帧图像不作为参照图像的候选图像使用。由此，帧存储器内的候选图像是将被编码的帧图像和连续性高的图像的可能性变高，不仅能够高效率地检测运动矢量，而且编码的数据生成量少。
文档编号H04N7/32GK1761324SQ20051011290
公开日2006年4月19日 申请日期2005年10月14日 优先权日2004年10月15日
发明者北岛光太郎 申请人:佳能株式会社