运动图像编码设备的制作方法

专利名称：运动图像编码设备的制作方法
技术领域：
本发明涉及对运动图像信号进行编码的设备，具体地涉及降低在重新描画 (redraw)同一图像时的编码量的运动图像编码设备。
背景技术：
已经提出对运动图像和视频数据进行发送和接收的各种类型的设备。例如，专利文献1描述了一种在服务器设备和瘦客户端终端(thin client terminal)之间发送和接收视频数据的瘦客户端系统。瘦客户端系统中的运动图像编码设备一般采用对包括图像中的更新区域的矩形区域图像数据进行编码和发送的方案。例如，专利文献2描述了这种类型的发送方案。根据该发送方案，在仅对图像中的部分区域进行更新的情况中，消除了对整个图像进行编码和发送的需要，并且仅需要对部分图像的图像数据进行编码和发送，从而可以减少要发送的数据量。特别地，对于显示在计算机画面上的视频图像，很少会对整个画面进行频繁的重新描画，通常情况是除了部分区域之外像素值根本就不改变。因此，通过这种部分编码实现的数据减少是非常有效的。另一方面，作为针对除了计算机画面的运动图像信号之外的更一般的运动图像信号的编码方案，存在由IS0/IEC定义的MPEG方案和由ITU定义的H. 26x方案。这些运动图像编码方案通过使用表明待编码像素块类似于参考图像中的什么位置的运动向量来进行运动补偿，从而促进了发送编码量的减少。此外，被定义为MPEG-4AVC或H. 264的运动图像编码方案采用了这样一种功能 (多重参考帧)，该功能能够保存在编码目标帧前后的多个帧并从这些帧中选择要用于运动补偿的参考图像。例如在专利文献3中描述了这种类型的运动补偿方案。使用多重参考帧使得可以在执行运动补偿时从所保存的多个帧中选择并使用最适合用于估计的帧。因此，即使当视频图像中的一对象临时被另一对象隐藏，然后再次出现在帧上时，也可以通过使用该对象在其中未被隐藏的帧作为参考图像来执行运动估计，其结果是编码效率比仅使用一个参考图像时变得更高。[专利文献1]日本未实审专利申请公布(PCT申请的译文)No.2004-503862[专利文献2]日本未实审专利申请公布No. 2008-085502[专利文献3]日本未实审专利申请公布No.2004-18689
发明内容
本发明要解决的技术问题对于计算机画面上的视频图像以及一般运动图像，存在对同一图像进行重复描画的情况。例如，每当在计算机画面上打开的窗口被关闭时，该计算机画面的背景上的壁纸图像就被重新描画。但是，画面内的物体不像一般运动图像那样频繁地被更新，并且例如，存在同一窗口图像在数十或者数百帧中保持被显示的情况。因此，被窗口隐藏的背景上的壁纸图像在数十或数百帧之后被重新描画。因此，使用紧跟在编码目标帧之前的帧作为参考帧的配置或者使用在编码目标帧前后的一些帧作为参考帧的多重参考帧方案无法解决这种情形。因此，本发明的一个目的是提供一种运动图像编码设备，其解决了如下问题在经过了比较长的时间之后对同一图像进行重新描画的情况中，仅通过使用最近的帧图像作为参考图像将无法提高编码效率。解决问题的技术手段根据本发明一个示例性实施例的一种运动图像编码设备设有参考帧存储器，被配置为存储参考帧；当前帧存储器，被配置为存储当前帧；缓存帧存储器，被配置为存储缓存帧；更新区域检测单元，被配置为对所述参考帧和所述当前帧进行比较，并检测出像素值已改变的区域作为更新区域；编码目标区域检测和缓存更新单元，被配置为在执行了用所述缓存帧中的与所述更新区域相对应的区域的图像来替换所述参考帧中的与所述更新区域相对应的区域的图像的处理之后，对所述参考帧和所述当前帧进行比较以检测出像素值已改变的区域作为编码目标区域，并将在替换处理之前在所述参考帧中的与所述更新区域相对应的区域的图像中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及编码单元，被配置为对所述当前帧中的与所述编码目标区域相对应的区域的图像、示出所述参考帧中的已用所述缓存帧的图像替换了其中的图像的区域的信息、以及示出所述参考帧中的已经存在所述稳定区域的图像的区域的信息进行编码。发明效果根据本发明，可以在经过比较长的时间之后对同一图像进行重新描画的情况中提
高编码效率。


图1是示出根据本发明第一示例性实施例的编码设备的示例性配置的框图；图2是示出根据本发明第一示例性实施例的处理流程的流程图；图3是示意性地示出本发明第一示例性实施例的操作的示图；图4是示意性地示出本发明第一示例性实施例的操作的示图；图5是示意性地示出本发明第一示例性实施例的操作的示图；图6是示出根据本发明第二示例性实施例的编码设备的示例性配置的框图；图7是示出根据本发明第二示例性实施例的处理流程的流程图；图8是示意性地示出本发明第二示例性实施例的操作的示图；图9是示意性地示出本发明第二示例性实施例的操作的示图；图10是示意性地示出本发明第二示例性实施例的操作的示图；图11是示出根据本发明第三示例性实施例的编码设备的示意性配置的框图12是示出根据本发明第三示例性实施例的处理流程的流程图；以及图13是示意性地示出本发明第三示例性实施例的操作的示图。
具体实施例方式接下来，将参考附图详细描述用于实现本发明的一个示例性实施例。参考图1，本发明的第一示例性实施例包括视频图像输入设备1、帧数据存储设备 2、通过程序控制进行操作的数据处理设备3、区域数据存储设备4以及代码输出设备5。视频图像输入设备1输入待编码视频图像的帧。待编码视频图像例如是显示在计算机的显示设备的画面上的视频图像。在此情况中，视频图像输入设备1通过数字地捕捉计算机的画面来输入视频图像的帧。数据处理设备3例如是个人计算机。帧数据存储设备 2和区域数据存储设备4例如是包括在个人计算机中的半导体存储器。代码输出设备5例如是通信设备。帧数据存储设备2包括当前帧存储器21、参考帧存储器22和缓存帧存储器23。当前帧存储器21存储当前待编码的视频图像的帧。待编码视频图像的帧被从视频图像输入设备1读入到当前帧存储器21中。参考帧存储器22存储紧跟在前已经编码的视频图像的帧。在紧跟在前已经编码的视频图像的帧不存在的初始状态中，由预定像素值构成的帧被存储。缓存帧存储器23存储相同大小的缓存帧作为参考帧。缓存帧存储稳定像素的值， 稳定像素是与参考帧的每一个像素一一对应的并且最近被更新了的像素。这里，稳定像素指的是像素值在预定时段(例如，30帧)或者更长时段内未经改变的像素。因为所存储的值是经过更新的稳定像素的值，所以即使在该预定时段或更长时段内没有改变但是尚未被更新的像素的值出现在参考帧存储器22上但不被存储到缓存帧存储器23中。在初始状态中，缓存帧存储器23存储由预定像素值构成的缓存帧。区域数据存储设备4包括更新区域存储器41、编码目标区域存储器42和稳定区域存储器43。更新区域存储器41存储与预定数目的过去帧中的经更新区域相关的数据。稳定区域存储器43存储示出稳定区域的信息。稳定区域指的是画面在最近未被更新的区域，具体而言指的是在预定数目的过去帧中根本未被更新的区域。编码目标区域存储器42存储示出当前帧中的待编码区域的信息。数据处理设备3包括稳定区域检测单元301、更新区域检测单元302、稳定更新区域检测单元303、缓存交换单元304、缓存交换信息编码单元305、不稳定更新区域检测单元 306、缓存参考单元307、缓存参考信息编码单元308、编码目标区域检测单元309和图像信息编码单元310。这里，稳定区域检测单元301、稳定更新区域检测单元303、缓存交换单元304、不稳定更新区域检测单元306、缓存参考单元307和编码目标区域检测单元309构成了编码目标区域检测和缓存更新单元。此外，缓存交换信息编码单元305、缓存参考信息编码单元 308和图像信息编码单元310构成了编码单元。 这些单元一般分别以下述方式进行操作。 稳定区域检测单元301从更新区域存储器41取得过去更新区域的信息。此外，稳
7定区域检测单元301将其中画面最近未被更新的区域检测为稳定区域，并将示出该区域的信息存储到稳定区域存储器43中。更新区域检测单元302从当前帧存储器21取得当前帧的图像，从参考帧存储器22 取得参考帧的图像。更新区域检测单元302对已经取得的这两个帧图像进行比较，检测帧中已经过更新的区域(像素值已改变的区域)，并将该区域的信息存储到更新区域存储器 41中作为更新区域的信息。稳定更新区域检测单元303从更新区域存储器41取得当前帧的更新区域的信息， 并从稳定区域存储器43取得稳定区域的信息。此外，稳定更新区域检测单元303将信息被取得的更新区域和稳定区域之间的重叠区域A作为稳定更新区域来通知给缓存交换单元 304。当由稳定更新区域检测单元303通知了稳定更新区域时，缓存交换单元304在参考帧存储器22和缓存帧存储器23之间交换稳定更新区域中包括的像素的值。也就是说， 对于稳定更新区域中的某些坐标，存储在参考帧存储器22中的像素值被写入缓存帧存储器23的相同坐标，相反，存储在缓存帧存储器23中的像素值被写入参考帧存储器22的相同坐标。接下来，缓存交换单元304将像素值已被交换的区域的信息通知给缓存交换信息编码单元305。缓存交换信息编码单元305对像素值已被缓存交换单元304交换的区域的信息进行编码，并作为缓存交换信息代码来输出到代码输出设备5。不稳定更新区域检测单元306从更新区域存储器41取得当前帧的更新区域的信息，并从稳定区域存储器43取得稳定区域的信息。接着，不稳定更新区域检测单元306获得不稳定区域，即，不包括在帧内的稳定区域中的区域。此外，不稳定更新区域检测单元306 将信息已被取得的更新区域与不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存参考单元307。当由不稳定更新区域检测单元306通知了不稳定更新区域时，缓存参考单元307 将不稳定更新区域内包括的像素的值从缓存帧存储器23复制到参考帧存储器22。也就是说，对于不稳定更新区域内的某些坐标，缓存参考单元307将存储在缓存帧存储器23中的像素值写入参考帧存储器22中的相同坐标。接下来，缓存参考单元307将像素值被参考了的区域的信息通知给缓存参考信息编码单元308。缓存参考信息编码单元308对已被缓存参考单元307参考了像素值的区域的信息进行编码，并作为缓存参考信息代码来输出到代码输出设备5。在更新区域检测单元302所检测到的更新区域内包括的像素值被缓存交换单元 304和缓存参考单元307从缓存帧存储器23复制到参考帧存储器22之后，编码目标区域检测单元309从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。编码目标区域检测单元309对所取得的两个帧图像进行比较，检测帧内已被更新的区域(像素值已改变的区域)，并将该区域的信息作为编码目标区域的信息来输出到编码目标区域存储器42。图像信息编码单元310从编码目标区域存储器42取得编码目标区域的信息，从当前帧存储器21取得编码目标区域中包括的像素值，编码成图像并输出到代码输出设备5。接下来，参考图1和图2的流程图，将作为整体来详细描述本发明示例性实施例的操作。首先，由视频图像输入设备1将待编码视频图像的帧读入当前帧存储器21 (步骤 S101)。接着，稳定区域检测单元301从更新区域存储器41取得过去更新区域的信息。此夕卜，稳定区域检测单元301将其中画面最近未被更新的区域检测为稳定区域，并将示出该区域的信息存储到稳定区域存储器43中(步骤S102)。接着，更新区域检测单元302从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。更新区域检测单元302对已取得的两个帧图像进行比较，检测帧内已被更新的区域，并将该区域的信息存储到更新区域存储器41中(步骤S103)。接着，稳定更新区域检测单元303从更新区域存储器41取得当前帧的更新区域的信息，并从稳定区域存储器43取得稳定区域的信息。此外，稳定更新区域检测单元303将信息已被取得的更新区域和稳定区域之间的重叠区域A作为稳定更新区域来通知给缓存交换单元304(步骤S104)。接着，当由稳定更新区域检测单元303通知了稳定更新区域时，缓存交换单元304 在参考帧存储器22和缓存帧存储器23之间交换稳定更新区域内包括的像素的值。也就是说，对于稳定更新区域内的某些坐标，缓存交换单元304将存储在参考帧存储器22中的像素值写入到缓存帧存储器23中的相同坐标，并且相反地，将存储在缓存帧存储器23中的像素值写入到参考帧存储器22中的相同坐标。接下来，缓存交换单元304将像素值已被交换的区域的信息通知给缓存交换信息编码单元305 (步骤S105)。接着，缓存交换信息编码单元305对像素值已被缓存交换单元304交换的区域的信息进行编码，并输出到代码输出设备5 (步骤S106)。接着，不稳定更新区域检测单元306从更新区域存储器41取得当前帧的更新区域的信息，并从稳定区域存储器43取得稳定区域的信息。接着，不稳定更新区域检测单元306 获得不稳定区域，即，不包括在帧内的稳定区域中的区域。此外，不稳定更新区域检测单元 306将信息已被取得的更新区域与不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存参考单元307 (步骤S107)。接着，当由不稳定更新区域检测单元306通知了不稳定更新区域时，缓存参考单元307将不稳定更新区域内包括的像素的值从缓存帧存储器23复制到参考帧存储器22。 也就是说，对于不稳定更新区域内的某些坐标，缓存参考单元307将存储在缓存帧存储器 23中的像素值写入到参考帧存储器22中的相同坐标。接着，缓存参考单元307将像素值已被参考的区域的信息通知给缓存参考信息编码单元308 (步骤S108)。接着，缓存参考信息编码单元308对像素值已被缓存参考单元307参考了的区域的信息进行编码，并输出到代码输出设备5 (步骤S109)。接着，编码目标区域检测单元309从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。编码目标区域检测单元309对已取得的两个帧图像进行比较，检测帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤 Sl 10)。接着，图像信息编码单元310从编码目标区域存储器42取得编码目标区域的信息，从当前帧存储器21取得编码目标区域中包括的像素值，编码成图像，并输出到代码输出设备5 (步骤Sill)。最后，在随后要对后续帧进行处理的情况中，该当前帧变为新的参考帧(步骤 S112)。接下来，以计算机画面的编码为例，将更具体地描述本发明的示例性实施例的操作。具体而言，将考虑如下示例对计算机画面上的视频图像进行编码，该计算机画面在保持在背景画面上将第一运动图像窗口打开一会儿之后，打开第二运动图像窗口以使其与第一运动图像窗口部分重叠，并重新返回到仅第一运动图像窗口被打开的原始状态。图3示意性地示出了在第一运动图像窗口被保持在背景画面上打开一会儿期间对一个帧进行编码的操作。显示在顶行上的当前帧和参考帧的每一者中所描画的矩形区域表示第一运动图像窗口，而其余部分表示背景。当当前帧被输入时(步骤S101)，稳定区域检测单元301从更新区域存储器41取得过去更新区域的信息，检测出画面在最近未被更新的区域作为稳定区域，并将示出该区域的信息存储到稳定区域存储器43中(步骤S102)。在第一运动图像窗口被保持在背景画面上打开的情况中，第一运动图像窗口的区域被频繁更新，而另一方面，背景部分不被更新。因此，如图3所示，除第一运动图像窗口之外的背景部分是稳定区域。在图中，稳定区域被用黑色示出，而不稳定区域被用白色示出。接下来，更新区域检测单元302对当前帧与参考帧进行比较，将第一运动图像窗口的区域检测为帧内已被更新的区域，并将该区域的信息存储到更新区域存储器41中(步骤 S103)。接着，稳定更新区域检测单元303获得从更新区域存储器41取得的当前帧的更新区域与从稳定区域存储器43取得的稳定区域之间的重叠区域A，不过在图3的示例中不存在重叠区域。因此，缓存交换或者对缓存交换信息的编码不被执行。接着，不稳定更新区域检测单元306将从更新区域存储器41取得的当前帧的更新区域与从自稳定区域存储器43取得的稳定区域的信息获得的不稳定区域之间的重叠区域 B作为不稳定更新区域来通知给缓存参考单元307(步骤S107)。在图3的示例中，第一运动图像窗口的区域被通知作为重叠区域B。因此，缓存参考单元307将第一运动图像窗口的区域中包括的像素的值从缓存帧存储器23复制到参考帧存储器22(步骤S108)。此外，缓存参考信息编码单元308对像素值已被缓存参考单元307参考的区域的信息进行编码，并输出到代码输出设备5 (步骤S109)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤Sl 10)。接着，图像信息编码单元310从当前帧存储器21取得作为编码目标区域的第一运动图像窗口中包括的像素的值，编码成图像，并输出到代码输出设备5(步骤S111)。最后，为了在随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤 S112)。因此，在背景画面上打开第一运动图像窗口的情况中，第一窗口的图像部分被编码并输出到代码输出设备5。
图4示意性地示出了在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻对当前帧进行编码的操作。被添加到显示在顶行上的当前帧的另一矩形区域表示第二运动图像窗口。当当前帧被输入时(步骤S101)，稳定区域检测单元301从更新区域存储器41取得过去更新区域的信息，将画面在最近未被更新的区域检测为稳定区域，并将示出该区域的信息存储到稳定区域存储器43中(步骤S102)。在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻，稳定区域与图3中的稳定区域相同。接着，更新区域检测单元302对当前帧与参考帧进行比较，检测出第一和第二运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息存储到更新区域存储器41 中(步骤S103)。接着，稳定更新区域检测单元303获得从更新区域存储器41取得的当前帧的更新区域与从稳定区域存储器43取得的稳定区域之间的重叠区域A。在图4的示例中，重叠区域A是第二运动图像窗口中的不与第一运动图像窗口重叠的区域。因此，缓存交换单元 304在参考帧存储器22和缓存帧存储器23之间交换第二运动图像窗口中的不与第一运动图像窗口重叠的区域中所包括的像素的值。从而，参考帧存储器22中的、在第二运动图像窗口中不与第一运动图像窗口重叠的区域被存储在缓存帧中的初始状态的像素值替换。而且，缓存帧存储器23中的、在第二运动图像窗口中不与第一运动图像窗口重叠的区域被计算机画面的背景图像的像素值替换。此外，缓存交换信息编码单元305对重叠区域A的信息进行编码并输出到代码输出设备5 (步骤S106)。接下来，不稳定更新区域检测单元306将从更新区域存储器41取得的当前帧的更新区域与从自稳定区域存储器43取得的稳定区域的信息获得的不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存参考单元307 (步骤S107)。在图4的示例中，第一运动图像窗口的区域被通知作为重叠区域B。因此，缓存参考单元307将第一运动图像窗口的区域中包括的像素的值从缓存帧存储器23复制到参考帧存储器22 (步骤S108)。从而， 参考帧存储器22中的第一运动图像窗口的区域被存储在缓存帧中的初始状态的像素值替换。此外，缓存参考信息编码单元308对像素值被缓存参考单元307参考了的区域的信息进行编码，并输出到代码输出设备5 (步骤S109)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一和第二运动图像窗口的区域作为帧中已被更新的区域，并将该区域的信息输出到编码目标区域存储器42(步骤S110)。接着，图像信息编码单元310从当前帧存储器21取得作为编码目标区域的第一和第二运动图像窗口中所包括的像素的值，编码成图像，并输出到代码输出设备5(步骤 S111)。最后，为了随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤S112)。于是，在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻， 第一和第二窗口的图像部分被编码并被输出到代码输出设备5。之后，在第二运动图像窗口被显示为与第一运动图像窗口部分重叠的时段期间，第一和第二运动图像窗口的区域作为编码目标而被编码。图5示意性地示出了在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻对当前帧进行编码的操作。当当前帧被输入时(步骤S101)，稳定区域检测单元301从更新区域存储器41取得过去更新区域的信息，将画面在最近未被更新的区域检测为稳定区域，并将示出该区域的信息存储到稳定区域存储器43中(步骤S102)。在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻，稳定区域是如同第二运动图像窗口被显示为与第一运动图像窗口部分重叠的时段中那样的排除了第一和第二运动图像窗口的区域。接着，更新区域检测单元302对当前帧与参考帧进行比较，检测出第一和第二运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息存储到更新区域存储器41 中(步骤S103)。接着，稳定更新区域检测单元303获得从更新区域存储器41取得的当前帧的更新区域与从稳定区域存储器43取得的稳定区域之间的重叠区域A，不过不存在重叠区域。因此，缓存交换或者对缓存交换信息的编码不被执行。接下来，不稳定更新区域检测单元306将从更新区域存储器41取得的当前帧的更新区域与从自稳定区域存储器43取得的稳定区域的信息获得的不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存参考单元307 (步骤S107)。在图5的示例中，第一和第二运动图像窗口的区域被通知作为重叠区域B。因此，缓存参考单元307将第一和第二运动图像窗口的区域中所包括的像素的值从缓存帧存储器23复制到参考帧存储器22(步骤S108)。从而，存储在缓存帧中的初始状态的像素值被存储到参考帧存储器22中的第一运动图像窗口的区域，并且存储在缓存帧中的背景画面的像素值被存储到第二运动图像窗口中的不与第一运动图像窗口重叠的区域。此外，缓存参考信息编码单元308对像素值被缓存参考单元307参考了的区域的信息进行编码，并输出到代码输出设备5 (步骤S109)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一运动图像窗口的区域作为帧中已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤Sl 10)。接着，图像信息编码单元310从当前帧存储器21取得作为编码目标区域的第一运动图像窗口中所包括的像素的值，编码成图像，并输出到代码输出设备5(步骤S111)。最后，为了随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤S112)。于是，在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻，第一窗口的图像部分被编码并输出到代码输出设备5。接下来，将描述此示例性实施例的效果。在此示例性实施例中，拥有用于缓存的帧缓冲器，并且在作为稳定区域(最近未被更新的并且稳定的区域)并且作为在这一帧中被更新的区域的区域中已被描画的图像被累积到缓存帧中。从而，可以优先将诸如计算机画面的背景区域之类的很可能被重新描画的区域保留为缓存。此外，在此示例性实施例中，对于被确定为更新区域的区域，缓存帧的像素值被复制到参考帧(或者缓存帧的像素值被与参考帧的像素值交换)，并且对编码目标区域的检测被再次执行。于是，由于值与最初被确定为更新区域的区域中的缓存的像素值一致的像素在检测编码目标区域时不会产生差异，所以编码目标区域可以较小，其结果是可以降低
12编码量。在上面的描述中并未提及对各个区域的信息进行编码的方法，但是，例如在区域是矩形的情况中，可以通过上下左右边的坐标值来表达区域的信息。此外，在对除矩形之外的任意形状的区域进行编码的情况中，可以以二维图像的形式进行编码。例如，可以形成二进制的二维图像(用0来示出区域内部的像素，并用1来示出区域外部的像素)，并且通过诸如MMR(Modified Modified Read，二次修正的相对元素地址指定)之类的编码方案进行编码。接下来，将参考附图详细描述本发明的第二示例性实施例。参考图6，本发明的第二示例性实施例通过如下方式来配置去除第一示例性实施例的数据处理设备3中的稳定更新区域检测单元303 ；用不稳定区域检测单元3011来替换稳定区域检测单元301，用更新区域检测单元3021来替换更新区域检测单元302，用缓存交换单元3041来替换缓存交换单元304，用不稳定更新区域检测单元3061来替换不稳定更新区域检测单元306，用缓存存储单元3071来替换缓存参考单元307，并用缓存存储信息编码单元3081来替换缓存参考信息编码单元308 ；以及用不稳定区域存储器431来替换第一示例性实施例的区域数据存储设备4中的稳定区域存储器43。这里，不稳定区域检测单元3011、不稳定更新区域检测单元3061、缓存交换单元 3041、缓存存储单元3071和编码目标区域检测单元309构成了编码目标区域检测和缓存更新单元。此外，缓存交换信息编码单元305、缓存存储信息编码单元3081和图像信息编码单元310构成了编码单元。这些单元一般分别以如下方式进行操作。不稳定区域检测单元3011从更新区域存储器41取得过去更新区域的信息。此夕卜，不稳定区域检测单元3011检测出最近经更新的区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中。在此示例性实施例中，不稳定区域是通过一种简单方法来检测出的获得包括给定数目的最新帧的所有更新区域的一个矩形区域，并将所获得的区域视作不稳定区域。更新区域检测单元3021从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。更新区域检测单元3021对已经取得的这两个帧图像进行比较， 以单个矩形或者多个矩形的形式检测出帧中已被更新的区域，并将该区域(更新区域)的信息输出到更新区域存储器41。此外，更新区域检测单元3021将更新区域的信息通知给缓存交换单元3041。当由更新区域检测单元3021通知了更新区域时，缓存交换单元3041在参考帧存储器22和缓存帧存储器23之间交换更新区域中包括的像素的值。也就是说，对于更新区域中的某些坐标，缓存交换单元3041将存储在参考帧存储器22中的像素值写入缓存帧存储器23的相同坐标，并且相反地，将存储在缓存帧存储器23中的像素值写入参考帧存储器 22的相同坐标。接下来，缓存交换单元304将像素值已被交换的区域的信息通知给缓存交换信息编码单元305。缓存交换信息编码单元305对像素值已被缓存交换单元304交换的区域的信息进行编码，并输出到代码输出设备5。不稳定更新区域检测单元3061从更新区域存储器41取得当前帧的更新区域的信息，并从不稳定区域存储器431取得不稳定区域的信息。接着，不稳定更新区域检测单元 3061将所取得的更新区域与不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存存储单元3071。当由不稳定更新区域检测单元3061通知了不稳定更新区域时，缓存存储单元 3071将不稳定更新区域内包括的像素的值从参考帧存储器22复制到缓存帧存储器23。也就是说，对于不稳定更新区域内的某些坐标，缓存储单元3071将存储在参考帧存储器22中的像素值写入缓存帧存储器23中的相同坐标。接下来，缓存存储单元3071将像素值已被存储的区域的信息通知给缓存存储信息编码单元3081。缓存存储信息编码单元3081对已由缓存存储单元3071存储了像素值的区域的信息进行编码，并输出到代码输出设备5。编码目标区域检测单元309从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。编码目标区域检测单元309对所取得的两个帧图像进行比较， 检测出帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42。图像信息编码单元310从编码目标区域存储器42取得编码目标区域的信息，从当前帧存储器21取得编码目标区域中包括的像素的值，编码成图像并输出到代码输出设备 5。接下来，参考图6和图7的流程图，将作为整体来详细描述此示例性实施例的操作。首先，由视频图像输入设备1将待编码视频图像的帧读入当前帧存储器21 (步骤 S201)。接着，不稳定区域检测单元3011从更新区域存储器41取得过去更新区域的信息。 此外，不稳定区域检测单元3011将最近经更新的区域检测为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中。在此示例性实施例中，不稳定区域是通过一种简单方法来检测出的获得包括给定数目的最新帧的所有更新区域的一个矩形区域，并将所获得的区域视为不稳定区域(步骤S202)。接着，更新区域检测单元3021从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。更新区域检测单元3021对已取得的两个帧图像进行比较，以单个矩形或多个矩形的形式检测出帧内已被更新的区域，并将该区域的信息输出到更新区域存储器41。此外，更新区域检测单元3021将更新区域的信息通知给缓存交换单元 3041 (步骤 S203)。接着，当由更新区域检测单元3021通知了更新区域时，缓存交换单元3041在参考帧存储器22和缓存帧存储器23之间交换更新区域中包括的像素的值。也就是说，对于更新区域中的某些坐标，缓存交换单元3041将存储在参考帧存储器22中的像素值写入缓存帧存储器23的相同坐标，并且相反地，将存储在缓存帧存储器23中的像素值写入参考帧存储器22的相同坐标。接下来，缓存交换单元3041将像素值已被交换的区域的信息通知给缓存交换信息编码单元305 (步骤S204)。接着，缓存交换信息编码单元305对像素值已被缓存交换单元3041交换的区域的信息进行编码，并输出到代码输出设备5 (步骤S205)。接着，不稳定更新区域检测单元3061从更新区域存储器41取得当前帧的更新区域的信息，并从不稳定区域存储器431取得不稳定区域的信息。接着，不稳定更新区域检测单元3061将所取得的更新区域与不稳定区域之间的重叠区域B作为不稳定更新区域来通知给缓存存储单元3071 (步骤S206)。当由不稳定更新区域检测单元3061通知了不稳定更新区域时，缓存存储单元 3071将不稳定更新区域内包括的像素的值从参考帧存储器22复制到缓存帧存储器23。也就是说，针对不稳定更新区域内的某些坐标，缓存储单元3071将存储在参考帧存储器22中的像素值写入缓存帧存储器23中的相同坐标。接下来，缓存存储单元3071将像素值已被存储的区域的信息通知给缓存存储信息编码单元3081 (步骤S207)。接着，缓存存储信息编码单元3081对已由缓存存储单元3071存储了像素值的区域的信息进行编码，并输出到代码输出设备5 (步骤S208)。接着，编码目标区域检测单元309从当前帧存储器21取得当前帧的图像，并从参考帧存储器22取得参考帧的图像。编码目标区域检测单元309对所取得的两个帧图像进行比较，检测出帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤 S209)。接着，图像信息编码单元310从编码目标区域存储器42取得编码目标区域的信息，从当前帧存储器21取得编码目标区域中包括的像素值，编码成图像，并输出到代码输出设备5(步骤S210)。最后，在随后要对后续帧进行处理的情况中，该当前帧变为新的参考帧(步骤 S211)。接下来，以计算机画面的编码为例，将更具体地描述此示例性实施例的操作。具体而言，将考虑与第一示例性实施例中使用的具体示例相同的示例，即，考虑如下示例对计算机画面上的视频图像进行编码，该计算机画面在将第一运动图像窗口保持在背景画面上打开一会儿之后，打开第二运动图像窗口以使其与第一运动图像窗口部分重叠，并重新返回到仅第一运动图像窗口被打开的原始状态。图8示意性地示出了在第一运动图像窗口被保持在背景画面上打开一会儿期间对一个帧进行编码的操作。显示在顶行上的当前帧和参考帧的每一者中所描画的矩形区域表示第一运动图像窗口，而其余部分表示背景。当当前帧被输入时(步骤S201)，不稳定区域检测单元3011从更新区域存储器41 取得过去更新区域的信息，检测出包括所有最近经更新的区域的一个矩形区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中(步骤S202)。在第一运动图像窗口被保持在背景画面上打开的情况中，第一运动图像窗口的区域被频繁更新，而另一方面，背景部分不被更新。因此，如图8所示，与第一运动图像窗口相对应的部分是不稳定的。在图中，不稳定区域被用黑色示出，而稳定区域被用白色示出。接下来，更新区域检测单元3021对当前帧与参考帧进行比较，将第一运动图像窗口的区域检测为帧内已被更新的区域，将该区域的信息存储到更新区域存储器41中，并将该信息通知缓存交换单元3041 (步骤S203)。接着，当由更新区域检测单元3021通知了更新区域时，缓存交换单元3041在参考帧存储器22和缓存帧存储器23之间交换更新区域中包括的像素的值(步骤S204)。于是，在参考帧存储器22中的第一运动图像窗口的区域中，存储在缓存帧中的初始状态的像素值被存储。此外，第一运动图像窗口的区域的像素值被存储在缓存帧中。此外，缓存交换信息编码单元305对像素值被缓存交换单元304交换的区域的信息进行编码，并输出到代码输出设备5(步骤S205)。接着，不稳定更新区域检测单元3061获得第一运动图像窗口的区域作为从更新区域存储器41取得的当前帧的更新区域与从不稳定区域存储器431取得的不稳定区域之间的重叠区域B，并将所获得的区域作为不稳定更新区域来通知给缓存存储单元3071 (步骤S206)。当由不稳定更新区域检测单元3061通知了不稳定更新区域时，缓存存储单元 3071将不稳定更新区域内包括的像素的值从参考帧存储器22复制到缓存帧存储器23 (步骤S207)。从而，与缓存帧中的第一运动图像窗口的区域相对应的区域的像素值返回到初始状态的像素值。此外，缓存存储信息编码单元3081对已由缓存存储单元3071存储了像素值的区域的信息进行编码，并输出到代码输出设备5 (步骤S208)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤S209)。接着，图像信息编码单元310从当前帧存储器21取得第一运动图像窗口中包括的像素的值，编码成图像，并输出到代码输出设备5 (步骤S210)。最后，为了在随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤 S211)。因此，在背景画面上打开第一运动图像窗口的情况中，第一窗口的图像部分被编码并输出到代码输出设备5。图9示意性地示出了在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻对当前帧进行编码的操作。被添加到显示在顶行上的当前帧的另一矩形区域表示第二运动图像窗口。当当前帧被输入时(步骤S201)，不稳定区域检测单元3011从更新区域存储器41 取得过去更新区域的信息，检测出包括所有最近经更新的区域的一个矩形区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中(步骤S202)。在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻，不稳定区域与如图8所示的相同。接下来，更新区域检测单元3021对当前帧与参考帧进行比较，将第一和第二运动图像窗口的区域检测为帧内已被更新的区域，将该区域的信息存储到更新区域存储器41 中，并将该信息通知缓存交换单元3041 (步骤S203)。这里，更新区域检测单元3021通过将各个帧的更新像素的集合近似为一个矩形或者一组矩形来示出该集合。此时，更新矩形被确定为使得各个帧的所有更新像素都被包括在帧的更新矩形的任一者中。在图9中，更新像素的集合被表达为一组3个矩形。接着，缓存交换单元3041在参考帧存储器22和缓存帧存储器23之间交换第一和第二运动图像窗口的区域中包括的像素的值(步骤S204)。从而，在参考帧存储器22中的第一和第二运动图像窗口的区域中，存储在缓存帧中的初始状态的像素值被存储。此外，第一运动图像窗口的像素值被存储在缓存帧存储器23中的与第一运动图像窗口相对应的区域中，并且计算机画面的背景图像的像素值被存储在与第二运动图像窗口相对应的不与第
16一窗口重叠的区域中。此外，缓存交换信息编码单元305对像素值被缓存交换单元304交换了的区域的信息进行编码，并输出到代码输出设备5 (步骤S205)。接着，不稳定更新区域检测单元3061获得第一运动图像窗口的区域作为从更新区域存储器41取得的当前帧的更新区域与从不稳定区域存储器431取得的不稳定区域之间的重叠区域B，并将所获得的区域作为不稳定更新区域来通知给缓存存储单元3071 (步骤S206)。缓存存储单元3071将不稳定更新区域中包括的像素的值从参考帧存储器22复制到缓存帧存储器23 (步骤S207)。从而，与缓存帧中的第一运动图像窗口区域相对应的区域的像素值返回到初始状态的像素值。此外，缓存存储信息编码单元3081对已由缓存存储单元3071存储了像素值的区域的信息进行编码，并输出到代码输出设备5 (步骤S208)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一和第二运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤S209)。接着，图像信息编码单元310从当前帧存储器21取得第一和第二运动图像窗口中包括的像素的值，编码成图像，并输出到代码输出设备5 (步骤S210)。最后，为了在随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤 S211)。于是，在第二运动图像窗口最初被打开为与第一运动图像窗口部分重叠的时刻， 第一和第二窗口的图像部分被编码并被输出到代码输出设备5。在第二运动图像窗口被显示为与第一运动图像窗口部分重叠的时段期间，第一和第二运动图像窗口的区域作为编码目标而被编码。图10示意性地示出了在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻对当前帧进行编码的操作。当当前帧被输入时(步骤S201)，不稳定区域检测单元3011从更新区域存储器41 取得过去更新区域的信息，检测出包括所有最近经更新的区域的一个矩形区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中(步骤S202)。在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻，不稳定区域是包括第一和第二运动图像窗口的矩形区域。接下来，更新区域检测单元3021对当前帧与参考帧进行比较，将第一和第二运动图像窗口的区域检测为帧内已被更新的区域，将该区域的信息存储到更新区域存储器41 中，并将该信息通知缓存交换单元3041 (步骤S203)。这里，更新区域检测单元3021通过将各个帧的更新像素的集合近似为一个矩形或者一组矩形来示出该集合。此时，更新矩形被确定为使得各个帧的所有更新像素都被包括在帧的更新矩形的任一者中。在图10中，更新像素的集合被表达为一组3个矩形。接着，缓存交换单元3041在参考帧存储器22和缓存帧存储器23之间交换第一和第二运动图像窗口的区域中包括的像素的值(步骤S204)。从而，存储在缓存帧中的初始状态的像素值被存储在参考帧存储器22中的第一运动图像窗口区域中，并且存储在缓存帧中的背景画面的像素值被存储在参考帧存储器22中的、第二运动图像窗口的不与第一运动图像窗口重叠的区域中。此外，第一和第二运动图像窗口的像素值被存储在缓存帧存储器23中的与第一和第二运动图像窗口相对应的区域中。此外，缓存交换信息编码单元305对像素值被缓存交换单元304交换了的区域的信息进行编码，并输出到代码输出设备5 (步骤 S205)。接着，不稳定更新区域检测单元3061获得第一和第二运动图像窗口的区域作为从更新区域存储器41取得的当前帧的更新区域与从不稳定区域存储器431取得的不稳定区域之间的重叠区域B，并将所获得的区域作为不稳定更新区域来通知给缓存存储单元 3071 (步骤S206)。缓存存储单元3071将不稳定更新区域中包括的像素的值从参考帧存储器22复制到缓存帧存储器23 (步骤S207)。从而，与缓存帧中的第一运动图像窗口区域相对应的区域的像素值返回到初始状态的像素值。此外，缓存存储信息编码单元3081对已由缓存存储单元3071存储了像素值的区域的信息进行编码，并输出到代码输出设备5 (步骤 S208)。接着，编码目标区域检测单元309对从当前帧存储器21取得的当前帧与从参考帧存储器22取得的参考帧进行比较，检测出第一和第二运动图像窗口的区域作为帧内已被更新的区域，并将该区域的信息输出到编码目标区域存储器42 (步骤S209)。接着，图像信息编码单元310从当前帧存储器21取得第一和第二运动图像窗口中包括的像素的值，编码成图像，并输出到代码输出设备5 (步骤S210)。最后，为了在随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤 S211)。因此，在第二运动图像窗口被关闭并且画面重新返回到仅第一运动图像窗口被打开的原始状态的时刻，第一窗口的图像部分被编码并输出到代码输出设备5。接下来，将描述此示例性实施例的效果。在此示例性实施例中，在参考帧和缓存帧之间交换了整个更新区域的像素之后， 不稳定更新区域(最近已被更新并且这次被更新的区域)的像素被从参考帧复制到缓存帧。于是，仅在稳定更新区域中执行交换处理，其结果是实现了与第一示例性实施例等效的状态。此外，在不稳定更新区域中，在交换处理之后执行存储处理。其结果是，实现了与第一示例性实施例中的仅执行缓存参考的情况等效的状态。因此，如同第一示例性实施例中那样，可以优先将诸如计算机的背景画面之类的可能被重新描画的区域保留为缓存。也就是说，第一示例性实施例中的缓存交换单元304和缓存参考单元307的组合与第二示例性实施例中的缓存交换单元3041和缓存存储单元3071的组合在下面这点上实现了相同功能两个组合都用缓存帧中的相应图像来替换参考帧内的更新区域的图像，并且将替换之前在参考帧中的更新区域内的、像素值在过去的预定时段内未经改变的区域的图像存储到缓存帧中作为稳定区域的图像。此外，在此示例性实施例中，使用了一种用于检测不稳定区域的简单方法获得包括预定数目的最新帧中的所有更新区域的一个矩形区域，并将所获得的区域视为不稳定区域。由于该检测方法使得可以仅通过获得更新区域的上下左右边的坐标的最大值/最小值来检测出不稳定区域，所以可以最小化用于存储不稳定区域的形状所需的存储器容量和处理量。此外，在此示例性实施例中，各自以矩形的形式来检测出更新区域和不稳定区域，从而可以仅通过比较上下左右边的坐标来容易地获得重叠区域。此外，在此示例性实施例中，可以大大地降低在对各个区域的信息进行编码时的编码量。这是因为在此示例性实施例中要编码的所有区域都是矩形的，并因此可仅通过上下左右边的坐标来表达。在此示例性实施例中，在处理时以矩形来近似更新区域和不稳定区域，因此要作为缓存来存储/参考的区域的精度略微降低。但是，事实上，由于计算机画面通常以矩形为单位来进行更新并且在短时段中更新的区域通常在空间上非常接近彼此，所以即使使用矩形作为替代也可以实现不会有实用上的问题的精度。接下来，将参考附图来详细描述本发明的第三示例性实施例。参考图11，本发明的第三示例性实施例是通过如下方式来配置的向第二示例性实施例的数据处理设备3加入了移动区域检测单元311、移动信息编码单元312、移动目的地区域缓存存储单元313、移动背景缓存存储信息编码单元314、运动补偿单元315和移动源区域缓存存储单元316 ；向第二示例性实施例的区域数据存储设备4加入了移动区域存储器44 ；并且用不稳定区域检测单元3012替换了不稳定区域检测单元3011。这些单元一般分别按如下方式进行操作。移动区域存储器44存储有关预定数目的过去帧中的移动区域(后面将描述)的数据。不稳定区域检测单元3012分别从更新区域存储器41取得过去更新区域的信息并从移动区域存储器44取得过去移动区域的信息。此外，不稳定区域检测单元3012检测出最近被移动或更新的区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中。在此示例性实施例中，不稳定区域是通过如下一种简单方法来检测出的获得一个矩形区域并将所获得的区域视为不稳定区域，该矩形区域包括预定数目的最新帧中的所有更新区域和移动目的地区域。移动区域检测单元311从当前帧存储器21取得当前帧的图像，从参考帧存储器22 取得参考帧的图像，并对这些图像进行比较。于是，移动区域检测单元311检测出包括存在于参考帧和当前帧两者中的相同或相似图像的并且其在帧上的位置已经改变的区域，作为移动区域。移动区域检测单元311将移动区域的信息存储到移动区域存储器44中，并将该信息通知给移动信息编码单元312和运动补偿单元315。在此示例性实施例中，移动区域是以矩形(移动区域的包围矩形)的形式来检测出的，并且移动区域的信息通过移动源矩形的上下左右边以及移动目的地矩形的上下左右边来表达。移动信息编码单元312对由移动区域检测单元311检测出的移动区域的信息进行编码，并输出到代码输出设备5。移动目的地区域缓存存储单元313从移动区域存储器44取得移动区域的信息，从不稳定区域存储器431取得不稳定区域的信息，并通过从移动目的地区域排除不稳定区域来获得区域C。移动目的地区域缓存存储单元313将区域C中包括的像素的值从参考帧存储器22 复制到缓存帧存储器23。也就是说，针对区域C中的某些坐标，移动目的地区域缓存存储单元313将存储在参考帧存储器22中的像素值写入到缓存帧存储器23的相同坐标。接下来，移动目的地区域缓存存储单元313将像素值已被存储的区域的信息通知给移动背景缓存存储信息编码单元314。移动源区域缓存存储单元316从移动区域存储器44取得移动区域的信息，并通过从移动源区域排除移动目的地区域来获得区域D。移动源区域缓存存储单元316将区域D中包括的像素的值从当前帧存储器21复制到缓存帧存储器23。也就是说，针对区域D内的某些坐标，移动源区域缓存存储单元316 将存储在参考帧存储器22中的像素值写入到缓存帧存储器23的相同坐标。接下来，移动源区域缓存存储单元316将像素值已被存储的区域的信息通知给移动背景缓存存储信息编码单元314。移动背景缓存存储信息编码单元314对像素值已由移动目的地区域缓存存储单元313或移动源区域缓存存储单元316存储的区域的信息进行编码，并输出到代码输出设备5。运动补偿单元315基于移动区域检测单元311通知来的移动区域的信息来对参考帧存储器22执行运动补偿处理。具体而言，运动补偿单元315将移动源区域内的像素的值复制到移动目的地区域内的相应像素。接下来，参考图11和图12的流程图，将作为整体来详细描述此示例性实施例的操作。首先，由视频图像输入设备1将待编码视频图像的帧读入当前帧存储器21 (步骤 S301)。接着，不稳定区域检测单元3012从更新区域存储器41取得过去更新区域的信息并从移动区域存储器44取得过去移动区域的信息。此外，不稳定区域检测单元3012检测出最近被移动或更新的区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中。在此示例性实施例中，不稳定区域是通过如下一种简单方法来检测出的获得一个矩形区域并将所获得的区域视为不稳定区域，该矩形区域包括预定数目的最新帧中的所有更新区域和移动目的地区域(步骤S302)。接着，移动区域检测单元311从当前帧存储器21取得当前帧的图像，从参考帧存储器22取得参考帧的图像，并对这些图像进行比较。于是，移动区域检测单元311检测出包括存在于参考帧和当前帧两者中的相同或相似图像的并且其在帧上的位置已经改变的区域，作为移动区域。移动区域检测单元311将移动区域的信息存储到移动区域存储器44 中，并将该信息通知给移动信息编码单元312和运动补偿单元315。在此示例性实施例中， 移动区域是以矩形的形式来检测出的，并且移动区域的信息通过移动源矩形的上下左右边以及移动目的地矩形的上下左右边来表达(步骤S303)。接着，移动信息编码单元312对由移动区域检测单元311检测出的移动区域的信息进行编码，并输出到代码输出设备5 (步骤S304)。接着，移动目的地区域缓存存储单元313从移动区域存储器44取得移动区域的信息，从不稳定区域存储器431取得不稳定区域的信息，并通过从移动目的地区域排除不稳定区域来获得区域C (步骤S305)。接着，移动目的地区域缓存存储单元313将区域C中包括的像素的值从参考帧存储器22复制到缓存帧存储器23。也就是说，针对区域C中的某些坐标，移动目的地区域缓存存储单元313将存储在参考帧存储器22中的像素值写入到缓存帧存储器23的相同坐标。接下来，移动目的地区域缓存存储单元313将像素值已被存储的区域的信息通知给移动背景缓存存储信息编码单元314 (步骤S306)。在此示例性实施例中，由于执行了运动补偿，所以存在移动目的地区域不被检测为更新区域的情况。因此，通过从移动目的地区域排除不稳定区域而获得的区域C(即，移动目的地区域中的稳定区域)免除了由缓存交换单元3041进行的缓存交换。因此，通过执行步骤S305和S306的处理，通过从移动目的地区域去除不稳定区域而获得的区域C中所包括的像素值在这个时刻被从参考帧存储器22收回(retract)到缓存帧存储器23。接着，移动背景缓存存储信息编码单元314对像素值已由移动目的地区域缓存存储单元313存储的区域的信息进行编码，并输出到代码输出设备5 (步骤S307)。接着，运动补偿单元315基于移动区域检测单元311已通知的移动区域的信息来对参考帧存储器22执行运动补偿处理。具体而言，在参考帧存储器22上，运动补偿单元 315将移动源区域内的像素的值复制到移动目的地区域内的相应像素(步骤S308)。步骤S309至S316类似于第二示例性实施例的步骤S203至S210。接着，移动源区域缓存存储单元316从移动区域存储器44取得移动区域的信息， 并通过从移动源区域排除移动目的地区域来获得区域D (步骤S317)。接着，移动源区域缓存存储单元316将区域D中包括的像素的值从当前帧存储器 21复制到缓存帧存储器23。也就是说，针对区域D内的某些坐标，移动源区域缓存存储单元316将存储在参考帧存储器22中的像素值写入到缓存帧存储器23的相同坐标。接下来，移动源区域缓存存储单元316将像素值已被存储的区域的信息通知给移动背景缓存存储信息编码单元314 (步骤S318)。接着，移动背景缓存存储信息编码单元314对像素值已由移动源区域缓存存储单元316存储的区域的信息进行编码，并输出到代码输出设备5 (步骤S319)。最后，在随后对后续帧进行处理的情况中，当前帧变为新的参考帧(步骤S320)。接下来，作为一个具体示例，将考虑如下示例在如图13的顶行上的参考帧所示那样以使得静止图像窗口与运动图像窗口部分重叠的方式在背景画面上打开运动图像窗口和静止图像窗口的状态中，在如顶行上的当前帧所示那样仅移动静止图像窗口的情况中对计算机画面上的视频图像进行编码。假设静止图像窗口的区域中的不与运动图像窗口重叠的区域背后的背景画面部分的像素被存储在缓存帧中。假设静止图像窗口紧跟在图13 的时刻之前已被打开，并且在静止图像被描画出之后尚未过去很长时间。当当前帧被输入时(步骤S301)，不稳定区域检测单元3012从更新区域存储器41 取得过去更新区域的信息，从移动区域存储器44取得过去移动区域的信息，检测出包括所有最近被更新的区域和最近被移动的区域的一个矩形区域作为不稳定区域，并将示出该区域的信息存储到不稳定区域存储器431中(步骤S302)。在运动图像窗口和静止图像窗口被以重叠方式显示在背景画面上的情况中，与运动图像窗口和静止图像窗口相对应的部分是不稳定的，如图13所示。在图中，不稳定区域被用黑色示出，而稳定区域被以白色示出。接着，移动区域检测单元311对当前帧与参考帧进行比较并检测出静止图像窗口的区域作为移动区域(步骤S303)，并且移动信息编码单元312对检测出的移动区域的信息进行编码并输出(步骤S304)。接着，移动目的地区域缓存存储单元313通过从静止图像窗口的移动目的地区域排除不稳定区域来获得区域C(步骤S305)，并将区域C内的参考帧的像素复制到缓存帧 (步骤S306)。此外，移动背景缓存存储信息编码单元314对所缓存的区域C的信息进行编码并输出(步骤S307)。接着，在参考帧存储器22上，运动补偿单元315将静止图像窗口的移动源区域内的像素的值复制到移动目的地区域内的相应像素(步骤S308)。之后，通过更新区域检测单元3021、缓存交换单元3041、缓存交换信息编码单元 305、不稳定更新区域检测单元3061、缓存存储单元3071、缓存存储信息编码单元3081、编码目标区域检测单元309和图像信息编码单元310，与第二示例性实施例的那些处理类似的处理被执行。其结果是，运动图像窗口和通过从静止图像窗口的移动源区域排除移动目的地区域而获得的区域被作为编码目标区域来编码。接着，移动源区域缓存存储单元316从移动区域存储器44取得移动区域的信息， 并通过从移动源区域排除移动目的地区域来获得区域D (步骤S317)。接着，移动源区域缓存存储单元316将区域D中包括的像素的值从当前帧存储器21复制到缓存帧存储器23 (步骤S318)。此外，移动背景缓存存储信息编码单元314对像素值已由移动源区域缓存存储单元316存储的区域的信息进行编码，并输出到代码输出设备5 (步骤S319)。最后，为了在随后对后续帧进行处理的目的，当前帧变为新的参考帧(步骤 S320)。接下来，将描述此示例性实施例的效果。在此示例性实施例中，紧跟在运动补偿被执行之前，通过从移动源区域排除不稳定区域而获得的区域(即，由运动补偿隐藏的并且最近没有被更新的区域)被存储到缓存。从而，即使窗口等被移动并且窗口的背景因而被隐藏，也可以将被隐藏的背景存储到缓存中。此外，在此示例性实施例中，在运动补偿和图像编码完成之后，通过从移动源区域排除移动目的地区域而获得的区域被存储到缓存中。因此，在窗口等被移动并且被隐藏的背景因而出现的情况中，可以将该区域视为背景并在早期将该区域存储到缓存中。在没有这个处理的情况下，例如，当来回地高速移动窗口时，该窗口的背景不被确定为稳定区域，从而存在背景从不被缓存的问题。通过在早期将通过从移动源排除移动目的地而获得的区域存储到缓存中，可以提高缓存命中率。虽然此示例性实施例是通过将运动补偿包括到第二示例性实施例中来配置的，但是也可以通过将运动补偿包括到第一示例性实施例中来配置一个示例性实施例。此外，本发明的运动图像编码设备的功能可通过硬件来实现，并且也可以通过计算机和程序来实现。程序被以记录状态来提供在诸如磁盘和半导体存储器之类的计算机可读记录介质上，并在计算机被启动时被计算机读取。程序控制计算机的操作，从而致使计算机用作上述每一个示例性实施例的运动图像编码设备。虽然已经参考各个示例性实施例来说明了本发明，但是本发明不限于上述这些示例性实施例。可以在本发明的范围内以本领域技术人员能够理解的各种方式对本发明的配置和细节进行更改。本发明基于2009年8月21日提交的日本专利申请No. 2009-191616并要求该申请的优先权，该申请的公开内容通过引用而全部结合于此。
产业上的适用性本发明可被用于有效地降低在瘦客户端等中的画面发送中进行重新描画时发生的编码量的目的。标号描述1视频图像输入设备2帧数据存储设备3数据处理设备4区域数据存储设备5代码输出设备21 当前帧存储器22 参考帧存储器23 缓存帧存储器41 更新区域存储器42 编码目标区域存储器43 稳定区域存储器44 移动区域存储器301 稳定区域检测单元302 更新区域检测单元303 稳定更新区域检测单元304 缓存交换单元305 缓存交换信息编码单元306 不稳定更新区域检测单元307 缓存参考单元308 缓存参考信息编码单元309 编码目标区域检测单元310 图像信息编码单元311 移动区域检测单元312 移动信息编码单元313 移动目的地区域缓存存储单元314 移动背景缓存存储信息编码单元315 补偿单元316 移动源区域缓存存储单元431 不稳定区域存储器3011不稳定区域检测单元3012不稳定区域检测单元3021更新区域检测单元3041 缓存交换单元3061不稳定更新区域检测单元3071 缓存存储单元
3081缓存存储信息编码单元
权利要求
1.一种运动图像编码设备，包括参考帧存储器，被配置为存储参考帧； 当前帧存储器，被配置为存储当前帧； 缓存帧存储器，被配置为存储缓存帧；更新区域检测单元，被配置为对所述参考帧和所述当前帧进行比较，并检测出像素值已改变的区域作为更新区域；编码目标区域检测和缓存更新单元，被配置为在执行了用所述缓存帧中的与所述更新区域相对应的区域的图像来替换所述参考帧中的与所述更新区域相对应的区域的图像的处理之后，对所述参考帧和所述当前帧进行比较以检测出像素值已改变的区域作为编码目标区域，并将在替换处理之前在所述参考帧中的与所述更新区域相对应的区域的图像中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及编码单元，被配置为对所述当前帧中的与所述编码目标区域相对应的区域的图像、示出所述参考帧中的已用所述缓存帧的图像替换了其中的图像的区域的信息、以及示出所述参考帧中的已经存在所述稳定区域的图像的区域的信息进行编码。
2.所述运动图像编码设备，还包括移动区域检测单元，被配置为对所述参考帧和所述当前帧进行比较并检测出移动区域；移动目的地区域缓存存储单元，被配置为将所述参考帧中的与所述移动区域的移动目的地区域相对应的区域中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及运动补偿单元，被配置为针对所述移动区域来在所述参考帧上执行从移动源到移动目的地的复制，其中，所述编码单元还被配置为对由所述移动区域检测单元检测出的所述移动区域的信息以及图像已被所述移动目的地区域缓存存储单元存储到所述缓存帧中的区域的信息进行编码。
3.根据权利要求2所述的运动图像编码设备，包括移动源区域缓存存储单元，被配置为针对所述移动区域，将通过从所述当前帧中的移动源区域排除移动目的地区域而获得的区域的图像存储到所述缓存帧中，其中，所述编码单元还被配置为对图像已被所述移动源区域缓存存储单元存储到所述缓存帧的区域的信息进行编码。
4.根据权利要求1至3中的任一项所述的运动图像编码设备，其中 所述编码目标区域检测和缓存更新单元包括缓存交换单元，被配置为在所述参考帧中的与所述更新区域相对应的区域中的在预定的过去时段内像素值没有改变的区域和所述缓存帧中的与像素值没有改变的该区域相对应的区域之间交换所存储的图像；和缓存参考单元，被配置为将所述缓存帧中的与像素值已改变的区域相对应的区域中所存储的图像复制到所述参考帧内的与所述更新区域相对应的区域中的、像素值在预定的过去时段中改变了的区域。
5.根据权利要求1至3中的任一项所述的运动图像编码设备，其中所述编码目标区域检测和缓存更新单元包括缓存交换单元，被配置为针对所述更新区域在所述参考帧和所述缓存帧之间交换所存储的图像；和缓存存储单元，被配置为将所述参考帧中的与所述更新区域相对应的区域中的、像素值在预定的过去时段内已改变的区域的图像复制到所述缓存帧中的相应区域。
6.根据权利要求1至5中的任一项所述的运动图像编码设备，被配置为通过用一个或多个矩形来近似区域从而执行处理。
7.—种运动图像编码方法，包括对参考帧和当前帧进行比较，并检测出像素值已改变的区域作为更新区域；在执行了用所述缓存帧中的与所述更新区域相对应的区域的图像来替换所述参考帧中的与所述更新区域相对应的区域的图像的处理之后，对所述参考帧和所述当前帧进行比较以检测出像素值已改变的区域作为编码目标区域，并将在替换处理之前在所述参考帧中的与所述更新区域相对应的区域的图像中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及对所述当前帧中的与所述编码目标区域相对应的区域的图像、示出所述参考帧中的已用所述缓存帧的图像替换了其中的图像的区域的信息、以及示出所述参考帧中的已经存在所述稳定区域的图像的区域的信息进行编码。
8.根据权利要求7所述的运动图像编码方法，还包括在检测出所述更新区域之前对所述参考帧和所述当前帧进行比较以检测出移动区域，将所述参考帧中的与所述移动区域的移动目的地区域相对应的区域中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中，以及针对所述移动区域，在所述参考帧上执行从移动源到移动目的地的复制，其中，所述编码还包括对通过从所述当前帧中的移动源区域排除移动目的地区域而获得的区域的信息进行编码。
9.根据权利要求8所述的运动图像编码方法，包括针对所述移动区域，将通过从所述当前帧中的移动源区域排除移动目的地区域而获得的区域的图像存储到所述缓存帧中，其中，所述编码还包括对通过从所述当前帧中的所述移动源区域排除所述移动目的地区域而获得的区域的信息进行编码。
10.根据权利要求7至9中的任一项所述的运动图像编码方法，其中检测所述编码目标区域和将所述稳定区域的图像存储到所述缓存帧包括在所述参考帧中的与所述更新区域相对应的区域中的在预定的过去时段内像素值没有改变的区域和所述缓存帧中的与像素值没有改变的该区域相对应的区域之间交换所存储的图像；和将所述缓存帧中的与像素值已改变的区域相对应的区域中所存储的图像复制到所述参考帧中的与所述更新区域相对应的区域中的、像素值在预定的过去时段中改变了的区域。
11.根据权利要求7至9中的任一项所述的运动图像编码方法，其中检测所述编码目标区域和将所述稳定区域的图像存储到所述缓存帧包括 针对所述更新区域，在所述参考帧和所述缓存帧之间交换所存储的图像；和将所述参考帧中的与所述更新区域相对应的区域中的、像素值在预定的过去时段内已改变的区域的图像复制到所述缓存帧中的相应区域。
12.根据权利要求7至11中的任一项所述的运动图像编码方法，包括通过用一个或多个矩形来近似区域从而执行处理。
13.一种程序，所述程序包括指令，所述指令用于致使设有被配置为存储参考帧的参考帧存储器、被配置为存储当前帧的当前帧存储器和被配置为存储缓存帧的缓存帧存储器的计算机用作更新区域检测单元，被配置为对所述参考帧和所述当前帧进行比较，并检测出像素值已改变的区域作为更新区域；编码目标区域检测和缓存更新单元，被配置为在执行了用所述缓存帧中的与所述更新区域相对应的区域的图像来替换所述参考帧中的与所述更新区域相对应的区域的图像的处理之后，对所述参考帧和所述当前帧进行比较以检测出像素值已改变的区域作为编码目标区域，并将在替换处理之前在所述参考帧中的与所述更新区域相对应的区域的图像中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及编码单元，被配置为对所述当前帧中的与所述编码目标区域相对应的区域的图像、示出所述参考帧中的已用所述缓存帧的图像替换了其中的图像的区域的信息、以及示出所述参考帧中的已经存在所述稳定区域的图像的区域的信息进行编码。
14.根据权利要求13所述的程序，还包括用于致使所述计算机用作下述单元的指令 移动区域检测单元，被配置为对所述参考帧和所述当前帧进行比较并检测出移动区域；移动目的地区域缓存存储单元，被配置为将所述参考帧中的与所述移动区域的移动目的地区域相对应的区域中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到所述缓存帧中；以及运动补偿单元，被配置为针对所述移动区域来在所述参考帧上执行从移动源到移动目的地的复制，其中，所述编码单元还被配置为对由所述移动区域检测单元检测出的所述移动区域的信息以及图像已被所述移动目的地区域缓存存储单元存储到所述缓存帧中的区域的信息进行编码。
15.根据权利要求14所述的程序，还包括用于致使所述计算机用作下述单元的指令 移动源区域缓存存储单元，被配置为针对所述移动区域，将通过从所述当前帧中的移动源区域排除移动目的地区域而获得的区域的图像存储到所述缓存帧中，其中，所述编码单元还被配置为对图像已被所述移动源区域缓存存储单元存储到所述缓存帧的区域的信息进行编码。
全文摘要
这个运动图像编码设备具有更新区域检测单元、编码目标区域检测和缓存更新单元、以及编码单元。更新区域检测单元对参考帧和当前帧进行比较，并检测出像素值改变了的更新区域。编码目标区域检测和缓存更新单元用缓存帧中的图像来替换参考帧中的更新区域的图像，并在之后检测出像素值改变了的区域作为编码目标区域，并将在替换之前在参考帧中的更新区域的图像中的、像素值在预定的过去时段内没有改变的区域的图像作为稳定区域的图像来存储到缓存帧中。编码单元对编码目标区域的图像和缓存信息进行编码。
文档编号H04N7/32GK102484715SQ201080037350
公开日2012年5月30日 申请日期2010年4月12日 优先权日2009年8月21日
发明者高田巡 申请人:日本电气株式会社