专利名称：带场景变化检测功能的编码解码图像的设备和方法
发明的背景1.发明的领域本发明涉及图形处理技术，尤其涉及用于运动图像中检测场景变化的图像解码和图像编码技术。
2.相关技术在运动图像的再现中，场景中变化的检测被称为场景变化检测。
通常，场景变化检测被用来从而通过检测再现设备或编辑设备上的所需场景高效地执行指针查询。场景变化检测技术通常利用存在于图像帧之间任何变化的信息。已知的技术包括通过统计处理包含在图像帧内的象素值，使用施加用于图像帧间的相关系数或使用图像帧间的差异。
在这些传统的技术中，场景变化通常通过比较目前显示的图像之前或之后的图像帧象素值的亮度分量来检测。
运动图像中用像MPEG(运动图像专家组)这样的技术压缩的场景变化通过像以下的方式处理完成检测，比如检查以上描述的通过一次性完全解码已编码图像获得的图像数据的相关系数。通过这种技术完成的场景变化检测也因此需要巨大的存储空间和很大的计算量。由此，在检测的效率上有改进的空间。
发明概述本发明是考虑上述情况制作出来的，其目的是提供可实现高效场景变化检测的图像解码技术和图像编码技术。
当场景变化被检测时，被检测的图像通常是那些在通过再现时间完成解码之后而获得的图像。然而，在随后描述的较佳实施例中，获得且使用中间的图像而不在再现时刻完成解码。以下，依靠完成解码获得的最终图像被称为“解码图像”。在那种情况下，解码图像被理解为不包括中间图像。此外，未被编码的图像被称为“原始图像”，而且，这种图像不同于通过解码已编码图像而产生的解码图像。
中间图像是分层和编码原始图像的过程中产生的中间层的图像，而且这中间层图像总的来说也在解码当中出现。经常在分层过程中自然出现的中间层的图像可被利用且适合用于本发明。以下，任何对中间图像的简单涉及均被理解为也包括“中间层的图像”。以下，在解码或编码中产生的中间图像将被描述成通过用二维子波变换编码时产生的子带分量而形成的图像。
根据本发明的较佳实施例涉及图像解码设备。这种通过连续解码已编码图像流来再现运动图像的设备包括图像存储器和场景变化判定单元。图像存储器存储产生于第一图像帧解码中的第一中间图像(以下，被称为“第一中间图像”)，该第一图像帧包括在已编码图像流中；和在解码第二图像帧中产生的第二中间图像(以下，被称为“第二中间图像”)，该第二图像帧在包括于图像流中的第一图像帧之后被再现。场景变化判定单元通过比较存储在图像存储器中的第一和第二中间图像来决定在第一中间图像和第二中间图像之间是否有场景变化。
场景变化判定单元能在这样检测的场景变化的基础上，详细说明显示的图像帧。
根据这个较佳实施例，在场景变化检测的时候，在解码中辅助地和临时地产生的中间图像能被有效利用。从而，不需要一直等到解码完成，而且检测过程的启动时间非常快，使实现高效的场景变化检测过程。
根据本发明的另一个较佳实施例涉及图像编码设备。这种通过连续编码运动图像产生已编码图像流的设备包括图像存储器和场景变化判定单元。图像存储器存储产生于编码第一图像帧中的第一中间图像(以下也被称为“第一中间图像”) ，该第一图像帧包括在运动图像流中；和在解码第二图像帧中产生的第二中间图像，该第二图像帧在包括于图像流中的第一图像帧之后被编码。场景变化判定单元通过比较存储在图像存储器中的第一和第二中间图像来决定在第一中间图像和第二中间图像之间是否有场景变化。
图像编码设备还可以包括指针累加单元，当场景变化被场景变化判定单元检测出时，该单元将检测到的场景变化信息以一定的方式记录到已编码图像流中去，使该信息同第一和第二图像帧中至少一个相联系。
根据本发明的另一个较佳实施例还涉及图像解码的方法。这种通过连续解码已编码图像流用于再现运动图像的方法包括存储产生于解码中的第一和第二中间图像；通过比较那些在上述存储器中存储的中间图像决定在那些图像之间中是否有场景变化。
根据本发明的另一个较佳实施例还涉及图像编码的方法。这种可用来连续编码原始图像的方法包括存储产生于编码中的第一和第二中间图像；通过比较那些在上述存储器中存储的中间图像决定在那些图像之间是否有场景变化。
值得注意的是，对以上描述的结构元件和步骤的任意替换或替代，对方法和设备之间以及它们的补充部分或全部替换或替代的表达，和变成计算机程序的表达，数据结构，记录媒质或类似的都包含在本实施例中且跟本实施例一样有效。
此外，这个发明的概括不必描述所有必要的特征，使得本发明也可以是这些描述过的特征的次结合。
图1显示了根据JPEG2000标准的图像编码的顺序。
图2显示了根据本发明的第一实施例的图像解码设备的结构。
图3是显示根据本发明第一实施例处理顺序的流程图。
图4显示了根据本发明第二实施例的图像编码设备的结构。
图5是根据本发明第二实施例处理顺序的流程图。
发明的详细描述现在，发明将在较佳实施例的基础上描述，较佳实施例并不是限制本发明的范围，却是本发明的例证。在实施例中描述的所有特征和这些特征的组合对本发明来说并不是必不可少的。
以下的较佳实施例涉及通过利用JPEG(联合照片专家组)2000编码和解码的图像的处理。
图1显示了根据JPEG2000标准的图像编码的顺序。原始图像OI通过子波变换器分层。JPEG2000中的子波变换器使用Daubechies滤波器。这种滤波器，在作为原始图像每一个X和Y方向上的低通和高通滤波器的同时工作，它将单个图像分成四个子频带。这些子带分量是在X和Y方向上都具有低频分量的LL子带、在X或者Y方向中的一个上具有低频分量以及在另一个方向上具有高频分量的HL和LH子带，以及在X和Y方向上都有高频元件的HH子带。每一个子带分量垂直和水平方向上象素的数量都是处理前图像象素的1/2，而且一次滤波产生其分辨率或图像尺寸是原始图像的1/4的子带图像。
子波变换器在如上述得到的子带分量的LL子带上执行了另外一次滤波，这样做将它进一步分成子带分量LL、HL、LH和HH。滤波完成了预先决定的次数。
随后，数据通过量化器量化，且量化的数据被熵编码成编码图像CI。解码图像DI通过颠倒次序地在产生于以上处理中的编码图像CI上完成处理来得到。
第一实施例图2显示了根据本发明第一实施例的图像解码设备100的结构。图像解码设备100原则上包含解码单元10、使用者界面24、中间图像存储器30、模式检测器40和场景变化判定单元50。基于JPEG2000说明负责解码处理的解码单元10包括连续处理编码图像CI的图像流分析仪12、算术解码器14、位平面解码器16、反向量化器18、反向子波变换器20和用作工作区的帧缓冲仪22。中间图像存储器30存储第一和第二中间图像。模式检测仪40检测“正常模式”或“领先帧选择模式”，两者由使用者任选其一。在正常模式下，正常的再现通过规则地连续解码已编码图像来完成。在“领先帧选择模式”下，场景变化被检测。场景变化判定单元50通过比较存储器中第一和第二中间图像来判定是否有场景变化。场景变化判定单元50还包括场景变化后指定顶部图像帧的帧指定单元52。
在正常再现过程时，编码图像CI经历了图像流分析仪12的处理，使得此后解码图像DI最终被输出。
在另一方面，本实施例的处理特性在于实现场景变化检测的过程。也就是，当使用者通过使用者界面24选择了“领先帧选择模式”，该选择模式可以是比如说，安装在设备上的按钮，模式检测仪40检测到“领先帧选择模式”并给解码单元10指令让其执行领先帧选择模式的处理。
在“领先帧选择模式”中，由第一中间图像的反向量化器18获得的第一中间图像的LL子带被储存在中间图像存储器30中。然后，由第一中间图像的反向量化器18获得的第二中间图像的LL子带被存储在中间图像存储器中。
场景变化判定单元50通过使这样存储的中间图像上的数据相关来决定在这些图像之间有没有场景变化。
当子带分量与场景变化判定单元50相关时，被使用的子带分量不是LL而可以是LH、HL或HH。另外，也可以使用多个子带分量。在这种情况下，被储存在中间图像存储器30中的数据是相应的子带分量上的数据。在任何情况下，相关的图像在尺寸上小于解码图像，使得计算负荷较轻，而且因为中间图像在解码过程中自动生成因此也不会产生多余的处理。
当场景变化的存在被场景变化判定单元50确认后，帧指定单元52在场景变化后指定顶部图像帧并发出指令给解码单元10输出图像帧。一收到这个指令，反向子波变换器20就对上述存储在帧缓冲器22中图像帧的中间图像解码并输出解码图像DI。
若输出的解码图像DI对使用者来说是理想场景的顶部图像，使用者通过使用者界面24发出指令给模式检测器40，使它停止“领先帧选择模式”并转换到“正常再现模式”。
当使用者没有发出转换到“正常再现模式”的指令时，“领先帧选择模式”将继续且下一场景顶部图像的检测继续。在这段时间内，解码图像DI继续被输出直到下一场景变化被检测到。
在场景变化检测继续的位置，第一中间图像的数据被舍弃，第二中间图像的数据被存储作为第一中间图像的新数据，并且下一中间图像被存储作为第二中间图像的新数据。为了实现这一重复的步骤，中间图像存储器30只需要够存储两幅中间图像的内存空间。
图3是显示通过图像解码设备100进行场景变化检测的步骤的流程图。
当“领先帧选择模式”被使用者选择且达到此效果的选择被模式检测器40检测到(S10)，邻近中间图像数据的LL子带被存储在中间图像存储器30中(S14)。场景变化判定单元50通过比较像这样存储的中间图像的LL子带来决定是否有场景变化(S18)。当没有场景变化被检测到时(S18为N)，场景变化判定单元50再一次决定在与下一图像帧相关的中间图像数据上有没有场景变化。当场景变化的存在被确认(S18为Y)时，场景变化后的顶部图像被输出(S20)。通过来自使用者的转换到“正常再现模式”的指令(S22为Y)，正常再现在场景变化后从顶部图像开始(S24)。若使用者未发出转换到正常再现模式的指令(S22为N)，场景变化检测继续且先前场景变化后检测到的顶部图像继续被输出直到下一场景变化被检测到(S26)。
第二实施例图4显示了根据本发明的第二实施例的图像编码设备110的结构。图像编码设备110主要包括编码单元60、中间图像存储器30、场景变化判定单元50和指针累加单元80。编码单元60，负责在JPEG2000说明的基础上编码的处理，它包括连续处理原始图像OI的子波变换器62、量化器64、位平面编码器66、算术编码器68、流生成器70和用作工作区域的帧缓冲器22。中间图像存储器30存储第一中间图像和第二中间图像。
通常来说，子波变换器62和随后的处理是在原始图像OI之上进行的，且最终编码图像CI被输出。
另一方面，本实施例的处理特性在于实现场景变化检测的过程。首先，用子波变换器62得到的第一中间图像和第二中间图像被存储在帧缓冲器22中，随后存储在其中的第一和第二中间图像的LL子带被存储在中间图像存储器30中。
场景变化判定单元50通过使这样存储的LL子带上的数据相关来判定在这些图像之间存不存在场景变化。
与第一实施例类似，当这些子带分量相关时，被使用的子带分量不是LL而可以是LH、HL或HH。此外，多个子带分量也可以被使用。在这样的情况下，被存储在中间图像存储器30中的数据是在相应子带分量之上的数据。在任何情况下，相关的图像在尺寸上小于原始图像，使得计算负荷较轻，而且因为中间图像在编码过程中自动生成因此也不会产生多余的处理。
当场景变化的存在被场景变化判定单元50确认时，指针累加单元80发出指令给比如编码单元60或流生成器70，在编码图像数据流中用一定的方式插入作为指针的场景变化信息，使得场景变化信息与第一和第二图像帧中至少一个相关连。
图5是显示通过图像编码设备110进行场景变化检测步骤的流程图。
子波变换器62完成原始图像OI上两维的子波变换，使生成中间图像(S30)。每一个在邻近图像帧的中间图像之上的LL子带数据均被存储在中间图像存储器30中(S32)。场景变化判定单元50决定在这些图像帧之问有没有场景变化(S34)。若有场景变化(S34为Y)，在这些图像帧之间的场景变化的存在被作为指针插入到编码图像中(S36)。在指针插入之后或当场景变化不存在时(S34为N)，场景变化检测继续直到不再有任何图像流被编码(S38为Y)。
如果提供了像第二实施例中的图像编码设备，根据第一实施例的决定自身场景变化的图像解码设备100将变得不太有用。代之以，图像解码设备100可有指针检测器(未显示)，该指针检测器检测指示场景变化存在的指针。
不同的元部件将在随后的实施例中出现。在硬件方面，那些实施例能通过CPU、内存和其它的LSI和组合电路来实现。在软件方面，它们通过内存加载程序或类似的拥有图像处理功能的程序来实现。在较佳实施例的描述中主要涉及同这些元件合作来实现的功能。因此，我们应该明白，通过那些工艺上娴熟的人，这些功能可以不同的形式实现，可以只用硬件、只用软件或用两者的组合。
虽然本发明已通过典型的实施例描述过了，但我们仍需明白，在不离开本发明所附的权利要求所定义的范围的条件下，那些工艺娴熟的人可以做许多变化和替代。
权利要求
1.一种通过连续解码已编码图像流用于连续再现运动图像的图像解码设备，其特征在于包括图像存储器，它存储第一中间图像，该图像产生于包括在编码图像流中的第一图像帧的解码过程中，它还存储第二中间图像，该图像产生于对第二图像帧解码的过程中，其中第二图像帧在包括在图像流中的第一图像帧之后被再现；在其中，第一中间图像和第二中间图像由子带分量形成，该子带分量在解码已编码图像流的一个预先决定的阶段产生，该图像流由两维子波变换编码；场景变化判定单元，它通过比较存储在所述的图像存储器中的第一和第二中间图像来决定在第一和第二中间图像间有没有场景变化。
2.根据权利要求1的图像解码设备，其特征在于，所述的场景变化判定单元在检测到的场景变化的基础上指定要显示的图像帧。
3.根据权利要求1的图像解码设备，其特征在于，子带分量是LL子带。
4.根据权利要求2的图像解码设备，其特征在于，子带分量是LL子带。
5.根据权利要求1的图像解码设备，其特征在于，子带分量包括多个子带分量，而且所述的场景变化判定单元通过使用多个子带分量来决定场景变化的存在。
6.根据权利要求2的图像解码设备，其特征在于，子带分量包括多个子带分量，而且所述的场景变化判定单元通过使用多个子带分量来决定场景变化的存在。
7.一种通过连续编码运动图像来产生编码图像流的图像编码设备，其特征在于，包括图像存储器，它存储第一中间图像，该图像由在编码过程预先决定的阶段产生的子带分量形成，其中的编码过程是在编码包括于运动图像流之内的第一图像帧的过程中由两维子波变换完成的；该图像存储器还存储第二中间图像，该图像由在编码过程预先决定的阶段产生的子带分量形成，其中的编码过程是通过第二图像帧编码过程中的两维子波变换来完成的，该第二图像帧在包括于图像流内的第一图像帧之后被编码；场景变化判定单元，它通过比较存储在所述的图像存储器中的第一和第二中间图像来决定在第一和第二中间图像间有没有场景变化。
8.根据权利要求7的图像编码设备，其特征在于，还包括指针累加单元，当场景变化被所述的场景变化判定单元检测到，该单元会将检测到的场景变化的信息通过一定的方式记录到编码图像流中，使该信息同第一和第二图像帧中至少一个相关连。
9.根据权利要求7的图像编码设备，其特征在于，子带分量是LL子带。
10.根据权利要求8的图像编码设备，其特征在于，子带分量是LL子带。
11.根据权利要求7的图像编码设备，其特征在于，子带分量包括多个子带分量，而且所述的场景变化判定单元通过使用多个子带分量来决定场景变化的存在。
12.根据权利要求8的图像编码设备，其特征在于，子带分量包括多个子带分量，而且所述的场景变化判定单元通过使用多个子带分量来决定场景变化的存在。
13.一种通过连续解码已编码图像流用于再现运动图像的图像解码方法，其特征在于，包括存储第一中间图像，该图像产生于包括于编码图像流中的第一图像帧的解码过程中，还存储第二中间图像，该图像产生于对第二图像帧解码的过程中，其中第二图像帧在包括于图像流中的第一图像帧之后被再现；通过比较存储在所述的图像存储器中的第一和第二中间图像来决定在第一和第二中间图像间有没有场景变化，其中，第一和第二中间图像通过子带分量形成，该子带分量产生于解码图像流预先决定的阶段，该图像通过两维子波变换编码。
14.一种通过连续编码运动图像用于产生编码图像流的图像编码方法，其特征在于包括存储第一中间图像，该图像产生于包括于运动图像流中的第一图像帧的编码过程中，还存储第二中间图像，该图像产生于对第二图像帧编码的过程中，其中第二图像帧在包括于图像流中的第一图像帧之后被编码；通过比较存储在所述的图像存储器中的第一和第二中间图像来决定在第一和第二中间图像间有没有场景变化，其中，第一和第二中间图像通过子带分量形成，该分量通过两维子波变换在编码预先决定的阶段产生。
全文摘要
通过反向量化器得到的第一和第二中间图像的LL子带被存储在中间图像存储器中。场景变化判定单元比较存储在中间图像存储器中的数据并由此决定是否有场景变化。
文档编号G06T9/00GK1392730SQ02124588
公开日2003年1月22日 申请日期2002年6月19日 优先权日2001年6月19日
发明者大山达史, 山内英树 申请人:三洋电机株式会社