动态图像解码方法、动态图像解码装置以及电子设备的制作方法

专利名称：动态图像解码方法、动态图像解码装置以及电子设备的制作方法
技术领域：
本发明涉及对编码的动态图像进行解码并将其再现的技术，尤 其涉及用于将多个动态图像同时再现的技术。
背景技术：
近年来，迎来了数字技术的真正的实用化时代，已能够用记录 再现装置、个人计算机，主服务器等装置对动态图像进行记录和再 现，或者使用以互联网为首的通信网络在远距离之间传送动态图像。 在便携电话等数字移动通信设备中也提供当场拍摄动态图像并立即 向其他人发送该动态图像的装置。另外，在广播电视领域中也在电 视机等中采用使用了数字技术的传送和编码方式。
其中，收录有更高精细的高清晰度电视(high vision)图像的 Blu - ray盘或HD - DVD这样的光盘，与现有的VideoCD或DVD 相比较，不仅能够收容大容量的数字动态图像的数据，存储高画质 的再现图像，还支持对两个位流(bit-stream)进行同时再现并在同 一画面上显示的画中画(Picture - in - Picture,以后简记作PinP )这 样的功能。PinP例如能够用于在棒球的录像中用不同的位流同时显 示投手和击球手，或同时显示多角度的两个流。
在该PinP的再现中，要求两个位流相互同步地再现。过去已知 有对将两个位流分别解码后的结果进行合成而得到再现图像的动态 图像解码装置(例如，参照专利文献l)。
以下，参照图31 ~图34说明上述现有装置中使用的动态图像解 码方法。
图31是表示现有的动态图像解码装置的结构例的框图。图31 中，500a、 500b是用于存储各信道的位流的緩沖器，510a、 510b是解码部，550是控制部，520a、 520b是帧存储器，530是合成部。在 此，标号上附带的小字符的接尾字符a、 b分别表示"a"是信道A 用的，"b"是信道B用的。以后，在不特别提及的情况下遵此规则。
首先，信道A、 B这两个信道的动态图像的位流被输入各緩冲器 500a、 500b后，被后续的解码部510a、 510b解码，复原后的图像被 存储在帧存储器520a、 520b中。这里的解码采用例如作为国际标准 的通称MPEG2 ( Moving Picture Experts Group Phase2 )的以 "Information Technology Generic Coding of Moving Picture and Associated Audio Information:信息4支术-动态图l象和伴音信息的通用 编码"中记载的方法为准的方法。
在此，说明上述MPEG2标准下的图像的编码方法的概要。如图 32所示， 一系列的图^^组由I帧、P帧、B帧三类构成，I帧(Intra - coded frame )是仅用该帧的数据就能完全解码的帧，P帧(Predictive -coded frame )是用其他的1帧(I或P帧)来解码的帧，B帧(Bi -Directionally Predictive — coded frame )是用其他的最多2帧(I或 P帧)来解码的帧，通常，由规则正确的图案分配。这些帧通常是以 0.5 ~ 1秒左右的多个帧为 一组的称为GOP ( Group Of Pictures )的单 位发送来的。
图32的情况下，解码的顺序为10、P3、B1、B2、P6、B4、B5、……。 在此，P3帧的生成需要I0帧，Bl或B2帧的生成需要10和P3帧。 因此，I、 P帧为了后续图像帧的生成而在显示后必须预先保存在图 像存储器上。将这样的其他图像帧的再现所需的帧称为参照帧。即， 在P、 B帧的再现中这些参照帧的解码是不可缺少的。
解码所得的I、 P、 B帧被存储在帧存储器520a、 520b。存储的 各帧按照控制部550指示的顺序从帧存储器520a、 520b输出，使得 以适当的显示顺序得到再现图像。结果，在合成部530合成为同一 画面，作为PinP图^f象而输出。
接下来，说明特殊再现时的动作。特殊再现是指上述那样的按 照时间轴上从过去向未来的正向对图像进行解码按顺序对每1张进行再现的通常再现以外的再现模式。例如，包括正向跳着选择图像 来进行再现的快进再现、正向以比1倍速还慢的速度来进行再现的 低速再现、反向跳着选择图像来进行再现的快退再现、反向以比1 倍速还慢的速度再现的反向低速再现等反向再现。最近的大部分动 态图像解码装置都具有特殊再现功能，为用户提供方便。
以下，作为特殊再现的一例，以反向低速再现为例，用图33说
明此时的动作。以下，说明一个信道即信道A， j旦另一信道B也同 样地进行再现，通过合成得到的图像，能够得到PinP中时间上追溯 过去的再现图像。
图33(A)中，当前显示中的图像是I' 0帧，在反向低速再现 时，设从其紧前面的P6起按B4、 B2、 10的顺序显示图像(其他图 像被跳过)。为了得到要显示的图像，将包含该帧的GOP位流逐一 传送到緩冲器500a，控制部550控制解码部510a，以持续解码，直 到得到接下来要显示的帧(以下，将其称为显示目标。)为止。
即，P6帧为显示目标时，该P6的解码需要10和P3的图像，因 此在对I0和P3进行解码后进行P6的解码。其间，始终持续显示I， 0。 P6被解码时，控制部550控制帧存储器520a,以输出终于完成 的该P6的图像。即，控制成当前显示中的帧移至P6。接下来，显 示目标变为B4时也同样，传送包含其GOP的位流，控制部550控 制解码部510a和帧存储器520a,对10、 P3和P6进行解码后，对 B4进行解码而显示。接下来显示目标变为B2时也同样。显示目标 到达其GOP的起始时，新传送时间上为当前GOP的前一个GOP， 以其结尾为显示目标，继续进行反向低速再现。
图33 (B)是示出此时的再现图像的观察方法的一例的图。解 码部具有相当于1倍速的解码能力时，1帧的解码最大需要1帧显示 时间。对最初作为反向低速图像显示的P6帧进行解码所需的帧张数 为10、 P3和最终结果的P6共计3张。即，3帧时间里持续显示I， 0 帧后，显示P6。下面的B4的解码，需要按顺序对IO、 P3、 P6、 B4 这4帧进行解码，因此，在4帧时间里持续显示P6后，显示B4。同样，B2的解码，需要按顺序对10、 P3、 B2这3帧进行解码，因 此，在3帧时间里持续显示B4后，显示B2。
在此，不需要B1的解码是因为B2帧无需参照其他B帧。实际 上只要舍弃Bl的位流即可，通常该时间在足够短的时间内结束。因 此，与解码时间相比较，B帧的跳过所需的时间的影响可以忽略。
图33 (C)是示意地示出反向低速再现时看到的图像的观察方 法的图。图33(C)中，用箭头的长度表示持续显示图像的期间。 图33 (C)中，将对显示的帧进行解码所需的帧张数记为要解码张 数。
专利文献1:日本特开2007- 37068号公报

发明内容
但是，上述现有的结构中，特殊再现时，作为其一例尤其在反 向低速再现时，有时由于在信道间流的结构化构造、图像尺寸、编 码标准、各图像的码量等不同，导致信道间的画面更新时刻不一致。 由此，有时存在如下问题，即本来要显示同时刻的内容却将不同时 刻的图像彼此合成，再现图像变得粗糙不自然。用图34说明该问题。
图34 (A)示出2信道的位流编码类型的分布的一例。位流中 的GOP中所包含的张数、GOP中图像的编码类型和排列顺序这样的 信息在解码处理中是重要的，总称为结构。图34(A)中，假定信 道A具有与图33同样的编码类型的分布，而信道B与图33不同， 具有不包含B帧的分布的情况。另外，图34 ( A)还一并示出各帧 为显示目标时的要解码张数。
此时，反向低速再现时看到的图像的观察方法如图34(B)。 如图34(B)所示，信道A的P6的要解码张数为3，其再现在3帧 时间内完成，而信道B的P6的要解码张数为7，其再现需要7帧时 间。因此，其差的4帧时间，再现产生时间差。即，信道间画面的 更新时刻明显不一致。因此，合成了信道间画面的PinP图像，本来 要显示同时刻的内容却成了不同时刻的图像的合成结果，再现图像变得粗糙不自然。
另外，信道间位流的图像尺寸不同时，容易进一步引起信道间
的画面更新时刻的不一致。例如，2信道的一方为HD尺寸(高清晰 度电视尺寸1920像素* 1080像素)，另一方为SD尺寸(标准电 视机尺寸720像素* 480像素)时，HD尺寸图像包含SD尺寸图 像的6倍的像素，因此与SD尺寸图像相比需要解码时间。因此，容 易引起2信道间的画面更新时刻不一致。
另外，信道间的位流标准不同时，容易进一步引起信道间的画 面更新时刻不一致。例如，2信道的一方为MPEG2标准，另一方为 相同的国际标准H.264标准时，H.264标准是比MPEG2更晚制定的 运用各种研究成果和预测技术的更高效的编码标准，因此在解码时 需要比MPEG2更多的运算处理，因此与MPEG2相比需要解码时间。 因此，容易引起2信道间的画面更新时刻不一致。
还有，信道间的位流中的图像的码量不同时，也容易进一步引 起信道间的画面更新时刻不一致。例如，2信道的一方的图像为100k 字节，另一方为500k字节时，后者要处理的码量多，因此需要解码 时间。因此，容易引起2信道间的画面更新时刻不一致。
本发明是鉴于上述现有问题而提出的，其目的在于，在用于将 多个信道的动态图像合成在同一画面上而再现的动态图像解码中， 消除信道间的画面更新时刻的极端不一致，得到更自然的再现图像。
本发明作为分别对多个信道的编码动态图像进行解码并将其合 成在同 一 画面上来进行再现的动态图像解码，对各信道取得上述编 码动态图像的结构信息；在被指示了预定的特殊再现模式的情况下， 根据上述结构信息确定各信道在同一时刻的帧组即作为再现对象的 显示目标，并分别对上述显示目标进行解码，在上述显示目标的确 定中，从显示目标的对象中排除各信道的同一时刻的帧组中根据上 述结构信息求出的、基于解码所需要的帧张数即要解码张数在各信 道间的差(差分)的评价指标在预定阈值以上的帧。
根据本发明，由于基于要解码张数之差的评价指标在预定的阈值以上的帧组将从显示目标的对象中排除，由此，成为信道间的画 面更新时刻不 一 致的原因的、要解码张数之差大的帧组不被设定为 显示目标，能够消除信道间的画面更新的明显不一致，得到更自然 的再现图像。
另外，本发明中，代替基于要解码张数在各信道间的差的评价
指标，也可以使用基于解码所需的码量即要解码码量在各信道间的
差的评价指标、或基于解码所需的解码时间即要解码时间在各信道
间的差的评价指标。
另外，本发明作为分别对多个信道的编码动态图像进行解码并 将其合成在同一画面上来进行再现的图像解码，对各信道取得上述
编码动态图像的结构信息；在被指示了预定的特殊再现模式的情况 下，确定各信道在同一时刻的帧组即作为再现对象的帧亦即显示目 标；对上述显示目标确定被预测为解码最慢的信道即迟滞信道；对 上述显示目标进行解码，在上述迟滞信道的帧的解码完成后，对各 信道使定时一致来合成解码后的图像数据而进行再现，在上述迟滞 信道的确定中，在作为上述显示目标的帧组中，求出根据上述结构 信息求出的、解码所需的帧张数即要解码张数为最大的帧，将该帧 的信道特定为上述迟滞信道。
根据本发明，由于对显示目标将要解码张数为最大的信道特定 为迟滞信道，直到迟滞信道的帧的解码完成为止，使各信道的再现 进行等待，由此，能够消除信道间的画面更新时刻不一致，得到更 自然的再现图像。
另外，本发明中，也可以将解码所需的码量即要解码码量为最 大的信道特定为迟滞信道，还可以将解码所需的解码时间即要解码 时间为最大的信道特定为迟滞信道。
根据本发明，在对多个信道的编码动态图像分别解码并将其合 成在同 一画面上来进行再现时，能够消除信道间的画面更新时刻不 一致，得到更自然的再现图像。
1

图1是本发明的实施方式1的动态图像解码装置的结构图。
图2 ( A)是两个信道的位流的结构的例子，图2 (B)是表示实 施方式1中的再现图像的观察方法的示意图。
图3 (A)是实施方式1中的控制部的基本动作的控制流程，图 3(B)是图3(A)中的显示目标确定处理的详细流程。
图4 ( A)是图3 ( A)中的特殊再现处理的详细流程，图4 (B) 是图3(A)中的通常再现处理的详细流程。
图5是本发明实施方式2的动态图像解码装置的结构图。
图6 (A)是实施方式2中的控制部的基本动作的控制流程，图 6 (B)是图6 ( A)中的显示目标确定处理的详细流程。
图7 ( A)是图6 ( A)中的特殊再现处理的详细流程，图7 (B) 是图6 (A)中的通常再现处理的详细流程。
图8是本发明实施方式3的动态图像解码装置的结构图。
图9 (A)是实施方式3中的控制部的基本动作的控制流程，图 9(B)是图9(A)中的显示目标确定处理的详细流程。
图IO(A)是图9(A)中的特殊再现处理的详细流程，图10 (B)是图9(A)中的通常再现处理的详细流程。
图11是本发明实施方式4的动态图像解码装置的结构图。
图12 (A)是实施方式4中的控制部的基本动作的控制流程， 图12 (B)是图12 (A)中的显示目标确定处理的详细流程。
图13 (A)是图12 (A)中的特殊再现处理的详细流程，图13 (B)是图12 (A)中的通常再现处理的详细流程。
图14是本发明实施方式5的动态图像解码装置的结构图。
图15 (A)是实施方式5中的控制部的基本动作的控制流程， 图15 (B)是图15 ( A)中的显示目标确定处理的详细流程。
图16 ( A)是图15 ( A)中的特殊再现处理的详细流程，图16 (B)是图15 (A)中的通常再现处理的详细流程。
图17是本发明实施方式6的动态图像解码装置的结构图。
16图18是表示实施方式6中的再现图像的观察方法的一例的示意图。
图19 (A)是实施方式6中的控制部的基本动作的控制流程，
图19 (B)是图19 ( A)中的显示目标确定处理的详细流程。图20是图19 (A)中的特殊再现处理的详细流程。图21是本发明实施方式7的动态图像解码装置的结构图。图22 (A)是实施方式7中的控制部的基本动作的控制流程，
图22 (B)是图22 (A)中的显示目标确定处理的详细流程。图23是图22 (A)中的特殊再现处理的详细流程。图24是本发明实施方式8的动态图像解码装置的结构图。图25 (A)是表示再现图像的观察方法的一例的示意图，图25
(B) 、 (C)是表示实施方式8中的解码的分时处理的图。图26是实施方式8中的控制部的基本动作的控制流程。图27是图26中的特殊再现处理的详细流程。图28是表示具有本发明的动态图像解码装置的电子设备的结构
例的框图。
图29是作为电子设备的一例的光盘再现装置的外观图。图30是表示具有本发明的动态图像解码装置的电子设备的结构例的框图。
图31是表示现有的动态图像解码装置的结构例的框图。图32是GOP构造的一例。
图33 (A)是图像结构的一例，图33 (B) 、 (C)是表示再现图像的观察方法的图。
图34 ( A)是2信道的情况下的图像结构的一例，图34 (B)是表示再现图像的观察方法的图。
符号说明
151， 152, 153， 154, 155， 170, 180, 560控制部160计时部
501a、 501b緩冲存储器511a、 511b, 512a、 512b, 513a、 513b, 515a、 515b解码部
516解码部
520a、 520b帧存储器
700, 710开关
CIO位流供给部
C20动态图像解码装置
C30图像输出部
C100, C110电子装置
具体实施例方式
以下，参照

用于实施本发明的最佳方式。以下各实施方式中，作为预定的特殊再现模式的一例，以反向
低速再现为例进行说明。但其他特殊再现，例如，快进再现、低速再现、快退再现等各实施方式中说明的方法同样也能适用。(实施方式1)
图1是本发明实施方式1的动态图像解码装置的结构图。图1
中，对与图31相同的构成要素给予与图31相同的标号。图1中，51 la、 511b是解码部，151是控制部，解码部511a、 511b以及控制部151中的处理与图31的结构大不相同。
首先，信道A、信道B这2信道的动态图像的位流分别输入緩冲器(緩冲存储器)500a、 500b后，在后续的解码部511a、 511b中解码。复原的图像分别存储在帧存储器520a、 520b中。在此，与图31的结构不同的是，解码部511a、 511b输出关于信道A、 B各自的位流的结构信息这一点。解码部511a、 511b在为了按顺序再现位流而解码时，预先解析结构信息。从解码部511a、 511b输出的结构信息，被存储在控制部151具有的信息存储装置中。
在此，"结构信息"是指关于位流的结构的信息，即，表示位流中的GOP所含的帧图像的张数、GOP中的帧图像的编码类型或排列顺序的信息。帧存储器520a、 520b中存储的图像，按控制部151指示的顺序输出。控制部151指示图像的输出顺序，使得以适当的显示顺序得到再现图像。从帧存储器520a、 520b输出的图像，在合成部530中，重叠于同一画面上而作为PinP图像输出。
另外，控制部151在作为预定的特殊再现模式指示了反向低速再现模式的情况下，根据从解码部511a、 511b接收的结构信息，确定成为再现对象的帧即显示目标。即，"显示目标"是指各信道的同一时刻中的帧组，即成为再现对象的帧。控制部151控制解码部511a、 511b,使得持续解码直到显示目标被确定为止。
图2 ( A)示出信道A、 B的位流的结构的例子。图2 ( A)中，信道A是与图32同样的结构，信道B是与图32不同的不含B帧的结构。图2 ( A)中，设当前显示中的帧是I， 0帧，从其紧前的P6开始依次进行反向低速再现。并,支定信道A在反向低速再现中以P6、B4、 B2、 IO这一顺序显示图像。设信道B中也同样，以P6、 P4、 P2、 IO这一顺序显示图像。
为了得到要显示的帧即显示目标的图像，需要将包含该显示目标的GOP的位流传送到緩沖器500a、 500b，使解码部511a、 51 lb执行解码，直到得到该显示目标的图像数据。另外，当显示目标到达该GOP的起始时，将在时间上当前GOP的前一个GOP新传送到緩冲器500a、 500b,以其结尾作为显示目标，继续反向低速再现。
图2(A)中，对于各帧分别记下在该帧为显示目标时解码所需的帧张数即要解码张数。
本实施方式中，详细说明控制部151确定反向低速再现中显示目标的处理。
控制部151，首先，按照指示的反向低速再现模式，将各信道A、B的预定时刻的帧定为显示目标候选。然后，对各显示目标候选分别根据从解码部511a、 511b接收的各信道A、 B的结构信息计算要解码张数。进而，对计算出的要解码张数在各信道A、 B间的差进行计算，将其与预定的阈值(张数)比较。当要解码张数之差比预定的阈值小时，将各显示目标候选确定为显示目标。另一方面，在要解码张数之差在预定的阈值以上的情况下，取消各显示目标候选，寻找在时间上位于取消的各显示目标候选之前且要解码张数之差小于预定的阈值的帧，将其确定为显示目标。
用图2具体说明该处理。在此，设与要解码张数之差进行比较
的预定的阈值为2。
首先，作为显示目标候选，确定信道A的P6和信道B的P6。如图2(A)所示，要解码张数，对于信道A的P6来说是3,对于信道B的P6来说是7。因此，要解码张数之差是4，大于预定的阈值2，因此该情况下的显示目标候选被取消。
接下来，将时间上位于信道A的P6和信道B的P6之前的信道A的B5和信道B的P5作为显示目标候选进行评价。如图2 ( A)所示，要解码张数，对于信道A的B5来说是4，对于信道B的P5来说是6。因此，要解码张数之差是2，等于预定的阈值2，因此该情况下的显示目标候选也被取消。
4妾下来，将时间上位于信道A的B5和信道B的P5之前的信道A的B4和信道B的P4作为显示目标候选进行评价。如图2 ( A)所示，要解码张数，对于信道A的B4来说是4，对于信道B的P4来说是5。因此，要解码张数之差是l,小于预定的阈值2，因此该情况下的显示目标候选确定为显示目标。即，将信道A的B4和信道B的P4确定为显示目标。
控制部151控制解码部511a、 511b以及帧存储器520a、 520b,使得确定为显示目标的信道A的B4和信道B的P4的图像被解码后输出。通过这样的处理，当初I， 0帧图像在画面中显示，信道A的B4和信道B的P4的图像一旦被再现，各信道中，其图像就显示在画面中。以后，同样地确定显示目标，将确定的显示目标的图4象再现下去。
图2 (B)是表示再现图像的观察方法的示意图。在此，假定解码部511a、 511b具有相当于1倍速的解码能力的情况。上述的动作中，最初的显示目标是在取消了两次显示目标候选后，通过第3次评价而确定的，但当取消次数多时，即，要解码张数的信道间的差大的帧连续时，当前显示中的帧与显示目标的间隔
将变宽。但是，例如按MPEG2标准，有GOP中必须包含1张以上的I帧的规则，至少将I帧(要解码张数为1)确定为显示目标，因此，不会产生完全找不到显示目标而画面更新完全停止的状态这样的问题。
图3和图4是表示控制部151的具体动作的流程图。图3 ( A)是基本动作的控制流程，图3 (B)是图3 (A)中的显示目标确定处理S200的详细流程，图4(A)是图3( A)中的特殊再现处理S300的详细流程，图4 (B)是图3(A)中的通常再现处理S400的详细流程。在此，设将包含信道A、 B的多个信道作为对象。即，图1中作为动态图像的信道数为2的情况示出装置结构，但有3个以上信道也可以。以下的实施方式中也同样。
首先，如图3 (A)所示，判断通常再现或特殊再现这样的由用户指示的再现模式(S100)，在通常再现的情况下进行通常再现处理S400，在特殊再现的情况下，进行显示目标确定处理S200后，进行特殊再现处理S300。控制部151对各信道实施特殊再现处理S300以及通常再现处理S400。以下，记载对信道A实施的处理，但对其他所有信道(包含信道B)也同样实施。
通常再现处理S400中，如图4(B)所示，控制部151首先对解码部511a指示位流的图像层以上的首部解析(S301 ),结果，存储所得到的结构信息(S302 )。然后，对解码部511a指示对比图像层下位的等级的数据即图像数据的解码(S307 ) 。 1帧的解码处理完成时对帧存储器520a指示从已解码的图像中显示适当的图像，以显示正确排列的图像(S308A)。
显示目标确定处理S200中，如图3 (B)所示，控制部151首先设定显示目标候选(S201)。然后，根据结构信息分别求出各信道的显示目标候选的要解码张数F (x) (S202)。在此，x表示信道。接下来，求出所有信道间的要解码张数F( x )的差的最大值maxFd (S203 )，将该最大值maxFd与预定的阈值Fdth比较(S204 )。当 最大值maxFd小于阈值Fdth时，将当前的显示目标候选确定为显示 目标(S206 )，结束处理。另一方面，当最大值maxFd在阈值Fdth 以上时，取消当前的显示目标候选，设定下一个显示目标候选 (S205 ),再从S202起进行处理。
该显示目标确定处理S200中，作为基于要解码张数的信道间之 差的评价指标，使用了要解码张数之差的最大值，但也可以使用其 他值。例如，也可以取任意2信道间之差的平均值，将其作为评价 指标。或者也可以将反映编码条件这样的校正系数乘以要解码张数 之差。
特殊再现处理S300中，如图4(A)所示，控制部151首先对 解码部511a指示位流的图像层以上的首部解析(S301 )，结果，存 储所得到的结构信息(S302)。接下来，判断帧与显示目标是否一 致(S303 )， 一致时，指示解码装置511a对图像数据进行解码(S307 ), 指示帧存储器520a显示该图像(S308 )。另一方面，当帧与显示目 标不一致时，判断该帧的编码类型(S304 )，为B帧时，指示解码 部511a舍弃图像数据直到下一个帧(S306 )。为B帧以外时，指示 解码部511a对该帧进行解码(S305 )。
如上所述，本实施方式中，对各信道的显示目标候选分别计算 要解码张数，当基于该要解码张数之差的评价指标小于预定的阈值 时，将显示目标候选确定为显示目标，另一方面，当不小于预定的 阈值时，取消显示目标候选。即，将基于要解码张数之差的评价指 标为预定的阈值以上的帧组从显示目标的对象中排除。由此，成为 信道间的画面更新时刻不一致的原因的、要解码张数之差大的帧组 不被设定为显示目标，能够消除信道间的画面更新的明显不一致， 得到更自然的再现图像。 (实施方式2 )
图5是本发明实施方式2的动态图像解码装置的结构图。图5
22中，对与图l相同的构成要素给予与图l相同的标号，这里省略其
详细说明。图5的结构中，解码部512a、 512b以及控制部152中的 处理，与实施方式1的图1的结构不同。
本实施方式与实施方式1不同的是，解码部512a、 512b除了输 出结构信息外还输出图像尺寸信息，控制部152除了用结构信息外 还用图像尺寸信息确定显示目标这一点。这里的图像尺寸信息是指 例如每l帧的像素数。解码部512a、 512b在为了顺序再现位流而解 码时，预先解析结构信息和图像尺寸信息。从解码部512a、 512b输 出的结构信息和图像尺寸信息存储在控制部152具有的信息存储装 置中。
图6和图7是表示控制部152的具体动作的流程图。图6和图7 中，对与实施方式1中的图3和图4相同的步骤给予相同的标号， 这里省略其详细说明。图6 ( A)是基本动作的控制流程，图6(B) 是图6(A)中的显示目标确定处理S220的详细流程，图7 (A)是 图6(A)中的特殊再现处理S320的详细流程，图7(B)是图6(A) 中的通常再现处理S420的详细流程。在此，以包含信道A、 B的多 个信道为对象。
如图7(A)、 (B)所示，本实施方式中的特殊再现处理S320 以及通常再现处理S420与实施方式1中的特殊再现处理S300以及 通常再现处理S400不同点仅为处理S312。即，处理S312中，除了 结构信息外，还预先存储图像尺寸信息。该图像尺寸信息与结构信 息一起在显示目标确定处理S220中使用。
另夕卜，如图6( B)所示，本实施方式中的显示目标确定处理S220 与实施方式1中的显示目标确定处理S200不同的是增加了处理S212 这一点。即本实施方式的显示目标确定处理S220中，根据结构信息， 分别求出各信道的显示目标候选的要解码张数F (x) (S202)后， 根据图像尺寸信息校正该要解码张数F (x) (S212)。此外的处理 与实施方式1的显示目标确定处理S200同样。
作为基于图像尺寸信息校正的一例，例如，考虑信道间的图像尺寸比，校正各信道的要解码张数F (x)。例如，在信道A为HD 尺寸、信道B为横向一半的半HD尺寸的情况下，信道A的F(x) 保持原样(缩放比率=1),信道B的F (x)作为1/2倍(缩放比 率=0.5)使用。 一般，作为1次处理单位的宏模块的大小相同，因 此图像尺寸越大解码所需时间越长，因此可以认为校正后的值，大 体与直到得到显示目标候选的图像为止所需的时间相关。
如上所述，根据本实施方式，除了得到与实施方式1同样的作 用效果外，还有如下效果，通过作为基于要解码张数在各信道间的 差的评价指标而使用基于图像尺寸信息校正的指标，显示目标确定 处理中能够考虑到图像尺寸。由此，能够将各信道间的实际的解码 时间差更正确地反映于显示目标确定处理，能够得到更自然的再现 图像。
(实施方式3 )
图8是本发明实施方式3的动态图像解码装置的结构图。图8 中，对与图l相同的构成要素给予与图l相同的标号，这里省略其 详细说明。图8的结构中，解码部513a、 513b以及控制部153中的 处理与实施方式1的图1的结构不同。
本实施方式与实施方式1不同的是，解码部513a、 513b除了输 出结构信息外还输出编码标准信息，控制部153除了用结构信息外 还用编码标准信息来确定显示目标这一点。解码部513a、 513b为了 顺序再现位流而解码时，预先解析结构信息和编码标准信息。从解 码部513a、 513b输出的结构信息和编码标准信息存储在控制部153 具有的信息存储装置中。
图9和图IO是表示控制部153的具体动作的流程图。图9和图 10中，对与实施方式1中的图3和图4相同的步骤给予相同的标号， 这里省略其详细说明。图9 ( A)是基本动作的控制流程，图9(B) 是图9(A)中的显示目标确定处理S230的详细流程，图10 (A) 是图9(A)中的特殊再现处理S330的详细流程，图10 (B)是图9 (A)中的通常再现处理S430的详细流程。在此，以包含信道A、
24B的多个信道为对象。如图10(A)、 (B)所示，本实施方式中的特殊再现处理S330 以及通常再现处理S430与实施方式1中的特殊再现处理S300以及 通常再现处理S400的不同点仅为处理S313。即，处理S313中，除 了结构信息外，还预先存储编码标准信息。该编码标准信息与结构 信息一起在显示目标确定处理S230中使用。另外，如图9(B)所示，本实施方式中的显示目标确定处理S230 与实施方式1中的显示目标确定处理S200不同的是增加了处理S213 这一点。即本实施方式的显示目标确定处理S230中，根据结构信息， 分别求出各信道的显示目标候选的要解码张数F (x) (S202)后， 根据编码标准信息校正该要解码张数F (x) (S213)。此外的处理 与实施方式1的显示目标确定处理S200同样。作为基于编码标准信,包，的校正的 一 例，例如考虑各信道的编码 标准中的平均解码时间之比，来校正各信道的要解码张数F (x)。 例如，当信道A为MPEG2标准、信道B为H.264标准时，信道A 的F ( x )取1 / 2倍(缩放比率=0. 5 )，信道B的F ( x )保持原 样(缩放比率=1)使用。 一般，编码标准越复杂解码所需时间越长， 因此可以认为校正后的值，大体与直到得到显示目标候选的图像为 止所需的时间相关。如上所述，根据本实施方式，除了得到与实施方式1同样的作 用效果外，还有如下效果，通过作为基于要解码张数的差的评价指 标而使用基于编码标准信息校正的指标，显示目标确定处理中能够 考虑到编码标准。由此，能够将各信道间的实际的解码时间差更正 确地反映于显示目标确定处理，能够得到更自然的再现图像。。编码标准不是在位流中复杂变化的，因此，各信道的编码标准 信息未必需要在每次图像层的首部解析处理中取得。例如，显然可 以通过其他途径从外部向该装置提供编码标准信息。 (实施方式4)图11是本发明实施方式4的动态图像解码装置的结构图。图11中，对与图l相同的构成要素给予与图l相同的标号，这里省略其详细说明。图ll的结构中，緩冲器(緩沖存储器)501a、 501b的功 能和控制部154中的处理与实施方式1的图1的结构不同。本实施方式与实施方式1不同的是，緩冲器501a、 501b除了对 解码部511a、 511b输出位流外，还对控制部154输出指针信息，控 制部154除了用结构信息外还用指针信息来确定显示目标这一点。 指针信息是指例如表示緩冲器501a、 501b的读出侧的指针位置的变 化的信息。能够根据该指针信息取得每个帧的指针位置的移动量， 即各帧的码量。从緩沖器501a、501b输出的指针信息与从解码部51 la 输出的结构信息一起，存储在控制部154具有的信息存储装置中。图12和图13是表示控制部154的具体动作的流程图。图12和 图13中，对与实施方式1中的图3和图4相同的步骤给予相同的标 号，这里省略其详细说明。图12 (A)是基本动作的控制流程，图 12 (B)是图12 ( A)中的显示目标确定处理S240的详细流程，图 13(A)是图12(A)中的特殊再现处理S340的详细流程，图13(B) 是图12(A)中的通常再现处理S440的详细流程。这里以包含信道 A、 B的多个信道为对象。如图13(A)、 (B)所示，本实施方式中的特殊再现处理S340 以及通常再现处理S440与实施方式1中的特殊再现处理S300以及 通常再现处理S400的不同点仅为处理S314。即，处理S314中，除 了结构信息外还预先存储指针信息。该指针信息与结构信息一起， 在显示目标确定处理S240中使用。另外，如图12(B)所示，本实施方式中的显示目标确定处理 S240与实施方式l中的显示目标确定处理S200不同的是，代替处 理S202、 S203、 S204而增加了处理S241、 S242、 S243这一点。即 本实施方式的显示目标确定处理S240中j艮据结构信息和指针信息， 对各信道的显示目标候选，分别计算解码所需的码量即要解码码量B (x) (S241)。 X表示信道。在此，控制部154能够根据指针信息 中所含的指针位置的变化计算各帧的码量。并且，能够用计算出的各帧的码量，求出直到得到显示目标候选为止必须解码的码量的总 计、即要解码码量B(X)。 一般，码量越多解码所需时间越长，因 此可以认为要解码码量大体与直到得到显示目标候选的图像为止所 需的时间相关。然后，求出所有信道间的要解码码量B( x)之差的最大值maxBd (S242),将该最大值maxBd与预定的阈值Bdth比较(S243 )。 当最大值maxBd小于阈值Bdth时，将当前的显示目标候选确定为显 示目标(S206 ),结束处理。另一方面，当最大值maxBd在阈值Bdth 以上时，取消当前的显示目标候选，设定下一个显示目标候选 (S205 ),再从S250起进行处理。在该显示目标确定处理S240中，作为基于要解码码量的信道间 之差的评价指标而使用了要解码码量之差的最大值，也可以使用其 他值。例如，可以取任意2信道间的差的平均值，将其作为评价指 标。如上所述，本实施方式中，对各信道的显示目标候选分别计算 要解码码量，当基于该要解码码量的差的评价指标比预定的阈值小 时，将显示目标候选确定为显示目标，另一方面，在大于等于预定 的阈值时，取消显示目标候选。即，将基于要解码码量的差的评价 指标在预定的阈值以上的帧组从显示目标的对象中排除。由此，能 够得到如下效果，成为信道间的画面更新时刻不一致的原因的、要 解码码量之差大的帧将不被设定为显示目标，能够消除信道间的画 面更新的明显不一致，得到更自然的再现图像。本实施方式中，根据从緩沖器501a、 501b的输出的指针信息， 取得各帧的码量，但也可以代替使用指针信息，例如，对解码部511 a、 511b具有的可变长度解码器中解码的码量进行计数，用该计数出的 码量，取得各帧的码量。 (实施方式5)图14是本发明实施方式5的动态图像解码装置的结构图。图14 中，对与图l相同的构成要素给予与图l相同的标号，这里省略其详细说明。图14的结构中，解码部515a、 515b以及控制部155中 的处理与实施方式1的图1的结构不同。还追加了计时部160。通常， 动态图像的解码装置中，大多不仅对视频还具有对音频的解码功能， 该情况下，进行将视频和音频的时间戳信息与基准时刻进行比较、 并调整为两者大致同时输出的处理(AV同步处理或对口型)。例如， 可将保持该基准时刻的装置用作计时部160。本实施方式与实施方式1不同的是，解码部515a、 515b除了输 出结构信息外还输出解码定时信息，控制部155除了用结构信息外 还用解码定时信息来确定显示目标这一点。解码定时信息是指例如 表示对各帧进行解码时的起始定时和结束定时的信息。解码部515a、 515b在为了顺序再现位流而解码时，输出解码定时信息。控制部155 从解码部515a、 515b接收到解码定时信息时，参照计时部160的时 刻信息求出该时刻，并存储于信息存储装置。由此，各帧的解码开 始以及结束时刻存储于控制部155。图15和图16是表示控制部155的具体动作的流程图。图15和 图16中，对与实施方式1中的图3和图4相同的步骤给予相同的标 号，这里省略其详细说明。图15 (A)是基本动作的控制流程，图 15 (B)是图15 (A)中的显示目标确定处理S250的详细流程，图 16(A)是图15(A)中的特殊再现处理S350的详细流程，图16(B) 是图15(A)中的通常再现处理S450的详细流程。在此，以包含信 道A、 B的多个信道为对象。如图16(A) 、 (B)所示，本实施方式中的特殊再现处理S350 以及通常再现处理S450与实施方式1中的特殊再现处理S300以及 通常再现处理S400的不同点仅为处理S315。即，处理S315中，除 了结构信息外，还预先存储基于解码定时信息得到的解码时刻。该 解码时刻与结构信息一起，在显示目标确定处理S250中使用。另外，如图15(B)所示，本实施方式中的显示目标确定处理 S250与实施方式l中的显示目标确定处理S200不同的是，代替处 理S202、 S203、 S204,而增加了处理S251、 S252、 S253这一点。即本实施方式的显示目标确定处理S250中，根据结构信息和解码时 刻，对各信道的显示目标候选，分别计算解码所需的解码时间即要 解码时间T (x) (S251) 。 x表示信道。在此，控制部155能够根 据各帧的起始解码时刻和结束解码时刻计算各帧的解码时间。然后， 能够用计算出的各帧的解码时间，求出直到得到显示目标候选为止 解码所需时间的总计，即要解码时间T (x)。
然后，求出所有信道间的要解码时间T(x)之差的最大值maxTd (S252 ),将该最大值maxTd与预定的阈值Tdth比较(S253 )。当 最大值maxTd小于阈值Tdth时，将当前的显示目标候选确定为显示 目标(S206),结束处理。另一方面，当最大值maxTd在阈值Tdth 以上时，取消当前的显示目标候选，设定下一个显示目标候选 (S205 )，再/人S260起进行处理。
该显示目标确定处理S250中，作为基于要解码时间的信道间的 差的评价指标，使用了要解码时间的差的最大值，但也可以使用其 他值。例如，也可以取任意2信道间的差的平均值，将其作为评价 指标。
如上所述，本实施方式中，对各信道的显示目标候选分别计算 要解码时间，当基于该要解码时间之差的评价指标比预定的阈值小 时，将显示目标候选确定为显示目标，另一方面，当上述评价指标 大于等于预定的阈值时，取消显示目标候选。即，将基于要解码时 间之差的评价指标在预定的阈值以上的帧组从显示目标的对象中排 除。由此，能够得到以下效果成为信道间的画面更新时刻不一致 的原因的、要解码时间之差大的帧不被设定为显示目标，信道间的 画面更新的明显不一致被消除，能够得到更自然的再现图像。并且， 通过测量实际上各帧的解码所需的时间，能够使各信道间实际的解 码时间差更正确地反映在显示目标确定处理中，能够得到更自然的 再现图像。
上述实施方式1 5中，可能产生如下问题当过于连续地发生 显示目标候选的取消时，画面更新的频度极端地下降，因此看起来像准静止图像，作为动态图像增加不自然。为了避免该问题，当显 示目标候选的取消发生了预定次数以上时，可以使取消无效，将该 显示目标候选强制地确定为显示目标，使其显示。特别是作为一例，
PinP图像中被认为用户主要注视的机会多的主要视频(以较大面积
显示的信道的视频)，比次要视频(以小面积显示的信道的视频)
的画面更新的频度高，因此可以将主要视频的信道预先指定为优先
信道，仅对该信道进行以上那样的取消无效化处理。
上述实施方式1~5中，显示目标确定处理中，对显示目标候选
求出基于要解码张数、要解码码量或要解码时间之差的评价指标， 将其与预定的阈值比较，由此判断将该显示目标候选确定为显示目
标还是将其取消。也可以取而代之进行例如以下那样的处理。即， 也可以对同 一 时刻的各个帧组，预先求出基于要解码张数等之差的 评价指标，按照所指示的特殊再现模式，从该评价指标比预定的阈 值小的帧组中，选择显示目标。通过这样的处理，基于要解码张数 等之差的评价指标在预定的阈值以上的帧组能够从显示目标的对象 中排除，因此与上述各实施方式1~5同样，能够消除信道间的画面 更新的明显不一致，得到更自然的再现图像。 (实施方式6)
图17是本发明实施方式6的动态图像解码装置的结构图。图17 中，对与图l相同的构成要素给予与图l相同的标号，这里省略其 详细说明。图17的结构中，控制部170中的处理与实施方式1的图 1的结构不同。
上述实施方式1~5中，显示目标被确定时，各信道中，如果显 示目标的解码完成，则接下来再现所得到的图像数据。与此不同， 本实施方式中特征在于对显示目标求出被预测为解码最慢的信道 (以下称为迟滞信道)，直到该迟滞信道中的解码完成为止，其他 信道中也不进行图像显示更新而是等待，使显示定时一致。
图18是表示本实施方式中的再现图像的观察方法的 一例的示意 图。如图18所示，假定信道A比信道B早完成解码时，使信道A的显示更新进行等待，直到信道B的解码完成为止，然后与信道B 的显示更新同步进行。另外，相反，假定信道B比信道A早完成解 码时，使信道B的显示更新进行等待，直到信道A的解码完成为止， 与信道A的显示更新同步进行。
本实施方式中，显示目标的确定按照所指示的预定的特殊再现 模式来进行。即，上述实施方式1 5中，按照采用了要解码张数等 的预定规范，进行显示目标候选的取消，但本实施方式中不进行那 样的显示目标候选的取消。例如，当被指示了反向低速再现时，确 定显示目标^使得以预定的帧间隔回;^文。
图19和图20是表示控制部170的具体动作的流程图。图19和 图20中，对与实施方式1中的图3和图4相同的步骤给予相同的标 号，这里省略其详细说明。图19 (A)是基本动作的控制流程，图 19 (B)是图19 (A)中的迟滞信道特定处理S260的详细流程，图 20是图19(A)中的特殊再现处理S360的详细流程。另外，图19 (A)中的通常再现处理S400与图4(B)所示的同样。在此，以包 含信道A、 B的多个信道为对象。
如图19(A)所示，在特殊再现的情况下，首先，按照所指示 的特殊再现模式确定显示目标(S201A)。接下来，进行迟滞信道特 定处理S260。迟滞信道特定处理S260中，如图19 (B)所示，根据 结构信息，求出各信道的显示目标的要解码张数F (x) (S261), 求出该要解码张数F (x)为最大的信道X (S262)。该信道X为迟 滞信道。
接下来，进行特殊再现处理S360。本实施方式中的特殊再现处 理S360与实施方式1中的特殊再现处理S300的不同点仅在于处理 S309。即，处理S309中，在对图像数据进行解码指示(S307 )后， 被解码的图像数据被存储在帧存储器520a、 520b中时，不进行图像 显示的指示，而存储能够显示该图像的情况。在此，将该尚未用于 显示更新的显示目标的图像称作显示候选图像。
当对各信道的特殊再现处理S360的结果为，迟滞信道X中显示目标的解码完成，迟滞信道X的显示候选图像已确定时(S500), 进行指示，以显示各信道的帧存储器520a、 520b中存储的显示候选 图像(S600 )。
上述例子，取为进行等待直到处理S500中迟滞信道X的显示目 标的解码完成为止的情况，但也可以在等待时间为预定时间以上时， 作为超时处理而移至下一个处理S600。该情况下，能够抑制直到下 一个显示更新为止的时间过长的情况，能得到更自然的再现图像。
如上所述，本实施方式中，对显示目标分别计算要解码张数， 将该要解码张数为最大的信道确定为迟滞信道，直到该迟滞信道的 帧的解码完成为止，使各信道的显示更新进行等待，使显示定时一 致。由此，能够得到以下效果，即消除信道间的画面更新时刻不一 致，得到更自然的再现图像。
本实施方式中，为了确定迟滞信道，采用了要解码张数F (x)， 但也可以如上述实施方式2、 3所示那样，采用按图像尺寸信息或编 码标准信息校正了要解码张数F (x)后的量。或者，可以如上述实 施方式4所示那样，采用要解码码量B(x)，如上述实施方式5所 示那样，采用要解码时间T(x)。这些任何一种情况下都能得到以 下效果，即消除信道间的画面更新时刻不一致，得到更自然的再现 图像。
使各信道的显示更新与迟滞信道的显示更新同步进行，但也可 以取而代之，例如，在变为能进行迟滞信道的显示更新的状态后， 在经过预定时间后，进行各信道的显示更新。
本实施方式中，显示目标的确定，只是按照所指示的特殊再现 模式来进行，但也可以如上述实施方式1 ~5所示那样，同步进行采 用了基于要解码张数等的在各信道间的差的评价指标的显示目标的 选择处理。例如，可以在图19 (A)所示的控制流程中，代替处理 S201A，执行实施方式1 ~ 5中说明的显示目标确定处理S200、 S220、 S230、 S240、 S250。 (实施方式7)图21是本发明实施方式7的动态图像解码装置的结构图。图21中，对与图l相同的构成要素给予与图l相同的标号，这里省略其详细说明。图21的结构中，控制部180中的处理与实施方式1的图1的结构不同。
上述实施方式1 5中，特殊再现处理中，对B帧舍弃图像数据(S306 )。这是因为，B帧不是参照帧，其他帧的解码不需要。而与此不同，在本实施方式中，B帧与其他编码类型的帧同样，对其图像数据进行解码。
另外，实施方式1中，显示目标确定处理中，使用解码所需的帧张数即要解码张数进行评价。而与此不同，本实施方式中，不用解码所需的帧张数，而用该GOP中到达显示目标候选为止所存在的所有帧的张数来进行评价。在此，将到达上述显示目标候选为止的帧的张数称为要到达张数。
通过采用这样的处理，在特殊再现处理中，各帧的解码无论是不是B帧都必须进行，具有流程简单化、控制变得简单的优点。
图22和图23是表示控制部180的具体动作的流程图。图22和图23中，对与实施方式1中的图3和图4相同的步骤给予相同的标号，这里省略其详细说明。图22 (A)是基本动作的控制流程，图22 (B)是图22 ( A)中的显示目标确定处理S270的详细流程，图23是图22 ( A)中的特殊再现处理S370的详细流程。另外，图22(A)中的通常再现处理S400与图4(B)所示的同样。在此，以包含信道A、 B的多个信道为对象。
显示目标确定处理S270中，如图22(B)所示，代替要解码张数F(x)，采用要到达张数F， (x)。即，控制部180根据结构信息，分别求出各信道的显示目标候选的要到达张数F， (x)(S202A)。接下来，求出所有信道间的要到达张数F， (x)之差的最大值maxFd， ( S203A),将该最大值maxFd，与预定的阈值Fdth，比较(S204A)。当最大值maxFd，小于阈值Fdth，时，将当前的显示目标候选确定为显示目标(S206 ),结束处理。另一方面，
33当最大值maxFd，在阈值Fdth，以上时，取消当前的显示目标候选，设定下一个显示目标候选(S205 )，再从S202A开始进行处理。
特殊再现处理S370中，如图23所示，与编码类型无关对所有的帧的图像数据进行解码。即，控制部180首先指示解码部511a进行位流的图像层以上的首部解析(S301)，存储作为结果得到的结构信息(S302 )。接下来，指示解码装置511a进行图像数据的解码(S307 )。接下来，判断帧与显示目标是否一致(S303 ),当一致时，指示帧存储器520a显示该图像(S308 )。另一方面，当帧与显示目标不一致时，返回S301,开始下一个帧的处理。
如上所述，在本实施方式中，对各信道的显示目标候选分别计算要到达张数，当基于该要到达张数之差的评价指标比预定的阈值小时，将显示目标候选确定为显示目标，另一方面，当上述评价指标大于等于预定的阈值时，取消显示目标候选。由此，能够取得如下效果，即成为信道间的画面更新时刻不一致的原因的、要到达张数之差大的帧组不被设定为显示目标，信道间的画面更新的明显不一致被消除，得到更自然的再现图像。
本实施方式中，为了确定显示目标，采用了要到达张数F， (x),但也可以与上述实施方式2、 3同样，采用按图像尺寸信息或编码标准信息校正了要到达张数F， (x)后的量。或者，也可以与上述实施方式4同样，采用直到到达显示目标候选为止的所有帧的总码量即要到达码量B， (x),也可以与上述实施方式5同样，采用直到到达显示目标候选为止的所有帧的总解码时间即要到达时间T' ( x )。在这些任意一种情况下，都能够取得如下效果，即信道间的画面更新时刻不一致被消除，得到更自然的再现图像。(实施方式8)
图24是本发明实施方式8的动态图像解码装置的结构图。图24中，对与图l相同的构成要素给予与图l相同的标号，这里省略其i羊细i兌明。
上述实施方式l中，各信道的解码处理，由单独的解码部511a、
34511b分别执行。而与此不同，本实施方式中，如图24所示，作为仅 具备一个解码部516的结构，通过分时处理进行各信道的解码处理。 700、710是开关，开关700进行解码部516的输入的切换，开关710 进行解码部516的输出的切换。控制部560除了控制解码部516和 帧存储器520a、 520b以外，还控制开关700、 710。
即，本发明中的解码部，可以如上述各实施方式那样，由按每 个信道设置的多个解码部构成，也可以如本实施方式那样，由一个 解码部和进行输入输出切换的开关的组合构成。
信道A、 B的动态图像的位流，分别存储在緩冲器500a、 500b 中。各信道的位流，经由开关700提供给解码部516，复原的图像经 由开关710存储在帧存储器520a或520b中。在此，控制部560管 理当前哪个信道正在解码中，对开关700、 710进行控制，使其选择 正在进行解码处理的 一 侧的位流和帧存储器。
图25是表示本实施方式中的解码的分时处理的图。在实现图25 (A)那样的图像再现时，如图25(B)所示，以l帧为单位切换进 行各信道的解码处理。
图26是控制部560的基本动作的控制流程。与实施方式1的图 3 (A)的控制流程的不同点有两点。第一点、追加了在指示了特殊 再现模式时判断显示目标是否已被输出的步骤S800。在未输出的情 况下绕过显示目标确定处理S200。第二点、分别在通常再现和特殊 再现中逐次执行信道A的处理和信道B的处理。即，特殊再现中， 执行信道A的特殊再现处理S300a和信道B的特殊再现处理S300b， 通常再现中，执行信道A的通常再现处理S400a和信道B的通常再 现处理S400b。信道A和信道B的处理的^U亍顺序可逆。另外，信 道数比2多时，对各信道分别执行处理。
显示目标确定处理S200,与实施方式1的图3 (B)同样。另夕卜， 通常再现处理S400a、 S400b基本与实施方式1的图4 (B)同样， 但通常再现处理S400a中，将开关700切换到緩冲器500a—侧，将 开关710切换到帧存储器520a—侧，而在通常再现处理S400b中，将开关700切换到緩沖器500b —侧，将开关710切换到帧存储器 520b 一侧。
图27是特殊再现处理S300a、 S300b的详细流程。与实施方式1 的图4 (A)不同的是，在处理S305、 S306之后，不跳到进行下一 个图像的首部解析的处理S301,而结束处理这一点。另外，特殊再 现处理S300a中，将开关700切换到缓冲器500a—侧，将开关710 切换到帧存储器520a—侧，而特殊再现处理S300b中，将开关700 切换到緩冲器500b —侧，将开关710切换到帧存储器520b —侧。
本实施方式与实施方式1同样，能够取得如下效果，即成为信 道间的画面更新时刻不 一致的原因的、要解码张数之差大的帧组不 被设定为显示目标，信道间的画面更新的明显不一致被消除，得到 更自然的再现图像。另外，本实施方式中，通常由多个电路块构成 的解码部仅为l个即可，因此能够缩小解码装置的电路规模，因此， 具有能够以低价格提供解码装置的优点。只是在要解码的信道为n 信道且相同图像尺寸的视频的情况下，解码部516需要具有n倍速 以上的解码能力。为了得到高的解码能力， 一般，具有动作频率变 高后功耗增大这样的折衷的关系。
也可以如下这样构成特殊再现处理S300a、 S300b，即不是必 须以1帧为单位将解码处理切换到其他信道，代替停止输出显示目 标的信道的特殊再现处理，而优先进行未输出的信道的处理。即， 如图25(C)所示，对于信道B的P4帧，当成对的信道A—侧的 B4帧的解码处理完成并已输出时，不切换到信道A—侧而继续进行 特殊再现处理，直到接着P4帧能输出为止。由此，产生能够使画面 更新更平整，得到更自然的再现图像这样的优点。
显然本实施方式这样的仅具备一个解码部的结构，也能适用于 实施方式1以外的实施方式2 ~ 7。
上述各实施方式中，对动态图像的信道数为2的情况进行了说 明，但也可以是3个以上的信道。该情况下，作为基于要解码张数 (要解码码量、要解码时间、要到达张数)在各信道间的差的评价指标，例如使用以下评价指标即可。即，对各信道计算要解码张数 等后，将其中的最大值与最小值之差用作基于各信道间之差的评价
指标。或者，也可以将任意两个信道间之差的平均值用作基于各信 道间之差的评价指标。
另外，上述各实施方式中，说明了动态图像的位流的数据是按
照MPEG2标准来编码的情况，显然也适用于按照其他编码标准，例 如MPEG1标准、MPEG4标准、H.261标准、H.263标准、H.264标 准、VC-1标准等进行解码处理的动态图像解码方法和动态图像解 码装置。只是在上述说明中，有时在特殊再现时当前正在解码中的 帧为显示目标以外时舍弃B帧，^旦按照H.264标准这样的编码标准， B帧也有一部分种类可能被参照。因此，在这样的编码标准的情况 下，不舍弃可能被参照的B帧而变更处理。
另外，上述各实施方式中的动态图像的位流，显然不限于仅由 图像数据构成的位流，作为一例，对于包含音频数据、文本数据、 字幕数据、菜单等的GUI用的静止图像数据这样的付随在图像数据 上的数据的位流，也能同样适用。
另外，上述各实施方式中，作为特殊再现的一例，举例说明了 反向低速再现，其他特殊再现，例如，快进再现、低速再现、快退 再现等也能同样适用。
(电子设备中的应用例1 )
图28是表示具备本发明的动态图像解码装置的电子设备的结构 例的框图。如图28所示，电子设备C100除了本发明的动态图像解 码装置C20之外，还有位流供给部CIO、图像输出部C30、存储介 质C60以及用户操作输入部C50。另外，作为外围装置有用户操作 装置C40和图像显示装置C70。存储介质C60有时也从外部安装到 电子设备C100上。
在此，位流供给部C10供给蓝光DVD这样的光盘等存储介质 C60中存储的位流。动态图像解码装置C20再现与从位流供给部C10 输入的位流对应的动态图像。用户操作装置C40用于用户指示电子设备C100的动作模式。用户操作部C50接收用户操作装置C40的 输出。图像输出部C30将由动态图像解码装置C20再现的图像输出 到外部，具有与显示器等图像显示装置C70的接口的功能。
图29表示作为电子设备的一例的光盘再现装置的外观图。图29 的光盘再现装置包括作为读出盘中存储的位流的位流供给部的驱 动装置UIO、作为显示再现的动态图像的图像显示装置的显示器 U30、施加再现的开始/停止或特殊再现的指示的操作开关U40。
存储介质C60除了光盘以外，也可以是例如存储卡等。位流供 给部C10除了光盘驱动以外，也可以是例如读卡器等。用户操作装 置C40也可以是例如输入面板、按钮、遥控器等。图像输出部C30 也可以是例如NTSC、 PAL等模拟视频输出的接口或数字视频接口 等。图像显示装置C70也可以是液晶显示器、PDP、 CRT等。
(电子设备中的应用例2)
图30是表示具备本发明的动态图像解码装置的电子设备的结构 例的框图。如图30所示，电子设备C110不从存储介质而从广播、 网络接收位流。位流供给部C10例如由网络输入接口构成。作为这 样的电子设备C110的例子，可以考虑从网络或广播接收流的便携信 息终端、便携电话、机顶盒(STB: SetTopBox)等。
另外，在上述应用例l、 2中，用户操作装置C40和图像显示装 置C70也可以与电子i殳备C100 —体;也构成，也可以分开构成而通过 有线或无线来连接。
并且，作为能应用本发明的电子设备，除了以上列举出的例子 以外，还可以考虑个人计算机、利用存储卡或HDD来对流进行存储 再现的装置等各种电子设备。
工业可利用性
本发明能够应用于例如具有动态图像解码和再现功能的集成电 路或具有这样的集成电路的光盘再现装置、从个人计算机、存储卡 或HDD等存储流的装置或网络、广播等接收流的便携信息终端、便 携电话、机顶盒装置。
38
权利要求
1.一种动态图像解码方法，分别对多个信道的编码动态图像进行解码，并将其合成在同一画面上来进行再现，其特征在于，包括对各信道取得上述编码动态图像的结构信息的步骤；在被指示了预定的特殊再现模式的情况下，根据上述结构信息来确定各信道在同一时刻的帧组即作为再现对象的显示目标的步骤；以及分别对上述显示目标进行解码的步骤，在上述显示目标确定步骤中，从显示目标的对象中排除各信道的同一时刻的帧组中根据上述结构信息求出的、基于解码所需要的帧张数即要解码张数在各信道间的差的评价指标为预定阈值以上的帧。
2. 根据权利要求1所述的动态图像解码方法，其特征在于， 在上述取得步骤中，除了上述结构信息外，还取得上述编码动态图像的图像尺寸信息，在上述显示目标确定步骤中，使用基于上述图像尺寸信息校正 后的值来作为基于上述要解码张数在各信道间的差的评价指标。
3. 根据权利要求1所述的动态图像解码方法，其特征在于， 在上述取得步骤中，除了上述结构信息外，还取得上述编码动态图像的编码标准信息，在上述显示目标确定步骤中，使用基于上述编码标准信息校正 后的值来作为基于上述要解码张数在各信道间的差的评价指标。
4. 根据权利要求1所述的动态图像解码方法，其特征在于， 在上述取得步骤中，除了上述结构信息外，还在各信道中取得各帧的码量，在上述显示目标确定步骤中，使用根据上述结构信息和上述各 帧的码量求出的、基于解码所需的码量即要解码码量在各信道间的 差的评价指标来代替基于上述要解码张数在各信道间的差的评价指标。
5. 根据权利要求4所述的动态图像解码方法，其特征在于，在上述取得步骤中，根据从为了对上述编码动态图像进行解码而用于暂时存储的緩冲存储器中输出的指针信息，来求出上述各帧的码量。
6. 根据权利要求1所述的动态图像解码方法，其特征在于，在上述取得步骤中，除了上述结构信息外，还在各信道中取得各帧的解码时间，在上述显示目标确定步骤中，使用根据上述结构信息和上述各帧的解码时间求出的、基于解码所需的解码时间即要解码时间在各信道间的差的评价指标来代替基于上述要解码张数在各信道间的差的评价指标。
7. 根据权利要求1、 5和6中任意一项所述的动态图像解码方法，其特征在于，在上述显示目标确定步骤中，具有取消上述评价指标为预定阈值以上的显示目标候选的处理，对于预先指定的优先信道，当上述显示目标候选的取消处理发生预定次数以上时，使上述显示目标候选的取消无效。
8. —种动态图像解码方法，分别对多个信道的编码动态图像进行解码，并将其合成在同一画面上来进行再现，其特征在于，包括对各信道取得上述编码动态图像的结构信息的步骤；在被指示了预定的特殊再现模式的情况下，确定各信道在同一时刻的帧组即作为再现对象的帧亦即显示目标的步骤；对上述显示目标，根据上述结构信息来特定被预测为解码最慢的信道即迟滞信道的步骤；以及对上述显示目标进行解码，且在上述迟滞信道的帧的解码完成后，对各信道使定时 一致来合成解码后的图像数据并对其进行再现的步骤，在上述迟滞信道确定步骤中，在作为上述显示目标的帧组中，求出根据上述结构信息而求出的、解码所需的帧张数即要解码张数为最大的帧，并将该帧的信道特定为上述迟滞信道。
9. 根据权利要求8所述的动态图像解码方法，其特征在于，在上述取得步骤中，除了上述结构信息外，还取得上述编码动态图像的图像尺寸信息，在上述迟滞信道特定步骤中，使用基于上述图像尺寸信息校正后的值来作为上述要解码张数。
10. 根据权利要求8所述的动态图像解码方法，其特征在于，在上述取得步骤中，除了上述结构信息外，还取得上述编码动态图像的编码标准信息，在上述迟滞信道特定步骤中，使用基于上述编码标准信息校正后的值来作为上述要解码张数。
11. 根据权利要求8所述的动态图像解码方法，其特征在于，在上述取得步骤中，除了上述结构信息外，还在各信道中取得各帧的码量，在上述迟滞信道特定步骤中，使用根据上述结构信息和上述各帧的码量求出的、解码所需的码量即要解码码量来代替上述要解码张数。
12. 根据权利要求8所述的动态图像解码方法，其特征在于，在上述取得步骤中，除了上述结构信息外，还在各信道中取得各帧的解码时间，在上述迟滞信道特定步骤中，使用根据上述结构信息和上述各帧的解码时间求出的、解码所需的解码时间即要解码时间来代替上述要解码张数。
13. 根据权利要求8、 11和12中任意一项所述的动态图像解码方法，其特征在于，在上述显示目标确定步骤中，从显示目标的对象中排除各信道的同 一 时刻的帧组中基于上述要解码张数、上述要解码码量或上述要解码时间在各信道间的差的评价指标为预定阈值以上的帧。
14. 根据权利要求1所述的动态图像解码方法，其特征在于，在上述显示目标确定步骤中，使用基于GOP中到达该帧为止的帧的张数即要到达张数在各信道间的差的评价指标来代替基于上迷要解码张数在各信道间的差的评价指标。
15. 根据权利要求1-14中任意一项所述的动态图像解码方法， 其特征在于，上述预定的特殊再现模式为反向低速再现模式。
16. —种动态图像解码装置，分别对多个信道的编码动态图像进行解码，并将其合成在同一画面上来进行再现，其特征在于，包括解码部，对各信道的编码动态图像进行解码，并取得上述编码动态图像的结构信息；多个帧存储器，按信道分别存储从上述解码部输出的帧图像数据；以及控制部，控制上述解码部和上述各帧存储器，且从上述解码部接收上述结构信息，其中，上述控制部进行在被指示了预定的特殊再现模式的情况下，根据上述结构信息来确定各信道在同 一 时刻的帧组即作为再现对象的显示目标的处理；和指示上述解码部对上述显示目标进行解码的处理，并且，在上述显示目标确定处理中，从显示目标的对象中排除各信道的同一时刻的帧组中根据上述结构信息求出的、基于解码所需要的帧张数即要解码张数在各信道间的差的评价指标为预定阈值以上的帧。
17. 根据权利要求16所述的动态图像解码装置，其特征在于，上述控制部除了从上迷解码部接收上述结构信息外，还接收上述编码动态图像的图像尺寸信息，并且，在上述显示目标确定处理中，使用基于上述图像尺寸信息校正后的值来作为基于上述要解码张数在各信道间的差的评价指标。
18. 根据权利要求16所述的动态图像解码装置，其特征在于，上述控制部除了从上述解码部接收上述结构信息外，还接收上述编码动态图像的编码标准信息，并且，在上述显示目标确定处理中，使用基于上述编码标准信息校正后的值来作为基于上述要解码张数在各信道间的差的评价指标。
19. 根据权利要求16所述的动态图像解码装置，其特征在于，还包括为了对上述编码动态图像进行解码而用于暂时存储的緩冲存储器，上述控制部接收从上述緩沖存储器输出的指针信息，根据该指针信息求出各信道中的各帧的码量，并且，在上述显示目标确定处理中，使用根据上述结构信息和上述各帧的码量求出的、基于解码所需的码量即要解码码量在各信道间的差的评价指标来代替基于上述要解码张数在各信道间的差的评价指标。
20. 根据权利要求16所述的动态图像解码装置，其特征在于，还包括计时部，该计时部输出时刻信息，上述控制部除了从上述解码部接收上述结构信息外，还接收解码定时信息，并根据该解码定时信,1和从上述计时部输出的时刻信息来求出各信道中的各帧的解码时间，并且，在上述显示目标确定处理中，使用根据上述结构信息和上述各帧的解码时间求出的、基于解码所需的解码时间即要解码时间在各信道间的差的评价指标来代替基于上述要解码张数在各信道间的差的评价指标。
21. 根据权利要求16、 19和20中任意一项所述的动态图像解码装置，其特征在于，在上述显示目标确定处理中，上述控制部进行取消上述评价指标为预定阈值以上的显示目标候选的处理，对于预先指定的优先信道，当上述显示目标候选的取消发生预定次数以上时，使上述显示目标候选的取消无效。
22. —种动态图像解码装置，分别对多个信道的编码动态图像进行解码，并将其合成在同一画面上来进行再现，其特征在于，包括解码部，对各信道的编码动态图像进行解码，并取得上述编码动态图像的结构信息；多个帧存储器，按信道分别存储从上述解码部输出的帧图像数据；以及控制部，控制上述解码部和上述各帧存储器，且从上述解码部接收上述结构信息，其中，上述控制部进4亍在被指示了预定的特殊再现模式的情况下，确定各信道在同一时刻的帧组即作为再现对象的帧亦即显示目标的处理；对上述显示目标，根据上述结构信息来特定被预测为解码最慢的信道即迟滞信道的处理；以及指示上述解码部对上述显示目标进行解码，并且在上述迟滞信道的帧的解码完成后，指示上述各帧存储器对各信道使定时一致来合成解码后的图像数据并将其再现的处理，在上述迟滞信道特定处理中，在作为上述显示目标的帧组中，求出根据上述结构信息求出的、解码所需的帧张数即要解码张数为最大的帧，并将该帧的信道特定为上述迟滞信道。
23. 根据权利要求22所述的动态图像解码装置，其特征在于，上述控制部除了从上述解码部接收上述结构信息外，还接收上述编码动态图像的图像尺寸信息，在上述迟滞信道特定处理中，使用基于上述图像尺寸信息校正后的值来作为上述要解码张数。
24. 根据权利要求22所述的动态图像解码装置，其特征在于，上述控制部除了从上述解码部接收上述结构信息外，还接收上述编码动态图像的编码标准信息，并且，在上述迟滞信道特定处理中，使用基于上述编码标准信息校正后的值来作为上述要解码张数。
25. 根据权利要求22所述的动态图像解码装置，其特征在于，还包括为了对上述编码动态图像进行解码而用于暂时存储的緩冲存储器，上述控制部接收从上述緩冲存储器输出的指针信息，并根据该指针信息来求出各信道中的各帧的码量，并且在上述迟滞信道特定处理中，使用根据上述结构信息和上述各帧的码量求出的、解码所需的码量即要解码码量来代替上述要解码张数。
26. 根据权利要求22所述的动态图像解码装置，其特征在于，还包括计时部，该计时部输出时刻信息，上述控制部除了从上述解码部接收上述结构信息外，还接收解码定时信息，并根据该解码定时信息和从上述计时部输出的时刻信息来求出各信道中的各帧的解码时间，并且，在上述迟滞信道特定处理中，使用根据上述结构信息和上述各帧的解码时间求出的、解码所需的解码时间即要解码时间来代替上述要解码张数。
27. 根据权利要求22、 25和26中任意一项所述的动态图像解码装置，其特征在于，在上述显示目标确定处理中，上述控制部从显示目标的对象中排除各信道的同 一 时刻的帧组中基于上述要解码张数、上述要解码码量或上述要解码时间在各信道间的差的评价指标为预定阈值以上的帧。
28. 根据权利要求16所述的动态图像解码装置，其特征在于，在上述显示目标确定处理中，上述控制部使用基于GOP中到达该帧为止的帧的张数即要到达张数在各信道间的差的评价指标来代替基于上述要解码张数在各信道间的差的评价指标。
29. 根据权利要求16-28中任意一项所述的动态图像解码装置，其特征在于，上述预定的特殊再现模式为反向低速再现模式。
30. —种电子设备，其特征在于，包括权利要求16-29中任意一项所述的动态图像解码装置；位流供给部，向上述动态图像解码装置供给各信道的编码动态图像；以及图像输出部，为了显示而输出从上述动态图像解码装置输出的再现图像。
全文摘要
本发明提供一种动态图像解码方法、动态图像解码装置以及电子设备。对多个信道的编码动态图像进行解码并将其合成在同一画面上来进行再现的动态图像解码装置包括对各信道的编码动态图像进行解码的解码部(511a、511b)；存储解码后的帧图像数据的帧存储器(520a、520b)；以及控制解码部和帧存储器的控制部(151)。控制部(151)在被指示了预定的特殊再现模式的情况下，根据结构信息进行如下处理，即将基于要解码张数在各信道间之差的评价指标在预定的阈值以上的帧组从显示目标的对象中排除。
文档编号H04N7/26GK101658039SQ20088001189
公开日2010年2月24日 申请日期2008年4月7日 优先权日2007年4月13日
发明者安田诚 申请人:松下电器产业株式会社