多视点动态图像解码装置、多视点动态图像解码方法、程序以及集成电路的制作方法

文档序号:7909887阅读:168来源:国知局
专利名称:多视点动态图像解码装置、多视点动态图像解码方法、程序以及集成电路的制作方法
技术领域
本发明涉及对被多视点编码并存在参照关系的多个动态图像编码流进行解码的多视点动态图像解码装置、多视点动态图像解码方法、程序及集成电路。
背景技术
提出了用于使人在视觉上辨识立体的动态图像的对立体动态图像进行编码的方式。例如,有如下方式,即作为左眼用、右眼用,准备分别从不同的方向摄影的两种以上的动态图像,对它们分别进行相互具有参照关系的编码,将多个动态图像编码流进行复用而制作。近年来,在非专利文献1中,该方式作为多视点动态图像编码(Multiview Video Coding。以下记作MVC)而被规格化。图14A及图14B是说明现有技术中的MVC的图。在MVC中,规定了来自多个视点的动态图像相互具有参照关系并被编码后的动态图像编码流。另外,由MVC规定的多视点编码后的多个动态图像编码流由以下两个种类构成, 即不具有参照关系的动态图像编码流、即仅通过该动态图像编码流而能够解码的至少1 个动态图像编码流(以下,记作Base View (基本视点)侧的动态图像编码流),和相互存在参照关系的多个流(以下,记作D印endent View(从属视点)侧的动态图像编码流)。以下,作为其一例,将根据左眼的视点而编码后的基本视点侧的动态图像编码流作为L用动态图像编码流、将根据右眼的视点而编码后的从属视点侧的动态图像编码流作为R用动态图像编码流。图14A是关于MVC的说明图,表示L用图像(基本视点侧的动态图像编码流的解码后图像)和R用图像(从属视点侧的动态图像编码流的解码后图像)的图片结构的一例。另外,在该图中,用解码顺序(Decode Order)来表示L用、R用图像。此外,该图所示的I表示由画面内编码图像构成的图片(以下称作I图片)。此外,P表示由画面间编码图像构成的图片(以下称作P图片)。此外,B表示由双方向编码图像构成的图片(以下称作B图片)。另外,在它们之中,I图片能够仅通过其自身的解码后数据进行原来的图像数据的复原,而在其余的P图片及B图片中,为了将原来的图像数据复原,除了其自身的解码结果以外还需要参照图像。此外,号码越小表示在时间上越靠前的输出图像。此外,(L)、(R)表示L用、R用图像。图14B是关于MVC的说明图,是将图14A以显示顺序(Display Order)表示的图。另外,该图中的箭头表示相互的参照关系,表示在画面间编码时为了将箭头目标的图像复原而参照箭头来源的图像。例如,在BO(L)的情况下,表示为了将B图片BO (L)解码、除了其自身的解码结果以外、作为参照图像还需要I2(L)。L用图像的Bl (L)、B3 (L)、B4(L)、及P5(L)也同样。另外,R用图像中,表示出,BO (R)、Bl (R)、B3 (R)、B4(R)、及P5 (R)也与L用图像同样地参照R用图像,但还包括P2 (R),并能够也参照与相同的显示时刻相当的L用图像。即, 表示出,在这些图像中相互存在参照关系。在此情况下,R用动态图像编码流表示从属视点侧的动态图像编码流。图15是说明用现有技术的MVC规格进行了编码的动态图像编码流的图。S卩,该图表示基于MVC的L用图像、R用图像的相互间的参照关系的一例。在该图中,上段表示左眼用的输出图像,下段表示右眼用的输出图像。S卩,L-I到 L-6表示从左眼用动态图像编码流而解码的输出图像,R-I到R-6表示从右眼用动态图像编码流而解码的输出图像。此外,号码越小表示在时间上越靠前的输出图像。此外,对图像名加下划线的L-5表示从进行了画面内编码的编码图像而解码的输出图像,其以外的图像表示是从进行了画面间编码的编码图像而解码的输出图像。此外,箭头表示在画面间编码时为了将箭头目标的图像解码而参照箭头来源的图像。例如,表示出为了将R-3解码而参照R-2和L-3。在将这样制作的以多个视点进行了编码的动态图像编码流从光盘或硬盘输入、或经由无线发送、或进行流分发的情况下,在到达解码侧的期间中,有可能发生位的反转、缺失、混入等错误,由此有解码图像的画质受损的问题。专利文献1公开了解决这样的问题的多视点动态图像解码装置。该专利文献1所记载的解码装置,从记录有通过将被摄体从多个方向摄影而得到的每个摄影方向的各动态图像编码流的记录介质中,将动态图像编码流读出并解码,从而得到再现图像。该多视点动态图像解码装置包含记录介质读出电路和解码电路,该记录介质读出电路从记录有通过将被摄体从多个方向摄影而得到的每个摄影方向的各图像数据的记录介质中读出动态图像编码流,该解码电路将由记录介质读出电路读出的动态图像编码流暂时储存后进行解码。此外,多视点动态图像解码装置还包含解码错误检测电路,检测在动态图像编码流中是否没有发生错误;解码图像缓冲器,将由解码电路得到的解码图像按每个摄影方向来存储;以及错误图像修复电路,当在动态图像编码流中检测到错误时,作为输出图像而将其他通道(channel)的解码图像以图像为单位来替代错误解码图像而进行修复。在该专利文献1中公开的多视点动态图像解码装置是图16所示那样的结构。艮口, 图16是表示现有技术的多视点动态图像解码装置1000的结构的框图。另外,在以下的说明中,将多通道编码流设想为左眼用的L通道、右眼用的R通道这两个通道的动态图像编码流。如该图所示,输入的多通道的动态图像编码流首先被解码部1010解码而成为解码图像。在到此为止的过程中没有发现错误的情况下,将L通道的解码图像向L通道用的解码图像缓冲器L1041传送以作为输出图像L,成为最终的L通道输出图像。同样,将R通道解码图像向R通道用的解码图像缓冲器R1042依次传送以作为输出图像R,成为最终的R 通道输出图像。将这些输出图像传送给被设计为能够将L通道输出图像显示到用户的左眼、将R通道输出图像显示到用户的右眼的多视点动态图像用(立体动态图像用)的显示装置,用户能够辨识为有立体感的动态图像。这里,在由错误检测部1020在某个通道、例如R通道中检测到错误而判断为不能解码的情况下,右眼用的输出图像缺失、或显示混入了错误的图像。为了避免该问题,错误检测部1020对输出图像确定部1030输出指示,以使得将相同的显示时刻的L通道解码图像也向R通道用的错误图像修复部R1060传送。输出图像确定部1030接受该指示,将L通道解码图像从解码图像缓冲器L1041经由错误图像修复部 R1060作为输出图像R输出。由此,虽然右眼用输出图像和左眼用输出图像为同一图像,但能够避免图像缺失、 或显示混入了错误的图像的状况。进而,在专利文献2中,还公开了通过将检测到错误的通道的过去的图像复制来修复错误的技术。另外,从图16中记载的缓冲器1040(解码图像缓冲器L1041及解码图像缓冲器 R1042)朝向解码部1010的箭头表示在动态图像编码流的画面间解码时参照已解码图像。现有技术文献专利文献专利文献1 日本特开2003-319419号公报专利文献2 日本特开平7-322302号公报非专利文献非专利文献 1 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)推荐 “H. 264”,2009 年 3 月发行
发明概要发明要解决的技术问题但是,在上述现有的多视点动态图像解码装置中,在被多视点编码并存在参照关系的包含多个通道的动态图像编码流的解码时发生了错误的情况下,存在有可能给观看该输出图像的人带来不适感的问题。图1及图2是说明现有技术的多视点动态图像解码装置的问题的图。具体而言,图1表示使用在上述专利文献1中公开的装置来修复了错误的情况下的输出图像。上段及下段的区别、L-I到L-6、R-I到R-6的解码图像、下划线、及实线箭头与图 15相同,所以省略说明。如图1所示,在根据多通道的动态图像编码流中的R通道动态图像编码流而解码的R-2中检测到错误的情况下,由图16所示的错误图像修复部R1060将L-2复制,并作为 R通道用的输出图像来输出。然后,不使用作为比进行了画面内编码的L-5靠前的R通道的解码图像的R-3、 R-4,而继续使用错误图像修复部R1060的输出。S卩,代替R-2、R-3、R-4而输出L_2、L-3、 L-4作为R通道用的输出图像。另外,被虚线包围的R-2、R-3、R-4表示如果在R-2中没有错误则被正确地解码并输出的图像。
这样,在R通道侧检测到错误的情况下,通过将其他通道作为替代而输出,从而在一瞬间立体感损失而成为2维显示,经过一会儿后再次成为有立体感的3维显示。S卩,切换为3维、2维、3维显示,所以有可能给观看该输出图像的人带来不适感。此外,图2表示使用在上述专利文献2中公开的装置来修复了错误的情况下的输出图像。如该图所示,在根据多通道的动态图像编码流中的L通道动态图像编码流而解码的L-2中检测到错误的情况下,不使用包含错误的L-2的解码图像,而是将相同通道的过去的L通道输出图像即L-I作为左眼用的图像来输出。由于过去的图像与当前的图像是相似的图像的情况也较多,所以能够以某种程度的画质进行修复。在L通道侧的L-3以后的L通道动态图像编码流中没有检测到错误的情况下,L_3 以后进行通常那样的解码。此外,有可能对L-2的解码后图像进行参照的R通道动态图像编码流也同样,R-2以后进行通常那样的解码。但是,在作为编码方法而使用非专利文献1的MVC的画面间编码的情况下,L-3不参照本来应参照的L-2而参照L-1,所以,尽管在其自身的编码数据中没有错误,也不能得到正确的输出图像。将其称作L-3’。同样,参照该不正确的L-3’的L-4也不为正确的输出图像,将其称作L-4’。此外,在对R通道(从属视点侧)有可能参照L通道(基本视点侧)的、具有MVC 的特征的动态图像编码流进行了解码的情况下,R通道侧也同样,R-2不参照本来应参照的 L-2而参照L-1,所以尽管在其自身的编码数据中没有错误,也不能得到正确的输出图像。 将其称作R-2’。同样,参照该不正确的R-2’的R-3也不为正确的输出图像,将其称作R_3’。同样, 参照该不正确的R-3’的R-4也不为正确的输出图像,将其称作R-4’。在这些输出图像中,混入因参照了不正确的参照图像而引起的噪声(noise)。另外,被虚线包围的L-2、L-3、L-4、R-2、R-3、R-4表示如果在L-2中没有错误则被正确地解码并输出的图像。此外,这些噪声的连锁持续到不参照前面的图像而进行画面内编码的L-5之前, 达到L-5才能够再次得到正确的输出图像。这样,如果左眼用的图像与右眼用的图像几乎相同,则即使使用在上述专利文献1 中公开的装置也能够没有问题地修复错误。但是,在一般的立体动态图像中,为了强调立体感而在左右的图像中有较大差别的情况较多。因此,仅通过复制与发生了错误的图像相反的眼睛用(视点)的图像,很难说进行了充分的错误修复。此外,在上述专利文献2中公开的、将发生了错误的通道的过去的图像进行复制来修复错误的方法中,虽然在过去的图像与当前的图像之间变化较少的情况下是有效的, 但在过去的图像与当前的图像之间变化较大、动态较大的图像中则不能得到满意的修复结^ ο并且,在解码进行了画面内编码的L-5之前的期间中,在L通道的输出图像中持续混入因参照了错误的参照图像而带来的噪声,所以不仅用户不再感受到立体感,还有可能对观看该输出图像的人带来不适感。
此外,在如具有MVC的特征的动态图像编码流那样、R通道(从属视点)对L通道 (基本视点)的解码后图像进行参照那样的在通道间具有参照关系的情况下,在上述专利文献1中,有不能代替使用其他通道、连解码都不能进行的问题。如以上那样,在被多视点编码并存在参照关系的包含多个通道的动态图像编码流的解码时发生了错误的情况下,存在有可能给观看该输出图像的人带来不适感的问题。

发明内容
所以,本发明是为了解决上述问题而做出的,目的是提供一种多视点动态图像解码装置、多视点动态图像解码方法、程序及集成电路,即使在被多视点编码并存在参照关系的包含多个通道的动态图像编码流的解码时发生了错误的情况下,给图像的内容的辨识带来障碍的可能性也较少,能够尽可能减少对人的视觉的影响。解决技术问题采用的手段为了达到上述目的,有关本发明的多视点动态图像解码装置,将对来自多个视点的多个动态图像进行编码而得到的多个编码动态图像解码,其特征在于,具备解码部,将上述多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式解码,生成由多个解码图像构成的一个解码动态图像,并且,参照包含在上述一个解码动态图像中的解码图像,将上述其他编码动态图像解码,生成其他解码动态图像;错误检测部,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像;以及解码图像变更部,将检测到的上述错误图像变更为不包含错误的第一解码图像,并且,将包含在第二解码动态图像中、作为与上述错误图像对应地显示的解码图像的对应错误图像变更为第二解码图像,上述第二解码动态图像是除了第一解码动态图像以外的解码动态图像,上述第一解码动态图像是包含上述错误图像的解码动态图像;上述解码图像变更部,不利用上述第二解码动态图像而将上述错误图像变更为利用过去图像而生成的上述第一解码图像,该过去图像是比上述错误图像更早被解码的、包含在上述第一解码动态图像中的解码图像,不利用上述第一解码动态图像而将上述对应错误图像变更为利用对应过去图像而生成的上述第二解码图像,该对应过去图像是包含在上述第二解码动态图像中的、与上述过去图像对应地显示的解码图像。由此,从包含在多个解码动态图像中的多个解码图像之中检测错误图像,利用过去图像和对应过去图像将错误图像和对应错误图像变更为不包含错误的图像。因此,不论在输入的多个编码动态图像中的哪个编码动态图像中包含错误,都能够输出没有错误的图像。此外,在为了排除错误图像的错误而仅将错误图像变更为没有错误的图像的情况下,多个解码动态图像间的平衡破坏。例如,在显示3D图像的情况下,如果右眼用的图像与左眼用的图像之间的平衡破坏,则对图像内容的辨识带来妨碍,对人的视觉带来较大的影响。因此,通过不仅是错误图像、而是将错误图像和对应错误图像这两者利用过去图像和对应过去图像进行变更,从而不破坏多个解码动态图像间的平衡。通过这些,在被多视点编码且存在参照关系的包含多个通道的动态图像编码流的解码时发生了错误的情况下,对图像内容的辨识带来妨碍的可能性也较小,能够尽量减小对人的视觉的影响。
10
此外,优选的是,上述解码图像变更部,将上述错误图像变更为利用在上述错误图像的紧前面显示且不包含错误的图像的上述过去图像而生成的上述第一解码图像,将上述对应错误图像变更为利用与上述过去图像对应地显示的上述对应过去图像而生成的上述
第二解码图像。由此,利用在错误图像的紧前面显示且不包含错误的图像即过去图像来变更错误图像,利用与过去图像对应地显示的对应过去图像来变更对应错误图像。因此,由于利用错误图像及对应错误图像的紧前面的图像来变更图像,所以对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,将上述过去图像作为上述第一解码图像而将上述错误图像变更为上述第一解码图像,将上述对应过去图像作为上述第二解码图像而将上述对应错误图像变更为上述第二解码图像。由此,将错误图像变更为过去图像,将对应错误图像变更为对应过去图像。因此, 代替错误图像和对应错误图像而输出并显示过去图像和对应过去图像,所以对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,将对画面内编码图像进行解码而得到的解码图像的紧前面的解码图像作为紧前图像,上述画面内编码图像包含在上述一个解码动态图像的解码前的编码动态图像中;利用上述过去图像来变更错误解码图像,该错误解码图像是包含在上述第一解码动态图像中的、从上述错误图像开始到上述紧前图像或与上述紧前图像对应地显示的解码图像为止所显示的多个解码图像;利用上述对应过去图像来变更对应错误解码图像,该对应错误解码图像是包含在上述第二解码动态图像中的、与上述错误解码图像对应地显示的多个解码图像。由此,利用过去图像来变更从错误图像开始到对画面内编码图像进行解码而得到的解码图像的紧前面的解码图像为止所显示的错误解码图像,利用对应过去图像来变更对应错误解码图像。即,在发生错误后,对错误进行修复,直到在基本视点侧的动态图像编码流中出现画面内编码图像。这里,由于画面内编码图像不参照其他图像而被解码,所以混入错误的可能性较低,在该画面内编码图像以后的图像中混入错误的可能性也较低。因此,通过修复错误直到画面内编码图像出现,从而对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,将作为图像序列的开头图片的即时解码刷新IDR图片作为上述画面内编码图像;利用上述过去图像来变更上述错误解码图像;利用上述对应过去图像来变更上述对应错误解码图像。由此,将IDR图片作为画面内编码图像来变更错误解码图像和对应错误解码图像。即,在发生错误后,对错误进行修复,直到在基本视点侧的动态图像编码流中出现IDR 图片。这里,IDR图片是图像序列的开头图片,是用于解码的信息全部被重置后的图片。因此,IDR图片,在画面内编码图像中混入错误的可能性也较低,在该IDR图片以后的图像中混入错误的可能性也较低。因而,通过修复错误直到IDR图片出现,从而对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,在对上述画面内编码图像进行解码而得到的解码图像和与该解码图像对应地显示的解码图像这两者中不包含错误的情况下,将对上述画面内编码图像进行解码而得到的解码图像的紧前面的解码图像作为上述紧前图像;利用上述过去图像来变更上述错误解码图像;利用上述对应过去图像来变更上述对应错误解码图像。由此,变更错误解码图像和对应错误解码图像,直到对画面内编码图像进行解码而得到的解码图像和对应于该解码图像而显示的解码图像这两者成为不包含错误的图像。 因此,通过在包含错误的期间中修复错误,从而对图像内容的辨识带来妨碍的可能性较小, 能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,变更上述错误解码图像,以使得包含在上述错误解码图像中的多个解码图像成为与利用上述过去图像而生成的上述第一解码图像相同的图像;变更上述对应错误解码图像,以使得包含在上述对应错误解码图像中的多个解码图像成为与利用上述对应过去图像而生成的上述第二解码图像相同的图像。由此,变更包含在错误解码图像中的多个解码图像,以使其成为与利用过去图像而生成的图像相同的图像,变更包含在对应错误解码图像中的多个解码图像,以使其成为与利用对应过去图像而生成的图像相同的图像。即,通过将多个解码图像变更为相同的图像而修复错误,从而能够排除突然显示不同的图像等的不适感。因此,对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码图像变更部,将上述错误图像变更为利用上述过去图像而生成的上述第一解码图像;将在与上述错误图像相同的时刻显示的上述对应错误图像变更为利用在与上述过去图像相同的时刻显示的上述对应过去图像而生成的上述第二解码图像。由此,错误图像和对应错误图像是在相同的时刻显示的图像,利用在相同的时刻显示的过去图像和对应过去图像来进行变更。因此,例如,在将右眼用的图像和左眼用的图像在相同的时刻显示的3D图像中,对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,优选的是,上述解码部,将对来自左眼用的视点及右眼用的视点的动态图像进行编码而得到的两个编码动态图像中的、作为左眼用的编码动态图像的上述一个编码动态图像解码,生成上述一个解码动态图像,并且,将作为右眼用的编码动态图像的上述其他编码动态图像解码,生成上述其他解码动态图像;上述错误检测部,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测上述错误图像;上述解码图像变更部,将上述错误图像变更为上述第一解码图像,并且,将上述对应错误图像变更为上述第二解码图像。由此,在左眼用的图像及右眼用的图像的某个中包含有错误的情况下,将该错误修复。因此,在具有左眼用的图像及右眼用的图像的3D图像中,对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。另外,本发明不仅能够作为这样的多视点动态图像解码装置来实现,还能够作为以包含在多视点动态图像解码装置中的特征性的处理为步骤的多视点动态图像解码装置的控制方法、或多视点动态图像解码方法来实现、或者作为使计算机执行这样的特征性的步骤的程序实现。并且,这样的程序当然可以经由CD-ROM等记录介质及因特网等传送介质来流通。
并且,本发明也可以作为实现这样的多视点动态图像解码装置的功能的一部分或全部的半导体集成电路(LSI)来实现、或具备这样的多视点动态图像解码装置的三维图像显示系统来实现。发明效果如以上这样,根据有关本发明的多视点动态图像解码装置,即使在被多视点编码且存在参照关系的包含多个通道的动态图像编码流的解码时发生了错误的情况下,对图像内容的辨识带来妨碍的可能性也较小,能够尽量减小对人的视觉的影响。


图1是说明现有技术的多视点动态图像解码装置的问题的图。图2是说明现有技术的多视点动态图像解码装置的问题的图。图3是表示本发明的实施方式1的多视点动态图像解码装置的结构的框图。图4是表示本发明的实施方式1的多视点动态图像解码装置进行的解码处理的流程图。图5是表示本发明的实施方式1的多视点动态图像解码装置输出的输出图像的图。图6是表示本发明的实施方式1的多视点动态图像解码装置输出的输出图像的图。图7是表示本发明的实施方式1的多视点动态图像解码装置输出的输出图像的图。图8是表示本发明的实施方式2的多视点动态图像解码装置的结构的框图。图9是说明本发明的实施方式2的解码部对3个编码动态图像进行解码的处理的图。图10是表示本发明的实施方式2的多视点动态图像解码装置进行的解码处理的流程图。图11是表示本发明的实施方式2的多视点动态图像解码装置输出的输出图像的图。图12是表示本发明的实施方式2的多视点动态图像解码装置输出的输出图像的图。图13是表示本发明的实施方式3的多视点动态图像解码装置的结构的框图。图14A是说明现有技术的MVC的图。图14B是说明现有技术的MVC的图。图15是说明用现有技术的MVC规格进行了编码的动态图像编码流的图。图16是表示现有技术的多视点动态图像解码装置的结构的框图。
具体实施例方式以下,参照附图对有关本发明的多视点动态图像解码装置的实施方式进行说明。这里,在说明有关本发明的实施方式的多视点动态图像解码装置之前,关于作为多视点动态图像解码装置所解码处理的对象的多通道动态图像编码流的构成方法,在下面进行说明。通常,多通道动态图像编码流通过将从多个方向对被摄体进行摄影的多通道的动态图像用预先设定的方法进行编码及复用而得到。在以下的说明中,作为编码方法,假设输入作为依据非专利文献1的 ITU-T(International Telecommunication Union Telecommunication Standardization Sector)推荐的H.洸4(2009年3月发行)的方式而基于Multiview Video Coding(MVC) 的、多通道动态图像编码流。另外,流既可以由依据H.沈4的NAL单元构成,也可以由通过其他动态图像编码规格规定的某种固定的流单位、例如G0P(Group OfPicture)、序列 (sequence)、Picture (图片)等构成。此外,此次,在基于MVC的编码时,预先设置一个作为基准的通道(基本视点侧通道),该作为基准的通道进行通常的编码。此外,关于不作为基准的通道的其他通道(从属视点侧通道),能够与作为基准的通道同样进行通常的编码,或者也能够参照相同的显示时刻的作为基准的通道侧的解码后的图像来进行编码。(实施方式1)以下,对本发明的实施方式1的多视点动态图像解码装置进行说明。这里,在本实施方式1中,关于输入到多视点动态图像解码装置中的动态图像编码流的通道数,设想由左眼用的L通道、右眼用的R通道这两个通道构成的多通道动态图像编码流。图3是表示本发明的实施方式1的多视点动态图像解码装置100的结构的框图。多视点动态图像解码装置100是对编码来自多个视点的多个动态图像而得到的多个编码动态图像进行解码的装置。具体而言,多视点动态图像解码装置100是对被多视点编码并存在参照关系的多个动态图像编码流进行解码的装置。如该图所示,该多视点动态图像解码装置100具备解码部110、错误检测部120、解码图像变更部130、及缓冲器140。缓冲器140是存储有解码图像的存储器。缓冲器140具备解码图像缓冲器L141 和解码图像缓冲器R142。解码图像缓冲器L141存储有作为左眼用的解码图像的L用图像。 此外,解码图像缓冲器R142存储有作为右眼用的解码图像的R用图像。解码部110将多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式进行解码,生成由多个解码图像构成的一个解码动态图像,并且参照包含在该一个解码动态图像中的解码图像,将该其他编码动态图像进行解码而生成其他解码动态图像。这里,解码部110将编码来自左眼用的视点及右眼用的视点的动态图像而得到的两个编码动态图像中的、作为左眼用的编码动态图像的该一个编码动态图像进行解码而生成该一个解码动态图像,并且将作为右眼用的编码动态图像的该其他编码动态图像进行解码而生成该其他解码动态图像。具体而言,解码部110将2通道的动态图像编码流中的基本视点侧通道的L用动态图像编码流以不参照从属视点侧通道的R用动态图像编码流的解码图像的方式而解码, 生成由多个解码图像构成的L用图像,并且参照包含在L用图像中的解码图像,将R用动态图像编码流解码而生成R用图像。更具体地讲,解码部110将输入到解码部110中的多通道动态图像编码流进行解码而输出解码图像。解码部110将输出的解码图像存储到缓冲器140中。S卩,解码部110 分别将L用图像、R用图像分离保存到解码图像缓冲器L141、解码图像缓冲器R142。另外,在进行P图片、B图片那样的画面间编码而在解码时需要参照已解码图像的情况下,解码部110参照保存在这些解码图像缓冲器L141、解码图像缓冲器R142中的解码图像。如图3所示,从解码图像缓冲器L141、解码图像缓冲器R142朝向解码部110的箭头表示该参照图像的取得。另外,解码图像缓冲器L141、解码图像缓冲器R142分别能够保存多个已解码图像而不是仅保存1个。此外,在H. 264中,规定1张图片(picture)由多个切片(slice)构成。此外,缓冲器140既可以由外带的存储器构成,也可以由内置的存储器构成。此外,解码图像缓冲器L141、解码图像缓冲器R142既可以处于物理上相同的存储器上,也可以由不同的存储器构成。错误检测部120从包含在一个解码动态图像或其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像。即,错误检测部120从包含在L用图像或R用图像中的多个解码图像之中检测错误图像。具体而言,错误检测部120根据解码部110的解码结果来检测在输入的动态图像编码流之中所包含的错误,从而检测错误图像。另外,错误检测部120并不限于根据解码部 110的解码结果来检测错误图像,也可以根据输入的动态图像编码流来检测错误,从而检测错误图像。这里,所谓错误,是包含在动态图像编码流中的位的反转、缺失、混入等的错误、或句法(syntax)(表示图像信息的顺序、编码数据列等的设定法则的规则)的错误等。S卩,所谓错误,表示出,在将动态图像编码流从光盘或硬盘输入、或经由无线发送、或进行流分发的情况下,由于在该动态图像编码流到达解码部110之前的期间中发生位的反转、缺失、混入等,因而解码部110不能正确地输出解码图像。解码图像变更部130将错误检测部120检测到的错误图像变更为不包含错误的第一解码图像,并且,将对应错误图像变更为第二解码图像,该对应错误图像是指,包含在第二解码动态图像中、对应于该错误图像而显示的解码图像,该第二解码动态图像是指,除了包含该错误图像的作为解码动态图像的第一解码动态图像以外的解码动态图像。具体而言,解码图像变更部130不使用第二解码动态图像,将错误图像变更为利用过去图像而生成的第一解码图像,该过去图像是指包含在比错误图像更早解码的第一解码动态图像中的解码图像,并且,解码图像变更部130不使用第一解码动态图像,将对应错误图像变更为利用对应过去图像而生成的第二解码图像,该对应过去图像是指包含在第二解码动态图像中、对应于过去图像而显示的解码图像。这里,过去图像是在错误图像的紧前显示的图像,是不包含错误的图像。此外,错误图像和对应错误图像是在相同的时刻显示的图像,过去图像和对应过去图像是在相同的时刻显示的图像。更具体地讲,解码图像变更部130将过去图像作为第一解码图像,将错误图像变更为第一解码图像,将对应过去图像作为第二解码图像,将对应错误图像变更为第二解码图像。此外,解码图像变更部130利用过去图像来变更错误解码图像,利用对应过去图
15像来变更对应错误解码图像,该错误解码图像是指,包含在第一解码动态图像中、从错误图像开始、到紧前图像或对应于紧前图像而显示的解码图像为止所显示的多个解码图像,该对应错误解码图像是指,包含在第二解码动态图像中、对应于错误解码图像而显示的多个解码图像。这里,所谓紧前图像,是包含在一个解码动态图像的解码前的编码动态图像中的画面内编码图像被解码后的解码图像紧前面(紧挨着且位于前面)的解码图像。具体而言, 紧前图像,是在将画面内编码图像解码后的解码图像和对应于该解码图像而显示的解码图像这两者中不包含错误的情况下的、将该画面内编码图像解码后的解码图像的紧前面的解码图像。并且,解码图像变更部130变更错误解码图像,以使包含在错误解码图像中的多个解码图像成为与利用过去图像而生成的第一解码图像相同的图像,解码图像变更部130 变更对应错误解码图像,以使包含在对应错误解码图像中的多个解码图像成为与利用对应过去图像而生成的第二解码图像相同的图像。以下,对该解码图像变更部130进行的处理更具体地说明。解码图像变更部130在错误检测部120没有检测到错误图像的情况下,使保存在解码图像缓冲器L141中的L用图像以及保存在解码图像缓冲器R142中的R用图像作为输出图像L及输出图像R分别输出。另外,这些输出图像L及输出图像R分别是L通道用的输出图像、及R通道用的输出图像。另外,关于输出图像,既有在刚刚解码之后就输出的情况,也有在将所参照的解码后图像等解码几张后输出的情况,该输出定时由ITU-T推荐的H.沈4或MPEG (Motion Picture Cording Expert Group ; I SO 11172 (MPEGl)、ISO 13818 (MPEG2))等规定。并且, 在动态图像编码流中记录有该输出定时等,以依照它们的输出顺序及输出定时将输出图像输出。另外,在本实施方式1中,记载了将输出图像在刚刚解码之后就输出的情况,但并不限定于此。此外,既可以将输出图像L及输出图像R直接向外部的显示装置输出,也可以暂时保存到别的存储器中后、进行图像过滤等高画质化处理等后向显示装置输出。此外,解码图像变更部130在错误检测部120检测到错误图像的情况下,以修复错误图像的方式将输出图像输出。具体而言,错误检测部120在解码部110中的解码时在L通道的动态图像编码流中检测到某错误的情况下,成为在从解码部110输出的L通道的解码图像中混入了错误的情况。或者,在此情况下,解码部110也有可能判断为不能解码而将解码动作停止。在此情况下,解码部110对错误检测部120通知检测到错误。接受到错误通知的错误检测部120对解码图像变更部130输出将错误图像修复那样的指令。接受到将错误图像修复那样的指令的解码图像变更部130进行指示,以使得输出保存在解码图像缓冲器L141中的过去已解码的L用图像作为L通道用的输出图像L。此外,解码图像变更部130向另一方的R通道用的输出图像R也进行指示,以使得输出保存在解码图像缓冲器R142中的过去已解码的R用图像。另外,这些过去已解码的L用图像和R用图像表示按记录在流中的输出顺序而相当于相同显示时刻的图像。例如,表示与图15所示的相同数字的位置相当的L用图像及R用图像并与L用、R用的相同显示顺序相当的图像。此外,在此情况下,输出图像L相当于技术方案中记载的“第一解码图像”,输出图像R相当于技术方案中记载的“第二解码图像”。此外,过去已解码的L用图像相当于技术方案中记载的“过去图像”,过去已解码的R用图像相当于技术方案中记载的“对应过去图像”。此外,错误检测部120在解码部110中的解码时在R通道的动态图像编码流中检测到某错误的情况下,成为在从解码部110输出的R通道的解码图像中混入了错误的情况。 或者,在此情况下,解码部110也有可能判断为不能解码而将解码动作停止。在此情况下,解码部110对错误检测部120通知检测到错误。接受到错误通知的错误检测部120对解码图像变更部130输出将错误图像修复那样的指令。接受到将错误图像修复那样的指令的解码图像变更部130进行指示,以使得输出保存在解码图像缓冲器R142中的过去已解码的R用图像作为R通道用的输出图像R。此外,解码图像变更部130向另一方的L通道用的输出图像L也进行指示,以使得输出保存在解码图像缓冲器L141中的过去已解码的L用图像。另外,这些过去已解码的L用图像和R用图像表示按记录在流中的输出顺序而相当于相同的显示时刻的图像。此外,在此情况下,输出图像R相当于技术方案中记载的“第一解码图像”,输出图像L相当于技术方案中记载的“第二解码图像”。此外,过去已解码的R用图像相当于技术方案中记载的“过去图像”,过去已解码的L用图像相当于技术方案中记载的“对应过去图像”。此外,错误检测部120在解码部110中的解码时在L通道的动态图像编码流和R 通道的动态图像编码流中检测到某错误的情况下也同样,成为在从解码部110输出的L通道和R通道的解码图像中混入了错误的情况。或者,在此情况下,解码部110也有可能判断为不能解码而将解码动作停止。在此情况下,解码部110对错误检测部120通知检测到错误。接受到错误通知的错误检测部120对解码图像变更部130输出将错误图像修复那样的指令。接受到将错误图像修复那样的指令的解码图像变更部130进行指示,以使得分别输出保存在解码图像缓冲器L141中的过去已解码的L用图像和保存在解码图像缓冲器 R142中的过去已解码的R用图像作为L通道用的输出图像L和R通道用的输出图像R。另外,这些过去已解码的L用图像和R用图像表示按记录在流中的输出顺序而相当于相同的显示时刻的图像。此外,在此情况下,输出图像L相当于技术方案中记载的“第一解码图像”或“第二解码图像”的一个,输出图像R相当于技术方案中记载的“第一解码图像”或“第二解码图像”的另一个。此外,过去已解码的L用图像相当于技术方案中记载的“过去图像”或“对应过去图像”的一个,过去已解码的R用图像相当于技术方案中记载的“过去图像”或“对应过去图像”的另一个。接着,对多视点动态图像解码装置100进行的解码处理的顺序进行说明。图4是表示本发明的实施方式1的多视点动态图像解码装置100进行的解码处理的流程图。
首先,向解码部110输入多个作为编码动态图像的多通道动态图像编码流 (S102)。接着,解码部110对多个编码动态图像进行解码而生成多个解码动态图像 (S104)。接着,错误检测部120从包含在L通道侧的解码动态图像中的多个解码图像之中判断错误图像的检测(S106)。错误检测部120没有从L通道侧的解码动态图像中检测到错误图像的情况下 (S106中“否”),从包含在R通道侧的解码动态图像中的多个解码图像之中判断错误图像的检测(S108)。错误检测部120从L通道侧的解码动态图像中检测到错误图像的情况下(S106中 “是”)、或从R通道侧的解码动态图像中检测到错误图像的情况下(S108中“是”),解码图像变更部130,在L通道侧及R通道侧,都将错误图像及对应错误图像变更为过去图像及对应过去图像并输出(SllO)。具体而言,解码图像变更部130基于来自错误检测部120的错误检测信息,判断L 通道侧或R通道侧的错误检测,进行指示,以使得L通道侧、R通道侧都分别将过去已解码的相同显示时刻的图像从解码图像缓冲器L141、解码图像缓冲器R142输出以作为输出图像L、输出图像R。另外,在L通道侧和R通道侧这两者中检测到错误的情况下,也进行相同的处理 (SllO)。并且,解码部110判断下一个L通道侧的动态图像编码流的图像是否是由画面内编码图像构成的图像,并且,判断错误检测部120是否在L通道侧及R通道侧的动态图像编码流的图像中没有检测到错误而能够正确地解码(S112)。解码部110判断为L通道侧由画面内编码图像构成、并且在L通道侧及R通道侧都没有错误的情况下(S112中“是”),L通道侧及R通道侧都在由解码部110完成希望的图像的解码后由解码图像变更部130从解码图像缓冲器L141及解码图像缓冲器R142输出已解码图像(S116)0解码部110判断为L通道侧不由画面内编码图像构成、或者在L通道侧或R通道侧包含有错误的情况下(S112中“否”),L通道、R通道侧都将下一个图像变更为过去图像及对应过去图像而输出(S114)。并且,L通道、R通道侧都反复进行将下一个图像变更为过去图像及对应过去图像并输出的处理(S114),直到L通道侧由画面内编码图像构成、并且在L通道侧及R通道侧都没有错误。另外,虽未图示,也可以考虑在上述动态图像编码流输入的结束时刻完成处理。此外,在错误检测部120没有从R通道侧的解码动态图像中检测到错误图像的情况下(S108中“否”),L通道、R通道侧都在由解码部110完成希望的图像的解码后由解码图像变更部130从解码图像缓冲器L141、解码图像缓冲器R142输出已解码图像(S116)。另夕卜,画面内编码图像也可以是H.沈4的IDR图片(即时解码更新图片, Instantaneous Decoding Refresh Picture)。另外,IDR图片也可以是图像序列的开头的图片。即,在IDR图片的情况下,将会使得不能参照该IDR图片以前的存在于解码图像缓冲器L141及解码图像缓冲器R142中的参照图片,如果是L通道侧及R通道侧都没有错误的情况,则在该IDR图片以后混入错误的可能性变低。因此,在画面内编码图像是IDR图片的情况下,在这以后的图像不参照在时间上比IDR图片靠前而解码的图像,能够可靠地减少错误的混入。通过以上,本实施方式1的多视点动态图像解码装置100进行的解码处理结束。接着,对基于以上那样的构造及流程图的、有关本实施方式1的多视点动态图像解码装置100的动作进行说明。图5 图7是表示本实施方式1的多视点动态图像解码装置100输出的输出图像的图。如这些图所示,上段表示左眼用的L通道的输出图像(L用图像),下段表示右眼用的R通道的输出图像(R用图像)。具体而言,L-I到L-6表示根据L通道侧的动态图像编码流而进行了解码的输出图像,R-I到R-6表示根据R通道侧的动态图像编码流而进行了解码的输出图像。此外,号码越新则表示在时间上越靠前的输出图像。此外,对图像名加下划线的L-5表示根据进行了画面内编码的编码数据而解码的输出图像,这以外的图像表示是根据进行了画面间编码的编码数据而解码的输出图像。箭头表示在画面间编码时为了将箭头目标的图像解码而参照箭头来源的图像。例如,表示出, 为了将R-I解码而参照L-I。如图5所示,在根据L通道侧的动态图像编码流而解码的L-2中检测到错误的情况下,按照图4所示的处理(图4的S106 S116),进行错误图像的修复。这里,设想错误检测部120检测到错误图像L-2作为L通道侧的解码错误的情况 (图4的S106中“是”)。即,用该图中的较粗的中空箭头来表示解码图像变更部130代替该图的L-2而输出过去已解码的图像L-1。此外,还表示出解码图像变更部130代替R-2而输出过去已解码、相当于与L通道侧相同的显示时刻的图像R-1。这表示在错误检测部120 检测到错误图像的情况下、解码图像变更部130不输出混入了错误的错误图像。解码图像变更部130,在下一个L通道侧的动态图像编码流不是画面内编码图像的情况下,将L-I及R-I的图像持续输出(图4的Sl 12中“否”、Sl 14),在L通道侧的动态图像编码流是画面内编码图像、并且在L通道侧及R通道侧都没有检测到错误的情况下,L 通道侧、R通道侧都输出正常的图像(图4的S112中“是”、S116)。另外,在此情况下,L用图像相当于技术方案中记载的“一个解码动态图像”及“第 1解码动态图像”。此外,R用图像相当于技术方案中记载的“其他解码动态图像”及“第2 解码动态图像”。此外,L-2及R-2分别相当于技术方案中记载的“错误图像”及“对应错误图像”。 此外,L-I及R-I分别相当于技术方案中记载的“过去图像”及“对应过去图像”。此外,L-4相当于技术方案中记载的“紧前图像”,L-2到L_4的多个解码图像相当于技术方案中记载的“错误解码图像”。此外,R-2到R-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。另外,包含在错误解码图像中的多个解码图像由于参照L-2而解码,所以在L-3及 L-4中也会包含错误,但这里将作为错误解码图像的开头图像的L-2称作错误图像。这样,不显示混入了错误的图像,所以,对于视听的人,对图像内容的辨识带来妨碍的可能性变小,能够抑制错误的传播。图6与图5同样表示输出图像。图6的说明与图5相同,所以省略它们的详细的说明。在图6中,在根据R通道侧的动态图像编码流而解码的R-2中检测到错误的情况下, 按照图4所示的处理(图4的S108 S116)进行错误图像的修复。这里,设想错误检测部120检测到错误图像R-2作为R通道侧的解码错误的情况 (图4的S108中“是”)。S卩,由该图中的粗中空的箭头表示解码图像变更部130代替图6 的R-2而输出过去已解码的图像R-I。此外,还表示出解码图像变更部130代替L-2而输出过去已解码且与R通道侧相同的显示时刻的图像L-1。这表示在错误检测部120检测到错误图像的情况下、解码图像变更部130不输出混入了错误的错误图像。解码图像变更部130,在接着继续输入的L通道侧的动态图像编码流不是画面内编码图像的情况下,将L-1、及R-I的图像持续输出(图4的S112中“否”、S114),在L通道侧的动态图像编码流是画面内编码图像、并且在L通道侧和R通道侧的编码图像的解码时没有检测到错误的情况下,L通道侧、R通道侧都输出正常的图像(图4的S112中“是”、 S116)。另外,在此情况下,L用图像相当于技术方案中记载的“一个解码动态图像”及“第 2解码动态图像”。此外,R用图像相当于技术方案中记载的“其他解码动态图像”及“第1 解码动态图像”。此外,R-2及L-2分别相当于技术方案中记载的“错误图像”及“对应错误图像”。 此外,R-I及L-I分别相当于技术方案中记载的“过去图像”及“对应过去图像”。此外,L-4相当于技术方案中记载的“紧前图像”,R-2到R-4的多个解码图像相当于技术方案中记载的“错误解码图像”。此外,L-2到L-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。另外,包含在错误解码图像中的多个解码图像由于参照R-2而解码,所以在R-3及 R-4中也会包含错误,但这里将作为错误解码图像的开头图像的R-2称作错误图像。这样,不显示混入了错误的图像,所以,对于视听的人,对图像内容的辨识带来妨碍的可能性变小,能够抑制错误的传播。此外,在上述说明中,设想了在L通道侧检测到错误时在R通道侧没有检测到错误的情况及与其相反的情况,但如图7所示,实际上也有在L通道侧和R通道侧这两者中检测到错误的情况。这里,设想错误检测部120检测到L通道侧及R通道侧的解码错误的情况。即,用该图中的粗中空的箭头来表示解码图像变更部130代替图7的L-2及R-2而输出过去已解码的图像L-I及R-1。这表示在错误检测部120检测到错误图像的情况下、解码图像变更部 130不会输出混入了错误的错误图像。解码图像变更部130,在接着继续输入的L通道侧的动态图像编码流不是画面内编码图像的情况下,将L-I及R-I的图像持续输出,在L通道侧的动态图像编码流是画面内编码图像、并且在L通道侧和R通道侧的编码图像的解码时没有检测到错误的情况下,L通道侧、R通道侧都输出正常的图像。另外,在此情况下,如果将L-2设为错误图像,则与图5所示的情况是同样的,如果将R-2设为错误图像,则与图6所示的情况是同样的。
即,假如L-2及R-2分别相当于技术方案中记载的“错误图像"S“对应错误图像”, 则L-I及R-I分别相当于技术方案中记载的“过去图像”及“对应过去图像”。并且,L-4相当于技术方案中记载的“紧前图像”,L-2到L-4的多个解码图像相当于技术方案中记载的 “错误解码图像”。此外,R-2到R-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。此外,L用图像相当于技术方案中记载的“一个解码动态图像”及“第1解码动态图像”。此外,R用图像相当于技术方案中记载的“其他解码动态图像”及“第2解码动态图像”。此外,假如R-2及L-2分别相当于技术方案中记载的“错误图像”及“对应错误图像”,则R-I及L-I分别相当于技术方案中记载的“过去图像”及“对应过去图像”。并且,L-4 相当于技术方案中记载的“紧前图像”,R-2到R-4的多个解码图像相当于技术方案中记载的“错误解码图像”。此外,L-2到L-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。此外,L用图像相当于技术方案中记载的“一个解码动态图像”及“第2解码动态图像”。此外,R用图像相当于技术方案中记载的“其他解码动态图像”及“第1解码动态图像”。这样,在此情况下也进行与图5及图6所示的情况同样的输出,从而阻止错误的波及,不显示混入了错误的图像,所以,对于视听的人,对图像内容的辨识带来妨碍的可能性变小,能够抑制错误的传播。(实施方式2)在上述实施方式1中,假设输入的动态图像编码流的从属视点侧的通道数是1通道。但是,在本实施方式2中,假设输入的动态图像编码流的从属视点侧的通道数是2通道。图8是表示本发明的实施方式2的多视点动态图像解码装置100的结构的框图。如该图所示,本实施方式2的多视点动态图像解码装置100与实施方式1的多视点动态图像解码装置100同样,具备解码部110、错误检测部120、解码图像变更部130、及缓冲器140。这里,在多视点动态图像解码装置100中,输入作为3个编码动态图像的3通道的动态图像编码流。缓冲器140是存储有解码图像的存储器,具备解码图像缓冲器L141、解码图像缓冲器队142和解码图像缓冲器&143。并且,解码图像缓冲器L141存储有作为基本视点侧通道的解码图像的L用图像。此外,解码图像缓冲器礼142及解码图像缓冲器R2143分别存储有两个作为从属视点侧通道的解码图像的Rl用图像及R2用图像。解码部110将3个编码动态图像中的1个编码动态图像以不参照其他两个编码动态图像的解码图像的方式而解码,生成1个解码动态图像,并且,参照包含在该1个解码动态图像中的解码图像,将该其他两个编码动态图像解码而生成其他两个解码动态图像。图9是说明本实施方式2的解码部110将3个编码动态图像解码的处理的图。另外,该图所示的箭头等的记载方法与在图14中说明的记载方法是同样的,所以详细的说明省略。如该图所示,解码部110不参照两个从属视点侧通道的Rl用动态图像编码流及R2 用动态图像编码流的解码图像即Rl用图像及R2用图像而对基本视点侧通道的L用动态图像编码流进行解码,生成由多个解码图像构成的L用图像。此外,解码部110对Rl用动态图像编码流及R2用动态图像编码流进行解码,生成Rl用图像及R2用图像。这里,解码部110参照包含在L用图像中的解码图像,生成Rl用图像。此外,解码部Iio参照包含在L用图像或Rl用图像中的解码图像,生成R2用图像。另外,关于L用图像、Rl用图像及R2用图像之间的解码图像的参照,参照相当于相同的显示时刻的解码图像。回到图8,错误检测部120从包含在L用图像、Rl用图像或R2用图像中的多个解码图像之中检测错误图像。解码图像变更部130将错误检测部120检测到的错误图像变更为利用过去图像而生成的第一解码图像,将对应错误图像变更为利用对应过去图像而生成的第二解码图像。此外,解码图像变更部130,利用过去图像,变更从错误图像开始到紧前图像或对应于紧前图像而显示的解码图像为止所显示的错误解码图像,利用对应过去图像来变更对应错误解码图像。具体而言,例如,错误检测部120从L用图像中检测到错误图像的情况下,解码图像变更部130进行指示,以使得输出保存在解码图像缓冲器L141中的过去已解码的L用图像作为L通道用的输出图像L。此外,解码图像变更部130向其他的Rl通道用的输出图像 Rl及R2通道用的输出图像R2也进行指示,以使得输出保存在解码图像缓冲器礼142及解码图像缓冲器&143中的过去已解码的Rl用图像及R2用图像。另外,这些过去已解码的L用图像、Rl用图像及R2用图像表示按记录在流中的输出顺序而相当于相同的显示时刻的图像。此外,在此情况下,输出图像L相当于技术方案中记载的“第一解码图像”,输出图像Rl及输出图像R2相当于技术方案中记载的“第二解码图像”。此外,过去已解码的L用图像相当于技术方案中记载的“过去图像”,过去已解码的Rl用图像及R2用图像相当于技术方案中记载的“对应过去图像”。接着,对本实施方式2的多视点动态图像解码装置100进行的解码处理的顺序进行说明。图10是表示本实施方式2的多视点动态图像解码装置100进行的解码处理的流程图。首先,向解码部110中输入作为多个编码动态图像的3通道的动态图像编码流 (S202)。接着,解码部110将多个编码动态图像解码,生成多个解码动态图像(S204)。接着,错误检测部120从包含在L通道侧的解码动态图像中的多个解码图像之中判断错误图像的检测(S206)。错误检测部120,在没有从L通道侧的解码动态图像中检测到错误图像的情况下 (S206中“否”),从包含在Rl通道侧的解码动态图像中的多个解码图像之中判断错误图像的检测(S208)。错误检测部120,在没有从Rl通道侧的解码动态图像中检测到错误图像的情况下 (S208中“否”),从包含在R2通道侧的解码动态图像中的多个解码图像之中判断错误图像的检测(S209)。错误检测部120从L通道侧的解码动态图像中检测到错误图像的情况下(S206中 “是”)、或从Rl通道侧的解码动态图像中检测到错误图像的情况下(S208中“是”)、或从R2通道侧的解码动态图像中检测到错误图像的情况下(S209中“是”),解码图像变更部130, 在L通道侧、Rl通道侧及R2通道侧,都将错误图像及对应错误图像变更为过去图像及对应过去图像并输出(S210)。具体而言,解码图像变更部130进行指示,以使得L通道侧、Rl通道侧及R2通道侧分别从解码图像缓冲器L141、解码图像缓冲器RJ42及解码图像缓冲器&143都输出过去已解码的相同的显示时刻的图像,以作为输出图像L、输出图像Rl及输出图像R2。另外,在L通道侧、Rl通道侧及R2通道侧中的两个以上的通道中检测到错误的情况下,也进行相同的处理(S210)。接着,解码部110判断下一个L通道侧的动态图像编码流的图像是否是由画面内编码图像构成的图像,并且,判断错误检测部120是否在L通道侧、Rl通道侧及R2通道侧的动态图像编码流的图像中没有检测到错误而能够正确地解码(S212)。解码部110判断为L通道侧由画面内编码图像构成、并且在L通道侧、Rl通道侧及R2通道侧都没有错误的情况下(S212中“是”),L通道侧、Rl通道侧及R2通道侧都在由解码部110完成希望的图像的解码后由解码图像变更部130从解码图像缓冲器L141、解码图像缓冲器队142及解码图像缓冲器&143输出已解码图像(S216)。解码部110判断为L通道侧不由画面内编码图像构成、或者判断为在L通道侧、Rl 通道侧或R2通道侧包含有错误的情况下(S212中“否”),L通道侧、Rl通道侧、R2通道侧都将下一个图像变更为过去图像及对应过去图像并输出(S214)。并且,L通道侧、Rl通道侧、R2通道侧都反复进行将下一个图像变更为过去图像及对应过去图像并输出的处理(S214),直到L通道侧由画面内编码图像构成、并且在L通道侧、Rl通道侧及R2通道侧都没有错误。另外,虽未图示,但也可以考虑在上述动态图像编码流输入的结束时刻完成处理。此外,错误检测部120从R2通道侧的解码动态图像中没有检测到错误图像的情况下(S209中“否” ),L通道侧、Rl通道侧及R2通道侧都在由解码部110完成希望的图像的解码后由解码图像变更部130从解码图像缓冲器L141、解码图像缓冲器RJ42及解码图像缓冲器&143输出已解码图像(S216)。另外,画面内编码图像也可以是IDR图片。通过以上,本实施方式2的多视点动态图像解码装置100进行的解码处理结束。接着,对本实施方式2的多视点动态图像解码装置100的动作进行说明。图11及图12是表示本实施方式2的多视点动态图像解码装置100输出的输出图像的图。如这些图所示,上段表示L通道的输出图像(L用图像),中段表示Rl通道的输出图像(Rl用图像),下段表示R2通道的输出图像(R2用图像)。关于详细情况,与图5 图 7中的说明是同样的,所以省略。如图11所示,在根据L通道侧的动态图像编码流而解码的L-2中检测到错误的情况下,按照图10所示的处理(图10的S206 S216)进行错误图像的修复。这里,设想错误检测部120检测到错误图像L-2作为L通道侧的解码错误的情况 (图10的S206中“是”)。即,用该图中的粗中空的箭头表示解码图像变更部130代替该图的L-2而输出过去已解码的图像L-I的情况。此外,还表示出,解码图像变更部130代替R1-2及R2-2而输出过去已解码、且相当于与L通道侧相同的显示时刻的图像Rl-I及R2-1。 这表示,在错误检测部120检测到错误图像的情况下,解码图像变更部130不输出混入了错误的错误图像。解码图像变更部130,在下一个L通道侧的动态图像编码流不是画面内编码图像的情况下,继续输出L-1、R1-1及R2-1的图像(图10的S212中“否”、S214),在L通道侧的动态图像编码流是画面内编码图像、并且在L通道侧、Rl通道侧及R2通道侧都没有检测到错误的情况下,L通道侧、Rl通道侧及R2通道侧都输出正常的图像(图10的S212中“是”、 S216)。另外,在此情况下,L用图像相当于技术方案中记载的“一个解码动态图像”及“第 1解码动态图像”。此外,Rl用图像及R2用图像相当于技术方案中记载的“其他解码动态图像”及“第2解码动态图像”。此外,L-2相当于技术方案中记载的“错误图像”,R1-2及R2_2相当于技术方案中记载的“对应错误图像”。此外,L-I相当于技术方案中记载的“过去图像”,Rl-I及R2-1相当于技术方案中记载的“对应过去图像”。此外,L-4相当于技术方案中记载的“紧前图像”,L-2到L_4的多个解码图像相当于技术方案中记载的“错误解码图像”。此外,R1-2到R1-4的多个解码图像、以及R2-2到 R2-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。这样,不显示混入了错误的图像,所以,对于视听的人,对图像内容的辨识带来妨碍的可能性变小,能够抑制错误的传播。此外,如图12所示,在根据R2通道侧的动态图像编码流而解码的R2_2中检测到错误的情况下,按照图10所示的处理(图10的S209 S216)进行错误图像的修复。这里,设想错误检测部120检测到错误图像R2-2作为R2通道侧的解码错误的情况(图10的S209中“是”)。即,用该图中的粗中空的箭头来表示解码图像变更部130代替该图的R2-2而输出过去已解码的图像R2-1的情况。此外,还表示出,解码图像变更部130 代替L-2及R1-2而输出过去已解码、且相当于与R2通道侧相同的显示时刻的图像L-I及 R1-1。这表示,在错误检测部120检测到错误图像的情况下、解码图像变更部130不输出混入了错误的错误图像。解码图像变更部130,在下一个L通道侧的动态图像编码流不是画面内编码图像的情况下,继续输出L-1、R1-1及R2-1的图像(图10的S212中“否”、S214),在L通道侧的动态图像编码流是画面内编码图像、并且在L通道侧、Rl通道侧及R2通道侧都没有检测到错误的情况下,L通道侧、Rl通道侧及R2通道侧都输出正常的图像(图10的S212中“是”、 S216)。另外,在此情况下,L用图像相当于技术方案中记载的“一个解码动态图像”及“第 2解码动态图像”。此外,Rl用图像相当于技术方案中记载的“其他解码动态图像”及“第2 解码动态图像”。此外,R2用图像相当于技术方案中记载的“其他解码动态图像”及“第1 解码动态图像”。此外,R2-2相当于技术方案中记载的“错误图像”,L-2及Rl_2相当于技术方案中记载的“对应错误图像”。此外,R2-1相当于技术方案中记载的“过去图像”,L-I及Rl-I相当于技术方案中记载的“对应过去图像”。
24
此外,L-4相当于技术方案中记载的“紧前图像”,R2-2到R2_4的多个解码图像相当于技术方案中记载的“错误解码图像”。此外,L-2到L-4的多个解码图像、以及R1-2到 R1-4的多个解码图像相当于技术方案中记载的“对应错误解码图像”。此外,在根据Rl通道侧的动态图像编码流而解码的R1-2中检测到错误的情况下, 也能够通过进行同样的处理来修复错误。这样,不显示混入了错误的图像,所以,对于视听的人,对图像内容的辨识带来妨碍的可能性变小,能够抑制错误的传播。(实施方式3)在本实施方式3中,对具备上述实施方式1及2中的多视点动态图像解码装置100 的多视点动态图像解码装置200进行说明。图13是表示本实施方式3的多视点动态图像解码装置200的结构的框图。该图基于表示实施方式1的图3,表示能够应用到DVD记录机(数字视频记录机)、蓝光光盘记录机(Blu-ray Disk Recorder、BD记录机)等中的结构。多视点动态图像解码装置200除了图3所示的多视点动态图像解码装置100以外,还具备储存装置151、储存装置控制部150、整体控制部160、用户接口 161、声音解码部 170、显示部180及扬声器190。储存装置控制部150基于来自整体控制部160的指示,将储存在储存装置151中的作为编码动态图像的多视点动态图像编码流读出,并送入到解码部110。解码部110对被送入的多视点动态图像编码流进行解码,保存到缓冲器140。另外,错误检测部120与图3同样,检测在上述的多视点动态图像编码流中是否没有错误,将该错误信息向解码图像变更部130发送。接受到该错误信息的解码图像变更部130从缓冲器140选择输出图像,向显示部180输出。另外,多视点动态图像编码流由L通道、R通道的动态图像编码流构成的情况下, 能够进行3D显示。此外,在由错误检测部120检测到错误的情况下也能够实施与实施方式 1同样的处理。此外,储存装置控制部150基于来自整体控制部160的指示,将储存在储存装置 151中的声音编码数据读出,向声音解码部170传送。该声音编码数据在声音解码部170被进行了解码处理后被向扬声器190输出。另外,经由用户接口 161,能够利用整体控制部160控制多视点动态图像解码装置 100及声音解码部170。如以上那样,根据有关本发明的实施方式1 3的多视点动态图像解码装置100, 从包含在多个解码动态图像中的多个解码图像之中检测错误图像,利用过去图像和对应过去图像将错误图像和对应错误图像变更为不包含错误的图像。因此,即使在输入的多个编码动态图像中的某个编码动态图像中包含有错误,也能够输出没有错误的图像。此外,在为了将错误图像的错误排除而仅将错误图像变更为没有错误的图像的情况下,多个解码动态图像间的平衡破坏。例如,如果在显示3D图像的情况下,如果右眼用的图像与左眼用的图像之间的平衡破坏,则对图像内容的辨识带来妨碍,对人的视觉带来较大的影响。因此,通过不仅是错误图像、而是将错误图像和对应错误图像这两者利用过去图像和对应过去图像进行变更,从而不会破坏多个解码动态图像间的平衡。
此外,将错误图像变更为过去图像,将对应错误图像变更为对应过去图像。因此, 代替错误图像和对应错误图像而输出并显示过去图像和对应过去图像,所以,对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,利用过去图像,对从错误图像开始、到将画面内编码图像解码而得到的解码图像的紧前面的解码图像为止所显示的错误解码图像进行变更,利用对应过去图像来变更对应错误解码图像。即,在发生错误后,错误被修复,直到在基本视点侧的动态图像编码流中出现画面内编码图像为止。这里,由于画面内编码图像不参照其他图像而被解码,所以混入错误的可能性较低,在该画面内编码图像以后的图像中混入错误的可能性也较低。此外,也可以将IDR图片作为画面内编码图像,来变更错误解码图像和对应错误解码图像。即,在发生错误后,错误被修复,直到在基本视点侧的动态图像编码流中出现 IDR图片为止。这里,IDR图片是图像序列的开头的图片,是将用来解码的信息全部重置 (reset)后的图片。因此,IDR图片,在画面内编码图像中混入错误的可能性也较低,在该 IDR图片以降的图像中混入错误的可能性也较低。此外,对错误解码图像和对应错误解码图像进行变更,直到对画面内编码图像解码后的解码图像和对应于该解码图像而显示的解码图像这两者成为不包含错误的图像为止。因此,通过在包含错误的期间中修复错误,从而对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。此外,对包含在错误解码图像中的多个解码图像进行变更,以使得成为与利用过去图像而生成的图像相同的图像,对包含在对应错误解码图像中的多个解码图像进行变更,以使得成为与利用对应过去图像而生成的图像相同的图像。即,将多个解码图像变更为相同的图像而修复错误,从而能够排除突然显示不同的图像等的不适感。此外,错误图像和对应错误图像是在相同的时刻显示的图像,利用在相同的时刻显示的过去图像和对应过去图像来变更。因此,例如,在将右眼用的图像和左眼用的图像在相同的时刻进行显示的3D图像中,对图像内容的辨识带来妨碍的可能性较小,能够尽量减小对人的视觉的影响。由此,即使在包含被多视点编码并存在参照关系的多个通道的动态图像编码流的解码时发生了错误的情况下,对图像内容的辨识带来妨碍的可能也较小,能够尽量减小对人的视觉的影响。以上,对有关本发明的实施方式的多视点动态图像解码装置100进行了说明,但本发明并不限定于这些实施方式。只要不脱离本发明的主旨,则对该实施方式实施了本领域技术人员想到的各种变形后的形态、以及将不同的实施方式的构成单元组合而构建的形态也包含在本发明的范围内。例如,在上述实施方式中,假设被输入的动态图像编码流的从属视点侧的通道数是1通道或2通道。但是,动态图像编码流的从属视点侧的通道数并不限定于是1通道或 2通道,也可以是3通道以上。此外,在上述实施方式中,假设如左眼用的L用图像和右眼用的R用图像那样,在同一时刻输出并显示规定的解码图像和对应于该解码图像而显示的解码图像。但是,该多个对应显示的解码图像并不限定于在同一时刻被显示,也可以交替显示。例如,如果将L用图像和R用图像交替显示,用户也能够观看3D影像。
此外,在上述实施方式中,假设多视点动态图像解码装置100具备1个解码部110。 但是,多视点动态图像解码装置100也可以具备多个解码部110。此外,在上述实施方式中,假设过去图像是在错误图像的紧前面所显示的、不包含错误的图像。但是,过去图像并不限定于在错误图像的紧前面显示的图像,例如也可以是在错误图像的两个之前显示的图像。此外,在上述实施方式中,假设解码图像变更部130将错误图像变更为与过去图像相同的图像,将对应错误图像变更为与对应过去图像相同的图像。但是,也可以是,解码图像变更部130将错误图像变更为不与过去图像完全相同的图像、而是从过去图像变形而得到的图像,将对应错误图像变更为不与对应过去图像完全相同的图像、而是从对应过去图像变形而得到的图像。此外,在上述实施方式中,假设解码图像变更部130变更解码图像,直到将画面内编码图像解码而得到的解码图像的紧前面的紧前图像。但是,解码图像变更部130也可以不是到紧前图像为止、而是例如将解码图像变更预先设定的数量。此外,在上述实施方式中,假设解码图像变更部130变更解码图像,直到在解码图像中不包含错误。但是,解码图像变更部130也可以不判断在解码图像中是否包含错误、而是变更解码图像直到紧前图像、或变更预先设定的数量。此外,在上述实施方式中,假设解码图像变更部130变更错误解码图像以使得包含在错误解码图像中的多个解码图像成为与过去图像相同的图像,并变更对应错误解码图像以使得包含在对应错误解码图像中的多个解码图像成为与对应过去图像相同的图像。但是,解码图像变更部130也可以将包含在错误解码图像中的多个解码图像变更为不与过去图像完全相同的图像、而是从过去图像变形而得到的图像,并将包含在对应错误解码图像中的多个解码图像变更为不与对应过去图像完全相同的图像、而是从对应过去图像变形而得到的图像。此外,包含在错误解码图像中的多个解码图像也可以不完全是相同的图像,包含在对应错误解码图像中的多个解码图像也可以不完全是相同的图像。此外,在上述实施方式3中,叙述了将有关本发明的多视点动态图像解码装置100 应用到DVD记录机或蓝光光盘记录机中的例子,但有关本发明的多视点动态图像解码装置 100也能够应用到DVD记录机及蓝光光盘记录机以外的显示三维图像的三维图像显示装置 (例如DVD播放器或蓝光光盘播放器、数字电视机、便携电话设备、个人计算机等)中。此外,有关上述实施方式1及2的多视点动态图像解码装置100典型地作为集成电路即LSI来实现。它们既可以单独地被1芯片化,也可以以包括一部分或全部的方式被 1芯片化。具体而言,在图3及图8所示的多视点动态图像解码装置100中,解码部110、错误检测部120和解码图像变更部130既可以单独被1芯片化,也可以以包括一部分或全部的方式被1芯片化。此外,集成电路化并不限定于LSI,也可以由专用电路或通用处理器来实现。也可以利用在LSI制造后能够编程的FPGA (Field Programmable Gate Array)、或能够对LSI内部的电路单元的连接及设定进行再构筑的可重构处理器。进而,如果由于半导体技术的进步或派生的其他技术而出现对LSI替换的集成电路化的技术,则当然也可以使用该技术进行各处理部的集成化。
此外,也可以通过CPU等处理器执行程序来实现有关上述实施方式1及2的多视点动态图像解码装置100的功能的一部分或全部。进而,本发明也可以是上述程序,也可以是记录有上述程序的记录介质。此外,上述程序当然可以经由因特网等传送介质而流通。工业实用性有关本发明的多视点动态图像解码装置,在对被多视点编码并存在参照关系的多个动态图像编码流进行解码的多视点动态图像解码装置及其再现方法中具有实用性。此外,也能够应用到可实现3D显示用数据输出的DVD记录机、DVD播放器、蓝光光盘记录机、 蓝光光盘播放器或TV等的用途中。标号说明
100多视点动态图像解码装置
110解码部
120错误检测部
130解码图像变更部
140缓冲器
141解码图像缓冲器L
142解码图像缓冲器R (解码图像缓冲器R1)
143解码图像缓冲器&
150储存装置控制部
151储存装置
160整体控制部
161用户接口
170声音解码部
180显示部
190扬声器
200多视点动态图像解码装置(DVD记录机、
1000多视点动态图像解码装置
1010解码部
1020错误检测部
1030输出图像确定部
1040缓冲器
1041解码图像缓冲器L
1042解码图像缓冲器R
1050错误图像修复部L
1060错误图像修复部R
权利要求
1. 一种多视点动态图像解码装置,对多个编码动态图像进行解码,该多个编码动态图像是对来自多个视点的多个动态图像进行编码而得到的,其特征在于,解码部,将上述多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式解码,生成由多个解码图像构成的一个解码动态图像,并且,参照包含在上述一个解码动态图像中的解码图像,将上述其他编码动态图像解码,生成其他解码动态图像;错误检测部,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像;以及解码图像变更部,将检测到的上述错误图像变更为不包含错误的第一解码图像,并且, 将包含在第二解码动态图像中、作为与上述错误图像对应地显示的解码图像的对应错误图像变更为第二解码图像,上述第二解码动态图像是除了第一解码动态图像以外的解码动态图像,上述第一解码动态图像是包含上述错误图像的解码动态图像; 上述解码图像变更部,不利用上述第二解码动态图像而将上述错误图像变更为利用过去图像而生成的上述第一解码图像,该过去图像是比上述错误图像更早被解码的、包含在上述第一解码动态图像中的解码图像;不利用上述第一解码动态图像而将上述对应错误图像变更为利用对应过去图像而生成的上述第二解码图像,该对应过去图像是包含在上述第二解码动态图像中的、与上述过去图像对应地显示的解码图像。
2.如权利要求1所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,将上述错误图像变更为利用作为在上述错误图像的紧前面显示且不包含错误的图像的上述过去图像而生成的上述第一解码图像;将上述对应错误图像变更为利用与上述过去图像对应地显示的上述对应过去图像而生成的上述第二解码图像。
3.如权利要求1或2所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,将上述过去图像作为上述第一解码图像,将上述错误图像变更为上述第一解码图像; 将上述对应过去图像作为上述第二解码图像,将上述对应错误图像变更为上述第二解码图像。
4.如权利要求1 3中任一项所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,将对画面内编码图像进行解码而得到的解码图像的紧前面的解码图像作为紧前图像, 上述画面内编码图像包含在上述一个解码动态图像的解码前的编码动态图像中;利用上述过去图像来变更错误解码图像,该错误解码图像是包含在上述第一解码动态图像中的、从上述错误图像开始到上述紧前图像或与上述紧前图像对应地显示的解码图像为止所显示的多个解码图像;利用上述对应过去图像来变更对应错误解码图像,该对应错误解码图像是包含在上述第二解码动态图像中的、与上述错误解码图像对应地显示的多个解码图像。
5.如权利要求4所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,将作为图像序列的开头图片的即时解码刷新IDR图片作为上述画面内编码图像; 利用上述过去图像来变更上述错误解码图像; 利用上述对应过去图像来变更上述对应错误解码图像。
6.如权利要求4或5所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,在对上述画面内编码图像进行解码而得到的解码图像和与该解码图像对应地显示的解码图像这两者中不包含错误的情况下,将对上述画面内编码图像进行解码而得到的解码图像的紧前面的解码图像作为上述紧前图像; 利用上述过去图像来变更上述错误解码图像; 利用上述对应过去图像来变更上述对应错误解码图像。
7.如权利要求4 6中任一项所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,变更上述错误解码图像,以使得包含在上述错误解码图像中的多个解码图像成为与利用上述过去图像而生成的上述第一解码图像相同的图像;变更上述对应错误解码图像,以使得包含在上述对应错误解码图像中的多个解码图像成为与利用上述对应过去图像而生成的上述第二解码图像相同的图像。
8.如权利要求1 7中任一项所述的多视点动态图像解码装置,其特征在于, 上述解码图像变更部,将上述错误图像变更为利用上述过去图像而生成的上述第一解码图像; 将在与上述错误图像相同的时刻显示的上述对应错误图像变更为利用在与上述过去图像相同的时刻显示的上述对应过去图像而生成的上述第二解码图像。
9.如权利要求1 8中任一项所述的多视点动态图像解码装置,其特征在于,上述解码部,在对来自左眼用的视点及右眼用的视点的动态图像进行编码而得到的两个编码动态图像中,将作为左眼用的编码动态图像的上述一个编码动态图像解码,生成上述一个解码动态图像,并且,将作为右眼用的编码动态图像的上述其他编码动态图像解码, 生成上述其他解码动态图像;上述错误检测部,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测上述错误图像;上述解码图像变更部,将上述错误图像变更为上述第一解码图像,并且,将上述对应错误图像变更为上述第二解码图像。
10.一种多视点动态图像解码方法,对多个编码动态图像进行解码,该多个编码动态图像是对来自多个视点的多个动态图像进行编码而得到的,其特征在于,包括以下步骤解码步骤,将上述多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式解码,生成由多个解码图像构成的一个解码动态图像,并且,参照包含在上述一个解码动态图像中的解码图像,将上述其他编码动态图像解码,生成其他解码动态图像;错误检测步骤,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像;以及解码图像变更步骤,将检测到的上述错误图像变更为不包含错误的第一解码图像,并且,将包含在第二解码动态图像中、作为与上述错误图像对应地显示的解码图像的对应错误图像变更为第二解码图像,上述第二解码动态图像是除了第一解码动态图像以外的解码动态图像,上述第一解码动态图像是包含上述错误图像的解码动态图像;在上述解码图像变更步骤中,不利用上述第二解码动态图像而将上述错误图像变更为利用过去图像而生成的上述第一解码图像,该过去图像是比上述错误图像更早被解码的、包含在上述第一解码动态图像中的解码图像;不利用上述第一解码动态图像而将上述对应错误图像变更为利用对应过去图像而生成的上述第二解码图像,该对应过去图像是包含在上述第二解码动态图像中的、与上述过去图像对应地显示的解码图像。
11.一种程序,用来对多个编码动态图像进行解码,该多个编码动态图像是对来自多个视点的多个动态图像进行编码而得到的,其特征在于,使计算机执行以下步骤解码步骤,将上述多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式解码,生成由多个解码图像构成的一个解码动态图像,并且,参照包含在上述一个解码动态图像中的解码图像,将上述其他编码动态图像解码,生成其他解码动态图像;错误检测步骤,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像;以及解码图像变更步骤,将检测到的上述错误图像变更为不包含错误的第一解码图像,并且,将包含第二解码动态图像中、作为与上述错误图像对应地显示的解码图像的对应错误图像变更为第二解码图像,上述第二解码动态图像是除了第一解码动态图像以外的解码动态图像,上述第一解码动态图像是包含上述错误图像的解码动态图像;在上述解码图像变更步骤中,不利用上述第二解码动态图像而将上述错误图像变更为利用过去图像而生成的上述第一解码图像,该过去图像是比上述错误图像更早被解码的、包含在上述第一解码动态图像中的解码图像;不利用上述第一解码动态图像而将上述对应错误图像变更为利用对应过去图像而生成的上述第二解码图像,该对应过去图像是包含在上述第二解码动态图像中的、与上述过去图像对应地显示的解码图像。
12.—种集成电路,用来对多个编码动态图像进行解码,该多个编码动态图像是对来自多个视点的多个动态图像进行编码而得到的,其特征在于,具备解码部,将上述多个编码动态图像中的一个编码动态图像以不参照其他编码动态图像的解码图像的方式解码,生成由多个解码图像构成的一个解码动态图像,并且,参照包含在上述一个解码动态图像中的解码图像,将上述其他编码动态图像解码,生成其他解码动态图像;错误检测部,从包含在上述一个解码动态图像或上述其他解码动态图像中的多个解码图像之中,检测作为包含错误的解码图像的错误图像;以及解码图像变更部,将检测到的上述错误图像变更为不包含错误的第一解码图像,并且, 将包含在第二解码动态图像中、作为与上述错误图像对应地显示的解码图像的对应错误图像变更为第二解码图像,上述第二解码动态图像是除了第一解码动态图像以外的解码动态图像,上述第一解码动态图像是包含上述错误图像的解码动态图像;上述解码图像变更部,不利用上述第二解码动态图像而将上述错误图像变更为利用过去图像而生成的上述第一解码图像,该过去图像是比上述错误图像更早被解码的、包含在上述第一解码动态图像中的解码图像;不利用上述第一解码动态图像而将上述对应错误图像变更为利用对应过去图像而生成的上述第二解码图像,该对应过去图像是包含在上述第二解码动态图像中的、与上述过去图像对应地显示的解码图像。
全文摘要
提供一种在被多视点编码且存在参照关系的包括多个通道的动态图像编码流的解码时发生了错误的情况下、对图像内容的辨识带来妨碍的可能性也较小、能够尽量减小对人的视觉的影响的多视点动态图像解码装置。具备解码部(110),将一个编码动态图像以不参照其他编码动态图像的方式而解码,生成一个解码动态图像,参照一个解码动态图像将其他编码动态图像解码而生成其他解码动态图像;错误检测部(120),从解码动态图像中检测错误图像;以及解码图像变更部(130),不利用包含错误图像的第一解码动态图像以外的第二解码动态图像而将错误图像变更为利用在错误图像以前的过去图像而生成的图像,不利用第一解码动态图像而将与错误图像对应的对应错误图像变更为利用与过去图像对应的对应过去图像而生成的图像。
文档编号H04N7/32GK102342118SQ201080009868
公开日2012年2月1日 申请日期2010年5月21日 优先权日2009年12月15日
发明者冈岛一宪 申请人:松下电器产业株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1