图像编码装置、图像解码装置、图像编码方法以及图像解码方法
【专利摘要】场景内/场景间自适应编码部(6)在数据记录部(2)中记录了的主式流内的场景影像单位的编码数据中，将由场景间预测判定部(5)未检索出在预测参照中使用的代替的编码数据的编码数据、和由场景间预测判定部(5)检索出的编码数据使用于预测参照，将该MPEG-2视频比特流变换为从式流。
【专利说明】图像编码装置、图像解码装置、图像编码方法以及图像解码方法
【技术领域】
[0001]本发明涉及对图像进行压缩编码来传送或者记录编码数据的图像编码装置以及图像编码方法、和从由图像编码装置传送或者记录了的编码数据对图像进行解码的图像解码装置以及图像解码方法。
【背景技术】
[0002]在以往的图像编码装置对规定的影像序列进行压缩编码时，被构成为通过利用该影像序列内的空间上的相关或者时间上的相关来进行预测编码，提高压缩效率。
[0003]另一方面，在近年来的HDD内置型数字录像设备、云型系统等中，在庞大的记录空间内，管理多个压缩了的影像流，所以根据条件，在不同的影像序列之间影像的内容类似的状况也增加。
[0004]在这样的状况下，能够还应用在不同的影像序列之间存在的相关来进一步进行数据压缩。
[0005]在以下的专利文献I中，公开了在HDD内置型数字录像设备中，在多个不同的录像节目之间进行比较，并对根据其比较结果得到的差分信息进行压缩编码，从而以高的压缩效率记录多个录像节目的技术。
[0006]专利文献1:日本特开2006-262311号公报(段落编号
[0006])
【发明内容】
[0007]以往的图像编码装置如以上那样构成，所以在不同的影像流之间始终将同一时刻的帧的信号作为比较评价标准而取差分，对该差分信号进行压缩编码。因此，在影像之间类似的切割的时刻有偏差等的情况下，存在无法进行高效的压缩的课题。
[0008]另外，对影像流全部在图像信号等级下实施了比较，所以还存在处理量增加的课题。
[0009]本发明是为了解决上述那样的课题而完成的，其目的在于得到一种不会导致处理量的增加、影像质量的降低，而能够进行高效的压缩的图像编码装置以及图像编码方法。
[0010]另外，本发明的目的在于提供一种能够高效地对压缩了的图像进行解码的图像解码装置以及图像解码方法。
[0011]本发明的图像编码装置具备影像编码数据变换单元，该影像编码数据变换单元针对依照第一影像编码方式的影像编码数据内的每个场景影像数据，选择性地应用使用其它场景影像数据的预测参照，变换为依照第二影像编码方式的影像编码数据，影像编码数据变换单元在变换第一影像编码数据内的场景影像单位的编码数据时，探索应在预测参照中使用的其它场景影像单位的编码数据，选择是否将探索出的场景影像单位的编码数据使用于预测参照，将第一场景影像单位的编码数据变换为依照第二影像编码方式的影像编码数据，并且生成表示是否将探索出的场景影像单位的编码数据使用于预测参照的元数据。
[0012]根据本发明，具备影像编码数据变换单元，该影像编码数据变换单元针对依照第一影像编码方式的影像编码数据内的每个场景影像数据，选择性地应用使用其它场景影像数据的预测参照，变换为依照第二影像编码方式的影像编码数据，影像编码数据变换单元在变换第一影像编码数据内的场景影像单位的编码数据时，探索应在预测参照中使用的其它场景影像单位的编码数据，选择是否将探索出的场景影像单位的编码数据使用于预测参照，将第一场景影像单位的编码数据变换为依照第二影像编码方式的影像编码数据，并且生成表示是否将探索出的场景影像单位的编码数据使用于预测参照的元数据，所以具有不会导致处理量的增加、影像质量的降低，而能够进行高效的压缩的效果。
【专利附图】
【附图说明】
[0013]图1是示出本发明的实施方式I的图像编码装置的结构图。
[0014]图2是示出本发明的实施方式I的图像编码装置的处理内容(图像编码方法)的流程图。
[0015]图3是示出本发明的实施方式I的图像编码装置的场景内/场景间自适应编码部6的结构图。
[0016]图4是示出本发明的实施方式I的图像解码装置的结构图。
[0017]图5是示出本发明的实施方式I的图像解码装置的处理内容(图像编码方法)的流程图。
[0018]图6是示出从式编码数据与主式流的关系的说明图。
[0019]图7是示出场景内/场景间自适应编码部6中的场景内预测编码部14以及场景间预测编码部15的处理的说明图。
[0020]图8是示出本发明的实施方式2的图像编码装置的结构图。
[0021]图9是示出包括作为主式流再压缩的“MPEG-2视频比特流”和作为从式流再压缩的“MPEG-2视频比特流”的单一的视频比特流的说明图。
[0022]图10是示出从主式流中抽出从式流编码管理信息表示的场景影像的编码数据的状态的说明图。
[0023]图11是示出交替反复主式流和从式流的单一的MPEG-2视频比特流的说明图。
[0024]图12是示出主式流的时间上的长度、和从式流的时间上的长度不同的MPEG-2视频比特流的说明图。
[0025]图13是示出场景刚刚变换之后的场景影像是主式流的MPEG-2视频比特流的说明图。
[0026]图14是不出表不单一的MPEG-2视频比特流中包含的各个流是主式流还是从式流的flag (标志)的说明图。
[0027]图15是示出性质与编码中的场景影像明显地不同的场景影像被跳过(skip) 了的MPEG-2视频比特流的说明图。
[0028]图16是示出记录器(图像编码装置、图像解码装置)连接到网络的系统例的结构图。
[0029]图17是示出仅I图片的变换例的说明图。
[0030]图18是示出仅1、P图片的变换例的说明图。
[0031]图19是示出本发明的实施方式4的图像编码装置的处理内容的流程图。
[0032]符号说明
[0033]1:场景相关测定参数计算部(场景相关测定参数计算单元);2:数据记录部(数据记录单元)；3:开关；4:H.264变换部(第一影像编码数据变换单元)；5:场景间预测判定部(场景影像检索单元)；6:场景内/场景间自适应编码部(第二影像编码数据变换单元)；7:复用部；11:MPEG-2解码部；12:开关；13:场景间预测参照部位抽出部；14:场景内预测编码部；15:场景间预测编码部；16:从式流复用部；21:开关；22:H.264解码部(第一影像解码单元)；23:复用分离部(第二影像解码单元)；24:解码流形成部(第二影像解码单元)；25:从影像解码部(第二影像解码单元)；31:开关(编码数据分割单元)。
【具体实施方式】
[0034]以下，为了更详细地说明本发明，依照附图，说明【具体实施方式】。
[0035]实施方式1.
[0036]在该实施方式I中，说明在接收MPEG-2视频比特流，对该MPEG-2视频比特流进行再压缩而记录的设备或者系统中，抑制质量降低而高效地进行再压缩的图像编码装置、和根据从该图像编码装置输出了的编码数据再生影像信号的图像解码装置。
[0037]图1是示出本发明的实施方式I的图像编码装置的结构图。
[0038]在图1中，场景相关测定参数计算部I由安装了例如CPU的半导体集成电路、或者、单片式微型计算机等构成，实施如下处理:如果输入了通过MPEG-2影像编码方式压缩编码了的MPEG-2视频比特流(第一影像编码数据)，则针对该MPEG-2视频比特流中包含的各场景的影像(以下，称为“场景影像”)的每一个，计算成为测定与其它场景影像的相关的标准的场景相关测定参数。
[0039]此处，场景既可以是规定的时间的单位，也可以是规定MPEG-2视频比特流的数据构造的GOP (Group Of Picture (图片组))、即能够随机访问MPEG-2视频比特流的数据单位(在2个I图片之间包含的全部图片数据)等。
[0040]另外，场景相关测定参数计算部I构成了场景相关测定参数计算单元。
[0041]数据记录部2由例如硬盘、SSD等记录介质构成，记录由场景相关测定参数计算部I计算了的场景相关测定参数。
[0042]另外，数据记录部2记录由后述H.264变换部4变换了的主式流(第二影像编码数据)，并且记录从后述复用部7输出了的从式编码数据等。
[0043]关于从式编码数据的详细将后述，包括在由场景内/场景间自适应编码部6变换了的从式流(第三影像编码数据)中不使用由场景间预测判定部5检索了的编码数据而变换出的场景影像单位的编码数据(场景内预测编码数据)、和表示由场景间预测判定部5检索了的编码数据等的从式流编码管理信息。
[0044]另外，数据记录部2构成了数据记录单元。
[0045]开关3实施如下处理:在从外部提供的再压缩方法识别信号指示了“将MPEG-2视频比特流作为主式流再压缩”的意思的情况下，将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给H.264变换部4，在该再压缩方法识别信号指示了 “将MPEG-2视频比特流作为从式流再压缩”的意思的情况下，将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给场景内/场景间自适应编码部6。
[0046]H.264变换部4由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:如果从开关3提供了 MPEG-2视频比特流，则将该MPEG-2视频比特流通过规定的处理过程变换为依照H.264影像编码方式的视频比特流，将该视频比特流作为主式流记录到数据记录部2。另外，H.264变换部4构成了第一影像编码数据变换单元。
[0047]场景间预测判定部5由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:根据由场景相关测定参数计算部I计算了的场景相关测定参数(相关测定参数A、相关测定参数B)，从数据记录部2中记录了的主式流内的场景影像单位的编码数据中，在场景内/场景间自适应编码部6进行预测编码时，代替MPEG-2视频比特流内的场景影像单位的编码数据而检索在预测参照中使用的编码数据。另外，场景间预测判定部5构成了编码数据检索单元。
[0048]场景相关测定参数A是在再压缩方法识别信号指示了 “将MPEG-2视频比特流作为主式流再压缩”的意思时计算了的参数，场景相关测定参数B是在再压缩方法识别信号指示了 “将MPEG-2视频比特流作为从式流再压缩”的意思时计算了的参数。
[0049]即，场景间预测判定部5实施如下处理:使用由场景相关测定参数计算部I计算了的场景相关测定参数A、B,测定MPEG-2视频比特流内的各个场景影像、和数据记录部2中记录了的主式流内的各个场景影像的相关值，并且针对MPEG-2视频比特流内的各个场景影像，确定相关值最高的主式流内的场景影像，如果该相关值是规定值以上，则将该场景影像的编码数据决定为在预测参照中使用的编码数据。
[0050]另外，场景间预测判定部5实施如下处理:如果发现在预测参照中使用的编码数据(存在相关高的场景影像的情况)，则将表示“在该处理对象的场景中，利用主式流内的相关高的场景影像的编码数据来进行编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7，如果未发现在预测参照中使用的编码数据(不存在相关高的场景影像的编码数据的情况)，则将表示“在该处理对象的场景中，不使用主式流内的编码数据，进行在场景内封闭的编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7。
[0051]另外，在从式流编码管理信息中至少包括数据记录部2中记录的多个比特流数据中的、确定主式流的主式流ID、确定是否将主式流内的场景影像单位的编码数据使用于预测参照的场景间预测指示标志、确定主式流上的主场景(预测参照中使用的场景)的主场景ID等。
[0052]场景内/场景间自适应编码部6由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:在数据记录部2中记录了的主式流内的场景影像单位的编码数据中，将由场景间预测判定部5未检索出在预测参照中使用的代替的编码数据的编码数据、和由场景间预测判定部5检索出的编码数据使用于预测参照，将该MPEG-2视频比特流变换为从式流。另外，场景内/场景间自适应编码部6构成了第二影像编码数据变换单元。
[0053]复用部7由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:对由场景内/场景间自适应编码部6变换了的从式流、和从场景间预测判定部5输出了的从式流编码管理信息进行复用，将其复用结果作为从式编码数据记录到数据记录部2。
[0054]在图1的例子中，假设作为图像编码装置的构成要素的场景相关测定参数计算部1、数据记录部2、开关3、H.264变换部4、场景间预测判定部5、场景内/场景间自适应编码部6以及复用部7的各个由专用的硬件构成了的例子，但图像编码装置也可以由计算机构成。
[0055]在由计算机构成了图像编码装置的情况下，在计算机的存储器上构成数据记录部2，并且将记述了场景相关测定参数计算部1、开关3、H.264变换部4、场景间预测判定部5、场景内/场景间自适应编码部6以及复用部7的处理内容的程序储存到计算机的存储器，该计算机的CPU执行在该存储器中储存了的程序即可。
[0056]图2是示出本发明的实施方式I的图像编码装置的处理内容(图像编码方法)的流程图。
[0057]图3是示出本发明的实施方式I的图像编码装置的场景内/场景间自适应编码部6的结构图。
[0058]在图3中，MPEG-2解码部11实施如下处理:如果从开关3提供了 MPEG-2视频比特流，则实施针对该MPEG-2视频比特流内的各个场景影像的编码数据的解码处理，按照场景影像单位生成解码图像。
[0059]开关12实施如下处理:如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示不将主式流内的场景影像单位的编码数据使用于预测参照的意思，则将由MPEG-2解码部11生成了的解码图像输出到场景内预测编码部14，如果该场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思，则将由MPEG-2解码部11生成了的解码图像输出到场景间预测编码部15。
[0060]场景间预测参照部位抽出部13实施如下处理:如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思，则从该从式流编码管理信息中包含的主式流ID表示的主式流中，抽出主场景ID表示的场景影像的编码数据，实施针对该编码数据的H.264解码处理，生成该场景影像的解码图像(以下，称为“主式流解码图像”)。
[0061]场景内预测编码部14实施如下处理:完全不使用主式流内的编码数据，对从开关12输出了的解码图像实施H.264压缩编码处理，输出作为其编码处理结果的场景内预测编码数据。
[0062]场景间预测编码部15实施如下处理:利用从开关12输出了的解码图像的时间相关、以及该解码图像和由场景间预测参照部位抽出部13生成了的主式流解码图像中的同一时刻位置的图像数据之间的相关，执行H.264的运动补偿处理或者使用了帧内部预测的压缩编码处理，输出作为其处理结果的场景间预测编码数据。
[0063]从式流复用部16实施如下处理:对从场景内预测编码部14输出了的场景内预测编码数据和从场景间预测编码部15输出了的场景间预测编码数据进行复用来生成从式流，将该从式流输出到复用部7。
[0064]图4是示出本发明的实施方式I的图像解码装置的结构图。
[0065]在图4中，数据记录部2是与图1的图像编码装置的数据记录部2相同的记录部。
[0066]开关21实施如下处理:在从外部提供的流类别识别信号表示“将该编码数据作为主式流来解码”的意思的情况下，读入在数据记录部2中记录了的主式流而输出到H.264解码部22，在该流类别识别信号指示了“将该编码数据作为从式编码数据来解码”的意思的情况下，将在数据记录部2中记录了的从式编码数据输出到复用分离部23。
[0067]H.264解码部22由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:如果从开关21接收到主式流，则对该主式流实施依照H.264影像编码方式的规定的解码处理，从而生成再生影像。另外，H.264解码部22构成了第一影像解码单
J Li ο
[0068]复用分离部23由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:如果从开关21接收到从式编码数据，则将该从式编码数据分离为从式流和从式流编码管理信息。
[0069]解码流形成部24由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:读出在数据记录部2中记录了的多个主式流中的、由复用分离部23分离了的从式流编码管理信息中包含的主式流ID表示的主式流，并且从该主式流中，抽出在该从式流编码管理信息中包含的主场景ID表示的场景影像的编码数据，将该编码数据嵌入到由复用分离部23分离了的从式流的对应的场景影像的位置，从而形成解码流。
[0070]从影像解码部25由安装了例如CPU的半导体集成电路或者单片式微型计算机等构成，实施如下处理:通过对由解码流形成部24形成了的解码流实施规定的解码处理，生成与从式编码数据对应的再生影像。
[0071]另外，由复用分离部23、解码流形成部24以及从影像解码部25构成了第二影像解码单元。
[0072]在图4的例子中，假设了作为图像解码装置的构成要素的数据记录部2、开关21、H.264解码部22、复用分离部23、解码流形成部24以及从影像解码部25的各个由专用的硬件构成了的例子，但图像解码装置也可以由计算机构成。
[0073]在由计算机构成了图像解码装置的情况下，在计算机的存储器上构成数据记录部2，并且将记述了开关21、H.264解码部22、复用分离部23、解码流形成部24以及从影像解码部25的处理内容的程序储存到计算机的存储器，该计算机的CPU执行在该存储器中储存了的程序即可。
[0074]图5是示出本发明的实施方式I的图像解码装置的处理内容(图像编码方法)的流程图。
[0075]接下来，说明动作。
[0076]首先，说明图1的图像编码装置的处理内容。
[0077]场景相关测定参数计算部I如果输入了通过MPEG-2影像编码方式压缩编码了的MPEG-2视频比特流，则针对该MPEG-2视频比特流的每个场景影像，计算成为测定与其它场景影像的相关的标准的场景相关测定参数(图2的步骤STl)。
[0078]此处，场景既可以是规定的时间的单位，也可以是规定MPEG-2视频比特流的数据构造的G0P、即能够随机访问MPEG-2视频比特流的数据单位(在2个I图片之间包含的全部图片数据)等。
[0079]由场景相关测定参数计算部I计算了的每个场景影像的场景相关测定参数被记录到数据记录部2中。
[0080]此处，叙述场景相关测定参数的具体的事例。
[0081]场景相关测定参数是使用能够测量“2个场景之间的类似度”的量的参数。
[0082]例如，可以考虑由MPEG-2视频比特流的I图片编码数据中包含的DCT系数的DC分量构成缩小图像，生成表示该缩小图像的亮度平均、亮度分散等纹理特征、或者、该缩小图像的颜色平均、颜色分散等颜色特征的量，将表示该纹理特征或者颜色特征的量用作场景相关测定参数。
[0083]另外，也可以针对由该DC分量构成的缩小图像，生成在以下的非专利文献I中公开了的“Image Signature (图片签名)”,将“Image Signature”用作场景相关测定参数。
[0084][非专利文献I]
[0085]西川，P.Brasnett他、“MPEG — 7技術Im age Signature:画像同定技術”、三菱電機技報2008年12月号
[0086]“Image Signature”是使用在以下的非专利文献2中公开了的跟踪变换,用空间的频率表现了亮度信息的量，作为评价图像的同一性的参数进行了国际标准化。
[0087]具体而言，考虑将场景开头的“Image Signature”、或者、与在场景内包含的多个I图片的缩小图像对应的“Image Signature”的集合用作场景相关测定参数。
[0088][非专利文献2]
[0089]A.Kadyrov、M.Petrou、“The Trace Transform and Its Applicat1ns”、IEEETrans.Pattern Analysis and Machine Intelligence、vol.23n0.8pp.811-8282001
[0090]另外，也可以生成在以下的非专利文献3中公开的“Video Signature (视频签名)”,将“Video Signature”用作场景相关测定参数。
[0091][非专利文献3]
[0092]工藤、西川、“画像同定技術(Visual Signatu re) ”、三菱電機技報2011年11月号
[0093]在上述任意一个中，都根据MPEG-2视频比特流的I图片编码数据中包含的DCT系数的DC分量生成缩小图像，将针对该缩小图像的特征量作为场景相关测定参数，但也可以将MPEG-2视频比特流解码为图像数据，在解码图像等级中执行同样的特征量的抽出。
[0094]由此，虽然处理量增加，但能够抽出适合于实际的图像数据的特征量。
[0095]如果从外部提供的再压缩方法识别信号指示了 “将MPEG-2视频比特流作为主式流再压缩”的意思(步骤ST2)，则开关3将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给H.264变换部4。
[0096]另一方面，如果该再压缩方法识别信号指示了 “将MPEG-2视频比特流作为从式流再压缩”的意思(步骤ST2)，则将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给场景内/场景间自适应编码部6。
[0097]如果从开关3提供了 MPEG-2视频比特流，则H.264变换部4将该MPEG-2视频比特流通过规定的处理过程变换为依照H.264影像编码方式的视频比特流，将该视频比特流作为主式流，记录到数据记录部2 (步骤ST3)。
[0098]如果场景相关测定参数计算部I计算了场景相关测定参数A或者场景相关测定参数B，则场景间预测判定部5根据该场景相关测定参数A、B,从数据记录部2中记录了的主式流内的场景影像单位的编码数据中，在场景内/场景间自适应编码部6进行预测编码时，代替MPEG-2视频比特流内的场景影像单位的编码数据而检索在预测参照中使用的编码数据。
[0099]场景相关测定参数A是在再压缩方法识别信号指示了“将MPEG-2视频比特流作为主式流再压缩”的意思时计算了的参数，场景相关测定参数B是在再压缩方法识别信号指示了 “将MPEG-2视频比特流作为从式流再压缩”的意思时计算了的参数。
[0100]以下，具体说明由场景间预测判定部5实施的编码数据的检索处理。
[0101]首先，场景间预测判定部5使用由场景相关测定参数计算部I计算了的场景相关测定参数A、B，测定MPEG-2视频比特流内的各个场景影像、和在数据记录部2中记录了的主式流内的各个场景影像的相关值。
[0102]接下来，场景间预测判定部5针对MPEG-2视频比特流内的每个场景影像，比较针对该场景影像的主式流内的各个场景影像的相关值，探索相关值最大的主式流内的场景影像。
[0103]场景间预测判定部5如果探索出相关值最大的主式流内的场景影像，则如果其相关值是预先设定了的规定值以上，则将该场景影像的编码数据决定为在预测参照中使用的场景影像。
[0104]另一方面，如果其相关值小于预先设定了的规定值，则不将该主式流内的场景影像的编码数据使用于预测参照。
[0105]另外，由场景间预测判定部5实施的探索相关值最大的主式流内的场景影像的处理对应于场景相关测定参数A和场景相关测定参数B的匹配处理，例如，能够利用在上述非专利文献3中公开了的“Image Signature”、“Video Signature”等匹配处理。
[0106]场景间预测判定部5如果发现了场景内/场景间自适应编码部6在预测参照中使用的编码数据(存在与MPEG-2视频比特流内的场景影像相关高的主式流内的场景影像的情况)，则将表示“在该处理对象的场景中，利用主式流内的相关高的场景影像的编码数据来进行编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7。
[0107]另一方面，如果未发现场景内/场景间自适应编码部6在预测参照中使用的编码数据(不存在与MPEG-2视频比特流内的场景影像相关高的主式流内的场景影像的情况)，则将表示“在该处理对象的场景中，不使用主式流内的编码数据，进行在场景内封闭的编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7。
[0108]另外，在从式流编码管理信息中，至少包括数据记录部2中记录的多个比特流数据中的、确定主式流的主式流ID、确定是否将主式流内的场景影像单位的编码数据使用于预测参照的场景间预测指示标志、确定主式流上的主场景(预测参照中使用的场景)的主场景ID等。
[0109]在从场景间预测判定部5输出了从式流编码管理信息之后，场景相关测定参数B变得不需要，所以也可以构成为从数据记录部2删除。
[0110]关于场景相关测定参数A在以后生成其它的从式流时需要，所以也可以构成为预先保存于数据记录部2，也可以为了确保数据记录部2的记录容量，每当生成从式流时，从主式流随时生成。
[0111]另外，在生成从式流时，在不使用主式流的情况下，场景相关测定参数A也变得不需要，所以构成为从数据记录部2删除。
[0112]场景内/场景间自适应编码部6在数据记录部2中记录了的主式流内的场景影像单位的编码数据中，将由场景间预测判定部5未检索在预测参照中使用的代替的编码数据的编码数据、和由场景间预测判定部5检索了的编码数据使用于预测参照，将该MPEG-2视频比特流变换为从式流。
[0113]此处，图6是示出从式编码数据与主式流的关系的说明图。
[0114]图6所示的主式流是数据记录部2中记录了的I个以上的主式流中的、从式流编码管理信息中包含的主式流ID表示的主式流，通过H.264影像编码方式生成。
[0115]从式流通过从式流编码管理信息中包含的场景间预测指示标志，被分类为主式流内的场景影像单位的编码数据、和不替代地使用主式流内的场景影像单位的编码数据的编码数据。
[0116]另外，通过从式流编码管理信息中包含的主场景ID，确定主式流上的主场景(预测参照中使用的场景)。
[0117]以下，具体说明由场景内/场景间自适应编码部6实施的流的变换处理。
[0118]首先，场景内/场景间自适应编码部6的MPEG-2解码部11如果被从开关3提供了 MPEG-2视频比特流，则实施针对该MPEG-2视频比特流内的各个场景影像的编码数据的解码处理，按照场景影像单位生成解码图像(步骤ST4)。
[0119]开关12如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示不将主式流内的场景影像单位的编码数据使用于预测参照的意思(步骤ST5)，则将由MPEG-2解码部11生成了的解码图像输出到场景内预测编码部14。
[0120]如果该场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思(步骤ST5)，则将由MPEG-2解码部11生成了的解码图像输出到场景间预测编码部15。
[0121]场景间预测参照部位抽出部13如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思(步骤ST5)，则从该从式流编码管理信息中包含的主式流ID表示的主式流中，抽出主场景ID表示的场景影像的编码数据(步骤ST6)。
[0122]场景间预测参照部位抽出部13如果抽出了主场景ID表示的场景影像的编码数据，则实施针对该编码数据的H.264解码处理，生成作为该场景影像的解码图像的主式流解码图像(步骤ST7)。
[0123]此时，关于从主式流抽出的场景影像的编码数据，既可以构成为场景开头的图片是IDR图片、并且能够随机访问的数据，也可以以场景开头的图片并非IDR图片的状态构成。
[0124]前者虽然具有抽出处理变得简易的优点，但由于频繁地插入IDR图片，所以存在主式流自身的压缩效率被限制这样的折衷的关系。
[0125]相逆地后者不会受到IDR插入的影响，所以能够维持主式流自身的压缩效率，但存在从能够对场景开头的图片正常地进行解码的时间上最接近的IDR图片位置抽出编码数据而解码等抽出处理变得复杂这样的折衷的关系。它们能够根据实际的装置的要求条件来构成。
[0126]此处，图7是示出场景内/场景间自适应编码部6中的场景内预测编码部14以及场景间预测编码部15的处理的说明图。
[0127]在图7中，记号1、P、B表示从主式流抽出的场景影像单位的编码数据中的各图片的编码类型，记号I’、P’、B’表示与记号1、P、B的图片的时刻位置对应的从式流上的各图片的编码类型。
[0128]在图7中，图示了关于I’、P’、B’图片，除了与主式流上的对应的1、P、B图片等价的场景内预测编码以外，还能够从与同一时刻位置对应的图片进行场景间预测参照的结构。
[0129]其并非施加本发明针对I’、P’、B’图片执行与1、P、B图片始终等价的预测编码处理的制约。
[0130]例如，也可以构成为在B’图片中，进行与P’图片相当的编码处理。
[0131]在该实施方式I中，为便于说明，关于从主式流上抽出的编码数据，设为从IDR图片开始(将图7的I图片设为“IDR图片”)，使用P图片以及B图片的编码数据进行编码，关于从式流的I’、P’、B’图片，并用与1、P、B图片等价的预测编码处理和场景间预测编码处理。
[0132]场景间预测编码部15如果从开关12接收到解码图像，则利用该解码图像的时间相关、以及该解码图像和由场景间预测参照部位抽出部13生成了的主式流解码图像中的同一时刻位置的图像数据之间的相关，执行H.264的运动补偿处理或者使用了帧内部预测的压缩编码处理，输出作为其处理结果的场景间预测编码数据(步骤ST8)。
[0133]场景内预测编码部14如果从开关12接收到解码图像，则完全不使用主式流内的编码数据，对该解码图像实施H.264压缩编码处理，输出作为其编码处理结果的场景内预测编码数据(步骤ST9)。
[0134]此处，关于I’图片，不使用从影像内的时间相关，利用从I图片的场景间相关进行预测编码。
[0135]由此，得到在维持从式流上的随机访问性的同时提高编码效率的效果。
[0136]另外，场景间预测构成为能够局部地选择是否按照宏块或者成为运动补偿预测的单位的块等规定的处理单位使用，仅对预测效率高的图像上的局部部位利用场景间预测。
[0137]通过以依照在H.264的推荐AnnexH中规定的MVC (多视点编码)技术规范的方式构成该预测参照的制约和编码数据排列，能够构成为依照将由场景间预测参照部位抽出部13抽出的主式流的编码数据作为基本视点、将由场景内预测编码数据和场景间预测编码数据构成的从式流作为增强视点的MVC规格的编码数据。
[0138]通过这样构成，为了再生与从式编码数据对应的影像信号，针对图4的从影像解码部25，并非采用完全新的处理技术规范，而采用依照标准技术规范的既存的解码装置，能够实现期望的动作。
[0139]从式流复用部16对从场景内预测编码部14输出了的场景内预测编码数据、和从场景间预测编码部15输出了的场景间预测编码数据进行复用来生成从式流，将该从式流输出到复用部7(步骤ST10)。
[0140]复用部7对由场景内/场景间自适应编码部6变换了的从式流、和从场景间预测判定部5输出了的从式流编码管理信息进行复用，将其复用结果作为从式编码数据记录到数据记录部2(步骤STl I)。
[0141]此处，复用部7既可以物理上以I个文件或者流等形式记录从式流和从式流编码管理信息，也可以关于从式流编码管理信息，例如以XML形式的数据等管理，以构成与从式流的链接的方式记录。
[0142]从式流并非设为以其单体进行解码/影像再生的形式，而是构成为在进行解码/影像再生时，针对每个场景影像，自适应地抽出/追加主式流的编码数据。
[0143]主式流记录于数据记录部2中，所以主式流的编码数据的抽出/追加处理构成为在对与从式流对应的影像进行解码再生的情况下随时执行即可。
[0144]由此，关于在编码中使用主式流的场景影像，能够构成为不将实际上在解码中必要的主式流的编码数据逐一作为记录数据包括，所以能够不伴随质量劣化地削减应作为从式流记录的数据量，能够高效地使用数据记录部2的记录容量。
[0145]接下来，说明图4的图像解码装置的处理内容。
[0146]首先，开关21依照从外部提供的流类别识别信号，选择在数据记录部2中记录了的编码数据的解码处理过程。
[0147]S卩，开关21在从外部提供的流类别识别信号指示了 “将该编码数据作为主式流来解码”的意思的情况下(图5的步骤ST21)，读入在数据记录部2中记录了的主式流，将该主式流输出到H.264解码部22 (步骤ST22)。
[0148]另一方面，在该流类别识别信号指示了“将该编码数据作为从式编码数据来解码”的意思的情况下(步骤ST21)，读入在数据记录部2中记录了的从式编码数据，将该从式编码数据输出到复用分离部23 (步骤ST23)。
[0149]H.264解码部22如果从开关21接收到主式流，则针对该主式流，实施依照H.264影像编码方式的规定的解码处理，从而生成再生影像(步骤ST24)。
[0150]复用分离部23如果从开关21接收到从式编码数据，则将该从式编码数据分离为从式流和从式流编码管理信息，将该从式流和从式流编码管理信息输出到解码流形成部24 (步骤 ST25)。
[0151]解码流形成部24如果从复用分离部23接收到从式流和从式流编码管理信息，则读出在数据记录部2中记录了的多个主式流中的、该从式流编码管理信息中包含的主式流ID表示的主式流。
[0152]另外，解码流形成部24从读出了的主式流中，抽出该从式流编码管理信息中包含的主场景ID表示的场景影像的编码数据。在图6的主式流中，抽出附加了斜线的部分的场景影像的编码数据。
[0153]解码流形成部24如果抽出了主场景ID表示的场景影像的编码数据，则确定由复用分离部23分离了的从式流内的场景影像中的、与主场景ID表示的场景影像对应的场景影像。在图6的从式流中，确定附加了斜线的部分的场景影像。
[0154]然后，解码流形成部24通过将从主式流抽出了的编码数据嵌入到从式流的对应的场景影像的位置，形成解码流(步骤ST26)。
[0155]此处，关于从主式流抽出的编码数据，如图6所示，一般，场景开头帧与从式流侧的该场景的开头在时间上不一致，所以以使它们匹配的方式，变换与抽出了的主式流的各图片(访问单元)对应的编码数据的时刻信息而追加到从式流。
[0156]通过该结构，解码流还能够形成为例如将主式流作为基本视点的流(在H.264推荐Annex H中规定的MVC (多视点编码)形式的流)。
[0157]从影像解码部25如果解码流形成部24形成了解码流，则针对该解码流实施规定的解码处理，从而生成与从式编码数据对应的再生影像(步骤ST27)。
[0158]如以上说明，根据该实施方式1，构成为设置有:场景相关测定参数计算部1，针对MPEG-2视频比特流内的每个场景影像，计算成为测定与其它场景影像的相关的标准的场景相关测定参数；H.264变换部4，将MPEG-2视频比特流变换为依照H.264影像编码方式的视频比特流；以及场景间预测判定部5，根据由场景相关测定参数计算部I计算出的场景相关测定参数A、B，从数据记录部2中记录了的主式流内的场景影像单位的编码数据中，在场景内/场景间自适应编码部6进行预测编码时，代替MPEG-2视频比特流内的场景影像单位的编码数据而检索在预测参照中使用的编码数据，场景内/场景间自适应编码部6在数据记录部2中记录了的主式流内的场景影像单位的编码数据中，将由场景间预测判定部5未检索在预测参照中使用的代替的编码数据的编码数据、和由场景间预测判定部5检索了的编码数据使用于预测参照，将该MPEG-2视频比特流变换为从式流，所以起到得到不会导致处理量的增加、影像质量的降低，而能够进行高效的压缩的图像编码装置的效果。
[0159]另外，根据该实施方式1，设置解码流形成部24，该解码流形成部24读出在数据记录部2中记录了的多个主式流中的、由复用分离部23分离了的从式流编码管理信息中包含的主式流ID表示的主式流，并且从该主式流中，抽出在该从式流编码管理信息中包含的主场景ID表示的场景影像的编码数据，将该编码数据嵌入到由复用分离部23分离了的从式流的对应的场景影像的位置，从而形成解码流，从影像解码部25通过对由解码流形成部24形成了的解码流，实施规定的解码处理，生成与从式编码数据对应的再生影像，所以起到得到能够对高效地压缩了的图像进行解码的图像解码装置的效果。
[0160]在该实施方式I中，示出了输入到图像解码化装置的视频比特流是MPEG-2视频比特流，将该MPEG-2视频比特流的编码方式通过使用了 H.264的场景内/场景间自适应预测编码处理变换的例子，但输入到图像解码化装置的视频比特流不限于MPEG-2视频比特流，例如也可以是MPEG-4视觉(IS0/IEC14496-2)、H.264(IS0/IEC 14496-10)等任意的影像编码形式。
[0161]另外，变换编码中使用的编码方式也不限于H.264。
[0162]另外，能够构成为根据输入到图像解码化装置的视频比特流的影像编码形式，定义由场景相关测定参数计算部I计算的场景相关测定参数。
[0163]另外，作为与从式编码数据对应的影像信号的编码数据格式，以在H.264的推荐Annex H中规定的MVC为例子,但其也不限于MVC形式,能够构成为通过依照该实施方式I中的图像编码装置、图像解码装置的结构，应对其它同样的标准编码方式。
[0164]实施方式2.
[0165]在上述实施方式I中，示出了作为主式流再压缩的“MPEG-2视频比特流”、或者、作为从式流再压缩的“MPEG-2视频比特流”被输入到场景相关测定参数计算部I的例子，但也可以是作为主式流再压缩的“MPEG-2视频比特流”和作为从式流再压缩的“MPEG-2视频比特流”包含于单一的视频比特流中，单一的视频比特流输入到场景相关测定参数计算部I的例子。
[0166]图8是示出本发明的实施方式2的图像编码装置的结构图，在图中，与图1相同的符号表示同一或者相当部分，所以省略说明。
[0167]开关31实施如下处理:在从外部提供的再压缩方法识别信号指示了 “输入到场景相关测定参数计算部I的MPEG-2视频比特流的前半部分是作为主式流再压缩的视频比特流，后半部分是作为从式流再压缩的视频比特流”的意思的情况下，分割从场景相关测定参数计算部I输出了的MPEG-2视频比特流，将该MPEG-2视频比特流的前半部分提供给H.264变换部4，将该MPEG-2视频比特流的后半部分提供给场景内/场景间自适应编码部6。另夕卜，开关31构成了编码数据分割单元。
[0168]接下来，说明动作。
[0169]在上述实施方式I中，示出了作为主式流再压缩的“MPEG-2视频比特流”、或者、作为从式流再压缩的“MPEG-2视频比特流”输入到场景相关测定参数计算部I的例子，但在该实施方式2中，说明如图9所示，作为主式流再压缩的“MPEG-2视频比特流”和作为从式流再压缩的“ MPEG-2视频比特流”包含于单一的视频比特流中，单一的视频比特流输入到场景相关测定参数计算部I的例子。
[0170]在单一的视频比特流输入到场景相关测定参数计算部I的情况下，相比于图1的图像解码化装置，仅开关31的处理内容不同。
[0171]在开关31中，从外部输入指示“输入到场景相关测定参数计算部I的MPEG-2视频比特流的前半部分是作为主式流再压缩的视频比特流，后半部分是作为从式流再压缩的视频比特流”意思的再压缩方法识别信号。
[0172]开关31如果在从外部提供了上述再压缩方法识别信号之后，从场景相关测定参数计算部I输出了 MPEG-2视频比特流，则将该MPEG-2视频比特流分割为前半部分和后半部分，将该MPEG-2视频比特流的前半部分提供给H.264变换部4，将该MPEG-2视频比特流的后半部分提供给场景内/场景间自适应编码部6。
[0173]开关31以外的图像编码装置的处理内容与上述实施方式I相同，所以省略详细的说明，通过将该MPEG-2视频比特流的前半部分提供给H.264变换部4，该MPEG-2视频比特流的前半部分被变换为依照H.264影像编码方式的视频比特流，将该视频比特流作为主式流记录到数据记录部2中。
[0174]另一方面，通过将该MPEG-2视频比特流的后半部分提供给场景内/场景间自适应编码部6，该MPEG-2视频比特流的后半部分被变换为从式流，对该从式流和从场景间预测判定部5输出了的从式流编码管理信息进行了复用的从式编码数据被记录到数据记录部2中。
[0175]图像解码装置的处理内容与上述实施方式I相同，从由数据记录部2记录了的主式流中，抽出从式流编码管理信息表示的场景影像的编码数据(参照图10)，将该场景影像的编码数据嵌入到从式流的对应场景影像的位置，从而形成解码流，来进行图像的解码处理。
[0176]例如，在电视节目等中，在I个节目内包括相关高的场景影像情况较多，如上所述，在主式流和从式流包含于单一的视频比特流中的情况下，能够高效地检索来利用相关高的场景影像。
[0177]在该实施方式2中，示出了输入到场景相关测定参数计算部I的MPEG-2视频比特流的前半部分被分成作为主式流再压缩的“MPEG-2视频比特流”、后半部分被分成作为从式流再压缩的“MPEG-2视频比特流”的例子，但也可以如图11所示，将交替反复主式流和从式流的单一的MPEG-2视频比特流输入到场景相关测定参数计算部I。
[0178]一般，根据时间上接近的场景影像进行预测相比于根据时间上远离的场景影像进行预测，编码效率更佳，但在如图11所示，交替反复主式流和从式流的情况下，主式流和从式流的时间上的距离接近，所以能够生成编码效率高的流。
[0179]此处，示出了交替反复主式流和从式流的例子，但也可以如图12所示，主式流的时间上的长度和从式流的时间上的长度不同。
[0180]在图12的例子中，MPEG-2视频比特流内的主式流的个数是2个，MPEG-2视频比特流内的从式流的个数是6个，所以从式流的时间上的长度成为主式流的时间上的长度的3倍。
[0181]这样，通过使从式流的时间上的长度比主式流的时间上的长度更长，进行使用了场景间相关的编码的场景影像增加，所以有助于改善编码效率。
[0182]此时，也可以针对主场景的编码管理信息，复用主式流和从式流的长度信息。
[0183]但是，在MPEG-2视频比特流的方式是上述那样的方式时，有在编码对象的序列内，包括场景变换的可能性。
[0184]在场景变换前后，在场景影像之间无相关的可能性高，所以如果如图13所示，场景刚刚变换之后的场景影像是主式流，则能够防止场景变换所致的编码效率降低。
[0185]因此，也可以将场景刚刚变换之后的场景影像一定是主式流的MPEG-2视频比特流输入到场景相关测定参数计算部I。
[0186]在该实施方式2中，示出了主式流和从式流包含于单一的MPEG-2视频比特流中的例子，但也可以如图14所示，按照特定的单位(例如，G0P)，将表示单一的MPEG-2视频比特流中包含的各个流是主式流还是从式流的flag(标志)作为主场景的编码管理信息，向图像解码装置发信号(signaling)。
[0187]例如，既可以通过构成标志通知单元的复用部7将该编码管理信息记录到数据记录部2，向图像解码装置发信号，也可以通过将该编码管理信息发送到图像解码装置，向图像解码装置发信号。
[0188]由此，能够根据影像的特性，自由地决定设为主式流还是设为从式流，能够改善编码效率。
[0189]另外，如图15所示，有如下可能性:在序列的途中，插入了性质与编码中的场景影像明显地不同的场景影像(例如，相应于电视节目中的CM等)。
[0190]在这样的情况下，考虑事先检测性质与编码中的场景影像明显地不同的场景影像，按照在其场景影像内封闭的形式检测场景相关测定参数来进行编码。
[0191]由此，能够减少检测场景相关测定参数的场景影像，来降低处理量，所以也可以将性质与编码中的场景影像明显地不同的场景影像被跳过了的(未包括该场景影像的流的)MPEG-2视频比特流输入到场景相关测定参数计算部I。
[0192]在该实施方式2中，示出了将MPEG-2视频比特流变换为依照H.264影像编码方式的视频比特流，将该视频比特流作为主式流记录到数据记录部2的例子，但影像编码方式不限于H.264影像编码方式，例如，也可以使用MPEG-4等其它影像编码方式。另外，将输入比特流设为MPEG-2视频比特流，但其不限于MPEG-2视频比特流，例如，也可以将通过MPEG-4、H.264等其它影像编码方式编码了的视频比特流用作输入。
[0193]在上述实施方式1、2中，虽然未特别提到，但有如下情况:图像编码装置以及图像解码装置具备编辑由数据记录部2记录了的主式流或者从式编码数据的编辑功能(例如，相应于具备键盘、鼠标等人机界面，依照通过人机界面受理了的操作内容编辑主式流或者从式编码数据的CPU等处理部等)。
[0194]但是，通过用户操作编辑功能，有时发生主式流被删除的状况。
[0195]因此，图像编码装置以及图像解码装置的编辑功能也可以在进行了删除主式流的操作的情况下，将表示“进行删除主式流的操作”意思的警告消息显示于显示器中。
[0196]另外，也可以通过关于根据主式流的预测进行再编码等处理，防止由于主式流被删除而不能解码。
[0197]实施方式3.
[0198]在上述实施方式1、2中，示出了主式流以及从式编码数据记录到数据记录部2的例子，但关于主式流，也可以不记录到数据记录部2，而记录到图像编码装置以及图像解码装置的外部装置中。
[0199]图16是示出记录器(record)(图像编码装置、图像解码装置)连接到网络的系统例的结构图。
[0200]在图16的例子中，也可以作为记录器的图像编码装置的H.264变换部4不将主式流记录到数据记录部2，而经由网络接口，将该主式流传送到作为外部装置的服务器(例如，公共服务器、服务业者提供的专用服务器、个人所有的服务器)，该服务器记录主式流。
[0201]例如，关于在服务器中记录了的主式流，如果设定为无法通过用户的操作删除的结构，则能够防止由于错误地删除主式流而无法对流进行解码。
[0202]另外，能够构成服务器的管理者限于特定的用户公开主式流的系统，通过这样的结构，能够实现安全的影像管理。
[0203]实施方式4.
[0204]在上述实施方式I中，示出了场景间预测编码部15如果从开关12接收到解码图像，则利用该解码图像的时间相关、以及该解码图像和由场景间预测参照部位抽出部13生成了的主式流解码图像中的同一时刻位置的图像数据之间的相关，执行H.264的运动补偿处理或者使用了帧内部预测的压缩编码处理，输出作为其处理结果的场景间预测编码数据的例子(在1、P、B图片的各个中，能够根据与同一时刻位置对应的图片进行场景间预测)，但也可以如图17所示，仅限于I图片能够进行场景间预测。或者，也可以如图18所示，仅限于1、P图片能够进行场景间预测。
[0205]通过限制场景间预测，在相关高的场景影像的情况下，虽然编码效率降低，但能够削减变换时的处理量。
[0206]另外，也可以场景间预测编码部15根据场景相关度切换仅限于I图片进行场景间预测的处理(参照图17)、和仅限于1、P图片进行场景间预测的处理(参照图18)。
[0207]例如，被构成为在场景途中有场景变换的情况等相关高的场景影像仅为开头的情况下，仅对开头的I图片实施场景间预测，并且在是大致相同的场景的情况下，对1、P、B图片的全部实施场景间预测，从而起到不会降低编码效率而能够削减处理量的效果。
[0208]图19是示出本发明的实施方式4的图像编码装置的处理内容的流程图。
[0209]以下，说明图19所示的处理内容。
[0210]场景相关测定参数计算部I如果输入了通过MPEG-2影像编码方式压缩编码了的MPEG-2视频比特流，则与上述实施方式I同样地，针对该MPEG-2视频比特流的每个场景影像，计算成为测定与其它场景影像的相关的标准的场景相关测定参数(步骤ST31)。
[0211]如果从外部提供的再压缩方法识别信号指示了 “将MPEG-2视频比特流作为主式流再压缩”的意思(步骤ST32)，则与上述实施方式I同样地，开关3将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给H.264变换部4。
[0212]另一方面，如果该再压缩方法识别信号指示了 “将MPEG-2视频比特流作为从式流再压缩”的意思(步骤ST32)，则与上述实施方式I同样地，将从场景相关测定参数计算部I输出了的MPEG-2视频比特流提供给场景内/场景间自适应编码部6。
[0213]H.264变换部4如果被从开关3提供了 MPEG-2视频比特流，则与上述实施方式I同样地，将该MPEG-2视频比特流通过规定的处理过程变换为依照H.264影像编码方式的视频比特流，将该视频比特流作为主式流，记录到数据记录部2 (步骤ST33)。
[0214]如果场景相关测定参数计算部I计算了场景相关测定参数A或者场景相关测定参数B，则与上述实施方式I同样地，场景间预测判定部5根据该场景相关测定参数A、B，从数据记录部2中记录了的主式流内的场景影像单位的编码数据中，在场景内/场景间自适应编码部6进行预测编码时，代替MPEG-2视频比特流内的场景影像单位的编码数据而检索在预测参照中使用的编码数据。
[0215]以下，具体说明由场景间预测判定部5实施的编码数据的检索处理。
[0216]首先，场景间预测判定部5与上述实施方式I同样地，使用由场景相关测定参数计算部I计算了的场景相关测定参数A、B，测定MPEG-2视频比特流内的各个场景影像、和在数据记录部2中记录了的主式流内的各个场景影像的相关值。
[0217]接下来，场景间预测判定部5针对MPEG-2视频比特流内的每个场景影像，比较针对该场景影像的主式流内的各个场景影像的相关值，探索相关值最大的主式流内的场景影像。
[0218]场景间预测判定部5如果探索出相关值最大的主式流内的场景影像，则与上述实施方式I同样地，如果其相关值是预先设定了的规定值以上，则将该场景影像的编码数据决定为在预测参照中使用的场景影像。
[0219]另一方面，如果其相关值小于预先设定了的规定值，则不将该主式流内的场景影像的编码数据使用于预测参照。
[0220]场景间预测判定部5如果发现了场景内/场景间自适应编码部6在预测参照中使用的编码数据(存在与MPEG-2视频比特流内的场景影像相关高的主式流内的场景影像的情况)，则与上述实施方式I同样地，将表示“在该处理对象的场景中，利用主式流内的相关高的场景影像的编码数据来进行编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7。
[0221]另一方面，如果未发现场景内/场景间自适应编码部6在预测参照中使用的编码数据(不存在与MPEG-2视频比特流内的场景影像相关高的主式流内的场景影像的情况)，则与上述实施方式I同样地，将表示“在该处理对象的场景中，不使用主式流内的编码数据，进行在场景内封闭的编码”的意思的从式流编码管理信息输出到场景内/场景间自适应编码部6以及复用部7。
[0222]场景内/场景间自适应编码部6在数据记录部2中记录了的主式流内的场景影像单位的编码数据中，将由场景间预测判定部5未检索出在预测参照中使用的代替的编码数据的编码数据、和由场景间预测判定部5检索出的编码数据使用于预测参照，将该MPEG-2视频比特流变换为从式流。
[0223]以下，具体说明由场景内/场景间自适应编码部6实施的流的变换处理。
[0224]首先，如果从开关3提供了 MPEG-2视频比特流，则场景内/场景间自适应编码部6的MPEG-2解码部11与上述实施方式I同样地，实施针对该MPEG-2视频比特流内的各个场景影像的编码数据的解码处理，按照场景影像单位生成解码图像(步骤ST34)。
[0225]如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示不将主式流内的场景影像单位的编码数据使用于预测参照的意思，则与上述实施方式I同样地，开关12将由MPEG-2解码部11生成了的解码图像输出到场景内预测编码部14。
[0226]如果该场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思，则与上述实施方式I同样地，将由MPEG-2解码部11生成了的解码图像输出到场景间预测编码部15。
[0227]如果从场景间预测判定部5输出了的从式流编码管理信息中包含的场景间预测指示标志表示将主式流内的场景影像单位的编码数据使用于预测参照的意思，则场景间预测参照部位抽出部13与上述实施方式I同样地，从该从式流编码管理信息中包含的主式流ID表示的主式流中，抽出主场景ID表示的场景影像的编码数据。
[0228]场景间预测参照部位抽出部13如果抽出了主场景ID表示的场景影像的编码数据，则与上述实施方式I同样地，实施针对该编码数据的H.264解码处理，生成作为该场景影像的解码图像的主式流解码图像。
[0229]场景间预测编码部15如果从开关12接收到解码图像，则例如在场景相关度低于作为预先设定了的阈值的第一相关度的情况(例如在场景途中有场景变换的情况)下，仅限于I图片，利用场景相关(步骤ST35)，如图17所示，仅对I图片实施场景间预测，进行再编码(步骤ST36)。
[0230]另外，场景间预测编码部15在例如虽然场景相关度高于第一相关度但低于作为预先设定了的阈值的第二相关度的情况下，仅限于1、P图片，利用场景相关(步骤ST35、ST37)，如图18所示，仅对1、P图片实施场景间预测，进行再编码(步骤ST38)。
[0231]另外，场景间预测编码部15在例如场景相关度高于第二相关度的情况下，针对1、P、B图片的全部利用场景相关(步骤ST37)，针对1、P、B图片的全部实施场景间预测，进行再编码(步骤ST39)。
[0232]另外，场景间预测编码部15如果实施场景间预测而进行了再编码，则将作为其再编码结果的场景间预测编码数据输出到从式流复用部16。
[0233]场景内预测编码部14如果从开关12接收到解码图像，则与上述实施方式I同样地，完全不使用主式流内的编码数据，对该解码图像实施H.264压缩编码处理，输出作为其编码处理结果的场景内预测编码数据。
[0234]从式流复用部16与上述实施方式I同样地，对从场景内预测编码部14输出了的场景内预测编码数据、和从场景间预测编码部15输出了的场景间预测编码数据进行复用来生成从式流，将该从式流输出到复用部7 (步骤ST40)。
[0235]复用部7与上述实施方式I同样地，对由场景内/场景间自适应编码部6变换了的从式流、和从场景间预测判定部5输出了的从式流编码管理信息进行复用，将其复用结果作为从式编码数据记录到数据记录部2 (步骤ST41)。
[0236]如以上说明，根据该实施方式4，场景间预测编码部15构成为根据场景相关度切换仅限于I图片进行场景间预测的处理、和仅限于ι、ρ图片进行场景间预测的处理，所以关于不进行场景间预测的图片，起到通过再利用再编码前的流信息(模式信息、运动信息等)能够简化处理的效果。通过进行这样的处理，编码效率稍微降低，但能够削减伴随再编码的处理量。特别，在嵌入设备等使用了低功耗、低CPU的系统中是有用的。
[0237]另外，本申请发明能够在该发明的范围内，实现各实施方式的自由的组合、或者各实施方式的任意的构成要素的变形、或者各实施方式中的任意的构成要素的省略。
[0238]产业上的可利用性
[0239]本发明的图像编码装置具备影像编码数据变换单元，该影像编码数据变换单元针对依照第一影像编码方式的影像编码数据内的每个场景影像数据，选择性地应用使用其它场景影像数据的预测参照，变换为依照第二影像编码方式的影像编码数据，能够不会导致处理量的增加、影像质量的降低地进行高效的压缩，所以适合于用作HDD内置型数字录像设备、云型系统等图像编码装置。
【权利要求】
1.一种图像编码装置，具备影像编码数据变换单元，该影像编码数据变换单元针对依照第一影像编码方式的影像编码数据内的每个场景影像数据，选择性地应用使用其它场景影像数据的预测参照，变换为依照第二影像编码方式的影像编码数据，其特征在于， 所述影像编码数据变换单元在变换第一影像编码数据内的场景影像单位的编码数据时，探索应在预测参照中使用的其它场景影像单位的编码数据，选择是否将探索出的场景影像单位的编码数据使用于预测参照，将所述第一场景影像单位的编码数据变换为依照第二影像编码方式的影像编码数据，并且生成表示是否将探索出的场景影像单位的编码数据使用于预测参照的元数据。
2.根据权利要求1所述的图像编码装置，其特征在于， 所述影像编码数据变换单元具备场景相关测定参数计算单元，该场景相关测定参数计算单元针对第一影像编码数据内的每个场景影像，计算成为测定与其它场景影像的相关的标准的场景相关测定参数， 根据从该场景相关测定参数计算单元输出的参数值，在变换第一影像编码数据内的场景影像单位的编码数据时探索应在预测参照中使用的其它场景影像单位的编码数据。
3.根据权利要求1所述的图像编码装置，其特征在于， 具备数据记录单元，该数据记录单元对由所述影像编码数据变换单元变换了的依照第二影像编码方式的影像编码数据，复用记录所述元数据。
4.根据权利要求1所述的图像编码装置，其特征在于， 所述影像编码数据变换单元将成为探索源的影像编码数据、和将探索出的场景影像单位的编码数据使用于预测参照而变换了的依照第二影像编码方式的影像编码数据记录到用网络连接的不同的装置。
5.一种图像解码装置，实施针对影像编码数据的解码处理来生成再生影像，其特征在于，具备: 判定单元，针对影像编码数据的每个场景影像单位的编码数据，根据另行输入的元数据，判定是否预测参照其它场景影像单位的编码数据而对该场景影像单位的编码数据进行了编码，并且在预测参照其它场景影像单位的编码数据而进行了编码的情况下，确定在预测参照中使用的其它场景影像单位的编码数据的位置；以及 解码单元，在所述判定单元的结果是预测参照其它场景影像单位的编码数据而进行了编码的情况下，从由所述判定单元确定的位置，取得预测参照目的地的编码数据，与解码对象的场景影像单位的编码数据一起进行解码处理。
6.一种图像编码方法，影像编码数据变换单元针对依照第一影像编码方式的影像编码数据内的每个场景影像数据，选择性地应用使用其它场景影像数据的预测参照，变换为依照第二影像编码方式的影像编码数据，其特征在于， 在由所述影像编码数据变换单元变换第一影像编码数据内的场景影像单位的编码数据时，探索应在预测参照中使用的其它场景影像单位的编码数据，接下来选择是否将探索出的场景影像单位的编码数据使用于预测参照，接下来将所述第一场景影像单位的编码数据变换为依照第二影像编码方式的影像编码数据，并且生成表示是否将探索出的场景影像单位的编码数据使用于预测参照的元数据。
7.一种图像解码方法，实施针对影像编码数据的解码处理来生成再生影像，其特征在于，具备: 判定处理步骤，判定单元针对影像编码数据的每个场景影像单位的编码数据，根据另行输入的元数据，判定是否预测参照其它场景影像单位的编码数据而对该场景影像单位的编码数据进行了编码，并且在预测参照其它场景影像单位的编码数据而进行了编码的情况下，确定在预测参照中使用的其它场景影像单位的编码数据的位置；以及 解码处理步骤，解码单元在所述判定处理步骤的结果是预测参照其它场景影像单位的编码数据而进行了编码的情况下，从通过所述判定处理步骤确定的位置，取得预测参照目的地的编码数据，与解码对象的场景影像单位的编码数据一起进行解码处理。
【文档编号】H04N9/79GK104137544SQ201380011367
【公开日】2014年11月5日 申请日期:2013年2月28日 优先权日:2012年2月29日
【发明者】关口俊一, 杉本和夫, 伊谷裕介, 山田悦久, 工藤大树, 西川博文, 木槻纯一, 竹内浩一 申请人:三菱电机株式会社