运动图像编码装置、方法、程序以及集成电路的制作方法

专利名称：运动图像编码装置、方法、程序以及集成电路的制作方法
技术领域：
本发明涉及一种并联编码装置，为了对高速输入的摄像图像进行
处理，而利用N路的编码电路对N条分割序列进行并联编码，并以帧为单位、且按输入顺序将所输出的N路的编码流叠加，所述N条分割序列是在时间方向以N帧为单位将输入序列分割而成的。
背景技术：
利用图1 图7，说明以往的系统的工作。
图1示出专利文献1所述的以往的运动图像传输系统X1的结构。以往的运动图像传输系统XI包括发送装置X3和接收装置X4。
在图1中，运动图像传输系统X1，通过通信路X2，从发送装置X3向接收装置X4分发高帧率的运动图像。在此，发送装置X3适用H.264编码方式。
该发送装置X3，以图片为单位，依次循环分配输入视频数据XDV1，并进行时间轴伸展，生成多路的视频数据XDV1A、XDV1B、……、XDV1N。并且，发送装置X3，通过编码器X6A X6N，对各个路的视频数据XDV1A、 XDV1B、 、 XDV1N分别
进行编码处理后，进行时间轴压縮，从而合成为l路。发送装置X3，
8通过图中没有示出的通信部，向通信路X2发送所合成的编码数据XDS1。
也就是，在发送装置X3中，分配器X5，依次循环分配输入视频数据XDV1的各个图片，并进行时间轴伸展，输出多路的视频数据XDV1A、 XDV1B、……、XDV1N。具体而言，分配器X5，将输入视频数据XDV1的第m图片分配为第1路的视频数据XDV1A，将后续的第m+l图片分配为后续的第2路的视频数据XDV1B。并且，分配器X5，还将后续的第m + 2图片分配为后续的第3路的视频数据XDV1C。
编码器X6A X6N，分别根据H.264，对各个路的视频数据XDV1A、 XDV1B、 、 XDV1N进行编码处理，输出编码数据
XDS1A、 XDS1B、……、XDS1N。
合成器X7，对编码数据XDS1A、 XDS1B、 、 XDS1N进行
时间轴压縮后，以图片为单位依次循环进行选择，以便与分配器X5中的输入视频数据XDV1的分配相对应，将这些多个编码数据XDS1A、XDS1B、……、XDS1N合成为1路的编码数据XDS1。进而，合成器X7，重新设定在该1路的编码数据XDS1设定了的示出各个图片的关系的信息，或者，重新设定在多路的编码数据XDS1A、XDS1B、……、XDS1N预先设定了的示出各个图片的关系的信息，从而使基于H.264编码标准的1台解码装置能够解码合成后的1路的编码数据XDS1。
合成器X7，重新设定确定各个图片的帧识别符(fmme^^um)，以作为示出各个图片的关系的信息，以便在合成后的编码数据XDS1中能够确定各个图片。也就是，在H.264中，作为各个图片固有的识别符的帧识别符(frame一皿m)，被设定在各个存取单元(AccessUnit)的切片头(SliceHeader)，依据该帧识别符(fmme—num)确定各个图片。因此，对于基于H.264编码标准的编码器X6A X6N分别进行编码处理后的编码数据XDS1A、 XDS1B、 、 XDS1N，分别各个编码数据
XDS1A、 XDS1B、 、 XDS1N固有的帧识别符(frame—num)被设
定在各个图片。
合成器7，重新设定帧识别符(frame一num)，以便在合成后的1路的编码数据XDS1中，使值以图片为单位连续发生变化，并将各个编码数据XDS1A、 XDS1B、……、XDS1N固有的帧识别符(frame—num)，重新设定为1路的编码数据XDS1固有的帧识别符(frame—num)。
图2是，以合成2路的编码数据XDS1A、 XDS1B的情况为例子，来示出该合成器X7(图l)中的帧识别符(frame一rmm)的设定的概要图。
在该图2的例子中，在1路的编码数据XDS1A的各个图片，依次设定值AUn、值AUn+l、值AUn+2、 的接连的帧识别符
(frame—mim)(图2的上层)，在其余1路的编码数据XDS1B的各个图片，依次设定值AUm、值AUm+l、值AUm+2、……的接连的帧识别符(frame—nrnn)(图2的中层)。
合成器X7，如以箭头示出，合成2路的编码数据XDS1A、XDS1B来生成1路的编码数据XDS1，以便2路的编码数据XDS1A、 XDS1B的各个图片交替连续(图2的下层)。并且，合成器X7，如以值AUn、值AUn+l、值AUn+2、值AUn+3、值AUn+4、来示出，重新设定帧识别符(frame一num)，以便以图片为单位，各个图片的帧识别符(frame—num)依次连续。
并且，合成器X7，重新设定确定参考图片的参考图片列表(Reference Picture List : ref—pic—list),以作为示出各个图片的关系的信息，从而能够依据合成后的编码数据XDS1来准确地确定参考关系。
也就是，在H.264中，依据参考帧识别符(ref—idx)以及参考图片列表(ref一pic一list)，确定各个宏块参考的参考帧。
图3是说明参考图片列表XL的构造的概要图。
如图3示出，参考图片列表XL(ref一pic—list)是被设置在切片头(SliceHeader)的列表，具有过去的多幅参考帧识别符(ref一idx)、以及与各个参考帧识别符(ref—idx)相对应的帧识别符(fmme一num)。在H.264的编码装置、解码装置中，被设定在该参考图片列表XL(ref一pic一list)的帧识别符(frame一num)的图片，被存储在用于参考图片的缓冲XB(Decoded Picture Buffer),并被使用于其它图片的编码、解码。
在各个宏块XM(MacroBlock)设定有，被设定在参考图片列表XL(ref_piC—liSt)的参考帧识别符(ref一idx)中的、与参考图片相对应的参考帧识别符(ref一idx)。
因此，在图3示出的例子中，由于在宏块XM(MacroBlock)设定
ii有值1的参考帧识别符(ref—idx)(ref—idx二l)，在参考图片列表 XL(ref一pic一list)中的该值1的参考帧识别符(refjdx)设定有值n+1的 帧识别符(fmme—num)，因此得知，该宏块XM(MacroBlock)参考缓 冲XB(DecodedPictureBuffer)保持的帧识别符(frame—num)为值n+ 1的图片。
图4是说明运动图像编码装置(发送装置X3)中的参考关系的概要图。
在此，以合成2路的编码数据XDS1A、 XDS1B的情况为例子， 如图4示出，在以图片为单位将多路的编码数据XDS1A、 XDS1B选 择并合成为l路的情况下，连续的图片间发生参考关系的变化。而且， 在此，在图4中，以符号frame—n frame一n+3、frame—m frame_m 十3来分别示出图片，以箭头线来示出各个图片间的参考关系。因此， 在该图4的情况下，示出在2路的编码数据XDS1A、 XDS1B中，各 个图片分别参考靠前的图片。若将该2路的编码数据XDS1A、 XDS1B 合成为1路，贝格个图片分别参考隔开一个图片的前方图片，依据被 设定在各个路的编码数据XDS1A、 XDS1B的参考关系的信息，难以 表示准确的参考关系。也就是，在各个编码数据XDS1A、 XDS1B被 合成为编码数据XDS1后，被设定在各个编码数据XDS1A、 XDS1B 的参考关系的信息表示的参考关系为不准确的参考关系，即表示错误 的参考关系。
在图5、图6中，随着参考图片列表的状态转移，而示出图4示 出的合成前流XDS1A、合成后流XDS1的各个参考关系。在图5中，各个帧的参考帧识别符(ref一idx)，总是保持值O。在合 成器7中，由于不重新设定从各个宏块参考的参考帧识别符(ref一idx)， 因此需要重新设定切片头(SliceHeader)信息。
于是，合成器X7，如图6示出，重新设定被设定在切片头 (SliceHeader)的参考图片列表(ref—pic—list)的帧识另U符 (frame—num)，以便在合成为1路的编码数据XDS1中能够指示准确 的参考关系。具体而言，合成器X7，重新设定参考图片列表(ref—picjist) 的帧识别符(frame—num)，以便与所述的帧识别符(fmme—num)的设 定相对应。
图7是示出一般的H.264编码标准的编码流的结构的图。 合成器7，重新设定在切片头(SliceHeader)内存在的帧识别符 (frame—num)、参考图片列表(ref—pic—list—reordering)。其结果为， 不需要重新设定在切片数据(SliceData)内存在(实际上按每个宏块数 据存在)的参考帧识别符(refjdx)。
专利文献l:日本国特开2007—202026号公报 然而，在所述专利文献1中实施的以往的结构中，各个编码器 X6A X6N所编码的编码数据XDS1A XDS1N是已经构成为存取单 元(AccessUnit)的编码数据，如图7示出，帧识别符(frame—num)被 可变长编码为切片头(SliceHeader)语法，参考帧识别符(refjdx)被可 变长编码为宏块(macroblock)语法。在合成器X7中，为了重新设定被 设定在切片头(SliceHeader)的帧识别符(frame』um)，而需要检测编 码数据内的切片头的开头，边对切片头以后的被可变长编码了的编码
13参数进行可变长解码，边检测帧识别符(fmme一mim)，从而对要重新 设定的帧识别符进行可变长编码，来置换帧识别符。并且，在要重新 设定的帧识别符的可变长编码数据的位长度发生变化的情况下，由于 重新设定了的帧识别符以后的位的位置偏移，因此需要边将编码数据 位移，边重新构成编码数据。进而，由于需要重新设定参考图片列表 (ref_pic—list—reordering),因此需要到该语法的出现位置对被可变长 编码了的编码流进行可变长解码。据此，需要用于将编码数据暂时保 持在各个编码器X6A X6N的后级或合成器X7的缓冲存储器、启动 代码检测器、进行可变长解码处理的流操作部、以及用于将编码数据 位移的桶形移位器(Barrel Shifter)，因此存在硬件资源增加、以及 因硬件资源增加而导致消耗电力增加的问题。
并且，在H.264编码标准中，能够指定参考可能帧幅数 (num_ref_frames)，其最大值被规定为16幅。但是，在很多情况下， 为了规定用于保持各个编码器X6A X6N的参考帧的缓冲容量，而参 考可能帧幅数(num一ref—frames)被限制为16幅以下。因此，存在的问 题是，在编码时参考可能帧幅数被限制的情况下，在合成为1路的编 码数据XDS1中，用于保持参考帧的缓冲容量不足，从缓冲区域中参 考帧已被丢弃，从而发生在缓冲内不存在应该参考的帧数据的情况。

发明内容
为了解决所述的以往的问题，本发明的目的在于提供一种运动图 像编码装置，为了确保合成后的帧的参考关系的互换性，而在制作编码流时预先控制可变长编码器，从而不需要用于重新设定已被构成为 编码流的参数的缓冲存储器、启动代码检测器、进行可变长解码的流 控制部、以及用于将编码数据位移的桶形移位器。并且，本发明的目 的在于提供，根据所述内容进行比较简单的处理的运动图像编码装置。 鉴于以上的内容，本发明的第一运动图像编码装置是一种运动图
像编码装置，包括分割部，将输入到该运动图像编码装置的输入序
列分割为N条(N》2)分割序列；N个编码器，对所述分割部所分割的
N条分割序列进行编码；以及多路复用部，将N个所述编码器所编码 的N条所述分割序列多路复用为一条输出序列；所述输出序列包含索 引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；所: 述运动图像编码装置，包括索引控制部，在分割序列被多路复用为所: 述输出序列之前，在该分割序列设定所述索引。
并且，第二运动图像编码装置是一种运动图像编码装置，利用N 个编码电路对每隔N幅选择输入图像而得到的N条输入序列进行编
码，其中包括运动推测单元，根据输入图像和过去已经编码的多个
图像推测运动，从而获得运动矢量信息和差分块；正交转换单元，将 与所述运动推测单元所推测的块之间的差分转换为频率系数值；量《七 单元，将所述正交转换单元所转换的频率系数值量化；反量化单元， 将所述量化单元所量化的量化值反量化；反正交转换单元，将所述反 量化单元所反量化的量化系数转换为像素值；解块滤波器单元，对所 述反正交转换单元所转换的像素值进行滤波处理；可变长编码单元， 对包含所述量化单元所量化的系数值、所述运动推测单元算出的运动矢量值以及参考图像索引的编码信息进行编码；参考索引信息控制单 元，变更所述运动推测单元取得的参考图像索引；以及多路复用单元， 按输入顺序，将输入序列整体的编码信息和N个编码电路生成的编码 《IE重叠。
在此，第二运动图像编码装置包括参考帧识别符控制单元。 根据该结构，能够在制作编码数据时将参考帧识别符插入到编码 流中。
并且，第二运动图像编码装置，其中，第三运动图像编码装置包 括参考图像缓冲信息控制单元，变更参考图像缓冲信息，该参考图像 缓冲信息是所述多路复用单元所重叠的输入序列整体的编码信息的构 成要素。
在此，第三运动图像编码装置包括参考图像缓冲信息控制单元。 根据该结构，能够在制作编码数据时将参考可能帧幅(参考帧缓冲
信息)插入到编码流中。
并且，通过包括该第二运动图像编码装置的各个步骤的方法，能
够提供在制作编码数据时将参考帧识别符插入到编码流中的编码方法。
并且，根据包括该第三运动图像编码装置的各个步骤的方法，能 够提供在制作编码数据时将参考可能帧幅(参考帧缓冲信息)插入到编 码流中的编码方法。 并且，根据用于使计算机实现该第二运动图像编码装置的各个步 骤的程序，能够提供在制作编码数据时将参考帧识别符插入到编码流中的编码方法的程序。
并且，根据用于使计算机实现该第三运动图像编码装置的各个步 骤的程序，能够提供在制作编码数据时将参考可能帧幅(参考帧缓冲信 息)插入到编码流中的编码方法的程序。
在此，记录有第二运动图像编码装置的运动图像编码方法的程序 的记录介质是，记录有包括参考帧识别符控制步骤的方法的程序的记 录介质。
根据该记录介质，能够提供记录有在制作编码数据时将参考帧识 别符插入到编码流中的编码方法的程序的记录介质。
在此，记录有该第三运动图像编码装置的运动图像编码方法的程 序的记录介质是，记录有包括参考帧缓冲控制步骤的方法的程序的记 录介质。
根据该结构，能够提供记录有在制作编码数据时将参考可能帧幅 (参考帧缓冲信息)插入到编码流中的编码方法的程序的记录介质。
根据本发明的运动图像编码装置，不重新设定编码流的参数，而 能够确保在将独立编码的多个流合成的情况下的参考关系的互换性。 并且，能够提供根据所述内容进行比较简单的处理的运动图像编码装 置。


图l是以往的运动图像传输系统的方框图。
图2是说明图6的运动图像编码系统中的编码数据的合成处理的概要图。
图3是说明参考图片列表的构造的概要图。
图4是说明运动图像编码装置中的参考关系的概要图。
图5是以参考帧缓冲的状态转移来说明图9中的参考关系的概要图。
图6是说明以往的编码系统中的参考帧缓冲的状态转移的概要图。
图7是说明H.264编码标准中的切片层语法的概要图。
图8是本发明的实施例中的数字照相机的方框图。
图9是本发明的实施例中的运动图像传输系统的方框图。
图10是本发明的实施例中的参考帧缓冲的状态转移的概要图。
图11是本发明的实施例中的参考帧缓冲的状态转移的概要图。
图12是本发明的实施例中的参考帧缓冲的状态转移的概要图。
图13是本发明的实施例中的参考帧缓冲的状态转移的概要图。
图14是本发明的实施例中的参考帧识别符控制的流程图。
图15是示出分割序列和输出序列154的图。
符号说明
1数字照相机系统 2通信路 3发送装置 4接收装置 5分配器6A 6N、 6编码器 7合成器
8参考帧缓冲控制部
601正交转换部
602量化部
603反量化部
604反正交转换部
605解块滤波器部
606运动探索部
607帧内预测部
608可变长编码部
609帧存储器
610参考帧识别符控制部
1401透镜
1402摄像元件
1403图像处理器
具体实施例方式
以下，参照

本发明的实施例。 (实施例)
以下，详细说明实施例。
图8是数字照相机系统1的方框图。如图8示出，数字照相机系统1包括光学透镜1401;摄像元件 (图像传感器)1402;用于预处理的图像处理器1403，将通过光电转换 从摄像元件1402得到的传感器图像(RAW数据)转换为YUV格式数据 DV1;以及发送装置3，对从图像处理器1403发送的YUV格式数据 进行编码。
光学透镜1401，在摄像元件1402上形成，数字照相机系统l拍 摄的运动图像的影像。
摄像元件1402，生成光学透镜1401所形成的影像的电信号。而 且，摄像元件1402，将所生成的电信号输出到图像处理器1403，并 将数字照相机系统1拍摄的运动图像输入到图像处理器1403。而且， 进一步，具体而言，摄像元件1402，例如生成比电视广播的帧率等的 通常的帧率高的帧率的运动图像的电信号，并将高帧率的运动图像输 入到图像处理器1403。
图像处理器1403,对所输入的运动图像进行图像处理，并将图像 处理后的运动图像输出到发送装置3。
发送装置3，根据从图像处理处理器1403输出到发送装置3的运 动图像的输入序列DV1(图8)，生成以H.264编码方式来对输入序列 DV1进行编码而得的输出序列DS1(图9)，并将所生成的输出序列 DS1，通过通信路2(图9)发送到接收装置4。
图9是示出本发明的实施例中的数字照相机系统1的详细结构的 方框图。
图9的下层示出数字照相机系统1具有的发送装置3(图8)的详细如图9的下层示出，数字照相机系统1，通过通信路2，从发送装 置3向接收装置4分发高帧率的运动图像。由数字照相机系统1以及 接收装置4的整体构成运动图像传输系统。而且，接收装置4包括解码器4m。解码器4m，对接收装置4所 接收的、发送装置3发送的输出序列DS1进行解码。具体而言，解码 器4m，以H.264编码方式来对所接收的输出序列DS1进行解码。接 收装置4，通过解码器4m，对接收的输出序列DS1进行解码。发送装置3包括分配器5;多个编码器(编码器6A 编码器6N); 合成器7;以及参考帧缓冲控制部8(图9的下层)。而且，例如，这些 分配器5等是，安装在发送装置3包括的集成电路的功能框。并且， 例如，这些分配器5等是，通过发送装置3包括的计算机执行软件， 从而该计算机实现的功能的功能框。分配器5，依次循环分配输入视频数据(输入序列)DV1的各个图 片，并进行时间轴伸展，输出多路的视频数据DV1A、 DV1B、……、 DV1N。分配器5，将这些多路的视频数据DV1A、DV1B、 、DV1N，输出到编码器6A 编码器6N。从分配器5，向多个编码器(编码器6A 编码器6N)分别输入分配 器5所分割的视频数据DV1A 视频数据DV1N。编码器6A 编码器 6N，分别对该编码器所输入的视频数据(视频数据DV1A 视频数据 DV1N)进行编码。由编码器6A 编码器6N编码后的视频数据 DV1A 视频数据DV1N，分别被称为编码数据DS1A DS1N。而且，分配器5，将输入视频数据DV1分割为由编码器6A 编 码器6N编码的N个分割序列。编码器6A 编码器6N对所分割的各 个分割序列进行编码，并从编码器6A 编码器6N向合成器7分别输 出编码后的各个分割序列。而且，分配器5所分割的N个分割序列，都具有比输入视频数据 DV1的帧率低的帧率。例如，具有比输入视频数据DV1的帧率慢N 倍的帧率。具体而言，例如，这些N个分割序列的帧率等于电视广播 的帧率。图9的上层示出编码器6的详细结构。编码器6是编码器6A 编码器6N(图9的下层)之中的一个。例 如，编码器6是编码器6A。而且，编码器6B 编码器6N的详细结 构，与编码器6(编码器6A)的详细结构個9的上层)相同。编码器6包括正交转换部(T)601、量化部(Q)602、反量化部(Q— 1)603、反正交转换部(T一 1)604、解块滤波器部(DBF)605、帧存储器 (FM)609、帧内预测部(INTRA)607、运动探索部(ME)606、可变长编 码部(VLC)608、以及参考帧识别符控制部610。以下，正交转换部 (T)601 运动探索部(ME)606的整体被称为前级编码部。编码器6包 括前级编码部、可变长编码部(VLC)608以及参考帧识别符控制部610。而且，构成编码器6的前级编码部(正交转换部(T)601、量化部 (Q)602、反量化部(Q—1)603、反正交转换部(T—1)604、解块滤波器 部(DBF)605、帧存储器(FM)609、帧内预测部(INTRA)607、运动探 索部(ME)606)和可变长编码部(VLC)608，具有与一般的H.264编码处理中的功能相同的功能。对于这些前级编码部、可变长编码部，也 可以采用与它们相对应的规定的公知技术。对于这些前级编码部、可变长编码部，在图14的说明中说明简单的流程图中的处理的流程。对于参考帧识别符控制部610、参考帧缓冲控制部8，参照图10 图13，首先进行详细说明。合成器7(图9的下层)，对由编码器6A 编码器6N编码的编码 数据DS1A、 DS1B、……、DS1N进行时间轴压縮后，以图片为单位， 依次循环选择时间轴压縮后的编码数据DS1A、 DS1B、……、DS1N， 以便与分配器5中的输入视频数据XDV1的分配相对应。而且，合成 器7，将这些多个编码数据DS1A、 DS1B、……、DS1N，合成为1 路的编码数据DS1。通过发送装置3，将合成后的编码数据DS1发送 到接收装置4。图IO是示出由编码器6(图9的上层，编码器6A)输出的编码数据 DS1A的图。图11是示出由合成器7将编码数据DS1A(图IO)等合成而得的编 码数据DS1(图9的下层)的图。利用图10、图11说明参考帧识别符控制部610(图9的上层)的工作。参考帧识别符控制部610(图9的上层)，在视频数据XDV1A设定 全局索引，该全局索引用于唯一地确定编码数据DS1(图9的下层，图 ll)具有的各个帧中的一个帧。图10表示编码器6(编码器6A)制作图10的编码流DS1A时的参考图片列表。并且，在图11中，示出利用N路(2路)的编码器进行合成时的例 子。在图11中，举例示出N为2的情况。在编码器有N路的情况下 的参考帧关系，具有离间N—1帧(1帧)的参考关系。在图10中，由frame—n+2参考的帧是frame—n+l， 一般而言，从参考图片列表的参考帧识别符最小的值的帧开始，依次参考各个帧。 也就是，frame—n+2的参考帧识别符(ref—idx)为0。在图10中，以 从frame—n+2延伸的虚线的箭头线来示出，frame一n+2的ref一idx 为0。但是，若照原样进行编码，艮P，若照原样以refjdx为O来进行 编码，则合成器7所合成的编码数据DS1(图11)，不能表示准确的参 考。于是，由于合成后的编码数据DS1具有离间N—1帧(l帧)的参考 关系，因此，在编码器6(编码器6A)进行编码时，编码器6(编码器6A) 的参考帧识别符控制部610，预先控制参考帧识别符(ref—idx)，并进行 编码，以便成为离间的参考关系。也就是，参考帧识别符控制部610， 将本来以虚线的箭头线(图IO)来示出的参考帧关系，置换为以实线的 箭头线来示出的参考帧关系。据此，例如，如图10的frame一n+2的 "ref—idx=l"示出，frame—n+2的ref—idx从0被置换为1。而且，具体而言，例如，参考帧识别符控制部610也可以，设定 置换前的值后，设定置换后的值，从而简直进行置换。并且，参考帧 识别符控制部610也可以，不逐一设定置换前的值，而就设定置换后 的值。而且，参考帧识别符，根据包含该参考帧识别符的帧、和由该帧参考的帧(参考帧)之间的距离，即，根据这些帧相互离间的距离，来确 定戶万参考的帧(参考帧)。参考帧识别符包含，由与该参考帧识别符的帧 之间的距离而成的索引，确定该索引的距离的帧，以作为参考帧。参 考帧识别符，以相对指定(自己相对指定)来确定参考帧。
而且，包含参考帧识别符的帧也可以是，例如所谓P帧
(Predecated Frame)。而且，包含参考帧识别符的帧也可以是，例如 所谓B帧(Bi—directional Predecated Frame)。
图11表示解码器4m(图9)对将进行了所述控制的编码数据 DS1A、编码数据DS1B合成而得的编码数据DS1进行解码时的参考 图片列表的状态转移。
而且，在图11中示出将新的二个编码数据合成的结果。也就是， 不由图10的frame—n frame—n+3而成的编码数据DS1A，而将其 它的编码数据合成而得的编码数据，就是由图11的frame_n frame—n+5而成的编码数据DS1。
在图11中，对于frame_n frame—n+5，在参考图片列表中， 从解码时刻最近的帧开始，依次分配更小的参考帧识别符(ref一idx)。并 且，由于各个帧的参考帧识别符(refjdx)，保持在合成后的编码数据 DS1中离间2帧的参考关系，即，保持在合成前的编码数据DS1A中 离间l帧的参考关系，因此，解码器4m，能够依据正常的参考关系信 息进行帧解码处理。
并且，禾拥图12、图13说明存在多个帧参考关系的情况下的发 送装置3的工作。在图12中设想，流(编码数据DS1A，图9)的frame—n+2参考 frame—n 、 frame—n +1的多个帧。并且，设想参帧最大值 (num—ref一fmmes)被限制为3。在此情况下，能够参考的帧识别符 (ref一idx)，最大为2。图13示出在合成器7将2路的编码流合成的'瞎 况下的参考图片的状态转移。
在图13中，对于fmme一n+4，变更frame—n+4的帧识别符 (ref—idx)，以便参考frame—n+2和frame—n。也就是，在图13中， frame_n+4的宏块是，纵向排列的六个宏块(macro—block)中的、从 上第5个宏块。而且，该frame一n + 4的宏块具有二个帧识别符 (ref—idx)。而且，对于这些二个帧识别符(ref—idx)的值，如图13的实 线的箭头线示出，由参考帧识别符控制部610，预先不设定0以及1， 而设定1以及3。
参考帧缓冲控制部8(图9的下层)，设定参考帧最大值 (num_ref_frames)。
若仍然参考帧最大值(num—ref—frames)为3，则frame—n+4的 解码时所参考的frame—n的帧识别符(ref—idx)为3(ref_idx=3，图13)， 因此不能参考。因此，参考帧缓冲控制部8(图9的下层)，在由合成器 7合成为1路时，将作为序列参数集(Sequence—Parameter—Set)语法 的参考帧最大值重新设定为(原设定值X帧分割数)，从而合成为1路。 其结果为，在合成时重新设定了的参考帧最大值为4，在frame—n+4 的解码时所参考的frame一n的帧识别符(ref一idx)的值3，成为能够参 考的值。并且，利用图14说明由参考帧识别符控制部610的参考帧识别符 控制处理、以及由参考帧缓冲控制部8的参考帧缓冲控制处理的流程 图。
在图14中，首先，例如发送装置3的分配器3等，对各个编码器 设定并联度N，该并联度N示出以几路的编码器来进行编码处理 (S1301)。其次，根据H.264标准，编码器6A的前级编码部(正交转 换部(T)601等)进行编码处理(S1302 S1309)。其次，参考帧识别符 控制部610，将在画面间预测处理(ME :运动检测)中参考的帧的原帧 识别符(ref—idx—OLD)变更为新的帧识别符(ref—idx—NEW)(S1310)。 而且，参考帧识别符控制部610，通过"ref—idx—NEW=(ref—idx—OLD + 1)*N_1"的计算式，从变更前的帧识别符(ref—id3^0LD)算出，变 更后的帧识别符(ref—idx—NEW)。而且，参考帧识别符控制部610也 可以，先设定ref一idx—OLD，然后，将设定了的设定内容变更为 ref—idx—NEW，从而设定ref—idx—NEW。也就是，参考帧识别符控制 部610也可以，先将原来的值修正为ref一idx—OLD，然后，还将作为 被修正了的设定内容的ref—idx—OLD，修正为ref—idx—NEW。并且， 参考帧识别符控制部610也可以，不先将原来的值修正为 ref—idx_OLD，而直接将原来的值修正为ref—idx—NEW。
其次，可变长编码部(VLC)608，根据H.264标准，对由参考帧识 别符控制部610变更后的帧识别符进行可变长编码(S1311)。若帧内的 所有的宏块的编码已完成(S1312)，则编码器等将切片头信息、图片参 数集信息附加在流中(S1313、 S1314)，若编码对象帧是序列的最后帧(S1315 :"是")，则参考帧缓冲控制部8进行参考帧缓冲控制(S1316)。 其处理是，如上所述，变更参考帧最大值(num—ref_frames)，并变更 参考帧保持区间的处理。其次，合成器7，将包含被变更了的参考帧最 大值(num一ref—fmmes)的序列参数集信息附加在流中(S1317)。
以往的技术中存在的问题是，为了将独立地编码后的多个流合成 后，重新设定具有不匹配的参考关系，而需要流操作部、桶形移位器 以及用于暂时保持流的缓冲存储器，导致消耗电力增加的问题。根据 该数字照相机系统1，能够避免该问题。也就是，数字照相机系统1 中的发送装置3包括参考帧识别符控制部610和参考帧缓冲控制部8， 在制作编码流时，通过控制可变长编码器，从而在合成前，预先设定 合成后的参考关系。据此，能够提供运动图像编码装置(发送装置3)， 其不需要南于重新设定已被构成为编码流的参数的缓冲存储器、启动 代码检测器、进行可变长解码的流控制部、以及用于将编码数据位移 的桶形移位器。
而且，在所述的实施例中，假设根据H.264标准进行编码处理的 情况来说明了，但是，本发明不仅限于此，可以广泛地适用于以能够 将多个图片作为参考图片的各种编码方式来进行编码处理的情况。
并且，在所述的实施例中说明了，由硬件构成各个处理，并且该 硬件被构成为编码处理终端的情况，但是，本发明不仅限于此，也可 以考虑到由硬件构成各个处理，并且该硬件被构成为一个LSI(大规模 集成电路)的情况。
并且，也可以考虑到被构成为编入程序的情况，该编入程序用于通过软件处理控制LSI内的专用数字信号处理器的运算处理。
并且，也可以考虑到被构成为程序的情况，该程序用于通过软件 处理控制个人电脑内的通用运算处理。
在此情况下，也可以将运算处理的程序记录在光盘、磁盘、存储 卡、LSI内的指令存储器等的各种记录介质中来提供，并且，也可以 通过互联网等网络来提供。
图15是示出由分配器5分割后的多个分割序歹ij、和由合成器7将 分割后的多个分割序列合成而得的输出序列154的图。
右边的分割序列(分割序列152以及分割序列153)是，由编码器 6(编码器6A)编码的分割序列(图9的视频数据DV1A、编码数据 DS1A)。
分割序列152是，就在由可变长编码部608(图9的上层)进行可变 长编码之前的分割序列。
分割序列153是，在由可变长编码部608进行可变长编码之后的 分割序列(编码数据DS1A)。在图15中，通过在分割序列153附加阴 影线，从而示出分割序列153被可变长编码。
输出序列154是，由合成器7将图15的右边的分割序列、左边的 分割序列等的多个分割序列合成而得的输出序列(图9的输出序列 DS1)。
分割序列152具有帧1520等的各个帧。
帧1520是分割序列152具有的各个帧之中的一个，例如是图10 中的frame—n+2。帧1520具有参考帧识别符控制部610(图9的上层)所设定的参考 帧识别符1520i。
数轴151a是，在图15右边的分割序列(分割序列152、分割序列 153)中的索引的数轴，艮卩，是局部索引的数轴。
数轴151c是，在输出序列154中的索引的数轴，g口，是全局索引 的数轴。
索引Y是，由帧1520参考的帧的局部索弓l。索引Y是，确定针 对帧1520离间一个帧的距离的帧的索引。由帧1520参考的帧是，针 对帧1520离间一个帧的距离的帧。索引Y是，在图10中以从frame—n + 2的macro—block延伸的虚线的箭头线来示出的参考帧识别符。
而且，图中的数轴151a、数轴151c、索引Y，都是仅仅为了便于 说明而示出的，而不是数字照相机系统1的一部分。
参考帧识别符1520i是具有全局索引的参考帧识别符，该全局索 引用于在数轴151c中确定索引Y所确定的帧。在图10中，参考帧识 别符1520i是，以从frame—n+2的macro_block延伸的实线的箭头 线、以及frame一n+2的macro—block所示的"ref—idx=l"来示出的。
分割序列155以及分割序列156是，例如在编码器6B等其它的 编码器中的分割序列。
在分割序列152以及分割序列153中通过数轴151a的局部索引， 索引Y确定的帧是，在输出序列154中通过数轴151c的全局索引， 参考帧识别符1520i确定的帧。而且，在分割序列152以及分割序列 153中，索引Y确定的帧是，由帧1520参考的帧。因此，输出序列154的参考帧识别符1520i，即使在每次合成输出序列154后不被变 更，也具有适当的内容。因此，在解码器4m解码输出序列154时， 根据参考帧识别符1520i，由解码器4m适当地解码输出序列154的 帧1520。
如上所述，构成运动图像编码装置(发送装置3、发送装置3的i十 算机、发送装置3的集成电路等)，该运动图像编码装置(发送装置3、 发送装置3的计算机、发送装置3的集成电路等)，包括分割部(分配 器5 :图9的下层)，将输入到该运动图像编码装置的输入序列分割为 N条(N》2)分割序列(图15中左边的分割序列、右边的分割序列等)； N个编码器(编码器6A 编码器6N :图9的下层)，对所述分割部所 分割的N条分割序列进行编码；以及多路复用部(合成器7 :图9的下 层)，将N个所述编码器所编码的N条所述分割序列多路复用为一条 输出序列(输出序列DS1、输出序列154);所述输出序列包含索引(参 考帧识别符1520i、参考图像索引)，该索引唯一地确定该输出序列具 有的各个图像中的一个图像；所述运动图像编码装置，包括索引控 制部(参考帧识别符控制部610 :图9的下层)，在分割序列被多路复用 为所述输出序列之前，在该分割序列设定所述索引。
而且，在此，"唯一地"的语句意味着，依据索引确定各个图像中 的多个特定图像，索引不确定多个特定图像的每一个，而依据索引确 定各个图像中的一个特定图像，从而依据索引只确定该一个特定图像。
据此，根据本实施例的运动图像编码装置(发送装置3 :参照图9 的下层)，在由多路复用部的多路复用(重叠)之前，设定索引。据此，不通过处理量大的处理，而通过简单的处理，能够设定索引。
而且，构成运动图像编码装置，该运动图像编码装置，所述索引
控制部为N个，N个所述索引控制部分别被设置在相互不同的所述编 码器上，在由设置有该索引控制部的编码器编码的分割序列被多路复 用为所述输出序列之前，在该分割序列设定所述索引(参考帧识别符 1520i、参考图像索引)，所述索引确定该分割序列中包含的一个图像(参 考帧)；所述多路复用部，将N个所述分割序列多路复用为输出序列， 从而第t个所述编码器(l《t《N)编码的分割序列的第s个图像(s为整 数)为所述输出序列的第(sXN+t+At)个(At(l《t《N)为预先设定的 整数)；被设置在第t个所述编码器的第t个所述索引控制部(l《t《N)， 针对分割序列中包含的该图像的顺序s和所述t，设定顺序为(sXN+t 十At)的索引。
而且，如上所述，ref—idx—NEW、以及ref—idx—OLD具有 "ref—idx—NEW 二(ref—idx—OLD+l)*N—1"的关系。
而且，构成运动图像编码装置，该运动图像编码装置，所述分割 部，例如按照数字照相机系统1进行高速拍摄还是通常速度的拍摄， 从N以下的各个值(1 N)中选择选择值，将所述输入序列分割为所选 择的^f述选择值的条数的分割序列；N个所述编码器，通过N个该编 码器中的所述选择值的个数的编码器，对所述分割部所分割的所述选 择值的条数的分割流进行编码；所述多路复用部，将该选择值的个数 的所述编码器所编码的、该选择值的条数的所述分割序列多路复用为 一条输出序列；所述索引控制部为N个，N个所述索引控制部分别被设置在相互不同的所述编码器上，在所述选择值的个数的编码器中包 含设置有该索引控制部的所述编码器的情况下，在该编码器编码的分 割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引， 所述索引确定该分割序列中包含的一个图像。
而且，所述分割部，例如，在进行高速拍摄的情况下，选择用于 高速拍摄的选择值，该用于高速拍摄的选择值的值比在进行通常速度 的拍摄的情况下选择的通常选择值大。
而且，构成运动图像编码装置，该运动图像编码装置是集成电路(发
送装置3包括的集成电路)，该集成电路被设置在拍摄运动图像的摄像 装置(数字照相机系统l)上，表示该摄像装置所拍摄的所述运动图像的 输入序列被输入到该集成电路；所述摄像装置拍摄第一运动图像和第 二运动图像(例如60XN个的个数)，所述第二运动图像在单位时间内 具有的图像的个数比所述第一运动图像的个数(例如60)多；所述分割 部，在所述摄像装置拍摄所述第二运动图像的情况下，选择大于第一 选择值(例如l)的第二选择值(例如N)，所述第一选择值是在所述摄像 装置拍摄所述第一运动图像的情况下被选择的。
而且，构成运动图像编码装置，该运动图像编码装置，所述输出 序列包含缓冲信息(参考帧最大值(num一ref一frames))，该缓冲信息指 定在运动图像解码装置对该输出序列进行解码时的、该运动图像解码 装置记忆由所述索引确定的图像的缓冲(DPB : Decoded Picture Buffer)的大小，所述运动图像编码装置，包括缓冲信息控制部(参考 帧缓冲控制部8 :图9的下层)，在所述输出序列设定所述缓冲信息。而且，构成运动图像编码装置，该运动图像编码装置，所述输出 序列包含缓冲信息，该缓冲信息用于在运动图像解码装置对该输出序 列进行解码时指定记忆由所述索引确定的图像的缓冲器的大小，该运
动图像解码装置是通过所述缓冲器记忆由所述索引确定的图像的；所 述运动图像编码装置，包括缓冲信息控制部，在所述输出序列设定所 述缓冲信息；所述缓冲信息控制部，在所述输出序列设定所述缓冲信 息，所述缓冲信息在作为所述索引控制部的个数的所述选择值越多的 情况下，就越指定大小大的缓冲器，所述索引控制部设定所述索引。
而且，构成运动图像编码装置，该运动图像编码装置，N个所述 编码部，分别包括所述索引控制部，被设置在该编码部上；索引必 要编码部(前级编码部正交转换部(T)601、量化部(Q)602、反量化部 (Q —1)603、反正交转换部(T一 1)604、解块滤波器部(DBF)605、帧存 储器(FM)609、运动探索部(ME)606、帧内预测部(INTRA)607、)， 对该分割流进行编码，以便在运动图像解码装置对所述输出序列进行 解码的情况下，使该编码部所设定的所述索引成为该运动图像解码装 置(解码器4m)所需要的索引；以及可变长编码部(可变长编码部608)， 对所述索弓I必要编码部所编码的所述分割流进行可变长编码；该索引 控制部，在由所述可变长编码部进行可变长编码之前，在所述分割流 设定所述索引。
而且，构成运动图像编码装置，该运动图像编码装置，所述索引 必要编码部，包括反量化部(反量化部(Q—1)603)，将过去的图像的 频率系数值被量化了的量化值反量化为频率系数值；反正交转换处理部(反正交转换部(T一 1)604)，根据所述反量化部所反量化的所述频率 系数{直，算出该频率系数值示出的所述过去的图像；解块滤波器部(解 块滤波器部(DBF)605)，对所述反正交转换处理部所算出的所述过去的 图像进行解块滤波处理；推测部(帧内预测部(INTRA)607)，根据由所 述解块滤波器部进行解块滤波处理后的所述过去的图像，算出当前的 图像的推测图像；正交转换部(正交转换部(T)601)，将所述当前的图像 和所述推测部所算出的所述推测图像之间的差分转换为频率系数值； 以及量化部(量化部(Q)602)，将所述正交转换部所转换的所述频率系数 值量化为量化值；所述可变长编码部(可变长编码部(VLC)608)，对编 码信息进行可变长编码，该编码信息包含所述量化部所量化的所述量 化值；所述索引控制部，将确定所述过去的图像的索引设定在由所述 可变长编码部进行可变长编码的所述编码信息中，并使所述可变长编 码部对设定有该索弓I的所述编码信息进行可变长编码。
而且，构成运动图像编码装置，该运动图像编码装置，所述输出 序列(图9的输出序列DS1、图15的输出序列154)是对所述输入序列 (图9的输入序列DV1)进行根据H.264编码标准的编码而得到的序列。
本发明涉及的运动图像编码装置，例如有用于利用H.264编码进 行高速摄像图像的编码处理的摄像系统。
能够提供该运动图像编码装置进行的处理比较简单的运动图像编 码装置。
权利要求
1、一种运动图像编码装置，包括分割部，将输入到该运动图像编码装置的输入序列分割为N条分割序列，其中N≥2；N个编码器，对所述分割部所分割的N条分割序列进行编码；以及多路复用部，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列；所述输出序列包含索引，该索引唯一地确定该输出序列具有的各个图像中的一个图像；所述运动图像编码装置，还包括索引控制部，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。
2、 如权利要求l所述的运动图像编码装置， 所述索引控制部为N个，N个所述索弓I控制部分别被设置在相互不同的所述编码器上， 在由设置有该索引控制部的编码器编码的分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引，所述索引确定该分割序列中包含的一个图像，所述多路复用部将N个所述分割序列多路复用为输出序列，从而第t个所述编码器编码的分割序列的第s个图像为所述输出序列的第sXN+t+At个，其中1《t《N， s为整数，At为常数，被设置在第t个所述编码器的第t个所述索引控制部，针对分割序 列中包含的该图像的顺序s和所述t，设定顺序为sXN+t+At的索 引。
3、 如权利要求l所述的运动图像编码装置， 所述分割部从所述N以下的各个值中选择选择值，将所述输入序列分割为所选择的所述选择值的条数的分割序列，N个所述编码器通过N个该编码器中的所述选择值的个数的编码 器，对所述分割部所分割的所述选择值的条数的分割流进行编码，所述多路复用部将该选择值的个数的所述编码器所编码的、该选 择值的条数的所述分割序列多路复用为一条输出序列，所述索引控制部为N个，N个所述索弓I控制部分别被设置在相互不同的所述编码器上， 在所述选择值的个数的编码器中包含设置有该索引控制部的所述 编码器的情况下，在该编码器编码的分割序列被多路复用为所述输出 序列之前，在该分割序列设定用于确定该分割序列中包含的一个图像 的所述索引。
4、 如权利要求3所述的运动图像编码装置， 该运动图像编码装置是集成电路，该集成电路被设置在拍摄运动图像的摄像装置上，表示该摄像装 置所拍摄的所述运动图像的输入序列被输入到该集成电路，所述摄像装置拍摄第一运动图像和第二运动图像，所述第二运动图像在单位时间内具有的图像的个数比所述第一运动图像的个数多，在所述摄像装置拍摄所述第二运动图像的情况下，所述分割部选 择大于第一选择值的第二选择值，所述第一选择值是在所述摄像装置 拍摄所述第一运动图像的情况下被选择的。
5、 如权利要求l所述的运动图像编码装置，所述输出序列包含缓冲信息，该缓冲信息用于指定在运动图像解 码装置对该输出序列进行解码时该运动图像解码装置记忆由所述索引 确定的图像的缓冲器的大小，所述运动图像编码装置，包括缓冲信息控制部，在所述输出序列设定所述缓冲信息。
6、 如权利要求3所述的运动图像编码装置， 所述输出序列包含缓冲信息，该缓冲信息用于指定在运动图像解码装置对该输出序列进行解码时该运动图像解码装置记忆由所述索引 确定的图像的缓冲器的大小，所述运动图像编码装置包括缓冲信息控制部，该缓冲信息控制部 在所述输出序列设定所述缓冲信息，在作为用于设定所述索引的所述索引控制部的个数的所述选择值 越多的情况下，所述缓冲信息控制部就在所述输出序列设定用于指定 越大的大小的缓冲器。
7、 如权利要求1所述的运动图像编码装置， 所述索引控制部为N个，N个所述索引控制部分别被设置在相互不同的所述编码器上，在由设置有该索引控制部的编码器编码的分割序列被多路复用为 所述输出序列之前，在该分割序列设定所述索引，所述索引确定该分 割序列中包含的一个图像，N个所述编码部，分别包括所述索引控制部，被设置在该编码部上；索引必要编码部，对该分割流进行编码，以便在运动图像解码装 置对所述输出序列进行解码的情况下，使该编码部所设定的所述索引 成为该运动图像解码装置所需要的索引；以及可变长编码部，对所述索引必要编码部所编码的所述分割流进行 可变长编码；在由所述可变长编码部进行可变长编码之前，该索引控制部在所 述分割流设定所述索引。
8、如权利要求7所述的运动图像编码装置， 所述索引必要编码部包括反量化部，将过去的图像的频率系数值被量化了的量化值反量化 为频率系数值；反正交转换处理部，根据所述反量化部所反量化的所述频率系数 值，算出该频率系数值示出的所述过去的图像；解块滤波器部，对所述反正交转换处理部所算出的所述过去的图 像进行解块滤波处理；推测部，根据由所述解块滤波器部进行解块滤波处理后的所述过 去的图像，算出当前的图像的推测图像；正交转换部，将所述当前的图像和所述推测部所算出的所述推测 图像之间的差分转换为频率系数值；以及量化部，将所述正交转换部所转换的所述频率系数值量化为量化值；所述可变长编码部对编码信息进行可变长编码，该编码信息包含 所述量化部所量化的所述量化值；所述索引控制部将确定所述过去的图像的索引设定在由所述可变 长编码部进行可变长编码的所述编码信息中，并使所述可变长编码部 对设定有该索引的所述编码信息进行可变长编码。
9、 如权利要求l所述的运动图像编码装置，所述输出序列是对所述输入序列进行根据H.264编码标准的编码 而得到的序列。
10、 一种运动图像编码方法，包括分割工序，将输入序列分割为N条分割序列，其中N》2;编码工序，通过N个编码器对在所述分割工序所分割的N条分割 序列进行编码；以及多路复用工序，将在所述编码工序所编码的N条所述分割序列多 路复用为一条输出序列；所述输出序列包含索引，该索引唯一地确定该输出序列具有的各 个图像中的一个图像；所述运动图像编码方法，还包括索引控制工序，在分割序列被多路复用为所述输出序列之前，在该分割序列设定所述索引。
11、 一种计算机程序，使计算机执行以下的工序分割工序，将输入序列分割为N条分割序列，其中N^2;编码工序，通过N个编码器对在所述分割工序所分割的N条分割 序列进行编码；以及多路复用工序，将在所述编码工序所编码的N条所述分割序列多 路复用为一条输出序列；所述输出序列包含索引，该索引唯一地确定该输出序列具有的各 个图像中的一个图像；所述程序还使计算机执行索引控制工序，在分割序列被多路复用 为所述输出序列之前，在该分割序列设定所述索引。
12、 一种集成电路，包括分割部，将输入序列分割为N条分割序列，其中N》2; N个编码器，对所述分割部所分割的N条分割序列进行编码；以及多路复用部，将N个所述编码器所编码的N条所述分割序列多路 复用为一条输出序列；所述输出序列包含索引，该索引唯一地确定该输出序列具有的各 个图像中的一个图像；所述集成电路，还包括索引控制部，在分割序列被多路复用为所述输出序列之前，在该 分割序列设定所述索引。
全文摘要
分割序列被重叠为输出序列后，索引被变更，则需要处理量多的处理。于是，发送装置(3)包括分配器(5)，将输入序列(DV1)分割为N条(N≥2)分割序列；N个编码器(6A～6N)，对所述分配器(5)所分割的N条分割序列进行编码；以及合成器(7)，将N个所述编码器所编码的N条所述分割序列多路复用为一条输出序列(DS1)；所述输出序列(DS1)包含参考图像索引，该参考图像索引唯一地确定该输出序列(DS1)具有的各个帧中的参考帧；发送装置(3)还包括参考帧识别符控制部(610)，在分割序列被多路复用为所述输出序列(DS1)之前，在分割序列设定所述的参考索引。
文档编号H04N7/32GK101663897SQ20088000416
公开日2010年3月3日 申请日期2008年12月11日 优先权日2007年12月14日
发明者梶田哲史 申请人:松下电器产业株式会社