记录装置、再现装置及方法

专利名称：记录装置、再现装置及方法
技术领域：
本发明涉及高速拍摄的运动图像的记录、再现方法及其装置。
背景技术：
运动图像的压缩编码技术中有MPEG。近年来，作为普及的主要MPEG标准，有 MPEG2、MPEG4、MPEG4AVC等。该压缩技术的主要特征是，在对编码对象的图像帧(下面称作 编码对象帧)和已经编码并重构的图像帧(下面称作参考帧)之间的差分进行了 DCT(离 散余弦变换)和量化后，进行可变长编码。图1是表示现有技术的图。例如，在通过MPEG的编码装置，在如图1 (a)所示的期间T编码两帧的情况下，帧 序号用1 4所示的编码对象帧与各编码对象帧的参考帧的关系以如图1(a)的各箭头所 示这种参考关系(1和2、2和3、3和4有参考关系)来进行编码。图2是表示连续显示和抽取(間引t )显示例的图。在通过MPEG的解码装置再现在前述条件下编码的数据的情况下，首先如图2(a) 所示，在每个期间T连续再现的情况下，一边从帧1开始依次进行解码，一边进行再现。另 一方面，如图2(b)所示，在每个期间T抽取再现帧1、3的情况下，由于帧3与帧2有参考关 系，所以为再现帧3还需要解码帧2。即，即使是不需要再现的帧，若该帧是有参考关系的 帧，也必须解码该帧。因此，解码处理的处理量多，对于在期间T中含有的多个帧存在参考 关系的编码数据，在每个期间T仅有解码1帧能力的装置中，有抽取再现困难的问题。针对该问题，在(专利文献1)中，以图1(b)的箭头所示这种参考关系(1和2、1 和3、3和4有参考关系)来进行编码。由此，在解码装置中抽取再现帧1、3的情况下，可以 跳过帧2的解码。图3是表示现有技术的图。并且，通过将专利文献1的技术适用于高速拍摄时的运动图像帧的编码，例如在 如图3(a)所示的期间T中输入了常规的4倍帧数的情况下，可以提供对如图3(b)所示这 种1/4慢速再现、如图3 (c)所示这种1/2慢速再现、如图3 (d)所示这种1/1慢速(等速) 再现抑制了处理负担的增加的再现装置。但是，对高速拍摄的运动图像的抽取再现相对于再现速度的恰当的运动模糊 (motion blur)不足，有越接近等速再现越会成为不自然的运动图像的问题和因与常规拍 摄时相比曝光时间短，所以图像质量差的问题。图4是表示现有的技术的图。因此，为了解决这些问题，在专利文献2中，在如图4(a)所示的期间T中输入了常 规的4倍帧数的情况下，如图4(b) (d)所示，对于1/4、1/2、1/1 (等速)，一边相加帧，一 边进行再现。但是，在边相加帧边进行再现的情况下，即使是抽取再现，也需要解码全部帧，所 以再现的速度越接近等速再现，再现装置的负担越大。
专利文献1 日本特开2003-299103号公报专利文献2 日本特开2006-33242号公报现有技术中，很难同时改善图像质量和处理负担，本发明提供一种对于高速拍摄 的运动图像，兼顾了良好的图像质量并抑制了处理负担的增加的记录、再现方法及其装置。S卩，基于图3的技术，通过进行图1(b)的跳过技术，能够使处理量成为较少的处理 量，但另一方面图像质量差。另一方面，根据图4的技术，实现了高图像质量，但是为了得到 相加帧而不能跳过，不能实现基于图1(b)技术的处理量降低，从而处理量较大
发明内容
本发明鉴于这些方面而完成的，其所要解决的技术问题是，在进行再现2个帧两 者的常规再现的情况下，以及在进行使常规再现时通过两个帧的再现来观看的显示内容可 以仅通过1个帧的再现来观看的抽取再现的情况下，都可以兼顾高图像质量和少处理量。本发明的记录装置包含对流中含有的连续2个帧中的一个帧进行编码的编码部 和将所述2个帧中的另一个帧与所述一个帧相加的加法部。另外，本发明的再现装置包括 解码部，从一个帧被编码后的编码后帧解码该一个帧；和减法部，从该一个帧和与该一个帧 连续的另一个帧相加后的加法帧中，减去该一个帧，并将相减后的帧作为所述另一个帧生 成。由此，将通过再现2个帧两者来观看的显示内容仅通过再现1个帧来观看时(抽 取再现时)，加法帧被再现，从而防止了例如运动模糊的不足，因此实现了高图像质量。
并且，在再现加法帧时，仅简单地解码加法帧，解码的帧个数是一个就够了，通过 解码较少个数的帧就足够了。由此，处理量为较少的处理量就足够了。另外，在再现2个帧 两者时，解码一个帧和另一个帧这两个帧，而可将解码的帧数维持在较少数目。这里，若与 帧的解码处理的处理量相比，则帧的减法处理的处理量相对少。另一方面，在编码时，也仅 简单为编码一个帧并编码加法帧，而可以将编码的帧数目维持在较少数目。这里，帧的加法 处理的处理量也少。因此，在进行常规再现时和进行抽取再现时都可兼顾高图像质量和少处理量。发明的效果根据本发明，可以提供对于高速拍摄的运动图像兼顾了良好的图像质量和抑制了 处理负担的增加的记录、再现方法及其装置。


图1是表示现有技术的图；图2(a)是表示连续再现的例子的图，图2(b)是表示抽取再现的例子的图；图3是表示现有技术的图；图4是表示现有技术的图；图5是表示本发明的实施方式1的记录方式的图；图6是表示本发明的实施方式2的再现方式的图；图7是本发明的实施方式1的记录装置的结构图；图8是本发明的实施方式1的再现装置的结构图9是摄像机系统的结构图；图10是数字电视系统的结构图；图11是表示记录处理中的现有和本实施方式的运算量的比较图；
图12是表示再现处理中的现有和本实施方式的运算量的比较图；图13是程序进行的处理的流程图；图14是再现部进行的处理的流程图；图15是表示视频编码器的结构图；图16是表示多路复用流的图；图17是表示视频解码器的结构图；图18是表示输入到视频解码器的多路复用流的图；图19是表示程序的头部结构的图；图20是表示编码处理调用部使其处理开始的编码处理部的结构图；图21是解码处理调用部调用的解码处理部的结构图；图22是表示记录处理调用部使其执行开始的记录处理部的结构图；图23是表示主要部分的再现处理调用部调用的再现处理部的结构图；图24是表示程序的主要部分的结构图；图25是表示摄像机系统的动作图。附图标记的说明500 输入部501 第1选择部504 第1编码部506 第1加法部507 第2选择部510 第2编码部512 第2加法部514 第3编码部516 第2记录运算部
具体实施例方式下面，参考附图来说明本发明的实施方式。为解决现有问题，本发明的记录方法中，对N个(N是2的幂乘数)帧记录编码奇 数帧后的比特流，重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记 录对所述相加后的帧仅编码奇数帧后的比特流，从而生成Log2N+l个比特流。另一方面，在本发明的再现方法中，第1比特流是对N个(N是2的幂乘数)帧编 码奇数帧后得到的，第2到第Log2N+l比特流是通过重复Log2N(底数为2的对数)次生成 将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧 后的比特流而得到的，对于所述第1比特流和第2到第Log2N+l比特流，在再现N个帧中的 1帧的情况下，再现解码第Log2N+l比特流后重构的帧，在再现N个帧中的2帧的情况下， 将解码第Log2N比特流后重构的帧作为奇数帧加以再现，并将由第Log2N+l比特流重构的帧减去所述奇数帧后的帧作为偶数帧重构后加以再现，在再现N个帧中的M个帧(M是3以 上N以下的2的幂乘数)的情况下，将解码第Log2M+l比特流后重构的帧作为奇数帧加以 再现，并将由第Log2M到第Log2N+l比特流重构的M/2帧减去由对应的第Log2M+l比特流 重构的所述奇数帧后的帧，作为偶数帧加以再现。下面，加以详细说明。(实施方式1)图5是表示本发明的实施方式1的记录方法的图。下面，为简化说明，设高速拍摄时的输入帧如图5(la)所示，在期间T(单位时间) 中为4帧。若设常规拍摄时在期间T记录1帧，则成为进行4倍速的记录。首先，使用图5来说明记录方法的示意。如图5 (Ia)所示，在期间T输入数量为2的2次幂(4 = 2~k(k = 2、“A~B”表示A 的B次幂))的帧1，2，3，4，在第1记录步骤中，如图5(lb)所示，记录编码奇数帧1、3后的 第1比特流。另外，在第1记录步骤中，如图5(lc)所示，生成分别将奇数帧和偶数帧相加 后的帧1+2、3+4。在第2记录步骤中(参考后述的图7的第2记录运算部516)，记录对所 述相加后的帧编码奇数帧即帧1+2后的第2比特流。在第2记录步骤中，如图5 (Id)所示， 生成将第1记录步骤中相加后的帧的奇数帧和偶数帧相加后的帧1+2+3+4。并且，在第3记 录步骤中，记录编码所述帧1+2+3+4帧后的第3比特流。图7是表示记录部151的结构图。接着，使用图7来说明本实施方式中的记录装置(记录部151、图9的视频编码器 900)。将从输入部500得到的中贞1，2，3，4 (参考图5、记录输入流IS (图5、图15)、第1记 录运算输入流)通过第1选择部501分为奇数帧1，3与偶数帧2，4，并存储在各自的存储 部502、503中。由第1编码部504编码存储部502中存储的奇数帧，并将生成的第1比特 流(第1记录输出流Val)存储在存储部505中。接着，通过第1加法部506从存储部502和503中存储的奇数帧和偶数帧生成奇 数帧1+2和偶数帧3+4。相加后的帧1+2、3+4(第1记录运算输出流)通过第2选择部507 分别存储在存储部508、509中。由第2编码部510编码存储部508中存储的奇数帧，并将 所生成的第2比特流(第2记录输出流Va2)存储到存储部511中。最后，通过第2加法部512从存储部508和509中存储的奇数帧和偶数帧生成帧 1+2+3+4(第2记录运算输出流)。将相加后的帧1+2+3+4存储在存储部513中(第3记录 运算输入流)。通过第3编码部514编码存储部513中存储的奇数帧，并将所生成的第3比 特流(第3记录输出流Va3)存储到存储部515中。本实施方式中，为简化说明，以输入帧数为4( = 2的2次幂=2"k)为例来进行 说明，但在N是2的幂乘数的情况下，可通过设置Log2N个(k个)处理块(第2记录运算 部516)来对应。另外，与编码部514含有的第3记录运算部相一致，记录运算部随之也有 Log2N+l (= k+1)个。这里，Log2N表示以2为底数的N的对数。编码部504、510、514若满足性能要求，可以共用。即，可以构成实现编码部504、 510、514的各功能的一个大功能块。对于加法部506、512也同样，若满足性能要求也可共用。
图11是表示记录处理的现有例(图4的技术)和本发明的运算量比较的图。根据该结构，例如在设编码部(第1编码部 第3编码部)中的1个帧编码所需 的运算量为100、加法部(第1编码部 第2加法部)的一次加法帧的生成所需的运算量 为40的情况下，若比较现有技术和本实施方式1的运算量，则如图11所示，本实施方式1 的运算量比现有例的运算量仅稍稍多出加法处理的量。但是，在k变大的情况下(图11的 η变大的情况下)，由于与编码处理的处理量相比，加法处理的处理量少，所以本实施方式1 的运算量与现有例的运算量成为相等。另外，实施方式的例子中，由于编码部、加法部等可 由多个构成，所以容易并联分散化，对于降低耗电量，也比现有例有效。另外，由于并联分散 化容易，所以由于并联分散化引起的高速化，本实施方式1的处理中，即使处理量相同，也 可以比现有例更高速地进行处理。(实施方式2)图6是表示本发明的实施方式2中的再现方法的图。下面，为简化说明，设高速拍摄时的输入帧在如图6(2a)(图5(la)所示的记录输 入流is)所示的期间T中为4帧。若设常规拍摄时在期间T记录1帧，则成为进行4倍速 的记录。 首先，使用图6来说明再现方法的示意。如图6 (2a)所示，对于期间T中数量为2的2次幂(4 = 2~k个)的帧1，2，3，4，以 对通过实施方式1中记载的记录方式生成的第1 第3比特流(图7所示的第1记录输出 流Val 第3记录输出流Va3、图8所示的第1再现输入流Vb3 第3再现输入流Vbl)适 用本实施方式的再现方法为前提。如后所述，第1再现输入流Vb3 第3再现输入流Vbl 还称作第1再现运算输入流Vb3 第3再现运算输入流Vb 1。在如图6 (2d)所示，再现4帧中的1帧的情况下，即进行等速再现(1/1倍的慢速 再现、S卩、1/(2~(L-1))倍(L= 1)的慢速再现)的情况下，再现将第3比特流(图8所示的 第3再现输入流Vb3)解码后重构的帧DO (帧1+2+3+4)(后述的第3再现输出流)。在如图6(2c)所示，再现4帧中的两帧的情况下、即进行1/2倍的低速再现的情况 下(L = 2)，将解码第2比特流(图8所示的第2再现输入流Vb2)后重构的帧作为奇数帧 CO (帧1+2)再现。在L = 2的情况下，将由第3比特流(图8的第3再现输入流Vb3)重构的帧DO (帧 1+2+3+4)减去所述奇数帧CO (帧1+2)后的帧Cl (帧3+4)作为偶数帧重构后再现。在L = 3的情况下，即，在如图6 (2b)所示，再现4帧中的4帧的情况下，即进行 1/4慢速再现的情况下，将解码第1比特流(图8的第1再现输入流Vbl)后重构的帧作为 奇数帧1、3再现，生成从由第2比特流(图8的第2再现输入流Vb2)重构的帧CO减去奇 数帧1后的帧2，并生成从帧Cl减去奇数帧3后的帧4，来作为偶数帧再现。图8是表示再现部171的结构图。接着，使用图8来说明本实施方式的再现装置(再现部171、图9的视频解码器 901)。在再现4帧中的1帧的情况下(L = 1的情况下)，即，进行等速再现(1/(2~ (L-I) 倍的慢速再现、L=I)的情况下，由第3解码部601重构存储部600中存储的第3比特流 (参考第3再现输入流Vb3、图6的第3群)，并将重构帧存储到记录部602中。由此，作为所存储的重构帧形成的流，构成作为等速再现用的流的第3记录输出流。在再现4帧中的2帧的情况下(L = 2的情况下)，即，进行1/2慢速再现的情况 下(1/(2" (2-1)) = 1/(2" (L-I)))，由第2解码部604重构存储部603中存储的第2比特 流(第2再现输入流Vb2)，并将重构帧存储到记录部605中。并且，通 过第2减法部606， 根据记录部602中存储的帧1+2+3+4和该记录部605中存储的帧1+2，来生成帧3+4，并将 所生成的帧3+4存储到记录部607中。第2选择部617将记录部605中存储的帧作为奇数 帧，将记录部607中存储的帧作为偶数帧，来进行选择。由此，作为由第2选择部617选出 的各帧构成的流，构成了作为1/2慢速再现用的流的第2记录输出流(由图6(2c)的带阴 影和没有阴影的各帧构成的流)。在再现4帧中的4帧的情况下(L = 3的情况下)，即进行1/4慢速再现的情况下， 通过第1解码部609重构图8右上所示的存储部608中存储的第1比特流(第1再现输入 流Vbl)，重构帧通过选择部610 (第1选择部的第1部分)分为奇数帧、偶数帧，并分别存 储在记录部611、612中。并且，通过减法部613 (第3减法部的第1部分)，根据记录部605 中存储的帧1+2和记录部611中存储的帧1，来生成帧2，并将所生成的帧存储在记录部614 中。通过减法部615 (第3减法部的第2部分)，根据记录部607中存储的帧3+4和记录部 612中存储的帧3，来生成帧4，并将所生成的帧4存储在记录部616中。选择部618 (第1 选择部的第2部分)将记录部611中存储的帧作为帧1、将记录部614中存储的帧作为帧 2、将记录部612中存储的帧作为帧3、将记录部616中存储的帧作为帧4依次进行选择。由 此，构成作为1/4慢速再现用的流的第1再现输出流。选择部619选择基于再现速度的帧，并输出到存储再现帧的存储部620中。例如， 更具体的，选择部619从1 3中确定上述L的值。并且，根据确定的值L，来进行上述的选 择和输出。本实施方式中，为简化说明，以输入帧数为4( = 2的2次幂)为例进行了说明(取 k = 2的情形为具体例)，但是在N是2的幂乘数的情况下，也可通过设置Log2N个(k个、N =2"k)处理块(第1再现运算部621)来进行对应。另外，与第3解码部601包含的第k+1 记录运算部相一致，由k+Ι个记录运算部构成。解码部601、604、609若满足性能要求，可以共用。对于减法部606、613、615也同
样，若满足性能要求，也可以共用。图12是表示再现处理中的现有例的运算量和本实施方式的运算量的比较的图。例如，在设各解码部进行的1个帧的解码(重构)所需的运算量为100、各减法部 进行的对1个加法帧的减法所需的运算量为40的情况下，比较现有例的运算量和本实施方 式的运算量。如图12所示，可以看出本实施方式的运算量越接近等速再现(图12中的较 左侧的数据)，与现有例的运算量相比，越大幅减少。这是因为在本实施方式中，帧的解码 处理仅进行与所再现的帧的数目相同的次数(单位时间T中2~ (L-I)次)，但现有例中，不 管再现的速度(参考上述L)如何，而仅简单地解码所有与时间T有关的各帧(解码21个 帧)，故本实施方式的解码次数比现有例的解码的次数少。因此，在处理性能不足的再现装 置中也可以进行再现。另外，在结构简单的再现装置中也可进行再现等，适用范围广。此外， 可以实现成本降低。对于再现速度，由于提供了基于与其再现速度相配合的适当帧相加后的加法帧而形成的运动图像，所以可再现自然的运动模糊，并可以基于帧相加补偿曝光不充分。由此，可兼顾高图像质量和少处理量。由于解码部、减法部等分别可以由多个解码部等构成，从而并联分散化容易，所以 也有利于降低耗电量。图9是摄像机系统1的结构图。 图10是数字电视系统Ia的结构图。图9所示的摄像机系统1是设置有具有本实施方式涉及的上述记录部151的视频 编码器(记录装置)900和具有再现部171的视频解码器(再现装置)901的运动图像记录 再现设备的一例。如图10所示的数字电视系统Ia是设置有具有本实施方式涉及的记录 部151的视频解码器(再现装置)1000的运动图像再现设备的一例。视频编码器(记录装 置)900可以具有记录部151，视频编码器(记录装置)900也可以解释为是记录部151构成 的块。同样，视频解码器(再现装置)901可以具有再现部171，视频解码器(再现装置)901 也可以是再现部171构成的块。视频解码器(再现装置)1000可具有再现部171，视频解码 器(再现装置)1000中也可解释为是再现部171构成的块。下面，继续进行说明。其中，下面的说明仅仅是一例。由图9表示摄像机系统1的结构。摄像机系统1包括视频编码器900、视频解码器901和存储部902。摄像机系统1高速拍摄运动图像。这里，所谓高速拍摄是指以比例如作为常规帧 率的60fps高的帧率进行的拍摄。这里，60fps仅仅是常规的帧率的单纯一例。常规帧率也 可以解释为基于NTSC标准的29. 97X2 = 59. 94fps。摄像机系统1高速拍摄的帧率例如是 (60X(2~k))fps(k彡1)。帧率是(60X(2~k))fps的高速拍摄是2~k倍的高速拍摄。高速拍摄的运动图像在通常情况下，越是高速进行摄影时，越更慢再现。例如，若 以2~k倍的速度(2~k倍的帧率)进行摄影，则进行l/(2~k)倍的慢速再现。S卩，以短2~k 倍的时间间隔进行拍摄的各帧以比其时间间隔长2~k倍的时间间隔来进行显示。由此，将 显示各帧的时间间隔调整为适合于人眼视觉的时间间隔。下面，将这种在长2~k倍的时间 间隔下的再现、即l/(2~k)倍的慢速再现称作标准慢速的再现。视频编码器900 (图9)对高速拍摄的运动图像流进行编码。存储部902存储编码后的编码后流。视频解码器901通过输入存储部902中存储的编码后流等，输入高速拍摄的运动 图像的编码后流，并解码输入的编码后流。由图15表示视频编码器900 (图9)的结构。视频编码器900包括记录部151 (图15、图7)和多路复用部154。记录部151输入高速拍摄的运动图像的记录输入流IS(图15)，生成将输入的记 录输入流IS编码后的k+Ι个记录输出流、即第1记录输出流Val 第(k+Ι)的记录输出流 Va3(图15)，并输出所生成的第1记录输出流Val 第(k+Ι)记录输出流Va3。这里，在该实施方式中，将通过摄像机系统进行2~2 = 4倍的高速拍摄的k = 2的 例子作为一例来加以说明。由图7表示记录部151的结构。记录部151包括输入部500、第1选择部501、第1编码部504、第1加法部506、第2选择部507、第2编码部510、第2加法部512和第3编码部514。这里，通过第t选择部(第2选择部507等)、第t编码部(第2编码部510等) 和第t加法部(第2加法部512等)的整体，构成第t记录运算部(第2记录运算部516 等)(1彡t彡k)。由第k+Ι记录运算部构成第k+Ι编码部(第3编码部514)。第t记录运算部(1 < t彡k+Ι)输入第t记录运算输入流。并且，第t记录运算 部根据所输入的第t记录运算输入流，生成第t记录运算输出流，并输出所生成的记录运算 输出流。这里，所输出的第t记录运算输出流是前述的记录部151输出的第1记录输出流 Val 第k十1记录输出流(第3记录输出流Va3)中的(参考图15)第t记录输出流Vat。由图5表示第t记录运算输入流(1彡t彡k+Ι)。 第1记录运算输入流是输入到记录部151的记录输入流IS (图5 (Ia))(图5 (Ib))。 第1记录运算输入流包含图5的第1群的带阴影的各帧(奇数帧)和不带阴影的各帧(偶 数帧)两者。并且，第t记录运算输入流是图5的第t群的列所示的第t群流。这里，第t记录 运算输入流(第t群流)包含第t群的各帧中带阴影的各帧和不带阴影的各帧两者。第t记录运算输入流中，所含有的第a帧是将第t记录运算输入流的第2Xa帧和 第2Xa+l的帧相加后的加法帧(a是整数)。并且，第t记录运算输入流中所含有第a帧是 记录输入流IS的第a帧。若第1记录运算输入流以标准慢速来进行再现，则进行60fps等标准帧率下的运 动图像的再现。并且，若第t记录运算输入流与标准慢速相比以2~(t-l)倍较快再现，则进 行标准帧率下的再现k+Ι)。将这种与标准慢速(l/(2~k)倍的慢速再现)相比以 2" (t-Ι)倍较快再现称作(1/2~ (k-(t-l)))倍的慢速再现(1 < t彡k+Ι)。并且，将与标准 慢速相比以2~((k+l)-l)倍较快再现(以2~k倍较快再现)、即1/1 = 1倍速度的再现称作 等速的再现。高速拍摄的运动图像的记录输入流IS在单位时间T中包含2~k个帧。将为了看 到运动图像的单位时间T的显示内容而显示比2~k个少的个数的帧的再现称作抽取再现。 1/(2" (k-1))倍的慢速再现(1/2倍的慢速再现) 1/1倍的慢速再现(等速再现)分别是 抽取再现。第t记录运算输入流是通过进行再现而进行1/2~ (k-(t-l))倍的慢速再现的流。 这里，再现的各帧是将记录输入流IS中的连续2~t个帧相加的加法帧。因此，与简单地再 现2~t个帧中的1个的情形(图3的现有例)相比，防止了运动模糊的不足等，从而实现了 高的图像质量。加法帧更具体的将，也可以是例如对加法帧加上要相加的各帧的单纯加法帧。加 法帧也可以是将用所相加的上述各帧中含有的帧的个数除单纯加法帧的值后的值作为其 值而具有的平均加法帧。若加法帧是单纯加法帧，则可以避免进行除法，可以避免信息丢失 因除法造成的余数部分的信息。输入部500对第1记录运算部具有的第1选择部501输入向记录部15输入的记 录输入流IS来作为第1记录运算输入流。第k+Ι编码部(第3编码部514)对第k记录运算部(第2记录运算部516)输入到第k+1记录运算部的第k+Ι记录运算输入流中含有的各帧进行编码，并生成包含编码后 的各帧而构成的第k+Ι记录运算输出流。第k+Ι记录运算输出流的第a帧是第k+Ι记录运 算输入流的第a帧被编码后的第a编码后帧。这里，第i帧(i是整数)是例如具有对包含该第i帧的流中含有的预定基准帧 (例如开头帧)的地址加上该值i后的地址的帧。例如，第2Xa_l帧是该流的奇数帧，第 2Xa帧是偶数帧。第u选择部(1 < u < k)分别确定输入到第u记录运算部中的第u记录运算输入 流中含有的各帧的第2Xa-I帧(一个帧，是图5的带阴影的帧)和第2Xa帧(另一个帧， 是图5的不带阴影的帧)。第u编码部(1彡u彡k)对由第u选择部确定的第2Xa_l帧(图5的带阴影的 帧)进行编码。并且，第u编码部生成具有第2Xa_l帧被编码后的第a编码后帧作为第a 帧的第u记录运算输出流，并输出所生成的第u记录运算输出流。图7中，作为所输出的第 u记录运算输出流，图示了第1记录运算输出流Val、第2记录运算输出流Va2。第u加法部将由第u选择部确定的第2Xa_l帧(图5的不带阴影的剩余帧)和 第2Xa帧(图5的带阴影帧)相加，生成将这些帧相加后的第a加法帧。图5中，通过从 第2Xa_l帧(例如帧1)和第2Xa帧(帧2)向将这些帧相加后的第a加法帧(帧1+2) 伸出的箭头线来表示该加法处理。并且，第u加法部生成将含有这样生成的第a加法帧作 为第a帧的第u记录运算输出流。由第u记录运算部将所生成的第u记录运算输出流作为 第u+1记录运算输入流输入到第u+1记录运算部。由此，第1记录运算部 第k+Ι记录运算部分别输出具有上述结构的第1记录运 算输出流 第k+Ι记录运算输出流。并且，记录部151将这样输出的第1记录运算输出流 第k+Ι记录运算输出流作 为第1记录输出流Val 第k+Ι记录输出流Va (k+1)(图15)输出到多路复用部154。声音编码部152 (图15)对进行输入到记录部151的记录输入流IS的高拍摄时由 摄像机系统1录音的声音的声音数据进行编码。声音编码部152生成将声音数据编码后的 编码声音数据，并将所生成的编码声音数据输出到多路复用部154。多路复用部154根据输出到多路复用部154的第1记录输出流Val 第k+Ι记录 输出流Va (k+Ι)和编码声音数据，生成第1运动图像流1551 第k+Ι运动图像流1553 (多 路复用流Si)。第1运动图像流1551 第k十1的运动图像流1553分别存储有由记录部151输 出的第1记录输出流Val 第k+Ι记录输出流Va (k+1)。第1运动图像流1551 第k十1的运动图像流1553分别存储有声音编码部152 生成的编码声音数据(分别在图15的第1运动图像流1551等中表示的记号A)。第1运动 图像流1551 第k十1的运动图像流1553中存储的编码声音数据的内容彼此相同。第1运动图像流1551 第k+Ι运动图像流1553中的一部分或全部的流可以是具 有基于例如MPEG标准等预定标准的结构的流。基于标准的第t运动图像流通过基于该标准的再现装置来再现。通用的再现装置 通过分别再现第u运动图像流中含有的记录输出流和编码声音数据，来再现通过记录输入 流IS的高速拍摄而拍摄到的影像和声音。
若通过通用的再现装置进行第t运动图像流的再现(1≤t≤k+Ι)，则进行由 2"(t-l)个帧表示单位时间T的显示内容的再现(参考图5)。例如，若通过通用的再现装 置进行第1运动图像流的再现，则通过2个帧的再现来显示单位时间T的显示内容。如后面所详细说明的，若通过摄像机系统1进行多路复用流Sl的再现，则可以进 行通过4个帧的再现显示单位时间T的显示内容的再现等。可以通过摄像机系统1进行更 高图像质量的再现。这样，根据该实施方式，可以在通用的再现装置中进行图像质量较低的再现，从而 由通用的再现装置也能够进行再现。该实施方式中如前所述，第1运动图像流1551 第k+Ι运动图像流1553分别存 储编码声音数据。因此，即使是通用的再现设备，也可再现声音。例如，多路复用部154使所生成的多路复用流Sl存储到存储部902 (图9)具有的 存储介质(参考图15)中。由图17表示视频解码器901 (图9)的结构。视频解码器901包括分离部173、再现部171、以及声音解码部172。视频解码器901输入多路复用流S2。多路复用流S2例如如上述是视频编码器900 生成的多路复用流Si。多路复用流S2是具有与多路复用流Sl所具有的数据构造相同的 数据构造的数据。视频解码器901例如，从存储部902取得多路复用部154存储在存储部 902中的多路复用流S2(多路复用流Si)，并将所取得的多路复用流S2输入到该视频解码 器901中。分离部173分别确定多路复用流S2中含有的第1再现运算输入流 第k+Ι再现 运算输入流(参考图17)。这里，第1再现输入流Vbl 第k+Ι再现输入流Vb(k+1)是前述 的图15所示的第1记录输出流Val 第k+Ι记录输出流Va(k+1)等。分离部173确定多路复用流S2中含有的编码声音数据。更具体的，例如，分离部173通过确定多路复用流S2中含有的第1存储部1741 第k+Ι存储部1743 (图15的第1存储部1551 第k+Ι存储部1553等)，来分别确定所确 定的第1存储部1741 第k+Ι存储部1743中含有的第1再现输入流Vbl 第k十1的再 现输入流Vb(k+1)。具体的，例如，分离部173确定第1存储部1741 第k+Ι存储部1743中的预定的 一个存储部中含有的编码声音数据。分离部173将确定的第1再现输入流Vbl 第k+Ι再现输入流Vb (k+Ι)分别输出 到再现部171。分离部173将确定的编码声音数据输出到声音解码部172 (图17)。由图8表示再现部171的结构。再现部171包括第3解码部601、第2解码部604、第2减法部606、第2选择部 617、第1解码部609、第1减法部(减法部613和减法部615的整体)、第1选择部(选择 部610和选择部618的整体)和选择部619。第u再现运算部(例如第1再现运算部621) (1 < u≤k)由第u解码部(第1解 码部609)、第u减法部(第1减法部(减法部613和减法部615的整体))和第u选择部 (选择部610、选择部618)的整体构成。
由第k+1解码部(第3解码部601)构成第k+Ι再现运算部(第3再现运算部)。第t再现运算部k+Ι)通过上述分离部173，将第u再现输入流Vbt (前 述)作为第u再现运算输入流Vbt输入，并根据所输入的第t再现运算输入流Vbt生成第 t再现运算输出流后，输出所生成的第t再现运算输出流。输入到再现部171的第u再现 输入流Vbt与输入到第t再现运算部的第t再现运算输入流Vbt相同。对这些流都添加了 Vbt的标记。第t再现运算输出流(l<t≤k+Ι)是l/2~(k-(t_l))倍的慢速再现用的再现流。 这里，1/2" (k-(t-D)倍的慢速再现在t = k+Ι时是等速的再现，在t = 1时是标准慢速的 再现。再现部171在摄像机系统1进行1/2~ (L-I)倍的慢速再现时，将第t再现运算输 出流(1彡t彡k+Ι)作为再现输出流OS (图17)加以选择(L = k+1-α-Ι))。并且，再现部 171通过将所选择的第t再现运算输出流作为再现输出流OS输出，而使摄像机系统1再现 所输出的再现输出流OS。声音解码部172在通过解码所输入的编码声音数据并输出解码出的声音数据，从 而再现输出流OS被再现时，使解码出的声音数据加以再现。由图6分别表示第3再现运算部输出的标准慢速再现运算输出流(第1群的流)、 第2再现运算部输出的1/2倍慢速再现运算输出流(第2群的流)和第1再现运算部输出 的等速再现运算输出流(第3群的流)。这里，这3个再现运算输出流分别包含与该再现运算输出流对应的群的各帧中带 阴影的各帧(奇数帧)和不带阴影的各帧(偶数帧)两者。第t再现运算输入流Vbt (参考图17、1彡t彡k+Ι)是包含图6的第t群的各帧 中带阴影的各帧(奇数帧)被编码后的编码后帧的流。第k+Ι解码部(第3解码部601)输入第k+Ι再现运算输入流(再现输入流) Vb (k+Ι)，即包含图5的第3群的带阴影各帧的编码后帧的第3再现运算输入流(再现输入 流)Vb3。并且，第k+1解码部(第3解码部601)分别对第3再现输入流中包含的各编码 后帧(例如帧1+2+3+4的编码后帧)进行解码，并生成包含各解码后帧(帧1+2+3+4)的第 k+Ι再现运算输出流。即，第k+Ι解码部生成作为第a帧而包含将第3再现输入流的第a帧 解码后的第a解码后帧的第k+Ι再现运算输出流。第t解码部(第2解码部604、第1解码部609、k+l_ (L-1)彡t彡k、L彡2)分别 对第t再现运算输入流Vbt的第2 Xa-I帧(例如帧1+2的编码后帧)进行解码，并生成作 为第2Xa_l帧而包含解码后的第a解码后帧的第t再现运算输出流。第t减法部(第2减法部606、第3减法部(减法部613、减法部615))从通过第 t+Ι再现运算部生成的第t+Ι再现运算输出流中含有的第a帧(例如帧1+2+3+4)减去通过 第t解码部解码出的第t再现运算输出流的第2Xa-l帧(例如帧1+2)后，生成相减后的 帧(帧3+4)作为第t再现运算输出流的第2Xa帧。第t选择部(第1选择部(选择部610、选择部618)、第2选择部617判断第t再 现运算部输出的第t再现运算输出流的当前帧是第2 X a-Ι帧还是第2 X a帧。并且，第t选 择部在判断为是第2Xa_l帧的情况下，将通过第t解码部解码第t再现运算输入流的当前 帧(第a帧)后的解码后帧作为第t再现运算输出流的当前帧(第2Xa_l帧)输出。另外，第t选择部在判断为是第2Xa帧的情况下，将第t减法部进行了对第t再现运算输入 流的当前帧(第a帧)的减法后的减法后帧作为第t再现运算输出流的当前帧(第2Xa 帧)输出。选择部619在例如，摄像机系统1进行1/4倍的慢速再现时，将通过第1记录运算 部确定的第1再现运算输出流作为第1再现输出流0S(图17)输出到记录部161等。艮口， 选择部619在摄像机系统1进行1/(2~ (L-1))倍的慢速再现时，将通过第k+l-(L-l)的记 录运算部生成的第k+l-(L-l)的再现运算输出流作为第1再现输出流OS (图17)输出。选 择部619例如取得由用户输入到摄像机系统1的指定上述L值的输入，并根据通过所取得 的输入指定的值L，进行再现部171等的动作。摄像机系统1也可具有计算机。并且，视频编码器900的上述功能(参考图15等) 也可通过由该计算机执行预定的程序加以实现。对于视频解码器901的上述功能(参考图 17等)也相同。由图19 图24表示程序P，该程序P示意地表示由计算机实现视频编码器900的 功能和视频解码器901的功能用的程序的一例。在下面的说明中，为说明方便，对于程序P 的细节，仅保留基于附图的说明，而省略复杂的文章说明。在下面的说明中，将在程序P的 特定部分描述特定处理的情形称作通过该特定部分，来进行该特定处理。图24是表示程序P的主要部分24的结构图。主要部分24是执行程序P的计算机在开始执行程序P时，最先进行处理的程序P 的部分。主要部分24具有记录处理调用部24r和再现处理调用部24p。记录处理调用部 24r使计算机开始记录处理部22 (图22)的处理。再现处理调用部24p使再现处理部23 (图 23)的执行开始。对于主要部分24具有的其他部分仅通过附图来表示。图22是表示记录处理调用部24r(图24)使其开始执行的记录处理部22的结构 图。记录处理部22包括结束判断部22f、帧取得部22p和编码处理调用部22e。结束判断部22f判断记录处理部22是否结束所拍摄的运动图像的记录输入流 IS (图15等)的各帧中预定多个帧的处理。并且，结束判断部22f在判断为已结束之前的 期间使帧取得部22p等的处理持续。更具体的，结束判断部22f判断例如是否结束在预定单 位时间所拍摄的多个帧的处理。在程序P的例子中，具体的，判断由程序P的头部(图19 后述)的MAX_FRAME_NUM的#define语句定义的个数的帧的处理是否结束。帧取得部22P在记录输入流IS的各帧中的、记录部151没有结束处理的帧中， 确定开头帧(关注帧)。并且，具体的，在程序P的例子中，帧取得部22p在预定存储区域 (frame_buf_enc[]的开头存储区域)中存储所确定的关注帧。编码处理调用部22e使编码处理部20 (图20)的处理开始。图20是表示编码处理调用部22e (图22)使其开始处理的编码处理部20的结构 图。编码处理部20具有开始其处理时的自变量j。自变量j将在开始的处理中编码 处理部20处理的第t记录输出流的t确定为t = j+1。主要部分24(图24)的记录处理 调用部24r使用自变量0 (t = 0+1 = 1)，使编码处理部20开始处理。另外，编码处理部将j ^ 1的自变量用于该编码处理部20的另一个帧处理部22E (后述)，并通过另一个帧处理 部22E，开始其处理。编码处理部20具有帧判断部22a、编码侧帧处理部220和另一个帧处理部22E。帧判断部22a判断由帧取得部22p (图22)确定的关注帧是否是第t记录运算输 入流(t = j+1)的各帧(图5的第t群的带阴影和不带阴影的各帧中，第t记录运算输入 流的奇数帧(第2Xa-l帧))。更具体的，帧判断部22a判断在存储了第t记录运算输入 流的各帧的预定存储区域(程序P中的frame_bUf_enc[j])中存储的帧的个数是否是奇数 (参考程序P的“frame_buf_enc[j]. size% 2 == 1”的条件式)。另外，图22的帧取得部 22P在第1记录运算输入流的该存储区域的开头存储帧取得部22p确定的关注帧。并且，帧 判断部22a在存储的个数是奇数时，判断为关注帧是奇数帧。如后面所详细说明的，在删除 (丢弃)上述预定的存储区域中存储的帧时，与该帧一起，也删除与该帧成对的偶数帧。因 此，不会存在由于该删除而产生进行了错误判断的结果。编码侧帧处理部220进行在上述帧判断部22a将关注帧判断为是第2Xa_l帧的 情形下的处理。例如，编码侧帧处理部220在关注帧是图5的帧1时，在t = l(j = 0)时， 关注帧被判断为是第2Xa-l帧，从而进行该处理。编码侧帧处理部220包括编码部2201和输出部2202。编码部2201对关注帧(第2Xa-l帧)进行编码。在图20所示的程序P的编码 部2201中，示意地构成该编码的处理。输出部2202将通过编码部2201编码后的编码后帧(frame_0dd)确定为第t记录 输出流(t=程序P中的j+1)的当前帧。具体的，程序P中，该输出的处理通过在存储区域 bitstream_buf [j]中存储编码后的帧的处理来示意地表示。另一个帧处理部22E进行在通过上述帧判断部22a判断为所取得的帧为偶数帧 (第2Xa帧)的情形下的处理。另一个帧处理部22E包括另一个帧取得部22E1、编码侧帧取得部22E2、加法部 22E3和下一流处理调用部22E4。另一个帧取得部22E1取得判断出的帧(第2Xa帧)。编码侧帧取得部22E2取得与判断出的帧(第2Xa巾贞)成对的奇数帧(第2Xa_l 帧)。此时，这些另一个帧取得部22E1和编码侧帧取得部22E2从上述存储区域frame_ buf_enc[j]中分别删除(丢弃)所取得的这些第2Xa帧和第2Xa_l帧。这样，1组的第 2Xa帧和第2Xa-l帧不是仅被删除一个，而是两者同时被删除。因此，即使这样删除帧，帧 判断部22a进行的判断也不会错误(如前所述)。加法部22E3将由另一个帧处理部22E取得的第2Xa_l帧和由编码侧帧取得部 22E2取得的第2Xa帧相加。在程序P的例子中，示意地表示了该加法的处理。并且，加法部22E3将相加后的加法帧确定为后述的下一流处理调用部22E4使其 开始的、对第t+1记录输出流进行的处理的关注帧。具体的，加法部22E3如图20所示这样， 通过在预定的存储区域(frame_bUf_enc[j+l]的开头)存储加法帧，来进行该确定。下一流处理调用部22E4使编码处理部20 (图20)开始进行第t+1记录输出流的处 理。因此，下一流处理调用部22E4在使处理开始时，如图20所示，将j+1用作自变量。在
18开始的处理中，如上述这样，通过编码处理部20进行基于之前通过加法部22E3确定的关注 帧的处理。例如，图19的MAX_FRAME_NUM的定义可以不是4，而是8。这时，图6的帧5+6+7+8 是第k+1记录运算输入流的第二帧(第2Xa帧)。并且，也可以是，另一个帧处理部22E在t = k+1即j+1 = k+1的情况下，不管关注 帧是第2Xa-l帧还是第2Xa帧，都将关注帧视为第2Xa_l帧，来进行关注帧是第2Xa_l 帧的判断。这时，通过编码侧帧取得部22E2对帧5+6+7+8进行编码。记录运算部的个数(k+1)在例如高速拍摄的帧率是常规帧率的N倍时(图5等的 例子中N = 4)，是k+1 = Log2N个(Log2N是以2为底数的N的对数)。由此，第k+1记录 运算输入流包含1个帧。因此，例如，帧5+6+7+8不是第2Xa帧(偶数帧)，而是第2Xa_l 帧(奇数帧)。由此，如上这样，在t = k+1时，另一个帧处理部22E不需要进行额外的处 理，可以使处理变得简单。图7所示的第1选择部501和第2选择部507的整体也可解释为例如对应于帧判 断部22a(例如，具有相同功能)。图7的第1加法部506和第2加法部512的整体也可解 释为例如对应于图20的加法部22E3。图7的第1编码部504、第2编码部510、和第3编码 部514的整体也可解释为例如具有与图20的编码部2201对应的功能。图13是程序P的处理流程图。步骤S11 (步骤S15)中，判断记录的处理是否中止，若没有判断为中止，则重复执 行步骤S12 S15的处理。例如，在将用户进行的中止的预定输入输入到计算机的情形下， 判断为进行中止。程序P也可具有例如进行该步骤S11 (步骤S15)的处理的中止控制部 (图略)。步骤S12(步骤S16)中，记录处理部22 (图22)的重复控制部(图22的for (input_ frame-)的部分)使帧取得部22p和编码处理调用部22e (图22)将这些块的处理执行单 位时间(T)的帧个数(图19的MAX_FRAME_NUM)的次数。步骤S13中，帧取得部22p (图22)确定关注帧。步骤S14中，编码处理调用部22e (图22)使编码处理部20 (图20)对步骤S13中 确定的关注帧开始进行第1记录运算输出流的处理。步骤S21等表示编码处理部20进行的处理。步骤S21中，帧判断部22a判断关注帧是否是第2 X a~l帧(奇数帧)。步骤S22a中，在步骤S21中判断为是第2Xa-l帧(奇数帧)的情况下(步骤S21 是)，编码侧帧处理部220的编码部2201编码关注帧。步骤S23a中，输出部2202将步骤S22a中编码后的编码后帧作为第t ( = j+1)的 记录输出流(图5参考)的当前输出帧输出。步骤S22b中，在步骤S21判断为关注帧不是第2Xa-l帧(奇数帧)的情况下(步 骤S21 否)，即判断为是第2Xa帧(偶数帧)的情况下，另一个帧处理部22E如前所述，通 过另一个帧处理部22E的加法部22E3进行两个帧的相加。步骤S23b中，另一个帧处理部22E通过下一流处理调用部22E4，将步骤S22b中相 加的加法帧作为关注帧，而使编码处理部20开始进行第t+1记录运算输出流的输出处理。图19是表示程序P的头部19的结构图。
头部19具有再现速度确定部191。再现速度确定部191确定通过摄像机系统1进 行1/2~(L-1)倍的慢速再现(前述)时的如左所标记的常数L。具体上，程序P的例子中， 示意地表示了再现速度确定部191通过ftdefine语句，利用预处理功能来确定L值的例子。 另外，再现速度确定部191也可采取例如，取得用户进行的指定L值的输入的结构等。图23是表示主要部分24的再现处理调用部24p (图24)调用的再现处理部23的 结构图。再现处理部23具有启动该处理时的自变量target_stream_number。该自变量 target—stream—number 夺上述 L 值石角定为 L = (k+1) —target—stream—number。艮口,再 现处理部23生成与所确定的L值对应的1/2~(L-1)倍的慢速再现用的记录输出流(第 k+l-(L-l))的记录运算输出流，并输出所生成的记录输出流。再现处理部23具有启动部231和解码处理调用部232。启动部231依次选择上述第k+l-(L_l)的再现运算输出流的各帧，并使解码处理 调用部232开始所选出的帧(关注帧)的处理。解码处理调用部232使解码处理部21 (图21)开始对由启动部231选出的关注帧 的、第k+l-(L-l)的再现运算输出流的处理。这里，第k+l-(L-l)的再现运算输出流如上所 述，是记录部161输出的流。图21是表示解码处理调用部232 (图23)调用的解码处理部21的结构图。解码处理调用部232接受自变量j和自变量f。自变量j将解码处理调用部232处理的第t记录运算输入流确定为第j+1记录运 算输入流。例如，上述的解码处理调用部232为了使第k+l-(L-l)再现运算输出流的处理 开始，而使用自变量 j = {k+l-(L-l)}-l = k+l-L(=图 23 的 target_stream_number)。自变量f确定关注帧。具体上，自变量f是关注帧的第t记录运算输入流中的地 (顺序、帧序号)。解码处理部21包括帧判断部21a、解码侧帧处理部210和另一个帧处理部21E。帧判断部21a判断关注帧是否是解码处理部21处理的第t记录运算输入流中的 第2Xa-l帧(奇数帧)。具体上，帧判断部21a如图21所示那样，通过判断关注帧的帧序 号的最低位比特(f & 0x1)是否是0来进行判断。解码侧帧处理部210在通过上述帧判断部21a判断为关注帧是第2Xa_l帧(奇 数帧)的情况下(f & 0x1 == 0)，进行关注帧的处理。解码侧帧处理部210包括取得部2101和解码部2102。取得部2101取得关注帧(图6的带阴影帧的编码后帧)。解码部2102解码由取得部2101取得的编码后帧。在该例中，示意地表示了该解 码的处理。另一个帧处理部21E在判断为关注帧是第2Xa帧(偶数帧)的情况下，进行处理。另一个帧处理部21E包括下一流处理调用部21E1、加法帧取得部21E2、解码侧帧 取得部21E3、减法部21E4和输出部21E5。下一流处理调用部21E1使解码处理部21开始使用了生成关注帧(例如图6的帧 2)的加法帧(帧1+2)的第t+1记录运算输入流的处理。通过开始的处理，而由解码处理部 21生成关注帧的加法帧(帧1+2)。这里，下一流处理调用部21E1如上所述，使使用第t+1记录运算输入流的处理开始。因此，下一流处理调用部21E1使用确定t+1的值(j+1)来作 为自变量j。对应于关注帧是第t记录运算输入流中的第2Xa帧的情况，所生成的加法帧 是第t+1记录运算输出流的第a帧。因此，下一流处理调用部21E1在使处理开始时，使用 确定“a”的值、S卩f/2(f >> 1)来作为自变量f。这里，“f>> 1”是将f 右移1比特后的 值，表示用2除f后的数。加法帧取得部21E2取得下一流处理调用部21E1通过使其开始的处理生成的上述 加法帧(例如，图6的帧1+2)。解码侧帧取得部21E3取得第t再现运算输入流的第2Xa-l帧被解码后的解码后 帧。减法部21E4从由加法帧取得部21E2取得的加法帧中减去由解码侧帧取得部21E3 取得的解码后帧，并将相减后的帧确定为关注帧(第2Xa帧)。输出部21E5输出所确定的关注帧。图8的第1解码部609、第2解码部604、第3解码部601的整体也可解释为例如 对应于解码部2102 (图21)。图8的第2减法部606和第1减法部(减法部613和减法部 615)的整体也可解释为例如对应于减法部21E4。选择部617、选择部610、选择部618、选择 部619的整体也可解释为例如对应于帧判断部21a。图14是基于程序P的再现部171进行的处理的流程图。步骤S31 (步骤S36)中，由例如上述中止控制部等进行判断是否中止再现处理等 的处理(图13的步骤S11等)。步骤S32中，再现处理部23 (图23)取得由再现速度确定部191 (图19)确定的L 值。具体上，再现处理部23通过取得确定L值的自变量targetstreanuiumber而取得L值。步骤S33(步骤S35)中，启动部231 (图23)依次选择帧，而进行所选出的帧(关 注帧)的处理。步骤S34中，解码处理调用部232使解码处理部21进行对步骤S33中选出的关注 帧的、使用了由步骤S32中确定的L表示的第k+l-(L-l)再现运算输入流的处理。步骤S41等表示解码处理部21进行的处理内容。步骤S41中，帧判断部21a判断关注帧是否是第2Xa_l帧。步骤S42a中，在步骤S41中判断为是第2 X a~l帧(奇数帧)的情况下(步骤S41 是)，解码侧帧处理部210进行关注帧的解码。步骤S43a中，解码帧处理部210存储步骤S42a中解码后的解码后帧。步骤S42b中，在步骤S41中判断为关注帧是第2Xa帧(偶数帧)的情况下(步 骤S41 否)，下一流处理调用部21E1使解码处理部21进行生成前述的加法帧的处理。步骤S43b中，根据步骤S42b中生成的加法帧，加法帧取得部21E2、解码侧帧取得 部21E3、减法部21E4和输出部21E5进行减法等各种处理。在该例子中，为了说明方便，表示了执行递归处理的例子，但是也可构成不执行递 归处理的程序。由图10表示数字电视系统la。数字电视系统la具有视频解码器1000。视频解码器1000具有与前述的视频解码器901的功能相同的功能，例如具有图7的结构。也可实施基于图10的数字电视系统la 的变形例。图16是表示多路复用流Sla的图。多路复用流Sla具有多个保持部。例如，多路复用流Sla是通过这多个保持部来 分别保持从多个视点位置看的运动图像而成的流，并且是多场景(多信道、多视角)流。第1保持部 第k+1保持部是多路复用流S1具有的多个保持部的一部分或全部， 分别保持第1记录输出流Val 第k+1记录输出流Va(k+1)。第1保持部 第k+1保持部 分别具有例如保持的记录输出流的帧的时间戳。时间戳确定与该帧的时刻相同时刻的其他 记录输出流的帧。多路复用流Sla与多个保持部一起具有存储编码声音数据的声音记录部(参考图 16的附图标记A)。多路复用流Sla具体上也可以根据例如MPEG (Moving Picture ExpertsGroup 运 动图像专家组)的标准具有多场景的形式，且根据MPEG标准具有上述声音记录部。由此，通过再现该多场景形式的流的通用再现装置，再现第u保持部的记录输出 流和编码声音数据，由此，可以和前述的情形同样，即使相对图像质量较低，也可以用通用 再现装置简单再现运动图像。多路复用部164从记录部161输出的第1记录输出流 第k+1记录输出流中生成 多路复用流Sla。图18是表示输入到视频解码器901 (图9)的多路复用流S2a的图。多路复用流 S2a作为例如上述多路复用流Sla等，具有与多路复用流Sla的数据构造相同的数据构造。分离部184从多路复用流Sla生成第1再现输入流Vbl 第k+1再现输入流 Vb (k+1)，并将所生成的第1再现输入流Vbl 第k+1再现输入流Vb (k+1)输入到再现部 181。所生成的第1再现输入流 第k+1再现输入流是例如第1记录输出流Val 第k+1 记录输出流Va(k+1)(参考图16)。图25是表示摄像机系统1的动作图。图25中，用图25的表的第3列表示摄像机 系统1的动作。图25的表的第1行表示输入到第u记录运算部(例如第2记录运算部516)的第 u记录运算输入流In (1彡u彡k)。第u记录运算输入流In包含第2 X a-1帧NF (奇数帧) 和与第2 X a-1连续的第2 X a帧SF (偶数帧)。图25的表的第2行表示第u记录运算部 第k+1记录运算部进行的第2 X a_l帧 NF和第2Xa帧SF的处理。在该处理中，第u记录运算部等将第2Xa-l帧NF(例如图5的帧1)编码为编码后 的第2Xa-l帧CF1。图25中被编码的帧用带阴影加以表示。第u记录运算部等进行将第 2 X a帧SF (帧2)和第2 X a-1帧NF (帧1)相加的加法处理AP (图25)，并生成进行了基于 加法处理AP的加法后的加法帧Adf (帧1+2)。将所生成的加法帧Adf (帧1+2)通过第u+1 记录运算部等编码为编码后的加法帧CF2a。这里，根据情形，对向加法帧(例如3+4)进一 步相加了预定的帧(帧1+2)后的处理后帧(帧1+2+3+4)进行该编码。这里，加法处理的 处理量比编码处理的处理量少。现有例1 (参考图25的表的第1列、图1 (b))、现有例2 (图25的表的第2列、图
224)中不进行上述加法处理AP，而仅仅分别对第2 X a-1帧NF和第2 X a帧SF两个帧进行编 码。并且，如前所述，所进行的加法处理的处理量少。由此，摄像机系统1中进行编码时的 处理量与现有例(现有例1和现有例2)的处理量的不同不过是该较少的处理量部分，实质 上维持为相同(参考图11)。图25的表的第3行表示例如分别再现输入流In的第2 X a-1帧NF和第2 X a帧 SF两者的情形等利用两者的帧的利用两者帧情况下的摄像机系统1的处理。摄像机系统1中，对编码后的编码后第2 X a-1帧CF1 (例如图6的帧1)进行解 码。另外，对编码后的加法帧CF2a(或上述的处理后帧被编码后的、图6的帧1+2)进行解 码，并进行从解码后的加法帧CF2a(或上述的处理后帧)减去的减法处理。通过这样生成 的第2 X a-1帧NF1及第2 X a帧NF2a，来进行两个帧利用。这里，现有例(现有例1和现有例2)中，在不进行减法处理方面，与上述处理不 同。并且，这里减法处理的处理量相对少。因此，上述摄像机系统1中，利用两个帧时的处 理量与现有例的处理量实质上相同。图25的表的第4行表示仅通过一个帧的再现来显示基于第2 X a-1帧NF和第2 X a 帧SF的显示内容的抽取使用的情况下的处理。摄像机系统1中，对加法帧(例如帧1+2)被编码后的编码后帧进行解码。由此， 解码的帧减少为1个，另一方面，因使用的帧是加法帧，故图像质量高。另一方面，现有例1(参考图1(b))中，不利用加法帧，从而因运动模糊不充分等， 而使图像质量低。现有例2(参考图4)中，在上述的抽取使用时，在生成加法帧时，解码2个以上的 帧。例如，流中含有的所有帧被解码。因此，根据数字电视系统la，与现有例1、现有例2不同，减少了处理量，同时实现 了高的图像质量，兼顾了少处理量和高图像质量。如上所述，根据上述实施方式，分别构成下面的各装置等。(A1)构成记录装置(视频编码器900、记录部151)，该记录装置包括编码部(第 2编码部510 (和第1编码部504、第3编码部514))，对流(例如，图5的第2群中的第k 记录运算输入流处理流)中含有的连续2个帧(帧1+2、帧3+4 2个处理帧)中的一个帧 (帧1+2)进行编码；以及加法部(第2加法部512 (和第1加法部506、第3加法部512))， 将所述2个帧中的另一个帧与所述一个帧相加。(A2)构成记录装置，该记录装置中，所述编码部对一个处理流(第k记录运算输入 流图5的第2群)中含有的第2Xa-l处理帧(帧1+2)与第2Xa处理帧(帧3+4)中的 一个处理帧(帧1+2)进行编码(a是整数)，并生成编码后的编码后帧作为一个输出流(第 k记录运算输出流)中含有的第a输出帧，所述加法部生成所述一个处理流(第k记录运算 输入流)中含有的所述第2Xa-1处理帧(帧1+2)与所述第2Xa处理帧(帧3+4)相加后 的第a加法帧(帧1+2+3+4)，作为另一个处理流(第k+1记录运算输入流)中含有的第a 帧。(A3)构成记录装置，该记录装置中，所述一个处理流和所述一个输出流是第k处 理流(第k记录运算输入流)和第k输出流(第k记录运算输出流)，所述另一个处理流是 第k+1处理流(第k+1记录运算输入流)(k > 1)，所述编码部包含第k+1编码部(第3编码部514)，分别对第k+1处理流中含有的第2 X a-1帧(例如帧1+2+3+4)和所述第2 X a帧 (帧5+6+7+8)进行编码，并生成编码后的各编码后帧作为第k+1输出流(第k+1记录运算输 出流)中含有的第2Xa-l输出帧和第2Xa帧；以及第u编码部(第2编码部510、第1编 码部504) (1 < u < k)，对第u处理流(第u记录运算输入流)中含有的第2Xa-l帧(帧 1+2)和所述第2Xa帧(帧3+4)中的一个处理帧(帧1+2)进行编码，并生成编码后的编码 后帧作为第u输出流(第u记录运算输出流)中含有的第2Xa-l输出帧和第2Xa输出帧 中的一个输出帧(第2Xa-l输出帧)，所述加法部包含第u加法部(第2加法部512、第1 加法部506)，该第u加法部将所述第u处理流(第u记录运算输入流)中含有的第2 X a-1 帧(帧1+2)和所述第2Xa帧(帧3+4)相加，并生成相加后的加法后帧作为所述第u+1处 理流(第u+1记录运算输入流)中含有的第a帧。(A4)构成记录装置，该记录装置包括判断部(第2选择部507、第1选择部501)，所 述判断部判断第u处理流中含有的处理帧是否是所述一个帧，并通过所述编码部对判断为 是所述一个帧的处理帧进行编码，使所述加法部生成判断为不是所述一个帧的处理帧的所 述加法帧；所述判断部包括第1判断部 第k判断部(第1选择部501 第2选择部507)， 所述第u判断部进行对第u处理流的所述判断。(A5)构成记录装置，该记录装置中，所述编码部分别对第u处理流中含有的第1 第2~(k十l-u)( = 2~(3-u))的处理帧(A~B表示A的B次幂)中的作为奇数帧的处理帧 进行编码，并生成包含编码后的2~(k-u) (2"(2-u))个处理帧的第u输出流(第u记录运算 输出流)，所述加法部生成包含由第u处理流的第1 第2~ (k+1-u)处理帧生成的2~ (k-u) 个加法帧的第u+1处理流(第u+1记录运算输出流)，所生成的第k+1处理流(u = k)(第 k+1 ( = 3)记录运算输出流)中含有的加法帧是1个(=k-u)(仅帧1+2+3+4)。(A6)构成记录装置，该记录装置的特征在于，包括输入所述第1处理流中含有的N 个(N = 2"k = 2" (k+1-l))处理帧的输入单元(输入部500)和第1记录处理部 第k+1记 录处理部(第1记录运算处理部 第k+1记录运算处理部)；所述编码部包含设置在所述第 t记录处理部的第t编码部(1 < t < k+1)；所述加法部包含设置在第t记录处理部的第t 加法部(1 < u < k)；第1记录处理部，包括存储由所述输入单元得到的奇数帧和偶数帧的 存储单元；该第1记录处理部具有的所述第1编码部对所存储的所述奇数帧进行编码，包括 将由所述第1编码部得到的比特流作为所述第1输出流加以存储的存储单元，该第1记录 处理部具有的所述第1加法部将所存储的所述奇数帧和所述偶数帧相加，所述第q记录处 理部(2 < q < k+1)包括将从所述第q_l加法部得到的奇数帧和偶数帧加以存储的存储单 元；第q编码部对由所述第q_l加法部得到并被存储的奇数帧进行编码；包括将由所述第q 编码部得到的比特流作为第q输出流加以存储的存储单元；该第q记录处理部具有的所述 第q加法部将所存储的奇数帧和偶数帧相加；由所述第1记录处理部 所述第k+1记录处 理部构成k+1级。(A7)构成再现装置(再现部171、视频解码器901)，该再现装置包括解码部(第 2解码部604 (和第3解码部601、第1解码部609))，从一个帧(例如帧1+2)被编码后的编 码后帧解码该一个帧；以及减法部(第2减法部606)，从该一个帧和与该一个帧连续的另 一个帧(帧3+4)相加后的加法帧(帧1+2+3+4)减去该一个帧(帧1+2)，并生成相减后的 帧作为所述另一个帧(帧3+4)。
24
(A8)构成再现装置，该再现装置中，所述解码部对一个处理前流(例如，第k再现 运算输入流)中含有的第a处理前帧(例如帧1+2)进行解码(a是整数)，并生成解码后 的帧作为一个处理后流(第k再现运算输出流)中含有的第2Xa-l处理后帧和第2Xa 处理后帧中的一个帧；所述减法部从作为第a处理后帧而含有所述一个处理后流的所述第 2Xa-l处理后帧(帧1+2)和第2Xa处理后帧(帧3+4)相加后的加法帧(帧1+2+3+4)的 另一个处理后流(第k+1再现运算输入流)中所含有的该第a处理后帧(帧1+2+3+4)，减 去所述一个处理前帧的所述第a处理前帧被解码后的所述一个帧(帧1+2)，并生成相减后 的帧作为所述一个处理后流(第k再现运算输出流)的所述第2Xa-l处理后帧和所述第 2Xa处理后帧中的另一个帧(帧3+4)。(A9)构成再现装置，该再现装置中，所述一个处理前流和所述一个处理后流是第 k处理前流(第k再现运算输入流)和第k处理后流(第k再现运算输出流)；所述另一个 处理后流是第k+1处理后流(第k+1再现运算输出流)(k > 1)；所述解码部包括第k+1 解码部(第3解码部601)，对所述第k+1处理前流(第k+1再现运算输入流)中含有的第 a处理前帧进行解码，并生成解码后的帧(帧1+2+3+4)作为第k+1处理后流(第k+1再现 运算输出流)的第a处理后帧；以及第v解码部(第2解码部604)，对所述第v处理前流 (m < v < k)(第v再现运算输入流)中含有的第2Xa-l处理前帧和第2Xa处理前帧中 的一个进行解码，并生成解码后的帧(例如帧1+2)作为第v处理后流(第v再现运算输出 流)中含有的第2Xa-l处理后帧(帧1+2)和第2Xa处理后帧(帧3+4)中的一个(帧 1+2)；所述减法部包括第v减法部(第2减法部606)，该第v减法部从所述第v+1处理后 流(第k+1再现运算输出流)中含有的第a处理后帧中，减去第v处理后流(第k再现运 算输出流)中含有的第2Xa-l处理后帧和第2Xa处理后帧中的一个处理后帧(帧1+2)， 并生成相减后的帧作为第v处理后流的另一个处理后帧(帧3+4)。(A10)构成再现装置，该再现装置中，m = 1，包括选择部(选择部619)，当该再现 装置在第k+1处理后流的1个帧期间再现2~(L-1)个帧的情况下(l<L<k+l)，所述选择 部仅通过第k+1解码部 第k+l-(L-l)解码部和第k+1减法部 第k+l-(L-l)减法部而仅 生成第k+1处理后流 第k+l-(L-l)处理后流，使该再现装置进行第k+l-(L-l)处理后流 中含有的各处理后流的再现。(All)构成再现装置，该再现装置包括判断部(第2选择部617、第1选择部(选 择部610、选择部618))，该判断部判断第v处理后流中含有的处理后帧是否是所述一个帧， 在判断为是所述一个帧的情况下，选择通过所述解码部从该处理后帧被编码后的编码后处 理后帧解码出的帧，作为被判断的所述处理后帧，在判断为不是所述一个帧的情况下，选择 通过所述减法部从被判断的所述处理后帧作为所述另一个帧进行相加而成的加法帧生成 的帧，作为被判断的该处理后帧；所述判断部包括第m判断部 第k判断部；第v判断部进 行对第v处理后流的所述判断和选择。(A12)构成再现装置，该再现装置的特征在于，第1输出流是将第1处理流中含有 (N=2~k)处理帧中的奇数帧编码后得到的，第2到第k+1输出流是通过重复k次
生成所述第u处理流(1 < u < k)的奇数帧和偶数帧相加后的加法帧并记录仅将含有所生 成的各加法帧的中间流的奇数帧编码后的第u+1输出流而得到的(1 < u < k)，所述再现 装置对作为第1输出流和第2到第k+1输出流的第1处理前流 第k+1处理前流进行处
25理，包括再现部和第1再现处理部 第k+1再现处理部；所述解码部包含设置在第t再现 处理部的第t解码部(1 < t < k+1)；所述减法部包含设置在第u再现处理部的第u减法 部(1 < u < k)；第k+1记录处理部中，该第k+1记录处理部具有的所述第k+1解码部将第 k+1处理前流解码后重构，所述再现部在L = 1的情况下，再现从所述第k+1解码部得到的 帧；第u记录处理部中，该第u记录处理部具有的所述第u解码部将第u处理 前流解码后重构；该第u记录处理部具有的所述第u减法部分别从由第k+1到第u+1处理 前流重构的2~ (k+l-u)/2( = 2" (k-u))中，减去所述第u解码部从第u+1处理前流重构的、 对应的所述奇数帧；所述再现部在！^ > 2的情况下，再现由所述第k+l-(L-l)解码部得到的 帧作为奇数帧，并再现从所述第k+1-(L-1)减法部得到的帧作为偶数帧；由所述第1再现处 理部 所述第k+1再现处理部构成k+1级。(A13)构成摄像机系统(参考图9)，具有CCD外围部和麦克风作为视频和声音的 输入接口，且包括控制自动聚焦部的摄像机信号处理单元、分别进行运动图像的编码及解 码与声音的编码及解码的信号处理单元、输出影像和声音的接口、以及用于保持记录数据 的接口，其特征在于，具有(A3)记载的记录装置和(A9)记载的再现装置。(A14)构成数字电视系统，包括对来自调谐器的信号进行数字调制解调的单元、 进行解扰和传输流的解码的单元、进行运动图像解码和声音解码的信号处理单元以及输出 影像和声音的单元，其特征在于，具有(A9)记载的再现装置。此外，构成下面的各装置等(参考图10)。(B1)构成记录方法，该记录方法的特征在于，记录对N个(N是2的幂乘数)帧编 码了奇数帧后的比特流，重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记录对所 述相加后的帧仅编码奇数帧后的比特流，从而生成Log2N+l个比特流。(B2)构成再现方法，该再现方法的特征在于，第1比特流是对N个(N是2的幂乘 数)帧编码奇数帧后得到的，第2到第Log2N+l比特流是通过重复Log2N(底数为2的对 数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅 编码奇数帧后的比特流而得到的，对于所述第1比特流和第2到第Log2N+l比特流，当再现N个帧中的1帧的情况下，再现将第Log2N+l比特流解码后重构的帧，在再现N个帧中的2帧的情况下，再现将第Log2N比特流解码后重构的帧作为奇 数帧，并再现从第Log2N+l比特流重构的帧中减去所述奇数帧后的帧作为偶数帧重构，在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况下，再现将第 Log2M+l比特流解码后重构的帧作为奇数帧，再现从第Log2M到第Log2N+l比特流重构的 M/2帧中减去由对应的第Log2M+l比特流重构的所述奇数帧后的帧作为偶数帧。(B3)构成记录装置，该记录装置的特征在于，包括第1记录单元和第2记录单元， 所述第1记录单元具有输入N(N是2的幂乘数)帧的输入单元、存储由所述输入单元得 到的奇数帧和偶数帧的存储单元、对所述奇数帧进行编码的编码单元、以及存储由所述编 码单元得到的比特流的存储单元；所述第2记录单元具有将奇数帧和偶数帧相加的加法 单元、存储由所述加法单元得到的奇数帧和偶数帧的存储单元、对由所述加法单元得到的 奇数帧进行编码的编码单元、以及存储由所述编码单元得到的比特流的存储单元；所述第1记录单元和所述第2记录单元由Log2N(底数为2的对数)级构成。(B4)构成再现装置，该再现装置的特征在于，第1比特流是对N个(N是2的幂乘 数)帧编码奇数帧后得到的，第2到第Log2N+l比特流是通过重复Log2N(底数为2的对 数)次生成将所述编码对象帧的奇数帧和偶数帧相加后的帧并记录对所述相加后的帧仅 编码奇数帧后的比特流而得到的，对于所述第1比特流和第2到第Log2N+l比特流，所述再现装置包括第1再现单元，具有在再现N个帧中的1帧的情况下将第 Log2N+l比特流解码后重构的解码单元、和再现从所述解码单元得到的帧的再现单元；以 及第2再现单元，具有在再现N个帧中的M个帧(M是3以上N以下的2的幂乘数)的情况 下将第Log2M+l比特流解码后重构的解码单元、将从所述解码单元得到的帧作为奇数帧加 以再现的再现单元；从由第Log2M到第Log2N十1比特流重构的M/2帧中减去由对应的第 Log2M+l比特流重构的所述奇数帧的减法单元和将由所述减法单元得到的帧作为偶数帧加 以再现的再现单元； 所述第1再现单元和所述第2再现单元由Log2N (底数为2的对数)级构成。(B5)构成摄像机系统，具有CCD外围部和麦克风作为视频和声音的输入接口，且 包括控制自动聚焦部等的摄像机信号处理单元、分别进行运动图像的编码及解码与声音 的编码及解码的信号处理单元、输出影像和声音的接口、以及用于保持记录数据的接口，其 特征在于，包括在所述运动图像编码中，记录对N(N是2的幂乘数)帧编码了奇数帧后的比 特流，重复Log2N(底数为2的对数)次生成将奇数帧和偶数帧相加后的帧并记录对所述相 加后的帧仅编码奇数帧后的比特流，从而生成Log2N+l个比特流的单元；在所述运动图像解码中，第1比特流是对N个帧编码奇数帧后得到的，第2到第 Log2N+l比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧和 偶数帧相加后的帧并记录对所述相加后的帧仅编码奇数帧后的比特流而得到的，对于所述 第1比特流和第2到第Log2N+l比特流，包括在再现N个帧中的1帧的情况下，再现将第Log2N+l比特流解码后重构的帧， 在再现N个帧中的2帧的情况下，再现将第Log2N比特流解码后重构的帧作为奇数帧，重构 并再现从由Log2N+l比特流重构的帧中减去所述奇数帧后的帧作为偶数帧，在再现N个帧 中的M个帧(M是3以上N以下的2的幂乘数)的情况下，再现将第Log2M+l比特流解码后 重构的帧作为奇数帧，并再现从由第Log2M到第Log2N+l比特流重构的M/2帧中减去由对 应的第Log2M+l比特流重构的所述奇数帧后的帧作为偶数帧的单元。(B6)构成数字电视系统，具有对来自调谐器的信号进行数字调制解调的单元、 进行解扰和传输流的解码的单元、进行运动图像解码和声音解码的信号处理单元以及输出 影像和声音的单元，其特征在于，在所述运动图像解码中，第1比特流是对N个帧编码奇数帧后得到的，第2到第 Log2N+l比特流是通过重复Log2N(底数为2的对数)次生成将所述编码对象帧的奇数帧 和偶数帧相加后的帧并对所述相加后的帧仅编码奇数帧后的比特流而得到的，对于所述第 1比特流和第2到第Log2N+l比特流，包括在再现N个帧中的1帧的情况下，再现将第Log2N+l比特流解码后重构的帧；在再现N个帧中的2帧的情况下，再现将第Log2N比特流解码后重构的帧作为奇数帧，重构 并再现从由Log2N+l比特流重构的帧中减去所述奇数帧后的帧作为偶数帧，在再现N个帧 中的M个帧(M是3以上N以下的2的幂乘数)的情况下，再现将第Log2M+l比特流解码后 重构的帧作为奇数帧，再现从由第Log2M到第Log2N+l比特流重构的M/2帧中减去由对应 的第Log2M+l比特流重构的所述奇数帧后的帧作为偶数帧的单元。如上所述，连续2个帧中的一个帧被编码。这里，被编码的一个帧也可以不是这2 个帧中前侧的帧(第2Xa-l帧)，而是后侧的帧(第2Xa帧)。并且，如前所述，若被编码的一个帧是前侧的帧，则可以在可进行后侧帧的处理的 时间之前，预先较早地开始一个帧的编码处理。因此，可以更早地结束编码一个帧的处理和 该处理的后续处理，可以减少处理延迟。另外，可以分散处理负担，使得不会有较多的处理 在后侧帧的处理成为能够进行的时间之后进行。另外，也可以在开始将一个帧(例如帧1)和另一个帧(帧2)相加为加法帧(帧 1+2)的处理之后，开始一个帧的编码处理。与此相对，如前所述，若在开始加法的处理之前较早地开始一个帧的编码处理，则 可减少处理延迟，或不存在处理延迟。另外，可以分散处理负担。产业上的实用性在本发明涉及的记录及再现方法及其装置中，在再现进行高速拍摄的电影和运动 图像的数字电视中，在处理性能不充分的再现装置中也可提供良好的图像质量，有利于降 低耗电量和降低成本。
权利要求
一种记录装置，包括编码部，对流中含有的连续2个帧中的一个帧进行编码；以及加法部，将所述2个帧中的另一个帧与所述一个帧相加。
2.根据权利要求1所述的记录装置，所述编码部对一个处理流中含有的第2Xa_l处理帧和第2Xa处理帧中的一个处理 帧进行编码，并生成编码后的编码后帧，作为一个输出流中含有的第a输出帧，其中，a是整 数；所述加法部生成所述一个处理流中含有的所述第2Xa-I处理帧和所述第2Xa处理帧 相加后的第a加法帧，作为另一个处理流中含有的第a帧。
3.根据权利要求2所述的记录装置，所述一个处理流和所述一个输出流是第k处理流和第k输出流；所述另一个处理流是 第k+Ι处理流，其中，k彡1 ； 所述编码部包含第k+Ι编码部，分别对第k+Ι处理流中含有的第2Xa-I帧和所述第2Xa帧进行编码， 并生成编码后的各编码后帧，作为第k+Ι输出流中含有的第2 X a-Ι输出帧和第2 X a帧；以 及第u编码部，对第u处理流中含有的第2Xa-I帧和所述第2Xa帧中的一个处理帧进 行编码，并生成编码后的编码后帧，作为第u输出流中含有的第2Xa_l输出帧和第2Xa输 出帧中的一个输出帧，其中，1彡u彡k ；所述加法部包含第u加法部，该第u加法部将所述第u处理流中含有的第2 X a-Ι帧和 所述第2Xa帧相加，并生成相加后的加法后帧，作为所述第u+1处理流中含有的第a帧。
4.根据权利要求3所述的记录装置，包括判断部，该判断部判断第u处理流中含有的处理帧是否是所述一个帧；通过所述 编码部对判断为是所述一个帧的处理帧进行编码，使所述加法部生成判断为不是所述一个 帧的处理帧的所述加法帧；所述判断部具有第1判断部 第k判断部； 所述第u判断部进行对第u处理流的所述判断。
5.根据权利要求2所述的记录装置，所述编码部分别对第u处理流中含有的第1 第2~(k+l-u)处理帧(A~B表示A的B次 幂)中的作为奇数帧的处理帧进行编码，并生成含有编码后的2~(k-u)个处理帧的第u输 出流；所述加法部生成含有由第u处理流的第1 第2~ (k+1-u)处理帧生成的2~ (k-u)个加 法帧的第u+1处理流；所生成的第k+Ι处理流(u = k)中含有的加法帧是1个(=k-u)。
6.根据权利要求2所述的记录装置，包括输入单元，输入所述第1处理流中含有的N个处理帧，其中，N = 2"k = 2"(k+l-l)；以及第1记录处理部 第k+Ι记录处理部；所述编码部包含设置在所述第t记录处理部的第t编码部；所述加法部包含设置在第t记录处理部的第t加法部，其中，1≤t≤k+1，1≤u≤k ； 第1记录处理部，包括将从所述输入单元得到的奇数帧和偶数帧加以存储的存储单元； 该第1记录处理部具有的所述第1编码部对所存储的所述奇数帧进行编码； 包括将由所述第1编码部得到的比特流作为所述第1输出流加以存储的存储单元； 该第1记录处理部具有的所述第1加法部将所存储的所述奇数帧和所述偶数帧相加； 所述第q记录处理部，其中，2≤q≤k+1,包括将从所述第q_l加法部得到的奇数帧和偶数帧加以存储的存储单元； 第q编码部对从所述第q_l加法部得到并被存储的奇数帧进行编码； 包括将由所述第q编码部得到的比特流作为第q输出流加以存储的存储单元； 该第q记录处理部具有的所述第q加法部将所存储的奇数帧和偶数帧相加； 由所述第1记录处理部 所述第k+Ι记录处理部构成k+Ι级。
7.一种再现装置，包括解码部，从一个帧被编码后的编码后帧解码该一个帧；以及减法部，从该一个帧和与该一个帧连续的另一个帧相加后的加法帧中，减去该一个帧， 并生成相减后的帧作为所述另一个帧。
8.根据权利要求7所述的再现装置，所述解码部对一个处理前流中含有的第a处理前帧进行解码，并生成解码后的帧，作 为一个处理后流中含有的第2Xa-I处理后帧和第2Xa处理后帧中的一个帧，其中，a是整 数；所述减法部从作为第a处理后帧而含有所述一个处理后流的所述第2 Xa-I处理后帧 和第2 X a处理后帧相加后的加法帧的另一个处理后流中所含有的该第a处理后帧中，减去 所述一个处理前帧的所述第a处理前帧被解码后的所述一个帧，并生成相减后的帧，作为 所述一个处理后流的所述第2Xa-I处理后帧和所述第2Xa处理后帧中的另一个帧。
9.根据权利要求8所述的再现装置，所述一个处理前流和所述一个处理后流是第k处理前流和第k处理后流；所述另一个 处理后流是第k+Ι处理后流，其中，k≤l；所述解码部包括第k+Ι解码部，对所述第k+Ι处理前流中含有的第a处理前帧进行解 码，并生成解码后的帧，作为第k+Ι处理后流的第a处理后帧；以及第ν解码部，对所述第ν处理前流中含有的第2Xa-I处理前帧和第2Xa处理前帧中 的一个进行解码，并生成解码后的帧，作为第ν处理后流中含有的第2Xa_l处理后帧和第 2Xa处理后帧中的一个，其中，m≤ν≤k;所述减法部包括第ν减法部，该第ν减法部从所述第v+1处理后流中含有的第a处理 后帧中，减去第ν处理后流中含有的第2Xa-I处理后帧和第2Xa处理后帧中的一个处理 后帧，并生成相减后的帧，作为第ν处理后流的另一个处理后帧。
10.根据权利要求9所述的再现装置， m = 1 ；包括选择部，当该再现装置在第k+l处理后流的一个帧期间再现2~ (L-I)个帧的情况 下，该选择部仅通过第k+l解码部 第k+l-(L-I)解码部、和第k+l减法部 第k+l-(L-I)减法部而仅生成第k+Ι处理后流 第k+l-(L-l)处理后流，并使该再现装置进行第 k+1-(L-I)处理后流中含有的各处理后流的再现，其中，1彡L彡k+1。
11.根据权利要求9所述的再现装置，包括判断部，该判断部判断第ν处理后流中含有的处理后帧是否是所述一个帧，在判 断为是所述 一个帧的情况下，选择通过所述解码部从该处理后帧被编码后的编码后处理后 帧解码出的帧，作为被判断的所述处理后帧，在判断为不是所述一个帧的情况下，选择通过 所述减法部从将被判断的所述处理后帧作为所述另一个帧进行相加而成的加法帧中生成 的帧，作为被判断的该处理后帧；所述判断部具有第m判断部 第k判断部； 第V判断部进行对第ν处理后流的所述判断和选择。
12.根据权利要求10所述的再现装置，第1输出流是将第1处理流中含有的N个处理帧中的奇数帧编码后得到的，第2到第 k+Ι输出流是通过重复k次生成所述第u处理流的奇数帧和偶数帧相加后的加法帧并记录 仅将含有所生成的各加法帧的中间流的奇数帧编码后的第u+1输出流而得到的，所述再现 装置对作为所述第1输出流和第2到第k+Ι输出流的第1处理前流 第k+Ι处理前流进行 处理，其中，N = 2~k，l彡u彡k;包括再现部和第1再现处理部 第k+Ι再现处理部； 所述解码部包含设置在第t再现处理部的第t解码部，其中，1 ^ t ^ k+Ι ； 所述减法部包含设置在第u再现处理部的第u减法部，其中，1 ^u^k； 第k+1记录处理部中，该第k+Ι记录处理部具有的所述第k+Ι解码部将第k+Ι处理前流解码后重构； 所述再现部在L = 1的情况下，再现由所述第k+Ι解码部得到的帧； 第u记录处理部中，其中，1 <k，该第u记录处理部具有的所述第u解码部将第u处理前帧解码后重构； 该第u记录处理部具有的所述第u减法部分别从由第k+Ι到第u+1处理前流重构的 2" (k+l-u)/2( = 2" (k-u))帧减去所述第u解码部从第u+1处理前流重构的、对应的所述奇 数帧；所述再现部在L ^ 2的情况下，将从所述第k+l-(L-l)解码部得到的帧作为奇数帧加 以再现，并将从所述第k+l-(L-l)减法部得到的帧作为偶数帧加以再现； 由所述第1再现处理部 所述第k+Ι再现处理部构成k+Ι级。
13.一种记录方法，包括编码步骤，对流中含有的连续2个帧中的一个帧进行编码；以及 相加步骤，将所述2个帧中的另一个帧与所述一个帧相加。
14.一种再现方法，包括解码步骤，从一个帧被编码后的编码后帧解码该一个帧；以及 减法步骤，从该一个帧和与该一个帧连续的另一个帧相加后的加法帧中减去该一个 帧，并生成相减后的帧作为所述另一个帧。
15.一种集成电路，包括编码部，对流中含有的连续2个帧中的一个帧进行编码；以及加法部，将所述2个帧中的另一个帧与所述一个帧相加。
16.一种集成电路，包括解码部，从一个帧被编码后的编码后帧解码该一个帧；以及减法部，从该一个帧和与该一个帧连续的另一个帧相加后的加法帧中减去该一个帧， 并生成相减后的帧作为所述另一个帧。
17.一种计算机程序，用于使计算机实现编码部，对流中含有的连续2个帧中的一个帧进行编码；以及加法部，将所述2个帧中的另一个帧与所述一个帧相加。
18.一种计算机程序，用于使计算机实现解码部，从一个帧被编码后的编码后帧解码该一个帧；以及减法部，从该一个帧和与该一个帧连续的另一个帧相加后的加法帧中减去该一个帧， 并生成相减后的帧作为所述另一个帧。
19.一种摄像机系统，具有CCD外围部和麦克风作为视频和声音的输入接口，且包括 控制自动聚焦部的摄像机信号处理单元、分别进行运动图像的编码和解码与声音的编码和 解码的信号处理单元、输出影像和声音的接口以及用于保持记录数据的接口，其特征在于，包括权利要求3所述的记录装置和权利要求9所述的再现装置。
20.一种数字电视系统，包括对来自调谐器的信号进行数字调制解调的单元、进行解 扰和传输流的解码的单元、进行运动图像解码和声音解码的信号处理单元以及输出影像和 声音的单元，其特征在于，包括权利要求9所述的再现装置。
全文摘要
为了兼顾高图像质量和少处理量，视频编码器(900)包括对流(例如，图5的第2群中的第k记录运算输入流)中含有的连续的2个帧(帧1+2、帧3+4)中的一个帧(帧1+2)进行编码的第2编码部(510)以及将另一个帧(帧3+4)和所述一个帧相加的第2加法部(512)，并通过一个帧和加法帧的编码来编码流。
文档编号H04N5/93GK101843098SQ20098010087
公开日2010年9月22日 申请日期2009年3月3日 优先权日2008年3月3日
发明者中村刚, 手塚忠则 申请人:松下电器产业株式会社