专利名称：运动图像编码设备和运动图像编码方法
技术领域：
本发明涉及一种运动图像编码设备和方法，尤其涉及一种用于记录、重放和编辑 编码比特流的良好技术。
背景技术：
已经确立对静止图像进行压缩和编码的JPEG标准、以及使用图像间运动预测/运 动补偿技术对运动图像进行压缩和编码的MPEGl和MPEG2标准，作为用于对图像数据进行 编码的高效率的技术。各种制造商已经研发并生产能够使用这种编码技术将图像数据记录 至存储介质的数字照相机和数字摄像机等的摄像设备、DVD记录器等。在这些产品中，存在一些可以通过使用无线通信等的系统在多个摄像设备之间发 送/接收已经拍摄到的静止图像数据、来在这些设备之间实时共享该图像数据的产品。用 户可以使用这种设备来拍摄和记录他/她偏好的被摄体。同时，在这些产品中，还存在配备有用于诸如切出运动图像的期望区间、将运动图 像与其它运动图像合成等的对由摄像设备拍摄到的运动图像进行编辑的功能的设备。例 如，通过使用由多个摄像设备拍摄到的运动图像作为要编辑的材料，可以合成由不同的摄 像设备所记录的运动图像，并创建新的运动图像。顺便提及，数字化的运动图像数据的大小非常大。因此，继续研究被设计成与前述 的MPEG1、MPEG2等相比实现更高的压缩率的运动图像数据编码标准。近来，由ITU_T(国 际电信联盟远程通信标准化组织)和ISO(国际标准化组织)已经使被称为H. 264/ MPEG-4Part 10的编码方案(在下文，简称为“H. 264”)成为标准。下文将参考图IlA IlC和图12A 12B来说明使用H. 264标准编码后的数据的 结构。注意，图IlA IlC和图12A 12B示出表示编码后的运动图像数据的图片组(图 像序列)和各图片的图片类型。在这些图中，上层表示显示顺序(从左侧起按顺序显示)， 而下层表示编码顺序(从左侧起按顺序编码)。根据H. 264标准的图像帧中的图片类型包括仅从同一帧内的数据进行编码的I图 片、以及使用该帧和时间上的在前帧之间的差异进行编码的P图片。此外，还存在除该帧 和时间上的在前帧之间的差异以外、还可以使用该帧和时间上的在后帧之间的差异的B图 片。例如，图IlA示出图片P8是第9个显示的P图片帧。图IlA中的箭头表示示出在 图IlA所示的例子中图片P8参考图片BO的参考关系。同时，在图IlB所示的例子中，图片 BO参考图片P2和B7。在H. 264标准中，当进行帧间预测时，可以使用图像序列内的任意帧和图片类型 作为参考图像。例如，如图IlA所示，作为P图片的图片P8不仅可以参考I图片，而且还可 以跳过I图片并参考其它帧。同样，如图IlB所示，作为B图片的图片BO不仅可以参考I 图片，而且还可以跳过I图片并参考其它帧。
这样，H. 264标准允许这种灵活的参考图像。因此，与P图片仅可以参考紧挨该P 图片之前的I图片或其它P图片的、诸如MPEG2等的标准相比，H. 264标准可以提高帧间预 测的精度和编码效率。然而，由于H. 264标准允 许如前所述的这种灵活的参考图像，因此存在在H. 264标 准中不能够快速地进行随机存取的情况。作为例子，图Iic示出使用随机存取从中间的帧 或图片15起重放图像序列的情况。当从图像序列中的图片15起开始重放时，随后对图片P8进行解码，并且由于图片 P8参考图片B0，因此需要预先对图片BO进行解码。此外，由于图片BO参考图片P2和B7， 因此还需要预先对图片P2和B7进行解码从而对图片BO进行解码。同样，尽管图IlC没有 示出，但图片P2和B7各自参考其它图片，因此还需要预先对这些其它图片进行解码，从而 对图片P2和B7进行解码。因而，即使从图片15起开始重放，也允许跳过图片15的参考，因此需要返回到图 片15之前的数据并从该数据起开始解码处理，从而使得难以从图片15起快速地开始重放。 此外，即使用户期望使用图片15作为剪切帧对编码比特流进行剪切编辑，也允许跳过图片 15的参考，由此需要返回到图片15之前的数据并从该数据起开始解码处理。因此，难以进 行使用图片15作为剪切帧对比特流进行剪切的剪切编辑。因此，例如，日本特开2003-199112提出了对I图片设置周期性限制、从而消除该 问题并使得能够进行快速随机存取的方法。在H. 264标准中该受限制的I图片被称为“ IDR 图片”。现在将参考图12A和12B来说明IDR图片。注意，图12A和12B所示的图像序列表 示与图IlA和IlB所示的图像序列相同的图像序列，但在图12A和12B所示的图像序列中， 对图片15设置了 IDR图片。当对图片15设置了 IDR图片时，在对该IDR图片进行编码时，从记录运动图像的 参考图像的帧存储器清除这些参考图像。因此，在IDR图片之后编码的图片不能够参考在 该IDR图片之前编码的图片。同样，在IDR图片之前编码的图片不能够参考在该IDR图片 之后编码的图片。在图12A所示的例子中，在IDR图片或图片IDR5之后编码的P图片和B图片不能 够参考在IDR图片之前编码的P图片和B图片。更具体地，在图片IDR5之后编码的诸如图 片P8和B7等的图片不能够参考在图片IDR5之前编码的诸如图片P2和BO等的图片。相反，在图12B所示的例子中，在IDR图片或图片IDR5之前编码的P图片和B图 片不能够参考在IDR图片之后编码的P图片和B图片。更具体地，在图片IDR5之前编码的 诸如图片P2和BO等的图片不能够参考在图片IDR5之后编码的诸如图片P8和B7等的图 片。因此，利用H. 264标准，当从IDR图片起开始重放编码数据时，无需返回到IDR图 片之前的图像数据并且无需从该图像数据起进行解码，从而使得可以利用快速随机存取实 现重放。此外，由于跳过IDR图片并参考其它图片被禁止，因此还可以进行使用IDR图片作 为剪切帧的编辑。接着，将说明H. 264标准中编码数据量的控制。可变比特率(VBR)方案是一种用 于控制编码数据量的技术。在下文，将简要说明根据VBR方案的编码数据量控制。VBR方案是这样一种用于控制编码数据量的方案，该方案在尝试使编码比特率尽可能接近平均目标编码比特率时，基于视频的局部性质来改变该目标编码比特率。由于该 方案使用基于视频的性质的目标编码比特率对视频信号进行编码，因此该方案具有图像质 量的波动小的特征。换言之，以较高的目标编码比特率对难以进行编码、并由此将遭受低的 图像质量的帧进行编码，而以较低的目标编码比特率对容易进行编码、并由此将具有足够 高的图像质量的帧进行编码。最近的数字摄像 机配置有使用编码数据量控制技术、以使得能够进行高图像质量 记录或延长时间记录的多个记录模式(编码模式)。例如，存在具有根据平均目标编码比 特率对数据进行编码的LP (Long Play，长播放)模式、SP (Standard Play，标准播放)模式 和XP(ExCellent Play，优良播放)模式这三种记录模式的摄像机。LP模式中的平均目标 编码比特率最低，而XP模式中的平均目标编码比特率最高。SP模式中的平均目标编码比特 率位于LP模式中的平均目标编码比特率和XP模式中的平均目标编码比特率之间。在LP模式下，编码比特率低，从而导致图像质量下降；然而，由此产生的文件小， 因而可以记录较大量的视频。另一方面，在XP模式下，编码比特率高，从而导致图像质量提 高；然而，由此产生的文件大，因而仅可以记录少量的视频。用户可以考虑所记录视频的图 像质量、存储介质中剩余的空间等，使用她/他偏好的记录模式来拍摄视频。日本特开2001-346201描述了使用VBR方案的图像编码设备。该文献说明了输入 图像被分割成低分辨率图像、并且使用多个图像编码设备对其进行编码的情况；在这种情 况下，编码数据量随后被分配至各个编码设备，以使得针对各个图像编码设备而言，低分辨 率图像的图像质量均是相同的。利用前述H. 264标准，使用限制帧间预测时的参考关系的IDR图片使得能够进行 快速随机存取、简易编辑等。由于该原因，需要将IDR图片设置在适当位置处，从而使得能 够从编码比特流中的任意位置起进行快速重放，能够使用编码比特流作为材料进行简易编辑等。然而，由于通过设置IDR图片按所述方式限制参考关系，因此设置多个IDR图片有 可能降低编码效率。换言之，如果要优先编码效率，则期望设置尽可能少的IDR图片。诸如 背景技术等的周期性地设置IDR图片的方法存在针对随机存取、编辑等所不需要的帧也设 置IDR图片、从而导致编码效率下降的问题。另外，在多个用户要对使用他们各自的摄像设备拍摄到的多个运动图像(编码比 特流)进行编辑的情况下，出现许多在各个编码比特流中设置IDR图片的间隔和时间彼此 不同的情况。由于该原因，减少所设置的IDR图片的数量从而防止编码效率的下降，这使得 难以在对来自不同用户的多个编码比特流进行编辑时将期望区间的视频拼接到一起。此外，在要对使用不同的设备所记录的多个运动图像(编码比特流)进行编辑的 上述情况下，维持视频之间的均勻的图像质量是重要的问题。如果各个编码比特流具有不 同的图像质量，则对视频进行编码将导致在流被拼接到一起的区域中明显可见的图像质量 的差异。图21A 21C示出用户A已经基于SP模式以目标编码比特率记录了场景A、而用 户B已经基于XP模式以目标编码比特率记录了场景B的例子。图21A表示在用户A记录 场景A时的平均目标编码比特率的变化，并且示出用户A在时间t2时开始拍摄场景A、并 在时间t3时停止拍摄场景A。同时，图21B表示在用户B记录场景B时的平均目标编码比特率的变化，并且示出用户B在时间tl时开始拍摄场景B、并在时间t2时停止拍摄场景B。 然后，图21C示出在通过剪切编辑将场景A和B拼接到一起的情况下的编码比特流的平均 目标编码比特率的变 化。 在图21C中，由于SP模式和XP模式之间的平均目标编码比特率的差异，因此在时 间t2时在场景B和A之间的拼接处，编码比特率突然下降。换言之，在图21C中，与时间t2 之前的区间相比较，在时间t2之后的区间中，图像质量呈现突然下降。由于该原因，重放这 种编码比特流的视频的观看者在紧挨时间t2之后将感到不自然。
发明内容
本发明的方面涉及在使用多个设备对运动图像数据进行编码时、生成适合于编辑 的编码图像数据。根据本发明的第一个方面，提供一种运动图像编码设备，包括编码单元，用于使 用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄 体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发 送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元， 用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制 单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息 的第二设置，控制由所述编码单元进行的编码处理。根据本发明的第二个方面，提供一种运动图像编码设备，包括编码单元，用于使 用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄 体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动 图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像 编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于进行控制，以使得 基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动图像编码 设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。根据本发明的第三个方面，提供一种运动图像编码设备，包括编码单元，用于使 用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄 体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动 图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像 编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送 /接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中设置的图 像质量来调整由所述编码单元生成的编码比特流的图像质量。根据本发明的第四个方面，提供一种运动图像编码设备用的运动图像编码方法， 所述运动图像编码方法包括以下步骤编码步骤，用于使用帧间预测对运动图像数据进行 编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置步 骤，用于对在所述编码步骤中进行的编码处理进行设置；发送步骤，用于将在所述设置步骤 中创建的设置信息发送至外部运动图像编码设备；接收步骤，用于接收由所述外部运动图 像编码设备发送来的针对编码处理的设置信息；以及编码控制步骤，用于根据在所述设置 步骤中进行的第一设置和基于在所述接收步骤中接收到的设置信息的第二设置，控制在所述编码步骤中进行的编码处理。
根据本发明的第五个方面，提供一种运动图像编码设备用的运动图像编码方法， 所述运动图像编码方法包括以下步骤编码步骤，用于使用帧间预测对运动图像数据进行 编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接 收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运 动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备 属于同一组；以及编码控制步骤，用于进行控制，以使得基于在所述发送/接收步骤中发送 /接收到的编码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在所 述编码步骤中生成的编码比特流中设置基准帧。根据本发明的第六个方面，提供一种运动图像编码设备用的运动图像编码方法， 所述运动图像编码方法包括以下步骤编码步骤，用于使用帧间预测对运动图像数据进行 编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；发送/接 收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由网络从外部运 动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动图像编码设备 属于同一组；以及编码控制步骤，用于基于在所述发送/接收步骤中发送/接收到的编码设 置信息，根据在所述外部运动图像编码设备中设置的图像质量来调整在所述编码步骤中生 成的编码比特流的图像质量。根据本发明的第七个方面，提供一种包含计算机可执行指令的计算机可读存储介 质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作编码单 元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由 拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行 设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备； 接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以 及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到 的设置信息的第二设置，控制由所述编码单元进行的编码处理。根据本发明的第八个方面，提供一种包含计算机可执行指令的计算机可读存储介 质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作编码单 元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由 拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至 外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部 运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于进行控 制，以使得基于由所述发送/接收单元发送/接收到的编码设置信息，根据由所述外部运动 图像编码设备进行的基准帧的设置来在由所述编码单元生成的编码比特流中设置基准帧。根据本发明的第九个方面，提供一种包含计算机可执行指令的计算机可读存储介 质，所述计算机可执行指令用于使运动图像编码设备的计算机作为以下单元工作编码单 元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由 拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至 外部运动图像编码设备/经由网络从外部运动图像编码设备接收编码设置信息，所述外部 运动图像编码设备与所述运动图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在所述外部运动图像编码设备中 设置的图像质量来调整由所述编码单元生成的编码比特流的图像质量。根据以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。
图1是示出根据本发明的第一实施例的摄像设备的示例结构的框图。图2是示出根据本发明的第一实施例的摄像设备中的照相机单元的示例结构的 框图。图3是示出根据本发明的第一实施例的摄像设备中的编码单元的示例结构的框 图。图4是示出根据本发明的实施例的摄像设备中的基准帧设置判断单元的示例结 构的框图。图5是示出组拍摄的示例的图。图6A和6B是示出拍摄的开始和结束、以及通过按下基准帧设置按钮所进行的基 准帧的设置的示例的图。图7A和7B是示出根据照相机控制信息和场景变化来设置基准帧的示例的图。图8A和8B是示出根据照相机控制信息和场景变化来设置基准帧的另一示例的 图。图9A和9B是示出根据被摄体信息来设置基准帧的示例的图。图10是示出根据本发明的第一实施例的、摄像设备设置基准帧的操作过程的示 例的流程图。图IlA IlC是示出选择参考图像的示例的图。图12A和12B是示出IDR图片的图。图13是示出根据本发明的第二实施例的摄像设备的示例结构的框图。图14是示出根据本发明的第二实施例的摄像设备中的照相机单元的示例结构的 框图。图15是示出根据本发明的第二实施例的摄像设备中的编码单元的示例结构的框 图。图16是示出组拍摄的示例的图。图17A 17C是示出图像质量设置的示例的图。图18A 18C是示出在预设模式下、平均目标编码比特率随着所拍摄场景和剪切 编辑的变化的示例的图。图19A 19D是示出在动态设置模式下、平均目标编码比特率随着所拍摄场景和 剪切编辑的变化的示例的图。图20是示出根据本发明的第二实施例的、摄像设备使图像质量均衡的操作过程 的示例的流程图。图21A 21C是示出流的编码比特率随着所拍摄场景和剪切编辑的变化的示例的 图。图22是示出根据本发明的第三实施例的摄像设备的示例结构的框图。
图23是示出根据本发明的第三实施例的摄像设备中的编码单元的示例结构的框 图。图24A 24C是示出图像质量设置的示例的图。图25A 25C是示出在预设模式下、平均目标PSNR随着所拍摄场景和剪切编辑的 变化的示例的图。图26A 26D是示出在动态设置模式下、平均目标PSNR随着所拍摄场景和剪切编 辑的变化的示例的图。图27是示出根据本发明的第三实施例的、摄像设备使图像质量均衡的操作过程 的示例的流程图。
具体实施例方式第一实施例在下文，将参考附图来说明本发明的优选实施例。作为第一实施例，图1是示出应用了实现本发明的运动图像编码设备的摄像设备 的示例功能结构的框图。根据本实施例的摄像设备是根据照相机控制信息、场景变化、被摄 体信息和基准帧设置按钮的按下等、使用用作基准帧的图片类型来进行编码的设备。在下 文，将参考图1来说明根据本实施例的摄像设备的该示例结构。根据本实施例的摄像设备100包括照相机单元101、编码单元102、编码流记录单 元103、基准帧设置判断单元104和基准帧设置信息发送/接收单元105。照相机单元101拍摄来自被摄体的光，并输出视频信号和照相机控制信息。编码 单元102对由照相机单元101输出的视频信号进行压缩和编码，并向编码流记录单元103 输出编码比特流。编码流记录单元103将由编码单元102输出的编码比特流记录到存储介 质(未示出)中。注意，这里所使用的编码标准是H. 264标准等的采用帧间预测方案的编码标准； 因而，以下说明将使用H. 264标准作为例子。尽管后面将提供更详细的说明，但在判断为要 将由编码单元102编码的帧作为基准帧来进行编码的情况下，基准帧设置判断单元104向 编码单元102和基准帧设置信息发送/接收单元105输出基准帧设置信息。这里，“基准 帧”指被设置为使得能够通过禁止跳过该基准帧的参考来进行快速随机存取的图片类型的 帧。在H. 264编码标准中，“基准帧”指IDR图片帧。基准帧设置信息发送/接收单元105向配备有与本实施例的摄像设备100的功 能性相同的功能性的其它摄像设备(外部设备)发送前述基准帧设置信息，并从该其它摄 像设备接收前述基准帧设置信息。更具体地，基准帧设置信息发送/接收单元105作为发 送单元工作，从而将由基准帧设置判断单元104输出的基准帧设置信息发送至其它摄像设 备。基准帧设置信息发送/接收单元105还作为接收单元工作，从而接收由其它的外部摄 像设备发送来的基准帧设置信息、并将该信息输出至基准帧设置判断单元104。注意，摄像单元100配置有拍摄开始/停止按钮(未示出)，并且用户可以通过按 下该摄像开始/停止按钮来指示摄像的开始和停止。此外，假定拍摄开始/停止信息包括 在前述照相机控制信息中。接着，将详细说明照相 机单元101、编码单元102和基准帧设置判断单元104的结构。照相机单元101首先，将参考图2来详细说明照相机单元101的示例结构。图2是示出照相机单元101的示例结构的框图。如图2所示，照相机单元101包括镜头201、摄像单元202、A/D (模拟到数字)转 换器203、照相机信号处理单元204、振动检测器205和照相机控制单元206。如前面所述， 照相机单元101拍摄来自被摄体的光，并输出视频信号和照相机控制信息。接着，将说明由照相机单元101进行的操作。在图2中，镜头201将来自被摄体的光引导至摄像单元202中。镜头201根据由 后面所述的照相机控制单元206输出的控制信号，还进行变焦操作、调焦操作等。摄像单元 202使用CCD、CM0 S等拍摄被摄体，将所获得的被摄体图像转换成电信号，并将该信号输出 至A/D转换器203。A/D转换器203将该模拟信号转换成数字信号。照相机信号处理单元204对由A/D转换器203输出的数字信号进行、校正、白平 衡校正等的处理，并将由此产生的视频信号输出至编码单元102。振动检测器205通过采 用使用陀螺仪传感器等的已知系统来检测摄像设备100中的振动，由此总体检测摄像设备 100的运动模糊以及平摇/俯仰。照相机控制单元206控制整个照相机单元101，并将照相 机控制信息输出至基准帧设置判断单元104。该照相机控制信息包括配置成前述照相机单 元101的模块的控制数据。注意，可以通过照相机信号处理单元204评价特定帧和紧挨该 特定帧之前的帧之间的像素差值，来检测摄像设备100整体的运动模糊以及平摇/俯仰。编码单元102接着，将参考图3来详细说明编码单元102的示例结构。图3是示出编码单元102 的示例结构的框图。如图3所示，编码单元102包括帧重排单元301、减法器302、整数转换单元303、量 化单元304、熵编码单元305、逆量化单元306、逆整数转换单元307和加法器308。编码单 元102还包括第一帧存储器309、第二帧存储器313、帧内预测单元310、第一开关311和第 二开关317。另外，编码单元102还包括解块滤波器312、帧间预测单元314、运动检测单元 315和图片类型控制单元316。编码单元102通过分割所输入的视频信号来创建块，按块为 单位进行编码处理，并将由此产生的编码比特流输出至编码流记录单元103。接着，将说明由编码单元102进行的编码处理。在图3中，帧重排单元301将按显示顺序输入的视频信号重排成编码顺序。减法 器302从输入图像数据中减去预测图像数据，并将由此产生的残余图像数据输出至整数转 换单元303。后面将说明预测图像数据的生成。整数转换单元303对由减法器302输出的残余图像数据进行正交变换，并将由此 产生的转换系数输出至量化单元304。量化单元304使用预设的量化参数对由整数转换单 元303输出的转换系数进行量化。熵编码单元305获取由量化单元304量化后的转换系数， 对该转换系数进行熵编码，并将结果作为编码比特流输出。在生成前述预测图像数据时使用由量化单元304量化后的转换系数。逆量化单元 306对由量化单元304量化后的转换系数进行逆量化。逆整数转换单元307对由逆量化单 元306逆量化后的转换系数进行逆整数转换，并将结果作为解码残余图像数据输出至加法器308。加法器308将由逆整数转换单元307输出的解码残余图像数据和预测图像数据相 力口，并输出由此产生的重构图像数据。将由加法器308输出的重构图像数据记录至第一帧存储器309中。同时，在要对 重构图像数据进行解块滤波处理的情况下，将该重构图像数据经由解块滤波器312记录至 第二帧存储器313中。然而，在不进行解块滤波的情况下，使重构图像数据在不通过解块滤 波器312的情况下记录至第二帧存储器313中。第一开关311作为选择是否对由加法器308输出 的重构图像数据进行解块滤波处 理的选择单元工作。将重构图像数据中的、在随后的预测中有可能被参考的数据在临时时 间段内保存在第一帧存储器309或第二帧存储器313中。帧内预测单元310使用第一帧存储器309中记录的重构图像数据来进行帧内预测 处理，由此生成预测图像数据。同时，帧间预测单元314使用第二帧存储器313中记录的重 构图像数据，以基于由运动检测单元315所估计的运动矢量信息进行帧间预测处理，由此 生成预测图像数据。这里，运动检测单元315估计输入图像数据中的运动矢量，并将所估计 的运动矢量的信息分别输出至熵编码单元305和帧间预测单元314。图片类型控制单元316作为信息获得单元工作，从而在后面将说明的、基准帧设 置判断单元104判断为将编码帧设置为基准帧的情况下，获得基准帧设置信息。然后，根据 帧设置信息中所包括的指令将帧的图片类型设置为IDR图片。然而，在其它情况下，将帧的 图片类型设置为根据编码标准的图片类型(I图片、P图片或B图片)。注意，在已经判断为编码帧是基准帧的情况下，图片类型控制单元316可以向该 帧添加基准帧标志，并将该帧的图片类型设置为根据编码标准的图片类型。此外，在已经判 断为编码帧是基准帧的情况下，可以将该帧的图片类型设置为I图片，并且可以向该帧添 加跳过参考禁止标志。然后，可以设置防止帧间预测单元314跳过该I图片的参考关系。第二开关317是用于选择是使用由帧内预测单元310生成的预测图像数据还是使 用由帧间预测单元314生成的预测图像数据作为预测图像数据的开关。换言之，第二开关 317作为用于选择是使用帧内预测还是使用帧间预测的选择单元工作。图片类型控制单元 316根据所设置的图片类型控制第二开关317，由此选择来自帧内预测单元310的输出或来 自帧间预测单元314的输出。然后，将所选择的预测图像数据输出至减法器302和加法器 308。基准帧设置判断单元104接着，将参考图4来详细说明基准帧设置判断单元104的示例结构。如图4所示， 基准帧设置判断单元104包括场景变化检测单元401、被摄体判断单元402、基准帧设置按 钮403和基准帧信息创建判断单元404。例如，基准帧设置判断单元104根据以下的(1) (7)等的信息，输出禁止跳过帧的运动参考的跳过参考禁止信息(基准帧设置信息)(1)拍摄(记录)的开始和停止；(2)摄像设备自身的运动的开始和停止(运动模糊、平摇、俯仰)；(3)拍摄条件(白平衡、曝光、聚焦和变焦比)的变化；(4)场景变化；(5)被摄体信息的变化；(6)基准帧设置按钮403的按下；以及
(7)基准帧设置信息发送/接收单元105是否接收到基准帧设置信息。场景变化检测单元401通过判断由照相机单元101输出的视频信号中的帧间相关 性来检测场景变化。将检测结果发送至基准帧信息创建判断单元404。例如，基于帧之间的 像素差值来判断帧间相关性。被摄体判断单元402通过图像识别来识别由照相机单元101 输出的视频信号中所包括的被摄体。将该分析结果发送至基准帧信息创建判断单元404。 图像识别使用形状识别等的已知方法来识别被摄体；这里将省略对图像识别的详细说明。 场景变化检测单元401和被摄体判断单元402按至此为 止所述的方式作为图像分析单元工 作。基准帧设置按钮403是用于通过用户按下基准帧设置按钮403以设置后面所述的 基准帧、在该用户偏好的时间设置基准帧的按钮。基准帧信息创建判断单元404判断是否 设置基准帧，并且在已经判断为要设置基准帧的情况下，创建用于将由编码单元102编码 的帧作为基准帧来进行编码的基准帧设置信息。然后，将该基准帧设置信息输出至编码单 元102和基准帧设置信息发送/接收单元105。接着，将参考图5 9B来详细说明基准帧设置判断单元104的操作。图5是示出 各自使用本实施例的摄像设备100的3个用户正在执行组拍摄的状态的图。在图5中，这些用户中的一个用户、或用户A使用第一摄像设备100A拍摄，而用户 B使用第二摄像设备100B拍摄，并且用户C使用第三摄像设备100C拍摄。第一摄像设备 100A、第二摄像设备100B和第三摄像设备100C使用它们各自的基准帧设置信息发送/接 收单元105，例如基于IEEE 802. Ilg标准，各自经由无线通信网络来发送/接收基准帧设置 fn息ο图6A 9B是示出在如图5所示正在执行组拍摄的情况下进行的基准帧设置的 图。首先，将参考图6A和6B来说明在组拍摄期间、根据来自其它摄像设备的拍摄开始和结 束控制信息来设置基准帧的例子。注意，可以基于记录的开始来判断拍摄的开始。在图6A和6B所示的例子中，用户A的第一摄像设备100A在时间tl时开始拍摄 并且在时间t6时停止拍摄。同时，用户B的第二摄像设备100B在时间t2时开始拍摄并且 在时间t4时停止拍摄。最后，用户C的第三摄像设备100C在时间t3时开始拍摄并且在时 间t7时停止拍摄。此外，在时间t5时按下用户A的第一摄像设备100A的基准帧设置按钮 403。首先，将参考图6A来说明用户A的第一摄像设备100A的编码单元102在时间t2 时设置基准帧的示例。当在时间t2时、用户B通过按下拍摄开始/停止按钮开始拍摄时，用户B的第二 摄像设备100B中的基准帧信息创建判断单元404基于按下了拍摄开始/停止按钮，判断为 设置基准帧。然后，向第二摄像设备100B的基准帧设置信息发送/接收单元105输出基准 帧设置信息。然后，基准帧设置信息发送/接收单元105将该基准帧设置信息发送至用户A的 第一摄像设备100A和用户C的第三摄像设备100C。在时间t2时，当前正在拍摄的用户A 的第一摄像设备100A经由其自身的基准帧设置信息发送/接收单元105接收由用户B的 第二摄像设备100B发送来的基准帧设置信息。然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404通过由该基准帧信息创建判断单元404输入接收到的基准帧设置信息，判断为设置基准帧。然后，向第一摄像设备100A的编码单元102输出基准帧设置信息。如此，用户A的第一摄像设备100A 的编码单元102将图片类型设置为IDR图片，由此设置基准帧。同时，当在时间t4时、用户B通过按下拍摄开始/停止按钮停止拍摄时，用户B的 第二摄像设备100B中的基准帧信息创建判断单元404基于按下了拍摄开始/停止按钮，判 断为设置基准帧。然后，向第二摄像设备100B的基准帧设置信息发送/接收单元105输出 基准帧设置信息。然后，基准帧设置信息发送/接收单元105将该基准帧设置信息发送至用户A的 第一摄像设备100A和用户C的第三摄像设备100C。同时，在时间t4时，当前正在拍摄的、 用户A的第一摄像设备100A和用户C的第三摄像设备100C经由它们各自的基准帧设置信 息发送/接收单元105，接收由用户B的第二摄像设备100B发送来的基准帧设置信息。然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404和用户C的第 三摄像设备100C的基准帧信息创建判断单元404通过由这些基准帧信息创建判断单元404 输入接收到的基准帧设置信息，判断为设置基准帧。然后，向各自的编码单元102输出基准 帧设置信息。如此，用户A的第一摄像设备100A的编码单元102和用户C的第三摄像设备 100C的编码单元102将图片类型设置为IDR图片，由此设置基准帧。同样，当在时间t3时、用户C的第三摄像单元100C开始拍摄时，在时间t3时当前 正在拍摄的用户A的第一摄像设备100A以及用户B的第二摄像设备100B中的编码单元102 设置基准帧。另外，当在时间t6时、用户A的第一摄像设备100A停止拍摄时，在时间t6时 当前正在拍摄的用户C的第三摄像设备100C的编码单元102设置基准帧。接着，将参考图6A来说明用户A的第一摄像设备100A的编码单元102和用户C 的第三摄像设备100C的编码单元102在时间t5时设置基准帧的示例。在时间t5时，用户A的第一摄像设备100A的基准帧信息创建单元404基于按下 了基准帧设置按钮403，判断为设置基准帧。然后输出基准帧设置信息。如此，用户A的第 一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。同时，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户 B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t5时，当前正在拍摄的用户C的第三摄像设备100C经由其自身的基准帧设置信息发送 /接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。然后，用户C的第三摄像设备100C的基准帧信息创建判断单元404通过输入接收 到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第三摄像设备 100C的编码单元102。如此，用户C的第三摄像设备100C的编码单元102将图片类型设置 为IDR图片，由此设置基准帧。如至此为止所述的，在其它摄像设备开始拍摄(开始记录)或停止拍摄(停止记 录)时、在按下基准帧设置按钮403时等设置基准帧，这使得可以从该基准帧起快速开始重 放，使用该基准帧作为剪切帧来进行剪切编辑等。接着，将参考图6B来说明剪切编辑。图6B所示的例子示出在通过用户A、B和C 使用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的 剪切帧的编辑之后获得的编码比特流。
图6B所示的编辑后的编码比特流是将图6A所示的由用户A在时间tl t2期间 拍摄到的视频、由用户B在时间t2 t4期间拍摄到的视频、由用户A在时间t4 t5期间 拍摄到的视频和由用户C在时间t5 t7期间拍摄到的视频拼接到一起的流。这类剪切编 辑使得可以创建在例如拍摄开始或停止时切换至其它用户的视频的流。另外，用户通过按 下基准帧设置按钮403，可以创建在他/她偏好的时刻切换至来自其它用户的视频的流。接着，将参考图7A和7B以及图8A和8B来说明在组拍摄期间、根据照相机控制信 息和场景变化来设置基准帧的示例。在图7A和8A所示的例子中，用户A的第一摄像设备 100A在时间tl时开始拍摄并且在时间t9时停止拍摄。同时，用户B的第二摄像设备100B 在时间t2时开始拍摄并且在时间t6时停止拍摄。最后，用户C的第三摄像设备100C在时 间t4时开始拍摄并且在时间tlO时停止拍摄。 此外，在图7A所示的例子中，在用户A的第一摄像设备100A中，在时间t5和t8 时发生场景变化，并且在用户B的第二摄像设备100B中，在时间t3时白平衡设置值变化。 在用户C的第三摄像设备100C中，在时间t7时曝光设置值变化。同时，在图8A所示的例 子中，在用户A的第一摄像设备100A中，在时间t3 t5的时间段期间调节焦点。在用户 C的第三摄像设备100C中，在时间t7 t8期间执行改变第三摄像设备100C的方向、从而 改变摄像构图的平摇操作。注意，焦点调节控制信息、变焦操作控制信息、白平衡设置值和 曝光设置值等的图像处理控制信息、平摇/俯仰操作等的运动信息以及与运动模糊有关的 振动信息等均包括在照相机控制信息中。首先，将参考图7A来说明用户A的第一摄像设备100A的编码单元102和用户B 的第二摄像单元100B的编码单元102在时间t3时设置基准帧的示例。当在用户B的第二摄像设备100B中、在时间t3时白平衡设置值变化时，第二摄像 设备100B的基准帧信息创建判断单元404基于白平衡设置值的变化，判断为设置基准帧。 然后，用户B的第二摄像设备100B的编码单元102将图片类型设置为IDR图片，由此设置 基准帧。此外，用户B的第二摄像设备100B的基准帧设置信息发送/接收单元105向用户 A的第一摄像设备100A和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t3时，当前正在拍摄的用户A的第一摄像设备100A经由其自身的基准帧设置信息发送 /接收单元105，接收由用户B的第二摄像设备100B发送来的基准帧设置信息。然后，用户A的第一摄像设备100A的基准帧信息创建判断单元404通过由该基准 帧信息创建判断单元404输入接收到的基准帧设置信息，判断为设置基准帧。然后，将该 基准帧设置信息输出至第一摄像设备100A的编码单元102。如此，用户A的第一摄像设备 100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。通过相同的过程，用户C的第三摄像设备100C在时间t7时改变曝光设置值，并且 结果，用户C的第三摄像设备100C和在时间t7时当前正在拍摄的用户A的第一摄像设备 100A设置基准帧。接着，将参考图7A来说明用户A的第一摄像设备100A的编码单元102、用户B的 第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102在时间 t5时设置基准帧的示例。首先，用户A的第一摄像设备100A的场景变化检测单元401在时间t5时检测到场景变化。通过该操作，用户A的第一摄像设备IOOA的基准帧信息创建判断单元404基于 检测到场景变化，判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102 将图片类型设置为IDR图片，由此设置基准帧。
此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户 B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t5时当前正在拍摄的用户B的第二摄像设备100B和用户C的第三摄像设备100C经由 它们自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送 来的基准帧设置信息。然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404和用户C的第 三摄像设备100C的基准帧信息创建判断单元404通过输入所接收到的基准帧设置信息，判 断为设置基准帧。然后，将该基准帧设置信息输出至各自的编码单元102。如此，用户B的 第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102将图片 类型设置为IDR图片，由此设置基准帧。注意，通过设置基准帧(IDR图片)，通过跳过基准帧来参考其它图片被禁止，因而 出现编码效率由此下降的情况。由于该原因，设置多个基准帧将有可能导致图像质量下降。 因此，可以禁止在设置基准帧之后的预定时间段内设置基准帧。例如，用户A的第一摄像设备100A的场景变化检测单元401在时间t8时检测到 场景变化。然而，由于自在时间t7时设置前一基准帧起尚未经过预定的时间量，因此用户 A的第一摄像设备100A的基准帧信息创建判断单元404判断为不设置基准帧。因此，用户 A的第一摄像设备100A的编码单元102基于符合编码标准的图片类型来进行编码。此外， 使用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105不发送基准帧设置 fn息ο如至此为止所述的，根据拍摄条件的变化或检测到场景变化来设置基准帧，这使 得可以从该基准帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。接着，将参考图7B来说明剪切编辑。图7B所示的例子示出通过用户A、B和C使 用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪 切帧的编辑之后获得的编码比特流。例如，假定在时间t3之前在用户B的第二摄像设备100B中设置了不适当的白平 衡值，但在时间t3时该白平衡值变为适当的设置值。通过采用在时间t3时设置的基准帧 作为剪切帧，如图7B所示，可以进行仅使用具有适当的白平衡的视频部分的剪切编辑。同样，例如，假定在时间t7之前在用户C的第三摄像设备100C中设置了不适当的 曝光值，但在时间t7时该曝光设置值变为适当的设置值。通过采用在时间t7时设置的基 准帧作为剪切帧，如图7B所示，可以进行仅使用具有适当的曝光的视频部分的剪切编辑。另外，可以采用在时间t5时由用户A的第一摄像设备100A因场景变化而设置的 基准帧作为剪切帧。通过该操作，可以将与由用户A的第一摄像设备100A在图7B中的时 间tl t3期间拍摄到的所拍摄视频场景(1)不同的场景(所拍摄视频场景(2))拼接在 图7B中的时间t5 t7期间。接着，将参考图8A来说明用户A的第一摄像设备100A的编码单元102、用户B的 第二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102在时间t3和t5时设置基准帧的示例。当用户A的第一摄像设备100A在时间t3时开始焦点调节时，第一摄像设备100A 的基准帧信息创建判断单元404基于焦点调节的开始，判断为设置基准帧。然后，用户A的 第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置基准帧。
此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户 B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t3时，当前正在拍摄的用户B的第二摄像设备100B经由其自身的基准帧设置信息发送 /接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404通过输入接收 到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第二摄像设备 100B的编码单元102。如此，用户B的第二摄像设备100B的编码单元102将图片类型设置 为IDR图片，由此设置基准帧。同时，当用户A的第一摄像设备100A在时间t5时完成焦点调节时，用户A的第一 摄像设备100A的基准帧信息创建判断单元404基于焦点调节的完成，判断为设置基准帧。 然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为IDR图片，由此设置 基准帧。此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户 B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t5时当前正在拍摄的用户B的第二摄像设备100B和用户C的第三摄像设备100C经由 它们自身的基准帧设置信息发送/接收单元105，接收由用户A的第一摄像设备100A发送 来的基准帧设置信息。然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404和用户C的第 三摄像设备100C的基准帧信息创建判断单元404通过输入接收到的基准帧设置信息，判断 为设置基准帧。然后，将该基准帧设置信息输出至各自的编码单元102。如此，用户B的第 二摄像设备100B的编码单元102和用户C的第三摄像设备100C的编码单元102将图片类 型设置为IDR图片，由此设置基准帧。通过相同的过程，用户C的第三摄像设备100C在时间t7时开始平摇操作，并且结 果，用户C的第三摄像设备100C和在时间t7时正在拍摄的用户A的第一摄像设备100A设 置基准帧。此外，用户C的第三摄像设备100C在时间t8时完成平摇操作，并且结果，用户C 的第三摄像设备100C和在时间t8时正在拍摄的用户A的第一摄像设备100A设置基准帧。注意，尽管至此为止所述的例子论述焦点调节和平摇操作，但相同的说明不仅对 于焦点调节和平摇操作成立，而且对于变焦操作、由振动检测器205检测到的俯仰操作和 运动模糊等也成立。此外，基准帧信息创建判断单元404还可以仅在平摇和俯仰的速度以 及变焦速度大于特定阈值的情况下才判断为设置基准帧。如至此为止所述的，根据照相机控制信息和场景变化来设置基准帧，这使得可以 从该基准帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。接着，将参考图8B来说明剪切编辑。图8B所示的例子示出通过用户A、B和C使 用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪 切帧的编辑之后获得的编码比特流。
在图8A中的时间t3 t5的时间段中，用户A的第一摄像设备100A正在进行焦 点调节，因而由用户A的第一摄像设备100A在时间t3 t5的时间段期间拍摄到的视频未 聚焦并且模糊。因此，采用针对图8A中的时间t3和t5所设置的基准帧作为剪切帧。如此 使得可以将与由用户A的第一摄像设备100A拍摄到的模糊视频不同的视频(例如，来自用 户B的视频)拼接至图8B所示的时间t3 t5的时间段中。同样，在图8A中的时间t7 t8的时间段中，用户C的第三摄像设备100C正在进 行平摇操作。如果该平摇操作的速度高，则所拍摄视频发生不规则，从而产生观看者难以识 别被摄体的视频。因此，采用针对图8A中的时间t7和t8所设置的基准帧作为剪切帧。如 此使得可以将与由用户C的第三摄像设备100C拍摄到的不规则视频不同的视频(例如，来 自用户A的视频)拼接至图8B所示的时间t7 t8的时间段中。接着，将参考图9A和9B来说明在组拍摄期间、根据被摄体信息来设置基准 帧的示 例。在图9A所示的例子中，用户A的第一摄像设备100A在时间tl时开始拍摄并且在时间 t9时停止拍摄。同时，用户B的第二摄像设备100B在时间t2时开始拍摄并且在时间t6时 停止拍摄。最后，用户C的第三摄像设备100C在时间t4时开始拍摄并且在时间tlO时停 止拍摄。此外，用户A的第一摄像设备100A在时间tl t3的时间段期间拍摄被摄体⑴， 在时间t3 t7的时间段期间拍摄被摄体(2)，并且在时间t7 t9的时间段期间拍摄被 摄体(3)。用户B的第二摄像设备100B在时间t2 t5的时间段期间拍摄被摄体(4)，并 且在时间t5 t6的时间段期间拍摄被摄体⑴。最后，用户C的第三摄像设备100C在时 间t4 t8的时间段期间拍摄被摄体(3)，并且在时间t8 tlO的时间段期间拍摄被摄体 (2)。注意，由各个摄像设备的被摄体判断单元402来执行这些被摄体的判断。首先，将参考图9A来说明用户A的第一摄像设备100A的编码单元102和用户B 的第二摄像设备100B的编码单元102在时间t3时设置基准帧的示例。在时间t3时，当用户A的第一摄像设备100A拍摄的被摄体从被摄体(1)变为被 摄体(2)时，第一摄像设备100A的基准帧信息创建判断单元404基于被摄体信息的变化， 判断为设置基准帧。然后，用户A的第一摄像设备100A的编码单元102将图片类型设置为 IDR图片，由此设置基准帧。此外，用户A的第一摄像设备100A的基准帧设置信息发送/接收单元105向用户 B的第二摄像设备100B和用户C的第三摄像设备100C发送基准帧设置信息。同时，在时 间t3时，当前正在拍摄的用户B的第二摄像设备100B经由其自身的基准帧设置信息发送 /接收单元105，接收由用户A的第一摄像设备100A发送来的基准帧设置信息。然后，用户B的第二摄像设备100B的基准帧信息创建判断单元404通过输入接收 到的基准帧设置信息，判断为设置基准帧。然后，将该基准帧设置信息输出至第二摄像设备 100B的编码单元102。如此，用户B的第二摄像设备100B的编码单元102将图片类型设置 为IDR图片，由此设置基准帧。这同样适用于在时间t5时、用户B的第二摄像设备100B拍摄的被摄体从被摄体 (4)变为被摄体(1)的情况。在这种情况下，用户B的第二摄像设备100B以及在时间t5时 当前正在拍摄的用户A的第一摄像设备100A和用户C的第三摄像设备100C设置基准帧。此外，在时间t7时，当用户A的第一摄像设备100A拍摄的被摄体从被摄体⑵变为被摄体(3)时，用户A的第一摄像设备IOOA和当前正在拍摄的用户C的第三摄像设备100C设置基准帧。在时间t8时，当用户C的第三摄像设备100C拍摄的被摄体从被摄体(3) 变为被摄体(2)时，用户C的第三摄像设备100C和当前正在拍摄的用户A的第一摄像设备 100A设置基准帧。如至此为止所述的，根据被摄体信息的变化来设置基准帧，这使得可以从该基准 帧起快速开始重放，可以使用该基准帧作为剪切帧来进行剪切编辑等。接着，将参考图9B来说明剪切编辑。图9B所示的例子示出通过用户A、B和C使 用他们各自的摄像设备进行组拍摄、并且3个编码比特流中的基准帧被用作为编辑用的剪 切帧的编辑之后获得的编码比特流。图9B所示的编辑后的编码比特流使用根据被摄体信息的变化所设置的基准帧作 为剪切帧。在图9B所示的例子中，将用户A的时间tl t3期间的视频、用户B的时间t5 t6期间的视频、用户C的时间t4 t7期间的视频、用户A的时间t7 t9期间的视频和用 户B的时间t2 t5期间的视频拼接到一起。通过这类剪切编辑，例如，可以创建从不同角 度拍摄到的单个被摄体的视频在时间上连续的编码比特流。接着，将参考图10的流程图来说明组拍摄期间用于设置基准帧的处理。图10是 示出本实施例的摄像设备100设置基准帧的过程的示例的流程图。首先，在步骤S1001中，基准帧设置判断单元104响应于由用户经由操作构件(未 示出)进行的操作，将要参与组拍摄的其它摄像设备登记在拍摄组中，由此形成组。例如， 通过在多个摄像设备之间共享组ID来形成该组。接着，在步骤S1002中，基准帧设置判断单元104响应于由用户经由操作构件(未 示出)进行的操作，针对在步骤S1001中形成的拍摄组确定至少一个基准帧设置条件。这 里，“基准帧设置条件”指基准帧设置判断单元104用来判断是否设置基准帧的条件。例如， 该基准帧设置条件可以是指定响应于其它摄像设备开始或停止拍摄而设置基准帧的条件、 指定响应于按下了基准帧设置按钮403而设置基准帧的条件等。注意，尽管优选所选择的基准帧设置条件在参与拍摄组的多个摄像设备100中相 同，但可以由不同的摄像设备选择不同的基准帧设置条件。此外，基准帧设置条件在参与该 组的多个摄像设备中相同的情况下，可以在单个摄像设备中设置基准帧设置条件，然后将 该基准帧设置条件发送至其它摄像设备。接着，在步骤S1003中，照相机单元101响应于用户按下拍摄开始/停止按钮，开 始拍摄。注意，参与组拍摄的多个摄像设备开始拍摄和停止拍摄的时间可以相同，或者可以 不同。然后，在步骤S1004中，基准帧设置信息发送/接收单元105作为接收单元工作，并 且判断是否从其它摄像设备接收到基准帧设置信息。如果该判断表示接收到基准帧设置信 息(步骤S1004中为“是”)，则处理进入步骤S1005，在步骤S1005中，图片类型控制单元 316作为获得单元工作，并且获得基准帧设置信息。然后，编码单元102设置基准帧。另一方面，如果步骤S1004的判断不表示接收到基准帧设置信息(步骤S1004中 为“否”)，则处理进入步骤S1006。在步骤S1006中，基准帧信息创建判断单元404作为判 断单元工作，并且基于照相机控制信息、视频分析信息等判断是否设置基准帧。如果该判断 得出设置基准帧(步骤S1006中为“是”)，则处理进入步骤S1007，在步骤S1007中，基准帧 信息创建判断单元404作为生成单元工作，并且生成基准帧设置信息。然后，基准帧设置信息发送/接收单元105作为发送单元，并将所生成的基准帧设置信息发送至其它摄像设备。 然后，在步骤S1005中，编码单元102设置基准帧。另一方面，如果步骤S1006的判断得出不设置基准帧(步骤S1006中为“否”)，则 处理进入步骤S1008，在步骤S1008中，编码单元102设置符合编码标准的图片类型。然后， 在步骤S1009中，照相机单元101判断拍摄是否已经结束。如果判断为拍摄尚未结束(步 骤S1009中为“否”)，则处理返回至步骤S1004，并且重复前述的步骤S1004 S1008的处 理。然而，如果在步骤S1009中判断为拍摄已经结束(步骤S1009中为“是”)，则处理结束。此外，尽管该流程图中没有示出，但例如如果选择“拍摄结束”作为基准帧设置条 件、并且在步骤S1009中判断为“是”，则以与步骤S1007相同的方式生成并发送基准帧设置 fn息ο
根据至此为止所述的本实施例，根据拍摄/记录操作、照相机控制和视频分析等 的拍摄状况，来设置位于由该设备自身和其它设备生成的编码比特流内的、用于禁止跳过 帧的参考的基准帧。因此，与传统技术相对比，可以按未使编码效率大幅下降的方式对图像 进行压缩和编码，并且可以获得适合于编辑的编码比特流。第二实施例作为第二实施例，图13是示出应用了实现本发明的运动图像编码设备的摄像设 备的示例功能结构的框图。本实施例的摄像设备可以拍摄图像质量与由其它摄像设备拍摄 到的视频的图像质量相同的视频。摄像设备10配置有照相机单元12、编码单元14、编码比特流记录单元16、显示单 元18、图像质量确定单元20和图像质量信息发送/接收单元22，作为其主要元件。照相机单元12拍摄被摄体并输出视频信号。编码单元14对由照相机单元12输 出的视频信号进行压缩和编码。编码比特流记录单元16将由编码单元14输出的编码比特 流记录到存储介质中。显示单元18显示由照相机单元12输出的视频信号，并且还显示用 于进行图像质量设置等的菜单画面。图像质量确定单元20根据通过菜单画面进行的图像质量设置和来自图像质量信 息发送/接收单元22的图像质量信息，确定由编码单元14输出的编码比特流的图像质量。 图像质量信息发送/接收单元22向配备有相同功能的其它摄像设备发送图像质量信息，并 从其它摄像设备接收图像质量信息。换言之，图像质量信息发送/接收单元22将由图像质 量确定单元20输出的图像质量信息发送至其它摄像设备，并且接收来自其它摄像设备的 图像质量信息，并将该信息供给至图像质量确定单元20。摄像设备10在每次用户按下操作装置24中的拍摄开始/停止按钮时，开始和停 止记录视频。照相机单元12图14是示出照相机单元12的结构的概述的框图。镜头30在摄像单元32上形成 被摄体的光学图像。摄像单元32是将由镜头30形成的光学图像转换成电图像信号的、CCD 或CMOS型的固态图像传感器。A/D转换器34将由摄像单元32输出的模拟图像信号转换 成数字图像信号。照相机信号处理单元36对由A/D转换器34输出的图像数据进行曝光调 整、Y校正、白平衡校正和分辨率转换等的处理，并输出按指定格式的数字视频信号。照相机控制单元38基于表示由图像质量确定单元20输出的图像分辨率的信息(分辨率信息)，控制摄像单元32、A/D转换器34和照相机信号处理单元36。照相机信号处 理单元36基于来自照相机控制单元38的分辨率信息，对视频信号的分辨率进行转换。例 如，如果分辨率信息表示图像处于高清晰度(HD、或分辨率为1920X1080)，则照相机信号 处理单元36输出HD分辨率的视频信号。照相机控制单元38还控制镜头30的变焦，并且基于由照相机信号处理单元36获 得的视频信号来控制镜头30的焦点。编码单元14图15是示出编码单元14的结构的概述的框图。这里，使用MPEG标准、H. 264标准 等作为编码标准。编码单元14能够对例如高清晰度(HD、或分辨率为1920X1080)和标准 清晰度(SD、或分辨率为720X480)的不同分辨率的两类视频信号进行编码。此外，在该单 元配备有针对H. 264编码标准和MPEG编码标准这两者的功能性的情况下，所使用的编码标 准可以根据分辨率而变化，由此例如，使用H. 264编码标准对HD视频进行编码，而使用MPEG 编码标准对SD视频进行编码。接着，将说明图15所示的编码单元14的结构和操作。块分割单元40按帧(画 面)为单位将来自照相机单元12的视频信号分割成预定大小的块，并按块为单位输出图像 数据。减法器42对于将不经过预测编码的块，照原样输出由块分割单元12输出的图像数 据；然而，对于要经过预测编码的块，减法器42从由块分割单元40输出的图像数据中减去 预测值(预测图像数据)，并输出残余数据。后面将说明预测图像数据的生成。 离散余弦变换单元44对由减法器42输出的数据进行离散余弦变换(正交变换)， 并输出转换系数。量化单元46基于量化标度对来自离散余弦变换单元44的转换系数进行 量化。改变量化标度就大大改变了量化后的转换系数值，由此改变由此产生的编码数据量。 换言之，可以通过改变量化标度来控制压缩率。将由量化单元46输出的量化转换系数供给 至可变长度编码单元48和逆量化单元52。在生成预测图像数据时使用由量化单元46输出的量化转换系数。逆量化单元52 对来自量化单元46的量化转换系数进行逆量化，并输出转换系数代表值。逆离散余弦变换 单元54对来自逆量化单元52的转换系数代表值进行逆离散余弦变换。由逆离散余弦变换 单元54输出的数据针对不经过预测编码的块是图像数据，并且针对要经过预测编码的块 是相对于预测图像数据的残余数据。加法器56针对不经过预测编码的块，照原样输出由逆 离散余弦变换单元54所输出的数据。然而，对于要经过预测编码的块，加法器56将由减法 器42减去的同一预测图像数据和由逆离散余弦变换单元54输出的数据相加。由加法器56 输出的数据是已经局部进行了解码的图像数据，并且被称为重构图像数据。帧存储器58能够存储几帧的图像数据，并且暂时存储在后续预测时有可能被参 考的、由加法器56输出的重构图像数据。运动检测单元60将由块分割单元40已经输出的 要进行编码的当前图像数据与帧存储器58中所存储的参考图像数据进行对比，由此估计 当前图像数据中的运动矢量。运动检测单元60将所估计的运动矢量的信息供给至运动补 偿单元62和可变长度编码单元48。运动补偿单元62基于由运动检测单元60所估计的运 动矢量，对帧存储器58中的参考图像数据进行运动补偿，并将由此产生的预测图像数据供 给至减法器42和加法器56。可变长度编码单元48对来自量化单元46的量化转换系数进行可变长度编码，并
23连同来自运动检测单元60的运动矢量信息一起生成编码比特流。为了控制编码数据量，将 该编码比特流暂时保持在输出缓冲器50中，然后将其输出至编码比特流记录单元16。编码 比特流记录单元16将来自输出缓冲器50的编码比特流记录到存储介质中。编码数据量控制单元64基于来自图像质量确定单元20的平均目标编码比特率和 来自输出缓冲器50的编码数据量信息，控制量化单元46的量化标度，以使得编码比特率接 近平均目标编码比特率。在本实施例中，将编码数据量控制方案描述为图像质量波动小的 可变比特率(VBR)方案；然而，编码数据量控制方案不限于此。还可以使用CBR方案或恒定 比特率方案。在下文，将参考图16、图17A 17C、图18A 18C、图19A 19D和图20来说明图
像质量确定单元20的操作。如图16所示，假定用户A已经使用摄像设备IOA在SP模式下记录了场景A，而用 户B已经使用摄像设备IOB在XP模式下记录了场景B。摄像设备IOA和IOB具有与摄像设 备10的结构相同的结构。摄像设备IOA和IOB通过它们各自的图像质量信息发送/接收 单元22，例如基于IEEE 802. Ilg标准，经由无线通信网络来发送和接收图像质量信息。在 本实施例中，尽管图像质量信息包括由照相机单元12输出的视频信号的分辨率、和由编码 单元14的编码数据量控制单元64所使用的平均目标编码比特率，但图像质量信息不限于 这种组合。例如，可以使用通过由照相机信号处理单元36进行的处理所获得的、指定视频 的色调的白平衡信息或指定视频的亮度的曝光调整，或者可选地，图像质量信息可以包括 所有这些项。图17A 17C示出显示单元18中显示的图像质量设置菜单画面的示例。在组拍 摄开始之前，用户A和B首先使用如图17A 17C所示的菜单画面等的菜单画面来设置图 像质量(分辨率和平均目标编码比特率)。在本实施例中，在组拍摄期间，图像质量对于各 摄像设备而言均是相同的，但可以通过选择将特定项设置为相同(均衡)的时间点来选择 两个操作模式其中之一，或者选择预设模式或动态设置模式。在预设模式下，预先强制使属于该组的所有摄像设备的分辨率以及平均目标编码 比特率均为相同的设置。同时，在动态设置模式下，尽管预先强制使属于该组的所有摄像设备的分辨率均 为相同的设置，但可以自由设置平均目标编码比特率。然而，基于属于该组的其它摄像设备 的拍摄开始(记录开始)和拍摄结束(记录结束)，将各摄像设备的平均目标编码比特率在 设定时间段内动态地设置为其它摄像设备的平均目标编码比特率。例如，当特定摄像设备 已经开始拍摄、并且其它摄像设备随后开始拍摄时，将首先开始拍摄的摄像设备的平均目 标编码比特率在设定时间段内设置为其它摄像设备的平均目标编码比特率。此外，当其它 摄像设备停止拍摄时，将仍在拍摄的摄像设备的图像质量在设定时间段内设置为停止拍摄 的摄像设备的图像质量。使用分辨率设置菜单70来设置分辨率。照相机单元12输出按已经设置的分辨率 的视频信号。HD分辨率和SD分辨率是分辨率设置值的例子。在图17A所示的例子中，设置 SD作为分辨率。然而，在图17B和17C所示的例子中，设置HD作为分辨率。使用均衡设置菜单72来设置是否使视频信息与参与组拍摄的其它摄像设备均 衡。在预设模式和动态设置模式之间进行选择。使用记录模式设置菜单74来设置由编码单元14进行的编码处理的压缩率。在本实施例中，可以设置XP模式、SP模式或LP模式， 其中，XP的压缩率最低并且LP的压缩率最高。同时，在已经使用均衡设置菜单72使记录模式均衡的情况下，设置预设模式。例 如，参与组拍摄的摄像设备其中之一用作主设备，之后，其它摄像设备接收该主摄像设备的 图像质量信息，并设置与该图像质量信息相同的图像质量信息。这样，参与组拍摄的所有摄 像设备可以具有预先设置的相同的图像质量条件。对于使图像质量信息均衡的时间，当在 拍摄开始之前要参与组拍摄的所有摄像设备已经聚集到一起时，可以进行均衡，或者如果 可以确保通信路径，则可以在拍摄开始之前针对各摄像设备单独进行均衡。另一方面，在未使用均衡设置菜单72使记录模式均衡的情况下，设置动态设置模 式。换言之，参与组拍摄的多个摄像设备可以使用单独设置的并且通常互不相同的图像质 量信息(在本实施例中，平均目标编码比特率不同)来拍摄。然而，如上所述，响应于该组 内的任意摄像设备开始或停止拍摄，在设定时间段内调整正在拍摄的其它摄像设备的平均 目标编码比特率，从而与开始或停止拍摄的摄像设备的平均目标编码比特率动态一致。在图17A所示的例子中，使记录模式在拍摄组中均衡，并将该记录模式设置为XP 模式。然而，在图17B所示的例子中，不使记录模式均衡，并将该记录模式设置为SP模式。 最后，在图17C所示的例子中，不使记录模式均衡，并将该记录模式设置为XP模式。在本实 施例所述的例子中，假定当记录模式为XP模式时的平均目标编码比特率为15Mbps。假定当 记录模式为SP模式时的平均目标编码比特率为9Mbps。最后，假定当记录模式为LP模式时 的平均目标编码比特率为3Mbps。在使记录模式均衡的预设模式中，图像质量确定单元20基于均衡的记录模式来 确定平均目标编码比特率。编码单元14基于该平均目标编码比特率来控制编码比特率。然 而，在不使记录模式均衡的动态设置模式中，图像质量确定单元20基于按摄像设备为单位 所设置的记录模式来确定平均目标编码比特率，并且编码单元14基于该平均目标编码比 特率来控制编码比特率。现在将详细说明在已经选择预设模式的情况下、为了使图像质量在摄像设备之间 相同所进行的操作。这指图17A所示的例子中设置了预设模式。属于同一拍摄组的摄像设备的图像质量确定单元20在拍摄开始之前，各自判断 对于该拍摄组中的其它摄像设备、是否设置了与针对它们自身的摄像设备的图像质量所设 置的值相同的值。更具体地，判断预先通过设置画面进行的与分辨率和记录模式有关的设 置和由图像质量信息发送/接收单元22接收到的其它摄像设备的图像质量信息(分辨率 和记录模式)的设置是否相同。如果在参与组拍摄的摄像设备之间分辨率设置或记录模式设置不同，则在显示单 元18中显示警告图像质量设置不同的警告消息，从而提示用户改变图像质量设置。此时， 优选在显示单元18中同时显示拍摄组的图像质量设置。例如，在参与组拍摄的多个摄像设 备其中之一被设置为SD分辨率、并且其它摄像设备被设置为HD分辨率的情况下，在分辨率 被设置为SD分辨率的摄像设备的显示单元18中显示所述的警告消息和用于将分辨率设置 为HD分辨率的提示。图18A 18C是示出由处于预设模式的摄像设备IOA和IOB拍摄到的场景以及已 被拼接到一起的场景中的平均目标编码比特率的变化的示例的示意图。图18A示出摄像设备IOA的拍摄状态。同时，图18B示出摄像设备IOB的拍摄状态。最后，图18C示出将由摄 像设备IOB拍摄到的时间t2 t3期间的场景插入由摄像设备IOA拍摄到的时间tl t2 期间和时间t3 t4期间的场景之间的结果。水平轴表示时间，而垂直轴表示平均目标编 码比特率。例如，这里假定摄像设备IOA和IOB从不同的方向或按不同的变焦比拍摄同一 被摄体，然后在相同的时间轴上将这些所拍摄场景拼接到一起。由于通过预设模式使图像质量信息均衡，因此预先对摄像设备IOA和IOB这两者 进行设置以在XP模式下按SD分辨率进行记录。如图18A所示，摄像设备IOA在时间tl t4期间按SD分辨率并且在XP模式下拍摄。同时，如图18B所示，摄像设备IOB在时间t2 t3期间按SD分辨率并且在XP模式下拍摄。由于摄像设备IOA和IOB的分辨率和记录模式(平均目标编码比特率)具有相同 的设置，因此由摄像设备IOA和IOB拍摄到的视频的图像质量大致相同。因此，如图18C所 示，即使在发生拼接之后，平均目标编码比特率也是平坦的，因而在重放期间，在(紧挨时 间t2和时间t4之后的)转变时图像质量无明显变化。接着，将说明当设置动态设置模式从而实现图17B和17C所示的设置时、为了使摄 像设备中的图像质量均衡所进行的操作。在该动态设置模式下，属于拍摄组的各摄像设备的用户可以在摄像设备中设置他 /她偏好的记录模式。然而，属于拍摄组的摄像设备需要位于彼此的通信范围内，因而以下 操作示例假定图16所示的摄像设备IOA和IOB位于彼此的通信范围内。图19A 19D是示出由处于动态设置模式的摄像设备IOA和IOB拍摄到的场景以 及已被拼接到一起的场景中的平均目标编码比特率的变化的示例的示意图。图19A表示摄 像设备IOA的拍摄状态。同时，图19B表示摄像设备IOB的拍摄状态。图19C示出对由摄 像设备IOA和IOB拍摄到的场景进行的剪切编辑的第一示例，而图19D示出对由摄像设备 IOA和IOB拍摄到的场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均 目标编码比特率。如图17B所示，摄像设备IOA的分辨率被设置为HD分辨率，并且记录模式被设置 为SP模式。同时，如图17C所示，摄像设备IOB的分辨率被设置为HD分辨率，并且记录模 式被设置为XP模式。如图19A所示，摄像设备IOA在时间tl时开始拍摄并且在时间t6时 停止拍摄。同时，如图19B所示，摄像设备IOB在时间t2时开始拍摄并且在时间tlO时停 止拍摄。在图19A中，假定在时间tl时用户A按下摄像设备IOA的拍摄开始/停止按钮。 摄像设备IOA的图像质量确定单元20对照相机单元12指定HD分辨率，并且对编码单元14 指定9Mbps的平均目标编码比特率(即，SP模式)，之后拍摄开始。在图19B中，假定在时间t2时用户B按下摄像设备IOB的拍摄开始/停止按钮。 摄像设备IOB的图像质量确定单元20对照相机单元12指定HD分辨率，并且对编码单元14 指定15Mbps的平均目标编码比特率，之后拍摄开始。此外，摄像设备IOB的图像质量信息 发送/接收单元22将表示平均目标编码比特率为15Mbps的图像质量信息发送至在这种情 况下包括摄像设备IOA的同一拍摄组的摄像设备。摄像设备IOA的图像质量信息发送/接收单元22接收由摄像设备IOB发送来的 图像质量信息，并将该信息供给至图像质量确定单元20(图19A中的时间t2)。然后，图像
26质量确定单元20使平均目标编码比特率从9Mbps逐渐增大至15Mbps，从而与摄像设备IOB 的平均目标编码比特率一致。假定在图19A中的时间t3时，摄像设备IOA中的平均目标编 码比特率已经达到15Mbps。然后，摄像设备IOA在预定时间段内，或者换言之、在图19A中 的时间t3 t4期间，维持15Mbps的平均目标编码比特率。在时间t3 t4的时间段期间， 摄像设备IOA以15Mbps的平均目标编码比特率(在XP模式下)正在拍摄，因而由摄像设 备IOA和IOB拍摄到的视频的图像质量相同。在维持平均目标编码比特率的时间段(图19A中的时间t3 t4的时间段)结束 之后，摄像设备IOA的图像质量确定单元20使平均目标编码比特率逐渐返回至原始的平均 目标编码比特率。在图19A所示的例子中，在时间t5时，平均目标编码比特率返回至原始 的9Mbps的平均目标编码比特率。时间t2 t3和t4 t5的时间段是用于减轻由于平均 目标编码比特率的变化所引起的图像质量的变化的明显性的缓和时间段。在图19A中，假定在时间t6时用户A按下摄像设备IOA的拍摄开始/停止按钮， 由此停止拍摄。响应于此，摄像设备IOA的图像质量信息发送/接收单元22将表示所设置 的平均目标编码比特率(SP模式)的图像质量信息发送至在这种情况下包括摄像设备IOB 的同一拍摄组的摄像设备。在图19B中的时间t6时，摄像设备IOB的图像质量信息发送/ 接收单元22接收来自摄像设备IOA的图像质量信息，并将该信息供给至图像质量确定单 元20。然后，摄像设备IOB的图像质量确定单元20使平均目标编码比特率从15Mbps逐渐 减小至9Mbps，从而与摄像设备IOA的图像质量一致。假定在图19B中的时间t7时，摄像 设备IOB中的平均目标编码比特率已经达到9Mbps。然后，摄像设备IOB在预定时间段内， 或者换言之、在图19B中的时间t7 t8期间，维持9Mbps的平均目标编码比特率。在时间 t7 t8的时间段期间，摄像设备IOB以9Mbps的平均目标编码比特率(在SP模式下)正 在拍摄，因而由摄像设备IOA和IOB拍摄到的视频的图像质量相同。在维持平均目标编码比特率的时间段(图19B中的时间t7 t8的时间段)结束 之后，摄像设备IOB的图像质量确定单元20使平均目标编码比特率逐渐返回至原始的平均 目标编码比特率。在图19B所示的例子中，在时间t9时，平均目标编码比特率返回至原始 的15Mbps的平均目标编码比特率。按与时间t2 t3以及t4 t5的时间段相同的方式， 时间t6 t7以及t8 t9的时间段可以被称为用于减轻由于平均目标编码比特率的变化 所引起的图像质量的变化的明显性的缓和时间段。如至此为止所述的，在本实施例中，当拍摄组内的其它摄像设备开始/停止拍摄 (或者开始/停止记录)时，设置使平均目标编码比特率维持为与其它摄像设备的平均目标 编码比特率相同的平均目标编码比特率的时间段、以及该时间段前后的缓和时间段。图19C示出对图19A和19B所示的所拍摄场景进行的剪切编辑的第一示例。水 平轴表示时间，而垂直轴表示平均目标编码比特率。在图19C所示的例子中，将由摄像设 备IOA在图19A中的时间tl t3期间拍摄到的场景和由摄像设备IOB在图19B中的时间 t3 tlO期间拍摄到的场景拼接到一起。在时间t3时出现的、由摄像设备IOA拍摄到的场 景和由摄像设备IOB拍摄到的场景之间的转变处，摄像设备IOA和IOB中的图像质量相同。 因此，在时间t3附近，图像质量的差异小。图19D示出对图19A和19B所示的所拍摄场景进行的剪切编辑的第二示例。水平 轴表示时间，而垂直轴表示平均目标编码比特率。在图19D所示的编辑例子中，将由摄像设备IOA在图19A中的时间tl t6期间拍摄到的场景和由摄像设备IOB在图19B中的时间 t7 tlO期间拍摄到的场景拼接到一起。在由摄像设备IOA拍摄到的场景的末尾(时间 t6)和由摄像设备IOB拍摄到的场景的开头(时间t7)之间的转变、或时间t6和t7处，作 为前面所述的图像质量均衡操作的结果，图像质量相同。因此，在转变处，图像质量差异小。这样，将两个编码比特流的图像质量相同的时间t3 t4的时间段或时间t7 t8 的时间段作为剪切编辑用的转变，这使编辑后的编码比特流中的转变处的图像质量的差异 减小。这使得可以减轻重放期间观看者方的不自然感。图20是示出根据本实施例的图像质量均衡操作的流程图。在步骤Sl中，拍摄组由 要进行组拍摄的多个摄像设备、或者摄像设备IOA和IOB形成。例如，通过在摄像设备IOA 和IOB之间共享组ID来形成组。然后，在步骤S2中，在各个摄像设备中设置图像质量。接 着，在步骤S3中，摄像设备的图像质量确定单元20判断在步骤Sl中形成的拍摄组中图像 质量设置是否表示相同的值。然而，注意步骤S3判断图像质量设置中要均衡的设置信息是 否具有相同的设置值。如果判断为图像质量设置不同(步骤S3中为“否”)，则在步骤S4中 进行表示该不同的警告，之后处理返回至步骤S2，在步骤S2中，再次提示用户进行设置。然而，在判断为对于所有的摄像设备的图像质量设置均为相同值的情况下(步骤 S3中为“是”)，在步骤S5中，摄像设备处于可以开始拍摄和记录的状态。在拍摄已经开始 之后，在步骤S6中，图像质量确定单元20判断图像质量设置中的记录模式是否已经被设置 为均衡。模式已经被设置为均衡的情况(步骤S6中为“是”)等同于预设模式，因而属于拍 摄组的摄像设备中的图像质量设置相同。在该情况下，处理移动至步骤S9，在步骤S9中，如 前面所述，摄像设备10中的各单元按根据设定的记录模式所设置的平均目标编码比特率， 开始记录视频。然而，图像质量设置中的记录模式未被设置为均衡的情况(步骤S6中为“否”)表 示已经选择动态设置模式。在这种情况下，在步骤S7中，图像质量确定单元20判断属于拍 摄组的其它摄像设备是否开始拍摄或停止拍摄。在判断为属于拍摄组的其它摄像设备开始 拍摄或停止拍摄的情况下(步骤S7中为“是”)，在步骤S8中，如前面所述，图像质量确定单 元20使编码单元14的平均目标编码比特率与其它摄像设备的平均目标编码比特率一致。 当然，在维持平均目标编码比特率的时间段前后设置缓和时间段。然后，在步骤S9中，摄像 设备10的各单元按在步骤S8中设置的平均目标编码比特率开始记录视频。注意，如果属 于拍摄组的其它摄像设备既未开始拍摄也未停止拍摄(步骤S7中为“否”)，则消除缓和时 间段，并且摄像设备10的各单元按在步骤S2中设置的平均目标编码比特率开始记录视频 (步骤S9)。然后，在步骤SlO中，图像质量确定单元20判断拍摄是否已经结束。如果判断为 拍摄尚未结束(步骤Sio中为“否”)，则处理返回至步骤S6，并且重复前述的步骤S6 S9 的处理。然而，如果在步骤SlO中判断为拍摄已经结束(步骤SlO中为“是”)，则处理结束。根据本实施例，可以在无需用户分别进行手动设置的情况下，使编码比特流的图 像质量与其它运动图像编码设备的图像质量均衡。这具有在对编码比特流进行剪切编辑的 情况下、减少视频中转变前后的时间段中的图像质量的差异的效果。尽管以上说明论述了预先将分辨率设置为共用值、并且预先或动态地设置记录模 式，但作为代替，可以预先将记录模式设置为相同的模式，并且可以预先或动态地设置分辨率。换言之，可以在拍摄之前将包括多个要素的图像质量信息的一个或多个要素设置为共 用设置值，并且可以预先或动态地设置其余的要素。最终，尽管这些说明论述了采用VBR方案的运动图像编码设备，但在本实施例中 可以应用使用恒定比特率方案的图像编码标准。在这种情况下，可以利用“编码比特率”来 替换以上说明中出现的术语“平均目标编码比特率”。第三实施例作为第三实施例，图22是示出应用了实现本发明的运动图像编码设备的摄像设 备的示例功能结构的框图。本实施例的摄像设备可以拍摄图像质量与由其它摄像设备拍摄 到的视频的图像质量相同的视频。在图22中，与图13(第二实施例)中的构成元件相同的 构成元件的附图标记相同，并且将省略对这些构成元件的说明。图22和图13的不同之处 在于，照相机单元12和图像质量确定单元20没有相连接，并且利用编码单元26替换了编 码单元14。编码单元26图23是示出编码单元26的结构的概述的框图。这里，使用MPEG标准、H. 264标 准等作为编码标准。接着，将说明图23所示的编码单元26的结构和操作。然而，注意，在图23中，与 图15(第二实施例中的编码单元14)中的构成元件相同的构成元件的附图标记相同，并且 将省略对这些构成元件的说明。在第三实施例中，编码单元26改变量化单元45的量化标度，由此改变由量化误差 所引起的图像劣化程度。由于该原因，后面所述的编码PSNR的值变化。将由量化单元46 输出的量化转换系数供给至可变长度编码单元46和逆量化单元52。编码PSNR计算单元68在由加法器56输出的重构图像数据和由块分割单元40输 出的视频信号中计算编码PSNR(peak signal-to-noise ratio,峰值信噪比)，并将计算出 的PSNR输出至编码数据量控制单元64。PSNR表示图像信号和噪声之间的比(S/N比)。编 码PSNR表示S/N比的编码设置信息(参数)，并且值越高表示图像质量越好。将参考等式1来说明用于计算8比特视频信号的PSNR的方法。在等式1中，Ci表 示视频信号中的各像素值，并且Di表示重构图像中的各像素值。N是计算了 PSNR的像素值 的数量。在本实施例中，计算编码前的视频信号和局部进行了解码的重构图像数据之间的 比，因而编码PSNR的值表示由编码所引起的劣化程度。 PSNR^lOlog
2551
Yj(Ci-Di)2ZN
等式(1)
V /=0注意，假定计算PSNR时使用的视频信号的像素值和重构图像的像素值为亮度信 号、色差信号或者这两者。编码数据量控制单元64控制量化单元46的量化标度，以使得由编码PSNR计算单 元68输出的编码PSNR的值接近来自图像质量确定单元20的平均目标PSNR。据此，由编码 所引起的劣化程度变化，因而编码PSNR变化。在下文，将参考图16、图24A 24C、图25A 25C、图26A 26D和图27来详细说明图像质量确定单元20的操作。如图16所示，假定用户A已经使用摄像设备IOA记录了场景A，而用户B已经使用 摄像设备IOB记录了场景B。摄像设备IOA和IOB具有与本实施例的摄像设备10的结构相 同的结构。摄像设备IOA和IOB通过它们各自的图像质量信息发送/接收单元22，例如基 于IEEE 802. Ilg标准，经由无线通信网络来发送和接收图像质量信息。在本实施例中，图 像质量信息是平均目标PSNR，但图像质量信息不限于此。例如，作为代替，可以使用视频信 号和重构图像之间的高频区域成分的差异。图24A 24C示出显示单元18中显示的图像质量设置菜单画面的示例。在组拍 摄开始之前，用户A和B首先使用图24A 24C所示的菜单画面等的菜单画面来设置图像 质量(平均目标PSNR)。在本实施例中，在组拍摄期间，图像质量对于各摄像设备均是相同 的，但可以通过选择要将特定项设置为相同的时间点来选择两个操作模式其中之一，或者 选择预设模式或动态设置模式。在预设模式中，对于属于该组的所有的摄像设备，预先将平均目标PSNR设置为相 同的值。然而，在动态设置模式下，可以对于属于该组的各摄像设备自由设置平均目标 PSNR。然而，基于属于该组的其它摄像设备的拍摄开始(记录开始)和拍摄结束(记录结 束)，将各摄像设备的平均目标PSNR在设定时间段内动态地设置为其它摄像设备的平均目 标PSNR。例如，当特定摄像设备开始拍摄、其它摄像设备随后开始拍摄时，将首先开始拍摄 的摄像设备的平均目标PSNR在设定时间段内设置为其它摄像设备的平均目标PSNR。此外， 当其它摄像设备停止拍摄时，将仍在拍摄的摄像设备的图像质量在设定时间段内设置为停 止拍摄的摄像设备的图像质量。使用均衡设置菜单72来设置是否使视频信息与属于该组的其它摄像设备均衡。 在预设模式和动态设置模式之间进行选择。平均目标PSNR设置菜单78设置编码单元26 中的编码PSNR的目标值。同时，在使用均衡设置菜单72使平均目标PSNR均衡的情况下，设置预设模式。例 如，参与组拍摄的摄像设备其中之一用作主设备，之后其它摄像设备接收该主摄像设备的 图像质量信息，并设置与该图像质量信息相同的图像质量信息。这样，参与组拍摄的所有摄 像设备均可以具有预先设置的相同的图像质量条件。对于使图像质量信息均衡的时间，当 在拍摄开始之前要参与组拍摄的所有摄像设备已经聚集到一起时，可以进行均衡，或者如 果可以确保通信路径，则可以在拍摄开始之前针对各摄像设备单独进行均衡。然而，在未使用均衡设置菜单72使平均目标PSNR均衡的情况下，设置动态设置模 式。换言之，参与组拍摄的多个摄像设备可以使用单独设置的并且通常互不相同的图像质 量信息(在本实施例中，平均目标PSNR不同)来拍摄。然而，如上所述，响应于该组内的 任意摄像设备开始或停止拍摄，在设定时间段内调整正在拍摄的其它摄像设备的平均目标 PSNR,从而与开始或停止拍摄的摄像设备的平均目标PSNR动态一致。在图24A所示的例子中，使平均目标PSNR在整个拍摄组中均衡，并将平均目标 PSNR设置为50dB。然而，在图24B所示的例子中，不使平均目标PSNR均衡，并将平均目标 PSNR设置为30dB。最终，在图24C所示的例子中，不使平均目标PSNR均衡，并将平均目标 PSNR设置为50dB。
30
在使平均目标PSNR均衡的预设模式中，图像质量确定单元20基于均衡的平均目 标PSNR来确定平均目标PSNR。编码单元26控制量化标度，以使得编码PSNR接近该平均目 标PSNR。然而，在未使平均目标PSNR均衡的动态设置模式下，图像质量确定单元20基于针 对各摄像设备所设置的平均目标PSNR来确定平均目标PSNR，并且编码单元26控制量化标 度，以使得编码PSNR接近该平均目标PSNR。现在将详细说明在已经选择预设模式的情况下、为了使图像质量在摄像设备之间 相同所进行的操作。这指在图24A所示的例子中设置了预设模式。属于同一拍摄组的摄像设备的图像质量确定单元20在拍摄开始之前，各自判断 对于拍摄组中的其它摄像设备、是否设置了与针对它们自身的摄像设备的图像质量所设置 的值相同的值。更具体地，判断预先通过设置画面进行的与平均目标PSNR有关的设置和由 图像质量信息发送/接收单元22接收到的其它摄像设备的图像质量信息(平均目标PSNR) 的设置是否相同。如果在参与组拍摄的摄像设备之间平均目标PSNR设置不同，则在显示单元18中 显示警告图像质量设置不同的警告消息，从而提示用户改变图像质量设置。此时，优选在显 示单元18中同时显示拍摄组的图像质量设置。例如，在参与组拍摄的多个摄像设备其中之 一的平均目标PSNR被设置为30dB、并且其它摄像设备的平均目标PSNR被设置为50dB的情 况下，在平均目标PSNR被设置为30dB的摄像设备的显示单元18中显示所述的警告消息和 用于将平均目标PSNR设置为50dB的提示。图25A 25C是示出由处于预设模式的摄像设备IOA和IOB拍摄到的场景以及已 被拼接到一起的场景中的平均目标PSNR的变化的示例的示意图。图25A表示摄像设备IOA 的拍摄状态。同时，图25B表示摄像设备IOB的拍摄状态。最后，图25C表示将由摄像设备 IOB拍摄到的时间t2 t3期间的场景插入由摄像设备IOA拍摄到的时间tl t2期间和 时间t3 t4期间的场景之间的结果。水平轴表示时间，而垂直轴表示平均目标PSNR。例 如，这里假定摄像设备IOA和IOB从不同的方向或按不同的变焦比拍摄同一被摄体，然后在 同一时间轴上将这些所拍摄场景拼接到一起。由于通过预设模式使图像质量信息均衡，预先对摄像设备IOA和IOB这两者进行 设置，以按50dB的平均目标PSNR进行记录。如图25A所示，摄像设备IOA在时间tl t4 期间按50dB的平均目标PSNR拍摄。同时，如图25B所示，摄像设备IOB在时间t2 t3期 间按50dB的平均目标PSNR拍摄。由于摄像设备IOA和IOB的平均目标PSNR具有相同的设置，因此由摄像设备IOA 和IOB拍摄到的视频的图像质量大致相同。因此，如图25C所示，即使在发生拼接之后，平 均目标PSNR也是平坦的，因而在重放期间，在(紧挨时间t2和t4之后的)转变时图像质
量无明显变化。接着，将说明当设置动态设置模式从而实现图24B或24C所示的设置时、为了使摄 像设备中的图像质量均衡所进行的操作。在动态设置模式下，属于拍摄组的各摄像设备的用户可以在摄像设备中设置他/ 她偏好的平均目标PSNR。然而，属于拍摄组的摄像设备需要位于彼此的通信范围内，因而以 下操作示例假定图16所示的摄像设备IOA和IOB位于彼此的通信范围内。图26A 26D是示出由处于动态设置模式的摄像设备IOA和IOB拍摄到的场景以及已被拼接到一起的场景中的平均目标PSNR的变化的示例的示意图。图26A示出摄像设 备IOA的拍摄状态。同时，图26B示出摄像设备IOB的拍摄状态。图26C示出对由摄像设 备IOA和IOB拍摄到的场景进行的剪切编辑的第一示例，而图26D示出对由摄像设备IOA 和IOB拍摄到的场景进行的剪切编辑的第二示例。水平轴表示时间，而垂直轴表示平均目 标编码比特率。如图24B所示，摄像设备IOA的平均目标PSNR被设置为30dB。同时，如图24C所 示，摄像设备IOB的平均目标PSNR被设置为50dB。如图26A所示，摄像设备IOA在时间tl 时开始拍摄，并且在时间t6时停止拍摄。同时，如图26B所示，摄像设备IOB在时间t2时 开始拍摄，并且在时间tlO时停止拍摄。在图26A中，假定在时间tl时用户A按下摄像设备IOA的拍摄开始/停止按钮。 摄像设备IOA的图像质量确定单元20对编码单元26指定30dB的平均目标PSNR，之后拍摄 开始。同时，在图26B中，假定在时间t2时用户B按下摄像设备IOB的拍摄开始/停止 按钮。摄像设备IOB的图像质量确定单元20对编码单元26指定50dB的平均目标PSNR，之 后拍摄开始。此外，摄像设备IOB的图像质量信息发送/接收单元22将表示平均目标PSNR 为50dB的图像质量信息发送至在这种情况下包括摄像设备IOA的同一拍摄组的摄像设备。摄像设备IOA的图像质量信息发送/接收单元22接收由摄像设备IOB发送来的 图像质量信息，并将该信息供给至图像质量确定单元20(图26A中的时间t2)。然后，图像 质量确定单元20使平均目标PSNR从30dB逐渐增大至50dB，从而与摄像设备IOB的平均目 标PSNR —致。假定在图26A的时间t3时，摄像设备IOA的平均目标PSNR已经达到50dB。 然后，摄像设备IOA在预定时间段内，或者换言之、在图26A的时间t3 t4期间，维持50dB 的平均目标PSNR。在时间t3 t4的时间段期间，摄像设备IOA按50dB的平均目标PSNR 正在拍摄，因而由摄像设备IOA和IOB拍摄到的视频的图像质量相同。在维持平均目标PSNR的时间段(图26A中的时间t3 t4的时间段)结束之后， 摄像设备IOA的图像质量确定单元20使平均目标PSNR逐渐返回至原始的平均目标PSNR。 在图26A所示的例子中，在时间t5时，平均目标PSNR返回至原始的30dB的平均目标PSNR。 时间t2 t3以及t4 t5的时间段是用于减轻由于平均目标PSNR的变化所引起的图像 质量的变化的明显性的缓和时间段。在图26A中，假定在时间t6时用户按下摄像设备IOA的拍摄开始/停止按钮，由 此停止拍摄。响应于此，摄像设备IOA的图像质量信息发送/接收单元22将表示所设置的 平均目标PSNR(30dB)的图像质量信息发送至在这种情况下包括摄像设备IOB的同一拍摄 组的摄像设备。在图26B中的时间t6时，摄像设备IOB的图像质量信息发送/接收单元22 接收来自摄像设备IOA的图像质量信息，并将该信息供给至图像质量确定单元20。然后，摄 像设备IOB的图像质量确定单元20使平均目标PSNR从50dB逐渐减小至30dB，从而与摄像 设备IOA的图像质量一致。假定在图26B中的时间t7时，摄像设备IOB中的平均目标PSNR 已经达到30dB。之后，摄像设备IOB在预定时间段内，或者换言之、在图26B的时间t7 t8期间，维持30dB的平均目标PSNR。在时间t7 t8的时间段期间，摄像设备IOB按30dB 的平均目标PSNR正在拍摄，因而由摄像设备IOA和IOB拍摄到的视频的图像质量相同。在维持平均目标PSNR的时间段(图26B中的时间t7 t8的时间段)结束之后，摄像设备IOB的图像质量确定单元20使平均目标PSNR逐渐返回至原始的平均目标PSNR。 在图26B所示的例子中，在时间t9时平均目标PSNR返回至原始的50dB的平均目标PSNR。 按与时间t2 t3以及t4 t5的时间段相同的方式，时间t6 t7以及t8 t9的时间 段可以被称为用于减轻由于平均目标PSNR的变化所引起的图像质量的变化的明显性的缓 和时间段。如至此为止所述的，在本实施例中，当拍摄组内的其它摄像设备开始/停止拍摄 (或者开始/停止记录)时，设置使平均目标PSNR维持为与其它摄像设备的平均目标PSNR 相同的平均目标PSNR的时间段、以及该时间段前后的缓和时间段。图26C示出对图26A和26B所示的所拍摄场景进行的剪切编辑的第一示例。水平 轴表示时间，而垂直轴表示平均目标PSNR。在图26C所示的例子中，已经将由摄像设备IOA 在图26A中的时间tl t3期间拍摄到的场景和由摄像设备IOB在图26B中的时间t3 tlO期间拍摄到的场景拼接到一起。在时间t3时出现的、由摄像设备IOA拍摄到的场景和 由摄像设备IOB拍摄到的场景之间的转变处，摄像设备IOA和IOB中的图像质量相同。因 此，在时间t3附近，图像质量的差异小。图26D示出对图26A和26B所示的所拍摄场景进行的剪切编辑的第二示例。水平 轴表示时间，而垂直轴表示平均目标PSNR。在图26D所示的例子中，已经将由摄像设备IOA 在图26A中的时间tl t6期间拍摄到的场景和由摄像设备IOB在图26B中的时间t7 tlO期间拍摄到的场景拼接到一起。在位于由摄像设备IOA拍摄到的场景的末尾(时间t6) 和由摄像设备IOB拍摄到的场景的开头(时间t7)之间的转变、或时间t6和t7处，作为前 面所述的图像质量均衡操作的结果，图像质量相同。因此，在转变处，图像质量的差异小。这样，采用两个编码比特流的图像质量相同的时间t3 t4的时间段或时间t7 t8的时间段作为剪切编辑用的转变，这使编辑后的编码比特流中该转变处的图像质量的差 异减小。这使得可以减轻重放期间观看者方的不自然感。图27是示出根据本实施例的图像质量均衡操作的流程图。在图27中，与图20 (第 二实施例)中的步骤相同的步骤的附图标记相同，并且将省略对这些步骤的说明。然而，注 意，在步骤S2中设置的图像质量设置包括平均目标PSNR。在步骤S5中开始拍摄之后，在步骤S16中，图像质量确定单元20判断图像质量设 置中的平均目标PSNR是否已被设置为均衡。模式已被设置为均衡的情况(步骤S16中为 “是”)等同于预设模式，因而属于拍摄组的摄像设备中的图像质量设置相同。因此，在这种 情况下，处理进入步骤S19，在步骤S19中，如前面所述，摄像设备10中的各单元按根据设定 的平均目标PSNR所设置的平均目标PSNR开始记录视频。另一方面，图像质量设置中的平均目标PSNR未被设置为均衡的情况(步骤S16中 为“否”)表示已经选择动态设置模式。在这种情况下，在步骤S17中，图像质量确定单元20 判断属于拍摄组的其它摄像设备是否开始或停止拍摄。在判断为属于拍摄组的其它摄像设 备开始或停止拍摄的情况下(步骤S17中为“是”)，在步骤S18中，如前面所述，图像质量确 定单元20使编码单元26的平均目标PSNR与其它摄像设备的平均目标PSNR —致。当然， 在维持平均目标PSNR的时间段前后设置缓和时间段。然后，在步骤S19中，摄像设备10的 各单元按在步骤S18中设置的平均目标PSNR开始记录视频。注意，如果属于拍摄组的其它 摄像设备既未开始拍摄也未停止拍摄(步骤S17中为“否”)，则消除缓和时间段，并且摄像
33设备10的各单元按在步骤S2中设置的平均目标PSNR开始记录视频(步骤S19)。然后，在步骤S20中，图像质量确定单元20判断拍摄是否已经结束。如果判断为 拍摄尚未结束(步骤S20中为“否”)，则处理返回至步骤S16，并且重复前述的步骤S16 S19的处理。然而，如果在步骤S20中判断为拍摄已经结束(步骤S20中为“是”)，则处理结束。根据本实施例，可以在无需用户分别进行手动设置的情况下，使编码比特流的图 像质量与其它运动图像编码设备的图像质量均衡。这具有在对编码比特流进行剪切编辑的 情况下、减少视频中转变前后的时间段中的图像质量的差异的效果。尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改以及等同结构 和功能。本申请要求2008年2月26日提交的日本专利申请2008-044921、以及2008年6 月30日提交的日本专利申请2008-169788的优先权，在此通过引用包含它们的全部内容。
3权利要求
一种运动图像编码设备，包括编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。
2.根据权利要求1所述的运动图像编码设备，其特征在于，所述编码单元能够将基准帧插入所生成的编码比特流内，所述基准帧使得能够进行随 机存取；以及所述编码控制单元根据所述第一设置和所述第二设置，使所述编码单元生成所述基准帧。
3.根据权利要求2所述的运动图像编码设备，其特征在于，由所述接收单元接收到的设置信息是表示所述外部运动图像编码设备已经设置了所 述基准帧的信息。
4.根据权利要求2所述的运动图像编码设备，其特征在于，所述设置单元包括判断单元，所述判断单元用于基于由所述接收单元接收到的设置信 息和所述摄像单元的控制信息，判断是否设置所述基准帧。
5.根据权利要求2所述的运动图像编码设备，其特征在于，所述设置单元包括判断单元，所述判断单元用于基于所述摄像单元的控制信息和由所 述摄像单元输出的运动图像数据至少之一，判断是否设置所述基准帧；以及在所述判断单元判断为设置所述基准帧的情况下，所述设置单元指示所述编码控制单 元设置所述基准帧，并且将所述基准帧的设置信息经由所述发送单元发送至所述外部运动 图像编码设备。
6.根据权利要求2所述的运动图像编码设备，其特征在于，在检测到拍摄开始、拍摄停止、记录开始、记录停止、场景变化和拍摄条件变化至少之 一的情况下，所述设置单元将所述基准帧的设置信息经由所述发送单元发送至所述外部运 动图像编码设备。
7.根据权利要求1所述的运动图像编码设备，其特征在于，所述编码控制单元根据所述第一设置和所述第二设置，控制由所述编码单元生成的编 码比特流的图像质量。
8.根据权利要求7所述的运动图像编码设备，其特征在于，由所述接收单元接收到的设置信息是表示由所述外部运动图像编码设备生成的编码 比特流的图像质量的信息。
9.根据权利要求7所述的运动图像编码设备，其特征在于，由所述接收单元接收到的设置信息是所述外部运动图像编码设备的编码比特率的设直fe息。
10.根据权利要求9所述的运动图像编码设备，其特征在于，所述编码控制单元控制所述编码比特流的目标比特率，以与在由所述接收单元接收到 的设置信息中表示的编码比特率一致。
11.根据权利要求7所述的运动图像编码设备，其特征在于，由所述接收单元接收到的设置信息是所述外部运动图像编码设备的针对S/N比的设直fe息。
12.根据权利要求11所述的运动图像编码设备，其特征在于，所述编码控制单元控制所述编码比特流的目标S/N比值，以与在由所述接收单元接收 到的设置信息中表示的S/N比值一致。
13.根据权利要求7所述的运动图像编码设备，其特征在于，在检测到拍摄开始、拍摄停止、记录开始和记录停止至少之一的情况下，所述设置单元 将用于设置所述编码比特流的图像质量的信息经由所述发送单元发送至所述外部运动图 像编码设备。
14.一种运动图像编码设备，包括编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码 设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生 成的编码比特流中设置基准帧。
15.一种运动图像编码设备，包括编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在 所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流 的图像质量。
16.一种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下 步骤编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；设置步骤，用于对在所述编码步骤中进行的编码处理进行设置； 发送步骤，用于将在所述设置步骤中创建的设置信息发送至外部运动图像编码设备； 接收步骤，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信 息；以及编码控制步骤，用于根据在所述设置步骤中进行的第一设置和基于在所述接收步骤中 接收到的设置信息的第二设置，控制在所述编码步骤中进行的编码处理。
17.—种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下 步骤编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制步骤，用于进行控制，以使得基于在所述发送/接收步骤中发送/接收到的编 码设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在所述编码步骤中 生成的编码比特流中设置基准帧。
18.—种运动图像编码设备用的运动图像编码方法，所述运动图像编码方法包括以下 步骤编码步骤，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收步骤，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制步骤，用于基于在所述发送/接收步骤中发送/接收到的编码设置信息，根据 在所述外部运动图像编码设备中设置的图像质量来调整在所述编码步骤中生成的编码比 特流的图像质量。
19.一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于 使运动图像编码设备的计算机作为以下单元工作编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置； 发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备； 接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信 息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收 到的设置信息的第二设置，控制由所述编码单元进行的编码处理。
20.一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于 使运动图像编码设备的计算机作为以下单元工作编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制单元，用于进行控制，以使得基于由所述发送/接收单元发送/接收到的编码 设置信息，根据由所述外部运动图像编码设备进行的基准帧的设置来在由所述编码单元生 成的编码比特流中设置基准帧。
21. 一种包含计算机可执行指令的计算机可读存储介质，所述计算机可执行指令用于 使运动图像编码设备的计算机作为以下单元工作编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动 图像数据由拍摄被摄体图像的摄像单元输入；发送/接收单元，用于经由网络将编码设置信息发送至外部运动图像编码设备/经由 网络从外部运动图像编码设备接收编码设置信息，所述外部运动图像编码设备与所述运动 图像编码设备属于同一组；以及编码控制单元，用于基于由所述发送/接收单元发送/接收到的编码设置信息，根据在 所述外部运动图像编码设备中设置的图像质量来调整由所述编码单元生成的编码比特流 的图像质量。
全文摘要
提供一种运动图像编码设备，包括编码单元，用于使用帧间预测对运动图像数据进行编码，并生成编码比特流，所述运动图像数据由拍摄被摄体图像的摄像单元输入；设置单元，用于对由所述编码单元进行的编码处理进行设置；发送单元，用于将由所述设置单元创建的设置信息发送至外部运动图像编码设备；接收单元，用于接收由所述外部运动图像编码设备发送来的针对编码处理的设置信息；以及编码控制单元，用于根据由所述设置单元进行的第一设置和基于由所述接收单元接收到的设置信息的第二设置，控制由所述编码单元进行的编码处理。
文档编号H04N7/32GK101960856SQ200980106439
公开日2011年1月26日 申请日期2009年2月25日 优先权日2008年2月26日
发明者小林悟 申请人:佳能株式会社