专利名称：成像设备、成像方法、记录介质和程序的制作方法
技术领域：
本发明涉及成像设备、成像方法、记录介质和程序。更具体地讲，本发明涉及一种适合用于以高帧速率拍摄运动图像的成像设备、成像方法、记录介质和程序。
背景技术：
近年来，能够以高于通常视频帧速率(每秒60帧、每秒50帧、每秒24帧等)的速度进行成像的高速成像设备已经得到广泛使用。
为了实现高帧速率的成像和记录，例如，可以获得高速成像设备，该高速成像设备能够在一帧内的从固态成像元件读取的像素数减少且不需要提高后续的处理的速度的情况下实现高速成像。这种高速成像设备釆用 一种按照将多个帧图像结合在一起的方式使标准视频信号的一帧内的图像数减少来记录多个帧图像的技术(例如，见专利文献1)或者一种利用专用压缩方案或图像格式在半导体存储器上进行记录的技术(例如，见专利文献2)。日本未审专利申请公报No. 5-31640
发明内容
然而，在从固态成像元件读取的像素的数目减少的情况下，不能够 获得高空间分辨率。此外，多个帧彼此接合的图像的记录需要在再现期 间进行图像转换处理，这导致处理更加复杂。
此外，在通过高速驱动固态成像元件而输出的成像数据被直接记录 在半导体存储器上以实现高速成像的情况下，尽管从固态成像元件以太 高从而需要使用半导体存储器作为记录装置的速度输出成像数据，但是 仍可以以高分辨率和高帧速率实现成像。然而，由于能够安装在成像设 备中的半导体存储器的容量的限制，所以难以进行长时间记录。
此外，如果将图像在空间上分割成多个部分并且对这些部分进行并 行处理以执行高速图像处理，则可以长时间记录高分辨率和高帧速率的 图像。然而，由于每个记录的图像数据部分是按照带状或矩形区域形状 水平或垂直地分割的图像，所以需要在再现期间执行合成这些图像的处 理，这导致处理更加复杂。此外，由于每个记录的图像部分是记录的实 际帧的空间部分，所以单独再现各个记录的图像部分是没有意义的。换 言之，每个记录的图像数据部分是不能够按照原样进行利用的数据。
鉴于这种情形完成了本发明，本发明旨在使对以高分辨率和高帧速 率拍摄的图像的处理容易。
本发明的一个方面的成像设备包括成像装置，用于获得第一速 率的成像数据；数据分割装置，用于以帧为单位对由成像装置拍摄的 第 一速率的成像数据进行分配，并且将该成像数据分割成第二速率的 N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速 率，N是正整数；以及N个图像处理装置，用于对由分割装置获得
6的N个通道的运动图像数据进行并行处理。
成像设备可被配置为还包括输出装置，所述输出装置用于输出由 图像处理装置进行了处理的N个通道的运动图像数据，并且所述输 出装置可被配置为仅输出N个通道的运动图像数据中的一个通道， 或者输出基于要输出的运动图像数据的速率对N个通道的运动图像 数据的至少一部分执行帧合成而获得的结果。
成像设备可被配置为还包括记录装置，所述记录装置用于记录由 图像处理装置进行了处理的N个通道的运动图像数据，并且所述输 出装置可被配置为输出记录在所述记录装置上的N个通道的运动图 像数据的至少一部分。
所述记录装置可被配置为设置N个记录装置或者使记录装置被 分割成N个区域，并且可被配置为分别记录由图像处理装置进行了 处理的N个通道的运动图像数据
第二速率可以一皮配置为每秒60帧。
第二速率可以被配置为每秒50帧。
第二速率可以被配置为每秒24帧。
N个通道可以纟皮配置为四个通道。
N个通道可以:陂配置为两个通道。
第一速率可以:帔配置为每秒240帧。
成像设备可被配置为还包括记录装置，所述记录装置用于记录由 图像处理装置进行了处理的N个通道的运动图像数据。
所述记录装置可被配置为设置N个记录装置或者使记录装置被 分割成N个区域，并且可被配置为分别记录由图像处理装置进行了 处理的N个通道的运动图像数据。
成像设备可被配置为还包括编码装置，所述编码装置用于对由图 像处理装置进行了处理的N个通道的运动图像数据进行编码，并且 所述记录装置可^C配置为记录由编码装置进行了编码的N个通道的 运动图像数据。
成像设备可被配置为还包括解码装置，用于对由编码装置进行了编码并且由记录装置记录的N个通道的运动图像数据进行解码； 以及输出装置，用于输出由解码装置进行了解码的N个通道的运动 图像数据。解码装置可被配置为仅对N个通道的运动图像数据中的 一个通道进行解码，或者基于要输出的运动图像数据的速率对N个 通道的运动图像数据的至少一部分进行解码。输出装置可被配置为输 出N个通道的运动图像数据中的由解码装置进行了解码的所述一个 通道，或者输出基于要输出的运动图像数据的速率对N个通道的运 动图像数据的至少一部分执行帧合成而获得的结果。
本发明的一个方面的成像方法是一种用于拍摄运动图像数据的成 像设备的成像方法，所述成像方法包括如下步骤以第一速率执行成 像；以帧为单位将拍摄的第一速率的成像图像分割成第二速率的N 个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率， N是正整数；以及利用N个并行单元对获得的N个通道的运动图像 数据进行处理。
本发明的一个方面的程序是一种使计算机执行拍摄运动图像数据 的处理的程序，所述程序使计算机执行包括如下步骤的处理以第一 速率控制成像；以帧为单位将拍摄的第 一速率的成像图像分割成第二 速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N 的速率，N是正整数；以及利用N个并行单元对获得的N个通道的 运动图像数据进行处理。
在本发明的一个方面中，以第一帧速率拍摄图像；以帧为单位将 拍摄的第一速率的成像图像分割成第二速率的N个通道的运动图像 数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及 利用N个并行单元对获得的N个通道的运动图像数据进行处理。
术语"网络"是指至少两个设备彼此连接从而使信息能够从一个 设备发送到另 一个设备的机构。经由网络彼此通信的设备可以是独立 设备或者构成一个设备的内部块。
此外，术语"通信，，是指无线通信和有线通信以及可以包括无线 通信和有线通信二者的通信，即在一时间段内执行无线通信而在另一时间段内执行有线通信的通信。另外，可以经由有线通信执行从一个 设备到另一个设备的通信，并且可以经由无线通信执行从另一个设备
到该i殳备的通信。
成像设备可以是独立设备或者可以是设置在图像处理设备、信息 处理设备、记录/再现设备等中的执行成像处理的块。
如上所述，根据本发明的一个方面，能够拍摄运动图像，具体地 讲，即使在以高帧速率成像期间，仍能够以与以普通帧速率成像期间 的方式相似的方式来处理图像。
图l是示出应用了本发明的成像设备的结构的框图。 图2是示出了拜耳模式的图。 图3是用于说明帧分布的图。 图4是用于说明帧分布的图。
图5是示出图1的相机信号处理单元的结构的框图。 图6用于说明帧合成的图。 图7用于说明帧合成的图。
图8是示出应用了本发明的成像设备的不同结构的框图。
图9是示出图8的相机信号处理单元的结构的框图。
图10是用于说明成像/记录/输出处理的流程图。
图11是用于说明成像数据分割处理的流程图。
图12是用于说明成像数据分割处理的流程图。
图13是用于说明视频输出处理的流程图。
图14是用于说明视频输出处理的流程图。
图15是示出了电影的帧速率与利用五个等级评价图像质量的情况 下的评价值之间的关系的示例的图。
图16是示出个人计算机的结构的框图。 附图标记i兌明
1成像设备、11相机控制单元、21成像光学系统、22成像元件、23存储器控制单元、24帧存储器、25相机信号处理单元、26视频输出 单元、27取景器输出单元、28编解码单元、29记录单元、51 WB校正 单元、52 RGB内插同步处理单元、53矩阵处理单元、54y校正单元、 55颜色空间转换单元、101成像设备、120 二向棱镜、121到123成像 元件、124存储器控制单元、125帧存储器、126相机信号处理单元、 151 WB校正单元
具体实施例方式
将在下文中参照
本发明的实施例。 图l是示出应用了本发明的成像设备l的结构的框图。 成像设备1被配置为包括相机控制单元11、成像光学系统21、成 像元件22、存储器控制单元23、帧存储器24、 #1相机信号处理单元 25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3、 #4相机 信号处理单元25-4、视频输出单元26、取景器输出单元27、 #1编解码 单元28-1、 #2编解码单元28-2、 #3编解码单元28-3、 #4编解码单元 28-4、 #1记录单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记 录单元29-4。
相机控制单元11被设计为控制成像设备1的全部处理。 成像设备1利用成像元件22接收通过具有机械快门、透镜等的成 像光学系统21入射的光。成像元件22是固态成像元件，它能够执行高 分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒 240帧，即称作240Hz)的成像，并且输出经由AD转换器(没有示 出)进行了数字转换的成像数据，即由附图中的a指示的成像元件输出 数据。这里，在成像元件22是CMOS固态成像元件的情况或任何其它 情况下，AD转换器可以安装在元件上，或者当成像元件22是除 CMOS固态成像元件以外的固态成像元件时或者在任何其它情况下， AD转换器可以置于成像元件22之外。此外，利用图l说明的成像设备 1的成像元件22是在受光表面上具有滤色器的单板彩色固态成像元件， 该滤色器针对各个像素透射不同波长范围的光。由于从成像元件22输出的成像数据是从单板彩色固态成像元件输 出的所谓的RAW数据，该成像数据由具有根据图2所示的拜耳才莫式 (Bayer pattern)的色模式的像素数据构成，并且被提供给存储器控制 单元23。然后，在存储器控制单元23中，多个像素数据被整合成能够 与帧存储器24 —次交换的一个块的单位(例如，其中整合了多个像素 数据的预定量的数据，诸如64比特或128比特、 一行数据等)，并且被 存储在帧存储器24中。在将从成像元件22输入的成像数据写入帧存储 器24中的同时，存储器控制单元23从帧存储器24读取成像数据的先 前帧，并且同时逐帧地将成像数据作为由附图中的b到e指示的视频图 像数据输出给#1相机信号处理单元25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4。
当从成像元件22输入到存储器控制单元23的成像数据(即由附图 中的a指示的成像元件输出数据)是HD分辨率、每秒240帧的成像图 像时，附图中的b到e指示的视频图像数据(每个均是HD分辨率、每 秒60帧的成像图像)被输出到#1相机信号处理单元25-1、 #2相机信号 处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4。这里，帧存储器24具有存储至少8帧成像数据的容量。将在下面参 照图3和图4描述存储器控制单元23的操作的细节。
#1相机信号处理单元25-1获取从存储器控制单元23输出的HD分 辨率、每秒60帧的成像数据(RAW数据)，执行信号处理，并且将信 号处理后的视频信号输出到#1编解码单元28-1和取景器输出单元27。 #2相机信号处理单元25-2获取从存储器控制单元23输出的HD分辨 率、每秒60帧的成像数据，执行信号处理，并且将信号处理后的视频 信号输出到#2编解码单元28-2。 #3相机信号处理单元25-3获取从存储 器控制单元23输出的HD分辨率、每秒60帧的成像数据，进行信号处 理，并且将信号处理后的视频信号输出到#3编解码单元28-3。 #4相机 信号处理单元25-4获取从存储器控制单元23输出的HD分辨率、每秒 60帧的成^f象数据，进行信号处理，并且将信号处理后的^L频信号输出到 #4编解码单元28-4。在下面的说明中，#1相机信号处理单元25-1、 #2相机信号处理单 元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4中的每 个被简称为相机信号处理单元25，除非需要对它们进行个体识别。由于 相机信号处理单元25中的每个对普通的每秒60帧的成像数据进行处 理，所以成像设备1不需要使用具有处理每秒240帧的成像数据的能力 的高速信号处理单元。将在下面参照图5描述相机信号处理单元25的 更详细的结构。
#1编解码单元28-1获取从#1相机信号处理单元25-1输出的视频信 号，并且执行图像编码处理。#2编解码单元28-2获取从#2相机信号处 理单元25-2输出的视频信号，并且执行图像编码处理。#3编解码单元
28- 3获取从#3相机信号处理单元25-3输出的视频信号，并且执行图像 编码处理。#4编解码单元28-4获取从#4相机信号处理单元25-4输出的 视频信号，并且执行图像编解码处理。
#1编解码单元28-1将图像编码后的图像数据流输出到#1记录单元
29- 1。 #2编解码单元28-2将图像编码后的图像数据流输出到#2记录单 元29-2。 #3编解码单元28-3将图像编码后的图像数据流输出到#3记录 单元29-3。 #4编解码单元28-4将图像编码后的图像数据流输出到#4记 录单元29-4。
另外，#1编解码单元28-1从#1记录单元29-1获取压缩编码后的图 像数据流，对它进行解码，并且将由附图中的f指示的解码后的视频图 像数据输出到视频输出单元26。相似地，#1编解码单元28-1还将解码 后的视频图像数据输出到取景器输出单元27。 #2编解码单元28-2从#2 记录单元29-2获取压缩编码后的图像数据流，对它进行解码，并且将 由附图中的g指示的解码后的视频图像数据输出到视频输出单元26。 #3 编解码单元28-3从#3记录单元29-3获取压缩编码后的图像数据流，对 它进行解码，并且将由附图中的h指示的解码后的视频图像数据输出到 视频输出单元26。 #4编解码单元28-4从#4记录单元29-4获取压缩编 码后的图^f象数据流，对它进^f亍解码，并且将由附图中的i指示的解码后 的视频图像数据输出到视频输出单元26。
12这里，利用用于帧内压缩的JPEG 2000编解码器、用于帧间压缩 的MPEG 2或H.264编解码器等实现由#1编解码单元28-1、 #2编解码 单元28-2、 #3编解码单元28-3和#4编解码单元28-4执行的图像编码处 理。在下面说明中，#1编解码单元28-1、 #2编解码单元28-2、 #3编解 码单元28-3和#4编解码单元28-4中的每个被简称为编解码单元28,除 非需要对它们进行个体识别。由于编解码单元28中的每个对一般的每 秒60帧的数据进行处理，所以成像设备1不需要使用具有处理每秒240 帧的数据的能力的高速编解码单元。此外，这里，在假定编解码单元28 被设计成执行编码和解码的情况下给出说明。然而，不言自明的是，可 以分别设置解码器和编码器以替代编码器单元28。
#1记录单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记录 单元29-4获取并记录分别从编解码单元28输出的每秒60帧的压缩编 码后的图像数据流。也就是说，#1记录单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记录单元29-4中的每个记录HD分辨率、每秒 60帧的视频信号的压缩编码后的图像数据流。
在图1中，#1记录单元29-1、 #2记录单元29-2、 #3记录单元29-3 和#4记录单元29-4中的每个纟皮描述为独立的记录单元。然而，#1记录 单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记录单元29-4可 以被设计为表示一个记录单元中的不同存储区域。在下面说明中，#1记 录单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记录单元29-4 中的每个被简称为记录单元29，除非需要分别对它们进行识别。例如， 可以利用放置了诸如光盘的可移动介质的驱动器、硬盘、半导体存储器 等来实现各记录单元29。
取景器输出单元27接收从#1相机信号处理单元25-1或#1编解码 单元28-1输出的视频信号，并且将该视频信号转换成可以在取景器上 显示的信号。取景器(未示出)是用于确认正在拍摄的图像或正在再现 并输出的图像的显示单元，并且可以内置在成像设备l中或者设置在成 像设备1之外。取景器例如由显示视频信号(YCbCr 4:2:2)的液晶显 示装置构成。取景器的分辨率通常低于普通HD分辨率，并且此外类似地还具有低帧速率。因此，取景器输出单元27根据取景器的分辨率执 行分辨率转换处理或者执行帧速率转换处理。另外，在取景器的输入信 号是RGB信号的情况下，取景器输出单元27可以被配置为直接获取尚 未由#1相机信号处理单元25-1进行颜色空间转换处理的y转换后的图 像信号。
视频输出单元26获取来自相机信号处理单元25的信号处理后的视 频信号或者来自编解码单元28的解码后的再现图像数据，并且按需要 执行帧合成以产生预定帧速率的视频信号。视频输出单元26将预定帧 速率的视频信号作为由附图中的k指示的视频输出输出到例如外部记录 装置或显示装置、预定的信号传输通道等。
将在下面参照图6和图7描述从成像设备1输出的视频图像数据的 帧合成的细节。
接下来，将参照图3说明成像设备1中的拍摄图像与要处理和记录 的图4象帧之间的关系。
这里，在假定成像设备1的成像元件22拍摄HD分辨率、每秒240 帧的图像的情况下给出说明。因此，在图1中，由附图中的a指示的成 像元件输出数据使得在时间方向上每秒输出240帧的HD分辨率图像数 据。图2示出了在从成像元件22输出包括第N帧到第(N+11)帧的12 帧作为成像元件输出数据a的情况下的帧分配。
如上所述，成像元件输出数据a被存储器控制单元23临时存储在 帧存储器24中。在从成像元件22输出第N帧的时刻tl的定时，包括 第(N-4)帧到第(N-l)帧的4帧的图像数据保持在具有至少8帧的记 录容量的帧存储器24中。在直到包括从成像元件22输出的笫N帧、第 (N+l)帧、第(N+2)帧和第(N+3)帧的4帧的图像数据被顺序地 提供并记录在帧存储器24上的时刻t2的时间段内，具体地讲，在 4/240秒的时间段内，存储器控制单元23并行读取存储在帧存储器24 中的包括第(N-4)帧到(N-l)帧的4帧的图像数据，并且将第(N-4)帧分配给#1相机信号处理单元25-1，将第(N-3)帧分配给#2相机 信号处理单元25-2，将(N-2)帧分配给#3相机信号处理单元25-3，将第(N-l)帧分配给#4相机信号处理单元25-4。
然后，在从成像元件22输出第(N+4)帧的时刻t2的定时，包括 第N帧到(N+3)帧的4帧的图像数据保持在帧存储器24中。在直到 包括从成像元件22输出的第(N+4)帧、第(N+5)帧、第(N+6)帧 和第(N+7)帧的4帧的图像数据被顺序地提供并记录在帧存储器24 上的时刻t3的时间段内，具体地讲，在4/240秒的时间段内，存储器控 制单元23并行读M储在帧存储器24中的包括第N帧到第(N+3 )帧 的4帧的图像数据，并且将第N帧分配给#1相机信号处理单元25-1， 将第(N+l)帧分配给#2相机信号处理单元25-2，将(N+2)帧分配给 #3相机信号处理单元25-3，并且将第(N+3)帧分配给#4相才几信号处 理单元25-4。
随后，在从成〗象元件22输出第(N+8)帧的时刻t3的定时，包括 第(N+4)帧到第(N+7)帧的4帧的图像数据保持在帧存储器24中。 在直到包括从成像元件22输出的第(N+8)帧、第(N+9)帧、第
(N+10)帧和第(N+11)帧的4帧的图像数据被顺序地提供并记录在 帧存储器24上的时间段内，具体地讲，在4/240秒的时间段内，存储 器控制单元23并行读取存储在帧存储器24中的包括第(N+4)帧到第
(N+7)帧的4帧的图4象数据，并且将第(N+4)帧分配给#1相机信号 处理单元25-1,将第(N+5)帧分配给#2相机信号处理单元25-2，将第
(N+6)帧分配给#3相机信号处理单元25-3，并且将第(N+7)帧分配 给#4相机信号处理单元25-4。
也就是说，延迟四帧地从帧存储器24读取从成像元件22提供的成 像元件输出数据a，并且将它提供给相机信号处理单元25中的一个。从 帧存储器24读取的视频图像数据b到e中的每个的帧速率是成像元件 输出数据a的帧速率的1/4。例如，当成像元件输出数据a是HD分辨 率、每秒240帧的图像数据时，视频图像数据b到e中的每个是HD分 辨率、每秒60帧的图像数据。
接下来，将参照图4说明成像设备1中的拍摄图像帧和要处理和记 录的图像帧的输入/输出定时。
15除了构成每个拍摄图像帧的像素数据以外，对应于每帧，图1所示
的成像元件输出数据a还包括垂直同步信号A (表示每帧的顶端的同步信号)、针对构成帧的每个水平行产生的水平同步信号、以及使能信号。这里，当成像元件输出数据a是HD分辨率且每秒240帧时，垂直同步信号A是每l/240秒被激活的信号。像素数据是这样的信号，在该信号中，在包括消隐时段(blanking period)的一帧时段(1/240秒)内按照时间序列布置了所有像素数据(例如，2200像素xi125像素行)。
然后，成像元件输出数据a被顺序地提供给并存储在帧存储器24中。与该存储处理并行地，并行地(即以预定的读取单元交替地)读取已经存储在帧存储器24中的4帧的视频图像数据。如上所述，并行读取的视频图像数据b到e中的每个是HD分辨率、每秒60帧的图像数据。例如基于每次访问帧存储器24时能够交换的数据量来确定读取单位，并且读取单位例如可以是预定比特数的数据、或者图像的一帧内的一行或多个预定行的数据。
垂直同步信号B-l (指示提供给#1相机信号处理单元25-1的视频图像数据b的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据b的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素x 1125像素行)。
与以上相似，垂直同步信号B-2 (指示提供给#2相机信号处理单元25-2的视频图像数据c的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据c的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素xi125像素行)。然后，垂直同步信号B-3 (指示提供给#3相机信号处理单元25-3的视频图像数据d的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据d的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素x 1125像素行)。此外，垂直同步信号B-4 (指示提供给#4相机信号处理单元25-4的视频图像数据e的顶端的同步信号)是每1/60秒被激活的信号。构成视频图像数据e的像素数据是这样的信号，在该信号中，在包括消隐时段的一帧时段(1/60秒)内，按照时间序列布置了所有像素数据(例如，2200像素x 1125像素行)。
通过存储器控制单元23的处理从帧存储器24读取的视频图像数据b到e中的每个能够被独立处理或显示为HD分辨率、每秒60帧的视频图像数据，并且提供给#1相机信号处理单元25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4中的对应一个并且进行处理。
图5是示出相机信号处理单元25的详细结构的框图。
WB (白平衡)校正单元51对RAW数据的各颜色分量的平衡进行校正，并且执行白平衡校正以使得在非彩色区域内红色分量(R)、绿色分量(G)和蓝色分量(B)的亮度值彼此相等。
RGB内插同步处理单元52对仅4又具有每个《象素中的R、 G和B颜色分量之一的RAW数据执行基于相邻像素数据的内插处理，即所谓的去马赛克处理，并且输出得到的数据作为具有每个像素中的所有颜色分量的像素数据。例如，在具有图2所示的拜耳模式的成像数据中，像素位置(x=2， y=2)处的像素822仅仅具有B分量。因此，执行利用相邻
像素的内插处理以产生分別输出为R22和G22的R分量和G分量。同样
的情况适用于仅存在R分量作为成像数据(例如，x=l, y=l)的像素和仅存在G分量(例如，x=2， y=l)的像素。
矩阵处理单元53是利用3x3矩阵的颜色校正处理电路。其处理使得取决于成像元件的颜色空间和拍摄环境的颜色平衡接近与信号标准兼容的真实颜色空间。
伽马(y )校正单元54根据视频信号标准通过利用与输入/输出灰度等级的数目对应的查询表处理来执行伽马校正处理。
颜色空间转换单元55将基于RGB颜色空间的像素数据转换成基于YCbCr颜色空间的像素数据。这里，转换后的颜色空间由视频信号的标准化标准进行定义。例如，在ITU-R.BT709中规定了 HDTV标准。另外，颜色空间转换单元55对色差信号Cb和Cr执行退化处理，转换成4:2:2格式，然后输出转换后的视频信号(YCbCr 4:2:2 )。
这样，从各相机信号处理单元25输出HD分辨率、每秒60帧的视频信号(YCbCr 4:2:2)。
在对由相机信号处理单元25处理的视频图像数据进行压缩编码并且然后记录在记录单元29上的情况下，由#1相机信号处理单元25-1、#2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4处理的视频图像数据被提供给#1编解码单元28-1、 #2编解码单元28-2、 #3编解码单元28-3和#4编解码单元28-4中的对应一个并且被压缩编码。压缩编码后的图像数据流被分别提供给#1记录单元29-1、 #2记录单元29-2、 #3记录单元29-3和#4记录单元29-4并记录在其上。
然后，在对记录在记录单元29上的压缩编码后的图像数据流进行再现并输出的情况下，相机控制单元11基于从视频输出单元26输出的视频图像数据的帧速率从预定的记录单元29读取压缩编码的数据，并且利用编解码单元28对压缩编码的数据进行解码并且将其提供给视频输出单元26。按需要，视频输出单元26对被提供的解码后的视频图像数据执行帧合成，并且将产生的视频图像数据提供到外部作为视频输出k。
另外，在直接输出拍摄的视频的情况下，相机控制单元11基于从视频输出单元26输出的视频图像数据的帧速率，将来自预定的相机信号处理单元25的处理后的视频图像数据提供给视频输出单元26。视频输出单元26对提供的视频图像数据执行帧合成，并且将产生的视频图像数据提供到外部作为视频输出k。
利用图6和图7,利用对记录在记录单元29上的压缩编码的图像数据流进行再现的情况作为示例，说明输出帧速率和帧合成。
在每个记录单元29上记录有在高分辨率(这里，HD分辨率)和高帧速率(这里，每秒240帧)的运动图Y象以帧为单位净皮分割成四个部分后通过执行压缩编码产生的图像数据流。换言之，记录在每个记录单元
29上的图像数据流均是HD分辨率、每秒60帧的运动图像，并且相对于每秒240帧的拍摄图像在时间上偏移了一帧。具体地讲，记录在#1记录单元29-1上的图像数据流是在每秒240帧的运动图像内提取了四帧中的一帧的、每秒60帧的运动图像，并且记录在#2记录单元29-2上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟一帧的、每秒60帧的图像数据。相似地，记录在#3记录单元29-3上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟两帧的、每秒60帧的图像数据，并且记录在#4记录单元29-4上的图像数据流是相对于记录在#1记录单元29-1上的图像数据流在时间上延迟三帧的、每秒60帧的图像数据。
在对记录在记录单元29上的压缩编码的数据进行再现和输出的情况下，在相机控制单元11的控制下，从指定帧开始顺序地读取记录的图4象数据流并且通过编解码单元28中的对应一个进行解码和再现。
图6示出了输出每秒240帧的视频图像数据的情况下的帧合成。
在命令了进行每秒240帧的输出的再现操作的情况下，相机控制单元11对每个记录单元29进行控制以使得从指定的开始帧开始读取其上记录的压缩编码的图像数据流。4个再现的图像数据流分别由编解码单元28进行解码，并且具有HD分辨率、每秒60帧并且每个均偏移了1/240秒(即每秒240帧的视频图像数据中的一帧)的4个视频图像数据f到i被输入到视频输出单元26。
视频输出单元26在帧存储器(未示出)中临时存储4个视频图像数据f到i，将它们布置为具有HD分辨率和每秒240帧的帧速率，并且按照图6所示的帧顺序(即与每秒240帧的成像时相同的帧顺序)对它们进行读取以输出它们作为视频信号。在图6中，指示帧顺序的N、N+l、 N+2......是指示每秒240帧的视频图像数据的情况下的帧顺序。
也就是说，指示图6中的帧顺序的N、 N+l、 N+2......是指示仅仅偏移
1/240秒的帧的排列顺序，这基本上与利用图3说明的拍摄的每秒240帧的视频图像数据的情况下的帧顺序相似。具体地讲，从#1编解码单元28-1输出视频图像数据f的第N帧， 从#2编解码单元28-2输出视频图像数据g的第(N+l)帧，从#3编解 码单元28-3输出视频图像数据h的第(N+2 )帧，从#4编解码单元28-4输出视频图像数据i的第(N+3)帧。这些输出帧被提供给视频输出 单元26。然后，视频输出单元26在帧存储器(未示出)中保持包括第 N帧到第(N+3)帧的4帧。
然后，接下来，从#1编解码单元28-1输出视频图像数据f的第 (N+4)帧，从#2编解码单元28-2输出视频图像数据g的第(N+5) 帧，从#3编解码单元28-3输出视频图像数据h的第(N+6)帧，从#4 编解码单元28-4输出视频图像数据i的第(N+7)帧。这些输出帧被提 供给视频输出单元26。视频输出单元26在帧存储器(未示出)中保持 包括第(N+4)帧到第(N+7)帧的4帧。视频输出单元26还按照帧顺 序排列已经保持在帧存储器中的包括第N帧到第(N+3)帧的4帧，并 且输出这4帧作为视频输出k。也就是说，视频输出k是相对于开始向 视频输出单元26提供视频图像数据g到i的定时延迟至少4帧的输 出。
这样，从视频输出单元26输出的视频信号k可以实现HD分辨 率、每秒240帧的图像显示。通过这样做，与例如每秒60帧的普通帧 速率相比，不需要对运动图像执行复杂的处理就能够实现由成像设备1 拍摄的运动图像的高速显示。
这里，在假定视频输出单元26被设计为在一个宽带视频传输通道 中输出HD分辨率、每秒240帧的视频信号的情况下给出说明。然而， 视频输出单元26可以被设计为根据获得要输出的视频信号k的显示装 置(未示出)的规格，经由四个视频传输通道向显示单元(未示出)输 出尚未进行帧合成的HD分辨率、每秒60帧的四通道视频信号。在这 样做的情况下，显示装置需要获得HD分辨率、每秒60帧的四通道视 频信号以执行帧合成，从而按照与利用图6说明的情况中的方式相似的 方式从输入的HD分辨率、每秒60帧的四通道视频信号产生HD分辨 率、每秒240帧的视频信号。此外，在此情况下，视频输出单元26可以直接输出HD分辨率、每秒60帧的视频图像数据f到i作为四通道视 频信号，而不需要执行帧合成。
接下来，将参照图7说明每秒120帧的再现操作。
例如，在由于最大仅支持每秒120桢的显示装置、最大仅支持每秒 120帧的视频信号传输通道等的原因而输出HD分辨率、每秒120帧的 视频信号的情况下，相机控制单元11使得记录单元29之中的记录有均 偏移了每秒240帧的电影帧中的两帧的压缩编码的图像数据流的两个记 录单元29将其上记录的压缩编码的图像数据流提供给编解码单元28。 两个再现的图像数据流分别由编解码单元28进行解码。然后，具有HD 分辨率、每秒60帧并且均偏移2/240秒(即每秒240帧的视频图像数 据中的两帧)的两个视频图像数据f和h (或者视频图像数据g和i)被 输入到视频输出单元26。
视频输出单元26在帧存储器(未示出)中临时存储这两个视频图 像数据f和h,将它们布置为具有HD分辨率和每秒120帧的帧速率， 按照图7所示的帧顺序对它们进行读取，并且输出它们作为视频信号。 另外，在图7中，指示帧顺序的N、 N+2、 N+4……是指示每秒240帧 的视频图像数据的情况下的帧顺序。也就是说，由于进行了帧合成的视 频图像数据的帧顺序是N、 N+2、 N+4......，所以在帧合成后获得的视
频图像数据变得与通过按1/2抽取(decimate)每秒240帧的视频图像 数据获得的每秒120帧的视频图像数据相同。
这样，不需要执行复杂处理，视频输出单元26就能够不仅输出实 现HD分辨率、每秒240帧的图像显示的视频输出k,还能够输出实现 HD分辨率、每秒120帧的图像显示的视频输出k。通过这样做，成像 设备l能够容易地产生和输出多个帧速率的视频图像数据。
这里，在假定视频输出单元26被设计为根据获取要输出的视频信 号k的显示装置(未示出)的规格在一个宽带视频传输通道中输出HD 分辨率、每秒120帧的视频信号的情况下给出说明。然而，例如，视频 输出单元26可以被设计为经由两个视频传输通道向显示单元(未示 出)输出HD分辨率、每秒60帧的两通道视频信号。在这样做的情况下，显示装置需要获取HD分辨率、每秒60帧的两通道视频信号以执 行帧合成，从而按照与利用图7说明的情况中的方式相似的方式从输入 的HD分辨率、每秒60帧的两通道视频信号产生HD分辨率、每秒120 帧的视频信号。此外，在这种情况下，视频输出单元26可以直接输出 HD分辨率、每秒60帧的视频图像数据f和h作为两通道视频信号而不 需要执行帧合成。
另外，在附图中没有显示，在显示装置仅仅支持普通帧速率(即每 秒60帧)的情况下，在传输通道仅仅支持每秒60帧的情况或者任何其 它情况下，相机控制单元11对各个单元进行控制以从记录单元29之一 读取压缩编码的图像数据流，以利用编解码单元28中的对应一个对压 缩编码的图像数据流进行解码，并且将每秒60帧的视频图像数据提供 给视频输出单元26。视频输出单元26输出提供的HD分辨率、每秒60 帧的视频图像数据。
这样，成像设备1执行高分辨率和高帧速率的成像，以帧为单位对 拍摄的运动图像进行分割，并且对得到的数据部分执行并行处理。由 此，能够以普通帧速率(例如，在以每秒240帧执行成^f象时为每秒60 帧)执行运动图像数据的图像处理、编解码或记录处理。在再现期间， 不需要执行复杂处理，就能够以多个输出帧速率输出视频数据。
另外，在拍摄图像被输出并且显示在取景器(未示出)上的情况 下，由#1相机信号处理单元25-1处理的图像数据被输出到取景器输出 单元27。另外，在要作为视频输出的图像数据被输出并显示在取景器 (未示出)上的情况下，由#1编解码单元28-1解码的图^f象数据^皮输出 到取景器输出单元27。换言之，输出到取景器的图像数据的帧速率是每 秒60帧。
与之相对，例如，在取景器具有显示每秒120帧的帧速率的运动图 像的能力的情况下，除了由#1相机信号处理单元25-1处理的图像数据 以外由#3相机信号处理单元25-3处理的图像数据也可以被输出到取景 器输出单元27，或者除了由#1编解码单元28-1解码的图4象数据以外由 #3编解码单元28-3解码的图像数据也可以被输出到取景器输出单元27以执行帧合成并且输出结果。
另外，不言自明的是，在取景器具有显示每秒240帧的帧速率的运 动图像的能力的情况下，在相机控制单元11的控制下，可将四个处理 后的每秒60帧的视频图像数据从所有的相机信号处理单元25提供给视 频输出单元26，或者可以从所有的记录单元29读取压缩编码的图像数 据流并且可以利用编解码单元28分别对压缩编码的图像数据流进行解 码。可将四个每秒60帧的视频图像数据提供给视频输出单元26并对其 进行帧合成，并且可以显示结果。
另外，在拍摄并处理后的图像数据没有进行临时压缩和记录就输出 到外部的情况下，基于要输出的视频图像数据的帧速率，由#1相机信号 处理单元25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3 和#4相机信号处理单元25-4之中的预定的相机信号处理单元25处理的 视频图像数据被提供给视频输出单元26。
具体地讲，在要输出的视频图像数据的帧速率是每秒240帧的情况 下，从所有的#1相机信号处理单元25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4向视频输出单元 26提供视频图像数据。然后，在要输出的视频图像数据的帧速率是每秒 120帧的情况下，从#1相机信号处理单元25-1、 #2相机信号处理单元 25-2、 #3相机信号处理单元25-3和#4相枳4言号处理单元25-4之中的 对均偏移了每秒240帧的电影帧中的两帧的帧进行处理的两个相机信号 处理单元25向视频输出单元26提供视频图像数据。此外，在要输出的 视频图像数据的帧速率是每秒60帧的情况下，从#1相机信号处理单元 25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机 信号处理单元25-4之一向视频输出单元26提供视频图像数据。
上述的成像设备1被配置为以每秒240帧( 一般广泛用于拍摄运动 图像的每秒60帧的四倍)拍摄运动图像，以针对每帧将拍摄的运动图 像数据分割成四份来产生四通道的每秒60帧的运动图像数据，并且被 配置为执行各种处理从而使得能够再现每秒60帧、每秒120帧以及每 秒240帧的运动图像。然而，不言自明的是，可以利用任何其它成像帧速率或者拍摄的运动图像数据的任何其它分割数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个 或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三 个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分， 或者以每秒100帧拍摄的运动图像可以被分割成两个部分。作为另一选 择，以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒 48帧拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动 图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24帧)时，例 如，可将通用产品用于进行信号处理或编解码所需的电路等，并且能够 降低成本，这是优选的。然而，每个通道的运动图像数据部分的帧速率 可以是任何其它值。
此外，这里，作为示例对每个通道的部分的帧速率彼此相等的情况 进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的帧 速率。例如，以每秒240帧拍摄的运动图像可以被分割成每秒120帧的 一个通道和每秒60帧的两个通道。
要注意，不言自明的是，在记录单元29具有大容量和高记录速率 的情况下，在期望避免由于编解码导致的图像劣化的情况或者任何其它 情况下，可以省去编解码单元28从而可将没有被压缩或编码的视频图 像数据记录在记录单元29上。
以这种方式，成像设备1以帧为单位在时间方向上将以是一般广泛 用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24 帧)的N倍(这里是4倍)的帧速率拍摄的图像数据分割成N个部 分，并且由此能够将高帧速率视频图像数据作为N个普通帧速率图像数 据进行处理或记录。另外，不需要执行复杂处理，成像设备l就能够以 多个帧速率输出运动图像数据。
此外，成像设备1包括单板彩色固态成像元件作为成像元件22,该 单板彩色固态成像元件在受光表面上具有滤色器，该滤色器对于各个像 素透射不同波长范围内的光。然而，不言自明的是，任何其它方案可以用作成像方法。例如，替代单板彩色成像设备，本发明还能够应用于三 板式成像设备。
图9是示出利用三个固态成像元件的三板式成像设备101的结构的 框图。
要注意，对与图1的成^象设备1的部分对应的部分分配相同的标 号，并且在适当时省去对它们的说明。也就是说，除了提供相机控制单 元111以替代相机控制单元11，提供成像元件121到123以替代成像元 件22，提供存储器控制单元124以替代存储器控制单元23，提供帧存 储器125以替代帧存储器24，提供#1相机信号处理单元126-1、 #2相 机信号处理单元126-2、 #3相机信号处理单元126-3和#4相机信号处理 单元126-4以替代#1相机信号处理单元25-1、 #2相机信号处理单元25-2、 #3相机信号处理单元25-3和#4相机信号处理单元25-4,以及新提 供对经过成像光学系统21入射的光进行分离的二向棱镜120以外，成 像设备101的结构与利用图1说明的成像设备1的结构基本相似。
在下面说明中，#1相机信号处理单元126-1、 #2相机信号处理单元 126-2、 #3相机信号处理单元126-3和#4相机信号处理单元126-4中的 每个被简称为相机信号处理单元126，除非需要对它们进行分别识别。
相机控制单元111控制成像设备101的各个单元的操作。
成像元件121、 122和123接收经过成像光学系统21入射并且被二 向棱镜120分离成红色分量(R)、绿色分量(G)和蓝色分量(B)的 光。这里，假定成像元件121接收以红色分量(R)为中心的波长范 围内的光，成像元件122接收以绿色分量(G)为中心的波长范围内的 光，成像元件123接收以蓝色分量(B)为中心的波长范围内的光。
在相机控制单元111的控制下，存储器控制单元124按照一帧包含 三种颜色的方式将从成^f象元件121、 122和123提供的与以各个RGB颜 色分量为中心的波长范围对应的成像数据提供给帧存储器125，并且还 以帧为单位利用与利用图3和图4说明的情况相似的处理将记录在帧存 储器125上的每帧均包含三种颜色的4帧成像数据分割，以分别向相机 信号处理单元126提供得到的部分。帧存储器125具有能够保持至少8帧的成像数据的存储容量(每帧包含RGB三种颜色)。
因此，在利用成像元件进行成像的三板式成像设备101中，由于能 够在像素位置获得R、 G和B中的每个的成像数据，所以各相机信号处 理单元126不需要执行RGB内插同步处理。
在图9中示出了相机信号处理单元126的结构。
要注意，对与图5的相机信号处理单元25的部分对应的部分分配 相同的标号，并且当适当时省去了对它们的说明。也就是说，除了省去 RGB内插同步处理单元52以及提供WB校正单元151以替代WB校正 单元51以外，相机信号处理单元126的结构与图5的相机信号处理单 元25的结构基本相似。
向WB校正单元151提供针对每个像素具有R、 G和B的图像信 号，WB校正单元151对每个像素执行RGB颜色平衡调整，并且将调 整后的图像信号(R、 G和B)提供到矩阵处理单元53。矩阵处理以后 的信号处理与利用图5说明的相机信号处理单元25的信号处理基本相 似。
以这种方式，成像设备101还被配置为以是一般广泛用于拍摄运动 图像的每秒60帧的四倍的每秒240帧拍摄运动图像，以针对每帧将拍 摄的运动图像数据分割成四份以产生四通道的每秒60帧的运动图像数 据，并且被配置为执行各种处理从而能够再现每秒60帧、每秒120帧 或者每秒240帧的运动图像。然而，不言自明的是，可以采用任何其它 成像帧速率或者拍摄的运动图像数据的任何其它分割数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个 或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三 个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分， 或者以每秒100帧拍摄的运动图像可以被分割成两个部分。作为另一选 择，以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒 48帧拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动 图像的帧速率(例如，每秒60帧、每秒50帧、或每秒24帧)时，例如，可将通用产品用于进行信号处理或编解码所需的电路等，并且能够降低成本，这是优选的。然而，每个通道的运动图像数据部分的帧速率可以是任何其它值。
此外，这里，对作为示例的每个通道的部分的帧速率彼此相等的情况进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的
帧速率。例如，以每秒240帧拍摄的运动图像可以被分割成每秒120帧的一个通道和每秒60帧的两个通道。
要注意，在成像设备101中，不言自明的是，在记录单元29具有大容量和高记录速率的情况下，在期望避免由于编解码导致的图像劣化的情况者任何其它情况下，可以省去编解码单元28从而没有进行压缩或编码的视频图〗象数据可以记录在记录单元29上。
以这种方式，与成像设备l一样，成像设备101也以帧为单位在时间方向上将以是一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧、每秒50帧、或者每秒24帧)的N倍(这里是四倍)的帧速率拍摄的图像数据分割成N个部分，并且由此能够将高帧速率视频信号作为N个普通帧速率图像数据进行处理或记录。另外，不需要执行复杂处理，成像设备1就能够以多个帧速率输出运动图像数据。
接下来，将参照图10的流程图说明由成像设备1或成像设备101执行的成像/记录/输出处理。
要注意，尽管在图10的流程图中为了便于理解针对各个步骤说明成像、记录和输出处理中的每个，但是不言自明的是，可以在成像设备1或成像设备101中并行执行这些处理。
在步骤Sl中，相机控制单元11或相机控制单元111确定是否已从操作输入单元(未示出)等命令了开始拍摄运动图像。在步骤Sl中确定尚未命令开始拍摄运动图像的情况下，处理进行到下面描述的步骤S13。
在步骤Sl中确定已经命令开始拍摄运动图像的情况下，在步骤S2中，相机控制单元11或相机控制单元111控制各个单元执行成像处理。具体地讲，相机控制单元11对成像光学系统21进行控制以使得与要拍摄的图像对应的光入射在成像元件22上。在相机控制单元11的控制下，成像元件22以高分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒240帧，即称作240Hz)获取由具有根据图2所示的拜耳模式的颜色模式的像素数据构成的图像信号，并且将该图像信号提供给存储器控制单元23。此外，相机控制单元111对成像光学系统21进行控制以利用二向棱镜120将与要拍摄的图像对应的光分离成红色分量(R)、绿色分量(G)和蓝色分量(B)，然后1吏得这些分量分别入射在成^f象元件121到123上。在相机控制单元111的控制下，成像元件121到123通过接收与各个RGB颜色分量的波长范围对应的光，以高分辨率(这里，例如，HD分辨率)和高帧速率(这里，例如，每秒240帧，即称作240Hz)获取图像信号，并且将该图像信号提供给存储器控制单元23。
在步骤S3中，相机控制单元11或相机控制单元111对各个单元进行控制以开始或继续分割成像数据的处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，存储器控制单元23或存储器控制单元124以利用图3和图4说明的方式以帧为单位对从成像元件22或成像元件121、 122和123提供的成像数据进行分割，并且将得到的成像数据部分分别提供给相机信号处理单元25或相机信号处理单元126。
在步骤S4中，在相机控制单元11或相机控制单元111的控制下，相机信号处理单元25或相机信号处理单元126执行信号处理。
具体地讲，如利用图5说明的，相机信号处理单元25对^皮提供的RAW数据的白平衡进行校正，执行RGB内插同步即去马赛克处理，并且执行矩阵处理和Y校正。然后，相机信号处理单元25执行颜色空间转换，并且输出产生的HD分辨率、每秒60帧的视频信号(YCbCr4:2:2)。此外，如利用图9说明的，相机信号处理单元126对由各个RGB分量构成的图像数据的白平衡进行校正，并且执行矩阵处理和Y校正。然后，相机信号处理单元126执行颜色空间转换，并且输出产生
28的HD分辨率、每秒60帧的视频信号(YCbCr 4:2:2)。
在步骤S5中，相机控制单元11或相机控制单元111确定是否已命令将正在拍摄的图像输出到取景器。
在步骤S5中确定已经命令输出到取景器的情况下，在步骤S6中，相机控制单元11或相机控制单元111控制将信号处理后的视频数据输出到取景器的处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，取景器输出单元27获##1相机信号处理单元25-1或#1相机信号处理单元126-1输出的视频信号，并且将该视频信号转换成能够在取景器上显示的信号。然后，取景器输出单元27将该信号输出到取景器(未示出)，以显示每秒60帧的帧速率的运动图像。
要注意，取景器的输入信号是RGB信号，取景器输出单元27可以被配置为直接获取尚未由#1相机信号处理单元25-1或#1相机信号处理单元126-1进行颜色空间转换处理的RGB信号。此外，当能够在取景器上显示的运动图像的帧速率是例如每秒120帧的帧速率时，取景器输出单元27可以被设计为获取从#1相机信号处理单元2S1和#3相机信号处理单元25-3、或者#1相机信号处理单元126-1和#3相纟几信号处理单元126-3 (或者#2相机信号处理单元25-2和#4相机信号处理单元25-4、或者#2相机信号处理单元126-2和4相机信号处理单元126-4 )输出的视频信号，以执行帧合成并且将结果输出到取景器(未示出)。作为另一选择，当能够在取景器上显示的运动图像的帧速率是每秒例如240帧时，取景器输出单元27可以被设计为获取从所有的相机信号处理单元25或所有的相机信号处理单元126输出的视频信号以执行帧合成并将结果输出到取景器(未示出)。
在步骤S5中确定尚未命令输出到取景器的情况下，或者在步骤S6的处理完成后，在步骤S7中，相机控制单元11或相^L控制单元111确定是否已经命令了正在拍摄的图像的视频输出。
在步骤S7中确定已经命令了正在拍摄的图像的视频输出的情况下，在步骤S8中，相机控制单元11或相机控制单元111开始视频输出处理。
具体地讲，在相机控制单元11或相机控制单元111的控制下，视
频输出单元26从相机信号处理单元25或相机信号处理单元126获取信号处理后的视频信号，按照需要执行帧合成以产生预定帧速率的视频信号，并且将该视频信号作为由附图中的k指示的视频输出输出到例如外部记录装置或显示装置、预定的信号传输线等。
此时，在相机控制单元11或相机控制单元111的控制下，视频输出单元26基于要输出的视频信号的帧速率从相机信号处理单元25或相机信号处理单元126获取视频数据，并且执行帧合成。
具体地讲，在输出每秒60帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的视频图像数据从相机信号处理单元25之一或相机信号处理单元126之一提供给视频输出单元26,并且提供给视频输出单元26。视频输出单元26输出提供的每秒60帧的视频图像数据。
此外，在输出每秒120帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的两通道视频图像数据从相机信号处理单元25或相机信号处理单元126之中的对均偏移了每秒240帧的电影帧中的两帧的帧进行处理的两个相机信号处理单元25提供到^f见频输出单元26。如利用图7说明的，视频输出单元26执行帧合成以使得能够逐帧地交替布置提供的每秒60帧的两通道视频图像数据，并且输出合成的视频图像数据。
此外，在输出每秒240帧的帧速率的运动图像数据的情况下，处理后的每秒60帧的四通道视频图像数据从所有的相机信号处理单元25或所有的相机信号处理单元126提供给视频输出单元26。如利用图6说明的，视频输出单元26执行帧合成以使得能够逐帧地顺序地布置提供的每秒60帧的四通道视频图像数据，并且输出合成的视频图像数据。
在步骤S7中确定尚未命令进行视频输出的情况下，或者在步骤S8的处理完成后，在步骤S9中，相机控制单元11或相^L控制单元111确定是否已经命令了记录成像数据。
在步骤S9中确定已经命令了记录成像数据的情况下，在步骤S10中，在相机控制单元11或相机控制单元111的控制下，编解码单元28执行对从相机信号处理单元25或相机信号处理单元126提供的信号处理后的视频图像数据进行编码处理。
在步骤Sll中，编解码单元28向记录单元29提供压缩编码的图像数据流以进行记录。
在步骤S9中确定还没有命令记录成像数据的情况下，或者在步骤Sll的处理完成后，在步骤S12中，相机控制单元11或相机控制单元111确定是否已经命令了结束拍摄运动图像。在步骤S12中确定还没有命令结束拍摄运动图像的情况下，处理返回到步骤S2,并且重复后续的处理。
在步骤Sl中确定还没有命令开始拍摄运动图像的情况下或者在步骤S12中确定已经命令结束拍摄运动图像的情况下，在步骤S13中，相机控制单元11或相机控制单元111确定是否已经命令再现和输出记录在记录单元29上的运动图像。
在步骤S13中确定已经命令再现和输出记录在记录单元29上的运动图^f象的情况下，在步骤S14中，相机控制单元11或相机控制单元111开始视频输出处理。
具体地讲，如利用图6和图7说明的，在相才几控制单元11或相机控制单元111的控制下，视频输出单元26从编解码单元28获取解码的再现图像数据，根据需要执行帧合成以产生预定帧速率的视频信号，并且将该视频信号作为由附图中的k指示的视频输出输出到例如外部记录装置或显示装置、预定的信号传输线等。
此时，在相机控制单元11或相机控制单元111的控制下，视频输出单元26从编解码单元28获取基于要输出的视频信号的帧速率的视频数据，并且执行帧合成。
具体地讲，在输出每秒60帧的帧速率的运动图像数据的情况下，从记录单元29之一读取压缩编码的图像数据流并且由编解码单元28中的对应一个进行解码，以使得将每秒60帧的视频图像数据提供给视频输出单元26。视频输出单元26输出提供的每秒60帧的视频图像数据。
此外，在输出每秒120帧的帧速率的运动图像数据的情况下，从记缩 编码的图像数据流的两个记录单元29读取压缩编码的图像数据流，并 且由编解码单元28中的对应单元进行解码以使得将每秒60帧的两个视 频图像数据提供给视频输出单元26。如利用图7说明的，视频输出单元 26执行帧合成以使得能够逐帧地交替布置提供的每秒60帧的两个视频 图像数据，并且输出合成的视频图像数据。
此外，在输出每秒240帧的帧速率的运动图像数据的情况下，从所 有的记录单元29读取压缩编码的图像数据流并且分别由编解码单元28 进行解码以使得将每秒60帧的四个视频图像数据提供给视频输出单元 26。如利用图6说明的，视频输出单元26执行帧合成以使得能够逐帧 顺序地布置提供的每秒60帧的四个视频图像数据，并且输出合成的视 频图像数据。
另外，当已经命令要再现和输出的运动图像的取景器输出时，在相 机控制单元11或相机控制单元111的控制下，取景器输出单元27接收 从#1编解码单元28-1输出的视频信号，将该视频信号转换成能够在取 景器上显示的信号，然后将该信号输出到取景器(未示出)以显示每秒 60帧的帧速率的运动图像。
在步骤S15中，相机控制单元11或相机控制单元111确定是否已 经命令结束再现和输出记录的运动图像。在步骤S15中确定还没有命令 结束再现和输出记录的运动图像的情况下，处理返回到步骤S"，并且 重复后续的处理。
在步骤S13中确定还没有命令再现和输出记录的运动图像的情况下 或者在步骤S15中确定已经命令结束再现和输出记录的运动图像的情况 下，处理结束。
通过上述的这种处理，在成像设备1或成像设备101中，拍摄高帧 速率的电影并且以帧为单位将拍摄的数据分割。由此，不需要使用复杂
的处理或者高速信号处理电路，就能够对具有高帧速率的运动图像数据 进4亍信号处理或编码并且进行记录。
此外，即使与取景器的显示能力匹配的帧速率低于要拍摄的图像的帧速率，不需要执行复杂的处理，能够在取景器上显示以与取景器的显 示能力匹配的帧速率拍摄的电影。此外，即使在期望的输出数据的帧速 率与记录的数据的帧速率不同的情况下，不需要执行复杂的处理，就能
够输出预定帧速率的^L据。
接下来，将参照图11和图12的流程图说明由成像设备1或成像设 备101执行的成像数据分割处理。
在步骤S41中，相机控制单元11或相机控制单元111对要从存储 器控制单元23写入帧存储器24或者要从存储器控制单元124写入帧存 储器125的成像数据的写开始地址进行设置。
在步骤S42中，相机控制单元11或相机控制单元111开始或继续 从存储器控制单元23到帧存储器24或者从存储器控制单元124到帧存 储器125的成像数据的块写入。这里，术语"块"是访问帧存储器24 或帧存储器125能够一次交换的数据单位，并且在这里被假定为一行的 像素数据。
在步骤S43中，相才几控制单元11或相机控制单元111确定是否已 将4帧的成像数据写入帧存储器24或帧存储器125。在步骤S"中确 定还没有写入4帧的成^象数据的情况下，处理返回到步骤S42，并且重 复后续的处理。
在步骤S43中确定已经写入了 4帧的成像数据的情况下，在步骤 S44中，相机控制单元11或相机控制单元111针对4帧对要从帧存储器 125读取的成像数据的读开始地址进行设置。这里，要从帧存储器24或 帧存储器125读取的成像数据的读开始地址与写入帧存储器24或帧存 储器125中的成像数据的对应4帧的开始地址一致。也就是说，对4帧 的成像数据的读开始地址进行设置，以使得能够并行地顺序读取基于在 将在下面描述的步骤S41或S46的处理中设置的写开始地址写入帧存储 器24或帧存储器125中的4帧的成像数据。
在步骤S45中，相机控制单元11或相机控制单元111对用于确定 从帧存储器24或帧存储器125读取的成像数据所提供到的目的地的计 数器C的值进行初始化。在步骤S46中，相机控制单元11或相机控制单元111对接下来要 从存储器控制单元23写到帧存储器24或者从存储器控制单元124写到 帧存储器125的成Y象数据的写开始地址进行设置。在步骤S46中，对用 于将新的4帧的成像数据写入与当前写入在帧存储器24或帧存储器125 的4帧的成像数据的记录区域不同的区域中的写开始地址进行设置。
在步骤S47中，相机控制单元11或相机控制单元111基于在步骤 S46中设置的写地址的值或者在下面描述的处理中增加的写地址的值， 开始或继续从存储器控制单元23到帧存储器24或者从存储器控制单元 124到帧存储器125的成像数据的块写入。
在步骤S48中，相机控制单元11或相机控制单元111确定用于确 定从帧存储器24或帧存储器125读取的成像数据被提供到的目的地的 计数器C的值是否满足条件C=0。
在步骤S48中确定计数器C的值满足条件C=0的情况下，在步骤 S49中，相机控制单元11或相机控制单元111基于已经写入帧存储器 24或帧存储器125中(即，其读地址已被设置)的4帧的成像数据之中 的在时间上最早的帧的读地址，使得成像数据以块为单位从帧存储器24 读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。 在相机控制单元11或相机控制单元111的控制下，存储器控制单元23 或存储器控制单元124将已读入的一块的成像数据提供给#1相机信号处 理单元25-1或#1相机信号处理单元126-1,并且处理进行到步骤S55。
在步骤S48中确定计数器C的值不满足条件C=0的情况下，在步 骤S50中，相机控制单元11或相机控制单元111确定用于确定从帧存 储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C 的值是否满足条件C-l。
在步骤S50中确定计数器C的值满足条件C=l的情况下，在步骤 S51中，相机控制单元11或相机控制单元111基于已经写入帧存储器 24或帧存储器125 (即，其读地址已被设置)的4帧的成^象数据之中的 在时间上第二早的帧的读地址，^_得成<象数据以块为单位从帧存储器24 读入存储器控制单元23或者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机控制单元111的控制下，存储器控制单元23 或存储器控制单元124将已读入的一块的成像数据提供给#2相机信号处 理单元25-2或#2相机信号处理单元126-2，并且处理进行到步骤S55。
在步骤S50中确定计数器C的值不满足条件C=l的情况下，在步 骤S52中，相机控制单元11或相机控制单元111确定用于确定从帧存 储器24或帧存储器125读取的成像数据被提供到的目的地的计数器C 的值是否满足条件C-2。
在步骤S52中确定计数器C的值满足条件C=2的情况下，在步骤 S53中，相机控制单元11或相机控制单元111基于已经写入帧存储器 24或帧存储器125中(即，其读地址已被设置)的4帧的成^f象数据之中 的在时间上第三早的帧的读地址，使得成像数据以块为单位从帧存储器 24读入存储器控制单元23或者从帧存储器125读入存储器控制单元 124。在相机控制单元11或相机控制单元111的控制下，存储器控制单 元23或存储器控制单元124将已读入的一块的成^象数据提供给#3相机 信号处理单元25-3或#3相机信号处理单元126-3,并且处理进行到步骤 S55。
在步骤S52中确定计数器C的值不满足条件C=2的情况下，计数 器C的值满足条件C=3。因此，在步骤S54中，相机控制单元11或相 机控制单元111基于已经写入帧存储器24或帧存储器125中(即，其 读地址已被设置)的4帧的成像数据之中的在时间上最后的帧的读地 址，使得成像数据以块为单位从帧存储器24读入存储器控制单元23或 者从帧存储器125读入存储器控制单元124。在相机控制单元11或相机 控制单元111的控制下，存储器控制单元23或者存储器控制单元124 将已读入的一块的成像数据提供给#4相机信号处理单元25-4或#4相机 信号处理单元126-4，并且处理进行到步骤S55。
在步骤S49、 S51、 S53或S54的处理完成后，在步骤S55中，相 机控制单元11或相机控制单元111将用于确定从帧存储器24或帧存储 器125读取的成像数据被提供到的目的地的计数器C的值增加。这里， 当计数器C的值是3时，计数器C祐:初始化为O。在步骤S56中，相机控制单元11或相机控制单元111确定已经设置了读地址的4帧的读取是否完成。在步骤S56中确定已经设置了读地址的4帧的读取已经完成的情况下，处理返回到步骤S44，并且重复后续的处理。
在步骤S56中确定已经设置了读地址的4帧的读取还没有完成的情况下，在步骤S57中，相机控制单元11或相机控制单元111将与在步骤S49、 S51、 S53或S54中读取的帧对应的读地址增加。
在步骤S58中，相机控制单元11或相机控制单元111确定在帧存储器24或帧存储器125中写入在步骤S46中已设置了其写开始地址的一帧是否完成。在步骤S58中确定一帧的写入已经完成的情况下，处理返回到步骤S46，并且重复后续的处理。
在步骤S58中确定一帧的写入还没有完成的情况下，在步骤S59中，相机控制单元11或相机控制单元111将写地址增加。
在步骤S60中，相机控制单元11或相机控制单元111确定是否命令了结束成像。
在步骤S60中确定还没有命令结束成像的情况下，处理返回到步骤S47,并且重复后续的处理。在步骤S60中确定已经命令了结束成像的情况下，处理结束。
通过上述的这种处理，拍摄的视频图像数据被分割成帧速率为成像帧速率的1/4的四个视频图像数据部分，并且这些视频图像数据部分被分别并行提供给四个相机信号处理单元。换言之，拍摄的视频图像数据是这样的构成各个帧的数据的一部分并行地顺序地提供给四个相机信号处理单元，从而使帧能够提供给四个相机信号处理单元中的每个。因此，成像设备1和成像设备101形成高分辨率和是一般广泛用于拍摄运动图像的帧速率(例如，每秒60帧)的N倍(例如，四倍)的高帧速率的成像数据的N个并行流，由此能够执行与以普通帧速率拍摄图像的情况下相似的信号处理、图^^压缩处理和记录处理。
此外，成像设备1或成像设备101能够在图10的步骤S8的处理中输出成像数据作为视频或者在图10的步骤S14的处理中输出记录的数据作为视频。如上所述，视频输出所需的帧速率可以与成像帧速率不
同。具体地讲，在成像帧速率是每秒4M帧的情况下(其中，M例如是与一般广泛用于拍摄运动图像的帧速率对应的值)，要输出的视频信号的帧速率可以是每秒M帧、每秒2M帧或每秒4M帧。
接下来，将参照图13和图14的流程图说明在成像设备1或成像设备101中执行的视频输出处理。
在步骤S101中，相机控制单元11或相机控制单元111获取输出帧速率的设置值。这里，将说明如下的情况以每秒240帧的帧速率拍摄图像，对四个数据部分进行帧合成，并且以每秒240帧输出得到的数据。
在步骤S102中，相机控制单元11或相机控制单元111基于输出帧速率的设置值，确定从其读取图像数据的记录单元29或相机信号处理单元25或126。
具体地讲，当在成像设备1或成像设备101中以每秒240帧的帧速率拍摄的数据被分割成四个部分的情况下，如果输出帧速率是每秒60帧，则选择四个记录单元29或者相机信号处理单元25或126中的一个作为从其读取图像数据流的目标。如果输出帧速率是每秒120帧，则选择四个记录单元29或具有不连续(偏移了两帧)的数据帧的相机信号处理单元25或126中的两个作为从其读取图像数据流的目标。如果输出帧速率是每秒240帧，则选择四个记录单元29或所有的相机信号处理单元25或126作为从其读取图像数据流的目标。
在步骤S103中，当视频输出是输出记录在记录单元29上的数据的处理时，相机控制单元11或相机控制单元111开始从预定的记录单元29读取图像数据流并且控制编解码单元28执行解码处理。
在步骤S104中，相机控制单元11或相机控制单元111针对4帧对要写入视频输出单元26的帧存储器(未示出)中的视频图像数据的写开始地址进行设置。
在步骤S105中，相机控制单元11或相机控制单元111对用于确定从其获取要写入视频输出单元26的帧存储器(未示出)中的数据的编
37解码单元28或相机信号处理单元25或126的计数器C的值进行初始化。
这里，在假定以每秒240帧的帧速率拍摄图像、对四个数据部分进行帧合成并以每秒240帧输出得到的数据的情况下给出说明。因此，假定计数器C的值在0到3的范围内进行递增。与之相对，在对构成四通道数据部分中的每秒60帧的两通道视频图像数据的帧进行合成并且以每秒120帧输出结果的情况下，计数器C的值交替地取0和2或者交替地取1和3。此外，在以每秒60帧输出视频图像数据的情况下，计数器C的值不会增加，并且在0到3的范围内恒定。
在步骤S106中，相机控制单元11或相机控制单元111把从视频输出单元26的帧存储器(未示出)输出的要读取的视频图像数据的读开始地址设置在在已经记录在帧存储器上的4帧的视频图像数据之中接下
来要读取的帧的开始行中。
在步骤S107中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C=0。
在步骤S107中确定条件C=0成立的情况下，在步骤S108中，相机控制单元11或相机控制单元111基于4帧之中的在时间上最早的第一帧的写地址，针对帧存储器中的每行，例如以块为单位写入从#1编解码单元28-1或#1相机信号处理单元25-1或U6-l提供的视频图像数据，并且处理进行到步骤S114。
在步骤S107中确定条件O0不成立的情况下，在步骤S109中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C=l。
在步骤S109中确定条件C=l成立的情况下，在步骤S110中，相机控制单元11或相机控制单元111基于4帧之中的在时间上第二早的第二帧的写地址，针对帧存储器的每行，例如以块为单位写入从#2编解码单元28-2或者#2相机信号处理单元25-2或126-2提供的视频图像数据，并且处理进行到步骤S114。
在步骤S109中确定条件C=l不成立的情况下，在步骤Sill中，相机控制单元11或相机控制单元111确定用于确定从其获取要写入帧存储器(未示出)的数据的编解码单元28或相机信号处理单元25或126的计数器C的值是否满足条件C=2。
在步骤Slll中确定条件C-2成立的情况下，在步骤S112中，相机控制单元11或相机控制单元111基于4帧之中的在时间上第三早的第三帧的写地址，针对帧存储器中的每行，例如以块为单位写入从#3编解码单元28-3或#3相机信号处理单元25-3或126-3提供的视频图像数据，并且处理进行到步骤S114。
在步骤Slll中确定条件C-2不成立的情况下，条件C二3成立。因此，在步骤S113中，相机控制单元11或相机控制单元111基于4帧之中的在时间上最后的第四帧的写地址，针对视频输出单元26的帧存储器(未示出)的每行，例如以块为单位写入从#4编解码单元28-4或#4相机信号处理单元25-4或126-4提供的视频图像数据，并且处理进行到步骤S114。
在步骤S108、 SllO、 S112或S113的处理完成后，在步骤Sl"中，相机控制单元11或相机控制单元111将计数器C的值增加。这里，当计数器C的值为3时，计数器C被初始化为O。
在步骤S115中，相机控制单元11或相机控制单元111确定已经在步骤S46中设置了写开始地址的4帧的写入是否已经完成。在步骤S115中确定4帧的写入已经完成的情况下，处理返回到步骤S104，并
且重复后续的处理。
在步骤S115中确定4帧的写入还没有完成的情况下，在步骤S116中，相机控制单元11或相机控制单元111将与在步骤S108、 SllO、S112或S113的处理中已执行写入的帧对应的写地址增加。
在步骤S117中，相机控制单元11或相机控制单元111基于读地址以块为单位读取记录在视频输出单元26的帧存储器(未示出)上的成像数据。在步骤S118中，相机控制单元11或相机控制单元111确定一帧的 读取是否已经完成。在步骤S118中确定一帧的读取已经完成的情况 下，处理返回到步骤S106，并且重复后续的处理。
在步骤S118中确定一帧的读取还没有完成的情况下，在步骤S119 中，相机控制单元11或相机控制单元111将读地址增加。
在步骤S120中，相机控制单元11或相机控制单元111确定是否已 命令结束视频输出。在步骤S120中确定还没有命令结束视频输出的情 况下，处理返回到步骤S107，并且重复后续的处理。在步骤S120中确 定已经命令了结束视频输出的情况下，处理结束。
通过上述的这种处理，能够对已经被分割成四个视频图像数据部分 的、帧速率为成像帧速率的1/4的视频图像数据进行帧合成并且输出。
要注意，这里，在假定将以每秒240帧拍摄的图像分割成作为每秒 60帧的运动图像数据进行处理并记录的四份，并且在再现和输出期间根 据需要执行帧合成的情况下给出说明。然而，不言自明的是，可以使用 拍摄图像的任何其它帧速率以及任何其它份数。
具体地讲，例如，以每秒240帧拍摄的运动图像可以被分割成两个 或三个部分，或者以每秒120帧拍摄的运动图像可以被分割成两个或三 个部分。此外，以每秒200帧拍摄的运动图像可以被分割成四个部分， 或者以每秒100帧拍摄的运动可以被分割成两个部分。作为另一选择， 以每秒96帧拍摄的运动图像可以被分割成四个部分，或者以每秒48帧 拍摄的运动图像可以被分割成两个部分。
此时，当每个通道的运动图像数据部分具有一般广泛用于拍摄运动 图4象的帧速率(例如，每秒60帧、每秒50帧或每秒24帧)时，例 如，可将通用产品用于信号处理或编解码所需的电路等，并且能够降低 成本。
此外，这里，对作为示例的每个通道的部分的帧速率彼此相等的情 况进行了说明。然而，不言自明的是，每个通道的部分可以具有不同的 帧速率。
另外，在上述说明中，对拍摄HD分辨率的图像的情况进行了说明。然而，不言自明的是，本发明还可以应用于拍摄不同分辨率的图像 的情况或以隔行格式显示图像的情况。
也就是说，应用了本发明的成像设备包括能够以是一般广泛用于拍
摄运动图像的帧速率的N倍的帧速率拍摄图像的固态成像元件，并且能 够以帧为单位将图像分割成N个部分从而产生帧速率为成像帧速率的 1/N的N个通道的运动图像数据。可以利用N个并行处理电路并行处理 和记录各个通道的运动图像数据。然后，应用了本发明的成像设备不需 要执行复杂的处理就能够处理高分辨率和高帧速率的成像信号或者长时 间记录成像信号。
另外，在应用了本发明的成像设备中，并行记录的运动图像数据是 帧速率为成像帧速率的1/N(即， 一般广泛用于拍摄运动图^f象的普通帧 速率)的运动图像数据。通过仅仅再现一个通道能够再现普通帧速率的 运动图像，通过再现两个通道能够再现为普通帧速率的两倍的帧速率的 运动图像，并且通过再现N个通道能够再现为普通帧速率的N倍的帧 速率的图像。
此外，在本发明中，为了并行执行处理，此外，为了长时间记录高 分辨率、高帧速率的图像，例如，以帧为最小单位对成像数据进行分 割，而不需要针对每个片段或者在预定的矩形范围内，将成像数据的每 帧分割成多个部分。这使得可以单独再现和显示产生的每个通道的运动 图像数据部分。另外，将要合成的帧的数目改变以使不同帧速率的再现 和输出更容易。此外，在对以低于成像数据的帧速率的帧速率记录的运 动图像被再现的情况下，不需要对不显示的通道执行编解码。
通过这样做，能够提供一种能够长时间记录高分辨率和高帧速率的 图像并且不需要执行复杂的处理就能够根据需要利用记录的运动图像数 据部分通过对帧进行重新布置输出多个帧速率的再现数据的成像设备。
要注意，在显示运动图像的情况下，根据帧速率或场速率的增加， 由观看显示的图像的观察者给出的急动或运动模糊的评价值提高。图15 示出了针对多个用户，电影的帧速率与利用五个等级作为控制对图像质 量进行评价的情况下的评价值之间的关系的示例。在每秒150帧附近针对急动(jerkiness)和运动才莫糊，平均地实现 了五等级评价中的4以上等级的评价，具有如下趋势评价值增加直至 接近每秒250帧，而在更高帧速率或场速率下评价值没有增加太多(例 如，见日本未审专利申请公报No. 2004-266808 )。
当前广泛采用的许多视频资源是每秒50帧或每秒60帧的。因此， 考虑视频资源的效率的理想频率是为每秒50帧或60帧的整数倍的频 率，即每秒240帧或每秒200帧。当输出场速率具有以上任何值时，观 看显示的图像的观察者不会观察到闪烁或者基本不会察觉到急动或运动 模糊，这是优选的。此外，由于当前广泛采用的许多视频资源是每秒50 帧或每秒60帧的，所以当某部分的帧速率是每秒50帧或每秒60帧 时，可将通用产品用于执行信号处理或编解码的电路，并且能够降低成 本。
能够通过硬件或软件执行上述的一系列处理。该软件可以从记录介 质安装到构成该软件的程序被包括在专用硬件内的计算机中或者例如能 够通过安装各种程序执行各种功能的通用个人计算机等中。在这种情况 下，通过如图16所示的个人计算才几500执行上迷的处理。
在图16中，CPU (中央处理单元)501根据存储在ROM (只读存 储器)502中的程序或者从存储单元508加载到RAM (随4踏取存储 器)503的程序执行各种处理。RAM 503还按需要存储CPU 501执行 各种处理所需的数据等。
CPU 501、 ROM 502和RAM 503经由内部总线504 ;f皮此连接。输 入/输出接口 505也连接到该内部总线504 。
输入/输出接口 505连接到由键盘、鼠标等组成的输入单元506、由 包括CRT、 LCD等的显示器、扬声器等组成的输出单元507、由硬盘 等构成的存储单元508和由调制解调器、终端适配器等构成的通信单元 509。通信单元509经由包括电话线和CATV的各种网络执行通信处 理。
根据需要，输入/输出接口 505还连接到驱动器510，在驱动器510 中按需要安置有由磁盘、光盘、磁光盘、半导体存储器等构成的可移动
42介质521。根据需要，从驱动器510读取的计算机程序被安装到存储单 元508中。
在通过软件执行这一系列处理的情况下，从网络或记录介质安装构 成该软件的程序。
不仅可以如图16所示由与计算机分离而置以向用户提供程序的记 录有程序的可移动介质521构成的套装介质构成该记录介质，还可以由 在预先包括在设备主体中的状态下提供给用户的记录有程序的ROM 502、包括存储单元508的硬盘等构成该记录介质。
要注意，在通过软件执行上述的一系列处理的情况下，可以由 CPU 501执行信号处理和编解码，或者可以准备执行信号处理和编解码 的硬件部件并且CPU 501可以执行用于控制这些硬件部件的程序(执 行基本与由相机控制单元11或相机控制单元111执行的控制相似的控 制)。
要注意，在本说明书中，描述计算机程序的步骤被设计为包括根据
理的并行或单独执行的处理。
要注意，本发明的实施例不限于上述的实施例，并且在不脱离本发 明的范围的情况下可以进行各种修改。
权利要求
1.一种成像设备，包括成像装置，用于获得第一速率的成像数据；数据分割装置，用于以帧为单位对由成像装置拍摄的第一速率的成像数据进行分配，并且将该成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及N个图像处理装置，用于对由分割装置获得的N个通道的运动图像数据进行并行处理。
2. 根据权利要求1的成像设备，还包括输出装置，所述输出装置用于输出由图像处理装置进行了处理的N个通道的运动图像数据，其中，所述输出装置仅输出N个通道的运动图像数据中的一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
3. 根据权利要求2的成像设备，还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据，其中，所述输出装置输出记录在所述记录装置上的N个通道的运动图像数据的至少一部分。
4. 根据权利要求3的成像设备，其中，所述记录装置被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且分别记录由图像处理装置进行了处理的N个通道的运动图像数据。
5. 根据权利要求1的成像设备，其中，第二速率是每秒60帧。
6. 根据权利要求1的成像设备，其中，第二速率是每秒50帧。
7. 根据权利要求1的成像设备，其中，第二速率是每秒24帧。
8. 根据权利要求1的成像设备，其中，N个通道是四个通道。
9. 根据权利要求1的成像设备，其中，N个通道是两个通道。
10，根据权利要求1的成像设备，其中，第一速率是每秒240帧。
11. 根据权利要求1的成像设备，还包括记录装置，所述记录装置用于记录由图像处理装置进行了处理的N个通道的运动图像数据。
12. 根据权利要求11的成像设备，其中，所述记录装置被配置为设置N个记录装置或者使记录装置被分割成N个区域，并且分别记录由图像处理装置进行了处理的N个通道的运动图像数据。
13. 根据权利要求11的成像设备，还包括编码装置，所述编码装置用于对由图像处理装置进行了处理的N个通道的运动图像数据进行编码，其中，所述记录装置记录由编码装置进行了编码的N个通道的运动图4象数据。
14. 根据权利要求13的成像设备，还包括解码装置，用于对由编码装置进行了编码并且由记录装置记录的N个通道的运动图像数据进行解码；以及输出装置，用于输出由解码装置进行了解码的N个通道的运动图像数据，其中，解码装置仅对N个通道的运动图像数据中的一个通道进行解码，或者基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分进行解码，并且输出装置输出N个通道的运动图像数据中的由解码装置进行了解码的所述一个通道，或者输出基于要输出的运动图像数据的速率对N个通道的运动图像数据的至少一部分执行帧合成而获得的结果。
15. —种用于拍摄运动图像数据的成像设备的成像方法，所述成像方法包括如下步骤以第一速率执行成像；以帧为单位将拍摄的第一速率的成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及利用N个并行单元对荻得的N个通道的运动图像数据进行处理。
16. —种使计算机执行拍摄运动图像数据的处理的程序，所述程序使计算机执行包括如下步骤的处理以第一速率控制成像；以帧为单位将拍摄的第一速率的成像数据分割成第二速率的N个通道的运动图像数据，其中第二速率是为第一速率的1/N的速率，N是正整数；以及利用N个并行单元对获得的N个通道的运动图像数据进行处理。
17. —种记录有根据权利要求16的程序的记录介质。
全文摘要
本发明涉及一种能够以与普通帧速率的成像数据相似的方式对一速率的成像数据进行处理的成像设备、成像方法、记录介质和程序。由能够执行高分辨率、高帧速率的成像的固态成像元件拍摄的图像数据被提供给存储器控制单元23。在将从成像元件22输入的成像数据写入帧存储器24中的同时，存储器控制单元23读取记录在帧存储器24上的成像数据的先前帧，并且针对每帧向各个相机信号处理单元25顺序地分别并行输出它们，作为由附图中的b到e指示的视频图像数据。然后，在相机信号处理单元25、视频输出单元26、取景器输出单元27、编解码单元28和记录单元29中，执行与为成像帧速率的1/4的帧速率的情况下的处理相似的处理。本发明能够应用于成像设备。
文档编号H04N5/93GK101690190SQ20088002169
公开日2010年3月31日 申请日期2008年6月30日 优先权日2007年6月29日
发明者大桥功, 小林诚司, 黑木义彦 申请人:索尼株式会社