图像再现装置和方法、图像捕捉装置及其控制方法

专利名称：图像再现装置和方法、图像捕捉装置及其控制方法
技术领域：
本发明涉及图像再现装置、图像再现方法、图像捕捉装置及其控制方 法。更具体而言，本发明旨在以高于预先设置的基准图像速率的图像速率 执行图像捕捉，以使得当以基准图像速率来再现所捕捉图像的生成的捕捉 图像的图像信号时，根据所捕捉图像的运动来控制再现速度。
背景技术：
传统上，在日本未审查专利申请公布No.2005-295423中，提出了一种 方法，其中，所捕捉图像被临时保存在存储器中，并且还被记录在记录介 质上，以使得可以以平滑运动来再现慢动作视频。
艮P，在日本未审查专利申请公布No.2005-295423所公开的技术中，场 频例如为240场每秒的图像信号被生成，并且该图像信号被顺序存储在存 储器中，240场每秒的场频高于视频信号的常规场频，即50场每秒或60 场每秒。此外，当完成图像捕捉时，存储在该存储器中的图像信号被以视 频信号的常规场频来读取，并且被记录在诸如硬盘设备之类的记录介质 上。此外，当用户指示再现时，记录在该记录介质上的图像信号被以视频 信号的常规场频来再现。因此，可以获得具有平滑运动的慢动作再现图 像。
顺便提及，当使用日本未审査专利申请公布No.2005-295423的技术 时，因为所捕捉图像的图像信号被以较高速度来存储在存储器中，之后被 从存储器读取并被记录在记录介质上，所以允许利用一次图像捕捉来捕捉 图像的时间受存储器容量的限制。为此，如果存储器具有较小容量，则难 以在存储器中保存要以慢动作来再现的所捕捉图像的图像信号。例如，如 果开始在存储器中写入图像信号的定时早于写入要以慢动作再现的所捕捉 图像场景的定时，则当写入要以慢动作再现的所捕捉图像场景时，存储器中将没有空间，并且将无法保存该图像信号。这导致了错过宝贵的图像捕 捉机会的问题。此外，如果增加存储器的容量以使得可以容易地在存储器 中保存要以慢动作再现的所捕捉图像的图像信号，则成本增加。另外，在 将所捕捉图像的图像信号存储在存储器中并在之后读取该图像信号并将其 记录在记录介质上的方法中，在已经读取存储在存储器中的所有图像捕捉 结果之前无法捕捉下一场景。为此，在以较短间隔重复所需场景的情况 下，可能会错过捕捉所重复场景中的一些。
此外，如果在没有介入存储器的情况下将高速捕捉图像的图像信号记 录在记录介质上，则即使在没有根据存储器容量来控制所捕捉图像的记录 定时的情况下，也可在记录介质上记录要以慢动作再现的所捕捉图像的图 像信号。但是，如果以视频信号的常规场频来再现以这种方式记录的图像 信号，则所记录的所有所捕捉图像都被以慢动作来再现。因此，存在显示 所需慢动作图像的等待时间较长的情况
发明内容
技术问题
考虑到上述几点，本发明的一个特征是容易地获取运动中的对象的慢 动作图像。
为了解决上述问题，本发明的图像再现装置被配置为包括信号再现 单元，其对所捕捉图像的图像信号进行再现，该所捕捉图像是通过以比预 设图像速率高的图像速率执行图像捕捉而被生成的；再现控制信息生成单 元，其使用运动检测结果来生成再现控制信息，所述运动检测结果是通过
使用从信号再现单元输出的图像信号执行运动检测而获得的；信号处理单
元，其将从信号再现单元输出的图像信号的图像速率转换为所述预设图像
速率；以及控制单元，其基于所述再现控制信息来控制从信号再现单元输 出到信号处理单元的图像信号的图像速率，以随着由所述运动检测结果指 示的运动的增大而降低所捕捉图像的再现速度。
此外，本发明的图像再现方法被配置为包括信号再现步骤，对通过
以比预设图像速率高的图像速率执行图像捕捉而生成的所捕捉图像的图像信号进行再现；再现控制信息生成步骤，使用运动检测结果来生成再现控
制信息，该运动检测结果是通过使用要在信号再现步骤再现的图像信号执
行运动检测而获得的；信号处理步骤，将在信号再现步骤再现的图像信号 的图像速率转换为所述预设图像速率；以及再现控制步骤，基于所述再现 控制信息来控制在信号处理步骤中使用的、在信号再现步骤中再现的所述 图像信号的图像速率，以随着在运动检测中检测到的运动的增大而降低所 捕捉图像的再现速度。
本发明的图像捕捉装置被配置为包括图像捕捉单元，其生成所捕捉 图像的图像信号，该所捕捉图像是通过以比预设图像速率高的图像速率执 行图像捕捉而生成的；再现控制信息生成单元，其使用运动检测结果来生 成再现控制信息，该运动检测结果是通过使用由所述图像捕捉单元生成的 所述图像信号执行运动检测而获得的，所述再现控制信息用于在再现所述 图像信号期间随着在运动检测中检测到的运动的增大而降低所捕捉图像的 再现速度；以及输出单元，其与所述图像信号相对应地输出所述再现控制
"(曰息。
本发明的用于图像捕捉装置的控制方法被配置为包括图像捕捉步 骤，生成所捕捉图像的图像信号，该所捕捉图像是通过以比预设图像速率 高的图像速率执行图像捕捉而生成的；再现控制信息生成步骤，使用运动
检测结果来生成再现控制信息，该运动检测结果是通过使用在所述图像捕 捉步骤中生成的所述图像信号执行运动检测而获得的，所述再现控制信息 用于在再现所述图像信号期间随着在运动检测中检测到的运动的增大而降
低所述所捕捉图像的再现速度；以及输出步骤，与所述图像信号相对应地 输出所述再现控制信息。
根据本发明，可很容易地获得运动中的对象的慢动作图像。


图1是图示出图像捕捉装置的结构的框图。 图2是图示出校正处理单元的结构的框图。 图3是图示出相机信号处理单元的结构的框图。图4是图示出图像组合单元和帧存储单元的结构的框图。
图5是用于说明图像组合的示图。 图6是图示出压縮/扩展单元的结构的框图。 图7是图示出图像再现装置的结构的框图。 图8是图示出图像记录装置的结构的框图。
图9是用于说明在标准图像捕捉模式下记录所捕捉图像时的处理的示图。
图10是用于说明在再现在标准图像捕捉模式下记录的所捕捉图像时 的处理的示图。
图11是用于说明在高速图像捕捉模式下记录所捕捉图像时的处理的 示图。
图12是用于说明在再现在高速图像捕捉模式下记录的所捕捉图像时 的处理的示图。
图13是用于说明运动向量和加权系数设置信号之间的关系的示图。
图14是用于说明图像信号和加权系数之间的关系的示图。
图15是作为示例图示出加权系数的示图。
图16是用于说明对象的运动检测的示图。
图17是图示出判定值和所建议再现速度之间的关系的示图。
图18是在高速图像捕捉模式下记录所捕捉图像时的时间图。
图19是在再现在高速图像捕捉模式下记录的所捕捉图像时的时间图。
图20是在再现在高速图像捕捉模式下记录的所捕捉图像时执行运动 检测并执行再现控制的时间图。
图21是图示出另一实施例的结构的示图。
具体实施例方式
以下，将参考

本发明的实施例。图1是图示出图像捕捉装置 的结构的框图。图像捕捉装置10被配置为能够在作为操作模式的标准图 像捕捉模式和高速图像捕捉模式之间切换。标准图像捕捉模式是在常规图像捕捉期间的操作模式，其中，具有预先设置的基准图像速率的图像信号 被生成。高速图像捕捉模式是这样的操作模式，其中，以高于标准图像捕 捉模式的速度来执行图像捕捉以使得可以获得具有高时间分辨率的慢动作 再现图像，以生成具有高于基准图像速率并且是基准图像速率的整数倍的 图像速率(以下称为"高速图像速率")的图像信号。这里，术语基准图 像速率指的是在电视系统中使用的场速率或帧速率。当图像捕捉装置10 处于标准图像捕捉模式时，图像捕捉装置10生成基准图像速率的图像信
号，例如，60场每秒的隔行扫描类型的图像信号，或者60帧每秒的逐行 扫描类型的图像信号。此外，当图像捕捉装置10处于高速图像捕捉模式 时，图像捕捉装置IO生成高速图像速率的图像信号，例如，240场每秒的 隔行扫描类型的图像信号，或者240帧每秒的逐行扫描类型的图像信号。 注意，在以下说明中，作为一个示例图示了这样一种情况，其中，60帧每 秒(60[*Sp的逐行扫描类型的图像信号被生成作为基准图像速率的图像 信号，并且四倍于基准图像速率的240帧每秒(240[Q)s])的逐行扫描类型 的图像信号被生成作为高速图像捕捉模式下的图像信号。
此外，在图1所示的图像捕捉装置的结构中，不仅图示了在标准图像 捕捉模式和高速图像捕捉模式下生成所捕捉图像的图像信号的情况，而且 还图示了可将图像信号记录到记录介质62上或者可读取记录在记录介质 62上的图像信号以显示再现图像或输出再现图像的图像信号的情况。
在图像捕捉装置10中，透镜单元11受以下将描述的控制单元81控制 而能够改变焦距、孔径和縮放，以收集在图像捕捉单元12的图像传感器 121的图像捕捉表面上的入射光。
图像捕捉装置10的图像捕捉单元12被构造为使用图像传感器121、 AFE (模拟前端)122、 ADC (模数转换器)123和校正处理单元124。图 像捕捉单元12的操作受以下将描述的控制单元81的控制。
由CMOS (互补金属氧化物半导体)类型等的固态图像捕捉元件来实 现图像传感器121。图像传感器121对形成在图像捕捉表面上的光学图像 执行光电转换处理，并输出作为图像捕捉结果的图像捕捉信号。注意，图 像传感器121设有CDS (相关双采样)电路，并且该CDS电路对图像捕捉信号执行相关双采样处理以降低图像捕捉信号中的噪声。
此外，图像传感器121受控制单元81控制而切换其操作。当操作模
式被设置为标准图像捕捉模式时，图像传感器121生成基准图像速率(基 准帧速率)的图像捕捉信号，例如，60[Q)s]的图像捕捉信号。此外，当操 作模式被设置为高速图像捕捉模式时，图像传感器121生成高速图像速率 (高速帧速率)的图像捕捉信号，该高速帧速率高于基准帧速率并且是基 准帧速率的整数倍，例如，240[fi)s]的图像捕捉信号。注意，与输出基准帧 速率的图像捕捉信号的情况相同，即使在输出帧速率为240[fys]的图像捕 捉信号的情况下，图像传感器121也从图像捕捉表面上的有效图像区域读 取所有像素的图像捕捉结果，并输出图像捕捉信号。此外，与以基准帧速 率输出图像捕捉信号的情况相比，可以执行行抽取(decimation)和像素 抽取的至少一个以减少一个画面上的像素数目。
AFE (模拟前端)122对从图像传感器121输出的图像捕捉信号执行 AGC (自动增益控制)处理以控制图像捕捉信号的增益。ADC (模数转换 器)123将经AFE 122处理的模拟图像捕捉信号转换为数字图像信号，并 将该数字图像信号提供给校正处理单元124。
校正处理单元124对从ADC 123提供的图像信号执行各种校正处理。 图2是图示出校正处理单元124的结构的框图。校正处理单元124的电平 校正单元124a对从ADC 123提供的图像信号执行电平调节处理。像素校 正单元124b对电平调节处理之后获得的图像信号执行像素缺陷校正处 理。白平衡调节单元124c对像素缺陷校正处理之后获得的图像信号执行白 平衡调节处理，并以图1所示的方式将经过处理的图像信号DV1提供给相 机信号处理单元20、记录/再现处理单元61和检测单元71。
在标准图像捕捉模式和高速图像捕捉模式下，相机信号处理单元20 对从图像捕捉单元12提供的图像信号DV1执行相机信号处理，并将经过 处理的图像信号DV2输出到图像压縮/扩展单元41、图像输出单元51和显 示处理单元52。此外，以下将描述，在高速图像捕捉模式下在未经历相机 信号处理的所捕捉图像被记录在记录介质62上的情况下，在再现所记录 的所捕捉图像期间，相机信号处理单元20对从记录/再现处理单元61提供的图像信号DV3执行相机信号处理，并将经过处理的图像信号DV4输出 到图像输出单元51和显示处理单元52。
此外，相机信号处理单元20与帧存储单元31相连接，帧存储单元31 例如由SDRAM (同步动态随机访问存储器)等构成。当图像信号DV1或 图像信号DV3具有与基准帧速率不同的帧速率时，通过使用帧存储单元 31，相机信号处理单元20将图像信号DV1或图像信号DV3转换为基准帧 速率的图像信号。即，相机信号处理单元20输出基准帧速率的图像信号 DV2禾B DV4，而无论图像信号DV1或图像信号DV3的帧速率为多少。
图3是图示出相机信号处理单元20的结构的框图。图像组合单元21 被设计用于执行图像速率转换的目的，以使得将图像信号DV1或图像信号 DV3转换为基准帧速率的图像信号。当操作模式被设置为标准图像捕捉模 式时，图像信号DV1具有基准帧速率。因此，图像组合单元21在没有转 换图像信号DV1的帧速率的情况下，将从图像捕捉单元12的校正处理单 元124提供的图像信号DV1提供给像素插值单元22。此外，当操作模式 被设置为高速图像捕捉模式时，图像组合单元21对从图像捕捉单元12的 校正处理单元124提供的图像信号DV1和在再现在高速图像捕捉模式下记 录在记录介质62上的所捕捉图像期间从记录/再现处理单元61提供的图像 信号DV3执行图像速率转换，以将所提供的图像信号转换为基准帧速率的 图像信号，并将得到的图像信号提供给像素插值单元22。例如，图像组合 单元21使用帧存储单元31来执行图像组合以与图像信号DV1或DV3的 基准帧周期相对应地组合帧图像，以产生一个帧的图像。这样，图像信号 DV1或DV3被转换为基准帧速率的图像信号。
图4是图示出图像组合单元21和帧存储单元31的详细结构的框图， 并图示了通过使用帧存储单元31并利用图像信号的循环加算来执行图像 组合以将高速帧速率的图像信号转换为基准帧速率的图像信号的情况。
图像组合单元21将从校正处理单元124提供的图像信号DV1或从记 录/再现处理单元61提供的图像信号DV3提供给乘算电路211。乘算电路 211将图像信号DV1或图像信号DV3乘以由加权系数生成单元212生成 的加权系数，并将乘以加权系数的图像信号提供给加算电路213。加算电路213将从乘算电路211提供的图像信号与从帧存储单元31的仓库 (bank)读取的图像信号相加，并将加算处理之后获得的图像信号提供给 帧存储单元31。
帧存储单元31被构造为使用仓库312a、仓库312b和信号切换单元 311、 313和314。注意，仓库312a和仓库312b具有能够存储一个帧的图 像信号的存储容量。
信号切换单元311将从加算电路213提供的图像信号提供给仓库312a 或仓库312b。注意，用图像信号Dfwa表示要被提供给仓库312a的图像信 号，并用图像信号Dfwb表示要被提供给仓库312b的图像信号。
信号切换单元313将从仓库312a读取的图像信号Dfra或从仓库312b 读取的图像信号Dfrb提供给加算电路213。信号切换单元314将从仓库 312a读取的图像信号Dfm或从仓库312b读取的图像信号Dfrb提供给除算 电路214。
这里，在图像组合单元21和帧存储单元31中，信号切换单元313选 择从一个仓库读取的图像信号，例如从仓库312a读取的图像信号Dfra， 并且信号切换单元311将作为所选图像信号Dfm和从乘算电路211提供的 图像信号之间的加算结果而获得的图像信号提供给仓库312a作为图像信号 Dfwa。这将使得仓库312a存储经历过循环加算的图像信号。此外，在图 像组合单元21和帧存储单元31中，当预定数目帧的循环加算完成时，使 用仓库312b执行循环加算，并且己经对其完成预定数目帧的循环加算的 图像信号被从仓库312a读取，并通过信号切换单元314被提供给除算电路 214。以这种方式执行的循环加算将使得图像组合单元21和帧存储单元31 能够在使用一个仓库执行针对一个基准帧周期的循环加算的同时，针对该 基准帧周期从另一仓库读取已经完成了预定数目帧的循环加算的图像信 号。所读取的图像信号可被提供给除算电路214作为基准帧速率的图像信 号。
除算电路214根据已经与加权系数相加的帧的数目，对从帧存储单元 31的信号切换单元314提供的图像信号执行除算处理。然后，已经完成循 环加算的图像信号被提供给像素插值单元22作为预定信号电平范围内的图像信号。例如，当考虑图像信号DV1具有恒定信号电平的情况时，假设
对四个帧执行循环加算，其中每一个帧具有加权系数"2"。于是，已经 完成循环加算的图像信号的信号电平是图像信号DV1的信号电平的八倍。 为此，除算电路214根据已经与加权系数相加的帧的数目来执行除算处 理，并将已经完成循环加算的图像信号乘以(1/8)以获得在预定信号电平 范围内的图像信号。
加权系数生成单元212与帧计数器215相连接。帧计数器215生成一 计数值，该计数值指示出要被提供给乘算电路211的图像信号所对应的是 要经历循环加算的帧中的哪个帧，并将该计数值提供给加权系数生成单元 212。在对从校正处理单元124提供的图像信号DV1执行循环加算的情况 下，加权系数生成单元212基于从控制单元81提供的加权系数选择值WS 生成对于要经历循环加算的各个帧而言都是相等的加权系数，并将这些加 权系数提供给乘算电路211。此外，在对从记录/再现处理单元61提供的 图像信号DV3执行循环加算的情况下，加权系数生成单元212基于从控制 单元81提供的加权系数选择值WS生成对于要经历循环加算的各个帧而 言都相等的加权系数，或者在各帧之间不同的加权系数，并将这些加权系 数提供给乘算电路211。
图5是用于说明在图像信号DV1或DV3的帧速率为基准帧速率的四 倍的情况下的图像组合的示图。当以上述方式使用图像组合单元21和帧 存储单元31来执行图像组合时，如图5的部分(A)所示，基于从校正处 理单元124提供的图像信号DV1和从记录/再现处理单元61提供的图像信 号DV3的图像被使得例如四个帧(即，帧a到帧d)被组合了。如图5的 部分(B)所示，产生了具有基准帧速率的图像的一个帧(a + b + c + d)。这样，图像信号DV1或DV3可被转换为基准帧速率的图像信号。
图3中的像素插值单元22使用去马赛克(demosaic)处理将从图像组 合单元21输出的图像信号转换为由R、 G和B组成的三个平面的图像信 号，并输出这些图像信号。轮廓校正单元23从所提供的图像信号分离高 频分量，并从高频分量生成轮廓校正数据。颜色校正单元24从所提供的 图像信号分离低频分量，并对低频分量执行线性矩阵处理等以执行颜色校正。
Y/拐点处理单元25将由轮廓校正单元23生成的轮廓校正信号与经颜 色校正单元24处理的图像信号组合，并对组合后的图像信号执行Y校正、 拐点处理等。颜色空间转换单元26将经Y/拐点处理单元25处理的图像信 号转换为亮度信号和色差信号的图像信号。分辨率转换单元27将所提供 的图像信号转换为具有预定显示分辨率的图像信号，并输出得到的图像信 号作为图像信号DV2或图像信号DV4。
图1中的图像压縮/扩展单元41被配置为执行以下处理使用所提供 的图像信号来执行运动检测的处理，基于运动检测结果对图像信号进行压 縮以生成编码信号的处理，以及对编码信号进行扩展以生成图像信号的处 理。
在标准图像捕捉模式下，在从控制单元81接收到记录所捕捉图像的 指令时，图像压縮/扩展单元41使用诸如MPEG (运动图像专家组)之类 的运动图像编码方案对从相机信号处理单元20输出的图像信号DV2执行 压縮处理，并将编码信号DW输出到记录/再现处理单元61。在高速图像 捕捉模式下，在从控制单元81接收到记录所捕捉图像的指令时，图像压 縮/扩展单元41逐个宏块地从图像信号DV2检测运动向量MV，并将该运 动检测结果(即，运动向量MV)输出给记录/再现处理单元61或控制单 元81。
此外，在再现在标准图像捕捉模式下记录在记录介质62上的所捕捉 图像期间，图像压縮/扩展单元41对从记录/再现处理单元61提供的编码 信号DR执行扩展处理，并将所获得的图像信号DV5提供给图像输出单元 51或显示处理单元52。
另外，当从记录/再现处理单元61提供图像信号DV3时，图像压縮/ 扩展单元41使用图像信号DV3执行运动检测，以逐个宏块地从图像信号 DV3检测运动向量MV，并将该运动检测结果(即，运动向量MV)输出 到控制单元81。
图6是图示出图像压縮/扩展单元41的结构的框图。在图像压縮/扩展 单元41中，MV检测器411顺序地从图像信号DV2检测每一个宏块的运动向量MV。在标准图像捕捉模式下记录期间，MV检测器411将该运动 向量MV输出给运动补偿器412。此外，在高速图像捕捉模式下记录期 间，MV检测器411将该运动向量MV输出到记录/再现处理单元61或控 制单元81。
在对运动图像进行编码期间，运动补偿器412使用MV检测器411所 检测到的运动向量MV对存储在图像存储器413中的图像信号执行运动补 偿，并且生成并输出用于编码的预测值。此外，在对运动图像进行解码期 间，类似地，运动补偿器412使用经MV解码器414解码的运动向量MV 生成用于解码的预测值。
在对运动图像进行编码期间，预测减法器415从自相机信号处理单元 20输入的图像信号DV2减去由运动补偿器412生成的用于编码的预测 值，并输出预测误差值。
DCT 416对预测减法器415的输出信号执行二维离散余弦变换，并输 出作为该处理的结果而获得的系数数据。量化器417对DCT 416所生成的 系数数据执行量化处理，并且可变长度编码器418对量化器417的输出数 据执行可变长度编码处理。MV编码器419对由MV检测器411检测到的 用于编码的运动向量MV执行编码处理。复用器420对可变长度编码器 418的输出数据和MV编码器419的输出数据执行复用处理，并输出结果 作为编码信号DW。
在编码期间，反量化器(dequantizer) 421对量化器417的输出数据执 行反量化处理，并输出得到的数据。此外，在解码期间，反量化器421对 可变长度解码器422的输出数据执行反量化处理并输出得到的数据。
逆DCT 423以与DCT 416相反的方式对反量化器421的输出数据进行 处理，并输出得到的数据。加法器424将用于编码或解码的预测值与逆 DCT 423的输出信号相加以生成图像信号DV5。图像存储器413存储并保 持该解码后的图像信号DV5以用于运动补偿。
在解码期间，解复用器426将从记录/再现处理单元61输出的编码信 号DR分成与系数数据相对应的一部分和与运动向量MV相对应的一部 分，并输出这些部分。MV解码器414从解复用器426的此输出数据解码出运动向量MV，并将该运动向量MV输出给运动补偿器412。可变长度 解码器422从解复用器426的该输出数据解码出系数数据，并将该系数数 据输出给反量化器421。
图1的图像输出单元51是与外部设备相连接的接口。在标准图像捕 捉模式和高速图像捕捉模式下，图像输出单元51将从相机信号处理单元 20提供的图像信号DV2输出到外部设备作为输出图像信号DVont。注 意，外部设备例如是监视器设备等。此外，在再现在标准图像捕捉模式下 记录在记录介质62上的所捕捉图像期间，图像输出单元51将从图像压縮/ 扩展单元41提供的图像信号DV5输出到外部设备作为输出图像信号 DVout。另外，在再现在高速图像捕捉模式下记录在记录介质62上的所捕 捉图像期间，图像输出单元51将从相机信号处理单元20输出的图像信号 DV4输出给外部设备作为输出图像信号DVout。
显示处理单元52与显示单元53相连接，显示单元53例如由LCD (液晶显示器)构成。在标准图像捕捉模式和高速图像捕捉模式下，显示 处理单元52根据显示单元53的显示分辨率将从相机信号处理单元20输出 的图像信号DV2转换为显示图像信号DH，并使用该显示图像信号DH来 驱动显示单元53以使得在显示单元53上显示所捕捉图像。此外，在再现 在标准图像捕捉模式下记录在记录介质62上的所捕捉图像期间，显示处 理单元52根据显示单元53的显示分辨率将从图像压縮/扩展单元41输出 的图像信号DV5转换为显示图像信号DH，并使用该显示图像信号DH来 驱动显示单元53以使得在显示单元53上显示再现图像。另外，在再现在 高速图像捕捉模式下记录在记录介质62上的所捕捉图像期间，显示处理 单元52根据显示单元53的显示分辨率将从相机信号处理单元20输出的图 像信号DV4转换为显示图像信号DH，并使用该显示图像信号DH来驱动 显示单元53以使得在显示单元53上显示再现图像或慢动作再现图像。
记录/再现处理单元61受控制单元81控制而执行向记录介质62写入 所捕捉图像或从记录介质62读取所捕捉图像。记录介质62是随机可访问 的各种记录介质，或者难以随机访问的各种记录介质，例如磁带。此外， 随机可访问的记录介质例如是硬盘设备、诸如闪存的半导体存储器、诸如DVD (数字多功能盘)的光盘等。
在标准图像捕捉模式下，记录/再现处理单元61将从图像压縮/扩展单 元41输出的编码信号DW记录到记录介质62上。此外，在高速图像捕捉 模式下，记录/再现处理单元61将从图像捕捉单元12输出的图像信号DV1 记录到记录介质62上。此时，记录/再现处理单元61获得从图像压縮/扩 展单元41通知的运动向量MV作为再现控制信息RJ，或者获得由控制单 元81生成的再现控制信息RJ。记录/再现处理单元61与图像信号DY1相 关联地记录该再现控制信息RJ。再现控制信息RJ是用于执行以下再现控 制的信息用于随着所捕捉图像中的对象的运动的增大而降低所捕捉图像 的再现速度的再现控制，或者用于缓和再现图像中的运动模糊的再现控 制。
在再现在标准图像捕捉模式下记录的所捕捉图像期间，记录/再现处理 单元61将从记录介质62读取的编码信号DR提供给图像压縮/扩展单元 41。此外，在再现在高速图像捕捉模式下记录的所捕捉图像期间，记录/再 现处理单元61从记录介质62读取图像信号以及与该图像信号相对应的再 现控制信息RJ，并将该图像信号DV3和再现控制信息RJ分别输出到相机 信号处理单元20和控制单元81。
另外，在再现在高速图像捕捉模式下记录的所捕捉图像期间无法读取 再现控制信息RJ的情况下，记录/再现处理单元61将图像信号DV3提供 给相机信号处理单元20和图像压縮/扩展单元41 。
检测单元71从自图像捕捉单元12输出的图像信号DV1中检测用于一 个帧周期的孔径调节、焦距调节和白平衡调节的必要信息KD，并通知控 制单元81。注意，该必要信息例如是在特定区域内的像素值的累加加算 值，峰值等。
控制单元81与用户接口单元82相连接。用户接口单元82根据用户操 作生成操作信号PS，并将该操作信号PS提供给控制单元81 。
控制单元81是例如由CPU (中央处理单元)、ROM (只读存储 器)、RAM (随机访问存储器)等构成的微控制器。控制单元81执行记 录在ROM等上的程序以生成控制信号CT从而使得图像捕捉装置10的操作可以成为根据基于用户操作的操作信号PS的操作，并将控制信号CT提
供给各个部分以控制各个部分的操作。注意，在此实施例中，通过将程序
预先安装在图像捕捉装置10中来提供程序，但是，取代预先安装，可通 过将程序记录在诸如光盘、磁盘或存储卡之类的记录介质上来提供程序， 或者可通过经由诸如因特网之类的网络下载程序来提供该程序。
当操作模式被设置为标准图像捕捉模式时，控制单元81执行控制以 便生成基准帧速率的图像信号DV1，并以该基准帧速率显示所捕捉图像。 当操作模式被设置为高速图像捕捉模式时，控制单元81执行控制以便生 成高速帧速率的图像信号DV1，执行图像速率的转换，并以基准帧速率显 示所捕捉图像。
此外，当操作模式是标准图像捕捉模式时在确定已经执行记录开始操 作的情况下，控制单元81还执行控制以对已经经历相机信号处理的基准 帧速率的图像信号执行压縮处理并将得到的图像信号记录到记录介质62 上。当操作模式是高速图像捕捉模式时在确定已经执行记录开始操作的情 况下，控制单元81还执行控制以生成再现控制信息RJ并将该再现控制信 息RJ与图像信号DV1相对应地记录到记录介质62上，其中，该再现控制 信息RJ用于执行用于随着对象运动的增大而降低所捕捉图像的再现速度 的再现控制，或者用于减轻再现图像中的运动模糊的再现控制。注意，在 记录操作期间在确定己执行记录终止操作的情况下，控制单元81执行控 制以停止向记录介质62的记录。
在确定已经执行针对在标准图像捕捉模式下记录在记录介质62上的 所捕捉图像的再现操作的情况下，控制单元81执行控制以从记录介质62 读取所需的编码信号，执行解码处理，并以基准帧速率显示再现图像；或 者执行控制以输出基准帧速率的再现图像信号。
在确定已经执行针对在高速图像捕捉模式下记录在记录介质62上的 所捕捉图像的再现操作的情况下，控制单元81执行控制以从记录介质62 读取所需图像信号和与该图像信号相关联的再现控制信息RJ，并以基准帧 速率显示再现图像；或者执行控制以输出基准帧速率的再现图像的图像信 号。此外，控制单元81基于再现控制信息RJ，执行用于随着对象运动的增大而降低所捕捉图像的再现速度的再现控制，或者用于减轻再现图像中 的运动模糊的再现控制。
此外，在再现在高速图像捕捉模式下记录在记录介质62上的所捕捉 图像期间在无法获得再现控制信息RJ的情况下，控制单元81从读取自记 录介质62的图像信号生成再现控制信息RJ，并基于该再现控制信息RJ执 行用于随着对象运动的增大而降低所捕捉图像的再现速度的再现控制，或 者用于减轻再现图像中的运动模糊的再现控制。
注意，控制单元81还根据来自检测单元71的信息KD执行以下控 制，该控制用于执行一个帧周期的透镜单元11的孔径调节和焦距调节并 使得校正处理单元124执行一个帧周期的白平衡调节。
顺带提及，在上述实施例中，已经说明了这样一种图像捕捉装置，其 中，作为集成单元提供了透镜单元11、图像捕捉单元12、相机信号处理 单元20、图像压縮/扩展单元41、记录/再现处理单元61等。但是，可作 为分立单元来提供透镜单元11、图像捕捉单元12、显示处理单元52、显 示单元53和检测单元71以构成图像再现装置或图像记录装置。
图7是图示出图像再现装置90的结构的框图。注意，在图7中，与图 1相对应的那些部分被赋予了相同标号。
图像再现装置90包括用于从记录介质62读取编码信号、图像信号等 的记录/再现处理单元61，用于对所读取的编码信号DR执行扩展处理的图 像压縮/扩展单元41，使用从记录介质62读取的图像信号DV3执行信号处 理的相机信号处理单元20，帧存储单元31，用于将从相机信号处理单元 20输出的图像信号DV4或者从图像压縮/扩展单元41输出的图像信号 DV5输出到外部设备的图像输出单元51，控制各个部分的操作的控制单元 81，以及用户接口单元82。
在图像再现装置90中，当执行对记录在记录介质62上的编码信号的 读取时，记录/再现处理单元61将所读取的编码信号DR提供给图像压縮/ 扩展单元41。注意，编码信号是通过对基准帧速率的图像信号执行压縮处 理而获得的信号。图像压縮/扩展单元41对从记录/再现处理单元61提供 的编码信号DR执行扩展处理，并将所获得的图像信号DV5提供给图像输出单元51。
此外，在图像再现装置90中，当执行对记录在记录介质62上的高速 帧速率的图像信号的读取时，记录/再现处理单元61读取图像信号以及与 该图像信号相对应的再现控制信息RJ。相机信号处理单元20执行将从记 录/再现处理单元61提供的图像信号DV3转换为基准帧速率的图像信号的 处理或者相机信号处理。图像输出单元51输出基准帧速率的图像信号 DV4作为输出图像信号DVoiit。此外，在图像再现装置90中，在基于再 现控制信息RJ执行再现速度控制或者用于减轻运动模糊的控制的情况 下，控制单元81基于再现控制信息RJ控制相机信号处理单元20或记录/ 再现处理单元61的操作，并且控制要被提供给相机信号处理单元20的图 像信号DV3的帧速率或者在相机信号处理单元20的图像组合单元21中使 用的加权系数。
此外，在图像再现装置90中，当执行对记录在记录介质62上的高速 帧速率的图像信号的读取时在无法获得再现控制信息RJ的情况下，记录/ 再现处理单元61向相机信号处理单元20提供读取的图像信号DV3。相机 信号处理单元20执行将从记录/再现处理单元61提供的图像信号DV3转 换为基准帧速率的图像信号的处理或者相机信号处理。图像输出单元51 输出基准帧速率的图像信号DV4作为输出图像信号DVout。此外，在图像 再现装置90中，在用于随着对象运动的增大而降低所捕捉图像的再现速 度的再现控制或者用于减轻再现图像中的运动模糊的再现控制被执行的情 况下，记录/再现处理单元61将所读取的图像信号DV3提供给图像压縮/ 扩展单元41。图像压縮/扩展单元41使用图像信号DV3执行运动检测，并 将获得的运动向量MV提供给控制单元81。控制单元81基于运动向量 MV控制记录/再现处理单元61的操作以使得要被提供给相机信号处理单 元20的图像信号DV3的帧速率可被改变，从而随着对象运动的增大而降 低所捕捉图像的再现速度。此外，控制单元81基于运动向量MV控制在 相机信号处理单元20的图像组合单元21中使用的加权系数以减轻再现图 像中的运动模糊。
图8是图示出图像记录装置91的结构的框图。注意，在图8中，与图1相对应的那些部分被赋予相同标号。
图像记录装置91包括对图像信号执行各种相机信号处理的相机信 号处理单元20，帧存储单元31，对图像信号执行压縮处理以生成编码信
号的图像压縮/扩展单元41，用于将编码信号DW写入到记录介质62中的 记录/再现处理单元61，控制各个部分的操作的控制单元81，以及用户接 口单元82。
在图像记录装置91中，当基准帧速率的图像信号DV1被记录时，图 像压縮/扩展单元41对已经经历使用相机信号处理单元20的相机信号处理 的、基准帧速率的图像信号DV2执行压縮处理，以生成编码信号DW。记 录/再现处理单元61执行将由图像压縮/扩展单元41生成的编码信号DW 写入记录介质62的处理。
此外，当高速帧速率的图像信号DV1被记录时，相机信号处理单元 20不仅执行相机信号处理而且还使用帧存储单元31执行图像组合，并将 高速帧速率的图像信号DV1转换为基准帧速率的图像信号。图像压縮/扩 展单元41使用从相机信号处理单元20输出的、基准帧速率的图像信号 DV2来生成运动向量MV。记录/再现处理单元61获取由图像压縮/扩展单 元41生成的运动向量MV作为再现控制信息RJ，或者获取由控制单元81 基于运动向量MV生成的再现控制信息RJ。然后，记录/再现处理单元61 执行与高速帧速率的图像信号DV1相关联地将该再现控制信息RJ写入记 录介质62的处理。
接下来，将说明图像捕捉操作、记录所捕捉图像的操作、以及再现记 录的所捕捉图像的操作。图9图示了当操作模式被设置为标准图像捕捉模 式时的处理。注意，在图9和以下将描述的图10-12中，为了阐明每一个 处理对应于图1和7中的哪个块，各个处理被赋予相应块的标号。
图像捕捉装置执行图像捕捉信号的生成以生成基准帧速率(例如， 60[Qds])的图像捕捉信号。图像捕捉装置执行AFE/ADC处理以调节该图 像捕捉信号的信号电平，并在之后将该图像捕捉信号转换为数字信号。图 像捕捉装置执行校正处理以生成已经历信号电平或白平衡调节和像素缺陷 校正的图像信号DV1。图像捕捉装置执行相机信号处理以生成已经历轮廓校正、颜色校正、y校正、拐点校正等的图像信号DV2。此外，图像捕捉 装置执行显示处理以将图像信号DV2转换为具有与显示单元53相对应的 显示分辨率的显示图像信号DH。注意，图像捕捉装置执行检测处理以检 测孔径调节、焦距调节和白平衡调节所必需的信息。
图像捕捉装置执行以上处理以在显示单元53的屏幕上显示所捕捉图 像。因此，用户可以通过观看在显示单元53的屏幕上显示的图像来检査 捕捉了什么对象。此外，如果图像捕捉装置输出输出图像信号DVout，则 可使用外部设备显示所捕捉图像。
接下来，所捕捉图像被记录，图像捕捉装置(图像记录装置)执行图 像压縮处理以生成编码信号DW。另外，图像捕捉装置(图像记录装置) 执行将编码信号DW记录到记录介质62上的记录处理。即，以基准帧速 率捕捉的图像信号DV1被编码并记录在记录介质62上。
图10图示了当再现通过执行图9所示的处理而记录在记录介质62上 的图像时的处理。图像捕捉装置(图像再现装置)执行再现处理以从记录 介质62读取所需的编码信号。图像捕捉装置(图像再现装置)执行图像 扩展处理以从编码信号生成图像信号DV5。另外，图像捕捉装置执行显示 处理以将图像信号DV5转换为具有与显示单元53的显示分辨率相对应的 显示分辨率的显示图像信号DH。图像捕捉装置(图像再现装置)执行以 上处理以在显示单元53的屏幕上显示再现图像。此外，如果图像捕捉装 置(图像再现装置)输出输出图像信号DVout，则可使用外部设备显示再 现图像。
图11图示了操作模式被设置为高速图像捕捉模式时的处理。 图像捕捉装置执行图像捕捉信号的生成以生成高速帧速率(例如， 240[Q)s])的图像捕捉信号。图像捕捉装置执行AFE/ADC处理以调节该图 像捕捉信号的信号电平，并在之后将该图像捕捉信号转换为数字信号。图 像捕捉装置执行校正处理以生成已经历信号电平或白平衡调节和像素缺陷 校正的图像信号DV1。图像捕捉装置对高速帧速率的图像信号DV1执行 相机信号处理。在相机信号处理中，不仅执行轮廓校正、颜色校正、y校 正、拐点校正等，而且还执行用于将高速帧速率的图像信号转换为基准帧速率的图像信号的图像组合，并生成基准帧速率的图像信号DV2。
此外，图像捕捉装置执行显示处理以将图像信号DV2转换为具有与显 示单元53相对应的显示分辨率的显示图像信号DH。图像捕捉装置执行以 上处理以即使在设置了高速图像捕捉模式时也在显示单元53的屏幕上显 示所捕捉图像。此外，如果图像捕捉装置输出输出图像信号DVout，则可 使用外部设备显示所捕捉图像。注意，图像捕捉装置被设计为使得该帧速 率被设置为高于基准帧速率，并且针对一个帧周期执行孔径调节、焦距调 节和白平衡调节处理。因此，与标准图像捕捉模式相比，可以提高它们的 控制精度和速度。
接下来，当所捕捉图像被记录时，图像捕捉装置(图像记录装置)执 行图像压縮处理以生成运动检测结果，例如，运动向量MV。另外，运动 向量MV被设置为再现控制信息RJ，或者再现控制信息RJ被基于运动向 量MV来生成。另外，图像捕捉装置(图像记录装置)执行记录处理以将 高速帧速率的图像信号和再现控制信息RJ相互关联地记录到记录介质62 上。
图12图示了当再现通过执行图ll所示的处理而记录在记录介质62上 的图像时的处理。图像捕捉装置(图像再现装置)执行再现处理以从记录 介质62读取所需的图像信号DV3和与该图像信号相关联的再现控制信息 RJ。图像捕捉装置(图像再现装置)执行再现控制处理以使得执行以下慢 动作图像的生成处理在一种慢动作图像的生成处理中，使得基于再现控 制信息RJ来控制图像信号DV3的帧速率，以随着所捕捉图像中的对象运 动的增大而降低再现速度；并且在另一种慢动作图像的生成处理中，使用 相机信号处理而减轻了移动较大量的对象的模糊。图像捕捉装置(图像再 现装置)执行相机信号处理以从图像信号DV3生成已经历诸如轮廓校正、 颜色校正、y校正和拐点校正之类的处理的基准帧速率的图像信号DV4。 此外，图像捕捉装置(图像再现装置)在执行相机信号处理以将图像信号 DV3转换为基准帧速率的图像信号时，执行图像组合以使得可以减轻运动 模糊。另外，图像捕捉装置执行显示处理以将图像信号DV4转换为具有与 显示单元53相对应的显示分辨率的图像信号。图像捕捉装置执行以上处理以在显示单元53的屏幕上显示再现图像。此外，如果图像捕捉装置
(图像再现装置)输出输出图像信号DVout，则可使用外部设备来显示再
现图像。
此外，在与所需图像信号DV3相关联的再现控制信息RJ无法获得的 情况下，用于随着对象运动的增大而降低所捕捉图像的再现速度的再现控 制或者用于减轻再现图像中的运动模糊的再现控制被执行，图像捕捉装置
(图像再现装置)在再现控制处理中使用图像信号DV3来执行运动检测， 并使得执行以下慢动作图像的生成处理在一种慢动作图像的生成处理 中，使得基于所获得的运动向量来控制图像信号DV3的帧速率，以随着所 捕捉图像中的对象运动的增大而降低再现速度；或者在另一种慢动作图像 的生成处理中，使用相机信号处理而减轻了移动较大量的对象的模糊。
注意，图像捕捉装置(图像再现装置)的控制单元81可被配置为控 制记录/再现处理单元61的操作以使得根据用户所指定的再现速度来顺序 再现记录在记录介质62上的图像信号。例如，在用户指定1倍再现速度 的情况下，控制单元81执行从记录介质62读取图像信号以使得图像信号 DV3的帧速率可为240[^)s]，使用相机信号处理单元20顺序执行对图像信 号DV3的四个连续帧的图像组合，并执行向基准帧速率(即，60[fj)s])的 图像信号的转换。此外，在用户指定1/2倍再现速度的情况下，控制单元 81执行从记录介质62读取图像信号以使得图像信号DV3的帧速率可为 120[*s]，使用相机信号处理单元20顺序执行对图像信号DV3的四个连续 帧的图像组合，并执行向基准帧速率(即，60[*s])的图像信号的转换。 此外，在用户指定1/4倍再现速度的情况下，控制单元81执行从记录介质 62对图像信号的读取以使得图像信号DV3的帧速率可以等于基准帧速 率，也就是60[fj s]。
此外，在用户指定快进再现，S卩，再现速度大于1倍的情况下，控制 单元81通过根据再现速度执行抽取来从记录介质62读取图像信号，以生 成基准帧速率的图像信号，其指示了具有所指定的再现速度的图像。在这 种情况下，多个连续帧的图像也可被组合以生成在快进再现中的一个帧的 图像。接下来，将说明减轻再现图像中的运动模糊的操作。在对图像信号
DV3执行图像组合以将图像信号DV3转换为基准帧速率的图像信号的情 况下，例如，如上述图5所示，在组合四个帧a到d的图像以生成一个帧 (a + b + c + d)的图像的情况下，对象的大运动量可能导致在帧a到d中 对象位置的很大差异。为此，如果通过给予相等的加权系数来执行循环加 算，则移动较大量的对象的图像会模糊。因而无法获得高质量的再现图 像。
因此，控制单元81针对具有大运动量的部分确定用于生成在各帧之 间不同的加权系数的加权系数选择值WS，以使得要经历循环加算的多个 帧包含具有大权重的帧以及在时间上远离该帧且被给予小权重的帧。控制 单元81将这些加权系数提供给相机信号处理单元20中的图像组合单元21 的加权系数生成单元212。
图13是用于说明要从控制单元81提供给图像组合单元21的加权系数 生成单元212的加权系数选择值的生成操作的示图。
控制单元81根据通过使用图像信号执行运动检测而获得的运动幅 度，确定加权系数选择值WS。例如，当图像压縮/扩展单元41对图像信 号DV1执行压縮处理时获得的运动向量MV被用于设置加权系数选择值 WS。具体而言，将运动向量MV的运动量的绝对值(以下称为"运动向 量绝对值")MVm与阈值相比较，并根据比较结果确定加权系数选择值 WS。无论要经历图像组合的帧的数目为多少都可利用固定值来实现所述 阈值，或者可根据要经历图像组合的帧的数目来改变阈值数目。例如，当 要经历图像组合的帧数目很大时，阈值数目被增加以使得可根据运动向量 绝对值MVm来设置许多加权系数。
图13的部分(A)图示了在以下情况中获得的加权系数选择值WS: 其中，例如，以240[Q)s]捕捉的所捕捉图像被以四帧为单位地组合，并且 组合后的图像被以60[f^s]再现，也就是，当再现速度被设置为1倍速时。 注意，在图13的部分(A)中，提供了两个阈值Mtal和Mta2。
当运动向量绝对值MVm小于阈值Mtal时，控制单元81将加权系数 选择值WS设置为"WaO"。此外，当运动向量绝对值MVm等于或大于阈值Mtal并且小于阈值Mta2时，控制单元81将加权系数选择值WS设 置为"Wal"。另外，当运动向量绝对值MVm等于或大于阈值Mtb2时， 控制单元81将加权系数选择值WS设置为"Wa2"。
图13的部分(B)图示了在以下情况下获得的加权系数选择值WS: 其中，例如，以240[Q)s]捕捉的所捕捉图像被以两帧为单位地组合，并且 组合后的图像被以60[Q)s]再现，也就是，当再现速度被设置为1/2倍速 时。注意，在图13的部分(B)中，提供了一个阈值Mtbl。
当运动向量绝对值MVm小于阈值Mtbl时，控制单元81将加权系数 选择值WS设置为"WbO"。此外，当运动向量绝对值MVm等于或大于 阈值Mtbl时，控制单元81将加权系数选择值设置为"Wbl"。
这里，针对每一个宏块检测运动向量MV。因此，如图14所示，控制 单元81根据运动向量绝对值MVm为图像信号DV3的每一个宏块设置加 权系数选择值WS。注意，在图14中，作为示例图示了这样一种情况，其 中，在画面外围部分运动量较小，而在接近中心的部分，运动量逐渐变 大。针对在画面外围部分的宏块，加权系数选择值WS被设置为 "WaO"，而针对在接近中心的部分中的宏块，加权系数选择值WS被设 置为"Wal"。
图像组合单元21的加权系数生成单元212针对在图像组合所涉及的 周期内的每一个帧，根据加权系数选择值WS顺序输出加权系数。图15 图示了作为一个示例的加权系数。在图15中，"XI"示出了在以下情况 中获得的加权系数其中，以例如240[^DS]捕捉的所捕捉图像经历以四帧 为单位的图像组合，并且组合后的图像被以60[Q)s]再现，也就是，再现速 度被设置为1倍速。在这种情况下，四个帧要经历图像组合。因此，针对 要经历图像组合的四个帧a到d设置加权系数。
此外，在图15中，"X1/2"示出了在以下情况中获得的加权系数 其中，以例如240饰s]捕捉的所捕捉图像经历以两帧为单位的图像组合， 并且组合后的图像被以60[fi)s]再现，也就是，当再现速度被设置为1/2倍 速时。在这种情况下，两个帧要经历图像组合。因此，针对要经历图像组 合的两个帧a和b设置加权系数。
26加权系数生成单元212在加权系数选择值WS为"WaO"时，为要经 历图像组合的帧a、 b、 c和d设置加权系数"2"，并且在加权系数选择值 WS为"WbO"时，为要经历图像组合的帧a和b设置加权系数"2"。 即，没有运动或者具有小运动量的部分的图像被给予相等权重。因此，由 于即使在要经历图像组合的帧之一的图像上叠加了噪声，执行循环加算之 后获得的图像信号也被使用除算电路214来改变为在预定信号电平范围内 的图像信号，所以从图像组合单元21输出的图像信号是在没有运动的部 分中或者在具有小运动量的部分中已经降低了噪声的图像信号。
当加权系数选择值WS为"Wal"时，加权系数生成单元212以帧的 顺序为要经历图像组合的帧a、 b、 c和d设置加权系数"1、 1、 3、 3"。 当加权系数选择值WS为"Wa2"时，加权系数生成单元212以帧的顺序 为要经历图像组合的帧a、 b、 c禾P d设置加权系数"1、 1、 2、 4"。此 外，当加权系数选择值WS为"WM"时，加权系数生成单元212以帧的 顺序为要经历图像组合的帧a和b设置加权系数"1、 3" 。 S卩，以下述方 式为具有大运动量的部分设置加权系数使得要经历图像组合的帧包含具 有大权重的帧和在时间上远离该帧且被给予小权重的帧。此外，为具有更 大运动量的部分设置加权系数以使得在具有大权重的帧和具有小权重的时 间上远离的帧之间的权重差变得更大。为此，由于在时间上远离被给予大 权重的帧的帧(即，对象位置很大程度上不同的帧)被给予了小权重，所 以与通过给予相等权重来执行图像组合的情况相比，可以获得运动模糊降 低了的图像信号。
注意，仅在用户指定针对要经历图像组合的各个帧设置在帧之间不同 的加权系数以使得可以降低运动模糊的处理的情况下，控制单元81才可 以执行该处理。S卩，通常而言，可以向要经历图像组合的帧给予相等的加 权系数。于是，与再现通过执行标准图像捕捉模式下的图像捕捉而获得的 图像捕捉结果相似，可以再现通过执行高速图像捕捉而获得的图像捕捉结 果。
此外，控制单元81可被配置为在高速图像捕捉模式下进行记录期 间，在具有大运动量的部分中，执行针对要经历图像组合的各个帧设置在帧之间不同的加权系数的处理，以使得再现控制信息RJ可以包括加权系 数选择值或加权系数。在这种情况下，在再现期间可容易地设置加权系
数。例如，即使是不具有根据运动向量MV设置加权系数的功能的图像再 现装置，也可以输出运动模糊已经降低的、基准帧速率的图像信号。
此外，控制单元81可被配置为使得在再现记录在记录介质62上的所 捕捉图像期间无法获得再现控制信息RJ的情况下，图像压縮/扩展单元41 使用图像信号DV3执行运动检测，并且根据通过该运动检测获得的运动向 量MV，加权系数选择值WS被确定。
接下来，将说明根据对象的运动来控制再现速度的情况。响应于用户 指令，控制单元81确定所建议的再现速度SR，以使得可以随所捕捉图像 中的对象运动的增大而降低再现速度，并以在画面上显示(on-screen display)的方式在显示单元53上显示该所建议的再现速度SR。此外，在 用户指示以所建议的再现速度SR再现的情况下，控制单元81控制各个部 分的操作以使得可以生成具有所建议的再现速度SR的图像信号DV4。另 外，控制单元81还检测由诸如摇摄和倾斜(pan and tilt)之类的相机工作 导致的运动对其没有影响的背景的运动，并使用该背景运动来计算对象关 于背景的相对运动的幅度，以根据计算得到的对象相对运动的幅度来确定 所建议的再现速度SR。
图16是用于说明确定所建议的再现速度的处理的示图。控制单元81 设置在所捕捉图像上的帧BF以使得可以相互区分背景的运动和所需对象 的运动，并将所捕捉图像分成所需对象所处的中心部分和与背景部分相对 应的外围部分b。此外，控制单元81产生使用所捕捉图像的图像信号检测 到的运动向量MV的绝对值，并计算指示出运动的幅度的运动向量绝对值 MVm。接下来，控制单元81将运动向量绝对值MVm分成帧BF内部和帧 BF外部的部分并执行加算。然后，控制单元81如式(1)所示地，从通过 将帧BF内部的运动向量绝对值MVm相加而获得的绝对值和减去通过将 帧BF外部的运动向量绝对值MVm相加而获得的绝对值和，以计算指示 出所需对象关于背景的相对运动的幅度的判定值MU。
MU = 2X帧内部的各个宏块的运动向量绝对值)-i:(帧外部的各个宏块的运动向量绝对值) ...(l)
接下来，控制单元81将判定值MU与阈值AVtl和AVt2相比较，并 基于比较结果确定所建议的再现速度SR。图17是图示出在判定值和所建 议的再现速度之间的关系的示图。
当判定值MU小于阈值AVtl时，控制单元81将所建议的再现速度 SR设置为"FrO" ， B卩，1倍速(XI)的再现速度。此外，当判定值MU 等于或大于阈值AVtl并且小于阈值AVt2时，控制单元81将所建议的再 现速度SR设置为"Frl"。另外，当判定值MU等于或大于阈值AVt2 时，控制单元81将所建议的再现速度SR设置为"Fr2"。这里，在高速 帧速率的图像信号DV1为240[fj)s]并且基准帧速率为60[^)s]的情况下，当 所建议的再现速度SR为"Fr2"时，控制单元81设置这样一种再现速 度，针对该再现速度，从记录介质62对图像信号的读取被执行以使得图 像信号DV3的帧速率可以为60[*S]，并且针对该再现速度，图像信号 DV3在没有经历图像组合的情况下被处理以产生再现图像的图像信号，即 1/4倍再现速度，作为所建议的再现速度SR。此外，当所建议的再现速度 SR为"Frl"时，例如，控制单元81设置在l倍速和1/4倍速之间的中间 值，也就是l/2倍速，作为所建议的再现速度SR。
如果以这种方式设置所建议的再现速度SR，则当对象关于背景的相 对运动的幅度较小时获得1倍的再现速度，并随着运动的增大而降低再现 速度。为此，如果以所建议的再现速度SR执行再现，则可以以下述方式 自动改变再现速度当对象关于背景的运动量较大时可以获得对象慢慢动 作的运动再现图像，而当对象的运动量较小时对象的运动可以遵照实际运 动。因此，用户没有必要执行以下操作当对象的运动量较大时切换到慢 动作再现操作以使得用户可以使用以慢动作播放的视频来检查对象的运 动，并且当对象的运动量变小时，切换到1倍速度再现。这样，可以极大 地提高用户便利性。
此外，控制单元81可以在以高速图像捕捉模式记录期间执行所建议 再现速度SR的设置，以使得再现控制信息RJ可以包括所建议的再现速度 SR。在这种情况下，可以很容易地在再现期间设置所建议的再现速度SR。例如，即使是没有用于根据运动向量MV设置所建议的再现速度SR
的功能的图像再现装置，也可以根据对象运动自动改变再现速度。
此外，控制单元81还可以在以高速图像捕捉模式记录的图像的再现 期间执行所建议的再现速度SR的设置。在这种情况下，在以高速图像捕 捉模式记录期间，控制单元81根据图像信号DV1在记录介质62上记录再 现控制信息RJ，以使得该再现控制信息RJ可以包括所建议的再现速度 SR。此外，在以高速图像捕捉模式记录的图像的再现期间，控制单元81 读取图像信号以及与该图像信号相对应的再现控制信息RJ，并控制要被提 供给相机信号处理单元20的帧速率，以使得可以获得由该再现控制信息 RJ指示的所建议再现速度SR。
此外，控制单元81可被配置为使得在记录在记录介质62上的所捕捉 图像的再现期间无法获得再现控制信息RJ的情况下，图像压縮/扩展单元 41使用图像信号DV3执行运动检测，并且根据通过该运动检测而获得的 运动向量MV，所建议再现速度SR被确定，从而控制所捕捉图像的再现 速度。
图18是图示出在使用图像捕捉装置10和图像记录装置91记录图像信 号时的操作的时间图。注意，在图18中，图示了这样一种情况，其中， 基于运动向量MV来确定所建议再现速度SR，并且其中，与图像信号相 对应地记录包括该所建议再现速度SR的再现控制信息RJ。
图18的部分(A)是基准帧速率(也就是，60饰s])的垂直同步信号 VD。图18的部分(B)是图像捕捉单元12用来生成图像信号DV1的垂 直同步信号VDc。图像捕捉装置IO使得图像传感器121、 AFE 122、 ADC 123、校正处理单元124和检测单元71与垂直同步信号VDc相同步地操作 以生成图18的部分(C)所示的图像信号DV1。注意，在图18的部分 (C)中，连续数字表示各个帧。
图18的部分(H)是在相机信号处理单元20、图像压縮/扩展单元 41、图像输出单元51、显示处理单元52和显示单元53中执行的操作所基 于的基准帧速率的垂直同步信号VDs。此外，假设垂直同步信号VDh和 VDs是与垂直同步信号VD相同步的信号。在标准图像捕捉模式下，图像捕捉单元12生成被设置在基准帧速率
的、与垂直同步信号VDc相同步的图像信号DVl的帧"0"的信号。由于 图像信号DV1被设置在基准帧速率，所以相机信号处理单元20执行除图 像组合之外的相机信号处理。从相机信号处理单元20输出的图像信号 DV2的帧"0"的信号通过显示处理单元52而被提供给显示单元53。因 此，如图18的部分(J)所示，要被提供给显示单元53的显示图像信号 DH或者来自图像输出单元51的输出图像信号DVout示出了图像帧 "0，，。
在高速图像捕捉模式下，图像捕捉单元12生成60饰s]的四倍的 240[Q)s]的与垂直同步信号VDc相同步的图像信号DV1的帧"1"、 "2"、…的信号。由于图像信号DV1被设置在高速帧速率，所以相机信 号处理单元20执行图像组合，并执行向基准帧速率的图像信号的转换。
图18的部分(D)到(G)是用于说明由相机信号处理单元20的图像 组合单元21执行的图像组合的信号。图18的部分(D)图示了要写在帧 存储单元31的仓库312a中的图像信号DfWa，图18的部分(E)图示了要 从帧存储单元31的仓库312a读取的图像信号Dfm，图18的部分(F)图 示了要写在帧存储单元31的仓库312b中的图像信号D~b，并且图18的 部分(G)图示了要从帧存储单元31的仓库312b读取的图像信号Dfrb。
图像组合单元21将帧"1"的信号存储仓库312a中。对于下一个帧， 图像组合单元21读取在仓库312a中存储的帧"1"的信号并将其与帧 "2"的信号相加。然后，循环加算帧"2'"的信号被存储在仓库312a 中。注意，在图18的部分(D)到(G)中，用具有"'"符号的数字表示 已经历图像组合的循环加算帧。
以这种方式，图像组合单元21使用循环加算执行图像组合。当针对 基准帧周期的图像组合完成时，即，当通过对帧"1"到"4"执行循环加 算而获得的循环加算帧"4'"的信号被存储在仓库312a时，图像组合单元 21将对图像信号的写入从仓库312a切换到仓库312b。此外，图像组合单 元21读取存储在仓库312a中的、在四帧的图像组合之后获得的信号，同 时与垂直同步信号VDs相同步地，使用除算电路将该信号恢复成在预定电平范围内的信号，并执行诸如轮廓校正之类的相机信号处理。之后，得到
的信号通过显示处理单元52而被提供给图像输出单元51或显示单元53。
图像组合单元21将帧"5"的信号存储在仓库312b中。对于下一个 帧，图像组合单元21读取在仓库312b中存储的帧"5"的信号并将其与 帧"6"的信号相加。然后，图像组合单元21将循环加算帧"6'"的信号 存储在仓库312b中。当通过对帧"5"到"8"执行循环加算而获得的循 环加算帧"8'"的信号被存储在仓库312b中时，图像组合单元21切换仓 库，其中，图像信号要被写入仓库312a。然后，图像组合单元21读取存 储在仓库312b中的、四帧的图像组合之后获得的信号，同时在基准帧周 期内使用除算电路将该信号恢复成在预定信号电平范围内的信号，并执行 诸如轮廓校正之类的处理。之后，得到的信号通过显示处理单元52而被 提供给图像输出单元51或显示单元53。随后，以类似方式执行处理。于 是，如图18的部分(J)所示，即使在高速图像捕捉模式中，也可以基准 帧速率显示或输出图像。
此外，在记录操作期间，控制单元81在执行压縮处理之后，将在标 准图像捕捉模式下生成的图像信号(例如，帧"0"的信号)记录在记录 介质62上，并在没有执行相机信号处理或压縮处理的情况下，将在高速 图像捕捉模式下生成的图像信号(例如，帧"1" 、 "2"、...的信号)记 录在记录介质62上。
另外，在高速图像捕捉模式下，控制单元81使得图像压縮/扩展单元 41对从相机信号处理单元20输出的图像信号执行处理，以基于由图像压 縮/扩展单元41生成的运动信息确定所建议再现速度SR，如图18的部分 (I)所示。然后，控制单元81与在高速图像捕捉模式下生成的图像信号 相对应地，将包括该所建议再现速度SR的再现控制信息RJ记录在记录介 质62上。注意，尽管并未图示，但在再现期间设置加权系数的情况下， 加权系数选择值WS被包括在再现控制信息RJ中，并与图像信号相对应 地被记录在记录介质62上。
图19是图示出在使用图像捕捉装置IO和图像再现装置90生成在记录 介质62上记录的图像时的操作的时间图。注意，在图19中，图示了这样
32一种情况，其中，用户已经指示以所建议再现速度再现。
图19的部分(A)是基准帧速率(也就是60[*S])的垂直同步信号 VD。图19的部分(B)图示了与图像信号一起从记录介质62读取的所建 议再现速度SR。图19的部分(C)图示了要从记录介质62读取的图像信 号的垂直同步信号VDr。此外，图19的部分(I)是在相机信号处理单元 20、图像压縮/扩展单元41、图像输出单元51、显示处理单元52和显示单 元53中执行的操作所基于的基准帧速率的垂直同步信号VDs。
当读取的所建议再现速度SR是1倍速(XI)的"FrO"时，控制单 元81以记录期间的帧速率设置图像信号DV3， BP，以240[Q)s]的帧速率设 置图像信号DV3，并将该图像信号DV3提供给相机信号处理单元20。图 19的部分(D)图示了图像信号DV3。
由于已经在高速图像捕捉模式下记录图像信号DV3，所以控制单元 81使得相机信号处理单元20执行图像组合以生成基准帧速率的图像信
号
图19的部分(E)到(H)是用于说明由相机信号处理单元20的图像 组合单元21执行的图像组合的信号。图19的部分(E)图示了要写在帧 存储单元31的仓库312a中的图像信号Dfwa，图19的部分(F)图示了要 从帧存储单元31的仓库312a读取的图像信号Dfra，图19的部分(G)图 示了要写在帧存储单元31的仓库312b中的图像信号DfWb，并且图19的 部分(H)图示了要从帧存储单元31的仓库312b读取的图像信号Dfrb。
图像组合单元21以上述方式执行图像组合。当一个基准帧周期的图 像组合完成时，S卩，当通过对帧"1"到"4"执行图像组合而获得的循环 加算帧"4'"的信号被存储在仓库312a中时，图像组合单元21切换仓 库，其中图像信号要被从仓库312a写入仓库312b。此外，在图像组合 中，根据运动信息设置加权系数，并使用所设置的权重系数对要经历循环 加算的帧进行加权。此外，图像组合单元21读取在仓库312a中存储的在 四帧的图像组合之后获得的信号，同时与垂直同步信号VDs相同步地使用 除算电路将该信号恢复成在预定电平范围内的信号，并执行诸如轮廓校正 之类的相机信号处理。之后，得到的信号通过显示处理单元52而被提供给图像输出单元51或显示单元53。图19的部分(J)图示了要提供给显 示单元53的显示图像信号DH或者来自图像输出单元51的输出图像信号 DVout。
接下来，当读取的所建议再现速度SR为1/2倍速的"Frl (X1/2)" 时，控制单元81以记录期间的帧速率的1/2倍的帧速率设置图像信号 DV3，艮口，以120饰s]的帧速率设置图像信号DV3，并将该图像信号DV3 提供给相机信号处理单元20。此时，由于图像信号DV3的帧速率高于基 准帧速率，所以控制单元81还使得相机信号处理单元20执行图像组合以 生成基准帧速率的图像信号。
艮口，图像组合单元21将帧"9"的信号存储在仓库312a中。对于下一 个帧，图像组合单元21读取在仓库312a中存储的帧"9"的信号并将其与 帧"10"的信号相加。然后，循环加算帧"10'"的信号被存储在仓库312a 中。
当针对基准帧周期的图像组合完成时，g卩，当通过对帧"9"和 "10"执行图像组合而获得的循环加算帧"10'"的信号被存储在仓库312a 中时，图像组合单元21切换仓库，其中，图像信号要被从仓库312a写入 仓库312b。此外，图像组合单元21读取在仓库312a中存储的在两个帧的 图像组合之后获得的信号，同时与垂直同步信号VDs相同步地使用除算电 路将该信号恢复成在预定电平范围内的信号，并执行诸如轮廓校正之类的 处理。之后，得到的信号通过显示处理单元52而被提供给图像输出单元 51或显示单元53。
接下来，当读取的所建议再现速度SR为1/4倍速的"Fr2 (X1/4)" 时，控制单元81以记录期间的帧速率的1/4倍的帧速率设置图像信号 DV3，艮卩，以60[fi)s]的帧速率设置图像信号，并将该图像信号DV3提供 给相机信号处理单元20。此时，由于图像信号DV3的帧速率为基准帧速 率，所以控制单元81在不执行图像组合的情况下，在使用相机信号处理 单元20执行诸如轮廓校正之类的相机信号处理之后，通过显示处理单元 52将图像信号DV3提供给图像输出单元51或显示单元53。注意，相机信 号处理单元20被配置为使得当图像组合被执行时，已经执行基准帧周期的图像组合的图像信号在下一基准帧周期被读取。这样，在图像组合之后
获得的信号关于图像信号DV3延迟了一帧。因此，当图像信号DV3具有 基准帧速率时，控制单元81控制要写入仓库312a或仓库312b的图像信号 DV3和要在下一个基准帧周期读取的所写入图像信号。即使所建议再现速 度SR被切换时，图像的再现也被使用每一个帧的图像信号DV3来顺序执 行。
以这种方式，如果以所建议再现速度SR执行再现操作，则当运动量 较小时使图像信号DV3经历以四帧为单位的图像组合以产生基准帧速率的 图像。因此，要显示或输出的图像可自动成为1倍速的再现图像。此外， 随着运动的增大，图像信号DV3的帧速率降低，并且要经历图像组合的帧 的数目也减少。因此，要显示或输出的图像可自动成为慢动作再现图像。
此外，控制单元81在运动量较小时设置相等的加权系数，并且当运 动量较大时，在要经历图像组合的帧之间设置不同的加权系数以使得由图 像组合导致的运动模糊可被降低。因此，具有较小运动量的部分是降低了 噪声的图像，并且具有较大运动量的部分是即使图像组合被执行也降低了 模糊的图像。
图20图示了在使用从记录介质62读取的图像信号执行运动检测，设 置所建议再现速度并且用户指示以该所建议再现速度再现的情况下的时间 图。
图20的部分(A)是基准帧速率(也就是，60[fj)s])的垂直同步信号 VD。图20的部分(B)图示了从记录介质62读取的图像信号的垂直同步 信号VDr，并且该垂直同步信号VDr被设置在作为所记录图像信号的帧速 率的240[fj)s]的帧周期。此外，图20的部分(I)是在相机信号处理单元 20、图像压縮/扩展单元41、图像输出单元51、显示处理单元52和显示单 元53中执行的操作所基于的基准帧速率的垂直同步信号VDs。
图20的部分(D)图示了要提供给相机信号处理单元和图像压縮/扩 展单元41的图像信号DV3，并图20的部分(C)图示了通过使用图像信 号DV3执行运动检测而确定的所建议再现速度SR。
记录/再现处理单元61执行从记录介质62对图像信号的读取，并与垂
35直同步信号VD和垂直同步信号VDr相同步地，将作为感兴趣的帧的图像 信号的一个帧的图像信号DV3提供给相机信号处理单元20和图像压縮/扩 展单元41。图像压縮/扩展单元41使用与垂直同步信号VD和VDr相同步 地提供的感兴趣的帧的图像信号以及例如作为该帧之前的一个帧的基准帧 的图像信号来执行运动检测，并检测到运动向量MV。控制单元81基于检 测到的运动向量MV，确定所建议再现速度SR和包括该感兴趣的帧的基 准帧周期的加权系数选择值WS。
例如，图像压縮/扩展单元41使用作为感兴趣的帧的帧"1"的图像信 号以及作为基准帧的帧"0"的图像信号来执行运动检测，并检测运动向 量MV。控制单元81基于该运动向量MV确定包括帧"1"的基准帧周期 的所建议再现速度SR。这里，当基于检测到的运动向量MV计算得到的 判定值MU小于阈值AVtl时，控制单元81将包括帧"1"的基准帧周期 的所建议再现速度SR设置为1倍速(XI)的"Fro"。由于针对1倍速 执行图像信号DV3的四个帧的图像组合，所以控制单元81控制记录/再现 处理单元61将帧"1"之后的三个帧的图像信号提供给相机信号处理单元 20和图像压縮/扩展单元41。
图20的部分(E)到(H)是用于说明由相机信号处理单元20的图像 组合单元21执行的图像组合的信号。图20的部分(E)图示了要写在帧 存储单元31的仓库312a中的图像信号Dfwa，图20的部分(F)图示了要 从帧存储单元31的仓库312a读取的图像信号Dfm，图20的部分(G)图 示了要写在帧存储单元31的仓库312b中的图像信号D~b，并且图20的 部分(H)图示了要从帧存储单元31的仓库312b读取的图像信号Dfrb。
图像组合单元21以上述方式执行图像组合。当一个基准帧周期的图 像组合完成时，即，当通过对帧"l"到"4"执行图像组合而获得的循环 加算帧"4'"的信号被存储在仓库312a中时，图像组合单元21切换仓 库，其中图像信号要被从仓库312a写入仓库312b。此外，在图像组合 中，根据基于检测到的运动向量确定的加权系数选择值WS来设置加权系 数，并使用所设置的权重系数对要经历循环加算的帧进行加权。此外，图 像组合单元21读取在仓库312a中存储的在四帧的图像组合之后获得的信号，同时针对下一个基准帧周期与垂直同步信号VDs相同步地使用除算电 路将该信号恢复成在预定电平范围内的信号，并执行诸如轮廓校正之类的
处理。之后，得到的信号通过显示处理单元52而被提供给图像输出单元 51或显示单元53。图20的部分(J)图示了要提供给显示单元53的显示 图像信号DH或者要从图像输出单元51输出的输出图像信号DVout。注 意，在确定加权系数选择值WS时，要经历循环加算的第一帧的图像信号 已经存储在仓库中。为此，如果在根据加权系数选择值WS选择的运动系 数中向第一帧给予了相等系数，则可以调节用于第二和后续帧的运动系 数，并可以减轻运动模糊。例如，在图15中，假设在加权系数选择值WS 为"WaO"时设置了系数"1、 1、 1、 1"。在图4所示的除算电路214 中，当加权系数选择值WS为"WaO"时，从帧存储单元31提供的图像信 号的信号电平被乘以1/4。这将使得在加权系数选择值WS为"WaO"、
"Wal"和"Wa2"的任一个时，帧a的系数都可被设置为"1"。因此， 即使要经历循环加算的第一帧的图像信号已经存储在仓库中，也可降低在 没有运动的部分或者具有小运动量的部分中的噪声，或者在具有大运动量 的部分中的运动模糊。
接下来，使用作为感兴趣的帧的帧"5"的图像信号和作为基准帧的 帧"4"的图像信号来执行运动检测，并且基于检测到的运动向量MV，确 定包括帧"5"的基准帧周期的所建议再现速度SR为1倍速(XI)的
"Fro"。然后，使用仓库312b执行四帧的循环加算，并执行显示图像信 号DH的生成和输出图像信号DVout的输出。
接下来，使用作为感兴趣的帧的帧"9"的图像信号和作为基准帧的 帧"8"的图像信号来执行运动检测，并且基于检测到的运动向量MV，确 定包括帧"8"的基准帧周期的所建议再现速度SR。这里，当判定值MU 等于或大于阈值AVtl并小于阈值AVt2时，包括帧"8"的基准帧周期的 所建议再现速度SR被设置为1/2倍速"X1/2"的"Frl"。由于针对1/2 倍速执行图像信号DV3的两帧的图像组合，所以控制单元81控制记录/再 现处理单元61以将帧"8"之后的一个帧的图像信号提供给相机信号处理 单元20和图像压縮/扩展单元41 。图像组合单元21执行图像组合。当一个基准帧周期的图像组合完成
时，即，当通过对帧"9"和"10"执行图像组合而获得的循环加算帧 "图像捕捉装置10'"的信号被存储在仓库312a中时，图像组合单元21切 换仓库，其中，图像信号被从仓库312a写入仓库312b。在图像组合时， 利用根据加权系数选择值WS设置的加权系数来对要经历循环加算的帧进 行加权，其中，加权系数选择值WS是基于检测到的运动向量来确定的。 此外，图像组合单元21读取在仓库312a中存储的在两帧的图像组合之后 获得的信号，同时针对下一个基准帧周期与垂直同步信号VDs相同步地， 使用除算电路将该信号恢复成在预定电平范围内的信号，并执行诸如轮廓 校正之类的处理。之后，得到的信号通过显示处理单元52被提供给图像 输出单元51或显示单元53。
此外，使用作为感兴趣的帧的帧"13"的图像信号和作为基准帧的帧 "12"的图像信号执行运动检测。当基于检测到的运动向量MV的判定值 MU等于或大于阈值AVt2时，包括帧"13"的基准帧周期的所建议再现 速度SR被设置为1/4倍速"X1/4"的"Fr2"。由于针对1/4倍速不执行 图像信号DV3的图像组合，所以针对下一个基准帧周期与垂直同步信号 VDs相同步地读取在仓库312a中存储的帧"13"的图像信号，并使该图 像信号经历诸如轮廓校正之类的相机信号处理。之后，得到的信号通过显 示处理单元52而被提供给图像输出单元51或显示单元53。
以这种方式，使用从记录介质62读取的图像信号执行运动检测，并 基于运动检测结果确定所建议再现速度SR或加权系数选择值WS。这 样，即使再现控制信息RJ未记录在记录介质62上，也可在运动量较小时 以四帧为单位对图像信号DV3执行图像组合，并获得基准帧速率的图像。 因此，要显示或输出的图像可自动成为1倍速的再现图像。此外，随着运 动的增大，图像信号DV3的帧速率降低，并且要经历图像组合的帧数目也 减少。因此，要显示或输出的图像可自动成为慢动作再现图像。
此外，当运动量较小时，通过给予相等的加权系数来执行图像组合。 当运动量较大时，设置在要经历图像组合的帧之间不同的加权系数以使得 在组合之后获得的图像中可以降低运动模糊。因此，在再现图像中具有小运动量的部分是降低了噪声的图像，并且具有大运动量的部分是即使图像 组合被执行也降低了模糊的图像。
因此，根据上述实施例，根据所捕捉图像中对象的运动来确定所建议 再现速度。这样，如果以所建议再现速度执行再现，当对象的运动量较大 时，在没有使用户搜索对象的具有大运动量的所捕捉图像被记录的位置并 执行慢动作再现的情况下，自动降低再现速度，并且显示慢动作再现图 像。从而提高了用户便利性。
此外，如果预先开始在高速图像捕捉模式下的记录操作以使得可以在 没有错失图像捕捉机会的情况下获得具有高时间分辨率的慢动作再现图 像，则在通过降低在高速图像捕捉模式下记录的所捕捉图像的再现速度来 获得慢动作再现图像的情况下，以慢动作显示具有所需运动的图像的等待 时间变得极其长。但是，根据本发明，当运动量较小时，例如以1倍速来 执行再现。当运动量较大时，再现速度被自动降低，从而得到慢动作再现 图像。这可以避免以慢动作显示具有所需运动的图像的等待时间过长。
此外，针对基准帧周期的图像信号被根据图像运动来加权并经历加算 处理，以使得高速帧速率的图像信号被转换为基准帧速率的图像信号。因 此，可以获得这样的高质量慢动作图像，其中，提高了静止部分或具有小 运动量的部分的信噪(SN)比，并且其中，在具有大运动量的部分中防止 了模糊的发生。
此外，使用运动检测来确定运动向量，并根据该运动向量的运动量确 定权重或所建议再现速度。这样，就可以容易且可靠地确定权重或所建议 再现速度。
此外，在上述图像捕捉装置中，在标准图像捕捉模式下，图像信号
DV1经历压縮处理并被存储在记录介质中。这样，可以节省要记录的所捕 捉图像的信号量。此外，根据由对图像信号DV1执行压縮处理的图像压縮 /扩展单元41获得的运动向量来生成再现控制信息RJ。这样，不必单独提 供用于生成再现控制信息RJ的运动检测单元。因此，可以实现图像捕捉 装置的配置简化和成本降低。
注意，上述图像捕捉装置不限于用于执行所捕捉图像的记录和再现的那种装置。例如，可以从图像输出单元51相互关联地输出高速帧速率的 图像信号和再现控制信息RJ。
此外，在上述图像捕捉装置中，阐述了这样一种情况，其中，使用基 准帧速率的图像信号来执行相机信号处理或压縮处理。但是，在相机信号 处理单元或图像压縮/扩展单元具有高处理能力以使得可以使用高速帧速率 的图像信号来执行相机信号处理或压縮处理的情况下，己经经历相机信号 处理的高速帧速率的图像信号或者该信号可以经历压縮处理，可以记录在
记录介质62上或者从图像输出单元51输出。
此外，在上述实施例中，在图像压縮/扩展单元41执行压縮处理时生 成的运动向量被用作对对象的运动检测的结果。但是，运动检测可使用许 多方法来执行，例如，确定关于画面上的运动平均量的偏差幅度的方法。
图21是图示出本发明另一个实施例的框图。图像捕捉装置95设有用 于监控和外部输出的两个系统的相机信号处理单元20a和20b。除了关于 两个系统的相机信号处理单元20a和20b的配置不同之外，图像捕捉装置 95被以与图像捕捉装置IO相似的方式来构造。
图像捕捉装置95例如经由家庭网络96而连接到显示设备97。在图像 捕捉装置95中，控制单元81在连接时通过图像输出单元51执行数据通信 以检测显示设备97的输入的可允许最大帧速率(帧频)。注意，对最大 帧速率的检测是通过以下方式来执行的在连接时执行的在图像捕捉装置 95与显示设备97之间的数据通信处理中，从显示设备97获得有关该显示 设备97的再现控制信息。
控制单元81切换从用于外部输出的相机信号处理单元20b输出的图 像信号DV2b和DV4b的帧速率，以使得所获得的该最大帧速率的图像信 号可从图像输出单元51输出。
艮口，在显示设备97的最大帧速率为60[Q)s](最大帧频为60[Hz])的 情况下，以与相机信号处理单元20相似的方式控制相机信号处理单元20b 的操作以输出60饰s]的图像信号DV2b和DV4b。
在显示设备97的最大帧速率为120饰s]的情况下，对于以240饰s]从 记录介质62再现的图像信号DV3和在高速图像捕捉模式下获得的图像信
40号DV1，两个连续帧的循环加算被执行，并且所生成的120[fi)S]的图像信 号DV2b和DV4b被输出到显示设备97。
此外，对于以120饰s]从记录介质62再现的图像信号DV3，帧速率被 降低，并且图像信号DV3被使用相机信号处理单元20b来处理并被输出到 显示设备97。此外，对于以60[fi)s]从记录介质62再现的图像信号DV3或 者以标准图像捕捉模式从图像捕捉单元12输出的图像信号DV1，相同帧 的图像信号被交替使用仓库312a和312b来重复输出以将图像信号DV3上 变频为120[fj)s]，并且得到的图像信号被输出到显示设备97。
注意，取代执行简单地重复相同帧的处理，上变频处理可以使用各种 技术来实现，例如，基于使用运动向量的运动补偿来执行帧插值的情况。 此外，取代上变频，图像捕捉单元12的操作可被切换为生成120[Q)s]的图 像信号DV1。
在监控侧的相机信号处理单元20a接收从记录介质62再现的图像信号 DV3，并以显示处理单元52和显示单元53所支持的帧速率60[^)s]来输出 图像信号DV3。
注意，取代提供两个系统的相机信号处理单元自身，可以提供仅仅两 个系统的图像组合单元21。但是，在这种情况下，首先执行Y处理等，最 后再执行图像组合处理。
以这种方式，在以至少高于外部设备所支持的帧速率的帧速率从记录 介质再现在高速图像捕捉模式下记录的所捕捉图像的情况下，取决于该外 部设备，帧速率被降低到该外部设备可支持的帧速率，并且所捕捉图像被 输出。因此，可以以更高的图像质量输出图像捕捉结果。
顺带提及，在经由诸如家庭网络之类的网络传输图像信号的情况下， 经由该网络从另一设备传输信号的情况也是可预测的。因此，在网络的传 输速度较低的情况下，存在无法实时传输图像信号的情况。因此，在将从 记录介质62读取的图像信号输出到显示设备97的情况下，动态地切换要 输出到显示设备97的图像信号的帧速率以便与所建议再现速度兼容，以 防止图像信号DV4b被以不必要高的帧速率输出到显示设备97。注意，除 了要输出到显示设备97的图像信号的帧速率不同之外，本实施例被以与上述图像捕捉装置io相同的方式来配置。
在高速图像捕捉模式下，控制单元81使用由图像压縮/扩展单元41检 测到的运动向量来确定所建议再现速度。此外，在该确定的所建议再现速
度为1倍速的情况下，使用相机信号处理单元20b使帧速率为240[fi)s]的 图像信号DV1的四个连续帧顺序经历图像组合，以生成帧速率为60饰s] 的图像信号DV2b。该图像信号DV2b被输出到显示设备97。
在所建议再现速度为1/2倍速的情况下，使用相机信号处理单元20b 使帧速率为240[Q)s]的图像信号DV1的两个连续帧顺序经历图像组合以生 成帧速率为120饰s]的图像信号DV2b。该图像信号DV4b被输出到显示设 备97。此外，在所建议再现速度为1/4倍速的情况下，相机信号处理单元 20b不降低帧速率为240饰s]的图像信号DV1的帧速率，并且240饰s]的图 像信号DV2b被输出到显示设备97。
在高速图像捕捉模式下记录在记录介质62上的所捕捉图像的再现期 间，在用户指示以1倍速再现的情况下，从记录介质62的读取被执行以 使得图像信号DV3的帧速率可为240饰s]。此外，相机信号处理单元20b 根据所建议再现速度来转换该所再现图像信号DV3的帧速率。因此，在这 种情况下，在所建议再现速度为1倍速、1/2倍速和1/4倍速的情况下，相 机信号处理单元20b也分别生成帧速率为60饰s]、 120饰s]和240饰s]的图 像信号DV4b，并将图像信号DV4b输出到显示设备97。
在高速图像捕捉模式下记录在记录介质62上的图像信号的再现期 间，在用户指示以1/2倍速再现的情况下，从记录介质62的读取被执行以 使得图像信号DV3的帧速率可为120[Qds]。此外，在所建议再现速度为1 倍速的情况下，图像信号DV3的帧速率被使用相机信号处理单元20b来转 换为60[*S]，并且得到的图像信号DV3被输出到显示设备97。作为比 较，在所建议再现速度为1/2倍速和1/4倍速的情况下，帧速率为120[fJDS] 的图像信号DV4b在帧速率未降低的情况下被输出到显示设备97。
在高速图像捕捉模式下记录在记录介质62上的图像信号的再现期 间，在用户指示以1/4倍速再现的情况下，从记录介质62的读取被执行以 使得图像信号DV3的帧速率可为60饰s]。此外，60饰s]的图像信号DV4b在降低了帧速率的情况下被输出到显示设备97。
在高时间分辨率慢动作图像捕捉模式下记录在记录介质62上的图像
信号的再现期间，在用户指示以所建议再现速度再现的情况下，由相机信
号处理单元20b执行的图像组合处理被中断，并且从记录介质62再现的 帧速率的图像信号DV4b被输出到显示设备97。
注意，在标准图像捕捉模式下，也是在标准图像捕捉模式下记录在记 录介质62上的所捕捉图像的再现期间，类似地，所建议再现速度可被检 测，并且帧速率可根据该所建议再现速度而被来动态改变。此外，在此标 准图像捕捉模式下在帧速率之间的动态切换可通过将60[fps]的图像信号上 变频来执行，或者可通过切换图像传感器121自身的操作频率来执行。
以这种方式，根据对象的运动来动态切换要输出到外部设备的图像信 号的帧速率。这可以充分地降低要发送给网络的图像信号的信号量，同时 确保实践中足够的图像质量。因此，即使在与另一设备共享网络的情况 下，也可实时地传输图像信号。
此外，可以不必根据所建议再现速度来动态改变要输出到外部设备的 图像信号的帧速率。可替代地，可以根据作为图像信号的传输路径的网络 和/或根据外部设备来执行动态切换，以便确保图像信号的实时传输。
注意，可以在例如逐分组地向网络发送图像信号时，通过基于在请求 网络发送分组之后获得确认的等待时间确定网络中所谓的拥塞度并且对于 更高的拥塞将帧速率降低更多，而执行根据网络在帧速率之间的切换。
此外，可以在例如逐分组地向外部设备发送图像信号时，通过对在请 求外部设备发送图像信号之后获得发送确认的等待时间进行计数并且对于 更长的等待时间更大地降低帧速率，而执行根据外部设备在帧速率之间的 切换。
注意，在上述实施例中，已经描述了使用循环加算来降低图像信号的 帧速率的情况。但是，本发明不限于此，可通过简单地对多个帧的相应图 像信号执行加算处理来降低帧速率。另外，在可以确保实践中足够的图像 质量的情况下，可以使用帧抽取来降低帧速率。
此外，在上述实施例中，已经描述了这样一种情况，其中，基准帧速率被设置为60[Q)s]，并且其中，在高速图像捕捉模式下，帧速率为基准帧 速率四倍的240[fps]的图像信号DV1被生成。但是，本发明不限于此，而 可被广泛应用于以各种帧速率执行图像捕捉的情况，例如，生成帧速率为 基准帧速率三倍的图像信号DV1的情况。
此外，在上述实施例中，已经描述了这样一种情况，其中，以1倍 速、1/2倍速和1/4倍速来再现通过在高速图像捕捉模式下执行图像捕捉而 获得的图像。但是，本发明不限于此，而可被广泛地应用于例如以1/3倍 速再现图像的情况以及其它情况。
另外，在上述实施例中，已经描述了生成逐行扫描类型的图像信号的 情况。但是，本发明不限于此，而可被广泛地应用于生成隔行扫描类型的 图像信号的情况。
工业应用性
本发明例如适合用于以高于视频信号的常规图像速率的图像速率来执 行图像捕捉以生成图像信号并使用该图像信号来获得慢动作再现图像。
权利要求
1.一种图像再现装置，包括信号再现单元，该信号再现单元对所捕捉图像的图像信号进行再现，所述所捕捉图像是通过以比预设图像速率高的图像速率执行图像捕捉而被生成的；再现控制信息生成单元，该再现控制信息生成单元使用运动检测结果来生成再现控制信息，所述运动检测结果是通过使用从所述信号再现单元输出的所述图像信号执行运动检测而获得的；信号处理单元，该信号处理单元将从所述信号再现单元输出的所述图像信号的图像速率转换为所述预设图像速率；以及控制单元，该控制单元基于所述再现控制信息来控制从所述信号再现单元提供给所述信号处理单元的所述图像信号的图像速率，以随着由所述运动检测结果指示的运动的增大而降低所述所捕捉图像的再现速度。
2. 根据权利要求1所述的图像再现装置，其中，所述再现控制信息 生成单元根据通过执行所述运动检测而获得的运动向量的运动量来确定所 建议再现速度，并将该所建议再现速度设置为所述再现控制信息。
3. 根据权利要求2所述的图像再现装置，其中，所述再现控制信息 生成单元基于所述所捕捉图像的中心部分区域和该所捕捉图像的其余区域 之间的运动量之差与预设阈值之间的比较结果，来确定所述所建议再现速 度。
4. 根据权利要求2所述的图像再现装置，还包括扩展处理单元，该 扩展处理单元在所述图像信号是已经使用通过执行运动检测获得的运动向 量而经历了压縮处理的图像信号的情况下，对该图像信号执行扩展处理，其中，所述再现控制信息生成单元使用在所述扩展处理中使用的运动 向量来生成所述再现控制信息。
5. 根据权利要求1所述的图像再现装置，还包括信号记录单元，该 信号记录单元将以比所述预设图像速率高的图像速率执行图像捕捉而生成 的所捕捉图像的图像信号记录在记录介质上，其中，所述再现控制信息生成单元使用在所述信号记录单元上记录的 图像信号来生成所述再现控制信息，其中，所述信号记录单元将由所述再现控制信息生成单元生成的再现 控制信息与所述图像信号相关联地记录在所述记录介质上，其中，所述信号再现单元再现所述图像信号和所述再现控制信息，并且其中，所述控制单元基于由所述信号再现单元再现的所述再现控制信 息，控制从所述信号再现单元输出的图像信号的图像速率。
6. —种图像再现方法，包括信号再现步骤，对通过以比预设图像速率高的图像速率执行图像捕捉 而生成的所捕捉图像的图像信号进行再现；再现控制信息生成步骤，使用运动检测结果来生成再现控制信息，所 述运动检测结果是通过使用要在所述信号再现步骤再现的图像信号执行运 动检测而获得的；信号处理步骤，将在所述信号再现步骤再现的所述图像信号的图像速 率转换为所述预设图像速率；以及再现控制步骤，基于所述再现控制信息来控制在所述信号处理步骤中 使用的、在所述信号再现步骤中再现的所述图像信号的图像速率，从而随 着在运动检测中检测到的运动的增大而降低所述所捕捉图像的再现速度。
7. —种图像捕捉装置，包括图像捕捉单元，该图像捕捉单元生成所捕捉图像的图像信号，该所捕 捉图像是通过以比预设图像速率高的图像速率执行图像捕捉而生成的；再现控制信息生成单元，该再现控制信息生成单元使用运动检测结果 来生成再现控制信息，该运动检测结果是通过使用由所述图像捕捉单元生 成的所述图像信号执行运动检测而获得的，所述再现控制信息用于在再现 所述图像信号期间随着在运动检测中检测到的运动的增大而降低所述所捕 捉图像的再现速度；以及输出单元，该输出单元与所述图像信号相对应地输出所述再现控制信息。
8. 根据权利要求7所述的图像捕捉装置，其中，所述再现控制信息 生成单元根据通过执行所述运动检测而获得的运动向量的运动量来确定所 建议再现速度，并将该所建议再现速度设置为所述再现控制信息。
9. 根据权利要求8所述的图像捕捉装置，其中，所述再现控制信息 生成单元基于所述所捕捉图像的中心部分区域和该所捕捉图像的其余区域 之间的运动量之差与预设阈值之间的比较结果，来确定所述所建议再现速 度。
10. 根据权利要求7所述的图像捕捉装置，还包括信号处理单元，该 信号处理单元将由所述图像捕捉单元生成的所述图像信号转换为所述预设 图像速率，其中，所述再现控制信息生成单元使用由所述信号处理单元转换为所 述预设图像速率的图像信号来执行运动检测。
11. 根据权利要求7所述的图像捕捉装置，还包括图像压縮单元，该 图像压縮单元使用运动检测结果来压縮所述图像信号的信号量，该运动检 测结果是通过使用所述图像信号执行运动检测而获得的，其中，所述再现控制信息生成单元使用由所述图像压縮单元获得的运 动检测结果来生成所述再现控制信息。
12. —种用于图像捕捉装置的控制方法，包括图像捕捉步骤，生成所捕捉图像的图像信号，该所捕捉图像是通过以 比预设图像速率高的图像速率执行图像捕捉而生成的；再现控制信息生成步骤，使用运动检测结果来生成再现控制信息，该 运动检测结果是通过使用在所述图像捕捉步骤中生成的所述图像信号执行 运动检测而获得的，所述再现控制信息用于在再现所述图像信号期间随着 在运动检测中检测到的运动的增大而降低所述所捕捉图像的再现速度；以 及输出步骤，与所述图像信号相对应地输出所述再现控制信息。
全文摘要
本发明涉及图像再现装置、图像再现方法、图像捕捉装置及其控制方法。在本发明中，为了再现以比预设图像速率高的图像速率执行图像捕捉而生成的所捕捉图像的图像信号，将要再现的图像信号提供给将图像信号转换为预设图像速率的信号处理单元，并且基于使用所捕捉图像的运动检测结果生成的再现控制信息来控制要再现的该图像信号的图像速率，以根据所检测到的运动的增大而降低所捕捉图像的再现速度。从而输出慢动作再现图像的图像信号。
文档编号H04N5/765GK101611624SQ20088000389
公开日2009年12月23日 申请日期2008年1月31日 优先权日2007年2月1日
发明者宫腰大辅 申请人:索尼株式会社