图像感测设备及其控制方法

专利名称：图像感测设备及其控制方法
技术领域：
本发明涉及图像感测设备和该图像感测设备的控制方法，以及信息处理设备，打印设备，和打印数据生成方法，更具体来说，涉及通过图像感测设备、信息处理设备和打印设备执行的运动图像的图像感测和打印，以及该图像感测设备的控制方法，和打印数据生成方法。
背景技术：
近年来，诸如数字摄像机和数字视频摄像机之类的可以利用简单操作感测图像并将该感测的图像转换为数字图像数据的图像感测设备已经得到广泛使用。结果，在PC显示监视器和电视屏幕上查看利用数字摄像机或数字视频摄像机感测的静止图像和运动图像以及使用工作室打印服务或家用个人打印机打印它们的机会增加。 此外，利用数字摄像机的技术性能的新发展，不仅组合了静止图像感测，而且还组合了运动图像感测功能的数字摄像机正在变得普遍。 在这些情况下，常规上，到打印店并使用底片或索引打印，以手写方式指定用于创建打印的信息，如希望打印的帧以及这样的帧的数量，日期打印等。近年来，已经可以在自己的数字摄像机中设置此类信息，并直接记录到诸如存储卡之类的可移动介质中。此功能通过简单地将可移动介质附连到打印机，使得能够自动地根据指定进行打印。替代在核对数字摄像机或打印机上的数字图像的同时一次一张地打印每一个图像，这可以节省时间和避免麻烦，减轻对用户的负担。 为了实现上文所描述的功能，已知称为DPOF(Digital PrintOrder Format，数字打印命令格式)的标准。DPOF是这样的一种格式为了实现上文所描述的对于用户的优点，获取自动打印信息，如打印的数量、大小、是否包括日期、标题、修整等，并将它与图像文件一起存储在可移动介质中，以便在打印时使用。 目前广泛公知的DP0F假设要打印的是静止图像，并具有下列类型的打印 标准打印…每1张打印布置1个图像文件。 索引打印和多图像打印…每1张打印布置多个图像文件。 特定大小打印…每1张打印布置1个图像文件，但是指定图像尺寸。 那么，自动打印信息被存储在文本文件中，存储该信息的文件称为DP0F文件。 此外，近来，已经开发了直接打印系统，该系统使得数字图像数据能够直接从数字
摄像机传输到打印机并打印，而无需经过PC。此外，还开发出了这样的打印机，其中，利用数
字摄像机感测的图像被保存到诸如存储卡之类的介质中，该介质被直接附连到打印机，并
且该介质中存储的图像被打印。
3
此外，还需要运动图像打印，不仅打印静止图像，而且打印运动图像的帧。例如，在专利文件l中提出了用于打印运动图像的技术。此外，例如，在专利文件2中还提出了在以DP0F打印运动图像中包括的技术。 此外，在专利文件3中，公开了这样的技术连续地计算帧间差值，并提取运动图像的场景变化的时刻。 专利文件1 :日本专利特开No. 2004-040393
专利文件2 :日本专利特开No. 2001-251573
专利文件3 :日本专利特开No. 2004-080599

发明内容
本发明要解决的问题 然而，在常规的发明中，对于运动图像的单个指定的帧图像，执行诸如边缘突出和亮度校正之类的普通的图像校正，此后，生成用于打印的静止图像。结果，难以去除运动图像所特有的图像噪声。此外，为了从运动图像中提取场景的变化，如在专利文件3中那样，必须一次一个地检查帧之间的相关性，而这样的处理花费时间。 此外，对于静止图像，图像感测条件数据存储在头部中，此外，静止图像本身基本上记录了时间上的冻结瞬间(frozen moment)，从而，当静止图像被打印时，只使用单个打印的数据来执行图像校正以及打印静止图像。 相反，对于运动图像打印，从时间上连续的图像中提取单个打印，并进行打印。在此情况下，已知这样的技术，所述技术使用要打印的图像的之前和之后在时间上连续的图像，并将图像分割为运动区域和静止区域，并执行两种图像处理，或者所述技术在放大并打印来自场图像的帧图像时执行像素插入。 执行这种合成或校正在提供增强的图像分辨率和感光度时是有效的，如果对象静止不动，则随着用于合成和校正的图像的数量增大，效果会提高。然而，在进行运动图像感测时，很可能视角或曝光发生变化。结果，当尝试打印单个场景时，按原样利用常规技术，难以最佳地校正图像和改进其质量。 本发明是在考虑到上文描述的现有技术的问题而作出的，并且其目的在于使得能够更可靠并迅速地生成用于高质量打印的运动图像数据。
解决问题的手段 要实现上文所描述的目标，本发明提供了一种能够感测运动图像的图像感测设备，包括存储单元，存储在运动图像的图像感测期间感测的运动图像的图像数据，并且存储所述运动图像的图像感测条件数据；选择单元，从存储在所述存储单元中的构成运动图像的多个帧的图像数据中选择用于打印的帧；合成单元，合成构成运动图像的多个帧的图像数据并生成用于打印的图像数据；以及确定单元，基于由所述选择单元选择的帧的图像感测条件，确定要合成的帧的数量，所述合成单元合成所选择的帧的图像数据和所选择的帧之前和之后感测的由所述确定单元确定的所述数量的帧的图像数据。 在另一个配置中，本发明的图像处理设备包括输入单元，输入构成运动图像的多个帧的图像数据和所述运动图像的图像感测条件数据；选择单元，从所输入的多个帧中选择用于打印的帧；合成单元，合成构成运动图像的多个帧的图像数据并生成用于打印的图
4像数据；以及确定单元，基于由所述选择单元选择的帧的图像感测条件，确定要合成的帧的数量，所述合成单元合成所选择的帧的图像数据和所选择的帧之前和之后感测的由所述确定单元确定的所述数量的帧的图像数据。 在另一个配置中，本发明的打印设备包括输入单元，输入构成运动图像的多个帧的图像数据和所述运动图像的图像感测条件数据；选择单元，从所输入的多个帧中选择用于打印的帧；合成单元，合成构成运动图像的多个帧的图像数据并生成用于打印的图像数据；确定单元，基于由所述选择单元选择的帧的图像感测条件，确定要合成的帧的数量；以及打印单元，打印由所述合成单元合成的用于打印的图像数据，所述合成单元合成所选择的帧的图像数据和所选择的帧之前和之后感测的由所述确定单元确定的所述数量的帧的图像数据。 本发明的打印数据生成方法包括获取步骤，获取构成运动图像的多个帧的图像数据和所述运动图像的图像感测条件数据；选择步骤，从所获取的多个帧的图像数据中选择用于打印的帧；合成步骤，合成构成运动图像的多个帧的图像数据并生成用于打印的图像数据；以及确定步骤，基于在所述选择步骤中选择的帧的图像感测条件，确定要在所述合成步骤中合成的帧的数量，所述合成步骤合成所选择的帧的图像数据和所述帧之前和之后感测的在所述确定步骤中确定的所述数量的帧的图像数据。 在另一个配置中，一种能够感测运动图像的图像感测设备包括图像感测单元，感测运动图像；以及记录单元，将由所述图像感测单元新获取的帧的图像数据与所述新获取的帧紧前面感测的帧的图像数据之间的相关性连同所述新获取的帧的图像数据一起记录在记录介质上。 在另一个和其它配置中，本发明的图像处理设备包括输入单元，输入构成运动图像的多个帧的图像数据和所述多个帧的图像数据之间的相关性；选择单元，从所输入的多个帧的图像数据中选择用于打印的帧；提取单元，基于所述相关性，提取与所选择的帧具有相关性的另一个帧；合成单元，合成所选择的帧的图像数据和由所述提取单元提取的帧的图像数据，并生成用于打印的图像数据；以及输出单元，将由所述合成单元合成的用于打印的图像数据输出到打印设备。 在另一个和其它配置中，本发明的打印设备包括输入单元，输入构成运动图像的多个帧的图像数据和所述多个帧的图像数据之间的相关性；选择单元，从所输入的多个帧的图像数据中选择用于打印的帧；提取单元，基于所述相关性，提取与所选择的帧具有相关性的另一个帧；合成单元，合成所选择的帧的图像数据和由所述提取单元提取的帧的图像数据，并生成用于打印的图像数据；以及打印单元，打印由所述合成单元合成的用于打印的图像数据。 —种能够感测运动图像的图像感测设备的控制方法包括图像感测步骤，利用图像感测单元感测运动图像；以及记录步骤，将在所述图像感测步骤中新获取的帧的图像数据与所述新获取的帧紧前面感测的帧的图像数据之间的相关性连同所述新获取的帧的图像数据一起记录在记录介质上。 在另一个和其它配置中，本发明的打印数据生成方法包括获取步骤，获取构成运动图像的多个帧的图像数据和涉及所述多个帧的图像数据之间的相关性的信息；选择步骤，从所获取的多个帧的图像数据中选择用于打印的帧；提取步骤，基于所述相关性，提取与所选择的帧具有相关性的另一个帧；合成步骤，合成所选择的帧的图像数据和在所述提取步骤中提取的帧的图像数据，并生成用于打印的图像数据；以及输出步骤，将在所述合成步骤中合成的用于打印的图像数据输出到打印单元。 通过下面的结合附图的描述，本发明的其它特征和优点将变得显而易见，其中，在多个视图中类似的参考字符表示类似或相同的部分。


附图包括在本说明书中说明书的描述一起用于描述本发
图1是示出本发明第一
图2是示出本发明第一
图3是示出本发明第一
图4是示出本发明第一例的示图； 图5是示出本发明第例的示图； 图6是示出本发明第一
图7是示出本发明第一
图8是示出本发明第一
，并构成本说明书的一部分，示出本发明的实施例，并与本明的基本原理，其中实施例的系统的配置的方框实施例的图像感测设备的运动图像感测过程的流程图；实施例的生成运动图像打印用静止图像的过程的流程图；实施例中的记录在记录介质上的图像文件的目录结构示
一实施例中的记录在记录介质上的图像文件的目录结构示
实施例的运动图像帧图像和相关性标记的示意图；实施例的用于打印的静止图像的示例的示图；实施例的记录在存储介质上的管理文件的结构示例的示 图9是示出本发明第一实施例的变型例的系统的配置的示图； 图10A是示出本发明第二实施例的系统的配置的方框图； 图10B是示出本发明第二实施例的系统的配置的方框图； 图11是示出本发明第二实施例中的以时间序列示出曝光变化的图像感测条件数据的示例的示图； 图12是示出本发明第二实施例中的指定打印图像的时刻和曝光变化之间的关系的示图；以及 图13是示出本发明第二实施例中的生成运动图像打印用静止图像的过程的流程
具体实施例方式
现在将根据附图详细描述本发明的优选实施例。
(第一实施例) 图1是示出本发明第一实施例的系统的配置的方框图，主要包括图像感测设备1和打印设备3。 图像感测设备1是能够感测运动图像的图像感测设备，如数字静态照相机、数字视频摄像机等。在本发明第一实施例的图像感测设备1中，参考标号11表示包括聚焦透镜、变焦透镜等的透镜，12表示配备有光圈功能的快门(在数字视频摄像机100的情况下，表示光圈)，以及13表示由CCD传感器、CMOS传感器等所代表的图像感测元件。
参考标号14表示相关双取样/自动增益控制电路(CDS/AGC) ， 15表示数字信号处 理电路，16表示具有能够存储至少两个帧的数据的容量的帧存储器。应该指出的是，虽然 第一实施例被描述为如稍后所描述的，在从图像感测元件13的单个输出操作中读出单个 帧的图像信号，但是不言而喻，也可以通过隔行扫描输出单个场的图像信号。此外，不管它 是帧还是场，在单个输出操作中从图像感测元件13输出的运动图像在本实施例中都称为 "帧"。 参考标号17表示主微型计算机，该主微型计算机控制图像感测设备1的总体操 作。参考标号18表示图像总线，19表示图像编解码器，20表示记录单元，该记录单元将由 图像编解码器19压縮的图像数据记录到诸如存储卡、数字视频磁带、DVD等之类的可移动 外部记录介质29，并从外部记录介质29中读出图像数据。 参考标号21表示诸如液晶显示器(LCD)等之类的显示单元，22表示控制显示单元 21的显示的显示控制器。参考标号23表示NTSC编码器，24表示视频输出终端，而25表示 IEEE 1394标准、USB标准或其它这样的标准通信接口 (I/F)。参考标号26表示相关性确 定单元，其判断图像数据之间的相关性，而28表示由按钮、开关、转盘、触摸面板等构成的 操作单元。 打印设备3包括CPU 31、存储器32、内部总线38、诸如存储卡、HDD等之类的存储 介质33、显示操作面板和预览屏幕的显示单元35、以及控制显示单元35的显示的显示控 制器34。此外，打印设备3包括IEEE 1394标准、USB标准或其它这样的标准通信接口 (1/ F)37、打印机引擎36等。 图像感测设备1和打印设备3通过通信电缆2连接，并传输打印数据，以及交换各 种控制数据。应该指出的是，虽然在图l所示的示例中，设备通过电缆连接，但是本发明不 受通信标准或连接形式的限制。例如，在通信接口是基于诸如红外通信、蓝牙标准等之类的 通信标准的无线通信装置的情况下，可以以无线方式进行通信。此外，图像感测设备1的记 录介质29可以作为打印设备3的存储介质33安装，并且经由记录介质29交换打印数据和 各种类型的控制数据。 现在参照图2所示的流程图，描述利用具有图1所示配置的图像感测设备1执行 的运动图像感测操作。 来自对象的光进入透镜11和快门12，撞击图像感测元件13，并被转换为电信号。 此时，如果从操作单元28指示运动图像记录，则图像感测元件13在清除已存储电信号后的 预定时间段上存储电信号之后，将单个帧的存储电荷(图像信号)输出到CDS/AGC 14。CDS/ AGC 14取样保持如此获得的图像信号，并将它调节到适当的信号电平。已经由CDS/AGC 14 进行了电平调节的图像信号在数字信号处理电路15处经受数字信号处理，生成的图像数 据被存储在帧存储器16的预定区域中(步骤Sll)。 随后，在步骤S12中，确定在帧存储器16中是否存在之前帧的图像数据。如果帧 存储器16中没有之前帧的图像数据，那么，因为在步骤Sll中获取的图像数据是该运动图 像感测操作中的第一图像数据，所以处理返回到步骤Sll。如果在帧存储器16中存在之前 帧的图像数据(在步骤S12中"是")，那么，处理转到步骤S13，并且相关性确定单元26从 帧存储器l中6读出此时获取的图像数据和之前帧的图像数据，并确定相关性。应该指出 的是，相关性确定单元26使用已知的方法确定相关性。
如果由相关性确定单元26执行的确定结果表明相关性高于预定级别(在步骤S14 中为"是")，则相关性标记被设置为Y(步骤S16)，如果低于预定级别(在步骤S14中为 "否")，则相关性标记被设置为N(步骤S15)。 随后，在步骤S17中，图像编解码器19从帧存储器16中读出此时获取的图像数 据，利用适合于运动图像的方法对图像数据进行压縮编码，并将经过压縮编码的图像数据 传输到记录单元20。在记录单元20，经过压縮编码的图像数据被转换为适合于记录的格 式，并连同从相关性确定单元26中获得的相关性标记一起记录到记录介质29上。
—旦完成了通过上文所描述的处理记录一个帧的图像数据，则在步骤S18中，确 定是否由操作单元28指示运动图像感测结束，如果指示，则结束图像感测处理。如果没有 指示图像感测结束，则处理返回到步骤S11，并且读出下一个帧的图像信号。应该指出的是， 在下一个例程中，新输出的图像数据被存储在帧存储器16的这样的区域中，在前一例程中 在该区域处存储了之前帧的图像数据。 如此，如上文所描述的，在本发明第一实施例中的运动图像感测期间，每一个帧的 图像数据和与之前帧的图像数据的相关性标记被记录在记录介质29上。
图4是示出记录在记录介质29上的图像文件的目录结构示例的示图。图4示出 这样的状态，在图像感测设备1能够形成静止图像的情况下，感测的静止图像和运动图像 混合在一起存储在同一记录介质29上。 图5是示出记录在记录介质29上的运动图像文件的一般结构的示意图。如上文 参考图2所描述的，当预先研究各个运动图像帧之间的相关性并将这些帧的图像数据记录 在运动图像文件中时，图像感测设备1将相关性标记作为属性信息添加到每一个帧中。
现在将参考图3，描述当打印上文所述记录的运动图像时执行的、由图像感测设备 1执行的生成用于打印的静止图像的过程。 首先，等待用户指定要打印的运动图像的帧(步骤S21)。在如如图4所示那样的 图像文件被保存在记录介质29上的情况下，用户选择他/她希望打印的运动图像的图像文 件，然后，在重放选择的图像文件的同时选择要打印的帧。 例如，在运动图像的帧图像和相关性标记被如图6所示的那样记录的情况下，首 先，提取场景变化点，并在该帧停止运动图像。这里，由于帧2和帧1之间的变化量大，所以 运动图像在帧2处停止。此后，用户利用显示单元21检查图像的帧，同时从帧2开始向显 示屏幕一次传送一个帧，并使用操作单元28在所期望的帧指定打印。这里，例如，指定帧3 来进行打印。 —旦指定了打印，从指定的运动图像帧开始，检查之前运动图像帧的相关性标记， 以查找连续相关帧的第一帧编号(相关开始帧)(步骤S22)。这里，首先，确认指定帧的相 关性标记是否是Y。如果相关性标记是N，那么确定指定的帧是相关开始帧。相反，如果标 记是Y，那么检查指定帧之前的帧的相关性标记。如果该之前的帧的相关性标记是N，那么 确定该之前的帧是相关开始帧。相反，如果该之前的帧的相关性标记是Y，那么检查指定帧 两帧之前的帧的相关性标记。重复此相关性标记确认操作，直到到达其相关性标记是N的 帧，并且确定其相关性标记是N的帧是相关开始帧。然后，存储相关开始帧(步骤S23)。在 图6所示的示例中，帧2被存储作为相关开始帧。 随后，从指定的运动图像，连续地检查下列运动图像帧的相关性标记，以查找连续
8相关帧的最后一个帧编号(相关结束帧)(步骤S24)。这里，首先，确认指定帧之后的帧的 相关性标记是否是Y。如果相关性标记是N，那么，确定指定帧是相关结束帧。相反，如果标 记是Y，那么，检查指定帧两帧之后的帧的相关性标记。如果指定帧两帧之后的帧的相关性 标记是N，那么，确定指定帧之后的帧是相关结束帧。相反，如果指定帧两帧之后的帧的相关 性标记是Y，那么，检查指定帧三帧之后的帧的相关性标记。重复此相关性标记确认操作，直 到到达其相关性标记是N的帧，此时，确定其相关性标记是N的帧之前的帧是相关结束帧。 那么，存储相关结束帧(步骤S25)。在如图6所示的示例中，帧5作为相关结束帧存储。
通过上文所描述的过程，可以获得与在步骤S21中指定用于打印的运动图像帧具 有高相关性的帧的范围。在图6所示的示例中，对于指定用于打印的帧3，获得帧2-5作为 相关性高的帧。 随后，在步骤S26中，合成上文所描述的检测到的范围(在图6中的示例中，帧 2-5)内的所有帧的图像数据，使得能够生成用于打印所需运动图像帧的静止图像。
图7是示出通过合成图6所示的高相关性的多个运动图像帧(帧2-5)所产生的 用于打印的静止图像示例的示图。运动图像信号是以帧周期重复相似图像信息的信号，并 且帧之间的相关性极其强。相反，对于图像信号中包括的噪声分量没有相关性。结果，作为 合成的图像，例如，当以帧为单位对图像信号进行时间平均时，在信号分量基本上保持原状 的同时只有噪声分量减小，由此使得噪声能够减少。 图像感测设备1通过通信接口 25将以此方式生成的用于打印的静止图像传送到 打印设备3。在打印设备3中，打印通过通信接口 1/F37接收到的用于打印的静止图像。
如此，如上文所描述的，根据本发明第一实施例，由于在记录运动图像期间将表示 相关性的信息连同帧的图像数据一起记录，所以当进行打印时，可以快速地提取相关的帧。 此外，合成提取的帧的图像数据，以生成用于打印的静止图像，以高质量地快速地打印运动 图像场景。(第一实施例的变型例) 虽然在上面所描述的第一实施例中，描述了在图像感测设备1处生成用于打印的 静止图像数据，但是，另选地，可以在打印设备3处生成用于打印的这样的静止图像数据。 在这样的情况下，可以由打印设备3执行参考图3描述的处理。 此外，参考图3描述的处理可以在图像感测设备1和打印设备3之间分配。例如， 在图像感测设备1处，由用户指定用于打印的帧可以作为管理文件保持在记录介质29上， 打印设备3基于该管理文件生成用于打印的静止图像。 图8是示出记录在记录介质29上的管理文件的结构示例的示图。可以对于单个 文件"运动图像文件A"记录多个被指定用于打印的帧。这样做，使得能够在执行单个打印 时指定用于打印的多个用于打印的帧。此外，如图8所示，可以向管理文件添加相关性标记 信息。在这样的情况下，因为相关性标记不需要嵌入在运动图像文件中，因此，它具有易于 安装的优点。 此外，也可以由图像感测设备1和打印设备3之外的图像处理设备执行参考图3 所描述的处理。图9示出这样的系统配置的示例。 在图9中，在图像感测设备1和打印设备3之间插入图像处理设备的处理不同于 图l所示的系统的配置。在此配置中，通过记录介质29或通信I/F向图像处理设备4输入
9由图像感测设备1记录的运动图像文件，由图像处理设备4执行图3所示的处理，并生成用
于打印的静止图像数据。然后，向打印设备3传送用于打印的生成的静止图像数据。 此外，在上文所描述的第一实施例中，在指定用于打印之后，产生用于打印的静止
图像。相反，在图像感测设备1中，可以使用在图3所示的步骤S22-S26中描述的算法，与
运动图像感测同时产生用于打印的静止图像，并将该用于打印的静止图像记录在运动图像
数据中或存储介质29中。在这样的情况下，当在打印设备3中指定用于打印的给定运动图
像帧时，简单地检索和打印使用该运动图像帧生成的用于打印的静止图像，使得能够縮短
从打印指定到打印的时间，并提高生产率。(第二实施例) 现在描述本发明第二实施例。 图IOA和图IOB是示出本发明第二实施例的系统的一般配置的方框图，主要包括 图像感测设备5 (图10A)和打印设备8 (图10B)。 在图像感测设备5中，参考标号51表示包括聚焦透镜、变焦透镜等的透镜，而52 表示配备有光圈功能的快门(在数字视频摄像机的情况下，为光圈)。参考标号53表示由 CCD传感器、CM0S传感器等代表的图像感测元件。参考标号60表示控制图像感测设备5的 总体操作的控制器。参考标号61表示AF处理器，该AF处理器从控制器60接收指令，并且 驱动透镜51的聚焦透镜，并执行AF处理，参考标号62表示AE处理器，该AE处理器从控制 器60接收指令，并且控制光圈和快门速度，并执行AE处理。 参考标号54是A/D转换器，该A/D转换器将从图像感测元件53输出的模拟图像 信号转换为数字图像信号，55是图像处理器，该图像处理器对由A/D转换器54转换的数字 图像信号执行特定像素插入处理和颜色转换处理。参考标号56表示格式转换器，该格式转 换器将由图像处理器55处理过的图像数据转换为适合于进行记录的格式，如MPEG或JPEG 等。参考标号58表示具有用于临时存储图像数据的缓冲功能的存储器，57表示图像记录单 元，该图像记录单元将由格式转换器56进行了格式转换的图像数据记录在缓冲区58中。
参考标号63表示闪光单元，64表示EF (Electric Flash,电子闪光)处理器，59表 示由按钮和开关、触摸面板、转盘等构成的操作单元。参考标号65表示诸如LCD之类的显 示单元，66表示用于将图像感测设备5连接到另一个设备的外部连接器。
参考标号67表示运动图像感测条件数据产生单元，该单元在运动图像感测期间 生成图像感测条件数据。稍后描述图像感测条件数据。参考标号72表示图像感测条件数 据传送器单元，该单元向打印设备8传送图像感测条件数据。 参考标号68表示运动图像扩展单元，该单元扩展临时存储在缓冲区58中的预定 格式的图像数据，69表示打印图像确定单元，该单元确定要打印的图像。参考标号70表示 图像压縮单元，该单元再一次压縮由打印图像确定单元69确定的要打印的图像数据(静止 图像)，71表示将由图像压縮单元70压縮的图像数据传送到打印设备8的图像传送器。
在打印设备8中，参考标号81和85分别表示图像接收器和图像感测条件数据接 收器，它们分别接收从图像感测设备5传送的图像数据和图像感测条件数据。参考标号82 表示临时存储经由图像接收器81接收的图像数据的图像缓冲区，而83表示图像扩展单元， 该图像扩展单元扩展存储在图像缓冲区82中的图像数据。参考标号86表示之前/之后图 像曝光值计算器，该计算器计算已经扩展的多个图像数据的曝光值。参考标号84表示打印机校正值计算器，该计算器使用经由图像感测条件数据接收器85接收的图像感测条件数 据来确定在打印中使用的校正值，而87表示打印机图像处理器，该打印机图像处理器使用 确定的校正值对图像数据执行校正处理。参考标号88表示打印机控制器，该打印机控制器 响应于图像感测设备5的控制器60的控制，对打印机进行控制，而89表示打印单元，该打 印单元打印由打印机图像处理器87处理的图像。 现在参考图10A和图IOB，描述图像感测设备5中的运动图像感测期间的处理。
当用户首先使用操作单元59指示运动图像感测时，控制器60分别向AF处理器61 和AE处理器62发出AF和AE处理指令，移动透镜51和配备有光圈功能的快门52，并执行 适当的AF和AE处理。通过透镜51和快门52入射的光撞击图像感测元件53并被转换为 模拟图像信号，进一步被A/D转换器54转换为数字图像信号，并被向图像处理器55传送。 以预定周期重复前面的处理，直到从操作单元59输入运动图像感测结束指令。在运动图像 感测结束指令之后，由格式转换器56确定并产生从图像处理器55传送的数据的格式，并且 图像记录单元57将图像文件保存在缓冲区58中。 此外，与运动图像数据一起，还保存运动图像感测期间的图像感测条件数据。此 外，作为产生縮略图文件(独立于图像文件保存)，描述第二实施例。由运动图像感测条件 数据产生单元67产生的图像感测条件数据被附加到縮略图文件，并被存储。
作为縮略图文件中描述的图像感测条件数据，例如有诸如光圈、快门速度、ISO 感光度、Bv值、曝光校正值、闪光量、图像感测场景信息、光度加权信息等之类的曝光条件； 来自角速度传感器的摄像机抖动信息；以及透镜信息。此外，为了实现运动图像感测，第二 实施例还提供了运动图像感测期间参数随时间的变化量的图像感测条件数据。例如，虽然 在运动图像感测期间可能发生视角变化，但是，在这样的情况下，还有曝光变化，而这样的 变化数据也包括在图像感测条件数据中。然而，因为存在这样的风险，B卩，如果要存储所有 帧图像的曝光信息，则数据量会变得非常大，所以例如，存储曝光变化的开始时间和结束时 间时的光圈Av、快门速度Tv以及增益Gain。 作为图像感测条件数据的示例，图11是示出亮度Bv、光圈Av、快门速度Tv，以及增 益Gain的随着时间的变化的关系，作为以时间序列显示曝光变化的参数的示图。在图11 的情况下，第一曝光变化开始时间是tll，第一曝光变化结束时间是t13。类似地，第二曝光 变化开始时间是tl4，第二曝光变化结束时间是t16。相应地，曝光稳定区域是tl3-tl4和 tl6-tl7。此信息在运动图像打印输出期间使用。 此外，涉及视角变化和对象运动的变化开始时间、变化结束时间、变化量以及矢 量，也作为以时间序列显示变化的参数来记录。使用了涉及视角变化的角速度传感器和针 对对象运动的电子防振等的使用的技术。 此外，有关更换透镜(像单透镜反光式照相机中的更换透镜)的信息被包括在由 上文所描述的运动图像感测条件数据产生单元67产生的摄像机特性数据中。除了诸如名 称/类型/设计值/变焦位置/F值等之类的图像感测条件之外，该透镜信息的内容包括， 诸如环境光量损耗数据/色差信息之类的特性数据。在可分离的更换透镜的情况下，当直 接连接时，透镜本身保存的信息可以通过摄像机传输到打印机侧。 诸如上文所描述的曝光变化、视角变化、对象运动等之类的图像感测条件数据被 连续地记录在縮略像中，在图像感测结束时连同运动图像数据一起被格式转换器56
11转换，并被图像记录单元57记录在缓冲区58中。 应该指出的是，虽然上面的示例是作为将曝光变化数据附加到縮略图文件(该文 件单独地附加到运动图像数据)描述的，但是，本发明不限于此，运动图像的每一个瞬间的 曝光数据可以记录在运动图像数据本身中。 现在将参照图12和图13，描述当打印运动图像时的处理。 图12是示出当对于发生了如图ll所示的曝光变化的图像执行打印指令时的时序 的示图。图13是示出运动图像打印过程的流程图。图12所示的示例示出tl3-tl4之间的 运动图像帧(指定的图像a)、tl4-tl5之间的运动图像帧(指定的图像b)，以及tl6-tl7之 间的运动图像帧(指定的图像c)被指定用于打印的情况。 首先，当用户在显示单元65上重放运动图像文件并使用打印图像确定单元69从 感测的图像中指定他/她希望打印的图像帧时，由打印机图像处理器87开始图13所示的 处理。 在步骤S31中，确定是否将图像感测条件数据附加到被指定用于打印的运动图像 帧中。作为图像感测条件数据，如上文所描述的，有诸如光圈(Av)、快门速度(Tv)、增益 (Gain)等之类的曝光变化，以及视角和对象运动。然而，这里，作为曝光变化，描述图像感测 条件数据。 当没有图像感测条件数据时，处理转到步骤S35，选择被指定用于打印的运动图像 帧之前和之后的运动图像帧(总共三个帧)，并且处理转到步骤S40。 当有图像感测条件数据时，确定被指定用于打印的运动图像帧是否是曝光稳定性 区域帧(步骤S32)。在如图12所示的示例中，指定的图像a和指定的图像c是曝光稳定性 区域中的被指定用于打印的运动图像帧。当在曝光稳定性区域中没有被指定用于打印的运 动图像帧时，处理转到步骤S36，只选择被指定用于打印的运动图像帧，并且处理转到步骤 S40。 在步骤S32中，当被指定用于打印的运动图像帧是位于曝光稳定性区域中的帧 时，在步骤S33中，确定快门速度(Tv)是否低于预定值(TvTH)。 一般而言，快门速度越慢， 摄像机抖动越大，如此，如果Tv < TvTH，则处理转到步骤S37，选择被指定用于打印的运动 图像帧分别之前和之后三个帧(总共七个帧)，并且处理转到步骤S40。
如果Tv > TvTH，则处理转到步骤S34，并确定增益(Gain)是否大于阈值 (GainTH)。由于增益越大，噪声越大，优选情况下，增大在稍后所描述的图像合成中所使用 的帧的数量，并去除噪声。因此，如果Gain > GainTH，则处理转到步骤S39，选择被指定用 于打印的运动图像帧分别之前和之后的五个帧(总共ll个帧)。如果Gain《GainTH，在 步骤S38中，选择分别之前和之后的三个帧(总共七个帧)，并且处理转到步骤S40。
应该指出的是，上文所描述的步骤S35-S39中选择的帧的数量是其一个示例，但 是，本发明不限于这些数量的帧。此外，用于确定要选择的帧的数量的参数不仅是TV和 Gain，另选地，可以使用光圈、视角变化量、对象运动量，或图像感测条件数据中的任何其它 信息。 在步骤S40中，在步骤S35-S39中的任何一个步骤中选择的运动图像帧中，只选择 曝光稳定性区域中的图像，并且在步骤S41中，通过平均进行合成。然后，经由图像传送器 71传送合成的图像数据，并经由图像感测条件数据传送器单元72向打印设备8传送图像感测条件数据(步骤S42)。应该指出的是，打印设备8分别通过图像接收器81和图像感测条 件数据接收器85接收传送的图像数据和图像感测条件数据，并进行打印。
此外，在一次性地全部指定所指定的图像a-c(多个图像)的情况下，一次只保留 指定的帧图像的时间，然后，在打印处理期间一次性地全部进行处理。当指定时间时，由图 像记录单元57调用重放运动图像文件的縮略像，从记录的图像感测条件数据中使要 打印的指定的图像a-c的曝光变化信息和指定的时间相关，确定要在合成中使用的图像 (帧)的数量。
(变型例) 在上文所描述的第二实施例中，描述了这样的情况一旦在图13所示的步骤 S35-S40中确定要传送到打印设备8的帧，在图像感测设备5侧合成相关的运动图像帧，并 将用于打印的合成的静止图像传送到打印设备8。 然而，可以在打印设备8中执行合成确定的运动图像帧的过程，在这种情况下，要 被传送到在图5所示的步骤S35-S40中确定的打印设备8的帧被按原样传送到打印设备8 并且在那里执行合成过程。 虽然在上文所描述的第二实施例中，当摄像机和打印机彼此直接连接时，由用户 设置图像校正处理，但是在PC和打印机之间存在连接的配置也在本发明的范围内。
(其它实施例) 也可以按如下方式实现本发明的目的。首先，将在其上面记录有实现上文所描述 的实施例的功能的软件程序代码的存储介质(或记录介质)提供到系统或设备。然后，系 统或设备的计算机(或CPU、MPU等)读取并执行存储在存储介质上的程序代码。在此情况 下，从存储介质中读出的程序代码本身实现上文所描述的实施例的功能，并且存储程序代 码的存储介质构成了本发明。 除了通过由计算机执行读取的程序来实现根据实施例的如前所述的功能的情 况，在计算机上运行的操作系统(OS)等可以执行实际处理的全部或一部分，以便可以通 过此处理实现前述实施例的功能。可以用于提供程序代码的存储介质的示例有软盘、硬 盘、R0M、 RAM、磁带、非易失性存储卡、CD-R0M、 CD-R、 DVD、光盘、磁光盘以及M0。此外，诸如 LAN(局域网)或WAN(广域网)之类的计算机网络可以用于提供程序代码。
本发明不限于上文所描述的实施例，可以在不偏离本发明的精神和范围的情况 下，对本发明进行许多修改和变型。因此，为了公开本发明的范围，附加以下权利要求。
本申请要求于2006年6月26日提出的日本专利申请No. 2006-175786的优先权， 通过引用将该申请全部并入本文。
权利要求
一种能够感测运动图像的图像感测设备，包括图像感测单元，感测运动图像；以及记录单元，将由所述图像感测单元新获取的帧的图像数据与所述新获取的帧紧前面感测的帧的图像数据之间的相关性连同所述新获取的帧的图像数据一起记录在记录介质上。
2. 根据权利要求1所述的图像感测设备，进一步包括生成单元，所述生成单元基于所述相关性生成表示互相关的帧的信息，其中，所述记录单元将所生成的表示互相关的帧的信息记录在所述记录介质上。
3. 根据权利要求1所述的图像感测设备，进一步包括合成单元，所述合成单元基于所述相关性合成互相关的帧的图像数据，并生成合成的图像数据，其中，所述记录单元将所述合成的图像数据记录在所述记录介质上。
4. 根据权利要求1所述的图像感测设备，进一步包括选择单元，从记录在所述记录介质上的运动图像的多个帧中选择要打印的帧；提取单元，基于所述相关性，提取与所选择的帧具有相关性的帧；合成单元，合成所选择的帧的图像数据和由所述提取单元提取的帧的图像数据，并生成合成的图像；以及输出单元，将由所述合成单元合成的用于打印的图像数据输出到打印设备。
5. —种能够感测运动图像的图像感测设备的控制方法，包括图像感测步骤，利用图像感测单元感测运动图像；以及记录步骤，将在所述图像感测步骤中新获取的帧的图像数据与所述新获取的帧紧前面感测的帧的图像数据之间的相关性连同所述新获取的帧的图像数据一起记录在记录介质上。
6. 根据权利要求5所述的控制方法，进一步包括生成步骤，所述生成步骤基于所述相关性生成表示互相关的帧的信息，其中，所述记录步骤将所生成的表示互相关的帧的信息记录在所述记录介质上。
7. 根据权利要求5所述的控制方法，进一步包括合成步骤，所述合成步骤基于所述相关性合成互相关的帧的图像数据，并生成合成的图像数据，其中，所述记录步骤将所述合成的图像数据记录在所述记录介质上。
全文摘要
本发明公开一种图像感测设备及其控制方法。所述感测运动图像的图像感测设备包括图像感测单元，感测运动图像；以及记录单元，将由所述图像感测单元新获取的帧的图像数据与所述新获取的帧紧前面感测的帧的图像数据之间的相关性连同所述新获取的帧的图像数据一起记录在记录介质上。
文档编号H04N5/77GK101754033SQ20091026198
公开日2010年6月23日 申请日期2007年6月13日 优先权日2006年6月26日
发明者宫崎康嘉, 高木淳 申请人:佳能株式会社