一种摄像模组传输图像数据的方法以及计算机的制作方法

专利名称：一种摄像模组传输图像数据的方法以及计算机的制作方法
技术领域：
本发明涉及摄像模组以比运动图像数据小的帧率连续地向主机装置传输图像数 据的技术，更详细来说，涉及降低数据传输时的摄像模组与主机装置的消耗功率的技术。
背景技术：
以单体存在的数字式摄像机，大体可以分为拍摄静止图像的静态摄像机和拍摄运 动图像的视频摄像机。无论是静态摄像机还是视频摄像机，在接通电源进入摄影准备状态 时都在液晶监视器上显示被拍摄体的图像。用户一边确认液晶监视器的图像一边拍摄静止 图像或运动图像，在摄像机本体中记录数据。
在笔记本型个人计算机(以下称为笔记本PC)、平板型计算机或者多功能便携电话 等的主机装置中有时安装了以视频电话或周围环境的摄影为目的的摄像模组。通常，摄像 模组拍摄的图像数据由笔记本PC的应用程序取得后记录在主机装置的记录介质中。因此， 可以说在笔记本PC中安装的摄像模组通过与处理以及记录图像数据的应用程序组合，构 成了与以单体存在的数字式摄像机对应的摄像系统。
在这种摄像系统中也可以安装仅需要静止图像的应用程序(应用)。摄像模组当进 入摄影准备状态时，以30fps的运动图像的帧率向系统传输图像数据。这种情况下的运动 图像数据，目的在于监视成为摄影对象的图像，因此与本来的运动图像数据相比，通常将像 素数设定得更低。此外，在将由生成I幅静止图像的多个摄像元件的集合体输出的像素信 号构成的图像数据设为I帧时，帧率是指单位时间内生成或传输的帧数(fps)。I幅静止图 像对应于I帧。
应用程序决定从取得的监视用的运动图像数据中选择静止图像的定时。然后，在 决定的定时，摄像模组传输本来的像素数的静止图像数据。或者，也可以在传输本来的像素 数的运动图像数据的过程中从此直接取得静止图像数据。即，为了在摄像系统中取得静止 图像，应用程序或用户在选择必要的静止图像之前的预定的时间期间，需要取得监视用的 像素数或本来的像素数的运动图像数据。
专利文献I提供一种削减了为了处理运动图像而消耗的功率的异常监视装置。异 常监视装置平时休止动画处理部分的动作，以检测出声音的异常为契机，开始动画处理部 分的动作。专利文献2公开了将静止图像数据存储为运动图像格式后输出到图像显示装置 时，使输出静止图像数据侧的消耗功率降低的图像显示系统。数字式视频摄像机，在进行了 基于来自数字式电视机的图像传输请求命令的静止图像数据的传输动作后，在接收由数字 式电视机发送的图像传输请求命令之前以低消耗功率模式动作。
非专利文献I规定从通过USB连接的摄像模组取得静态图像的静态图像捕获 (Still Image Capture)。在该文献中记载了主机装置临时中断视频流,在取得静态图像后 再次恢复为视频流的传输模式，或者不中断视频流，使用专用的批量静态图像管道来传输 静态图像。
在非专利文献2、3中记载了被称为低功率模式的USB设备的选择性挂起(Selective Suspend)。在选择性挂起中，USB客户机驱动器当决定USB设备为空闲时向USB 总线驱动器发送请求数据包。当与该USB集线器连接的全部USB设备变为空闲时，接收该请求数据包后USB总线驱动器使与该USB集线器连接的USB总线迁移到空闲状态，检测到该总线的状态迁移的USB设备迁移到选择性挂起状态。
摄像模组当不进行图像数据的传输时可以迁移到挂起状态。但是，在以往的摄像系统中，即使在主机侧仅需要静止图像数据的情况下，也需要发送监视用的运动图像数据， 即使想要在一定的周期中传输静止图像数据，在结束该运动图像的数据传输之前，摄像模组也无法迁移到挂起状态。而且，在摄影准备阶段，由于传输运动图像数据，因此总线的数据通信量不必要地增大，而且用于处理流数据的CPU的负荷也增大，主机装置的消耗功率也不必要地增大。
在笔记本PC中存在视频电话或视频摄影等利用运动图像数据的各种应用。当笔记本PC通过电池驱动来工作时，需要将摄像系统的消耗功率降低到极限，因此，在使摄像系统工作时一般连接AC/DC适配器来使用AC电力。但是，近年来开发出想要以比运动图像数据的帧率小的帧率连续地取得静止图像数据的应用。
例如可以考虑通过每I 2秒取得的静止图像判断在会议中使用笔记本PC的用户的脸的方向，当脸朝向与画面不同的方向时或从画面离开时，停止显示器的背光灯或者降低处理器的时钟频率来转移到省电状态，当脸朝向画面时恢复的应用。
当想要实现这种应用时，由于以往的摄像系统中消耗功率大，因此，当笔记本PC 为电池驱动时无法工作。另外，虽然在对笔记本PC进行电池驱动时难以利用运动图像，有时也希望远程使用以某种程度的周期发送来的静止图像来进行视频会议。
专利文献1:日本特开2004-120595号公报
专利文献2 :日本特开2008-187536号公报
非专利文献1:USB Device Class Definition for Video Devices, Revisionl.1June 1，2005
非专利文献2 !Universal Serial Bus Specification Revision2. 0
非专利文献3 ；Power saving of using USB Selective Suspend Support Whitepaper, Intel Mobile Platforms Group Version 0.3,May 20，2003，Kris Fleming发明内容
因此，本发明的目的在于提供一种在谋求消耗功率的降低的同时从摄像模组向主机装置传输图像数据的方法。而且，本发明的目的在于提供一种在降低摄像系统的消耗功率的同时以比运动图像数据的帧率小的帧率连续地传输静止图像数据的方法。而且，本发明的目的在于提供一种在兼顾主机装置请求的帧率的维持和消耗功率的降低的同时传输图像数据的方法。而且，本发明的目的在于提供实现这种方法的摄像系统、摄像模组、计算机以及计算机程序。
本发明提供从包含图像传感器的摄像模组向主机装置传输图像数据的方法。摄像模组在图像数据的传输所需的时间段以外，从摄影状态迁移到消耗功率少的低功率状态。 主机装置向摄像模组请求依次进行图像数据的传输。当存在传输请求时，摄像模组从低功率状态迁移到摄影状态。迁移到摄影状态后的摄像模组生成图像数据并传输到主机装置。对传输结束的情况进行应答，摄像模组迁移到低功率状态。
根据本发明，摄像模组不需要传输监视用的运动图像数据而仅传输主机装置需要 的图像数据，因此，当不进行传输动作时可以迁移到低功率状态。因此，不仅摄像模组的消 耗功率，图像数据的通信量也降低到必要的最小限度，因此，对其进行处理的总线以及CPU 的消耗功率也可以降低。
可以以一定的传输周期发行传输请求。主机装置可以设定可允许的帧率的下限值 或传输周期的上限值。在静止图像传输模式下，在各传输周期中摄像模组必定需要转移到 低功率状态。因此，在各传输周期中，在根据已迁移到摄影状态的实际动作时间计算出的传 输周期的最小值、根据主机装置请求的帧率计算出的传输周期的最大值之间设定实用的传 输周期时，可以在满足主机装置的要求的同时确保摄像模组迁移到低功率状态的时间。在 各传输期间传输的图像数据可以是多个帧，但通过设为I帧可以延长迁移到低功率状态的 时间，将消耗功率降低到最大限度。
实际动作时间被摄像模组的固有性能所左右，但是通过在各传输期间中不进行校 准而在摄像模组中设定预先取得的参数值，可以缩短实际动作时间。当缩短摄像模组的实 际动作时间时，在各传输期间中可以延长迁移到低功率状态的时间，或者相对于迁移到同 一低功率状态的时间缩短传输周期(增大帧率)，因此可以兼顾摄像模组的消耗功率的降低 和帧率的增大。
预先取得的参数值可以设为在最初的传输期间中为使摄像模组适合于摄影条件 而执行校准所取得的参数值。跳过校准来固定第二次以后的传输期间中的参数值的方法， 以摄影最初的摄影条件不变化为前提。
但是，实际上摄影条件从摄影最初变化，主机装置有时无法取得希望的画质的图 像数据。为了应对这种情况，主机装置可以基于评价静止图像数据所得的结果请求摄像模 组再次执行校准。主机装置或者摄像模组可以设定再次执行校准而取得的参数值。参数可 以包含卷帘快门的曝光时间以及白平衡而构成。
主机装置可以评价定期取得的图像数据来变更传输请求的间隔。例如当被拍摄体 的变化增大时缩短间隔，当变化减小时延长间隔。当变更传输请求的间隔时可以不进行不 必要的图像数据的传输，或者在必要的定时传输图像数据，因此，可以在使主机装置的满足 度充分的同时有效地降低摄像系统的消耗功率。
主机装置可以由计算机构成。在这种情况下，摄像模组和系统的连接可以使用USB 接口。本发明可以在大幅度降低摄像系统的消耗功率的同时，例如以I 2fps的帧率传输 静止图像数据，因此，可以在电池驱动的便携式计算机中实现利用以这种帧率传输的图像 数据的应用。
根据本发明，提供了在谋求消耗功率的降低的同时从摄像模组向主机装置传输图 像数据的方法。而且，根据本发明，提供了在降低摄像系统的消耗功率的同时以比运动图像 数据的帧率小的帧率连续地传输静止图像数据的方法。而且，根据本发明，提供了在兼顾主 机装置请求的帧率的维持和消耗功率的降低的同时传输图像数据的方法。而且，根据本发 明，提供了实现这种方法的摄像系统、摄像模组、计算机以及计算机程序。


图1是表示用笔记本PClO实现的摄像系统的硬件的结构的功能框图。
图2是表示摄像模组100的概要结构的功能框图。
图3是表示在构成摄像系统的笔记本PClO上安装的软件的结构的功能框图。
图4是说明静止图像传输模式下的摄像模组100的动作状态的图。
图5是说明通过静止图像传输模式传输图像数据的步骤的流程图。
图6是说明静止图像传输模式的特征的图。
符号说明
10摄像系统
100摄像模组具体实施方式
(摄像系统的硬件结构)
图1是表示用笔记本PClO实现的摄像系统的硬件的结构的功能框图。CPUll内 置有存储器控制器和PCI Express控制器，与主存储器13、视频卡15以及芯片组19连接。 在视频卡15上连接了 LCD17。芯片组19内置有SATA、USB、PCI Express、LPC等的控制器 以及RTC (Real Time Clock)等。在SATA控制器上连接了 HDD21。USB控制器由USB主机 控制器、根集线器以及构成输入输出端口的多个集线器构成。
摄像模组100是适合于USB2. O标准或USB3. O标准的USB设备。摄像模组100通 过用差动信号进行数据传输的一对或3对USB总线50连接在USB控制器的USB端口上。连 接摄像模组100的USB端口可以与其它USB设备共用集线器，但是为了利用USB系统的选 择性挂起机构来有效地控制摄像模组100的功率，优选将该USB端口与摄像模组100的专 用的集线器连接。摄像模组100可以是安装在笔记本PClO的机箱内的内部型，也可以是与 安装在笔记本PCio的机箱上的USB连接器连接的外接型。
另外，摄像模组100可以通过无线USB与笔记本PClO连接。本发明的摄像系统，除 了目前存在的运动图像传输模式以外，还可以在新的静止图像传输模式下传输图像数据。 摄像模组100在运动图像传输模式或静止图像传输模式的某种模式下传输图像数据。
在此，构成摄像系统的笔记本PClO的系统由CPU11、芯片组19、主存储器13等硬 件、图3所示的静止图像应用程序202、各层级的设备驱动程序207、209、211、231、静止图像 传输服务程序205以及操作系统203等软件构成。静止图像传输模式是静止图像应用程序 202取得静止图像时使用的传输模式，其内容在后面进行说明。
EC25是控制计算机10的机箱内部的温度，或者控制设备的功率，或者进行键盘或 鼠标的动作控制的微型控制器。EC25独立于CPUll而工作。在EC25上连接了电池组27以 及DC/DC变换器29，而且连接未图示的键盘、鼠标、充电器以及排气风扇等。EC25可以与电 池组27、芯片组19以及CPUll通信。电池组27当未连接未图示的AC/DC适配器时向DC/ DC变换器29供给电力。DC/DC变换器29向构成计算机10的设备供给电力。
(摄像模组)
图2是表示摄像模组100的概要结构的功能框图。摄像模组100可以在静止图像 传输模式下传输 VGA(640X480)、QVGA(320X240)、WVGA(800X480)以及 WQVGA(400X240) 等的图像数据。光学机构101由光学透镜以及光学滤光器等构成，将被拍摄体的像成像在图像传感器103上。
图像传感器103由将构成像素的光电二极管中积蓄的与光量对应的电荷变换为 电信号来输出的CMOS图像传感器、抑制噪音的CDS电路、调整增益的AGC电路、将模拟信号 变换为数字信号的AD变换电路等构成，输出与被拍摄体的像对应的数字信号。图像传感器 103在运动图像传输模式下工作时，可以以30fps的帧率生成图像数据。
CMOS图像传感器具备被称为卷帘快门的电子快门。卷帘快门以I行或多行作为 I块来控制曝光时间以便最适合于摄影环境。卷帘快门在I巾贞期间，或在间行(interlace) 方式的情况下在I字段期间，在摄影的途中将构成各像素的光电二极管中积蓄的信号电荷 复位，控制相当于快门速度的光的积蓄期间。此外，图像传感器103也可以代替CMOS图像 传感器而采用CXD图像传感器。
图像信号处理器(ISP) 105是进行修正像素缺陷以及阴影的修正处理、配合人的 视觉灵敏度来修正图像传感器103的分光特性的白平衡处理、从RGB拜耳(bayer)排列的 信号输出一般的RGB数据的插补处理、使图像传感器103的彩色滤光器具有的分光特性接 近理想特性的颜色修正处理等的图像信号处理电路。ISP105还进行用于提高被拍摄体的清 晰度的轮廓修正处理以及修正LCD17的非线性的输入输出特性的伽马处理等。
编码器107压缩从ISP105取得的图像数据。端点缓冲区109通过临时存储在与系 统之间双向传输的数据，形成用于USB数据传输的多个管道。串行接口引擎(SIE)Ill为使 从端点缓冲区109取得的图像数据适合于USB标准而将其数据包化然后发送到收发器113， 或者解析从收发器113取得的数据包，将载荷发送到MPU115。SIElll当USB总线50在预 定时间以上为空闲状态时，为了迁移到挂起状态而对MPU115实施中断。SIElll当USB总线 5恢复(resume)时使挂起的MPU115工作。
收发器113包含用于进行USB通信的发送用的收发器和接收用的收发器。MPU115 执行用于进行USB传输的列举(enumeration)，而且为了进行摄影以及图像数据的传输而 控制摄像模组100的动作。摄像模组100采用在USB标准中规定的功率管理。MPUl 15当从 SIElll施加了中断时使内部时钟中断，包含自身在内使摄像模组100迁移到挂起状态。
MPUl 15在USB总线50恢复时使摄像模组100恢复为电源接通状态或摄影状态。 MPU115解释从系统取得的命令，控制各部的动作以便在运动图像数据传输模式或静止图像 传输模式下传输图像数据。MPU115当开始静止图像传输模式下的图像数据的传输时，最初 进行卷帘快门的曝光时间(曝光量)、白平衡以及AGC电路的增益等的校准，取得最适合于该 时刻的摄影环境的参数值，设定在图像传感器103以及ISP105的预定的寄存器中。
根据CMOS图像传感器的输出信号计算测光选择区域的亮度信号的平均值，为使 该计算出的亮度信号与目标水平一致而调整参数值，由此进行曝光时间的校准。MPU115当 曝光时间的校准时还一同调整AGC电路的增益。调整与根据被拍摄体的颜色温度而变化的 白色的被拍摄体对应的RGB信号的平衡，由此进行白平衡的校准。
在运动图像传输模式下传输图像数据时，摄像模组在传输期间中不迁移到挂起状 态，因此在寄存器中临时设定的参数值不消失。并且，MPUl 15在运动图像传输模式下传输 图像数据时，在摄影过程中也适当地执行校准来更新这些参数值。
与此相对，在静止图像传输模式下传输图像数据时，在每个传输周期中摄像模组 迁移到挂起状态，因此，根据连接的图像传感器，在该传感器的内部寄存器中设定的参数值的一部分或全部消失。这是由于未设想在间歇地重复摄影的同时逐次迁移到挂起状态的使 用方式，因此没有在挂起状态下保持内部寄存器的值的设计上的动机。在静止图像传输模 式下，可以仅在开头的传输周期中摄影时进行校准，在此后的传输周期中的摄影中以摄影 条件中没有变化为前提，每当唤醒时设定通过最初的校准所取得的参数值。
通过在第二次以后的各传输周期中跳过校准，可以在图像数据的传输中进一步延 长摄像模组100迁移到挂起状态的时间，或者即使缩短传输周期也将迁移到挂起状态的时 间确保在预定值以上，实现充分的消耗功率的降低。MPU115在静止图像传输模式下定期地 传输图像数据时控制图像传感器103以及ISP105的动作，以便仅在最初的传输时进行校 准。此时，MPU115将进行校准而取得的参数值在最初的静止图像数据的传输时发送给系统， 在第二次以后的传输周期时可以设定从系统取得的参数值。
MPUl 15当静止图像传输模式时，在从系统取得校准的指示时，在此后立即进行的 数据传输前执行校准来设定新的参数值，并且将该参数值发送给系统。此外，也可以不将参 数值发送给系统而存储在闪速R0M119中，MPU115在各传输周期中设定从闪速R0M119读出 的参数值。闪速ROMl 19也存储MPUl 15执行的程序或不需要校准的参数值。MPUl 15可以解 释从系统取得的命令，执行校准或者变更在各传输周期中传输的帧数。
摄像模组100是从USB总线接受电力供给而工作的总线供电设备。但是，摄像模 组100也可以是通过自己的电力而工作的自供电设备。在是自供电设备的情况下，MPUl 15 以跟踪USB总线50的状态的方式控制独自接受供给的电力。
摄像模组100根据USB标准在选择性挂起状态和电源接通状态之间迁移。摄像模 组100，当选择性挂起状态时可以迁移到多个低功率状态。摄像模组100在静止图像传输模 式下动作时，为了发送图像数据，当不需要迁移到电源接通状态时，优选迁移到消耗功率最 少的低功率状态。消耗功率最少的选择性挂起状态时的消耗功率，优选为电源接通状态或 摄影状态时的10%以下。
图1以及图2为了说明本实施方式，只不过简化记载了与本实施方式相关的主要 的硬件的结构以及连接关系。除了此前的说明中提及的内容以外，为了构成摄像系统而使 用大量的设备。但是，它们对于本领域技术人员来说是公知的，在此未详细说明。将图中记 载的多个块做成一个集成电路或装置，或者反之将一个块分割为多个集成电路或装置，在 本领域技术人员可以任意选择的范围内也包含在本发明的范围内。
(摄像系统的软件结构)
图3是表示在笔记本PClO中安装的软件的结构的功能框图。运动图像应用程序 201是从摄像模组100取得运动图像数据后显示在IXD17上或者记录在HDD15中的公知的 程序。运动图像应用程序201可以作为视频电话程序或运动图像摄影程序。运动图像应用 程序201可以从运动图像数据中取得静止图像的快照。
静止图像应用程序202是从摄像模组100以静止图像传输模式取得图像数据后 分析或记录的新的程序。静止图像应用程序202可以具备用于接受用户的指示的用户界 面。静止图像应用程序202可以在笔记本PClO从AC/DC适配器接受电力供给的期间执行， 但是，由于摄像系统以小的消耗功率工作，因此可以在从电池组27接受电力供给的期间工 作。静止图像应用程序202可以作为判断用户的脸部的方向来控制笔记本PClO的功率的 程序，或者作为监视机械装置的状态的程序，或者作为视频电话的程序，或者作为跨越长时间来对环境的变化情况进行摄影的程序。
流服务程序203是由OS提供的服务程序，将运动图像传输模式下的运动图像数据 发送到运动图像应用程序201，或者将用于取得静止图像数据的监视用的运动图像数据发 送到运动图像应用程序201，或者进而将运动图像应用程序201发行的命令传递到USB摄像 机驱动器207。静止图像传输服务程序205是在OS的用户模式下运行的新的程序，将静止 图像传输模式下传输的静止图像数据发送到静止图像应用程序202，或者将来自静止图像 应用程序202的命令发送到USB摄像机驱动器207。
USB摄像机驱动器207是控制摄像模组100的动作或者控制数据传输的设备驱动 器。USB类驱动器209是进行在USB视频类中定义的共同的处理的设备驱动器。USB总线 驱动器211控制与USB控制器连接的USB总线的动作。
USB总线驱动器211，当从USB摄像机驱动器207取得使摄像模组100迁移到选择 性挂起的指示时，使与摄像模组100连接的USB总线50迁移到空闲状态，在取得恢复的指 示或取得数据传输的指示时使USB总线迁移到活动(active)状态(恢复状态)。USB主机控 制器驱动器213控制针对USB设备的数据传输和USB主机控制器的动作。
(静止图像传输模式的步骤)
接着，参照图4、图5说明通过静止图像传输模式由摄像模组100传输图像数据的 步骤。图4是说明静止图像传输模式下的摄像模组100的动作状态的图。图4 (A)表示全 体动作，图4 (B)表示最初的传输周期的细节，图4 (C)表示第二次以后的传输周期的细节。 图5是说明通过静止图像传输模式传输图像数据的步骤的流程图。
在图4 (A)中，如发行用于传输第2个图像数据的巾贞传输命令的巾贞传输命令的时 刻tl和发行用于传输第3个图像数据的帧传输命令的时刻t2间的时间、以及时刻t2和发 行用于传输第4个图像数据的巾贞传输命令的时刻t3间的时间那样,将为了传输第2个以后 的图像数据而发行帧传输命令的一定的时间间隔称为传输周期T。
在块301中，USB总线50迁移到空闲状态，而且摄像模组100迁移到选择性挂起 状态。在静止图像传输模式下流服务程序203不执行，因此CPUll的负荷相应地减小。设 定参数值的摄像模组100的各种寄存器被清除。在时刻t0，静止图像应用程序202将传输 开始命令发送到USB摄像机驱动器207。传输开始命令包含图像数据的传输周期T和传输 帧数。
在此，作为一例，将传输周期设为I秒，将传输帧数设为I帧。在这种情况下，帧率 为lfps。如果将传输周期设为2秒，则帧率成为O. 5fps,如果将传输帧数设为2帧，则帧率 成为2fps。USB摄像机驱动器207经由USB类驱动器209向USB总线驱动器211发送从传 输开始命令生成的第一个帧传输命令。
在块303中，USB总线驱动器211使USB总线50恢复，将第一个帧传输命令发送给 摄像模组100。SIElll当检测到USB总线50已恢复时向MPUl 15发送时钟使其动作。MPUl 15 在时刻twO开始动作，执行帧传输命令来使摄像模组100唤醒。
在块305中，MPUl 15在各种寄存器中设定在闪速R0M119中存储的不需要校准的 固定参数值，而且，为了取得曝光时间、白平衡以及AGC电路的增益等的参数值，在各寄存 器中设定使图像传感器103以及ISP105执行校准而取得的参数值。
而且，MPU115接受来自USB摄像机驱动器207的请求而发送进行校准所取得的参数值。USB摄像机驱动器207将取得的参数值存储在主存储器13中。而且，MPUl 15将全部 像素的卷帘快门依次复位，到达时刻txO。从唤醒的时刻twO到摄影的准备已完成的时刻 txO需要I 2秒左右。
在块307中，当卷帘快门的复位结束时，在时刻txO依次扫描像素来读出图像信 号，开始第一个帧的图像数据的传输。SIElll针对每个预定的块将从编码器107输出的像 素数据进行数据包化，输出到静止图像应用程序202。MPU115进行控制以使图像传感器103 仅生成I帧的图像数据。在块309中，MPUl 15在时刻tyO完成I帧的量的图像数据的输出。 在该时刻，摄像模组100的功率状态可以维持电源接通状态或者迁移到消耗功率比其稍小 的低功率状态，但是还没有迁移到消耗功率最小的选择性挂起状态。
由于图像传感器103的帧率为30fps，因此从时刻txO到时刻tyO的时间大致为 1/30秒(33毫秒)。在块311中，检测出第一个图像数据的传输已完成的USB摄像机驱动器 207在时刻tOr向USB总线驱动器211发送用于使摄像模组100迁移到挂起状态的总线停 止命令。接收到总线停止命令的USB总线驱动器211使USB总线50迁移到空闲状态。
在时刻ts0检测出USB总线50已迁移到空闲状态的SIE111，在块313中对MPUl 15 实施中断，使摄像模组100迁移到消耗功率最小的选择性挂起状态。当迁移到选择性挂起 状态时，在寄存器中设定的参数值被消除，因此，在下一次的读出时需要再次进行参数值的 设定。
从时刻t0到时刻tl的时间包含校准的时间，因此比传输周期长。在块315中，在 时刻tl确认了第一个图像数据的传输已完成的USB摄像机驱动器207将第二个帧传输命 令发送到摄像模组100。USB摄像机驱动器207在发送第二个帧传输命令时也一起发送在 块305中从摄像模组100取得的参数值。为了发送第二个帧传输命令，USB总线驱动器211 使USB总线50恢复。
摄像模组100当检测出USB总线50已恢复时在时刻twl唤醒。与传输第一个帧 的图像数据的情况不同，MPU115当传输第2个以后的帧的图像数据时不进行校准。MPU115 在各寄存器中设定在闪速R0M119中存储的固定参数值和从USB摄像机驱动器207取得的 需要校准的参数值。
接着，MPU115在进行卷帘快门的复位后生成I帧的量的图像数据，并在时刻tyl完 成输出。若将参数的设定时间设为约3毫秒，则在时刻tl发行了第二个帧传输命令后到成 为可以生成图像数据为止的摄影准备时间与卷帘快门的复位时间的合计可以为约36毫秒 以下。因此，从时刻tl到时刻tyl为止的时间，在其上加上I帧的量的图像数据的生成时 间(33毫秒)后可以设为约70毫秒以内。此外，图像数据当生成数行的量时，不等待生成I 帧的量，而以预定的数据包单位被传输，因此可以忽视输出的时间。
在时刻tyl检测出I帧的量的图像数据的传输已完成的USB摄像机驱动器207，在 时刻tlr为了使摄像模组100迁移到消耗功率最小的选择性挂起状态而向USB总线驱动器 211发送总线停止命令。当USB总线50迁移到空闲状态时，在时刻tsl摄像模组100迁移 到选择性挂起状态。从时刻tyl到时刻tsl的时间与从时刻tl到时刻tyl的时间相比足 够短。
从时刻twl到时刻tsl的时间为第二次以后的各传输周期中摄像模组正在向摄影 状态迁移的时间，将其称为实际动作时间Ta。同样，在最初的传输周期中，将从迁移到摄影状态的时刻twO到迁移到选择性挂起状态的时刻tsO的时间称为实际动作时间Tb。实际动 作时间Ta、Tb相对于传输周期T的比例越小，与单位图像数据对应的摄像模组100的消耗 功率越低。
静止图像应用程序202，在开始图像数据的传输后，可以在任何时候向摄像模组 100发行传输结束命令来结束静止图像数据的传输。在块316中，若摄像模组100取得了传 输结束命令则转移到块317，结束静止图像传输模式来迁移到选择性挂起状态。在未取得传 输结束命令的情况下转移到块319。
在本实施方式中，当传输图像数据时仅在最初的传输周期时进行摄像模组100的 校准，在第二次以后的传输周期中基于摄影条件不变化的假定而使用这以前进行校准而取 得的参数值。但是，当长时间继续静止图像传输模式中的图像数据的传输时，主要与照度相 关的摄影条件变化，有可能无法得到清晰的图像。
静止图像应用程序202在判断出根据取得的图像数据无法识别脸的方向的情况 下，或者通过公知的方法识别出画质的降低时，发行再执行校准的再执行命令。在块319 中，当静止图像应用程序202发行了再执行命令时转移到块321。在块321中，摄像模组100 以与块305同样的步骤执行校准，将取得的参数值发送到USB摄像机驱动器207。
USB摄像机驱动器207当取得参数值后发行帧传输命令时，将更新后的参数值发 送到摄像模组100。摄像模组100在此后的传输周期中将从USB摄像机驱动器207取得的 更新后的参数值设定在寄存器中，生成新的图像数据。返回块315，USB摄像机驱动器207 根据从静止图像应用程序202取得的传输开始命令，以一定的周期发行帧传输命令，摄像 模组100以同样的步骤在第三次以后的各传输周期中将静止图像数据发送到静止图像应 用程序202。
当静止图像应用程序202不发行再执行命令时转移到块323。静止图像应用程序 202分析所取得的图像数据，当变化不急剧或者变得单调时可以变更传输周期。在块323 中，静止图像应用程序202判断传输周期的变更的必要性，当必要时转移到块325，当不必 要时返回块315。
在块325中，静止图像应用程序202向USB摄像机驱动器207发送变更传输周期 的变更命令。USB摄像机驱动器207以变更后的传输周期向摄像模组100发送此后的帧传 输命令。静止图像应用程序202根据该必要性变更传输周期、即帧率，由此可以通过消耗功 率最少的方法取得单位时间中需要的量的图像数据。
在通过现有的方法从摄像模组100取得静止图像时，在静止图像的取得完成之前 从流服务程序203向运动图像应用程序201持续发送的运动图像数据中，运动图像应用程 序201取得了静止图像。因此，大量的图像数据被白白舍弃，执行流服务程序203的CPUll 的消耗功率也增大。在静止图像传输模式下摄像系统10进行必要的最小限度的动作，传输 I帧的图像数据即可，因此，除了摄像模组100的消耗功率以外，CPUll的消耗功率以及USB 总线50的消耗功率也可以大幅度降低。
在本实施方式中，在相当于I帧的图像数据的传输中花费33毫秒。当将传输周期 设为I秒时，在各传输周期中即使传输多个帧也可以确保迁移到挂起状态的时间，因此，在 某种程度的帧数之前可以期待消耗功率的降低效果。因此，在各传输周期中传输的图像数 据的帧数可以为2以上。
(静止图像传输模式的特征)
静止图像传输模式，在依次或者以一定的传输周期传输图像数据这一点上与运动图像传输模式类似。运动图像是以单位时间更新的静止图像的集合，因此，两者可以通过被传输的图像数据的帧率来区别。
运动图像，帧率越大成为越平滑的运动的影像，但是数据量相应地增多。作为帧率，在NTSC方式中使用30fps，在PAL方式以及SECAM方式中使用25fps，在面向便携电话、 移动终端的I段部分接收服务(单段(one-seg))中使用15fps。因此，静止图像传输模式可以称为以比它们中规定的帧率小的帧率传输图像数据的传输方法。
本发明的主要特征在于，在各传输周期中迁移到选择性挂起状态来传输图像数据，由此，对于需要某种程度的帧率但是不需要到运动图像的帧率的用途，实现消耗功率少的数据传输。静止图像传输模式的传输周期，通过从与消耗功率的降低效果对应的期待值出发的最小界限值、和从应用程序要求的帧率出发的最大界限值来规定。并且，在各传输期间中跳过校准的意义在于，最大限度地满足来自双方的要求。
将图4 (B)所示的进行校准时的时刻twO到时刻tsO的实际动作时间设为Tb，将图4 (C)所示的跳过校准时的时刻twl到时刻tsl的实际动作时间设为Ta时，Tb/T以及 Ta/T分别表示单位静止图像的省电效果，将其称为功率降低率η。
功率降低率表示静止图像传输模式的消耗功率相对于以往那样不挂起的摄像模组100的消耗功率的比例。图6是表示传输周期T和功率降低率η的关系的图。线401 表示各传输周期中跳过校准时的功率降低率，线403表示各传输周期中实施了校准时的功率降低率。
横轴的传输周期T的倒数相当于帧率。当传输周期增大时，功率降低率都与其成反比地降低。在此，所谓功率降低率降低意味着功率降低效果提高。通过线401、403可知， 当传输周期分别为实际动作时间Ta、Tb时，功率降低率变为1. 0，摄像模组100不迁移到挂起状态。实际动作时间Ta、Tb由从选择性挂起状态恢复后直到生成图像数据为止的等待时间、和实际生成以及输出图像数据的时间构成，取决于摄像模组的固有性能。
当将实际动作时间Ta、Tb设为赋予的值时，在各传输周期中，为了迁移到挂起状态，在传输周期中存在逻辑下限值或者帧率的逻辑上限值。例如在不进行校准的情况下的实际动作时间Ta约为70毫秒的情况下，可以将加上30毫秒的挂起迁移时间而得的100毫秒视为传输周期的逻辑下限值。该值当换算为帧率时为lOfps。在进行校准时，实际动作时间Tb大到约I 2秒，因此可以将2秒视为传输周期的逻辑的下限值。该值当换算为帧率时相当于O. 5fps。
静止图像传输模式与摄像模组100连续地维持电源接通状态的情况相比，期待功率降低率大到某种程度，另外，应用程序为了实现目的，即使不到运动图像程度也需要以某种频率更新图像数据。在此，对于静止图像传输模式，产生针对功率降低率Π的上限值的要求，从静止图像应用程序202产生针对传输周期的上限值或帧率的下限值的要求。
图6中若设功率降低率的上限值为Π1，则在不进行校准的情况下，为了使功率降低率为Π I以下，需要使传输周期为Tl以上。在进行校准的情况下，为了使功率降低率为 n I以下，需要使传输周期为T2以上。若设应用程序的要求的传输周期T的上限值为Tx， 则在不进行校准的情况下可以 将传输周期设定在Tl和Tx之间，在进行校准的情况下可以设定在T2和Tx之间。
由图6可知，在静止图像应用程序202要求的帧率增大，传输周期Tx变得小于T2 的情况下，当进行校准时无法实现静止图像传输模式。另外，在功率降低率n的上限值降低到不足η 2的情况下，当传输周期T比Τ2更长，进行校准时无法实现静止图像传输模式。 另外，对于即使进行校准也可以实现的传输周期，不进行校准的话功率降低率减小。
在一例中，将功率降低率的上限值设为O.1时的传输周期的下限值，在不进行校准的情况下约为I秒(帧率的上限值为lfps)，在进行了校准的情况下为20秒(帧率的上限值为O. 05fps)o另外，将功率降低率的上限值放宽到O. 2时的传输周期的下限值，在不校准的情况下为O. 5秒(帧率的上限值为2fps)，在进行了校准的情况下为10秒(帧率的上限值为O. lfps)。因此，静止图像传输模式的实用的传输周期可以通过功率降低率的上限值和应用程序请求的帧率的下限值来决定。
至此，在将摄像模组与系统连接的接口中举例说明了 USB，但是接口也可以是 IEEE1394等本地接口。另外，摄像模组可以通过有线或无线的网络与笔记本PC连接。另外， 说明了通过USB摄像机驱动器207的帧传输命令和停止命令控制各传输周期中的摄像模组 100的唤醒和向选择性挂起状态的迁移的例子，但是，在本发明中也可以通过摄像模组100 的固件来执行在取得传输开始命令后取得传输结束命令之前的功率状态的控制。
例如，摄像模组100在从静止图像应用程序202指示的传输周期中传输图像数据时，可以自己决定向挂起状态的迁移的定时和向摄影状态的迁移的定时。此时，在挂起状态的期间，可以仅向测量时间的最小限度的电路供给电力，或者利用在电容器中积蓄的电荷的放电时间来取得唤醒的定时。
说明了摄像模组10进行校准而取得的参数值临时被发送到USB摄像机驱动器 207，每当USB摄像机驱动器207发送帧传输命令时发送给摄像模组的例子，但是参数值可以存储在闪速ROMl 19中，在静止图像传输模式时每当唤醒时由MPUl 15设定在各寄存器中。
至此，根据附图所示的特定的实施方式说明了本发明，但是本发明不限于附图所示的实施方式，只要起到本发明的效果，当然可以采用此前已知的任意结构。
权利要求
1.一种摄像模组传输图像数据的方法，其是从包含图像传感器的摄像模组向主机装置传输图像数据的方法，其特征在于， 具有以下步骤 所述主机装置向所述摄像模组请求按顺序进行图像数据的传输； 在从某个传输请求到下一传输请求为止的各传输期间，所述摄像模组从低功率状态迁移到摄影状态； 所述摄像模组生成图像数据； 所述摄像模组向所述主机装置传输所述图像数据；以及 对所述传输结束的情况进行应答，所述摄像模组迁移到所述低功率状态。
2.根据权利要求1所述的方法，其特征在于， 进行所述图像数据的传输请求的步骤以一定的传输周期进行传输请求。
3.根据权利要求2所述的方法，其特征在于， 所述传输周期被设定为在各传输周期中已迁移到所述摄影状态的实际动作时间、和根据所述主机装置需要的帧率计算出的时间之间。
4.根据权利要求1至3中任意一项所述的方法，其特征在于， 在各传输期间传输的所述图像数据是I帧的图像数据。
5.根据权利要求1至4中任意一项所述的方法，其特征在于， 在各传输期间中跳过用于适合于摄影条件的校准，在所述摄像模组中设定预先取得的参数值。
6.根据权利要求5所述的方法，其特征在于， 所述预先取得的参数值是在最初的传输期间由所述摄像模组执行所述校准而取得的参数值。
7.根据权利要求5或6所述的方法，其特征在于， 具有以下步骤 所述主机装置评价所述图像数据； 根据所述评价的结果，所述主机装置请求所述摄像模组再执行所述校准；以及 所述摄像模组设定再执行所述校准而取得的参数值。
8.根据权利要求1至7中任意一项所述的方法，其特征在于， 具有以下步骤 所述主机装置评价所述图像数据；以及 根据所述评价的结果，所述主机装置变更所述图像数据的传输请求的间隔。
9.一种计算机程序，其特征在于， 使能够从包含图像传感器的摄像模组取得图像数据的计算机实现以下功能 使所述摄像模组从摄影状态迁移到低功率状态的功能； 对所述摄像模组按顺序发行帧传输命令的功能； 在从某个帧传输命令到下一帧传输命令为止的各传输期间，使所述摄像模组从所述低功率状态迁移到所述摄影状态的功能； 取得所述摄像模组应答所述帧传输命令而生成的图像数据的功能；以及 对取得了所述图像数据的情况进行应答，使所述摄像模组迁移到所述低功率状态的功倉泛。
10.一种摄像系统，其特征在于， 具有包含图像传感器、且能够输出运动图像数据的摄像模组；与所述摄像模组连接，向所述摄像模组请求按顺序进行图像数据的传输的主机装置， 所述摄像模组，在从所述主机装置取得的某个传输请求到下一传输请求为止的各传输期间之间重复摄影状态和低功率状态之间的功率迁移，同时向所述主机装置传输图像数据。
11.根据权利要求10所述的摄像系统，其特征在于， 在各传输期间迁移到所述摄影状态时，所述摄像模组设定为了适合于最初的摄影条件进行校准所取得的参数值。
12.根据权利要求10或11所述的摄像机系统，其特征在于， 所述主机装置请求所述摄像模组更新所述参数值。
13.一种计算机，其特征在于， 具有 从包含图像传感器的摄像模组取得图像数据的接口； 向所述摄像模组请求按顺序进行图像数据的传输的传输请求部； 进行控制以便在从某个传输请求到下一传输请求为止的各传输期间使所述摄像模组迁移到摄影状态和低功率状态的功率控制部；以及从所述摄像模组取得图像数据的图像处理部。
14.根据权利要求13所述的计算机，其特征在于， 所述接口是USB。
15.根据权利要求13或14所述的计算机，其特征在于， 所述计算机是通过电池驱动而工作的便携式计算机。
16.根据权利要求15所述的计算机，其特征在于， 所述摄像模组被安装在所述便携式计算机的机箱内。
17.根据权利要求15或16所述的计算机，其特征在于， 所述摄像模组从所述计算机接受电力供给。
18.一种摄像模组，能够向主机装置传输运动图像数据，其特征在于， 具有对被拍摄体的像进行成像的光学机构； 将所述光学机构成像的光变换为电信号的图像传感器； 对所述图像传感器的输出信号进行处理的图像信号处理电路； 针对所述主机装置的接口电路；以及 控制所述摄像模组的动作的处理器， 所述处理器，每当从所述主机装置按顺序取得图像数据的传输命令时，使所述摄像模组在摄影状态和低功率状态之间迁移，同时向所述主机装置传输图像数据。
19.根据权利要求18所述的摄像模组，其特征在于， 所述摄像模组在迁移到所述摄影状态时，至少将曝光时间和白平衡的参数设定为最初取得的参数值。
20.根据权利要求18或19所述的摄像模组，其特征在于，所述低功率状态的消耗功率相对于所述摄影状态的消耗功率为10%以下。
21.一种计算机程序，其特征在于， 使包含图像传感器、且能够向主机装置输出运动图像数据的摄像模组实现以下功能 取得用于向所述主机装置连续地传输图像数据的传输命令的功能； 基于所述传输命令从低功率状态迁移到摄影状态的功能； 在所述图像数据的输出完成后迁移到所述低功率状态的功能；以及 重复向所述摄影状态的迁移、所述图像数据的输出和向所述低功率状态的迁移的功倉泛。
全文摘要
本发明提供一种摄像模组传输图像数据的方法以及计算机、在谋求消耗功率的降低的同时进行静止图像数据的传输的摄像系统。静止图像应用程序(202)以一定的传输周期向摄像模组(100)发行帧传输命令。在各传输周期中，摄像模组从挂起状态唤醒而生成静止图像数据，当传输结束时迁移到挂起状态。摄像模组在各传输周期中可以迁移到挂起状态，因此可以降低消耗功率。
文档编号G06F3/06GK102999298SQ20121033089
公开日2013年3月27日 申请日期2012年9月7日 优先权日2011年9月9日
发明者下远野享, 杉山润, 柏山英辉 申请人:联想(新加坡)私人有限公司