具有摄像机功能的移动电话终端及其控制方法

专利名称：具有摄像机功能的移动电话终端及其控制方法
技术领域：
本发明涉及具有摄像机功能的移动电话终端及其控制方法。
背景技术：
现在是主流摄像机设备的数字摄像机正变得比相关领域中的胶巻摄像机更小、更 轻和更薄，且对比相关领域中的胶巻摄像机，能够捕获的图像的数量非常大。因此，用户总 是携带数字摄像机或放在附近备用，并捕获各种对象的图像而无需考虑捕获的图像的数量 正变得越来越普遍。 然而，作为摄像机设备的数字化产生的负面，对比相关领域中的胶巻摄像机，存 在从接通电源到实际可以捕获图像的启动时间显著长的问题。具体来说，例如，尽管在数 字摄像机变为主流前流行的胶巻与镜头的摄像机(所谓可任意使用摄像机(disposable camera))的使用仅仅通过按下快门按钮而没有通电操作等，就可以得到瞬间快门机会，数 字摄像机的所有者必须执行至少三个步骤操作通电开关；等待摄像机启动和检查摄像机 已经启动；和当捕获图像时操作快门按钮。因此，例如，当试图通过使用数字摄像机设备来 捕获瞬间图像时，摄像机设备没有及时启动而错过快门机会的情形经常发生。
因此，提出在日本未审查专利申请公开No. 2007-282265 (以下称为专利文档1)的 图1和日本未审查专利申请公开No. 2005-252800(以下称为专利文档2)的图1中描述的 技术作为其中数字摄像机被迅速启动，通过释放操作(快门按钮按下操作)捕获图像，和完 成图像捕获的时间被縮短的技术。 在专利文档1中，提出如下方法，其中，数字摄像机的系统启动程序被分为用于捕 获图像的最小必需部分和剩余部分，该最小必需部分在摄像机被启动后被读取和执行，其 后该剩余部分被读取和执行，以便从摄像机被启动到摄像机变得能够捕获图像的时间被縮 短。具体来说，在专利文档1中描述的技术中，如果数字摄像机被设置为快速启动模式，当 启动系统时，首先，从ROM读取作为用于激活图像捕获系统所必需的程序的启动程序的一 部分并在缓冲存储器中扩展。接着，执行激活图像捕获系统的处理，且当这个处理完成时， 可以捕获图像。在这个图像捕获中，对于诸如曝光值、快门速度、焦距等的图像捕获条件，使 用固定值，诸如当设计设备时设置的值、由用户预先设置的值、或执行前一次图像捕获时设 置的值等。在快速启动模式中，如果当图像捕获系统被激活时或图像捕获系统被激活后按 下快门按钮，瞬间执行第一次图像捕获，且捕获的图像数据作为原始数据被存储在缓冲存 储器中，该原始数据是未压縮的全尺寸(full-size)的图像数据。当在完成第一次图像捕 获后再次按下快门按钮时，连续执行第二次图像捕获，且捕获的图像数据作为原始数据被 存储在缓冲存储器中。 在专利文档2中，提出方法，其中，在包括光学变焦(zooming)功能的数字摄像机 中，当快门被按下时，以与上述方法相同的方式执行快速启动，其后，当扫描该光学变焦时， 以固定焦距状态连续捕获图像，使得瞬间启动数字摄像机而且捕获多个图像。具体来说，在 专利文档2中描述的技术中，如果当电源被关断时按下快门按钮，从ROM中读取与基本操作相关的程序，该程序在缓冲存储器中的程序存储存储器中被进一步扩展，摄像机进入快速启动快速拍摄(shot)模式，该变焦镜头是变焦驱动(到宽的侧)和焦点(focus)驱动(到泛焦(pan-focus)侧)。接着，诸如CCD图像捕获系统的被激活，当按下快门按钮时，执行连续的图像捕获直到图像存储器变满。在连续的图像捕获后，读取与另外的功能相关的另一个程序，获得有关存储卡的信息，执行LCD监视器等的激活，使得实现完全功能的摄像机启动。由于，在这个技术中，当第一次按下快门按钮且捕获图像时，没有操作自动对焦，因此可以节省对应于自动对焦操作的时间，而且快速启动是可能的。

发明内容
在上述快速启动技术中，尽管从当启动系统时到当图像捕获操作变为可能时或到当捕获图像时的时间可以被縮短到某种程度，也不能保证可以获得合适的捕获图像。
具体来说，尽管为了通过数字摄像机获得高质量图像，必须满足三个重要的条件即曝光、白平衡和焦点，但是上述快速启动技术可能尤其不满足曝光和白平衡的条件。对于焦点的条件，例如，通过使用专利文档2，期望可以获得某种程度上满意的图像。另一方面，对于曝光和白平衡的条件，即使当使用专利文档1或专利文档2时，很有可能不能获得满意的图像。在相关领域中，当确定曝光和白平衡时，执行其中预定的初始设置值被设置为起始点的前馈控制(feedforward control)，且基于从图像传感器获得的捕获图像，搜索曝光和白平衡的最佳值。因此，直到获得最佳值的收敛时间在某种程度上可能是必需的，且当在与上述快速启动技术中相同的方式的启动后就执行图像捕获时，换句话说，当在曝光和白平衡收敛到最佳值前执行图像捕获时，存在可能捕获具有不合适的曝光的图像(太亮的图像或太黑的图像)或具有不普通色彩的图像的风险。当然，这些问题以与上述相同的方式发生在例如安装在移动电话终端中的摄像机设备中。 考虑到上述情况，提出本发明，可预期提供用于不仅縮短从释放操作到完成图像捕获的时间，而且获得具有合适的曝光和色彩的捕获图像的具有摄像机功能的移动电话终端及其控制方法。 根据本发明的实施例的具有摄像机功能的移动电话终端包括具有图像传感器和
摄像机镜头的摄像机硬件部分、用于输入启动图像捕获的用户指令的指令输入部分和被放
置在所述摄像机镜头被布置的区域附近的外壳的外表面上、并当移动电话功能被激活时检
测周围照明值的照明传感器。另外，根据本发明的实施例的具有摄像机功能的移动电话终
端包括图像捕获启动控制部分，用于当移动电话功能被激活时，设置在所述摄像机硬件部分中的至少摄像机驱动软件进入待机状态；当从指令输入部分输入启动图像捕获的指令
时，通过使用由所述照明传感器检测的所述照明值确定当所述摄像机硬件部分执行图像捕获时使用的曝光值；恢复摄像机驱动软件；和使用所述曝光值执行图像捕获。
具体来说，依照根据本发明的实施例的具有摄像机功能的移动电话终端，当移动电话功能被激活时，摄像机驱动软件被设置为待机状态。根据本发明的实施例的具有摄像机功能的移动电话终端可以通过放置在摄像机镜头附近的照明传感器来检测周围照明。当用户输入图像捕获指令时，根据本发明的实施例的具有摄像机功能的移动电话终端立即恢复摄像机驱动软件。这样，依照根据本发明的实施例的具有摄像机功能的移动电话终端，能够捕获对应于瞬间快门机会的图像。依照根据本发明的实施例的具有摄像机功能的移动电话终端，由于当执行图像捕获时通过使用由照明传感器检测的照明值来确定曝光，因此可
以获得在图像捕获后难以修改和/或校正的具有近似正确的曝光的捕获图像。 根据本发明的实施例的具有摄像机功能的移动电话终端在使用检测到的照明值
执行图像捕获后或与其同时启动摄像机应用软件。基于由启动的摄像机应用软件确定的白
平衡值，根据本发明的实施例的具有摄像机功能的移动电话终端执行对通过使用检测到的
照明值而捕获的图像的图像信号的白平衡校正。 总之，依照根据本发明的实施例的具有摄像机功能的移动电话终端，通过基于由摄像机应用软件确定的白平衡值对捕获的图像信号进行白平衡校正，来获得捕获图像的正确色彩。 在根据本发明的实施例的具有摄像机功能的移动电话终端中，当移动电话功能被激活时，摄像机驱动软件被设置处于待机状态；且通过使用由照明传感器检测的照明值确定曝光，且当用户输入图像捕获指令(释放操作)时，立即恢复摄像机驱动软件以执行图像捕获，使得不仅縮短从释放操作到完成图像捕获的时间，而且可以获得具有合适曝光的捕获图像。 在根据本发明的实施例的具有摄像机功能的移动电话终端中，通过基于由摄像机应用软件确定的白平衡值，对使用检测到的照明值由图像捕获获得的图像信号执行白平衡校正，可以获得具有合适色彩的捕获图像。


图1是示出根据本发明的实施例的移动电话终端的示意性内部配置例子的方框图； 图2是根据本发明的实施例的移动电话终端的示意性外部正视图； 图3是根据本发明的实施例的移动电话终端的示意性外部侧视图； 图4是根据本发明的实施例的移动电话终端的示意性外部后视图； 图5是用于说明当在具有摄像机功能的普通移动电话终端中设置曝光时最佳曝
光值搜索方法的图； 图6是示出在具有摄像机功能的普通移动电话终端中的硬件、用户界面和软件的示意性层次结构的图； 图7是用于说明当通过使用在具有摄像机功能的普通移动电话终端中的硬件、用户界面和软件的示意性层次结构来使用摄像机功能时的摄像机启动控制的流程的 图8是用于说明当摄像机功能被用于具有摄像机功能的普通移动电话终端中时的摄像机启动控制的流程的顺序图； 图9是用于说明通过使用根据本实施例的移动电话终端中的硬件、用户界面和软件的示意性层次结构在快速启动图像捕获模式中的摄像机启动控制和图像捕获控制的流程的图；以及 图10是用于说明通过使用根据本实施例的移动电话终端中的硬件、用户界面和软件的示意性层次结构在快速启动图像捕获模式中的摄像机启动控制和图像捕获控制的流程的顺序具体实施例方式以下，将参考附图描述本发明的实施例。 尽管，在实施例中，具有摄像机功能的移动电话终端被用作应用本发明的例子，当
然在此描述的内容只是例子，且无须说明，本发明不限于这个例子。[移动电话终端的示意性配置] 图1示出了实施例的移动电话终端的示意性配置. 在图1中，LCD(液晶显示器)11是安装在本实施例的移动电话终端中的液晶显示器。LCDC 12是用于控制LCD 11的操作、显示等的液晶显示控制器。 LED(发光二极管)14是放置在本实施例的移动电话终端上的各种照明灯源，例如来话灯和键盘45的照明灯。LED驱动器15驱动和控制多个LED14。 加速传感器16检测当例如物理振动被应用于本实施例的移动电话终端时的物理振动的加速的大小和方向。加速传感器16的检测信号被发送到CPU 10。
陀螺传感器(gyro sensor) 17检测当例如物理振动被应用于本实施例的移动电话终端时在物理振动的旋转方向上的角速度和旋转角。陀螺传感器17的检测信号被发送到CPU 10。 照明传感器18检测本实施例的移动电话终端附近的周围亮度，以便诸如确定LCD11的显示亮度。照明传感器18的检测信号被发送到CPU 10。 接收器19是用于当通过本实施例的移动电话终端执行语音通信时输出来话语音(incoming voice)的扬声器。 麦克风20是用于当通过本实施例的移动电话终端执行语音通信时输入去话语音(outgoing voice)的语音输入装置。 外部接口 (I/F)21由各种外部连接器和用于发送/接收信号到/从这些连接器的外部连接部分构成。外部连接器包括与所谓USB 2.0(通用串行总线2.0)标准兼容的连接器，因此本实施例的移动电话终端也包括USB 2. 0控制器22。 USIM卡槽23是插入存储了订户信息(用户信息)等的所谓USM(全球订户身份
模块)卡的ic卡槽。 红外通信模块24是用于通过使用红外线执行信息通信的通信装置。 振动马达(vibration motor) 25是用于在本实施例的移动电话终端中产生振动的
所谓振动器。 电池26是用于供应被本实施例的移动电话终端中的每一部分使用的电源。
外围IC+电源IC 27被连接到USIM卡槽23、红外通信模块24、振动马达25、电池26和外部接口 (1/F)21，并执行每一部分的控制、信号处理和电池26的电源控制。
主摄像机31由诸如摄像机镜头等的图像捕获光学系统、图像传感器(图像捕获装置)等构成。闪光8(闪光灯)33是用于当主摄像机31捕获图像时为图像捕获而发出辅助光的光源灯。闪光灯控制器32与主摄像机31的图像捕获操作结合，控制从闪光灯33发出的光。 用于主摄像机的照明传感器55被放置在主摄像机31的摄像机镜头被安置在移动电话终端的外壳的外表面上的区域附近，并检测在主摄像机31的摄像机镜头朝向的方向上的亮度。尽管稍后描述细节，但提供用于主摄像机的照明传感器55，用于当确定主摄像机31的曝光(快门速度和增益)时检测周围环境的亮度(检测照明)，使得当按下快门按钮 以得到如下所述的瞬间快门机会时，能够获得具有合适的曝光和色彩的图像。用于主摄像 机的照明传感器55由其电阻值取决于亮度而不同的传感器元件组成，特别是由可能不使 用传感器驱动器的装置和该装置的启动器构成，并且几乎不消耗电能。因此，用于主摄像机 的照明传感器55典型地可以检测当实施例的移动电话终端的主体的电源被接通时的外部 环境的照明。 子摄像机34是独立于主摄像机31而提供的摄像机模块，且当诸如用户以所谓自 拍模式给他/她自己摄像时，或当通过视频电话通信时，用户拍摄他/她自己的运动画面时 被使用。 RF(射频)电路35是用于本实施例的移动电话终端与在移动电话网络中的基站通 信的无线通信电路。天线36是用于本实施例的移动电话终端与基站通信的无线通信天线。
非接触式通信卡控制器37执行用于通过所谓电磁感应方法执行与非接触式通信 IC卡的信号通信的各种控制和信号处理。非接触式通信卡天线38是用于使用电磁感应方 法进行非接触式通信的天线。 蓝牙(注册商标)控制器39执行用于使用所谓蓝牙的方法执行无线通信的各种 控制和信号处理。蓝牙天线40是用于使用蓝牙的方法进行无线通信的天线。
数字TV(电视)调谐器41是用于所谓数字电视广播的调谐器。数字TV天线42 是用于接收数字电视广播的无线电波的天线。 存储卡槽44是插入/移除例如所谓SD(安全数字)卡等的外部存储卡的槽。存 储卡控制器43执行用于写入/读取数据到/从插在存储卡槽44中的存储卡等的信号处理 和控制。 键盘45包括各种键和按钮，诸如装配在本实施例的移动电话终端上的数字键盘、 方向键、快门按钮等，且当用户操作每个键或按钮时，产生键盘输出信号。在本实施例中，作 为包含在键盘45中的按钮，准备了专用的快门按钮。 内部存储器46包括，例如DDR SDRAM(双数据速率SDRAM) 47和NAND型闪存48。 NAND型闪存48存储0S(操作系统)的程序、用于CPU10控制每个部分的控制程序、包括根 据下述的本发明的本实施例的快速启动图像捕获应用/中间件和摄像机应用软件的各种 应用程序、音乐数据、运动画面数据和静态照片数据的编码和压縮的内容、各种设置值、字 体数据、词典数据、模特名字信息、终端标识信息等。当CPU IO执行各种数据处理和计算 时，DDR SDRAM 47作为工作区域在任何时候存储数据。 语音芯片49是用于执行用于再现例如音乐的信号处理。用于输出立体声声音的 右扬声器50和左扬声器51通过图1中未示出的amp(放大器)被连接到语音芯片49。
CPU(中央处理单元)10执行通信控制、语音处理及其控制、图像处理及其控制、摄 像机的图像捕获的控制、其他各种信号处理、每个部分的控制等。而且，CPU IO执行积聚在 内部存储器46中的各种控制程序和应用程序，并执行与程序的执行相关的各种数据处理。 尤其是，在本实施例中，尽管稍后描述细节，但当为了得到瞬间快门机会而按下快门按钮 时，CPU 10例如通过使用根据本发明的本实施例的快速启动图像捕获应用/中间件，进行
用于根据快门按钮的瞬间按下来捕获图像和获得当捕获图像时的合适曝光的处理和控制。 而且，CPU 10通过快速启动图像捕获应用/中间件和摄像机应用软件的合作，执行用于使通过快门按钮的瞬间按下而捕获的图像的色彩校正为合适的色彩的处理。 尽管未在图1中示出，本实施例的移动电话终端自然包括被包含在普通移动电话
终端中的组成元件。[移动电话终端的示意性的外部配置] 图2到4示出了本实施例的移动电话终端的示意性的外观的例子。图2、3和4分别示出了本实施例的移动电话终端的示意性的正视图、示意性的侧视图和示意性的后视图。 图2到4所示的本实施例的移动电话终端1是所谓滑动型终端，其中，上外壳2和下外壳3可以在与各自的主表面平行的线性方向上相互间相对地滑动。图2到4示出了其中本实施例的移动电话终端l被滑动和打开的状态(打开状态)。在图2到4中，将只描述主要的组成元件。 如图2所示，LCD 11被提供在本实施例的移动电话终端1的上外壳2上，且子摄像机34的镜头被放置在其上提供了 LCD 11的外壳的表面上。键盘45的数字键盘等被提供在下外壳3上。如图3所示，专用的快门按钮4和存储卡槽44被放置在本实施例的移动电话终端1的下外壳3的侧面上。此外，如图4所示，主摄像机31的摄像机镜头被放置在下外壳3的背面上。用于主摄像机的照明传感器55被放置在本实施例的移动电话终端1中的主摄像机31的摄像机镜头附近。[具有摄像机功能的普通移动电话终端的图像捕获处理的描述] 在此，为了使本实施例的具有摄像机功能的移动电话终端的快速启动图像捕获的
特征更加清楚，首先，描述当具有摄像机功能的普通移动电话终端捕获图像时的操作。 具有摄像机功能的移动电话终端不同于普通的数字摄像机设备，它通常被用于保
持通电状态，使得系统本身通常处于运行状态。换句话说，即使当没有执行诸如电话呼叫等
的操作时，移动电话终端至少处于待机状态等待呼叫，这样该系统通常正在运行。移动电话
终端通常正维持如上所述的通电状态，并且是具有通常被用户以例如放入用户能够很容易
从其取出移动电话终端的口袋或手袋，或直接拿在手中的方式来携带和使用的特征的电子装置。 因此，如果移动电话终端的摄像机功能可以以与所谓胶片与镜头摄像机相同的方式抓住瞬间快门机会，则创建与移动电话的全天候便携的特征结合的一种新型的图像捕获，因此预期给用户提供巨大好处。 然而，在普通移动电话终端中，在正常使用时，诸如在待机模式下，供应给摄像机
功能的电源被关闭以节省电池电源。因此，仅当通过菜单操作、专用按钮操作等从用户输入
诸如用于切换到图像捕获模式的指令时，移动电话终端被配置成打开摄像机功能并启动摄
像机应用软件。启动了摄像机应用软件的移动电话终端执行各种初始化设置，诸如摄像机
功能的复位处理、用于捕获图像的用户界面的设置、用于暂存图像的存储器区域的保护、记
录图像的记录介质的容量的检查、用于显示预览图像的显示器的设置等。
即使当这些初始化设置完成时，摄像机功能的曝光(快门速度和增益)和白平衡
的设置值不适合实际环境，使得难以立即捕获图像。换句话说，例如，如果使用预先确定的
固定曝光值(不适合实际环境的曝光值)捕获图像，将存在在明亮环境中只有捕获过亮的
图像，而在黑暗环境中只有捕获过黑图像的问题。在白平衡上情况差不多，且如果使用预先确定的固定的白平衡设置值(不适合实际环境的白平衡设置值)捕获图像，将存在只捕获具有不适当的色彩的图像的问题。 因此，执行了上述的初始化设置的移动电话终端执行对图像捕获环境的各种适应处理，诸如对曝光和白平衡的最佳点搜索，和自动聚焦扫描。具体来说，如图5所示，曝光的最佳点搜索通过前馈方法执行，在该前馈方法中，首先，通过使用增益和快门速度的固定初始值获得图像，基于得到的图像来评估亮度，确定该评估的值大于还是小于预定的目标值，且依赖确定结果改变用于下一次图像捕获的曝光值。以近似上述用于曝光的最佳点搜索的同样的方法通过前馈方法执行白平衡的最佳点搜索。 在普通的移动电话终端中，在全部完成包括打开摄像机功能、启动上述摄像机应用软件，初始化设置处理和最佳点搜索处理的一系列处理后，能够接受释放操作，此后，当实际按下释放按钮时，执行图像捕获。 如上所述，普通的移动电话终端同相关领域的数字相机一样仍存在从打开摄像机
功能到实际可以捕获图像的启动时间长，和瞬间快门机会难以抓住的问题。 以下，将通过使用如图6和图7所示的移动电话终端的硬件的层次结构、用户界面
和软件及图8的顺序图，描述上述普通的移动电话终端的从摄像机功能的启动，经过初始
化设置和最佳化设置，到图像捕获操作中的后来的图像捕获的处理流程。 如图6和图7所示，在普通的移动电话终端中，OS层103在硬件层104上，中间件
层102和应用层IOI被安排在OS层103上，最高层是用户界面层100。在OS层103、中间
件层102和应用层101中的各种处理是实际由CPU使用软件程序执行的处理。 在此，当通过普通的移动电话终端的摄像机功能捕获图像时，基本上，如图7所
示，处理从上一层继续到下一层。具体来说，当通过在用户界面层100中的菜单操作或专用
按钮操作来选中摄像机的图像捕获模式时，首先，对应于上述操作的用户指令信息被发送
到应用层101，如图8的步骤S101所示。 当接收到摄像机的图像捕获模式的用户指令信息时，摄像机应用软件110在应用层101中启动。于是，启动的摄像机应用软件110启动在中间件层102中的AV中间件111，且通过AV中间件111启动用于摄像机的图像捕获的各种初始化设置处理，如步骤S102所示。 具体来说，首先，摄像机应用软件110通过步骤S103，通过AV中间件111启动在0S层中的LCD驱动器115，且进一步打开(turn on)在硬件层104中的LCD ll，并通过启动的LCD驱动器115执行用于LCD 11的显示的各种设置，如步骤S104所示。
当在步骤S105中接收到来自LCD驱动器115的显示设置的完成响应时，摄像机应用软件110通过AV中间件111启动在OS层103中的摄像机驱动器117，如步骤S106所示，且进一步如步骤S107所示，打开在硬件层104中的主摄像机31而且通过启动的摄像机驱动器117执行该复位的取消。 当在步骤S108中接收到来自摄像机驱动器117的主摄像机31的打开和复位取消的完成响应时，摄像机应用软件110通过AV中间件111和摄像机驱动器117执行如上所述各种初始化设置，如步骤S109所示。 当在步骤S110执行主摄像机31的各种初始化设置，而且由步骤Sill通过摄像机驱动器117和AV中间件111接收初始化设置的完成响应时，摄像机应用软件110请求主摄像机31通过AV中间件111和摄像机驱动器117执行如上所述曝光和白平衡的最优化设置，如步骤S112所示。通过这样做，在摄像机驱动器117和主摄像机31中，在步骤S113中执行曝光和白平衡的最优化设置。当在步骤S113中完成主摄像机31的曝光和白平衡的最优化设置，且在步骤S114通过摄像机驱动器117和AV中间件111接收曝光和白平衡的最优化设置的完成响应时，摄像机应用软件110使得在用户界面层100中的快门按钮4的释放操作能够通过步骤S115接受。 虽然未在图8示出，但是摄像机应用软件110还能够通过AV中间件111与上述的LCD驱动器115和摄像机驱动器117并行地同时启动在OS层中的闪光驱动器116、音频驱动器114、外部存储控制器113(存储卡控制器43)和存储器管理器112。摄像机应用软件110也通过上述的驱动器和控制器，执行在硬件层104中的闪光灯33、放大器(amp)和扬声器57 (语音芯片49和左/右扬声器50、51)、诸如插入到存储卡槽44中的存储卡的外部记录媒介55等的启动和各种设置。 此后，当通过快门按钮4执行释放操作时，对应于释放操作的释放信号从用户界面层100被发送到摄像机应用软件110，如步骤S110所示。接收到释放信号的摄像机应用软件110促使主摄像机31在步骤S117中通过AV中间件111和摄像机驱动器117执行图像捕获。于是，执行图像捕获的主摄像机31，在步骤S119中返回捕获的图像数据给摄像机应用软件110。接收捕获的图像数据的摄像机应用软件110如果需要则在捕获的图像数据上执行诸如压縮等的预定处理，在步骤S119中在存储器中记录数据，此后在步骤S120中例如通过用户界面层100的显示通知，通知用户图像捕获被完成。[本实施例的移动电话终端中的摄像机功能的快速启动和图像捕获的描述] 考虑到如上所述的具有摄像机功能的普通的移动电话终端中的图像捕获操作，例
如，当在正常使用、诸如在待机模式过程中，执行瞬间释放操作，本实施例的具有摄像机功
能的移动电话终端使能快速地响应该释放操作而执行主摄像机31的图像捕获，且通过执
行下述的操作和控制来获得并存储具有合适的曝光和正确的色彩的捕获图像。 在本实施例的移动电话终端中，其中能够快速响应瞬间释放操作，获得和存储具
有合适的曝光和正确的色彩的捕获图像的操作模式被称为"快速启动图像捕获模式"，描述如下。 当快速启动图像捕获模式启动时，本实施例的移动电话终端执行摄像机的图像捕获至少必需的各种设置的初始化，并在摄像机的图像捕获必需的初始化设置完成后，仅使摄像机的图像捕获所需要的各种驱动器和硬件中的摄像机驱动器和主摄像机31进入低功率消耗模式，同时将摄像机驱动器和主摄像机31设置成能够瞬间重启。另一方面，对于除了仅摄像机的图像捕获所需的各种驱动器和硬件中的摄像机驱动器和主摄像机31之外的其它驱动器和硬件，则断开电源，且停止操作。在本实施例中，在快速启动图像捕获模式中的低功率消耗模式被称为"快速启动图像捕获待机模式"。 当在上述的快速启动图像捕获待机模式中，例如如果快门按钮被用户按下，则本实施例的移动电话终端瞬间取消摄像机驱动器和主摄像机31的待机模式，切换该状态到可以图像捕获的状态。 此时，移动电话终端基于通常从放置在主摄像机31附近的主摄像机的照明传感器55获得的照明信息，同时还执行摄像机的曝光设置。由于应该瞬间执行此时对应于照明信息的曝光设置，期望使用例如其中从预先准备的照明和曝光之间的对应表中选择对应于该照明信息的曝光值的反馈方法，而不使用其使用其中将曝光收敛到最佳曝光的前馈控制和一些计算的设置方法。这样，不需要用于等待曝光设置收敛到上述最佳点的时间。
本实施例的移动电话终端把由主摄像机31使用上述曝光设置而捕获的图像数据存储到存储器中作为通过按下快门按钮而捕获的图像数据。 换句话说，在本实施例中，当在快速启动图像捕获待机状态模式中通过按下快门按钮来捕获图像时，例如，当没有显示普通摄像机应用软件启动时显示图形用户界面或预览屏幕，且当设置了仅基于来自用于主摄像机的照明传感器55的照明信息的曝光(快门速度和增益)时，执行主摄像机31的图像捕获。在本实施例的移动电话终端中，在上述摄像机的捕获的图像的读取操作完成后，执行一系列处理，诸如不与摄像机的捕获的图像的读取操作(用于读取从主摄像机21输出的图像数据的操作)直接相关的其它功能(上述预览屏幕显示等)的初始化设置等和摄像机应用软件的启动。这样，根据该实施例，当在待机模式等中执行瞬间释放操作时，可以执行快速地响应释放操作的快速图像捕获和图像的存储。 当如在实施例中仅在设置曝光时执行图像捕获时，白平衡不必须是合适的。因此，在通过快速图像捕获而捕获和存储了图像后，当摄像机应用启动且通过摄像机应用获得白平衡的最佳点时，本实施例的移动电话终端通过使用最佳点对已经被存储的图像执行收集操作以获得具有合适的白平衡的图像。换句话说，当执行图像捕获时，尽管可以通过对捕获的图像执行的校正操作来校正白平衡，但难以通过捕获的图像的校正操作来校正曝光设置。因此，在本实施例中，仅使用曝光设置执行图像捕获，其后执行白平衡的校正操作以获得良好质量的捕获图像。由于用于校正捕获图像的白平衡的处理是对在快速启动图像捕获模式中捕获的图像执行的处理，因此，在本实施例中通过用于快速启动图像捕获模式的软件来进行该处理。当然，可以通过摄像机应用软件执行用于校正捕获的图像的白平衡的处理。 以下，将使用在图9中所示的移动电话终端的硬件、用户界面和软件的层次结构
和图10中所示的顺序图来描述在上述本实施例的具有摄像机功能的移动电话终端中的瞬
间图像捕获和存储、和在启动摄像机应用后的后来的图像捕获处理的处理流程。 如图9所示，在本实施例的移动电话终端中，OS层74在硬件层75上，中间件层73
和应用层72被放置在0S层74上，且最高层是用户界面层71。 OS层74、中间件层73和应
用层72中的各种处理是实际由CPU 10使用软件程序执行的处理。 当本实施例处于快速启动图像捕获模式中时，在应用层72和中间件层73之间准备快速启动图像捕获应用/中间件83。尽管快速启动图像捕获应用/中间件83可以是摄像机应用软件81的内部功能，但是，在这种情况下，摄像机应用软件81包括快速启动图像捕获待机模式的功能。在下面的描述中，使用其中独立地提供快速启动图像捕获应用/中间件83的例子。 在本实施例的移动电话终端中，当如步骤S1所示，按下用户界面层100中的电源按钮，且主体通电时，首先，如步骤S3和S4所示，启动作为移动电话的基本功能(例如打开通信功能、打开显示器、执行显示设置等)。当这些基本功能启动时，快速启动图像捕获应用/中间件83启动，如步骤S5中所示。
11
此时，快速启动图像捕获应用/中间件83启动OS层74中的摄像机驱动器86，如步骤S6所示，接下来如步骤S7所示，促使摄像机驱动器86打开硬件层75中的主摄像机31并取消主摄像机31的复位。 当在步骤S8中，接收来自摄像机驱动器86的主摄像机31的打开和复位取消的完成响应时，快速启动图像捕获应用/中间件83请求主摄像机31以上述相同的方式通过摄像机驱动器86执行各种初始化设置，如步骤S9所示。 当在步骤S10中执行主摄像机31的各种初始化设置，且在步骤Sll中通过摄像机驱动器86接收初始化设置的完成响应时，如在步骤S12中所示，快速启动图像捕获应用/中间件83发出将摄像机驱动器86和主摄像机31设置在待机状态中的请求。这样，本实施例的移动电话终端处于快速启动图像捕获待机模式中。 此时，快速启动图像捕获应用/中间件83通过用户界面层71使用诸如显示通知，来通知用户该移动电话终端处于快速启动图像捕获待机模式中。 在此，假设在处于快速启动图像捕获待机模式中时用户按下快门按钮4，换句话说，执行在其中用户没有发出用于正常启动摄像机应用软件的指令的状态中的释放操作，或执行其中用户期望瞬间图像捕获的释放操作。当在快速启动图像捕获待机模式中按下快门按钮4时，快速启动图像捕获请求从用户界面层71发送到快速启动图像捕获应用/中间件83，如步骤S21所示。 当接收快速启动图像捕获请求时，快速启动图像捕获应用/中间件83通过在摄像机驱动器86和主摄像机31上取消待机模式来执行摄像机功能的恢复设置，还基于从用于主摄像机的照明传感器55获得的照明信息来执行合适的曝光设置，如步骤S23所示。同时，在摄像机驱动器86和主摄像机31中执行对应于所示释放操作的图像捕获操作。此时，闪光灯33可以依赖于合适的曝光设置值而发光。于是，在步骤S25中，摄像机驱动器86和主摄像机31将通过图像捕获而获得的捕获图像数据发送到快速启动图像捕获应用/中间件83。 接收了捕获图像数据的快速启动图像捕获应用/中间件83在存储器等中存储图像数据。 同样在实施例中，当在步骤S21中，发送快速启动图像捕获请求时，快速启动图像捕获应用/中间件83启动应用层72中的摄像机应用软件81，作为与执行步骤S23到S25的处理并行的步骤S22。 在步骤S22中启动的摄像机应用软件81启动中间件层73中的AV中间件82，且通过启动的AV中间件82和摄像机驱动器86进一步执行曝光和白平衡的优化设置，如步骤S26所示。当在步骤S27中，主摄像机31的曝光和白平衡的优化设置完成，并且在步骤S28中，通过摄像机驱动器86和AV中间件82接收曝光和白平衡优化设置的完成响应时，快速启动图像捕获应用/中间件83如果需要则通过使用优化的白平衡值对步骤S25中捕获的图像执行白平衡校正，以校正图像的色彩。 此后，摄像机应用软件81通过用户界面层71使用诸如显示通知，通知用户图像捕获已完成。 此后，如果进一步进行释放操作，则进行由摄像机应用软件81控制的图像捕获。
尽管未在图10中示出，但在步骤S22中启动的摄像机应用软件81通过AV中间件
12同时并行地启动0S层中的闪光驱动器85、音频驱动器114、外部存储控制器113(存储器卡控制器43) 、 LCD驱动器115等。摄像机应用软件81还通过上述驱动器和控制器执行在硬件层74中的闪光灯33、放大器和扬声器57(语音芯片49和左/右扬声器50、51)、诸如插在存储器卡槽44中的存储器卡等外部记录介质55等的启动和各种设置。
[其他实施例] 根据上述实施例，尽管采用在其中当终端打开例如当本实施例的移动电话终端的主机身打开的同时启动快速启动图像捕获模式的例子，但是，例如，可以依照来自用户的启动快速启动图像捕获模式的指令来启动快速启动图像捕获模式。因为，例如，虽然在快速启动图像捕获模式的快速启动图像捕获待机模式期间，摄像机驱动器85和主摄像机31被设置为节电待机模式，且待机功率没有多少增加，但是对比当给它们的电源完全断电时，待机功率确实增加了。例如，当上述摄像机驱动器85和主摄像机31消耗待机功率时，无论如何存在待机时间等减少的缺点。因此，对不希望待机时间的这种减少的用户，期望能够由用户从终端的菜单设置屏幕等任意设置快速启动图像捕获模式为可用或不可用。
在上述实施例中，当在快速启动图像捕获模式期间按下快门按钮4时，立即执行图像捕获。因此，存在甚至当移动电话终端在口袋或手袋中的时候诸如按下快门按钮4时的操作错误而执行图形捕获的风险。当然，如果通过操作错误而执行图像捕获，则由于启动摄像机而浪费功耗。因此，例如，当由主摄像机的照明传感器55检测的照明信息小于指示移动电话终端处在很暗的环境的预定值时，且如果收到指示按下了快门按钮4的信号，本实施例的移动电话终端确定该信号是由操作错误产生的，忽略该信号，并维持快速启动图像捕获待机模式。这样，即使当移动电话终端在口袋或手袋中的时候错误地按下快门按钮4，摄像机也不启动，这样，没有浪费功耗，没有执行不必要的图像捕获。可期望能够通过用户设置用于防止操作错误的功能为可用或不可用。换句话说，当用户期望能够执行在暗的环境中诸如在夜晚的瞬间图像捕获时，应该能够事先设置用于防止操作错误的功能为不可用，这样能够执行图像捕获。
[总结] 如上所述，本实施例的具有摄像机功能的移动电话终端具有如下所述特征和优点。 根据本实施例的移动电话终端，在快速启动图像捕获模式中，与通过按下机身提
供的专门按钮、例如快门按钮4来调用摄像机功能的同时执行快速启动图像捕获。 根据本实施例的移动电话终端，因为在快速启动图像捕获模式中的图像捕获中，
可以跳过在图像捕获之前执行的初始化等的各种设置处理、诸如预览图像显示、曝光和白
平衡的最佳点的搜索，和在正常图像捕获中执行的自动聚焦扫描，因此能够捕获图像而不
错过瞬间快门机会。 根据本实施例的移动电话终端，在快速启动图像捕获模式中，通过使用来自在安装摄像机的表面上提供的专门的照明传感器(主摄像机的照明传感器)的照明信息来执行曝光(快门速度和增益)设置，能够捕获具有合适的曝光条件的图像而不消耗用于在正常图像捕获中执行的最佳点搜索处理的时间。 根据本实施例的移动电话终端，在快速启动图像捕获模式中，通过基于捕获图像后通过收敛白平衡值到最佳点而获得的最佳白平衡值，来校正使用合适的曝光值和固定的或临时的白平衡值而捕获的图像，能够获得具有正确的色彩的图像。 根据本实施例的移动电话终端，在快速启动图像捕获模式中，当在很黑暗的环境中按下快门按钮，确定按钮的按下为由操作错误引起的，且有可能通过忽略指示按下快门按钮的信号来减少由操作错误引起的图像捕获和无用的功耗。 根据本实施例的移动电话终端，因为能够由用户任意设置快速启动图像捕获模式的可用和不可用，用于防止操作错误的功能的可用和不可用等，因此能够满足用户的各种需求。 本实施例的上述描述是本发明的例子。因此，本发明不限于上述的实施例，当然，依赖不背离本发明的技术主张的范围的设计等，各种改动是可能的。例如，在上述的实施例中，虽然移动电话终端用作为例子，但是本发明能够应用通常被激活的且与移动电话终端一样具有摄像机功能的任何电子装置。 本申请包含了于2008年12月17日向日本专利办公室提交的关于日本优先权专
利申请JP 2008-321608公开的主题，其全部内容因此结合到本说明书中作为参考。 本领域的普通技术人员应该理解到，依赖于设计要求和其他因素，本发明可以有
各种的变化形式、组合以及子组合以及替代方式，只要它们都位于附后的权利要求书或其
等同方式的范围之内即可。
权利要求
一种具有摄像机功能的移动电话终端，包含包含图像传感器和用于捕获图像的摄像机镜头的摄像机硬件部分；被配置成输入用户指令以启动图像捕获的指令输入部分；照明传感器，被放置在所述摄像机镜头被布置的区域附近的外壳的外表面上，并当移动电话功能被激活时，检测周围照明值；和图像捕获启动控制部分，被配置成在当所述移动电话功能被激活时启动它后，设置在所述摄像机硬件部分中的摄像机驱动软件进入待机状态；当从所述指令输入部分输入启动图像捕获的指令时，通过使用由所述照明传感器检测的所述照明值，确定当所述摄像机硬件部分执行图像捕获时使用的曝光值；恢复所述摄像机驱动软件；和促使所述摄像机硬件部分使用所述曝光值执行图像捕获。
2. 根据权利要求1所述具有摄像机功能的移动电话终端，其中所述图像捕获启动控制部分是比所述摄像机驱动软件更高的软件，并且在使用所述检测的照明值执行图像捕获之后或同时，启动摄像机应用软件，该摄像机应用软件至少执行用于通过使用来自所述图像传感器的图形捕获信号来确定包括曝光值和白平衡值的图像捕获设置值的处理和用于促使所述摄像机硬件部分使用所确定的图像捕获设置值通过摄像机驱动软件执行图像捕获的处理。
3. 根据权利要求2所述具有摄像机功能的移动电话终端，其中所述图像捕获启动控制部分基于由启动的摄像机应用软件确定的所述白平衡值，校正使用所述检测到的照明值通过所述图像捕获获得的图像信号的白平衡。
4. 根据权利要求1所述具有摄像机功能的移动电话终端，其中，当从所述指令输入部分输入启动图像捕获的指令时，如果由所述照明传感器检测的所述照明值小于预定值，所述图像捕获启动控制部分维持所述摄像机驱动软件的待机状态。
5. —种用于控制具有摄像机功能的移动电话终端的方法，包含以下步骤启动包括图像传感器和捕获图像的摄像机镜头的摄像机硬件块中的摄像机驱动软件，其后当移动电话功能被激活时，通过使用图像捕获启动控制部分设置所述摄像机驱动软件进入待机状态；当所述移动电话功能被激活时，通过使用被放置在所述摄像机镜头被布置的区域附近的外壳的外表面上的照明传感器来检测周围照明值；禾口当从指令输入部分输入启动图像捕获的用户指令时，通过使用图像捕获启动控制部分，通过使用由所述照明传感器检测的所述照明值来确定当所述摄像机硬件部分执行图像捕获时使用的曝光值；恢复所述摄像机驱动软件；和促使所述摄像机硬件部分使用所述曝光值执行图像捕获。
全文摘要
一种具有摄像机功能的移动电话终端，包含具有图像传感器和摄像机镜头的摄像机硬件部分、用于输入启动图像捕获的指令的指令输入部分；被放置在外壳的外表面上、并当移动电话功能被激活时检测周围照明值的照明传感器；和图像捕获启动控制部分。图像捕获启动控制部分在当所述移动电话功能被激活时启动它后，使摄像机驱动软件进入待机状态。当从指令输入部分输入启动图像捕获的指令时，图像捕获启动控制部分通过使用检测到的照明值确定用于图像捕获的曝光值、恢复摄像机驱动软件并促使摄像机硬件部分使用曝光值来执行图像捕获。
文档编号H04N5/225GK101753656SQ20091025379
公开日2010年6月23日 申请日期2009年12月17日 优先权日2008年12月17日
发明者山本隆司 申请人:索尼爱立信移动通信日本株式会社