专利名称：图像捕捉方法和数码相机的制作方法
技术领域：
本发明是关于数码相机，更具体的，是关于图像捕捉方法和数码相机。
背景技术：
数码相机通常指定设计为小巧(compact)且具成本效益，因此功耗及成本问题会 造成数码相机的计算功率(computation power)有限。大多数数码相机的响应时间可能不 如高端设备快，数码相机的性能受到快门(shutter)延迟的影响。快门延迟是指从触发按 钮到图像捕捉之间的一段响应时间。快门延迟导致相机难以在恰当时刻捕捉到画面，尤其 是在欲拍摄对象是例如人类或宠物等移动的活物时。另外，大多数用户希望捕捉所拍摄活物的眼睛注视时刻。换言之，给活物拍照的最 佳时刻可能是在活物正注视数码相机时。但此类画面可能难以捕捉，尤其是当欲拍摄对象 是一大群人或者不好控制的小孩或宠物。因此，急需开发一种数码相机的改进功能以解决 上述问题。
发明内容
有鉴于此，本发明提供一种图像捕捉方法和数码相机。本发明提供一种图像捕捉方法，用于在数码相机中拍摄至少一对象，包含感测图 像；对该图像实施眼睛注视侦测过程，以侦测该至少一对象的至少一只眼睛或一双眼睛的 眼睛注视方向；确定该眼睛注视方向是否符合注视标准；以及若该眼睛注视方向符合该注 视标准，则触发该数码相机的应用。本发明提供一种数码相机，用于拍摄至少一对象，该数码相机包含光敏器件模 块，用于感测图像；用户界面，包含显示器，该显示器用于显示该图像；存储器装置，用于存 储该图像；处理器，耦接至该光敏器件模块、该存储器装置和该用户界面，该处理器对该图 像实施眼睛注视侦测过程，以侦测该至少一对象的至少一只眼睛或一双眼睛的眼睛注视方 向，确定该眼睛注视方向是否符合注视标准，且若该眼睛注视方向符合该注视标准就触发 该数码相机的应用。本发明提供的图像捕捉方法和数码相机的益处之一是可更好的捕捉所拍摄对象 的眼睛。
图Ia是根据本发明一个实施例的数码相机100的示意图。图Ib是根据本发明一个实施例在数码相机100中实现的图像捕捉方法的流程图。图2是根据本发明一个实施例实施图Ib步骤S105的眼睛注视侦测过程的流程 图。
具体实施例方式在说明书及后续的权利要求当中使用了某些词汇来指称特定组件。所属领域中具 有通常知识者应可理解，制造商可能会用不同的名词来称呼同一个组件。本说明书及后续 的权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为 区分的准则。在通篇说明书及后续的请求项当中所提及的“包括”和“包含”系为一开放式 的用语，故应解释成“包含但不限定于”。以外，“耦接” 一词在此系包含任何直接及间接的 电性连接手段。间接的电性连接手段包括通过其它装置进行连接。为了在拍摄对象眼睛正注视数码相机的恰当时刻拍照，需要实现一种实时监视机 制来辅助拍摄者。图la是根据本发明一个实施例的数码相机100的示意图。数码相机100包括光敏 器件(photo sensor)模块102、用户界面104、处理器106以及存储器装置108。典型情况 下，用户界面104包含显示器124、用于拍照的触发按钮114以及用于用户控制的面板(未 示出)。光敏器件模块102包括镜头、快门(shutter)以及例如是电荷耦合器件(Charge Coupled DeVice，(XD)或互补金属氧化物半导体(CMOS)的光敏器件，光敏器件用于将接收 到的光线转换为数字信号，这也是图像感测的原理。光敏器件可以用不同的机制感测图像。 例如，在传统快门机制中，触发按钮114用于触发光敏器件模块102中的快门，以在短暂期 间内打开光圈(aperture)。该短暂期间通常称为曝光时间。由此，光敏器件在曝光时间内 通过光圈暴露在光线下，从而将光线转换为数字信号。实时取景(live view)也是一种普遍应用的机制。在实时取景模式下，快门保持打 开状态，光敏器件持续激活，通常以每秒30帧(30FPS)的速率捕捉每个瞬间的图像。该模 式之所以称为“实时取景”是因为图像可在显示器124上实时取景，呈现实时移动的画面。 在实时取景模式下触发触发按钮114时，对应于某一瞬间的图像被捕捉并存储在存储器装 置108中。存储器装置108可以是多种已知装置，例如紧凑闪存(Compact Flash, CF)卡、 安全数码(Secure Digital, SD)卡或硬盘驱动器。在数码相机100中，处理器106连接至光敏器件模块102、用户界面104和存储器 装置108，处理器106控制不同的功能。例如，眼睛注视(eye-gazing)侦测过程由处理器 106实施，以用于侦测拍照对象中至少一只眼睛或一双眼睛的至少一个眼睛注视方向。处理 器106可以从用户界面104接收触发信号以初始化眼睛注视侦测过程，以及在眼睛注视方 向符合注视标准时触发数码相机100的特定应用。通常，为提供对场景的实时响应，会在实 时取景模式下实施眼睛注视侦测。本发明的实施例细节将参考以下流程图描述。图lb是根据本发明一个实施例在数码相机100中实现的图像捕捉方法的流程图。 请注意，若效果实质上相同，则不要求严格按照图lb所示的顺序执行各步骤。步骤S101中，初始化数码相机100，其中，眼睛注视机制可作为固件或专用集成 电路(ASIC)安装于处理器106。在实践中，数码相机100的光敏器件模块102在上电 (power up)后持续感测图像。准确而言，数码相机100以特定帧率持续对光信号采样，以 产生持续更新的图像。众所周知，图像通常显示在数码相机100的显示器124，帮助用户 合成(composite)所需照片。所以眼睛注视侦测可以是由处理器106执行的一个子程序 (sub-routine)，以持续监视用于触发特定应用的图像。步骤S105中，对图像实施眼睛注视侦测过程，以侦测至少一只眼睛或一双眼睛的至少一个眼睛注视方向。在本发明的一个实施例中，当按下(触发)数码相机100的触发 按钮114时可实施眼睛注视侦测过程。作为替代，也可在数码相机100上电后立刻实施眼 睛注视侦测过程。众所周知，人脸识别是与例如人脸聚焦和笑脸捕捉等多种应用相捆绑的 流行技术。本发明基于所侦测的眼睛注视方向提供进一步的应用，将在下文描述。步骤S107中，将已感测图像从光敏器件模块102发送至处理器106，使处理器106 确定眼睛注视方向是否符合注视标准(criterion)。用于触发应用的注视标准是可编程的。 若步骤S107中不符合注视标准(图中标示为No)，则实施步骤S109。否则若符合注视标准 (图中标示为Yes)，则实施步骤S111。在步骤S109中，通过用户界面104发出第一指示信号，使拍照对象相应的调整姿 势。指示信号可以是语音信号、闪烁发光二极管(LED)或显示字符。例如，当拍摄合影时， 数码相机100可指示侦测到几只眼睛或几双眼睛，或者发出警报以吸引拍照对象(尤其是 宠物或小孩)，由此增加在所有拍摄对象眼睛注视相机时拍照的成功率。在步骤S109发出 第一指示信号后，图像捕捉方法回到步骤S105以实施用于侦测眼睛注视方向的眼睛注视 侦测过程，然后再次确定所侦测的眼睛注视方向是否符合步骤S107的注视标准。请注意， 步骤S109可以省略，若所侦测的眼睛注视方向不符合步骤S107的注视标准，图像捕捉方法 可直接进入步骤S105。在步骤S111中，若眼睛注视方向符合注视标准，则可触发特定的应用。例如，特定 的应用可实现在眼睛注视数码相机时即刻捕捉照片。但本发明并不限于此功能。基于所侦 测的眼睛注视方向还可实现不同的应用。例如，可实现特定的应用可以是在符合注视标准 时发出第二指示信号。除上述在眼睛注视时触发快门拍照的例子之外，眼睛注视侦测还可 用于多种情形。例如可提供自动对焦功能，用于对任意一只或一双注视的眼睛聚焦。若画 面中有多人，镜头焦点可自动对焦至注视数码相机的人。此外，由于可侦测眼睛注视方向， 镜头焦点可自动对焦至拍照对象眼睛正注视的方向。还可提供自动快门应用，其中，光敏器 件模块102中的快门可以在全体或者部分人注视数码相机时自动触发，因而可实现无人干 预的快门触发。另外，可在侦测到所有眼睛且所有眼睛都面向数码相机时，捕捉图像并将图像保 存为照片。若数码相机处于视频模式，可将图像记录为移动画面。同时，当符合注视标准时， 数码相机可以只向摄影师和拍照对象指示已经符合标准。数码相机100中的处理器106用 可编程固件可以实现上述的所有应用。另外，可以在进入步骤S105的眼睛注视侦测过程之前通过用户界面104配置注视 标准，例如可在步骤S103中配置注视标准。以下讨论配置注视标准的多种考虑。注视标准可以定义至少一只眼睛或一双眼睛相对于数码相机100的眼睛注视方 向。若有需要，也可指定特定角度的眼睛注视方向作为注视标准，以触发快门拍摄不同风格 的照片。眼睛注视方向可使用多种已知算法来侦测，上述算法多数适用于辅助残疾人的医 疗系统。例如，对脸和眼睛相对于相机的位置以及眼睛瞳孔相对于相机的位置进行比较，可 确定眼睛注视方向。因此此处省略对上述算法的细节描述。步骤S105为重复性步骤，由此多个侦测结果可形成序列，例如形成眼睛注视方向 的连续轨迹。该轨迹以特定样式为特征，可作为有意义的姿态用于指示照相机以相应的特 定运作来响应。为实现姿态识别，注视标准中还可进一步定义轨迹样式，用于与眼睛注视方向的连续轨迹进行比较。若希望在一个画面中拍摄一群人，注视标准也可定义注视数码相机100的多只或 多双眼睛。随着拍照对象人数增加，所有人同时看数码相机的可能性降低，作为替代，注视 标准也可定义一个阈值或是定义有几只眼睛或几双眼睛正注视数码相机100。例如，该阈值 可定义为60%，此时，当十人中有六人注视数码相机时就拍照。图2是根据本发明一个实施例来实施图lb步骤S105的眼睛注视侦测过程的流程 图。请注意，若效果实质上相同，也可不严格按照图2所示的顺序执行各步骤。眼睛注视侦 测过程是一系列算法。目前有多种已知的实施人脸侦测和眼睛追踪的算法，本发明在此基 础上提供进一步的应用。在步骤S201中，初始化眼睛注视侦测。为侦测眼睛，数码相机必须感测清晰图像， 因此需要聚焦。步骤S203中，数码相机调整焦点以感测清晰图像。众所周知，图像中离焦 (out of focus)的物体是模糊的，这种模糊效应又称为“散景(bokeh)”。对于大光圈镜头 和长距镜头，当图像中只有聚焦的物体清晰时，就发生了散景。由于难以分析图像的模糊部 分，也可只在聚焦范围内实施眼睛注视侦测过程。因此，聚焦范围是需要考虑的一个参数。 通常，典型的数码相机可以自动对焦(AF)。例如，用户可通过用户界面104定义焦点标准， 以指明眼睛注视侦测过程只实施于聚焦范围内的物体，聚焦范围例如是2至5米。这种情 况下，只侦测或定位在聚焦范围2至5米内的脸或眼睛。所以聚焦范围之外物体的脸或眼 睛会被忽略。步骤S205中，侦测图像中的脸。由于有多种已知技术可实现脸侦测，在此省略细 节的介绍。步骤S207中，定位图像中侦测到的脸的至少一只眼睛或一双眼睛。请注意，步 骤S205是可选步骤，因此步骤S207也可在步骤S203之后直接实施，以定位图像中的至少 一只眼睛或一双眼睛。进一步，通过适当的编程，不是只有人眼可以侦测。其它动物例如狗 的眼睛和猫的眼睛也都可以侦测。步骤S209中，分析眼睛的瞳孔以确定眼睛注视方向。作为最简单的例子，被侦测 到持续特定时间的眼睛注视方向可视为注视标准匹配。但在实践中，会考虑连续的眼睛注 视活动作为参数，以找到触发点。例如，在一段时间内采样得到的多个眼睛注视方向可形成 轨迹样式，例如圆形轨迹、向上轨迹或向下轨迹等等。一串连续的眼睛注视方向轨迹可作为 传达用户想法的姿态来评估。也可考虑其它活动作为参数以寻找触发点，其它活动例如是 眨眼、闭眼或持续睁大眼睛。例如，当拍照对象眨眼两次时就触发特定的应用例如拍照或 记录运动画面。基于恰当定义的注视标准，当侦测到例如眨眼两次、环视、快速上下扫视等眼睛注 视活动时，就可触发特定的相机应用，例如打开闪光灯或拍摄移动画面。换言之，基于眼睛 注视侦测技术，可以触发图lb步骤S111所描述的不同应用。本发明特别适用于数码相机或可拍照的可携式设备。本发明提供的捕捉方法可用 软件或专用芯片来实现。此外，若计算功率允许，眼睛注视侦测还可并入运动预测器以提前 触发快门，用于补偿快门延迟。当拍摄对象快速移动时，补偿快门延迟尤其有用。任何熟习此项技艺者，在不脱离本发明之精神和范围内，当可做些许的更动与润 饰，因此本发明之保护范围当视所附之权利要求所界定者为准。
权利要求
一种图像捕捉方法，用于在数码相机中拍摄至少一对象，包含感测图像；对该图像实施眼睛注视侦测过程，以侦测该至少一对象的至少一只眼睛或一双眼睛的眼睛注视方向；确定该眼睛注视方向是否符合注视标准；以及若该眼睛注视方向符合该注视标准，则触发该数码相机的一个应用。
2.如权利要求1所述的图像捕捉方法，其特征在于，更包含若不符合该指示标准，则 发出第一指示信号。
3.如权利要求2所述的图像捕捉方法，其特征在于，该指示信号是语音信号、闪烁发光二极管或显示字符。
4.如权利要求1所述的图像捕捉方法，其特征在于，更包含在实施该眼睛注视侦测过 程之前配置该注视标准。
5.如权利要求4所述的图像捕捉方法，其特征在于，该注视标准定义该至少一对象的 该至少一只眼睛或一双眼睛的该眼睛注视方向相对于该数码相机的特定角度，或者该注视 标准定义注视该数码相机的该至少一只眼睛或一双眼睛的数目。
6.如权利要求1所述的图像捕捉方法，其特征在于，当按压该数码相机的触发按钮时 实施该眼睛注视侦测过程。
7.如权利要求1所述的图像捕捉方法，其特征在于，该眼睛注视侦测过程包含 定位该至少一只眼睛或一双眼睛；以及分析已定位的该至少一只眼睛或一双眼睛的瞳孔，以确定该眼睛注视方向。
8.如权利要求7所述的图像捕捉方法，其特征在于 该眼睛注视侦测过程更包含侦测该图像中的至少一张脸；以及定位该至少一只眼睛或一双眼睛的步骤包含在已侦测脸中定位该至少一只眼睛或一 双眼睛。
9.如权利要求1所述的图像捕捉方法，其特征在于，该应用是捕捉该图像、将该图像记 录为移动画面或发出第二指示信号以指示符合该注视标准。
10.一种数码相机，用于拍摄至少一对象，该数码相机包含 光敏器件模块，用于感测图像；用户界面，包含显示器，该显示器用于显示该图像； 存储器装置，用于存储该图像；处理器，耦接至该光敏器件模块、该存储器装置和该用户界面，该处理器对该图像实施 眼睛注视侦测过程，以侦测该至少一对象的至少一只眼睛或一双眼睛的眼睛注视方向，确 定该眼睛注视方向是否符合注视标准，且若该眼睛注视方向符合该注视标准，就触发该数 码相机的一个应用。
11.如权利要求10所述的数码相机，其特征在于，若不符合该注视标准，该用户界面就发出第一指示信号。
12.如权利要求11所述的数码相机，其特征在于，该指示信号是语音信号、闪烁发光二 极管或显示字符。
13.如权利要求10所述的数码相机，其特征在于，该注视标准是通过该用户界面配置的。
14.如权利要求13所述的数码相机，其特征在于，该注视标准定义该至少一对象的该 至少一只眼睛或一双眼睛的该眼睛注视方向相对于该数码相机的特定角度，或者该注视标 准定义注视该数码相机的该至少一只眼睛或一双眼睛的数目。
15.如权利要求10所述的数码相机，其特征在于，该处理器实施该眼睛注视侦测过程以定位该至少一只眼睛或一双眼睛；以及分析已定位的该至少一只眼睛或一双眼睛的瞳孔，以确定该眼睛注视方向。
16.如权利要求15所述的数码相机，其特征在于，该处理器实施该眼睛注视侦测过程 以进一步侦测该图像中的至少一张脸；以及在已侦测脸中定位该至少一只眼睛或一双眼睛。
17.如权利要求10所述的数码相机，其特征在于，该处理器触发该应用，以将该图像存 储在该存储器装置中、将该图像记录为移动画面或通过该用户界面发出第二指示信号以指 示符合该注视标准。
全文摘要
一种图像捕捉方法和数码相机。其中，图像捕捉方法，用于在数码相机中拍摄至少一对象，包含感测图像；对该图像实施眼睛注视侦测过程，以侦测该至少一对象的至少一只眼睛或一双眼睛的眼睛注视方向；确定该眼睛注视方向是否符合注视标准；以及若该眼睛注视方向符合该注视标准，则触发该数码相机的应用。本发明提供的图像捕捉方法和数码相机可更好的捕捉所拍摄对象的眼睛。
文档编号H04N5/232GK101860679SQ20091022402
公开日2010年10月13日 申请日期2009年11月30日 优先权日2009年4月7日
发明者郭志辉, 陈菀瑜 申请人:联发科技股份有限公司