图像编辑装置和控制图像编辑装置的方法

专利名称：图像编辑装置和控制图像编辑装置的方法
技术领域：
本发明涉及图像编辑装置、控制图像编辑装置的方法及存储图像编辑程序的记录介质，它们在对象脸部的图像上合成反光(catch-light)。
背景技术：
在人物摄影中，已知一种通过在对象(比如模特)的眼睛中插入反 光而使脸部变得突出(standout)的技术。可以通过插入这种反光来强调 或加强对象脸上的表情。 一般而言，人脸有多种表情，比如高兴、生气 和忧虑。对于每一种脸部表情都存在最优的反光。作用于对象上的光线在对象眼睛角膜的球表面上反射，并且反射光 由摄像元件来曝光，从而产生了反光。日本专利申请公报第2001-91979 号公开了一种利用作为光源而内置在相机中的闪光灯单元来产生这种反 光的技术。在日本专利申请公报第2001-91979号中，用于照明对象的光 源为点光源，且光的颜色为白色。因此，在对象的瞳孔上产生了白色圆 形反光。日本专利申请公报第2006-72743号公开了一种通过图像处理而 人为地产生反光的技术。如上所述，人脸有多种表情，并且对于每个表情都存在最优的反光。 日本专利申请公开第2001-91979号中公开的技术仅可以将反光表达成 白点。此外，相机镜头与闪光灯单元的发光部件之间的位置关系通常是 相同的，在应用反光时无位置灵活性可言。为了利用光源来插入有效的 反光，必须设定光源的种类、从光源到对象的距离以及光到眼睛的入射 角。然而，这些设定仅可以由有经验的摄影师或高级业余爱好者进行设 定。此外，日本专利申请公开第2006-72743号中公开的这种通过图像处 理来产生反光的技术在图像处理时困难且繁琐，并且要求高级的技巧。发明内容本发明的目的是提供一种图像编辑装置、控制图像编辑装置的方法 及存储图像编辑程序的记录介质，它们根据人脸来实现有效的反光表情， 并且使得即使在拍照和编辑图像方面经验很少的用户也能够容易地获得 带有反光表情的人物摄影作品。本发明的第一方面提供了 一种图像编辑装置，该图像编辑装置包括: 图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路； 脸部检测电路，其从图像输入单元所获得的图像中检测对象的脸部图像; 脸部表情检测电路，其基于脸部检测电路所检测到的脸部图像来检测对 象脸部的方向和表情中的至少任何一个；瞳孔检测电路，其基于脸部检 测电路所检测到的脸部图像来检测对象的瞳孔图像；以及反光合成 (composition)电路，其根据脸部表情检测电路所检测到的脸部的方向 和表情中的任何一个，在瞳孔检测电路所检测到的瞳孔图像上合成不同 的反光。本发明的第二方面提供了一种控制装置的方法，该装置用于编辑通 过对对象进行拍照而获得的图像，该方法包括以下步骤从所获得的图 像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部 的方向和表情中的至少任何一个；基于所检测到的脸部图像来检测对象 的瞳孔图像；以及根据所检测到的脸部的方向和表情中的任何一个，在 所检测到的瞳孔图像上合成不同的反光。本发明的第三方面提供了一种控制装置的方法，该装置用于编辑通 过对对象进行拍照而获得的图像，该方法包括以下步骤从所获得的图 像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部 的方向和表情中的至少任何一个；基于所检测到的脸部图像来检测对象 的眼睛的方向；基于所检测到的脸部图像来检测对象的瞳孔图像；以及 根据所检测到的脸部的方向和表情以及眼睛的方向中的任何一个在所检 测到的瞳孔图像上合成反光。本发明的第四方面提供了一种计算机可读记录介质，其上记录有用于编辑通过对对象进行拍照而获得的图像的程序，该程序使计算机能够 执行以下功能从所获得的图像中检测对象的脸部图像的功能；基于所 检测到的脸部图像来检测对象的瞳孔图像的功能；以及根据所检测到的
脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合成不同的反 光的功能。
本发明的第五方面提供了一种图像编辑装置，其包括图像输入单 元，其包括对对象进行拍照以获得对象的图像的摄像电路；检测电路， 其从图像输入单元所获得的图像中检测对象的脸部图像，基于所检测到 的脸部图像来检测对象脸部的方向和表情中的至少任何一个，并基于所 检测到的脸部图像来检测对象的瞳孔图像；以及反光合成电路，其根据 所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔图像上合 成不同的反光。
本发明的优点将在下面的描述中进行阐述，并且将部分地通过这种 描述而变得明显，或者可以通过实施发明而获得。可以利用此后特别指 出的手段及组合来实现并获得本发明的优点。


结合在说明书中并构成了说明书一部分的附图示出了本发明的实施
方式，并且与以上给出的概述及以下给出的实施方式的详细说明一起用 于解释本发明的原理。
图1为示出了作为根据发明第一实施方式的图像编辑装置的例子的 数字相机的构成框图2A、 2B和2C示出了光源的位置与从瞳孔反射的光的方向之间的 关系；
图3A、3B和3C示出了从瞳孔反射的光与瞳孔内的反光之间的关系； 图4为示出了根据发明第一实施方式的数字相机的操作的流程图； 图5示出了当通过启动辅助发光电路来拍照时对象眼睛的图像数据 分布；
图6为示出了计算值R的处理流程的流程图；图7A示出了具有高R值的表情的例子； 图7B示出了具有低R值的表情的例子； 图8为示出了修正值R的流程的流程图； 图9A示出了当脸部方向朝前时的表情的例子； 图9B示出了当脸部方向朝下时的表情的例子； 图9C示出了当脸部方向朝上时的表情的例子； 图IOA、 IOB、 IOC、 IOD、 10E以及10F示出了瞳孔图像上的多种 反光表情的例子；而
图11为示出了根据发明第二实施方式的数字相机的操作的流程图。
具体实施例方式
下面将结合附图来说明本发明的实施方式。 [实施方式1]
图1为示出了作为根据发明第一实施方式的图像编辑装置的例子的 数字相机100的构成框图。图1所示的数字相机100具有微处理器单元
(MPU) 101、操作单元102、相机镜头103、自动聚焦(AF)电路104、 光圈机构105、光圈控制电路106、摄像元件107、模拟前端(AFE)电 路108、图像处理电路109、显示控制电路110、显示面板111、焦距判 定电路112、脸部检测电路113、脸部表情检测电路114、压縮/解压縮电 路115、记录控制电路116、记录介质117、辅助发光电路118、反射样式
(pattern)检测电路119及通信电路120。数字相机100通过网络300可 通信地连接到服务器400。
MPU 101根据用户对操作单元102的操作来依次控制构成数字相机 100的每个框。操作单元102包括用数字相机100进行拍照的释放开关; 以及使数字相机100操作模式在拍照模式和播放模式之间改变的模式改 变开关。
MPU 101具有用于记录用户所拍照片时间/日期的计时器。计时器可 以将拍照时间/日期与通过拍照所获得的图像数据关联起来。
相机镜头103在摄像元件107内形成对象200的图像。相机镜头103包括用于自动聚焦的聚焦镜头。在自动聚焦模式下，MPU 101监控聚焦 镜头的位置，并通过控制AF电路104来改变聚焦镜头的位置，从而调节 相机镜头103的焦距。光圈机构105设置在相机镜头103内或者附近， 并且充当快门和光圈。光圈机构105在拍照开始时打开到预定孔径，而 在拍照结束时关闭。具有摄像单元功能的摄像元件107具有由大量像素的阵列构成的光 接收平面。摄像元件107将通过相机镜头103接收到的对象200的图像 转换为电信号。在该实施方式中，摄像元件107可以使用CCD系统或 CMOS系统。AFE电路108包括CDS电路、增益调节电路以及AD转换电路。 AFE电路108对摄像元件107所获得的模拟电信号进行模拟处理，比如 相关双采样和增益调节。AFE电路108将通过模拟处理而获得的图像信 号转换为数字数据，并将其输入图像处理电路109。 AFE电路108具备 一起从构成摄像元件107的像素读取信号的功能。比如，通过AFE电路 108—起读取4个像素(2x2像素)的信号或9个像素(3x3像素)的信 号并对这些电信号进行相加，可以改善信噪比。通过这种处理，可以增 强摄像元件107的表观灵敏度(apparent sensitivity)。此外，AFE电路108具有从摄像元件107选择输出信号的功能。因 此，可以从摄像元件107的所有有效像素中有限的像素范围内仅提取出 一个信号。 一般来讲，摄像元件107可通过疏化(thin out)而高速地读 取信号。通过利用该功能在显示面板111上显示用于确认通过连续地操 作摄像元件107而获得的框架(frame)的通像(through image),在图像 处理电路109中对图像进行处理之后，用户可以利用显示在显示面板111 上的通像来框住(frame)图像。图像处理电路109执行多种类型的图像处理对从AFE电路108输 入的图像数据的颜色、等级和锐度进行修正；将图像数据电平放大到预 定电平；以及将图像数据调节到正确的浓度和灰度级。为了显示多种图像(如上述要框住的图像)，图像处理电路109具有 将从AFE电路108输入的图像数据的尺寸进行调整(减小)，使之可显示在显示面板lll上的功能。
此外，在该实施方式中，当检测到对象200眼睛内的反光时，图像
处理电路109将反光消除掉。图像处理电路109具有反光合成电路的功 能，用于合成与对象200的脸部表情相对应的反光，取代消除掉的反光 而被使用。
显示控制电路110将在图像处理电路109中获得的图像数据或记录 在记录介质117中的图像数据转换成视频信号，并基于转化成的视频信 号在显示面板111上显示图像。显示面板111是液晶面板或有机EL显示 面板。可以在显示面板111上显示发送(上传)到服务器400的图像的 列表。用户或摄影师可以通过操作操作单元102而从上传到服务器400 的图像的列表中选择要用作由服务器400来管理的博客服务的图像。允 许选择在博客上显示图像的布局。
焦距判定电路112检测图像处理电路109所获得的图像的对比度。 由焦距判定电路112检测到的对比度被用于自动聚焦。在自动聚焦模式 下，焦距判定电路112依次检测图像的对比度，而AF电路104则改变相 机镜头103的聚焦镜头的位置。因为相机镜头103的焦距可调，所以当 所检测到的对比度最大时，聚焦镜头停止。
脸部检测电路113根据特征点(比如当对象为人时，眼睛、鼻子和 嘴)的分布来检测图像处理电路109所获得图像的一部分，特别是与对 象脸部相对应的部分。脸部表情检测电路114基于脸部检测电路113所 检测到的脸部图像来计算值R (稍后详述)。值R是用于获得对象脸部表 情的值。
压縮/解压縮电路115在拍照时对图像处理电路109所处理的图像 进行压縮。压縮/解压縮电路115具有静态图像压縮单元，其具有已 知的静态图像压縮功能，比如JPEG;以及动态图像压缩单元，其具有已 知的动态图像压縮功能，比如MPEG或H.264。压縮/解压縮电路115 还具有对经压縮的静态或动态图像数据进行解压縮的功能。记录控制电 路116将压縮/解压缩电路115压縮后的图像数据以及伴随数据 (accompanying data) —起记录在记录介质117中。辅助发光电路118根据拍照条件向对象200发光。这样就防止了在 拍照时出现不足或不均的亮度。具有瞳孔检测电路功能的反射样式检测 电路119利用辅助发光电路118的发光来检测从对象200的眼睛反射的 光的样式。通信电路120对通过网络300将记录在记录介质117中的图像数据 或通过拍照而获得的图像数据发送到服务器400时的通信进行控制。通 信电路120还对从服务器400接收各种数据时的通信进行控制。通信电 路120例如是无线LAN接口电路。发送到服务器400的图像可以作为显 示在服务器400所管理的博客中的图像而立刻展现给用户500。下面，将对第一实施方式的数字相机100的操作进行说明。首先， 将结合图2A-2C及图3A-3C来解释反光。图2A-2C示出了光源的位置与 从瞳孔反射的光的方向之间的关系。图3A-3C示出了从瞳孔反射的光与 从瞳孔反射的反光之间的关系。图2A示出了光源600从较高位置来对对象200进行照明的例子。假 定来自光源600的入射光以角度01施加到对象200的瞳孔200a的上部。 在这种情况下，反射光也以相对于瞳孔200a为ei的角度施加到相机镜 头103上。因此，如图3A所示，在瞳孔200a的上部出现了反光200b。 图2B示出了来自光源600的光经反射器反射，并且对象200从较低位置 被照明的例子。假定来自光源600的入射光以角度62施加到对象200的 瞳孔200a的下部。在这种情况下，反射光也以相对于瞳孔2OOa为02的 角度施加到相机镜头103。因此，在瞳孔200a的下部出现了反光200b。 如果没有光源，当然就不会产生反光。如上所述，根据拍照时光源的状态来产生多种反光。通过改变这些 反光，可以产生氛围，比如拍照时对象的脸部表情和情绪。这正是摄影 师大量使用反光的原因，因为反光为它们的照片赋予了表情。然而，并 不总是可以得到适合产生反光的光源。在这种情况下，已经公开了一种 利用通常内置在相机中的闪光灯单元(辅助发光电路118)来产生反光的 技术。然而，如图2A或图2B所示，在使用辅助发光电路118的情况下， 这种技术无法改变光源的位置。因此，在使用辅助发光电路118时，来自辅助发光电路118的入射光总是以角度03进入对象200的瞳孔200a， 并且如图2C所示，反射光总是以角度03进入相机镜头103。辅助发光 电路118作为光源相对较小，并且在瞳孔200a的中央狭窄范围内出现白 色反光200b (或者，由于所谓的红眼现象而使瞳孔呈现红色)。结果， 表情变得呆滞。在该实施方式中，通过简单操作即可获得适于对象脸部表情的反光， 从而可以在拍照时作出多种表情。图4为示出根据发明第一实施方式的数字相机100的操作的流程图。在图4中，MPU 101判断数字相机100的操作模式是否为拍摄模式 (步骤S1)。在步骤1的判断中，如果操作模式为拍摄模式，则MPUIOI 执行多种控制，以在显示面板lll上显示要框住的通像(步骤S2)。艮口， MPU 101通过连续地操作摄像元件107而依次获得通像数据，并且在图 像处理电路109中处理所获得的通像数据。然后，MPU IOI基于该通像 数据在显示面板lll上显示通像。在显示了通像之后，MPU 101判断摄 影师是否通过对操作单元102进行操作而指示了拍照(步骤S3)。如果步 骤3的判断中没有指示拍照，则再次进行步骤l。相反，如果步骤3中指 示了拍照，则MPU101进行拍照(步骤S4)。即，MPU101调节相机镜 头103的焦距，将光圈机构105调节到预定孔径，与摄像元件107 —起 进行拍照，并且获得图像数据。然后，MPU 101判断反射样式检测电路119是否在对象200的瞳孔 中检测到了辅助光的反射光，或者是否从通过摄像元件107获得的图像 数据中检测到了反光(步骤S5)。接下来将对步骤5中的判断方法举例加以说明。图5示出了在利用 辅助发光电路118进行拍照时对象200眼睛内的图像数据的分布。如图 3C所示，辅助光线从辅助发光电路118发出时，辅助光线的反射光(反 光)看起来靠近瞳孔的中心。因此，靠近对象200瞳孔的图像数据的样 式在水平方向上为大(眼白)-小(瞳孔)-大(反射光)-小(瞳孔)-大 (眼白)，而在垂直方向上为小(瞳孔)-大(反射光)-小(瞳孔)。通过 如上所述判断靠近对象200瞳孔的图像数据的样式，可以判断出瞳孔中是否存在来自辅助发光电路118的反射光。由于瞳孔可能向右或向左偏 移，因此优选地在拍照之前显示了通像的情况下检测瞳孔的位置。可以 如下来检测瞳孔位置脸部检测电路113检测拍照之前通过摄像元件107而获得的通像数据中的脸部部分；脸部表情检测电路114根据脸部部分 中的阴影分布来检测脸部部分的眼睛部分；并且将眼睛部分的图像数据 中表现为低亮度的部分检测为瞳孔。如果在步骤S5的判断中检测到了反射光，则MPU 101通过使图像 处理电路109用周围图像数据(瞳孔)代替图像数据来填充与检测到的 反射光部分相对应的图像数据(步骤S6)。然后，MPU 101利用脸部表 情检测电路114来计算值R，以在图像中检测对象200的脸部表情(步骤 S7)。接下来对值R进行说明。图6为示出了计算值R时的处理流程的流 程图。在图6中，首先，脸部表情检测电路114根据脸部检测电路113 检测到的脸部图像中的阴影分布来检测眼睛和嘴(步骤S101)。具体来讲， 脸部检测电路113在对比度增强了的图像中检测基本上为圆形的脸部部 分。然后，脸部表情检测电路114根据脸部中的阴影分布来检测眼睛和 嘴。如果在显示通像时检测到了脸部，则可以省略步骤SIOI。在步骤SIOI中检测到眼睛和嘴之后，脸部表情检测电路114计算连 接两个眼睛的瞳孔的直线A上方的眼白的面积EA (参见图7A)(步骤 S102)。然后，脸部表情检测电路114计算连接两个眼睛的瞳孔的直线A 下方的眼白的面积EB (参见图7A)(步骤S103)。在计算出EA和EB 之后，脸部表情检测电路114计算值RE，值RE是通过用EA和EB之间 的差值除以EA和EB的和而获得的(步骤S104)。在此，当对象200希 望对其他人显示笑脸时，如图7A所示，EB变为接近于0，结果RE变大。 相反，当对象的脸部不是笑脸而是例如苦脸时，如图7B所示，EA变为 接近于O，结果RE变小。因此，可以从RE的大小判断出脸部表情。获得RE之后，脸部表情检测电路114计算连接两个嘴角的直线B 上方的嘴唇面积LA (参见图7B)(步骤S105)。然后，脸部表情检测电 路114计算连接两个嘴角的直线B下方的嘴唇面积LB (参见图7B)(步骤S106)。计算出LA和LB之后，脸部表情检测电路114计算值RL， 值RL是通过用LA和LB之间的差值除以LA和LB的和而获得的(步 骤S107)。在此，当对象2为笑脸时，如图7A所示，LA变为接近于O， 结果RL变大。相反，当对象为苦脸时，如图7B所示，LB变为接近于0， 结果RL变小。因此，可以从RL的大小判断出脸部表情。
计算出RE和RL之后，脸部表情检测电路114计算RE和RL的和 R (步骤S108)。值R越大，脸部越接近于笑脸。此外，如果嘴角有如图 7A中的箭头C所示的阴影或可以看到牙齿，则脸部可能为笑脸。因此， 脸部表情检测电路114判断是否可以在嘴中看到牙齿(白色部分)以及 嘴角是否有阴影(步骤S109)。如果在步骤S109的判断中从嘴中看到了 牙齿并且嘴角有阴影，则脸部表情检测电路114向R增加预定值(在此 为1)(步骤SllO)。
相反，如果在步骤S109的判断中从嘴中看到了牙齿而嘴角没有阴 影，或者在步骤S110之后，脸部表情检测电路114判断眉毛之间是否出 现了如图7B中的箭头D所指示的皱纹(步骤Slll)。如果在步骤lll的 判断中检测到了眉毛之间的皱纹，则脸部表情检测电路114从R中减掉 预定值(在此为1)(步骤S112)。也就是说，眉毛之间有皱纹的脸部不 是笑脸，并且执行步骤Slll中的判断。
在图6的处理中，如果对象200的脸部朝向前方，则容易判断脸部 表情。然而，如果对象200的脸部朝向下方或上方，就难以判断脸部表 情。因此，MPU101按照以下方式对值R进行修正(步骤S113)。
图8为示出值R修正流程的流程图。在图8中，首先，脸部表情检 测电路114检测由脸部检测电路113检测到的脸部图像的中心位置E的 坐标(参见图9A)(步骤S201)。然后，脸部表情检测电路114检测由脸 部检测电路113检测到的脸部图像中眼睛的中央位置F的坐标(参见图 9A)(步骤S202)。
当脸部朝前时，如图9A所示，眼睛的中央位置F位于脸部的中心 位置E的上方。相反，当脸部朝下时，如图9B所示，眼睛的中央位置F 位于脸部的中心位置E的下方。如果对象在这种状态下观看相机镜头103，则对象的脸部具有上翻的眼睛。这种脸部看起来很不开心。当脸部 朝上时，相对于图9A中的情况而言，眼睛的中央位置F位于脸部的中心 位置E的更上方，如图9C所示。如果对象在这种状态下观看相机镜头 103，则对象的脸部似乎在向下看。这种脸部看起来也很不开心。
因此，在图8的处理中，对脸部中心位置E与眼睛中央位置F之间 的差AY进行计算，并且基于AY的值来判断对象200的脸部是朝前、朝 下还是朝上。
也就是说，在检测出脸部中心位置E和眼睛中央位置F的坐标之后， 脸部表情检测电路114计算脸部中心位置E与眼睛中央位置F之间的差 AY(步骤S203)。然后，脸部表情检测电路114判断差AY是否小于预 定值-AYl (步骤S204)。如果在步骤S204中判断出差AY小于预定值 -AYl，则判断为脸部朝下，如图9B所示，并且脸部表情检测电路114 从值R中减掉一预定值(在此为1)(步骤S205)，然后退出图8的处理。
相反，如果在步骤204中判断出差AY大于-AY1，则脸部表情检测 电路114判断差AY是否大于预定值AY2 (步骤S206)。如果在步骤206 中判断出差AY大于AY2，则判断为脸部朝上，如图9C所示，并且脸部 表情检测电路114从值R中减掉一预定值(在此为l)(步骤S207)，然 后退出图8的处理。
如果在步骤S206中判断出差AY小于AY2，则判断为脸部朝前，如 图9A所示，脸部表情检测电路114不对值R进行修正。在这种情况下， 脸部表情检测电路立刻退出图8的处理。
现在返回图5继续进行说明。在步骤S7中计算出值R之后，脸部表 情检测电路进行反光处理，即，将适于对象200脸部表情的反光与通过 摄像元件107所获得的图像数据进行合成。图10A到10F示出了合成在 瞳孔图像上的多种反光图像的例子。
图IOA、 10B和10C示出了对象200的完全睁开状态的眼睛(值R 较高)。在这种情况下，可以有效地使用瞳孔的上部，并且优选地在瞳孔 的上部中合成反光图像。当值R较高时，脸部表现为开心或惊喜。因此， 如图10A和10B所示，推荐使用心形或星形作为反光图像。与普通反光的情况相同，颜色可以为白色，但优选地对于每种反光图像而不同，比 如心形为粉红色，而星形为黄色。图10D、10E禾n 10F示出了对象200的凝视状态的眼睛(值R较低)。 在这种情况下，可以有效地使用瞳孔的下部，并且优选地在瞳孔的下部 中合成反光图像。当值R较低时，如前所述，脸部看起来焦虑或凝重。 因此，如图10F所示，推荐使用火焰形作为反光图像。与普通反光的情 况相同，颜色可以为白色，但优选地例如将红色用于火焰。在图5的步骤8处理中及处理之后，基于上述概念来合成反光。首 先，MPU 101判断在步骤S7中获得的值R是否高于第一预定值(步骤 S8)。如果在步骤S8中判断出值R高于第一预定值，则MPU101利用图 像处理单元109在通过摄像元件107所获得的图像数据中的瞳孔的上半 部分中合成粉红色心形反光图像，如图IOA所示(步骤S9)。如果在步 骤S8中判断出值R小于第一预定值，则MPU 101判断在步骤S7中获得 的值R1是否小于比第一预定值小的第二预定值(步骤SIO)。如果在步 骤10中判断出值R小于第二预定值，则MPU 101利用图像处理单元109 在通过摄像元件107所获得的图像数据中的瞳孔的下半部分中合成红色 火焰形反光图像，如图10F所示(步骤Sll)。如果在步骤S10中判断出 值R大于第二预定值，则MPU 101利用图像处理单元109在通过摄像元 件107所获得的图像数据中的瞳孔的上半部分中合成黄色星形反光图像， 如图IOC所示(步骤S12)。在步骤S9、 S11或S12中合成了反光图像之后，MPU101将合成有 反光图像的图像数据记录在记录介质117中(步骤S13)，然后完成图4 的处理。如果在步骤S1的判断中未检测到拍照模式，则MPU 101将模式判 断为播放模式，并等待由摄影师进行的图像选择。图像被选择后，MPU 101从存储介质117中读取与所选图像相对应的数据图像，并将这种图像 再现于显示面板lll上(步骤S14)。然后，MPU 101判断摄影师是否进 行了发送所选图像数据的操作(步骤S15)。果在步骤S15中摄影师进行了发送所选图像数据的操作，则MPU 101等 待摄影师输入图像数据的目的地(步骤S16)。输入了图像数据的目的地 后，MPU 101利用通信电路120将此时正在播放的图像发送给步骤S16 中指定的目的地(步骤S17)，并且完成图4的处理。
如上所述，根据第一实施方式，当拍照时对象200的瞳孔内有反光 时，消除该反光部分，并且在瞳孔中的根据拍照时对象的面部表情而确 定的位置上合成根据面部表情而确定了形状和颜色的反光图像。因此， 摄影师仅通过使辅助发光电路118发光而进行简单拍照即可获得带有有 效反光的人物摄影作品像，而不必进行特殊的设置来获得反光效果。
下面将对发明的第二实施方式进行说明。第二实施方式用于在拍照 之前显示了通像的情况下确认合成有反光的图像。数字相机100的构成 与图1所说明的相同，因此将省略其说明。
图11为示出本发明第二实施方式的数字相机100的操作的流程图。
在图11中，MPU 101判断数字相机100的操作模式是否为拍照模式 (步骤S21)。如果在步骤21的判断中操作模式被判断为拍摄模式，则 MPU IOI执行多种控制，以在显示面板111上显示要框住的通像(步骤 S22)。然后，MPU101利用在图4中的步骤S5的处理中所说明的技术来 检测瞳孔的位置和大小(步骤S23)。
MPU 101通过用于在通像中检测对象200的脸部表情的脸部表情检 测电路114来计算值R。计算出值R之后，MPU IOI判断计算出的值R 是否高于第一预定值(步骤S25)。如果在步骤S25中判断出值R高于第 一预定值，则MPU 101利用图像处理单元109在通过摄像元件107所获 得的图像数据中的瞳孔的上半部分中合成粉色心形反光图像或黄色星形 反光图像(步骤S26)。是合成心形反光还是星形反光应当预先设置。如 果在步骤S25中判断出值R小于第一预定值，则MPU 101判断计算出的 值R是否小于比第一预定值小的第二预定值(步骤S27)。如果在步骤S27 中判断出值R小于第二预定值，则MPU 101利用图像处理单元109在通 过摄像元件107所获得的图像数据中的瞳孔的下半部分中合成红色火焰形反光图像或黄色火花形反光图像(步骤S28)。反光图像是火焰形还是 火花形应当预先设定。在步骤S26或S28中合成了反光图像之后，MPU 101利用图像处理 电路109、根据反光图像的颜色来调整合成的反光图像的大小(步骤S29)。 这样就防止了反光图像和眼白的同化作用。因此，如果要合成的反光图 像为白色或浅色，则对合成出的反光图像的大小进行压縮，使之不会从 瞳孔中突出来。如果要合成的反光图像为深色，则不对反光图像的大小 进行调整。可以根据要合成的反光图像的形状来调整反光图像的大小。 比如，如果合成了心形或星形反光图像，则可以对图像进行压縮使之待 在瞳孔内。如果合成了火焰形或火花形反光图像，则不必调整图像大小。在步骤S29之后，MPU 101判断摄影师是否通过对操作单元102进 行操作而指示了拍照(步骤S30)。如果在步骤S30的判断中没有指示拍 照，则处理返回到步骤S21。相反，如果步骤S30的判断中指示了拍照， 则MPU IOI执行拍照操作(步骤S31)。然后，MPU IOI将通过拍照获 得的图像数据记录在记录介质117上(步骤S32)，并且完成图11的处理。如果在步骤S21中操作模式被判断为非拍照模式，则MPU 101判断 模式为播放模式，并且等待摄影师进行的图像选择。图像被选择后，MPU 101从存储介质117中读取与所选图像相对应的数据图像，并将这种图像 再现于显示面板lll上(步骤S33)。然后，MPU 101判断摄影师是否进 行了发送所选图像数据的操作(步骤S34)。如果在步骤S34中摄影师没 有进行发送所选图像数据的操作，则MPUIOI完成图11的处理。相反， 如果在步骤S34中摄影师进行了发送图像数据的操作，则MPU 101等待 摄影师输入图像数据的目的地(步骤S35)。输入了图像数据目的地后， MPU 101利用通信电路120将此时正在播放的图像发送给在步骤S35中 指定的目的地(步骤S36)，并且完成图11的处理。如上所述，根据第二实施方式，可以在拍照之前显示了通像的情况 下，在利用目视检查来确认合成有反光图像的图像的同时进行拍照。还 可以合成这样一种反光图像，其通过根据要合成的反光图像的颜色和形 状来调整反光图像的大小而更好地增强了脸部表情。在此处描述的实施方式中，为了描述简单，基于值R来判断对象200 的脸部表情，值R是通过将作为与眼睛有关的值R的RE和作为与嘴有 关的值R的RL相加而获得的。然而，也可以通过单独地评估RE和RL 或者单独地判断眼睛和嘴的表情来判断对象200的脸部表情。
此外，在此处描述的实施方式中，以星形和火焰形作为要合成在瞳 孔内的反光图像的形状的例子。然而，反光图像的形状并不局限于此。 比如，可以合成形状与图3A所示反射光相同(白色圆形)的反光图像。 在添加不同形状的反光图像时，必须预先设置与这些反光图像相对应的 值R的范围。
还可以在合成反光之后显示合成结果，并且使摄影师能够通过对操 作单元102进行操作而编辑所合成的反光图像。还可以在播放模式下编 辑这些反光图像。
没有必要使用数字相机100根据对象200的脸部表情来合成反光图 像。比如，可以根据安装在个人计算机(PC)内的软件来合成反光图像。
本领域的技术人员将容易地想到其它优点和修改。因此，在较宽的 方面上讲，本发明并不局限于文中所示及所述的特定细节和代表性实施 方式。因此，在不脱离由所附权利要求及其等同概念所限定的总体发明 概念的本意或范围的情况下，可以做出许多修改。
权利要求
1、 一种图像编辑装置，该图像编辑装置的特征在于包括 图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路；脸部检测电路，其从该图像输入单元所获得的图像中检测对象的脸 部图像；脸部表情检测电路，其基于该脸部检测电路所检测到的脸部图像来 检测对象脸部的方向和表情中的至少任何一个；瞳孔检测电路，其基于该脸部检测电路所检测到的脸部图像来检测 对象的瞳孔图像；以及反光合成电路，其根据该脸部表情检测电路所检测到的脸部的方向 和表情中的任何一个，在该瞳孔检测电路所检测到的瞳孔图像上合成不 同的反光。
2、 根据权利要求l所述的图像编辑装置，该图像编辑装置的特征在 于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据 脸部的方向和表情中的任何一个而不同。
3、 根据权利要求2所述的图像编辑装置，该图像编辑装置的特征在 于，该瞳孔检测电路检测瞳孔图像中的反光，并且该反光合成电路从瞳 孔图像中消除掉瞳孔图像中的反光。
4、 根据权利要求3所述的图像编辑装置，该图像编辑装置的特征在 于，该反光合成电路在将反光的大小减小到适合放在瞳孔中之后合成这 些反光。
5、 根据权利要求4所述的图像编辑装置，该图像编辑装置的特征在 于，该反光合成电路在脸部具有睁得很开的眼睛的情况下在瞳孔图像的 上部中合成这些反光，而在脸部具有凝视的眼睛的情况下在瞳孔图像的 下部中合成这些反光。
6、 根据权利要求l所述的图像编辑装置，该图像编辑装置的特征在 于还包括眼睛检测电路，该眼睛检测电路基于该脸部检测电路所检测到的脸部图像来检测对象的眼睛的方向，其中该反光合成电路根据该脸部表情检测电路所检测到的脸部的方 向、表情以及该眼睛检测电路所检测到的眼睛的方向中的至少任何一个 来合成不同的反光。
7、 根据权利要求6所述的图像编辑装置，该图像编辑装置的特征在于，这些反光的形状、大小、颜色以及合成位置中的至少任何一个根据 脸部的方向、表情以及眼睛的方向中的任何一个而不同。
8、 根据权利要求7所述的图像编辑装置，该图像编辑装置的特征在 于，该瞳孔检测电路检测瞳孔图像中的反光，并且该反光合成电路从瞳 孔图像中消除掉瞳孔图像中的反光。
9、 根据权利要求8所述的图像编辑装置，该图像编辑装置的特征在 于，该反光合成电路在将反光的大小减小到适合放在瞳孔中之后合成这 些反光。
10、 根据权利要求9所述的图像编辑装置，该图像编辑装置的特征 在于，该反光合成电路在脸部具有睁得很开的眼睛的情况下在瞳孔图像 的上部中合成这些反光 ，而在脸部具有凝视的眼睛的情况下在瞳孔图像 的下部中合成这些反光。
11、 一种装置的控制方法，该装置用于编辑通过对对象进行拍照而 获得的图像，该控制方法的特征在于包括以下步骤从所获得的图像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部的方向和表情中的至少 任何一个；基于所检测到的脸部图像来检测对象的瞳孔图像；以及 根据所检测到的脸部的方向和表情中的任何一个，在所检测到的瞳 孔图像上合成不同的反光。
12、 根据权利要求ll所述的控制方法，其特征在于，这些反光的形 状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情 中的任何一个而不同。
13、 根据权利要求12所述的控制方法，其特征在于，检测瞳孔图像的步骤包括在瞳孔图像中检测反光，并且合成反光的步骤包括从瞳孔图像中消除掉瞳孔图像中的这些反光。
14、 根据权利要求13所述的控制方法，其特征在于，合成反光的步骤包括在将反光的大小减小到适合放在瞳孔中之后合成这些反光。
15、 根据权利要求14所述的控制方法，其特征在于，合成反光的步 骤在脸部具有睁得很开的眼睛的情况下在瞳孔图像的上部中合成这些反 光，而在脸部具有凝视的眼睛的情况下在瞳孔图像的下部中合成这些反 光。
16、 一种装置的控制方法，该装置用于编辑通过对对象进行拍照而获得的图像，该控制方法的特征在于包括以下步骤从所获得的图像中检测对象的脸部图像；基于所检测到的脸部图像来检测对象的脸部的方向和表情中的至少 任何一个；基于所检测到的脸部图像来检测对象的眼睛的方向； 基于所检测到的脸部图像来检测对象的瞳孔图像；以及 根据所检测到的脸部的方向和表情以及眼睛的方向中的任何一个在 所检测到的瞳孔图像上合成反光。
17、 根据权利要求16所述的控制方法，其特征在于，这些反光的形 状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情 以及眼睛的方向中的任何一个而不同。
18、 一种计算机可读记录介质，其上记录有用于编辑通过对对象进 行拍照而获得的图像的程序，该程序使计算机能够执行以下功能从所获得的图像中检测对象的脸部图像的功能； 基于所检测到的脸部图像来检测对象的瞳孔图像的功能；以及 根据所检测到的脸部的方向和表情中的任何一个在所检测到的瞳孔 图像上合成不同的反光的功能。
19、 根据权利要求18所述的记录介质，其特征在于，这些反光的形 状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情 中的任何一个而不同。
20、 根据权利要求18所述的记录介质，其特征在.于，该程序使计算机能够执行以下功能基于所检测到的脸部图像来检测对象眼睛的方向的功能；以及 根据所检测到的脸部的方向、表情以及眼睛的方向中的至少任何一 个来合成不同的反光的功能。
21、 根据权利要求18所述的记录介质，其特征在于，这些反光的形 状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和表情 以及眼睛的方向中的任何一个而不同。
22、 一种图像编辑装置，该图像编辑装置的特征在于包括 图像输入单元，其包括对对象进行拍照以获得对象的图像的摄像电路；检测电路，其从图像输入单元所获得的图像中检测对象的脸部图像， 基于所检测到的脸部图像来检测对象脸部的方向和表情中的至少任何一 个，并基于所检测到的脸部图像来检测对象的瞳孔图像；以及反光合成单元，其根据所检测到的脸部的方向和表情中的任何一个 在所检测到的瞳孔图像上合成不同的反光。
23、 根据权利要求22所述的图像编辑装置，其特征在于，这些反光 的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和 表情中的任何一个而不同。
24、 根据权利要求22所述的图像编辑装置，该图像编辑装置的特征 在于还包括眼睛检测单元，该眼睛检测单元基于该检测单元所检测到的 脸部图像来检测对象眼睛的方向，其中该反光合成单元根据该检测电路所检测到的脸部的方向、表情以及 该眼睛检测单元所检测到的眼睛的方向中的至少任何一个来合成不同的 反光。
25、 根据权利要求24所述的图像编辑装置，其特征在于，这些反光 的形状、大小、颜色以及合成位置中的至少任何一个根据脸部的方向和 表情以及眼睛的方向中的任何一个而不同。
全文摘要
本发明提供了图像编辑装置和控制图像编辑装置的方法。该图像编辑装置包括图像输入单元，该图像输入单元包括对对象进行拍照以获得对象的图像的摄像电路(107)。脸部检测电路(113)从该图像输入单元所获得的图像中检测对象的脸部图像。脸部表情检测电路(114)基于该脸部检测电路所检测到的脸部图像来检测对象的脸部的方向和表情中的至少任何一个。瞳孔检测电路基于该脸部检测电路所检测到的脸部图像来检测对象的瞳孔图像。反光合成电路(101)根据该脸部表情检测电路所检测到的脸部的方向和表情中的任何一个在该瞳孔检测电路所检测到的瞳孔图像上合成不同的反光。
文档编号G06T7/60GK101311962SQ20081010903
公开日2008年11月26日 申请日期2008年5月23日 优先权日2007年5月24日
发明者丸山淳, 冨泽将臣, 宫崎敏, 野中修, 铃木猛士 申请人:奥林巴斯映像株式会社