图像处理装置的制作方法

专利名称：图像处理装置的制作方法
技术领域：
本发明涉及对图像信号进行规定处理的图像处理装置和图像处理程序。
背景技术：
以往，在具有摄像功能的数字照相机等图像处理装置中，公知有如 下技术在被摄体是人物的情况下，捡测此人物的面部，对该检测出的 面部的位置进行对焦。并且，近年来，还公知有如下技术自动识别作 为被摄体的人物展现出笑脸等适合于摄影的表情的定时来进行拍摄。
在这种状况下公开了如下技术在进行将多个人物作为对象的摄影 时，通过判定各个人物的面部朝向和黑眼珠的位置，来提取照相机视线 中的图像(例如参照专利文献1)。并且，还公开了如下技术通过推测 从影像中检测出的人物的视线方向、并提取该视线方向的特征，来判定 该人物的行动意图(例如参照专利文献2)。而且，除了上述现有技术以 外，还公开了用于分析图像中人物的面部和视线方向的各种技术(例如 参照专利文献3 5)。
专利文献1日本特开2007-96440号公报专利文献2日本特开2001-51338号公报专利文献3日本特开2000-322577号公报专利文献4日本特开2006-74368号公报专利文献5日本特开2007-26387号公报
但是，在上述现有技术中，仅仅单独地判定各个人物的面部和视线， 所以在图像中存在多个人物的情况下，无法提取出在多个人物之间发生 相互注视、对话、攀谈等某些交流的场面。

发明内容
本发明正是鉴于上述情况而完成的，其目的在于，提供能够可靠地 提取出在包含多个人物作为被摄体的图像中人物之间发生某些交流的场 面的图像处理装置和图像处理程序。
为了解决上述课题并达到目的，本发明的图像处理装置的特征在于， 该图像处理装置具有面部检测部，其根据图像信号中的图像模式，检 测所述图像信号中包含的多个人物的面部；视线推测部，其推测由所述 面部检测部检测出面部的所述多个人物的视线；距离计算部，其分别计 算距由所述视线推测部进行了视线推测的所述多个人物的距离；以及目 标判定部，其使用所述视线推测部的推测结果和所述距离计算部的计算 结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其
他人物。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述目 标判定部判定在所述多个人物中是否存在相互成为对方的视线目标的人 物对。
另外，本发明的图像处理装置的特征在于，在上述发明中，该图像 处理装置具有显示部，该显示部显示与所述图像信号对应的图像数据， 所述显示部在所述图像数据上重叠显示所述目标判定部判定的结果。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述显 示部在所述图像数据上重叠显示如下信息，该信息确定在所述多个人物 中、视线以所述图像信号中包含的其他人物为目标的视线的人物。
另外，本发明的图像处理装置的特征在于，在上述发明中，该图像 处理装置具有摄像部，其对规定视野区域内的被摄体进行摄像，生成 图像信号；输入部，其输入摄影指示信号，该摄影指示信号指示对所述 摄像部摄像到的被摄体进行拍摄；以及控制部，其根据从所述输入部输 入的所述摄影指示信号，进行对所述摄像部摄像到的被摄体进行拍摄的 控制。
另外，本发明的图像处理装置的特征在于，在上述发明中，所述控 制部根据所述目标判定部判定的结果，进行自动对所述摄像部摄像到的被摄体进行拍摄的控制。
本发明的图像处理程序的特征在于，该图像处理程序使对图像信号 进行规定处理的图像处理装置执行以下步骤面部检测步骤，根据所述 图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部； 视线推测步骤，推测在所述面部检测步骤中检测出面部的所述多个人物
的视线，将其存储到存储面部信息的面部信息存储部中；距离计算步骤，
分别计算距在所述视线推测步骤中进行了视线推测的所述多个人物的距
离，将其存储到所述面部信息存储部中；以及目标判定步骤，从所述面 部信息存储部中读出所述视线推测步骤的推测结果和所述距离计算步骤 的计算结果，使用该读出的推测结果和计算结果，来判定所述多个人物 的视线目标是否是所述图像信号中包含的其他人物。
根据本发明，推测图像信号中多个人物的视线，分别计算距进行了 视线推测的多个人物的距离，使用这些视线推测结果和距离计算结果， 来判定多个人物的视线目标是否是图像信号中包含的其他人物，所以， 能够可靠地提取出在包含多个人物作为被摄体的图像中人物之间发生某 些交流的场面。


图1是示出本发明的一个实施方式的图像处理装置(摄像装置)的 结构的图。
图2是示出在视线推测处理中参照的面部模式的例子的图。 图3是示出在视线推测处理中参照的眼睛模式的例子的图。 图4是示出本发明的一个实施方式的图像处理装置(摄像装置)可
设定的动作模式的一部分的图。
图5是示出本发明的一个实施方式的图像处理装置(摄像装置)的
包含视线判定处理在内的处理流程的流程图。 图6是示出视线判定处理的概要的流程图。
图7是从图像处理装置上方观察作为被摄体的两个人物以及这两个 人物相互注视的状况的示意图。图8是从图像处理装置上方观察作为被摄体的两个人物以及这两个 人物相互注视的状况(第2例)的示意图。
图9是示出OK显示的显示例(第l例)的图。 图IO是示出OK显示的显示例(第2例)的图。 图ll是示出OK显示的显示例(第3例)的图。 图12是示出剪辑结果的显示例的图。 标号说明
1:摄像装置(图像处理装置)；2:摄像部；3:传感器部；4:图像 处理部；5:显示部；6:显示控制部；7:压縮解压縮部；8:记录介质 接口； 9:输入部；10:声音输出部；11:辅助光投射部；12:控制部； 13:存储部；14:镜头驱动部；15:光圈驱动部；21:摄影镜头；22: 光圈；23:摄像元件；24:模拟信号处理部；25: A/D转换部；41:面 部检测部；42:视线推测部；43:距离计算部；44:目标判定部；45: 剪辑部；51、 52、 53:显示图像；52a:人物对确定标记；53a:视线源 确定标记；53b:目标确定标记；54:剪辑结果显示图像；54a:剪辑区 域；100:记录介质；121:时钟；131:程序存储部；132:模式信息存 储部；133:面部信息存储部；A1 A10:人物。
具体实施例方式
下面，参照

用于实施本发明的最佳方式(后文称为"实施 方式")。
图1是示意性地示出本发明的一个实施方式的图像处理装置即摄像 装置1的结构的图。摄像装置1具有摄像部2，其拍摄规定视野区域内 的被摄体而生成图像信号；传感器部3，其检测摄像部2的视野区域的状 态；图像处理部4，其对摄像部2输出的图像信号实施图像处理；显示部 5，其显示包含图像处理部4所输出的图像数据的信息；显示控制部6， 其控制显示部5的显示；压縮解压縮部7，其对图像数据进行压縮和解压 缩；记录介质接口8，其将图像数据等信息记录到从外部安装到摄像装置 1上的存储卡等记录介质100中，另一方面，读出记录介质100所记录的
7信息；输入部9，其输入摄像装置1的操作指示信号；声音输出部10， 其进行包含警告在内的各种信息的声音输出；辅助光投射部11，其向摄 像区域投射辅助光；控制部12，其控制摄像装置1的动作；以及存储部 13，其存储与摄像装置1的动作有关的各种信息。
摄像部2具有摄影镜头21，其会聚来自位于规定视野区域内的被 摄体的光；光圈22，其调节摄影镜头21所会聚的光的入射量；CCD等 摄像元件23，其接收通过光圈22的入射光并将其转换为电信号；模拟信 号处理部24，其对从摄像元件23输出的模拟信号实施包含感光度校正和 白平衡在内的各种处理；以及A/D转换部25，其根据模拟信号处理部24 输出的信号生成数字图像数据。其中，摄影镜头21是由一个或多个透镜 构成的光学系统，由镜头驱动部14驱动。另外，光圈22由光圈驱动部 15驱动。
图像处理部4具有面部检测部41，其根据图像信号的图像模式， 检测图像信号中所包含的人物的面部；视线推测部42，其在面部检测部 41检测出多个人物的面部的情况下，推测各人物的视线；距离计算部43， 其分别计算距由视线推测部42进行视线推测后的多个人物的距离；目标 判定部44，其使用视线推测部42的推测结果和距离计算部43的计算结 果，来判定多个人物的视线目标是否是图像信号中所包含的其他人物； 以及剪辑部45，其根据目标判定部44所判定的结果来剪辑图像数据。
输入部9具有摄像装置l的电源按钮、实施摄像指示的快门按钮、 切换摄像装置1所具有的各种动作模式的模式切换按钮、以及包含指示 图像数据的再现和编辑的控制按钮等。
控制部12具有用于进行摄影日期时间的判定等的时钟121，该控制 部12根据传感器部3的检测结果和由输入部9输入的操作指示信号，来 控制摄像装置1的动作。控制部12使用MPU来实现，并经由总线与控 制对象的各部分连接。
存储部13具有固定设置在摄像装置1内部的闪存和RAM等半导体 存储器，该存储部13具有程序存储部131，其存储摄像装置l执行的 各种程序；模式信息存储部132，其将图像处理部4的面部检测部41和视线推测部42所参照的面部和眼睛的模式分别与面部角度和视线角度对 应起来进行存储；以及面部信息存储部133，其存储图像处理部4的各种 处理结果作为面部信息。
图2是示意性地示出模式信息存储部132所存储的面部模式的例子 的图。将从摄像装置1观察为面向右侧的情况下、面部相对于摄影镜头 21的光轴的角度设为正，模式信息存储部132存储有该角度ef为0度、 ±45度和士90度的情况下的面部模式。
图3是示意性地示出模式信息存储部132所存储的眼睛模式的例子 的图。将从摄像装置1观察为面向右侧的情况下、眼睛相对于摄影镜头 21的光轴的角度设为正，模式信息存储部132存储有该角度6e为0度、 ±45度和±90度的情况下的眼睛模式。
图4是示出摄像装置1可设定的动作模式的一部分的图。在图4中， 以摄像装置1特有的动作模式为中心进行记载，而省略了针对与现有摄 像装置可设定的动作模式相同的动作模式的记载。在将摄像装置1设定 为摄影模式的情况下，可以进一步设定视线判定摄影模式或摄影用视线 判定剪辑模式，在视线判定摄影模式中，进行判定图像中所包含的多个 人物的视线目标的视线判定，然后进行拍摄，在摄影用视线判定剪辑模 式中，在进行通常摄影后，进行视线判定和基于视线判定结果的图像剪 辑。其中，在将摄像装置1设定为视线判定摄影模式的情况下，可以进 一步设定剪辑模式、连拍模式和自动摄影模式中的一个或多个模式。另 一方面，在将摄像装置1设定为再现模式的情况下，可以进一步设定再 现用视线判定剪辑模式，在再现用视线判定剪辑模式中，在再现记录介 质100所记录的图像数据时进行视线判定，然后根据该判定结果进行图 像的剪辑。
图5是示出具有以上结构的摄像装置1进行包含视线判定处理在内 的动作时的处理流程的流程图。
首先，说明将摄像装置l设定为摄影模式的情况(步骤S1:摄影模 式)。在将摄像装置1设定为摄影模式的情况下，显示部5根据显示控制 部6的控制，实时显示与从摄像部2输出的图像信号对应的图像数据。后面将显示部5所实时显示的图像数据称为"浏览图像"。在将摄像装置 1设定为视线判定摄影模式时(步骤S2:"是")，摄像装置l对浏览图像 进行视线判定处理(步骤S3)。
图6是示出摄像装置1所进行的视线判定处理的概要的流程图。首 先，面部检测部41检测显示部5所显示的浏览图像中存在的人物的面部 (步骤S301)。面部检测部41使用模式信息存储部132存储的面部模式 (参照图2)进行模式匹配，由此来检测人物面部。
当面部检测部41在浏览图像中没有检测出面部时(步骤S302: "否")，摄像装置1结束视线判定处理，进入后述的步骤S4。
当面部检测部41在浏览图像中检测出面部时(步骤S302:"是")， 视线推测部42进行针对每个面部推测面部检测部41所检测出的面部的 视线方向的视线推测处理(步骤S303)。在步骤S303中，视线推测部42 使用模式信息存储部132存储的眼睛模式(参照图3)进行模式匹配，由 此来推测浏览图像中的人物的视线方向。另外，在双眼的视线方向不同 的情况下，可以计算根据面部角度等条件对左右的视线方向进行加权后 的值，作为推测值。例如，在面部朝向右方(从摄像装置1观察，相对 于摄影镜头21的光轴位于左方)的情况下，使左眼的权重大于右眼的权 重，来计算推测值。另外，在面部朝向正面附近时，计算双眼视线方向 的平均作为推测值。
图7是示意性地示出说明从步骤S304开始的视线推测处理时所参照 的摄像装置1附近的状况的图。具体而言，图7是从摄像装置1上方观 察摄像装置l的摄像区域(水平方向视场角0x)内存在的两个人物A1、 A2相互注视的状况的示意图。在图7中，将与摄像装置1的摄影镜头21 距离远的人物Al的位置设为坐标原点O，将与摄影镜头21的光轴P平 行的轴设为L轴，另一方面，将与摄影镜头21的光轴P正交的轴设为X 轴。并且，在图7中，将人物A1、 A2水平方向的视线角度分别设为^1、 ^2。在这种含义下，视线角度01、 ^2在上述步骤S303中进行计算， 并被存储在面部信息存储部133中。
在步骤S304中，距离计算部43以摄影镜头21为起点，计算距进行了视线推测的人物的距离(步骤S304)。在图7所示的情况下，距离计算
部43通过分别对人物Al和A2进行对焦来计算距人物Al的距离Ll和
距人物A2的距离L2，并将它们记录在面部信息存储部133中。此时，
通过光圈驱动部15縮小光圈22来加深焦点深度，对与摄影镜头21距离
不同的多个被摄体进行对焦。
然后，目标判定部44判定进行了视线推测的人物的视线目标(步骤
S305)。首先，目标判定部44从面部信息存储部133中读出在步骤S304
中由距离计算部43计算出的距离L1、 L2，按照下式(1)、 (2)分别计
算人物Al与人物A2的L坐标的差分AL和X坐标的差分AX。 AL = L 1 -L 2 …(])
AX = L1 tan (pl).+L2tan (p2) …(2) 这里，式(2)中的pl (<0X)是从摄影镜头21观察到的人物Al 的方向与摄影镜头21的光轴P所成的角度。此外，式(2)中的/ 2(〈0x) 是从摄影镜头21观察到的人物A2的方向与摄影镜头21的光轴P所成的 角度。
接着，目标判定部44除了使用式(1)、 (2)的计算结果以外，还使 用从面部信息存储部133中读出的人物Al 、 A2水平方向的视线角度01 、 ^2，来判定人物A1、 A2的视线目标。首先，判定与摄像装置l最远的 人物A1的视线目标。具体而言，目标判定部44使用人物Al的视线角 度^1，来判定L坐标的差分AL和X坐标的差分AX是否满足下式。 AX = AL c a n U〗.)…(3〉
在AL和AX满足式(3)的情况下，目标判定部44判定为人物Al 的视线目标是人物A2。另夕卜，鉴于式(3)中使用的AL、 AX、 为推 测值，因此即使式(3)左边与右边并非严格一致，但只要在规定范围内， 目标判定部44就视为等号成立。这点对于使用后述的式(4) (6)进 行判定的情况也是同样。
接着，目标判定部44判定人物A2的视线目标。在图7所示的情况 下，人物A2的视线角度^2为钝角。在这种情况下，目标判定部44判 定L坐标的差分AL和X坐标的差分AX是否满足下式。
<formula>formula see original document page 11</formula>这里，|tan ( 02) l是tan ( ^>2)的绝对值。在厶L和AX满足式(4) 的情况下，目标判定部44判定为人物A2的目标是人物A1。由此判断出 两个人物A1、 A2相互注视。
另外，在满足式(3)的情况下，目标判定部44也可以不利用式(4)， 而是判定人物A1的视线角度^1和人物A2的视线角度^2是否满足下 式。<formula>formula see original document page 12</formula> …(5)
至此，说明了两个人物A1、 A2相互注视从而式(3)和(4)(或式 (3)和(5))都成立的情况，不过除此之外，例如还存在式(3)成立 而式(4)不成立的情况(将该情况下的图像称为"图像a")。该情况下 的处理根据针对目标判定部44设定的判定条件而不同。
在将目标判定部44设定为判定是否是包含彼此相互注视的人物们 的图像的情况下，目标判定部44判定式(3)和(4)是否都成立。在该 情况下，目标判定部44判定为图像a是不符合判定条件的图像。
与此相对，在将目标判定部44设定为判定是否是包含注视同一图像 中的其他人物的人物的图像的情况下，目标判定部44判定是否式(3) 和(4)中的至少任意一方成立。在该情况下，目标判定部44判定为图 像(x是符合判定条件的图像。
另外，在浏览图像中包含三人以上的人物的情况下，目标判定部44 按照式(3)或(4)依次执行浏览图像中所有人物的视线判定处理，然 后，判定该浏览图像是否是符合规定判定条件的图像。
图8是从摄像装置1上方观察摄像装置1的摄像区域(水平方向视 场角ex)内存在的两个人物Al、 A2彼此相互注视的状况的第2例的示 意图。在图8所示的情况下，摄像装置1无法推测出人物A2的视线。因 此，仅在将目标判定部44设定为判定是否是包含注视同一图像中的其他 人物的人物的图像的情况下，判定人物Al和人物A2的L坐标的差分 AL，-Ll，一L2，和X坐标的差分AX^Lrtan (pl，) + L2， tan (p2，)是否 满足下式。
<formula>formula see original document page 12</formula>(6)这里，^r是人物Ai水平方向的视线角度0r。在满足式(6)的
情况下，至少人物A1的视线目标是人物A2。因此，目标判定部44判定 为拍摄了图8所示状况的图像数据是符合判定条件的图像。
在目标判定部44计算式(6)时，面部检测部41必须能够检测出人 物A2的头后部。因此，为了能够应对这种状况，只要在模式信息存储部 132中预先存储人的头后部的模式即可。此外还可以使面部检测部41具 备包含面部的头部的跟踪功能，从而在图8所示的状况之前已检测出人 物A2的面部的情况下，能够跟踪人物A2的头部。
接着以上说明的步骤S3的视线判定处理的处理根据是否将摄像装 置1设定为自动摄影模式而不同。首先，说明未将摄像装置1设定为自 动摄影模式的情况(步骤S4:"否")。在该情况下，在目标判定部44判 定为浏览图像是符合判定条件的图像时(存在人物目标)(步骤S5:"是")， 摄像装置1对作为视线目标的人物和作为视线源的人物进行对焦和曝光 (步骤S6)。然后，显示部5显示用于告知处于适合于摄影的定时的OK 显示(步骤S7)。另一方面，在目标判定部44判定为浏览图像是不符合 判定条件的图像时(步骤S5:"否")，摄像装置1不在显示部5上输出 OK显示，而直接进入后述的步骤S8。
图9是示出在显示部5上进行OK显示的显示例(第l例)的图。 在该图所示的显示图像51中，作为被摄体的两个人物A1、 A2相互注视， 在画面左上部重叠显示"定时OK"这一字符串。通过在显示部5上显示 输出所述字符串，摄影者能够识别浏览图像中人物对相互注视、从而是 适合于摄影的定时。
图IO是示出OK显示的另一显示例(第2例)的图。在该图所示的 显示图像52中，在浏览图像中的人物A3、 A4的面部区域上重叠显示正 方形状的人物对确定标记52a，该对确定标记52a表示相互注视的人物对。 因此，摄影者能够可靠地识别浏览图像中的三个人物A3、 A4、 A5中存 在相互注视的人物对、从而是适合于摄影的定时。
图ll是示出OK显示的又一显示例(第3例)的图。该图所示的显 示图像53对应于图8所示的状况。在该情况下，在人物A6的面部区域
13上重叠显示视线源确定标记53a，该视线源确定标记53a表示视线以图像 中的另一人物A7为目标的人物，另一方面，在人物A7的面部区域上重 叠显示目标确定标记53b，该目标确定标记53b表示是人物A6的目标。 因此，摄影者能够可靠地识别存在至少一个人物的视线目标是另一个人 物的人物对、从而是适合于摄影的定时。
然后，在摄影者从输入部9输入了摄影指示信号的情况下(步骤S8:
"是")，摄像装置1根据控制部12的控制，进行图像摄影(步骤S9)， 通过压縮解压縮部7将所拍摄的图像数据压縮成规定尺寸，并通过记录 介质接口 8将该压缩后的图像数据记录到记录介质100中(步骤SIO)。 这里，摄像装置1也可以将所拍摄的图像数据写入到存储部13中进行记 录。另外，在步骤S8中经过了规定时间仍未输入摄影指示信号的情况下
(步骤S8:"否")，摄像装置1返回步骤S3。
接着，说明将摄像装置1设定为自动摄影模式的情况(步骤S4:
"是")。在该情况下，当目标判定部44判定为浏览图像是符合判定条件 的图像时(存在人物目标)(步骤Slh "是")，摄像装置l对作为视线目 标的人物和作为视线源的人物进行对焦和曝光(步骤S12)，自动进行摄 影处理(步骤S9)。然后，摄像装置1通过压缩解压縮部7将所拍摄的图 像数据压縮成规定尺寸，并通过记录介质接口 8将该压縮后的图像数据 记录到记录介质100中(步骤SIO)。另一方面，当目标判定部44判定为 浏览图像是不符合判定条件的图像时(步骤S11:"否")，摄像装置l返 回步骤S3。
接着步骤S10的处理根据摄像装置1是否设定为连拍模式而不同。 在未将摄像装置1设定为连拍模式的情况下(步骤S13:"否")，图像处 理部4从记录介质接口 8读出图像数据，进行与上述步骤S3相同的视线 判定处理(步骤S14)。这里，再次进行视线判定处理是因为，在步骤S3 的视线判定处理后，直到实际进行拍摄时为止存在延时，从而有可能产 生与步骤S3的判定结果不同的判定结果。
另一方面，在将摄像装置1设定为连拍模式的情况下(步骤S13: "是")，当规定摄影张数的摄影尚未结束时(步骤S15:"否")，返回步骤S9反复进行拍摄。在将摄像装置1设定为连拍模式(步骤S13:"是")、 且规定摄影张数的摄影结束时(步骤S15:"是")，图像处理部4从记录
介质接口 8读出在步骤S9中拍摄的图像数据，进行与上述步骤S3相同 的视线判定处理(步骤S14)。
作为图像处理部4进行图像数据的视线判定处理(步骤S14)的结 果，在目标判定部44判定为该图像数据是符合判定条件的图像(存在人 物目标)的情况下(步骤S16:"是")，摄像装置1将该图像数据作为人 物目标图像，经由记录介质接口 8记录到记录介质100中(步骤S17)。 这里所说的"人物目标图像"是被赋予了与目标判定部44的判定条件对 应的信息的图像数据，例如，针对所拍摄的图像数据设立表示是人物目 标图像的标志。另一方面，在目标判定部44判定为该图像数据是不符合 判定条件的图像的情况下(步骤S16:"否")，摄像装置1返回步骤S3。
然后，在将摄像装置1设定为剪辑模式的情况下(步骤S18:"是")， 剪辑部45进行人物目标图像的剪辑(步骤S19)。接着，显示部5显示由 剪辑部45剪辑后的结果(步骤S20)。图12是示出显示部5中的剪辑结 果的显示例的图。该图所示的剪辑结果显示图像54使用虚线将如下区域 表示为剪辑区域54a，所述区域包含作为相互注视的人物对的人物A8、 A9、并去除了视线未以浏览图像中的其他人物为目标的人物AIO。另外， 在步骤S20中，显示部5可以不显示剪辑结果显示图像54，而仅显示剪 辑区域54a。并且，也可以在剪辑结果显示图像54中的适当位置输出询 问是否记录剪辑图像的消息，提示摄影者从输入部9进行选择输入。
在从输入部9输入了记录剪辑图像的操作指示信号的情况下(步骤 S21:"是")，摄像装置1通过压縮解压縮部7将剪辑后的图像数据压縮 成规定尺寸，并通过记录介质接口 8将该压縮后的剪辑图像数据记录到 记录介质100中(步骤S22)。另一方面，在未输入记录剪辑图像的操作 指示信号的情况下(步骤S21:"否")，摄像装置l结束一连串的处理。
在未将摄像装置1设定为剪辑模式的情况下(步骤S18:"否")，摄 像装置l结束一连串的处理。
接着，说明将摄像装置1设定为摄影模式(步骤Sl:摄影模式)、且未将摄像装置1设定为视线判定摄影模式的情况(步骤S2:"否")。在
该情况下，摄像装置1进行通常摄影处理(步骤S23)。
接着通常摄影处理的处理根据是否将摄像装置1设定为摄影用视线 判定剪辑模式而不同。在将摄像装置1设定为摄影用视线判定剪辑模式 的情况下(步骤S24:"是")，图像处理部4针对在步骤S23中记录到记 录介质100中的图像数据，进行与步骤S14相同的视线判定处理(步骤 S25)。与此相对，在未将摄像装置1设定为摄影用视线判定剪辑模式的 情况下(步骤S24:"否")，摄像装置1仅进行通常摄影处理。
下面，说明将摄像装置1设定为摄影用视线判定剪辑模式的情况。 作为图像处理部4进行图像数据的视线判定处理(步骤S25)的结果，在 目标判定部44判定为该图像数据是符合判定条件的图像(存在人物目标) 的情况下(步骤S26:"是")，摄像装置l将该图像作为人物目标图像， 经由记录介质接口 8记录到记录介质100中(步骤S27)。接着，剪辑部 45进行人物目标图像的剪辑(步骤S19)。接着该步骤S19的步骤S20 S22的处理与上面相同。
另一方面，在目标判定部44判定为图像数据是不符合判定条件的图 像的情况下(步骤S26:"否")，摄像装置l结束一连串的处理。
接着，说明在摄像装置l中设定为再现模式的情况(步骤S1:再现 模式)。首先，显示部5再现显示摄影者从记录介质100所存储的图像数 据中选择出的图像数据(步骤S28)。
在将摄像装置1设定为再现用视线判定剪辑模式的情况下(步骤 S29:"是")，图像处理部4对再现显示的图像数据进行视线判定处理(步 骤S25)。接着该步骤S25的、从步骤S26开始的处理与在摄像装置1中 设定为摄影模式和摄影用视线判定剪辑模式的情况相同。
另一方面，在未将摄像装置1设定为再现用视线判定剪辑模式的情 况下(步骤S29:"否")，摄像装置l结束处理。
根据以上说明的本发明的一个实施方式，推测图像信号中多个人物 的视线，分别计算距进行了视线推测的多个人物的距离，使用这些视线 推测结果和距离计算结果，来判定多个人物的视线目标是否是图像信号
16中包含的其他人物，所以，能够可靠地提取在包含多个人物作为被摄体 的图像中人物之间发生某些交流的场面。
至此，说明了用于实施本发明的最佳方式，但是，本发明不限于上 述一个实施方式。例如，在推测浏览图像中人物的视线方向时，也可以 使用上述模式匹配以外的手法。
并且，在上述一个实施方式中，说明了使用水平方向视线角度来进 行视线判定的情况，但是，也可以针对垂直方向进行同样的目标判定处 理。因此，通过在水平方向的基础上进一步反映垂直方向的目标判定处 理的结果，能够进一步提高目标判定的精度。
这样，本发明包含这里没有记载的各种实施方式等，从而可以在不 脱离权利要求书所确定的技术思想的范围内，实施各种设计变更等。
权利要求
1.一种图像处理装置，其特征在于，该图像处理装置具有面部检测部，其根据图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；视线推测部，其推测由所述面部检测部检测出面部的所述多个人物的视线；距离计算部，其分别计算距由所述视线推测部进行了视线推测的所述多个人物的距离；以及目标判定部，其使用所述视线推测部的推测结果和所述距离计算部的计算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的其他人物。
2. 根据权利要求l所述的图像处理装置，其特征在于， 所述目标判定部判定在所述多个人物中是否存在相互成为对方的视线目标的人物对。
3. 根据权利要求1或2所述的图像处理装置，其特征在于， 该图像处理装置具有显示部，该显示部显示与所述图像信号对应的图像数据，所述显示部在所述图像数据上重叠显示由所述目标判定部判定的结果。
4. 根据权利要求3所述的图像处理装置，其特征在于， 所述显示部在所述图像数据上重叠显示如下信息，该信息确定在所述多个人物中、视线以所述图像信号中包含的其他人物为目标的人物。
5. 根据权利要求1 4中的任一项所述的图像处理装置，其特征在于，该图像处理装置具有摄像部，其对规定视野区域内的被摄体进行摄像，生成图像信号； 输入部，其输入摄影指示信号，该摄影指示信号指示对所述摄像部 摄像到的被摄体进行拍摄；以及控制部，其根据从所述输入部输入的所述摄影指示信号，进行对所 述摄像部摄像到的被摄体进行拍摄的控制。
6. 根据权利要求5所述的图像处理装置，其特征在于， 所述控制部根据所述目标判定部判定的结果，进行自动对所述摄像部摄像到的被摄体进行拍摄的控制。
7. —种图像处理程序，其特征在于，该图像处理程序使对图像信号 进行规定处理的图像处理装置执行以下步骤面部检测步骤，根据所述图像信号中的图像模式，检测所述图像信号中包含的多个人物的面部；视线推测步骤，推测在所述面部检测步骤中检测出面部的所述多个 人物的视线，将其存储到存储面部信息的面部信息存储部中；距离计算步骤，分别计算距在所述视线推测步骤中进行了视线推测 的所述多个人物的距离，将其存储到所述面部信息存储部中；以及目标判定步骤，从所述面部信息存储部中读出所述视线推测步骤的 推测结果和所述距离计算步骤的计算结果，使用该读出的推测结果和计 算结果，来判定所述多个人物的视线目标是否是所述图像信号中包含的 其他人物。
全文摘要
本发明提供图像处理装置。该图像处理装置能够可靠地提取出在包含多个人物作为被摄体的图像中人物之间发生某些交流的场面。图像处理装置具有面部检测部，其根据图像信号中的图像模式，检测图像信号中包含的多个人物的面部；视线推测部，其推测由面部检测部检测出面部的多个人物的视线；距离计算部，其分别计算距由视线推测部进行了视线推测的多个人物的距离；以及目标判定部，其使用视线推测部的推测结果和距离计算部的计算结果，来判定多个人物的视线目标是否是图像信号中包含的其他人物。
文档编号G06K9/00GK101561872SQ20091013205
公开日2009年10月21日 申请日期2009年4月15日 优先权日2008年4月16日
发明者白谷文行 申请人:奥林巴斯映像株式会社;奥林巴斯株式会社