图像处理装置、图像显示装置、图像处理方法以及介质的制作方法
【技术领域】
[0001]本发明涉及对图像中的眼睛进行检测的图像处理装置、图像显示装置、图像处理方法以及介质。
【背景技术】
[0002]过去，已知一种根据所拍摄的图像中的被摄体的脸部区域和用于表现表情的控制点，来生成带表情的脸部图像的技术(例如，参照专利文献I)。
[0003]专利文献I:日本特开2012-185624号公报
【发明内容】
[0004]然而，一般来说，人的眼睛的一部分被眼睑等覆盖。因此，根据上述专利文献I等，不能够正确地控制脸部的运动和眼睛的运动，可能使脸部整体的表情不自然。
[0005]本发明是鉴于上述问题而得出的，本发明的课题是使脸部的表现更为自然。
[0006]根据本发明的一个技术方案，其特征在于，
[0007]图像处理装置包含如下结构:输入部，取得包含眼睛的图像；以及控制部，从由所述输入部取得的图像检测眼睛的虹膜区域，以使检测出的虹膜区域的形状成为大致圆形的方式补充该虹膜区域的缺失部分。
[0008]发明效果
[0009]根据本发明，能够使脸部的表现更为自然。
【附图说明】
[0010]图1是表示适用本发明的一实施方式的图像处理装置的概略结构的框图。
[0011]图2是表示与图1的图像处理装置的眼睛图像生成处理有关的动作的一例的流程图。
[0012]图3A是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0013]图3B是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0014]图3C是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0015]图4A是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。
[0016]图4B是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。
[0017]图4C是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。
[0018]图4D是示意地表示图2的眼睛图像生成处理的第一处理的图像的图。
[0019]图5A是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。
[0020]图5B是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。
[0021]图5C是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。
[0022]图f5D是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。
[0023]图5E是示意地表示图2的眼睛图像生成处理的第二处理的图像的图。
[0024]图6A是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。
[0025]图6B是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。
[0026]图6C是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。
[0027]图6D是示意地表示图2的眼睛图像生成处理的阴影区域的附加处理的图像的图。
[0028]图7A是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0029]图7B是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0030]图7C是示意地表示图2的眼睛图像生成处理的脸部图像的图。
[0031]图8是表示图2的眼睛图像生成处理的变形例I的图。
[0032]图9是表示图2的眼睛图像生成处理的变形例2的图。
【具体实施方式】
[0033]下面，使用附图对本发明的【具体实施方式】进行说明。但是，发明的范围不限定于图示例。
[0034]图1是表示使用了本发明的一实施方式的图像处理装置100的概略结构的框图。
[0035]图像处理装置100例如由个人电脑、工作站等的计算机等构成，如图1所示，具有:中央控制部1、存储器2、存储部3、操作输入部4、图像生成部5、显示部6和显示控制部7。
[0036]并且，中央控制部1、存储器2、存储部3、图像生成部5以及显示控制部7经由总线8而连接。
[0037]中央控制部I是控制图像处理装置100的各部的构件。具体来说，中央控制部I具有CPU(Central Processing Unit，中央处理器;省略图示)等，根据图像处理装置100用的各种处理程序(省略图示)来进行各种的控制动作。
[0038]存储器2例如由DRAM(Dynamic Random Access Memory，动态随机存取存储器)等构成，具有临时存储由中央控制部1、图像生成部5等处理的数据等的缓存器、中央控制部I等的工作存储器、存放与该图像处理装置100的功能有关的各种程序和数据的程序存储器等(均省略图示)。
[0039]存储部3例如由非易失性存储器(闪存器)、硬盘驱动器等构成，存储有中央控制部I的动作所需要的各种程序和数据(省略图示)。
[0040]并且，存储部3存储有各脸部图像数据3a。
[0041]脸部图像数据3a是包含人的脸部的二维的脸部图像(参照图3A?图3C)的数据。即，该脸部图像数据3a是至少包含脸部的图像的图像数据即可，例如，可以为仅是脸部的图像数据，也可以是从胸部往上的图像数据。
[0042]另外，如图3A?图3C所示的脸部图像数据3a的脸部图像是一个例子但不限定于此，能够进行适当改变。
[0043]操作输入部4例如具有键盘和鼠标等操作部(省略图示)，该键盘和鼠标由用于输入数值、文字等的数据输入键、用于进行数据的选择、发送操作等的上下左右移动键和各种功能键等构成，根据这些操作部的操作将规定的操作信号向中央控制部I输出。
[0044]图像生成部5具有:图像取得部5a、眼睛检测部5b、虹膜检测部5c、第一计算部5d、第二计算部5e、眼睛图像生成部5f、阴影区域确定部5g、阴影建立对应部5h、和眼睛图像存储部5i。
[0045]另外，图像生成部5的各部例如由规定的逻辑电路构成，但该结构是一个例子并不限定于此。
[0046]图像取得部5a取得脸部图像数据3a。
[0047]S卩，图像取得部5a取得包含作为眼睛图像生成处理的处理对象的脸部的二维的图像的脸部图像数据3a。具体来说，图像取得部5a例如在存储部3所存储的规定数量的脸部图像数据3a中，取得基于用户的操作输入部4的规定操作而指定的用户所希望的脸部图像数据3a，作为眼睛图像生成处理的处理对象。
[0048]另外，图像取得部5a从经由未图示的通信控制部而连接的外部设备(省略图示)取得脸部图像数据3a。
[0049]眼睛检测部5b从脸部图像检测出眼睛区域。
[0050]S卩，眼睛检测部5b在由图像取得部5a取得的脸部图像内，例如，通过使用了AAM(Active Appearance Model，主动外观模型)的处理来检测眼睛区域E(参照图4A等)。
[0051]这里，AAM是将视觉的事物模型化的一种方法，是进行任意的脸部区域的图像的模型化的处理。例如，眼睛检测部5b将多个样本脸部图像中的规定的特征部位(例如，眼角、鼻头、脸部线条等)的位置和像素值(例如，亮度值)的统计性分析结果登记到规定的登记单元中。而且，眼睛检测部5b以上述的特征部位的位置为基准，设定表示脸部的形状的形状模型和表示平均的形状中的“Appearance”的质地模型，使用这些模型将脸部图像模型化。由此，在脸部图像内，例如，将眼睛、鼻、口、眉、脸部轮廓等的脸部结构部模型化。
[0052]另外，使用AAM进行眼睛区域E的检测，但这是一个例子并不限定于此，例如，能够进行边缘提取处理、各向异性扩散处理、模板匹配等适当任意的变更。
[0053]虹膜检测部5c检测眼睛的虹膜区域Ea。
[0054]S卩，虹膜检测部5c从由图像取得部5a取得的脸部图像检测眼睛的虹膜区域Ea。具体来说，虹膜检测部5c将在脸部图像内由眼睛检测部5b检测出的眼睛