图像处理方法及图像处理装置的制造方法
【技术领域】
[0001] 本发明涉及识别图像并进行图像处理的图像处理方法及其装置。
【背景技术】
[0002] 以往，已知在计算机上通过图像处理对面部图像进行化妆处理，来实现假想的化 妆后的面部的化妆模拟的技术。通过对面部图像使用识别技术，提取嘴、眼睛、鼻子及面部 轮廓等的特征点，基于该特征点通过图像处理来合成口红等的各化妆项目，从而实现化妆 模拟。特别是，如果对于作为运动图像拍摄的用户的面部图像实时地显示模拟结果，则能够 向用户提供仿佛实际在镜子前进行化妆一样的真实感高的化妆模拟（例如参照专利文献1 及专利文献2)。在这样的化妆模拟中，通常使用能够由用户观看的显示器和在显示器的上 方等设置了用于拍摄用户的面部的摄像机的系统。
[0003] 现有技术文献
[0004] 专利文献
[0005] 专利文献1 :日本特许第5191665号公报
[0006] 专利文献2 :日本特许第3984191号公报
[0007] 专利文献3 :日本特开2007-49371号公报
【发明内容】
[0008] 发明所要解决的课题
[0009] 但是，为了对各化妆项目进行操作而进行化妆模拟，需要一边注视显示器上显示 的用户自身的面部图像一边对操作面板进行操作。因此存在如下的问题：用户的面部朝向 从摄像机的方向偏离，与朝向正面的面部相比特征点的检测精度下降，导致模拟结果的品 质下降。此外，由于与化妆模拟有关的运算处理，显示器上显示的用户自身的面部图像与现 实中的用户的运动相比延迟地显示，所以存在用户运动时难以操作的问题。
[0010] 本发明解决上述以往的课题，其目的在于，提供一种能够适当地选择画面操作中 的处理图像的图像处理方法。
[0011] 解决课题所采用的手段
[0012] 为了解决所述以往的课题，本发明的图像处理方法是对输入的运动图像进行图像 处理并显示图像处理的结果的系统中的图像处理方法，包括：判定所述系统的动作模式设 定是显示静止图像的操作模式和显示运动图像的确认模式之中的哪一个模式的判定处理、 以及与所述判定处理的结果相应的分模式处理，所述操作模式下的所述分模式处理，包括 从构成所述运动图像的多个帧图像中选择适当地表现了图像处理的对象物的帧图像并作 为静止图像显示、并接受与针对所述对象物的图像处理有关的操作的处理，所述确认模式 下的所述分模式处理，包括对所述运动图像的各帧进行图像处理并进行显示以供用户确认 的处理，所述图像处理针对与在所述操作模式下接受的所述操作有关且在所述运动图像的 各帧中出现的对象物进行。
[0013] 发明效果：
[0014] 根据本发明的图像处理方法，能够将适当地表现了图像处理的对象物的静止图像 作为画面操作中的处理图像适当地选择。
【附图说明】
[0015] 图1是本发明的实施方式1中的化妆模拟器的框图。
[0016] 图2是本发明的实施方式1中的化妆模拟器的外观图。
[0017] 图3是表示本发明的实施方式1中的化妆模拟器的动作模式设定步骤的流程图。
[0018] 图4是表示本发明的实施方式1中的化妆模拟器的、按每帧的动作的流程图。
[0019] 图5是表示面部特征点检测步骤的流程图。
[0020] 图6是表示眼睛的开闭确认步骤的流程图。
[0021] 图7是说明眼睛的特征点位置的图。
[0022] 图8是表示本发明的实施方式1中的化妆模拟器进行化妆模拟时的、按每帧的动 作的流程图。
[0023] 图9是表示本发明的实施方式1的补充（7)中的化妆模拟器进行化妆模拟时的、 按每帧的动作的流程图。
[0024] 图10是表示本发明的实施方式2中的化妆模拟器的、按每帧的动作的流程图。
[0025] 图11是表示本发明的实施方式2中的化妆模拟器进行化妆模拟时的、按每帧的动 作的流程图。
[0026] 图12是表示本发明的实施方式2的补充（2)中的化妆模拟器进行化妆模拟时的、 按每帧的动作的流程图。
[0027] 图13是表示本发明的实施方式2中的平均面部特征点位置的重新计算步骤的流 程图。
[0028] 图14是表示与模式切换相对应的阶段的图。
[0029] 图15中（a)表示在帧图像Fx和帧图像Fx+m中检测到的特征点群。图15中（b) 表示规定帧图像Fx和帧图像Fx+m之间的特征点的变换的变换矩阵。
[0030] 图16中（a)表示在帧图像Fx和帧图像Fx+m中存在的多个特征点的图。图16中 (b)是变换矩阵的一例。图16中（c)表示针对静止图像描绘了手涂形象的状况的图。
[0031] 图17是表示在动作模式从确认模式切换到操作模式的情况下、到成为确认模式 的基础的静止图像得以确定为止的过程的图。
[0032] 图18是表示受理与操作模式下的化妆处理有关的输入的流程图。
【具体实施方式】
[0033] 《发明人得到的见解》
[0034] 在进行实时处理的化妆模拟器中，利用朝向用户的摄像机进行摄像，对拍摄到的 用户的图像实施图像处理并显示到显示器上。在此，用户为了进行化妆模拟，需要操作与显 示器一体化的触摸面板或另行设置的操作面板等，选择口红、腮红、睫毛膏等化妆品而对面 部进行涂覆操作等。因此，在操作中面部朝向或视线会转移到操作面板或显示器，无法取得 正面朝向摄像机的图像。对于这样的面部朝向或视线从摄像机偏离的图像，特征点的检测 精度下降，所以因特征点的误检测而化妆项目的位置偏离，化妆模拟品质可能会下降。
[0035] 此外，在实时处理中，有时会发生依存于硬件的处理能力的延迟。化妆处理是以运 动图像的帧为单位进行的，因此至少产生1帧的延迟。并且，由于要进行特征点的检测处 理、化妆组件的变形处理和合成处理，有时会产生0. 1秒以上的延迟。这种情况下，用户试 图对显示器上的自身图像进行触摸操作时，显示器上的自身图像比用户自身的动作更晚地 再现，所以用户感到仿佛存在预想外的动作，难以触摸到自身图像上的意图中的位置。
[0036] 作为解决该课题的方法，在进行与化妆有关的操作等时，可以考虑显示静止图像。 作为切换运动图像显示和静止图像显示的方法，有专利文献3所公开的方法，以摄像操作 为契机，从运动图像显示切换到静止图像显示。
[0037] 作为用于进行与化妆有关的操作的静止图像，朝向正面且视线朝向摄像机的图像 是适合的。这是因为，如上述那样容易检测特征点，对用户来说也容易操作。但是，通过用 户的摄像操作而拍摄了静止图像的情况下，并不一定能得到这样的图像。这是因为，为了进 行摄像操作，可能会发生视线或面部的方向朝向操作面板、或者为了进行操作而改变姿势 的情况。
[0038] 因此，发明人们得到了如下的见解：用户进行了切换到静止图像显示的操作后，继 续拍摄运动图像，检测构成该运动图像的各帧的特征点，如果得到了适合作为用于进行与 上述的化妆有关的操作的静止图像，则将该帧作为静止图像而设为用于化妆处理的处理图 像。由此，不被制约为用户刚操作的时刻之后，能够基于适合化妆处理的图像来实施模拟。
[0039] 《实施方式》
[0040] 以下参照【附图说明】本发明的实施方式。
[0041] 《实施方式1》
[0042] < 结构 >
[0043] 图1中示出了本实施方式的化妆模拟器的框图。化妆模拟器1具备：摄像机2、特 征点检测部11、帧存储器12、控制部13、图像处理部14和触摸面板显示器3。
[0044] 摄像机2由摄像光学系统（未图示）、摄像元件（未图示）、A/D变换电路（未图 示）等构成。摄像光学系统由进行对焦控制的对焦透镜和由快门/光圈构成的曝光控制部 等构成。也可以具备进行缩放动作的缩放透镜。摄像元件是由CCD传感器或CMOS传感器 构成的光电变换元件，拍摄由摄像光学系统形成的被摄体像而输出影像信号。A/D变换电路 是将从摄像元件输出的作为模拟信号的影像信号变换为数字信号的变换器。从A/D变换电 路输出的数字数据成为作为摄像机2的输出的摄像图像。摄像机2将作为运动图像的数字 数据向特征点检测部11以构成数字数据的帧图像为单位进行输出。
[0045] 特征点检测部11对于构成从摄像机2输出的作为运动图像的数字数据的每个帧 图像进行面部的检测，然后检测眼睛的轮廓、鼻子的轮廓、嘴的轮廓、面部的轮廓等，将其位 置信息作为特征点，输出到控制部13和图像处理部14。特征点检测部11首先将作为运动 图像的数字数据以帧单位变换为纵M像素X横N像素的图像。接着，利用专利文献1、专利 文献2等公开的方法，首先从眼睛、鼻子、嘴、轮廓、头发等检测面部的区域，然后对于作为 面部的部分（parts)的眼睛、鼻子、嘴、轮廓等分别检测特征点。特征点检测部11将检测到 的特征点的坐标输出到控制部13。
[0046] 此外，特征点检测部11从控制部13接受了图像输出指示后，将从摄像机2输出的 帧图像转发到帧存储器。
[0047] 帧存储器12接受从特征点检测部11输出的帧图像，作为处理图像保持。帧存储 器12将保持的处理图像输出到图像处理部14。帧存储器12例如通过DRAM、闪存器等半导 体存储器件、HDD等磁存储器件等的存储器件来实现。
[0048] 控制部13管理化妆模拟器1的动作模式，并且从用户接受图像处理的内容并保 持。具体地说，管理当前的动作模式是确认模式还是操作模式，并且从用户接受动作模式的 切换指示。此外，是操作模式的情况下，管理处理图像是否已确定，在未确定的情况下，根据 特征点检测部11输出的特征点的坐标，判断当前处理中的帧图像是否适合作为处理图像。 此外，是操作模式且操作图像已确定的情况下，接受与化妆处理相关的用户的输入，并反映 到对于以后的帧图像的图像处理中。
[0049] 图像处理部14使用控制部13输出的图像处理指示和特征点检测部11输出的特 征点坐标，对于帧存储器12保持的处理图像进行图像处理，并将结果输出到触摸面板显示 器3。
[0050] 触摸面板显示器3是由IXD(液晶显示器：LiquidCrystalDisplay)、F1DP(等离 子显示面板：PlasmaDisplayPanel)、有机EL等构成的显示器件，并且也是通过静电电容 方式、红外线方式等的触摸传感器进行位置检测的位置输入器件。触摸面板显示器3将图 像处理部14输出的图像显示到显示器件，并且在用户使用触摸传感器进行输入的情况下， 将其坐标输入到控制部13。
[0051] 上述的特征点检测部11、控制部13、图像处理部14分别例如通过处理器等的可编 程器件和软件、或者FPGA(场可编程门阵列：FieldProgrammableGateArray)、ASIC(特 定用途集成电路：ApplicationSpecificIngegratedCircuit)等硬件来实现。
[0052] < 概要 >
[0053] 说明化妆模拟器1的外观和动作的概要。
[0054] 图2(a)中示出了化妆模拟器1的外观。用户位于化妆模拟器1前，由位于触摸面 板显示器3上的摄像机2拍摄用户自身的图像。
[0055] 图2(b)中示出了触摸面板显示器3上显示的图像。触摸面板显示器3上显示的 内容被分为图像显示部分和操作显示部分，该图像显示部分显示对由摄像机2摄影的用户 的图像进行图像处理而得到的图像，该操作显示部分显示用于经由触摸传感器接受用户的 操作的导引。
[0056] 化妆模拟器1的动作模式包括"确认模式"和"操作模式"。在"确认模式"的情况 下，化妆模拟器1将对由摄像机2摄影的用户的图像进行图像处理而