图像处理装置以及图像处理方法
【技术领域】
[0001]本发明涉及使图像的一部分变形的图像处理装置。
【背景技术】
[0002]近年，搭载了用于更美丽地对被摄体进行拍照的功能的数字照相机、具有对所拍摄的图像更美丽地进行加工的功能的软件正在普及。这样的功能之一存在使图像的一部分变形的功能。若使用该功能，则能够例如将照片拍到的人物的面部或嘴校正为较小，或将眼睛校正为较大。
[0003]关于以不对观赏该图像的人带来不协调感的方式使图像的一部分变形的方法，开发了各种方法。例如，在专利文献I所述的图像变形装置中，将图像中的想要校正的区域(例如人的面部等)以栅格进行分割，按每个栅格算出像素的移动量和移动方向，从而进行图像的变形。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本专利第5240795号公报
[0007]在专利文献I所述的装置中，在存储器空间中暂时展开图像数据，利用三维样条插值(spline interpolat1n)，按每个栅格算出校正的程度，从而进行图像的变形处理。另一方面，在将使图像变形的功能搭载于便携电话等便携式设备的情况下，由于存储器容量或处理速度的限制，难以展开大量的数据而进行复杂的运算的情况较多。
【发明内容】
[0008]本发明是考虑上述的课题而完成的，其目的在于，提供能够以少的处理量以及存储器消耗量来进行图像的变形的图像处理装置。
[0009]本发明所涉及的图像处理装置是通过使图像的至少一部分变形，从而使该图像中包含的对象物(以下，目的对象(object))变形为期望的形状的装置。
[0010]具体而言，本发明的第一方式所涉及的图像处理装置是对所输入的图像的至少一部分进行变形的图像处理装置，其特征在于，具有:图像取得部件，取得输入图像；目的对象确定部件，确定所述输入图像中包含的变形对象的目的对象；图存储部件，存储定义了二维平面中的像素的移动量的图即移动量图；图变形部件，使所述移动量图对准所述变形对象的目的对象的形状而变形；以及图像变形部件，基于所述变形后的移动量图，决定与所述目的对象对应的像素的移动量，使该像素移动，从而进行图像的变形。
[0011]目的对象确定部件是确定图像中包含的变形对象的目的对象的部件。变形对象的目的对象，例如在被摄体为人的面部的情况下，也可以是面部整体，也可以是眼睛或嘴等。此外，变形对象的目的对象也可以是人的面部以外。此外，变形对象的目的对象也可以自动地被检测，也可以由用户指定。
[0012]移动量图是定义了像素的移动量的二维的图。本发明所涉及的图像处理装置中，图变形部件使移动量图对准目的对象的形状而变形，基于变形后的移动量图来决定像素的移动量。根据该结构，即使不进行复杂的运算，也能够仅通过决定图与像素之间的对应关系而求得使目的对象变形所需的像素的移动量。即，能够较低地抑制用于进行图像的变形的处理成本。
[0013]此外，也可以是本发明所涉及的图像处理装置的特征在于，还具有:移动方向设定部件，针对所述变形对象的目的对象，设定使像素移动的方向，所述图像变形部件使对象的像素向所述设定的方向移动。
[0014]通过移动方向设定部件设定使像素移动的方向，能够指定目的对象的变形方法。例如，在设为“使与人物的面部对应的像素向面部的中心移动”的情况下，能够将作为被摄体而拍到的人物的面部校正为较小。使像素移动的方向也可以从用户取得，也可以自动地决定。例如，也可以估计目的对象的中心点，使像素向该中心点移动。
[0015]此外，也可以是其特征在于，所述目的对象确定部件提取与变形对象的目的对象对应的控制点，所述图变形部件基于所述控制点的位置，使所述移动量图变形。
[0016]控制点是对进行变形的目的对象的形状附加特征的点，典型地说，是表示目的对象的边缘或角的点，但不限于此。通过使用控制点，能够使移动量图变形为与变形对象的目的对象的形状更贴合的形状。
[0017]此外，也可以是其特征在于，所述图像变形部件进行所述变形后的移动量图与所述变形对象的目的对象之间的位置对准，决定与像素对应的移动量。
[0018]通过对准变形后的移动量图与变形对象的目的对象之间的位置，从而能够将应该移动的像素与其移动量建立对应。另外，在图像具有的像素间距与图的间距不一致的情况下，也可以通过对其中一个进行放大或者缩小，从而使间距一致。
[0019]此外，也可以是其特征在于，所述移动方向设定部件通过在所述图像上设定目标点来设定使像素移动的方向，所述移动量图具有与所述目标点对应的点的坐标，所述图像变形部件使用所述目标点，进行变形后的移动量图与所述变形对象的目的对象之间的位置对准。
[0020]移动量图的形状与变形对象的目的对象的形状不一定一致。因此，作为用于对准移动量图与目的对象之间的位置的公共的坐标，能够利用目标点。
[0021]此外，也可以是其特征在于，所述图存储部件存储与多个变形对象的目的对象的种类和/或多个变形方法对应的多个移动量图，所述图变形部件以及图像变形部件选择多个移动量图之中的、与变形对象的目的对象的种类和/或变形方法对应的移动量图来进行处理。
[0022]像这样，也可以使图存储部件按每个目的对象的种类或者形状、变形的方法分别存储对应的多个移动量图，使用适合的移动量图来进行处理。通过这样，能够得到更自然的变形结果。
[0023]另外，本发明能够特定为包含上述部件的至少一部分的图像处理装置。此外，本发明还能够特定为图像处理方法。此外，本发明能够特定为使计算机执行上述图像处理方法的程序。只要不产生技术的矛盾，则能够将上述处理或部件自由组合而实施。
[0024]根据本发明，能够提供能够以少的处理量以及存储器消耗量来进行图像的变形的图像处理装置。
【附图说明】
[0025]图1是实施方式所涉及的摄像装置的系统结构图。
[0026]图2是第一实施方式中使用的移动量图的例子。
[0027]图3是进行变形的对象图像的例子。
[0028]图4是表示控制点和目标点的配置位置的图。
[0029]图5是说明移动量图的变形方法的第一图。
[0030]图6是说明移动量图的变形方法的第二图。
[0031]图7是说明移动量图的变形方法的第三图。
[0032]图8是说明像素的移动方法的图。
[0033]图9是第一实施方式所涉及的摄像装置的处理流程图。
[0034]图10是第二实施方式中使用的移动量图的例子。
[0035]标号说明
[0036]10摄像装置
[0037]11摄像部
[0038]12提取部
[0039]13移动量图存储部
[0040]14图像变形部
[0041]15输入输出部
[0042]16存储器
【具体实施方式】
[0043](第一实施方式)
[0044]以下，参照【附图说明】本发明的优选实施方式。
[0045]第一实施方式所涉及的摄像装置是具有从所拍摄到的图像检测人的面部，对该面部和面部中包含的器官的大小进行校正的功能的摄像装置。例如，能够将作为被摄体的人物的面部或嘴的大小校正为较小。图1是第一实施方式所涉及的摄像装置10的系统结构图。
[0046]摄像装置10由摄像部11、提取部12、移动量图存储部13、图像变形部14、输入输出部15、存储器16构成。
[0047]摄像部11是拍摄图像的部件，典型地说，由光学系统、摄像元件、以及其接口构成。只要能够拍摄图像，则摄像部11可以由任意设备构成。
[0048]提取部12是从由摄像部11拍摄到的图像提取进行变形的对象(以下，目的对象)的部件。具体而言，在从图像中确定了包含人物的面部的区域之后，提取该区域中包含的、与眼睛或嘴等的器官对应的特征点。所提取到的特征点与器官建立对应地存储。
[0049]移动量图存储部13是存储定义了像素的移动量的二维的图(移动量图)的部件。
[0050]图2是移动量图存储部13中存储的移动量图的例子。图201的各格子中写入的数值是表示像素的移动量的值。在本实施方式中，使用像素数作为表示像素的移动量的值，但移动量不限定于特定的单位。例如，也可以是与移动量成比例的系数。
[0051]位于图201的中央的黑圆是成为使像素移动的目标的点(以下，目标点)。目标点是为了决定各像素的移动方向而使用的点。具体而言，在本实施方式中，各像素的移动方向被决定为从该像素的位置朝向目标点的方向。此外，图201中的虚线202是将移动量的峰以图形描绘的线(以下，移动量峰)。即，图201是与“使处于圆周的附近的像素向圆的中心移动”这样的变形对应的图。图201由以二维排列表示的移动量和目标点的坐标构成。
[0052]另外，移动量峰在对移动量图进行变形时使用。关于移动量峰的信息，也可以由移动量图本身持有，也可以根据移动量的排列而每次求出。