图像变换设备和方法
【专利摘要】提供了一种图像变换设备和方法。一种图像变换设备包括：检测单元，被构造为从用户图像和参考图像中的每个检测面部的特征点和面部的角度信息；特征点调整单元，被构造为通过使用所检测的角度信息调整用户图像或参考图像的特征点；面部分析单元，被构造为通过使用调整后的特征点比较用户图像和参考图像中所包含的面部特征；以及图像变换单元，被构造为通过使用面部分析单元对面部特征的比较结果变换用户图像。
【专利说明】图像变换设备和方法
[0001]本申请要求2012年12月28日向韩国知识产权局提交的第10_2012_0156999号韩国专利申请的优先权，该专利申请的公开内容通过引用全部合并于此。
【技术领域】
[0002]与示例性实施例一致的设备和方法涉及图像变换，更具体地讲，涉及变换用户图像。
【背景技术】
[0003]最近，通过互联网(诸如社交网服务(SNS)等)的通信是快速发展的趋势。经常，当用户将图片上传到SNS时，它们对上传的图像进行变换，以使得它们看起来更漂亮。
[0004]相关领域的图像变换方法需要用户执行许多操作，诸如直接输入用于变换的图像或变换每个面部区域。然而，不熟悉图像变换的一般用户可能难以确定将被变换的点和变换的程度。因此，需要一种用户可更容易地变换图像的方式。
【发明内容】
[0005]示例性实施例克服了以上缺点和以上没有描述的其他缺点。然而，本发明的示例性实施例可以不克服上述问题中的任何一个。
[0006]一个或多个示例性实施例提供一种使用参考图像以便允许不熟悉图像变换的一般用户容易地执行图像变换的图像变换设备和方法。
[0007]根据示例性实施例的一方面，提供一种图像变换设备，包括:检测单元，被构造为从用户图像和参考图像中的每个检测面部的特征点和面部的角度信息；特征点调整单元，被构造为通过使用所检测的角度信息调整用户图像或参考图像的特征点；面部分析单元，被构造为通过使用调整后的特征点比较用户图像和参考图像中所包含的面部特征；以及图像变换单元，被构造为通过使用面部分析单元对面部特征的比较结果变换用户图像。
[0008]特征点调整单元可调整用户图像或参考图像的特征点，以使得用户图像和参考图像中的每个的面部角度彼此匹配。
[0009]面部分析单元可通过计算并比较用户图像的特征点与参考图像的特征点之间的距离的差值来比较面部特征，并且图像变换单元可基于所计算的相对距离的差值变换用户图像的特征点。
[0010]面部特征可包括眼睛形状、鼻子形状、嘴巴形状和下颚线形状中的至少一个。
[0011]图像变换设备可包括:图像推荐单元，被构造为基于用户信息推荐至少一个参考图像；以及输入单元，被构造为接收选择所推荐的参考图像中的至少一个的用户命令。
[0012]用户信息可包括用户的性别、年龄、时间表、图像变换意图和当前位置以及用户图像分析结果中的至少一个。
[0013]用户图像和参考图像均可以为二维(2D)图像。
[0014]根据另一示例性实施例的一方面，提供一种图像变换方法，包括:从用户图像和参考图像中的每个检测面部的特征点和面部的角度信息；通过使用所检测的角度信息调整用户图像或参考图像的特征点；通过使用调整后的特征点比较用户图像和参考图像中所包含的面部特征；并且通过使用面部特征的比较结果变换用户图像。
[0015]调整特征点的步骤可包括调整用户图像或参考图像的特征点，以使得用户图像和参考图像中的每个的面部角度彼此匹配。
[0016]比较面部特征的步骤可包括计算并比较用户图像的特征点与参考图像的特征点之间的距离的差值，并且变换用户图像的步骤可包括基于所计算的相对距离的差值变换用户图像的特征点。
[0017]面部特征可包括眼睛形状、鼻子形状、嘴巴形状和下颚线形状中的至少一个。
[0018]图像变换方法可包括:基于用户信息推荐至少一个参考图像；并且接收选择所推荐的参考图像中的至少一个的用户命令。
[0019]用户信息可包括用户的性别、年龄、时间表、图像变换意图和当前位置以及用户图像分析结果中的至少一个。
[0020]用户图像和参考图像均可以为2D图像。
[0021]根据另一示例性实施例的一方面，提供一种装置，包括:处理器，被构造为:从图像检测面部的特征点，使用在不同图像中检测到的特征点比较这些不同图像中所包含的面部特征，并使用这些不同图像中的面部特征的比较变换这些不同图像中的一个图像的面部特征。
[0022]所述不同图像中的每个可包括来自包括第一区域和第二区域的多个面部区域的面部特征，并且处理器被构造为与所述不同图像中的所述一个图像的第二区域中的面部特征不同地变换所述不同图像中的所述一个图像的第一区域中的面部特征。
[0023]处理器可被进一步构造为使用所述不同图像中所包含的面部特征的比较确定所述不同图像中所包含的面部特征的差异是否超过预定阈值，响应于面部特征的差异超过预定阈值的确定，处理器使用第一值变换所述不同图像中的所述一个图像，并且响应于面部特征的差异不超过预定阈值的确定，处理器使用不同于第一值的第二值变换所述不同图像中的所述一个图像。
[0024]处理器可被进一步构造为使用来自所述不同图像的各个面部的特征点使各个面部的面部角度标准化，以使得所述不同图像中的各个面部的面部角度基本上相等。
【专利附图】
【附图说明】
[0025]从以下结合附图对示例性实施例进行的描述，所述方面和/或其他方面将变得清楚并且更易于理解，其中:
[0026]图1是示出根据示例性实施例的图像变换设备的构造的示图；
[0027]图2是示出根据示例性实施例的特征点检测结果的示图；
[0028]图3是用于解释根据示例性实施例的面部分析单元的详细操作的示图；
[0029]图4是用于解释根据示例性实施例的面部变换处理的示图；
[0030]图5是示出根据另一示例性实施例的图像变换设备的构造的框图；和
[0031]图6是用于解释根据示例性实施例的图像变换方法的流程图。【具体实施方式】
[0032]以下，将参照附图详细描述特定示例性实施例。
[0033]提供在此定义的内容(诸如详细构造及其元件)来帮助该描述的全面理解。因此，显然，可在没有这些定义内容的情况下实现示例性实施例。此外，省去公知功能或构造，以提供示例性实施例的清晰的、简要的描述。在整个附图中，相似的标号将被理解为指示相似的部件、组件和结构。此外，为了帮助全面理解，可任意增大或缩小附图中的各个元件的尺寸。
[0034]如在此所使用的，术语“单元”意指硬件组件(诸如处理器或电路)和/或被硬件组件(诸如处理器)执行的软件组件。
[0035]图1是示出根据示例性实施例的图像变换设备的构造的示图。参照图1，图像变换设备100包括检测单元110、特征点调整单元120、面部分析单元130和图像变换单元140。图像变换设备可被实现为各种设备，诸如智能电话、相机、电视(TV)、笔记本计算机、平板计算机、电子书、电子相框、自助服务机等。
[0036]检测单元110从用户图像和参考图像检测面部区域的特征点和面部的角度信息。这里，用户图像和参考图像都包括面部区域，用户图像是包括将被变换的面部的图像，参考图像是当用户图像的面部被变换时将被参考的图像。用户图像和参考图像均可以是二维(2D)图像或三维(3D)图像。可取的是，用户图像和参考图像均为2D图像。
[0037]图2是示出根据示例性实施例的特征点检测结果的示图。如图2所示，检测单元110可根据预学习算法检测面部区域的特征点。具体地讲，检测单元110通过使用主动外观模型(AAM)技术等预先学习面部样式，因此可自动地检测特征点的位置。此外，检测单元110可通过使用特征点的检测位置，基于头部旋转角度检测面部角度。以下，将详细描述检测面部角度信息的处理。
[0038]检测单元110可通过使用特征点的位置获得面部的左侧区域和右侧区域。此时，检测单元110可通过使用代表性特征点的位置获得面部的左侧区域和右侧区域，所述代表性特征点的位置诸如位于眉毛中间的特征点的位置、表示面部的轮廓的特征点的位置、与鼻尖相应的特征点的位置以及位于嘴唇周围的特征点的位置。
[0039]详细地讲，检测单元110可基于代表性特征点的位置创建三角形，因此计算这些三角形的区域的总和，以便获得面部的左侧区域和右侧区域。此后，检测单元110可从面部的左侧区域和右侧区域的比率检测面部角度信息。假设，如果用户的头部旋转到右侧，则头部旋转角度具有正值，如果用户的头部旋转到左侧，则头部旋转角度具有负值。此时，当用户的头部旋转到右侧时，头部旋转角度Θ的范围被假定为0° < Θ <45°。此时，面部的左侧区域(LHP)用公式I表示，面部的右侧区域(RHP)用公式2表示。
[0040]LHP= WlIil + w^h= (rr0.^e+ rsinB ^hl + ^jircosB+ rsniH
-±-4
[0041]〈公式1>
[0042]RHP= Iii2Al + -J IVrJii = (τ— /.*/ ηθ、h, + -j (./.— rsi ηθ
[0043]< 公式 2>
[0044] 这里，Θ是头部旋转角度，W1是面部的左侧宽度，W2是面部的右侧宽度，Ii1是与面部的面颊相应的长度，h2是与面部的下巴相应的长度，r是头部中心到头部轮廓线的距离。
[0045]因此，可根据公式3确定面部的左侧区域和右侧区域的比率，并且可根据公式4估计头部旋转角度。
【权利要求】
1.一种图像变换设备，包括: 检测单元，被构造为从用户图像和参考图像中的每个检测面部的特征点和面部的角度信息； 特征点调整单元，被构造为通过使用所检测的角度信息调整用户图像或参考图像的特征点； 面部分析单元，被构造为通过使用调整后的特征点比较用户图像和参考图像中所包含的面部特征；和 图像变换单元，被构造为通过使用面部分析单元对面部特征的比较结果变换用户图像。
2.根据权利要求1所述的图像变换设备，其中， 特征点调整单元被构造为调整用户图像或参考图像的特征点，以使得用户图像和参考图像中的每个的面部角度彼此匹配。
3.根据权利要求1所述的图像变换设备，其中， 面部分析单元被进 一步构造为通过计算并比较用户图像的特征点与参考图像的特征点之间的距离的差值来比较面部特征，并且 图像变换单元基于所计算的相对距离的差值变换用户图像的特征点。
4.根据权利要求1所述的图像变换设备，其中， 面部特征包括眼睛形状、鼻子形状、嘴巴形状和下颚线形状中的至少一个。
5.根据权利要求1所述的图像变换设备，还包括: 图像推荐单元，被构造为基于用户信息推荐至少一个参考图像；和 输入单元，被构造为接收选择所推荐的参考图像中的至少一个的用户命令。
6.根据权利要求5所述的图像变换设备，其中， 图像推荐单元基于用户的性别和年龄、用户图像分析结果、用户的时间表、用户的图像变换意图以及用户的当前位置中的至少一个推荐参考图像。
7.根据权利要求1所述的图像变换设备，其中， 用户图像和参考图像均包括二维(2D)图像。
8.一种图像变换方法，包括: 从用户图像和参考图像中的每个检测面部的特征点和面部的角度信息； 通过使用所检测的角度信息调整用户图像或参考图像的特征点； 通过使用调整后的特征点比较用户图像和参考图像中所包含的面部特征；和 通过使用面部特征的比较结果变换用户图像。
9.根据权利要求8所述的图像变换方法，其中， 调整特征点的步骤包括调整用户图像或参考图像的特征点，以使得用户图像和参考图像中的每个的面部角度彼此匹配。
10.根据权利要求8所述的图像变换方法，其中， 比较面部特征的步骤包括计算并比较用户图像的特征点与参考图像的特征点之间的距离的差值，并且 变换用户图像的步骤包括基于所计算的相对距离的差值变换用户图像的特征点。
11.根据权利要求8所述的图像变换方法，其中，面部特征包括眼睛形状、鼻子形状、嘴巴形状和下颚线形状中的至少一个。
12.根据权利要求8所述的图像变换方法，还包括: 基于用户信息推荐至少一个参考图像；和 接收选择所推荐的参考图像中的至少一个的用户命令。
13.根据权利要求12所述的图像变换方法，其中， 用户信息包括用户的性别、年龄、时间表、图像变换意图和当前位置以及用户图像分析结果中的至少一个。
14.根据权利要求8所述的图像变换方法，其中， 用户图像和参考图像均包括二维(2D)图像。
【文档编号】H04N5/232GK103916588SQ201310746057
【公开日】2014年7月9日 申请日期:2013年12月30日 优先权日:2012年12月28日
【发明者】金度完, 亚历山大·利蒙夫, 李珍晟, 郑吉洙 申请人:三星电子株式会社