一种肖像漫画生成方法及其装置制造方法
【专利摘要】本发明涉及一种肖像漫画生成方法，该方法包括下列步骤：获取包含人脸的照片；识别所述照片的各五官区域特征，并在漫画素材库查找相匹配的漫画五官素材；根据所述漫画五官素材生成肖像漫画。本发明的方法通过对人脸进行识别，并从图片素材库中选取合适的元素并对选取的元素进行组合的方式，能够自动化地生成既能体现人的面部特征，也具有漫画效果的肖像画。
【专利说明】一种肖像漫画生成方法及其装置
【技术领域】
[0001]本发明涉及计算机绘图【技术领域】，尤其涉及一种肖像漫画生成方法及其装置。
【背景技术】
[0002]目前，对于将真实的人绘画成漫画图片的方式有手绘和通过各种不同的漫画生成软件来实现。手绘的方式常见于街头画匠，通过手绘的方式为真人绘画各种不同风格的图像，此种方式的真实度很高，但是绘画费时，并且局限于只能找专业的画匠或画家来完成，因此，不同的漫画生成软件应用而生。
[0003]常见的肖像漫画生成软件有两种:一种方式是用户手动在图片库中选择五官图案、发型、配饰等元素，然后将这些元素组合成漫画，其这种方式耗时耗力，效率低下，同时也不能体现个人特征。另一种方式是通过将照片中人物头部提取出来放入到漫画身体图片库中与身体形成大头小身漫画，其五官完全写实，其此种方式无法模拟真实的画笔笔触，完全写实的五官素材与卡通素材的身子搭配在一起的时候具有较强的拼凑感，同时其画面风格也会受到卡通素材的限制，从而出现结合后的整体漫画的不协调情况。
【发明内容】
[0004]鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的肖像漫画生成方法及其装置。
[0005]根据本发明的一个方面，提供一种肖像漫画生成方法，该方法包括下列步骤:
[0006]获取包含人脸的照片；
[0007]根据所述照片的各五官区域特征在漫画素材库查找相匹配的漫画五官素材；
[0008]根据所述漫画五官素材生成肖像漫画。
[0009]优选地，该方法还包括:利用漫画素材库选择发型、配饰。
[0010]优选地，该方法还包括:根据用户的输入对所述肖像漫画所包括的至少一个元素进行调整。
[0011]其中，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括:改变其中至少一个五官的大小和/或位置。
[0012]其中，所述改变其中至少一个五官的大小和/或位置，具体包括:
[0013]增大眼睛和/或调整眼睛的位置。
[0014]优选地，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括:
[0015]根据用户喜好从漫画素材库选择发型，对肖像漫画中的发型进行替换。
[0016]其中，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括:根据用户喜好从手绘素材库选择服饰素材，对肖像画添加服饰。
[0017]其中，根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材具体包括:
[0018]对所述照片进行人脸识别，得到五官的形状、位置和大小信息以及脸型和发型信息;
[0019]从漫画素材库中分别提取五官、脸型和发型的素材，并与上述得到的相应部位的形状、大小进行匹配，以获取匹配度最高的漫画素材；将所获取的漫画素材按照上述位置信息进行组合，形成肖像漫画图像。
[0020]其中，与上述得到的相应部位的形状、大小进行匹配，具体包括:
[0021]对提取的漫画素材进行旋转、缩放和/或拉伸；
[0022]将旋转、缩放和/或拉伸后的素材与上述得到的相应部位的形状、大小进行重合。
[0023]其中，根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材具体包括:
[0024]提取各五官区域图像；
[0025]分别根据各五官区域图像，获取各五官的轮廓；
[0026]将各五官的轮廓与样本素材库中的相应五官的轮廓进行匹配，以找到最接近的五官素材；
[0027]根据五官素材与漫画素材的对应的关系，查找与所述最接近的五官素材相对应的漫画素材。
[0028]根据本发明的另一个方面，提供一种肖像漫画生成装置，该装置包括:
[0029]漫画素材库，用于存储漫画五官素材、发型、配饰；
[0030]获取单元，用于获取包含人脸的照片；
[0031]匹配查找单元，用于根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材；
[0032]漫画生成单元，用于根据所述漫画五官素材生成肖像漫画。
[0033]优选地，该装置还包括:
[0034]发型、配饰选择单元，用于利用漫画素材库选择发型、配饰。
[0035]优选地，该装置还包括:
[0036]调整单元，用于根据用户的输入对肖像漫画所包括的至少一个要素进行调整。
[0037]其中，所述调整单元包括五官调整单元，用于改变其中至少一个五官的大小和/或位置。
[0038]其中，所述五官调整单元包括眼睛调整子单元，用于增大眼睛和/或调整眼睛的位置。
[0039]其中，所述调整单元包括发型调整单元，用于根据用户喜好从漫画素材库选择发型，对肖像漫画中的发型进行替换。
[0040]其中，所述调整单元包括服饰调整单元，根据用户喜好从漫画素材库选择服饰素材，对肖像画添加服饰，所述手绘素材库存储有服饰素材。
[0041]其中，所述匹配查找单元具体包括:
[0042]人脸识别单元，对所述照片进行人脸识别，得到五官的形状、位置和大小信息以及脸型和发型信息；
[0043]匹配单元，用于从漫画素材库中分别提取五官、脸型和发型的素材，并与上述得到的相应部位的形状、大小进行匹配，以获取匹配度最高的漫画素材；
[0044]所述漫画生成单元，用于将所获取的漫画素材按照上述位置信息进行组合，形成肖像漫画。
[0045]其中，所述匹配单元具体包括:
[0046]旋转子单元，用于对提取的素材进行旋转；
[0047]缩放子单元，用于对提取的素材进行缩放；
[0048]拉伸子单元，对提取的素材进行拉伸；
[0049]重合子单元，用于将旋转、缩放和/或拉伸后的素材与上述得到的相应部位的形状、大小进行重合。
[0050]其中，所述匹配查找单元具体包括:
[0051]提取单元，用于提取各五官区域图像；
[0052]轮廓获取单元，用于分别根据各五官区域图像，获取各五官的轮廓；
[0053]匹配单元，用于将各五官的轮廓与样本素材库中的相应五官的轮廓进行匹配，以找到最接近的五官素材；
[0054]查找单元，用于根据五官素材与漫画素材的对应的关系，查找与所述最接近的五官素材相对应的漫画素材。
[0055]本发明的有益效果为:
[0056]采用本发明所公开的肖像漫画生成方法及其装置，通过对照片的人脸进行识别，并从图片素材库中选取合适的元素并对选取的元素进行方法处理的方式，能够尽可能大地保留每个人的面部特征，从而能快速得到与真实人脸的相似度较高的漫画图片；同时，通过对选择的素材进行缩放、偏移等操作，可以对生成的图片进行变形以及素材的变化，可以得到不同风格的图片。
[0057]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0058]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0059]图1示意性示出了本发明的肖像漫画生成方法的流程图。
[0060]图2示意性示出了本发明的肖像漫画生成方法的步骤S2的一个实施例的流程图。
[0061]图3a_3d示意性示出了本发明的一个实施例的图片素材库的眼睛的基本样式示意图。
[0062]图4a_4c示意性示出了本发明的一个实施例的眼睛的匹配过程示意图。
[0063]图5a_5c示意性示出了本发明的另一个实施例的眼睛的处理和匹配过程示意图。
[0064]图6a_6b示意性示出了本发明的又一个实施例的肖像漫画生成过程的示意图。
[0065]图7示意性示出了本发明的一个实施例的肖像漫画生成过程示意图。
[0066]图8示意性示出了本发明一种实施方式的肖像漫画生成装置的结构框图；
[0067]图9示意性示出了本发明另一种实施方式的肖像漫画生成装置的结构框图。
【具体实施方式】
[0068]下面结合附图和具体的实施方式对本发明作进一步的描述。
[0069]图1示出了本发明的肖像漫画生成方法的流程图。
[0070]参照图1，本发明的实施例的肖像漫画生成方法包括下列步骤:
[0071]SI，获取包含人脸的照片；
[0072]S2，根据所述照片的各五官区域特征在漫画素材库查找相匹配的漫画五官素材；
[0073]具体地，步骤S2具体包括:
[0074]对所述照片进行人脸识别，得到五官的形状、位置和大小信息以及脸型和发型信息;
[0075]从漫画素材库中分别提取五官、脸型和发型的素材，并与上述得到的相应部位的形状、大小进行匹配，以获取匹配度最高的漫画素材；其中包括对提取的漫画素材进行旋转、缩放和/或拉伸；
[0076]将旋转、缩放和/或拉伸后的素材与上述得到的相应部位的形状、大小进行重合。
[0077]将所获取的漫画素材按照上述位置信息进行组合，形成肖像漫画图像。
[0078]图2示出了本发明的肖像漫画生成方法的步骤S2的另一个实施例的流程图。
[0079]如图2所示，步骤S2也可以通过以下过程实现:
[0080]S21，提取各五官区域图像；
[0081]S22，分别根据各五官区域图像，获取各五官的轮廓；
[0082]S23，将各五官的轮廓与样本素材库中的相应五官的轮廓进行匹配，以找到最接近的五官素材；
[0083]S24，根据五官素材与漫画素材的对应的关系，查找与所述最接近的五官素材相对应的漫画素材。
[0084]S3，根据所述漫画五官素材生成肖像漫画。
[0085]作为另一实施方式，还可利用漫画素材库选择发型和/或配饰，以根据漫画五官素材以及发型和/或配饰生成肖像漫画。
[0086]在步骤SI中，获取的照片可以通过摄像或摄影设备即时取得，也可以在预存的照片或者是已有的手绘图像中选择。
[0087]在上述方法中，还包括根据用户的输入对所述肖像漫画所包括的至少一个元素进行调整，并且所述调整具体包括:改变其中至少一个五官的大小和/或位置，如增大眼睛和/或调整眼睛的位置，改变嘴的大小，轮廓等等；或根据用户喜好从漫画素材库选择发型，对肖像漫画中的发型进行替换；或者根据用户喜好从手绘素材库选择服饰素材，对肖像画添加服饰。
[0088]在本发明的另一个实施例中，对于肖像漫画生成过程具体为:
[0089]I)在选择的照片上使用人脸识别算法识别出人脸的五官，如眼睛、鼻子和嘴的位置和大小；此处的人脸识别算法可以是现有的任何一种可以识别照片中的五官的方法。
[0090]2)然后对每个五官进行图像的处理和匹配。此处以眼睛为例进行详细的描述。
[0091]图3a_3d示出了本发明的一个实施例的图片素材库的眼睛的基本样式示意图。
[0092]如图3a_3d所示，在图片素材库中，眼睛的基本样式包括图中的四种，并且还包括其他的多种。
[0093]图4a_4c示出了本发明的一个实施例的眼睛的匹配过程示意图。
[0094]如图4a所示，对照片的眼睛进行识别，首先识别出眼睛的外部特征，然后在素材库中选择一个眼睛的素材进行变形，如进行旋转、缩放、拉伸等，使得选择的眼睛素材的线条与眼睛的边缘重合度最高，如图4b所示，在此基础上，依次用素材库中的眼睛素材进行变换比较，找到与原图重合度最高的眼睛素材。另外，眼睛的瞳孔素材只要找到对应的位置和大小即可，如图4c即为匹配结果。
[0095]图5a_5c示出了本发明的另一个实施例的眼睛的处理和匹配过程示意图。
[0096]图5a_5c所示的眼睛匹配过程与上述过程相同，在此不在赘述。
[0097]3)使用上述的方法对照片的五官、脸型、发型进行匹配，然后将找到的素材组合形成一幅图像，即可得到人物的肖像漫画。
[0098]图6a_6b示出了本发明的又一个实施例的肖像漫画生成过程的示意图。
[0099]首先获取人物照片，通过对照片的五官、脸型、发型、配饰以及身体的识别，生成如图6a所示的五官、脸型、发型、配饰以及身体的轮廓图，将五官、脸型、发型、配饰的轮廓与素材库中的各种素材进行匹配，从而得到如图6b所示的真实度较高的肖像漫画。
[0100]另外，在生成肖像漫画后，还可以变换多种风格，如将眼睛变大，位置变低从而可以实现比真人更加可爱的卡通效果，再如，调整嘴巴的大小，甚至调整形状，以实现可爱的卡通效果，当然，还可替换发型或服饰素材可以实现不同的人物形象的感觉。
[0101]在本发明的又一个实施例中，上述方法可以通过手绘的漫画素材模板和算法匹配面部特征相结合的方式来实现。
[0102]图7示出了本发明的一个实施例的肖像漫画生成过程示意图。
[0103]如图7所示，用户通过拍照或选择现有照片的方式找到具有正面脸的照片，通过手动来找到五官的大致位置，如眼睛的位置，然后通过算法处理对眼睛进行匹配，如具体包括:提取用户的眼睛轮廓进行处理，如拉伸，缩放等，然后用处理后的用户的眼睛去匹配库中的眼睛，找到最接近的库中的眼睛的ID，由于库中每个典型的眼睛对应一个漫画眼睛，因此选用ID对应的漫画眼作为肖像的眼睛，然后将该结果返回到用户处理界面；同样的方法，将照片的五官以及脸型、发型等进行匹配，从而形成一幅需要的肖像图。
[0104]本发明还提供一种肖像漫画生成装置。
[0105]图8示出了本发明一种实施方式的结构框图。如图8所示，肖像漫画生成装置包括:
[0106]漫画素材库100，用于存储漫画五官素材、发型、配饰；
[0107]获取单元200，用于获取包含人脸的照片；
[0108]匹配查找单元300，用于根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材；
[0109]漫画生成单元400，用于根据所述漫画五官素材生成肖像漫画。
[0110]图9示出了另一种实施方式的结构框图。如图9所示，肖像漫画生成装置除了包括漫画素材库100、获取单元200、匹配查找单元300外，还包括:发型、配饰选择单元500，用于利用漫画素材库选择发型、配饰；漫画生成单元400，用于根据所述漫画五官素材、发型和配饰生成肖像漫画。
[0111]并且，优选地，该装置还包括:
[0112]调整单元，用于根据用户的输入对肖像漫画所包括的至少一个要素进行调整。
[0113]其中，调整单元包括五官调整单元，用于改变其中至少一个五官的大小和/或位置；并且所述五官调整单元包括眼睛调整子单元，用于增大眼睛和/或调整眼睛的位置。
[0114]优选地，调整单元包括发型调整单元，用于根据用户喜好从漫画素材库选择发型，对肖像漫画中的发型进行替换；
[0115]以及服饰调整单元，根据用户喜好从漫画素材库选择服饰素材，对肖像画添加服饰，所述手绘素材库存储有服饰素材。
[0116]一个实施例中，匹配查找单元具体包括:
[0117]人脸识别单元，对所述照片进行人脸识别，得到五官的形状、位置和大小信息以及脸型和发型信息；
[0118]匹配单元，用于从漫画素材库中分别提取五官、脸型和发型的素材，并与上述得到的相应部位的形状、大小进行匹配，以获取匹配度最高的漫画素材；
[0119]漫画生成单元，用于将所获取的漫画素材按照上述位置信息进行组合，形成肖像漫画。
[0120]在另一个实施例中，上述匹配单元具体包括:
[0121]旋转子单元，用于对提取的素材进行旋转；
[0122]缩放子单元，用于对提取的素材进行缩放；
[0123]拉伸子单元，对提取的素材进行拉伸；
[0124]重合子单元，用于将旋转、缩放和/或拉伸后的素材与上述得到的相应部位的形状、大小进行重合。
[0125]另外，手绘图像生成单元具体包括:
[0126]提取单元，用于提取各五官区域图像；
[0127]轮廓获取单元，用于分别根据各五官区域图像，获取各五官的轮廓；
[0128]匹配单元，用于将各五官的轮廓与样本素材库中的相应五官的轮廓进行匹配，以找到最接近的五官素材；
[0129]查找单元，用于根据五官素材与漫画素材的对应的关系，查找与所述最接近的五官素材相对应的漫画素材。
[0130]采用本发明所公开的肖像漫画生成方法及其装置，通过对照片的人脸进行识别，并从图片素材库中选取合适的元素并对选取的元素进行方法处理的方式，能够尽可能大地保留每个人的面部特征，从而能快速得到与真实人脸的相似度较高的漫画图片；同时，通过对选择的素材进行缩放、偏移等操作，可以对生成的图片进行变形以及素材的变化，可以得到不同风格的图片。
[0131]另外，本发明的方法及装置可以适应不同的图片的绘画风格，如铅笔手绘风格，卡通风格以及肖像画风格等，并且铅笔风格的画可以完全还原真实的铅笔画笔触，而卡通风格的画在照片的基础上二次创作，得到极简、可爱的风格，同时具有衍生出无限其他风格的可能性。
[0132]需要说明的是:
[0133]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0134]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0135]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0136]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0137]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0138]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器、客户端，和系统等设备中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0139]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
【权利要求】
1.一种肖像漫画生成方法，其特征在于，该方法包括下列步骤: 获取包含人脸的照片； 识别所述照片的各五官区域特征，并在漫画素材库查找相匹配的漫画五官素材； 根据所述漫画五官素材生成肖像漫画。
2.根据权利要求1所述的肖像漫画生成方法，其特征还在于，该方法还包括: 利用漫画素材库选择发型、配饰。
3.根据权利要求1或2所述的肖像漫画生成方法，其特征还在于，该方法还包括: 根据用户的输入对所述肖像漫画所包括的至少一个元素进行调整。
4.根据权利要求3所述的肖像漫画生成方法，其特征还在于，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括:改变其中至少一个五官的大小和/或位置。
5.根据权利要求4所述的肖像漫画生成方法，其特征还在于，所述改变其中至少一个五官的大小和/或位置，具体包括: 增大眼睛和/或调整眼睛的位置。
6.根据权利要求3-5任一项所述的肖像漫画生成方法，其特征还在于，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括: 根据用户喜好从漫画素材库选择发型，对肖像漫画中的发型进行替换。
7.根据权利要求3-6任一项所述的肖像漫画生成方法，其特征还在于，根据用户的输入对肖像漫画所包括的至少一个元素进行调整，具体包括:根据用户喜好从手绘素材库选择服饰素材，对肖像画添加服饰。
8.根据权利要求1-7任一项所述的肖像漫画生成方法，其特征还在于，根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材具体包括: 对所述照片进行人脸识别，得到五官的形状、位置和大小信息以及脸型和发型信息； 从漫画素材库中分别提取五官、脸型和发型的素材，并与上述得到的相应部位的形状、大小进行匹配，以获取匹配度最高的漫画素材；将所获取的漫画素材按照上述位置信息进行组合，形成肖像漫画图像。
9.根据权利要求8所述的肖像漫画生成方法，其特征还在于，与上述得到的相应部位的形状、大小进行匹配，具体包括: 对提取的漫画素材进行旋转、缩放和/或拉伸； 将旋转、缩放和/或拉伸后的素材与上述得到的相应部位的形状、大小进行重合。
10.一种肖像漫画生成装置，其特征在于，该装置包括: 漫画素材库，用于存储漫画五官素材、发型、配饰； 获取单元，用于获取包含人脸的照片； 匹配查找单元，用于根据各五官区域特征在漫画素材库查找相匹配的漫画五官素材； 漫画生成单元，用于根据所述漫画五官素材生成肖像漫画。
【文档编号】G06T3/00GK104463779SQ201410801968
【公开日】2015年3月25日 申请日期:2014年12月18日 优先权日:2014年12月18日
【发明者】赵青靓, 王林, 余道明, 赵立飞, 李渊, 李亚东 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司