一种图像处理方法及系统的制作方法

一种图像处理方法及系统的制作方法
【专利摘要】本发明提供了一种图像处理方法及系统，包括：根据至少一张包含第一人物的图像，模拟出第一人物的模型；确定包含第二人物的目标图像；确定在目标图像中显示第二人物的特征信息；在第一人物的模型中根据所述特征信息调整第一人物的显示；在目标图像中，将第二人物替换为显示调整后的第一人物。本发明提供的技术方案解决了图像处理替换前后人物之间没有联系，使得替换后的人物与背景出现不协调、冲突等问题。
【专利说明】一种图像处理方法及系统

【技术领域】
[0001] 本发明涉及图像处理技术，特别涉及一种图像处理方法及系统。

【背景技术】
[0002] 现有技术在进行图像处理，将图像中的一个人物替换到另一张图像中时，只是简 单的将一个人物的头部或者面部沿着轮廓裁剪下来，叠加在另一个人物的图像相应位置， 类似于大头贴的效果。一方面，其所替换的人物会因光照、视角等与背景不一致而会出现人 物与背景颜色相冲突、色调不搭配的情况；另一方面，当把人物面部替换到另外一个人的面 部时，只能保留原来人物的表情，而这表情通常都与背景不一致，这种按现有技术替换后出 现的人物与背景的不协调显然无法满足人们的需求。
[0003] 现有技术的不足在于：
[0004] 替换前后人物之间没有联系，使得替换后的人物与背景出现不协调、冲突等问题。


【发明内容】

[0005] 本发明针对上述问题，提出了一种图像处理方法及系统，用以解决了图像模拟替 换时，人物图像与所替换的图像背景不相符的问题。
[0006] 本发明实施例中提供了一种图像处理方法，可以包括如下步骤：
[0007] 根据至少一张包含第一人物的图像，模拟出第一人物的模型；
[0008] 确定包含第二人物的目标图像；
[0009] 确定在目标图像中显示第二人物的特征信息；
[0010] 在第一人物的模型中根据所述特征信息调整第一人物的显示；
[0011] 在目标图像中，将第二人物替换为显示调整后的第一人物。
[0012] 本发明实施例中提供了一种图像处理系统，可以包括：
[0013] 模型模拟模块，用于根据至少一张包含第一人物的图像，模拟出第一人物的模 型；
[0014] 目标图像确定模块，用于确定包含第二人物的目标图像；
[0015] 特征信息确定模块，用于确定在目标图像中显示第二人物的特征信息；
[0016] 调整显示模块，用于在第一人物的模型中根据所述特征信息调整第一人物的显 示；
[0017] 人物替换模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物。
[0018] 本发明有益效果如下：
[0019] 在本发明实施例提供的技术方案中，首先模拟出第一人物的模型，然后根据作为 被替代对象的第二人物在目标图像中显示的特征信息进行调整，这样，使得第一人物与第 二人物在目标图像中都具备同样的显示特征，从而克服了替换后与目标图像背景等不协调 的问题。

【专利附图】

【附图说明】
[0020] 下面将参照附图描述本发明的具体实施例，其中：
[0021] 图1为本发明实施例中图像处理方法实施流程示意图；
[0022] 图2为本发明实施例中人脸检测算法实施流程示意图；
[0023] 图3为本发明实施例中提取Haar-1 ike特征示意图；
[0024] 图4为本发明实施例中积分图的方法实施流程示意图；
[0025] 图5为本发明实施例中瀑布型级联检测器示意图；
[0026] 图6为本发明实施例中标定的人脸面部示意图；
[0027] 图7为本发明实施例中局部特征的创建过程示意图；
[0028] 图8为本发明实施例中计算每个特征点的新位置的方法实施流程示意图；
[0029] 图9为本发明实施例中人脸检测结果示意图；
[0030] 图10为本发明实施例中二维人脸重建实施流程不意图；
[0031] 图11为本发明实施例中原始图像和三维模型示意图；
[0032] 图12为本发明实施例中模型的表情实例示意图；
[0033] 图13为本发明实施例中人物表情特征点示意图；
[0034] 图14为本发明实施例中图像处理系统结构示意图。

【具体实施方式】
[0035] 为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发 明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并 不作为对本发明的限定。
[0036] 图1为图像处理方法实施流程示意图，如图1所示，可以包括如下步骤：
[0037] 步骤101 :根据至少一张包含第一人物的图像，模拟出第一人物的模型；
[0038] 步骤102 :确定包含第二人物的目标图像；
[0039] 步骤103 :确定在目标图像中显示第二人物的特征信息；
[0040] 步骤104 :在第一人物的模型中根据所述特征信息调整第一人物的显示；
[0041] 步骤105 :在目标图像中，将第二人物替换为显示调整后的第一人物。
[0042] 具体的，在对图像进行替换时，可以根据用户提供的图片或图像序列自动完成对 人物的编辑工作。例如可以如下：
[0043] a.用户提供一张或多张图片或者图像序列作为素材，其所有素材中均含有同一个 人物，即：第一人物；
[0044] b.系统根据用户提供的素材，模拟出该第一人物的模型。该模型可针对不同的视 角、光照等做出相应的调整，并且可做出不同的形变；
[0045] c.用户在图片或图像序列中指定另一个人物，S卩：第二人物；
[0046] d.系统检测出该指定的第二人物在每帧图像中的相关特征信息。这些特征信息是 指位置、轮廓、相对视角、光照及形变等特征；
[0047] e.在每帧图像上，将第一人物模型调整到第二人物在该帧图像的特性上，并替换 第二人物。
[0048] 实施中，对单张图像进行的提取、处理、调整、转换进行了说明，由于多张图像序列 和视频图像的每一帧均是由单张图像构成，因此，以本发明实施例提供的技术方案为基础， 可以容易的得出对多张或批量图片组成的图像序列，或者是对视频图像的处理，比如，一种 最简单的方式是：对图像序列或视频的每张图像进行替换处理后，再组成替换后的图像序 列或视频。如何在单张图像的处理基础上扩展至对整个图像序列或视频的处理，这是本领 域技术人员容易理解并作出相应修改的。
[0049] 实施中，本发明实施例中的人物可以是拟人化人物，如卡通人物、3D人物等，其不 仅限于人类的人物，也不必是自然存在的人物，在实施例中均称为"人物"。下面的实施例中 大多也是以人类的图像处理为例，这是因为其最具代表性，也最为复杂。所以这里以人像为 例进行说明；但是，本发明实施例提供的技术方案也可以用其它的图像处理，因为其披露的 是一种用于图像处理的涉及替换的方案，也即，只要是图像处理领域内所有的实现替换这 一目的的，都可以采用本发明实施例中的方案，理论上并不仅限于人物，只要是图案的替换 都可以，人像仅用于教导本领域技术人员具体如何实施本定明，但不意味仅能使用于人像， 实施过程中可以结合实践需要在相应的环境中使用。
[0050] 实施中，在根据至少一张包含第一人物的图像，模拟出第一人物的脸部的模型时， 可以包括：
[0051] 检测出第一人物的脸部的区域；
[0052] 在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；
[0053] 将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸三维3D模型上后获得 模拟出的第一人物的脸部的模型。
[0054] 具体的，根据模拟出的第一人物的模型，可以是人物全身的模型，也可以是人物脸 部的模型，实施例中将以人物脸部的实施为例，但本领域技术人员应当知晓，采用相应的图 像工具进行处理，即可获得不限于脸部的处理方式，比如人物全身的模型。
[0055] 以人物脸部的实施为例，可以如下：
[0056] a.从用户提供的图片或图像序列中检测出第一人物的人脸的位置和区域；
[0057] b.在检测出的人脸的区域里，确定人脸的五官的区域和脸颊的轮廓，如：眼睛、鼻 子、眉毛、嘴和耳朵；
[0058] c.将检测到的五官的区域和脸颊的轮廓，贴合到一个已有的人脸3维模型上，使 其能够自动的根据参数的设定，呈现不同的视角、光照和表情的变化。
[0059] 实施中，在确定在目标图像中显示第二人物的脸部的特征信息时，可以包括：
[0060] 检测出第二人物的脸部的区域；
[0061] 在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓；
[0062] 根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部 的特征信息。
[0063] 具体的，检测出指定的第二人物在每帧图像中的相关特性信息，可以如下：
[0064] a.从图片或图像序列中检测出第二人物的人脸的位置和区域；
[0065] b.在检测出的人脸的区域里，确定人脸的五官的区域和脸颊的轮廓，如：眼睛、鼻 子、眉毛、嘴和耳朵；
[0066] c.通过检测到的五官的区域和脸颊的轮廓，推断第二人物的相关特性信息。这些 特性信息包括视角、光照和表情的变化等。
[0067] 具体的，在检测出的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的 轮廓，可以采用ASM(Active Shape Model,主动形状模型）算法确定五官的区域和脸颊的轮 廓。
[0068] 在实施中，采用ASM算法来进行说明是因为ASM算法在人脸识别算法中比较典 型，也较为常用，容易被本领域技术人员理解实施，所以这里以ASM算法为例；但是，从理论 上来说，用其它的算法也是可以的，只要能够达到确定五官的区域和脸颊的轮廓这一目的 即可，例如可以米用AAM(Active Appearance Model，主动表现模型）或SDM(Supervised Descent Method，监督梯度下降法）等算法。因此，ASM算法仅用于教导本领域技术人员具 体如何实施本发明，但不意味仅能使用ASM算法，实施过程中可以结合实践需要来确定相 应的算法。
[0069] 实施中，将第二人物替换为显示调整后的第一人物，是根据第一人物的脸部的区 域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的第一人物的脸部。
[0070] 具体的，将第一人物模型进一步替换第二人物，可以如下：
[0071] a.根据第二人物的相关特征信息，调整第一人物的模型，使其与第二人物的相关 特性相仿；
[0072] b.通过检测到的五官的区域和脸颊的轮廓，将每帧图像中的第二人物的脸部区域 抹去；
[0073] c.在每帧图像中，将调整好的第一人物的模型放置在第二人物的脸部区域。
[0074] 实施中，在检测出的脸部的区域里，可以采用人脸识别算法确定五官的区域和脸 颊的轮廓。
[0075] 实施中，在目标图像中，将第二人物替换为显示调整后的第一人物之后，进一步可 以包括：
[0076] 为目标图像中的第一人物添加图像。
[0077] 这是便于对替换后的原人物添加道具等图像的，这些道具包括眼镜、帽子、衣服、 背包、以及鞋子等。
[0078] 实施中，以上根据用户提供的图片或图像序列中检测出第一人物或第二人物的脸 部的位置和区域的方法有很多种，如图3所示。
[0079] 所列方法中，基于统计模型的方法是目前比较流行的方法，具体可以参见：梁路宏 等所著《人脸检测研究综述》（载于计算机学报V〇125N 〇5May2002)，该方案具有较大的优越 性。其优点有：
[0080] 1、不依赖于人脸的先验知识和参数模型，可以避免不精确或不完整的知识造成的 错误；
[0081] 2、采用实例学习的方法获取模型的参数，统计意义上更加可靠；
[0082] 3、通过增加学习的实例可以扩种检测模式范围，提高鲁棒性。
[0083] 一、统计模型的方法
[0084] 2001年左右由Viola和Jones提出的基于集成机器学习的人脸检测算法相对于其 他方法具有明显优势，具体可参见：艾海舟等所著《人脸检测与检索》（载于自然科学基金 项目60273005);武勃等所著《基于连续adaboost算法的多视角人脸检测》（载于计算机研 究与发展，2005)。近期文献也表明目前尚未发现优于Viola和Jones方法的其他人脸检测 方法，具体可参见：N Degtyarev et al.所著的《Comparative Testing of Face Detection Algorithms》（Image and Signal Processing, 2010)。该方法不仅检测精度高，最关键的是 其运算速度大大快于其他方法。
[0085] Viola和Jones人脸检测方法中几个关键性步骤，具体可参见：Paul Viola and Michael Jones 所著《Rapid object detection using a boosted cascade of simple features〉〉（载于 Accepted Conference on Computer Vision and Pattern Recognition2001)：
[0086] 1、提取 Haar-1 ike 特征（Haar-1 ike features，哈尔特征）
[0087] Haar-like型特征是Viola等人提出的一种简单矩形特征，因为类似Haar小波而 得名。Haar型特征的定义是黑色矩形和白色矩形在图像子窗口中对应的区域的权重灰度级 总和之差。如图4所示，显示了两种最简单的特征算子。图4中可以看到，在人脸特定结构 处，算子计算得到较大的值。
[0088] 2、计算积分图
[0089] 算子数量庞大时上述计算量显得太大，Viola等人发明了积分图方法，使得计算 速度大大加快。如图5所示，点1处的值为A区域的像素积分，点2处的值为AB区域的像 素积分。对整张图片进行一次积分操作，便可以方便的计算出任一区域D像素积分值为 4+1 _2_3 〇
[0090] 3、训练 Adaboost 模型
[0091] 在离散Adaboost算法中，Haar-like特征算子计算结果减去某阈值，便可视 为一个人脸检测器。因为其准确率不高，称为弱分类器。Adaboost算法的循环中，首先 利用各种弱分类器对训练图片库进行分类，准确度最高的弱分类器保留下来，同时提高 判断错误的图片的权重，进入下一循环。最终将每次循环所保留的弱分类器组合起来， 成为一个准确的人脸检测器，称为强分类器。具体计算流程见，具体可参见：武勃等所 著《基于连续adaboost算法的多视角人脸检测》（载于计算机研究与发展，2005) ;Paul Viola and Michael Jones 所著《Rapid object detection using a boosted cascade of simple features》（载于 Accepted Conference on Computer Vision and Pattern Recognition2001)。
[0092] 4、建立瀑布型级联检测器
[0093] 瀑布型级联检测器是针对人脸检测速度问题提出的一种检测结构。如图6所示， 瀑布的每一层是一个由adaboost算法训练得到的强分类器。设置每层的阈值，使得大多数 人脸图像能够通过，在此基础上尽量抛弃反例。位置越靠后的层越复杂，具有越强的分类能 力。
[0094] 这样的检测器结构就想一系列筛孔大小递减的筛子，每一步都能筛除一些前面筛 子漏下的反例，最终通过所有筛子的样本被接受为人脸。瀑布型检测器训练算法，具体可 参见：武勃等所著《基于连续adaboost算法的多视角人脸检测》（载于计算机研究与发展 2005)。
[0095] 以上算法实现上，米用 OpenCV (Open Source Computer Vision Library，开源计算 机视觉库）人脸检测程序流程，具体程序源代码可参见如下网址所记载：
[0096] http ：//www. opencv. org. cn/index, php/% E4% BA% BA% E8% 84% B8% E6% A3% 80% E6% B5% 8B。
[0097] OpenCV是一个基于（开源）发行的跨平台计算机视觉库，可以运行在Linux、 Windows和Mac 0S操作系统上。它轻量级而且高效-由一系列C函数和少量C++类构成， 同时提供了 Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很 多通用算法。
[0098] OpenCV的人脸检测程序采用了 Viola和Jones人脸检测方法，主要是调用训练好 的瀑布级联分类器cascade来进行模式匹配。
[0099] cvHaarDetectObjects，先将图像灰度化，根据传入参数判断是否进行canny边缘 处理（默认不使用），再进行匹配。匹配后收集找出的匹配块，过滤噪声，计算相邻个数如果 超过了规定值（传入的min_neighbors)就当成输出结果，否则删去。
[0100] 匹配循环：将匹配分类器放大scale(传入值）倍，同时原图缩小scale倍， 进行匹配，直到匹配分类器的大小大于原图，则返回匹配结果。匹配的时候调用 cvRunHaarClassifierCascade来进行匹配，将所有结果存入CvSeq*Seq(可动态增长元素序 列），将结果传给 cvHaarDetectObjects。
[0101] cvRunHaarClassifierCascade函数整体是根据传入的图像和cascade来进行匹 配。并且可以根据传入的cascade类型不同（树型、stump (不完整的树）或其他的），进行 不同的匹配方式。
[0102] 函数cvRunHaarClassifierCascade用于对单幅图片的检测。在函数调用前首先 利用cvSetlmagesForHaarClassifierCascade设定积分图和合适的比例系数（=>窗口尺 寸）。当分析的矩形框全部通过级联分类器每一层的时返回正值（这是一个候选目标），否 则返回〇或负值。
[0103] 其中分类器的训练采用哈尔分类器，Haar分类器的训练是独立于人脸检测过程 的。分类器的训练分为两个阶段：
[0104] A.创建样本，用 OpenCV 自带的 creatsamples. exe 完成；
[0105] Β·训练分类器，生成xml文件，由OpenCV自带的haartraining. exe完成。
[0106] 训练过程，具体可参见如下1和2 :
[0107] Uhttp ://034080116. blog. 163. com/blog/static/334061912009641073715/ ；
[0108] 2、\OpenCV\apps\HaarTraining\doc\haartraining. doc ;
[0109] 以上地址中，地址1可以在博客中看到，地址2提供的哈尔训练的源文件可以在下 载安装后的openCVS安装包目录中找到。
[0110] 同时，OpenCV中米用的训练算法adaboost是gentle adaboost，为最适合人脸检 测的方案。具体可参见：
[0111] l>http ：//www. opencv. org. cn/forum/viewtopic. php ? f = l&t = 4264#pl5258
[0112] 2>http ：//www. opencv. org. cn/forum/viewtopic. php ? t = 3880
[0113] 举例来说，在检测的人脸区域内，确定人脸的五官区域，位置关系及脸颊的轮廓信 息，如：眼睛、鼻子、眉毛、嘴和耳朵等，可以通过有很多算法实现。本发明专利优先用ASM算 法，以下将对ASM算法进行介绍。
[0114] ASM 是一种基于分布模型（Point Distribution Model，PDM)的算法，在 PDM 中， 外形要相似的物体，例如人脸、人手、心脏、肺部等的几何形状可以通过若干关键特征点 (landmarks)的坐标依次串连形成一个形状向量来表示。本专利就以人脸为例来介绍该算 法的基本原理和方法。首先给出一个标定好68个关键特征点的人脸面部图片，如图6所示。 ASM在实际应用过程中，包括训练和搜索两个部分。
[0115] 一、ASM 的训练
[0116] ASM训练包括两个部分。
[0117] 1、建立形状模型：该部分由以下几个步骤组成
[0118] 1. 1搜集η个训练样本
[0119] 如果需要对人脸的面部关键区域进行ASM训练，就需要涉及η个含有人脸面部区 域的样本图片。需要提醒的是，搜集的图片只要里面含有人脸面部区域就可以了，这里不用 考虑图像尺寸的归一化等问题。
[0120] 1. 2手动记录下每个训练样本中的k个关键特征点
[0121] 如图7所示，对于训练集中任意一个图片而言，需要记录下若干个（图7中是68 个）关键特征点的位置坐标信息，并在文本文件中将该坐标信息保存。该步骤一般程序员 均可以写个小程序完成。程序每次加载一张训练样本，用户依次按照顺序点击图片中的关 键特征点，每点击一次，程序自动记录下当前鼠标点击的位置坐标，予以保存，供后面使用。
[0122] 1.3构建训练集的形状向量
[0123] 将一副图中标定的k个关键特征点组成一个形状向量。

【权利要求】
1. 一种图像处理方法，其特征在于，包括如下步骤： 根据至少一张包含第一人物的图像，模拟出第一人物的模型； 确定包含第二人物的目标图像； 确定在目标图像中显示第二人物的特征信息； 在第一人物的模型中根据所述特征信息调整第一人物的显示； 在目标图像中，将第二人物替换为显示调整后的第一人物。
2. 如权利要求1所述的方法，其特征在于，在根据至少一张包含第一人物的图像，模拟 出第一人物的脸部的模型时，包括： 检测出第一人物的脸部的区域； 在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓； 将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸三维3D模型上后获得模拟 出的第一人物的脸部的模型。
3. 如权利要求1或2所述的方法，其特征在于，在确定在目标图像中显示第二人物的脸 部的特征信息时，包括： 检测出第二人物的脸部的区域； 在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓； 根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二人物的脸部的特 征信息。
4. 如权利要求3所述的方法，其特征在于，将第二人物替换为显示调整后的第一人物， 是根据第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调 整后的第一人物的脸部。
5. 如权利要求4所述的方法，其特征在于，在第一人物的模型中根据所述特征信息调 整第一人物的脸部的显示时，所述特征信息为以下参数之一或者其组合：第二人物的脸部 的3D姿态、第二人物的脸部的基本动作单元AU的状态、第二人物的脸部的轮廓的长宽的比 例、第二人物的脸部的特征点周围的皮肤的亮暗程度。
6. 如权利要求3所述的方法，其特征在于，在检测出的脸部的区域里，采用人脸识别算 法确定五官的区域和脸颊的轮廓。
7. 如权利要求1至6任一所述的方法，其特征在于，在目标图像中，将第二人物替换为 显示调整后的第一人物之后，进一步包括： 为目标图像中的第一人物添加图像。
8. -种图像处理系统，其特征在于，包括： 模型模拟模块，用于根据至少一张包含第一人物的图像，模拟出第一人物的模型； 目标图像确定模块，用于确定包含第二人物的目标图像； 特征信息确定模块，用于确定在目标图像中显示第二人物的特征信息； 调整显示模块，用于在第一人物的模型中根据所述特征信息调整第一人物的显示； 人物替换模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物。
9. 如权利要求8所述的系统，其特征在于，所述模型模拟模块包括： 第一检测单元，用于检测出第一人物的脸部的区域； 第一确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓； 贴合单元，用于将检测到的五官的区域和脸颊的轮廓，贴合到已有的人脸3D模型上后 获得模拟出的第一人物的脸部的模型。
10. 如权利要求8或9所述的系统，其特征在于，所述目标图像确定模块包括： 第二检测单元，用于检测出第二人物的脸部的区域； 第二确定单元，用于在检测出的脸部的区域里，确定五官的区域和脸颊的轮廓； 特征单元，用于根据检测到的五官的区域和脸颊的轮廓，确定在目标图像中显示第二 人物的脸部的特征信息。
11. 如权利要求10所述的系统，其特征在于，所述特征信息确定模块进一步用于根据 第一人物的脸部的区域与第二人物的脸部的区域将第二人物的脸部替换为显示调整后的 第一人物的脸部。
12. 如权利要求11所述的系统，其特征在于，所述调整显示模块进一步用于在第一人 物的模型中根据以下参数之一或者其组合的所述特征信息调整第一人物的脸部的显示：第 二人物的脸部的3D姿态、第二人物的脸部的AU的状态、第二人物的脸部的轮廓的长宽的比 例、第二人物的脸部的特征点周围的皮肤的亮暗程度。
13. 如权利要求10所述的系统，其特征在于，所述调整显示模块进一步用于在检测出 的脸部的区域里，采用人脸识别算法确定五官的区域和脸颊的轮廓。
14. 如权利要求8至13任一所述的系统，其特征在于，进一步包括： 道具添加模块，用于在目标图像中，将第二人物替换为显示调整后的第一人物之后，为 目标图像中的第一人物添加图像。
【文档编号】G06T17/00GK104123749SQ201410352939
【公开日】2014年10月29日 申请日期:2014年7月23日 优先权日:2014年7月23日
【发明者】邢小月, 孟昭龙, 其他发明人请求不公开姓名 申请人:邢小月, 姜涌, 孟昭龙