一种视频移植换脸的方法
【专利摘要】本发明公开了一种视频移植换脸的方法，包括步骤：给定两段带有人脸的视频A和视频B，欲用A视频中的人脸来替换B视频中的人脸；检测出视频A中有人脸的帧，对视频中人脸做特征点定位，并将结果保存在数据库中；检测出视频B中有人脸的帧，对视频中人脸做特征点定位，并根据所检测出的人脸特征点，在视频A所产生的数据库中寻找与其最为相似的脸；在利用定位出的人脸的特征点的基础上，将人脸区域分成多个三角区域，并根据特征点的坐标计算出所有特征点的目标特征点，依据特征点和目标特征点的位置对人脸划分的所有三角区域做仿射变换，再用变形后的视频A的脸替换掉视频B的脸；对人脸边缘和视频颜色做出调整，从而实现对视频内容的非线性编辑。
【专利说明】
-种视频移植换脸的方法
技术领域：
[0001] 本发明属于视频、图像处理领域，具体设及一种视频移植换脸的方法。
【背景技术】：
[0002] 随着社交网络和智能手机的普及，人们越来越习惯于用视频记录自己的生活，比 如吃饭、旅游或演唱会等。人们有时会想将一张图片中的脸替换为其他人的脸，先有的 Photoshop等工具可W满足其需要，但是当人们想对视频进行类似的处理的时候却没有一 种好的解决方案。现有的视频编辑方法都是对视频的线性编辑，很难满足大众的要求，因而 提出一种对视频内容的非线性编辑方法显得十分必要。
【发明内容】
：
[0003] 本发明的目的在于克服现有技术的不足，提供了一种视频移植换脸的方法，其能 够确保用该方法对整段视频中的人脸进行移植替换，从而满足大众对视频特别是自拍视频 的处理要求。
[0004] 为了达到上述目的，本发明采用的技术方案是：
[0005] -种视频移植换脸的方法，包括W下步骤：
[0006] 1)给定两段带有人脸的视频A和视频B，欲用A视频中的人脸来替换B视频中的人 脸；
[0007] 2)检测出视频A中有人脸的帖，对视频中人脸做特征点定位，并将结果保存在数据 库中；
[000引3)检测出视频B中有人脸的帖，对视频中人脸做特征点定位，并根据所检测出的人 脸特征点，在视频A所产生的数据库中寻找与其最为相似的脸；
[0009] 4)在利用定位出的人脸的特征点的基础上，将人脸区域分成多个=角区域，并根 据特征点的坐标计算出所有特征点的目标特征点，依据特征点和目标特征点的位置对人脸 划分的所有=角区域做仿射变换，再用变形后的视频A的脸替换掉视频B的脸；
[0010] 5)对人脸边缘和视频颜色做出调整，从而实现对视频内容的非线性编辑。
[0011] 本发明进一步的改进在于，步骤3)的具体实现步骤如下：
[001^ 从视频B得到一帖图像Iin,假设Sin表示其检测出的人脸特征点的形状，假设Xi是图 像Iin中第i个特征点的位置，X为第i个特征点在平均形状处的位置;依据下述公式计算出其 尺度、平移的系数S，t:
[0013]
[0014] 通过S，t，对Sin进行尺度，平移归一化得到Sin'
[0015] S'in=S*Sin+t
[0016] 然后对归一化后的Sin'和数据库中的形状比较，选用欧式距离，找到其在数据库中 最为接近的人脸的标号idx:
[0017]
[001引其中，M表示数据库中有M个人脸。
[0019] 本发明进一步的改进在于，使用Delaunay triangulation方法将脸部依照检测出 来的特征点分为多个小=角形区域，得到运些=角形区域后，将对运些=角形进行仿射变 换；
[0020] 假设一对S角形，其对应的顶点位置为[(Xi，Yi)，（ Xi，y 1) ]，[ (X2，Y2)，（ X2，y2)]，及 [村3八3)，^3,73)]，则对于^角形中的任意一个点^，7)满足下面的方程，求解出其对应的 位置如下：
[0021] Ax+By+CX+D = 0
[0022] 其中
[0023]
[0024] O
[0025] 本发明进一步的改进在于，步骤5)中，分=步对替换的人脸的边缘和视频颜色做 出调整：
[00%]第一步，首先调整人脸的亮度
[0027]按照下式计算该人脸中所有像素点的平均亮度：
[002引
[0029] 其中P表示像素点的亮度，F表示人脸区域；
[0030] 依下式调整人脸的亮度：
[0031]
[0032] 其中Fd表示位于人脸区域的所有的像素点；
[0033] 第二步，对人脸进行gamma仿射变换，将替换的人脸映射为原人脸的[10% ,90% ] 的区域；
[0034] 第=步，对人脸边缘做高斯模糊处理，从而实现对视频内容的非线性编辑。
[0035] 与现有技术相比，本发明的有益效果是：
[0036] 1)传统的针对图片的人脸替换方法需要手工的标记出人脸的轮廓，我们的方法可 W通过人脸特征点定位的方法可W自动的实现运一过程，极大的节省了各项成本。
[0037] 2)传统的针对图片的人脸替换方法需要人工从一堆要替换中的人脸中选取最相 像的一张脸，而我们的算法可W自动的从数据库中挑选出要替换的人脸最为相近的人脸， 运进一步的节省了成本，提高了效率。
[0038] 3)传统的针对图片的人脸替换方法得到替换后的人脸，还需要对要替换的人脸进 行各种形状上的调整，极为耗时，我们的依据特征点定位的方法可W自动的实现运项功能， 进一步节省了成本，提高效率。
[0039] 4)传统的针对图片的人脸替换方法在替换人脸后还需要人手工的调整人脸的边 缘及人脸的颜色使得人脸可W融合的更好，我们的方法可W自动的实现运一过程。
[0040] 5)现有的视频编辑方法，只是从一段视频里剪辑出一小段或者将几段视频合成一 个视频的视频帖重新排列方法。本发明所说的编辑是指视频画面的编辑，效果良好，优点突 出。进一步地，传统的视频编辑方法无法满足大众对视频编辑的要求，该发明采用了视频内 容编辑的方法，确保了视频编辑的有效性。
【附图说明】：
[0041] 图1为本发明的说明示意图。
[0042] 图2为计算放射变换矩阵过程示意图；其中，图2(a)为我们要变换成的形状，图2 (b)为我们将要进行仿射变换的图像，图2(c)为我们放射变化后的结果。
[0043] 图3为颜色及边界调整示意图；其中，图3(a)为颜色和边缘调整之前的图像，图3 (b)为颜色和边缘调整之后的图像。
[0044] 图4和5为本发明部分结果示意图。其中，图4中第一列是要替换的人脸，第二列是 选出的与第一列最相似的人脸，第=列是最终替换的结果。图5表示本发明在另外一些视频 上的结果示意图。
【具体实施方式】：
[0045] 下面结合附图和实施例对本发明进一步详细说明。
[0046] 如图1所示，本发明一种视频移植换脸的方法，通过W下步骤实现：
[0047] 1.寻找最相似的脸
[0048] 参见附图1，从视频B得到一帖图像Iin,假设Sin表示其检测出的人脸特征点的形 状。假设Xi是图像Iin中第i个特征点的位置，X为第i个点在平均形状处的位置。首先依下述 公式计算出其尺度，平移的系数S，t
[0049]
、'
[(K)加]通过S，t，对Sin进行尺度，平移归一化得到Sin' .
[0051] in =S ? Sin+t
[0052] 然后对归一化后的Sin'和数据库中的形状比较，运里选用了欧式距离，找到其在数 据库中最为接近的人脸。
[0化3]
[0054] 运里M表示数据库中有M个人脸，Si'表示数据库中存储的第i个归一化后的人脸形 状。idx表示最终在数据库中所选取的人脸的标号。
[0055] 2.计算仿射变换矩阵
[0056] 参见附图2,运里将脸部依照检测出来的特征点分为多个小=角形区域，运里使用 了Delaunay triangulation方法。得到运些S角形区域后，将对运些S角形进行仿射变换。 如附图2所示，（a)表示要变换成的形状，（b)表示将要进行仿射变换的图像，（C)表示放射变 化后的结果。运里假设一对S角形，其对应的顶点位置为[(Xi，Yi)，（xi，yi)]，[(&，Y2)，（X2, 72)]，及[地术），^3,73)]，则对于；角形中的任意一个点山7)满足下面的方程，可^求解 出其想对应的位置。
[0057] Ax+By+CX+D = 0 [0化引 其中
[0化9]
[0060]
[0061] 3.颜色及边缘调整
[0062] 参见附图3,（a)是颜色和边缘调整之前的图像，（b)是颜色和边缘调整之后的图 像。运里本发明共分=步来进行调整。
[0063] 第一步，首先调整人脸的亮度。通过计算该人脸中所有像素点的平均亮度。如下式 所示，其中P表示像素点的亮度，F表示人脸区域。
[0064]
[0065] 的亮度
[0066]
[0067] 其中Fd表示位于人脸区域的所有的像素点。
[0068] 第二步，对人脸进行gamma仿射变换，将替换的人脸映射为原人脸的[10% ,90% ] 的区域。
[0069] 第=步，对边缘做高斯模糊处理，使得人脸能够融合的更好。
[0070] 附图4,5是本发明结果的示例。图4,第一列是我们要替换的人脸，第二列是本发明 选出的与第一列最相似的人脸，第=列是最终替换的结果。图5表示本发明在另外一些视频 上的结果。
【主权项】
1. 一种视频移植换脸的方法，其特征在于，包括以下步骤： 1) 给定两段带有人脸的视频A和视频B，欲用A视频中的人脸来替换B视频中的人脸； 2) 检测出视频A中有人脸的帧，对视频中人脸做特征点定位，并将结果保存在数据库 中； 3) 检测出视频B中有人脸的帧，对视频中人脸做特征点定位，并根据所检测出的人脸特 征点，在视频A所产生的数据库中寻找与其最为相似的脸； 4) 在利用定位出的人脸的特征点的基础上，将人脸区域分成多个三角区域，并根据特 征点的坐标计算出所有特征点的目标特征点，依据特征点和目标特征点的位置对人脸划分 的所有三角区域做仿射变换，再用变形后的视频A的脸替换掉视频B的脸； 5) 对人脸边缘和视频颜色做出调整，从而实现对视频内容的非线性编辑。2. 根据权利要求1所述的一种视频移植换脸的方法，其特征在于，步骤3)的具体实现步 骤如下： 从视频B得到一帧图像Iin，假设Sin表示其检测出的人脸特征点的形状，假设X1是图像I in 中第i个特征点的位置，X为第i个特征点在平均形状处的位置;依据下述公式计算出其尺 度、平移的系数s，t:通过s，t，对Sin进行尺度，平移归一化得到Sin ' S in -S · Sin+t 然后对归一化后的Sin'和数据库中的形状比较，选用欧式距离，找到其在数据库中最为 接沂的人睑的标号其中，M表示数据库中有M个人脸。3. 根据权利要求1所述的一种视频移植换脸的方法，其特征在于，步骤4)中，使用 Delaunay triangulation方法将脸部依照检测出来的特征点分为多个小三角形区域，得到 这些三角形区域后，将对这些三角形进行仿射变换； 假设一对三角形，其对应的顶点位置为[(X1，Y1)，（X1，y 1)]，[(X2，Y2)，（x2，y2)]，&[(X 3， ￥3)，（13,73)]，则对于三角形中的任意一个点（1，7)满足下面的方程，求解出其对应的位置 如下： Ax+By = +CX+D = 0 其中O4.根据权利要求1所述的一种视频移植换脸的方法，其特征在于，步骤5)中，分三步对 替换的人脸的边缘和视频颜色做出调整： 第一步，首先调整人脸的亮度 桉照下式计筧该人睑中所有像素点的平均亮度：其中P表示像素点的亮度，F表示人脸区域； 依下式调整人脸的亮度：其中Fd表示位于人脸区域的所有的像素点； 第二步，对人脸进行gamma仿射变换，将替换的人脸映射为原人脸的[10% ,90% ]的区 域； 第三步，对人脸边缘做高斯模糊处理，从而实现对视频内容的非线性编辑。
【文档编号】G06T3/00GK106023063SQ201610301352
【公开日】2016年10月12日
【申请日】2016年5月9日
【发明人】王进军, 侯骐麒, 牟伦新
【申请人】西安北升信息科技有限公司