个性化视频生成方法及系统的制作方法
【技术领域】
[0001] 本发明涉及图像处理领域，具体涉及一种个性化视频生成方法及系统。
【背景技术】
[0002] 随着现代生活水平的不断提高，人们对于娱乐的需求也越来越多样化。目前随着 视频内容的多样性，视频压缩技术的成熟，存储技术的提高，出现了将用户人脸图像替换为 视频中主要人物的人脸图像的产品，从而可以让用户参与到视频内容中。所述产品受到了 越来越多用户的关注与喜爱。现有的将用户人脸图像替换视频中主要人物的人脸图像的方 法，主要是通过简单的抠图技术：即将用户人脸从用户图像中抠出后，直接贴到视频中相应 主要人物的人脸出现的位置，对替换后的人脸图像进行简单的拉伸或放缩以适应视频中的 位置，得到替换人脸图像后的视频。通过现有方法得到的替换后的视频中，每帧图像中的人 脸图像不会因为视频场景的变化而变化，甚至在有些视频场景中替换后的图像感觉比较奇 怪，不能给用户一种代入感，长时间观看所述视频会给人一种简单枯燥的感觉。因此，如何 将用户人脸图像与视频中主要人物的人脸图像相应替换起来，带给用户一种代入感，提高 视频与用户的互动性和娱乐性的方法具有重要意义。
【发明内容】
[0003] 本发明实施例提供一种个性化视频生成方法及系统，以提高个性化视频与用户的 互动性和娱乐性，提升用户体验度。
[0004] 为此，本发明提供如下技术方案：
[0005] -种个性化视频生成方法，包括：
[0006] 获取包含人脸的用户图像；
[0007] 提取所述用户图像中的人脸图像；
[0008] 获取目标视频；
[0009] 将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变 化动态调整替换后的人脸图像，得到个性化视频。
[0010] 优选地，所述将所述人脸图像替换掉所述目标视频中待匹配人物的人脸包括：
[0011] 提取所述目标视频中待匹配人物的人脸基础图像；
[0012] 根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替换所述目标视 频中待匹配人物人脸的目标三维人脸模型；
[0013] 图像替换过程，所述图像替换过程包括：对于待匹配人物出现的每一帧图像，将所 述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模型，得到替换后的图 像。
[0014] 优选地，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替 换所述目标视频中待匹配人物人脸的目标三维人脸模型包括：
[0015] 根据所述待匹配人物的人脸基础图像及预先构建的人脸通用模型构建匹配替换 丰旲型；
[0016] 根据所述人脸图像及所述人脸通用模型构建用户图像中人脸的三维人脸模型；
[0017] 分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模型进行区域划 分；
[0018] 以划分的区域为单位，将所述匹配替换模型各区域的模型替换为所述用户图像中 人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频中待匹配人物人脸的目 标二维人脸模型。
[0019] 优选地，所述根据所述人脸图像及所述待匹配人物的人脸基础图像，确定用于替 换所述目标视频中待匹配人物人脸的目标三维人脸模型还包括：
[0020] 对所述目标三维人脸模型各区域的形状和/或纹理进行平滑处理。
[0021] 优选地，所述对所述目标三维人脸模型各区域的形状进行平滑处理包括：
[0022] 对所述目标三维人脸模型进行仿射变换，得到仿射变换结果；
[0023] 根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。
[0024] 优选地，所述对目标三维人脸模型各区域的纹理进行平滑处理包括：
[0025] 分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑 区域；
[0026] 计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待 平滑区域中心点的距离；
[0027] 根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值；
[0028] 计算所述目标三维人脸模型中待平滑区域的纹理均值；
[0029] 根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待 平滑区域的纹理均值，计算纹理均值差；
[0030] 将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。
[0031] 优选地，所述根据视频场景的变化动态调整替换后的人脸图像包括：
[0032] 对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所 述待匹配人物的人脸基础图像进行对比；
[0033] 如果发生变化，则调整替换后的图像中的目标三维人脸模型。
[0034] 优选地，所述如果发生变化，则调整替换后的图像中的目标三维人脸模型包括以 下任意一种或多种：
[0035] 如果待匹配人物的姿态发生变化，则根据当前帧图像中待匹配人物的旋转角度， 将替换后的图像中的目标三维人脸模型旋转相同角度；
[0036] 如果待匹配人物的光照发生变化，则构建待匹配人物所在当前帧的人脸纹理蒙 版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上；
[0037] 如果待匹配人物的表情发生变化，则按以下方式调整替换后的图像中的目标三维 人脸t吴型：
[0038] 根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域 及表情；
[0039] 根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表 情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型；
[0040] 将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模 型。
[0041] 优选地，所述根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所 述区域及表情对应的重构模型包括：
[0042] 从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型；
[0043] 将所有候选模型进行融合，得到所述重构模型；或者
[0044] 计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选 模型作为所述重构模型。
[0045] 优选地，所述目标视频为以下任意一种：
[0046] 用户上传的视频；
[0047] 应用系统从视频库中随机选择的视频；
[0048] 应用系统向用户推荐的视频。
[0049] 优选地，所述方法还包括：提取所述用户图像的图像特征信息；
[0050] 所述获取目标视频包括：根据所述图像特征信息从视频库中获取目标视频。
[0051] 优选地，所述提取所述用户图像的图像特征信息包括：
[0052] 获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、 肤质、是否带眼镜和颜值信息；
[0053] 计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星；
[0054] 获取所述待推荐图像的拍摄时间。
[0055] 优选地，所述根据所述图像特征信息从视频库中获取目标视频包括：
[0056] 提取所述视频库的各视频中主要人物的人脸特征信息；
[0057] 计算所述图像特征信息与所述人脸特征信息之间的距离；
[0058] 选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配 人物。
[0059] 一种个性化视频生成系统，包括：
[0060] 用户图像获取模块，用于获取包含人脸的用户图像；
[0061] 人脸图像提取模块，用于提取所述用户图像中的人脸图像；
[0062] 目标视频获取模块，用于获取目标视频；
[0063] 个性化视频生成模块，用于生成个性化视频，所述个性化视频生成模块包括：图像 替换模块和图像调整模块：所述图像替换模块用于将所述人脸图像替换掉所述目标视频中 待匹配人物的人脸，所述图像调整模块用于根据视频场景的变化动态调整替换后的人脸图 像。
[0064] 优选地，所述图像替换模块包括：
[0065] 基础图像提取单元，用于提取所述目标视频中待匹配人物的人脸基础图像；
[0066] 目标三维人脸模型确定单元，用于根据所述人脸图像及所述待匹配人物的人脸基 础图像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型；
[0067] 图像替换单元，用于执行图像替换过程，所述图像替换过程包括：对于待匹配人物 出现的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替 换模型，得到替换后的图像。
[0068] 优选地，所述目标三维人脸模型确定单元包括：
[0069] 匹配模型构建子单元，用于根据所述待匹配人物的人脸基础图像及预先构建的人 脸通用模型构建匹配替换模型；
[0070] 三维模型构建子单元，用于根据所述人脸图像及所述人脸通用模型构建用户图像 中人脸的二维人脸模型；
[0071] 区域划分子单元，用于分别对所述匹配替换模型和所述用户图像中人脸的三维人 脸模型进行区域划分；
[0072] 目标模型生成子单元，用于以划分的区域为单位，将所述匹配替换模型各区域的 模型替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标 视频中待匹配人物人脸的目标三维人脸模型。
[0073] 优选地，所述目标三维人脸模型确定单元还包括：
[0074] 平滑处理子单元，用于对所述模型生成子单元得到的目标三维人脸模型进行平滑 处理；所述平滑处理子单元包括形状处理子单元和/或纹理处理子单元；所述形状处理子 单元用于对所述目标三维人脸模型各区域的形状进行平滑处理；所述纹理处理子单元用于 对所述目标三维人脸模型各区域的纹理进行平滑处理。
[0075] 优选地，所述形状处理子单元包括：
[0076] 仿射变换子单元，用于对所述目标三维人脸模型进行仿射变换，得到仿射变换结 果；
[0077] 插值计算子单元，用于根据所述匹配替换模型和径向基函数，对所述仿射变换结 果进行插值计算。
[0078] 优选地，所述纹理处理子单元包括：
[0079] 平滑区域划分子