变换结果； 根据所述匹配替换模型和径向基函数，对所述仿射变换结果进行插值计算。6. 根据权利要求4所述的方法，其特征在于，所述对目标三维人脸模型各区域的纹理 进行平滑处理包括： 分别划分所述目标三维人脸模型和所述匹配替换模型的非待平滑区域和待平滑区 域； 计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹配替换模型中待平滑 区域中心点的距离； 根据所述距离计算所述匹配替换模型中待平滑区域的纹理均值； 计算所述目标三维人脸模型中待平滑区域的纹理均值； 根据所述匹配替换模型中待平滑区域的纹理均值及所述目标三维人脸模型中待平滑 区域的纹理均值，计算纹理均值差； 将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。7. 根据权利要求2至6任一项所述的方法，其特征在于，所述根据视频场景的变化动态 调整替换后的人脸图像包括： 对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物的人脸图像与所述待 匹配人物的人脸基础图像进行对比； 如果发生变化，则调整替换后的图像中的目标三维人脸模型。8. 根据权利要求7所述的方法，其特征在于，所述如果发生变化，则调整替换后的图像 中的目标三维人脸模型包括以下任意一种或多种： 如果待匹配人物的姿态发生变化，则根据当前帧图像中待匹配人物的旋转角度，将替 换后的图像中的目标三维人脸模型旋转相同角度； 如果待匹配人物的光照发生变化，则构建待匹配人物所在当前帧的人脸纹理蒙版，并 将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上； 如果待匹配人物的表情发生变化，则按以下方式调整替换后的图像中的目标三维人脸 丰旲型： 根据表情变化情况，确定替换后的图像中的目标三维人脸模型中需要变化的区域及表 情； 根据所述需要变化的区域及表情、以及预先构建的表情库，确定与所述区域及表情对 应的重构模型，所述表情库中包含不同用户不同表情的三维人脸局部模型； 将替换后的图像中的目标三维人脸模型中需要变化的区域替换为对应的重构模型。9. 根据权利要求8所述的方法，其特征在于，所述根据所述需要变化的区域及表情、以 及预先构建的表情库，确定与所述区域及表情对应的重构模型包括： 从所述表情库中选出与所述需要变化的区域及表情对应的所有候选模型； 将所有候选模型进行融合，得到所述重构模型；或者 计算各候选模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型 作为所述重构模型。10. 根据权利要求1至6任一项所述的方法，其特征在于，所述目标视频为以下任意一 种： 用户上传的视频； 应用系统从视频库中随机选择的视频； 应用系统向用户推荐的视频。11. 根据权利要求1至6任一项所述的方法，其特征在于，所述方法还包括：提取所述 用户图像的图像特征信息； 所述获取目标视频包括：根据所述图像特征信息从视频库中获取目标视频。12. 根据权利要求11所述的方法，其特征在于，所述提取所述用户图像的图像特征信 息包括： 获取用户属性相关信息，所述用户属性相关信息包括年龄、化妆情况、表情信息、肤质、 是否带眼镜和颜值信息； 计算所述人脸与明星的相似度，确定与所述人脸相似度最高的明星； 获取所述待推荐图像的拍摄时间。13. 根据权利要求11所述的方法，其特征在于，所述根据所述图像特征信息从视频库 中获取目标视频包括： 提取所述视频库的各视频中主要人物的人脸特征信息； 计算所述图像特征信息与所述人脸特征信息之间的距离； 选择距离最小的视频作为目标视频，并将所述目标视频中的主要人物作为待匹配人 物。14. 一种个性化视频生成系统，其特征在于，包括： 用户图像获取模块，用于获取包含人脸的用户图像； 人脸图像提取模块，用于提取所述用户图像中的人脸图像； 目标视频获取模块，用于获取目标视频； 个性化视频生成模块，用于生成个性化视频，所述个性化视频生成模块包括：图像替换 模块和图像调整模块：所述图像替换模块用于将所述人脸图像替换掉所述目标视频中待匹 配人物的人脸，所述图像调整模块用于根据视频场景的变化动态调整替换后的人脸图像。15. 根据权利要求14所述的系统，其特征在于，所述图像替换模块包括： 基础图像提取单元，用于提取所述目标视频中待匹配人物的人脸基础图像； 目标三维人脸模型确定单元，用于根据所述人脸图像及所述待匹配人物的人脸基础图 像，确定用于替换所述目标视频中待匹配人物人脸的目标三维人脸模型； 图像替换单元，用于执行图像替换过程，所述图像替换过程包括：对于待匹配人物出现 的每一帧图像，将所述目标三维人脸模型替换当前帧图像中待匹配人物的人脸匹配替换模 型，得到替换后的图像。16. 根据权利要求15所述的系统，其特征在于，所述目标三维人脸模型确定单元包括： 匹配模型构建子单元，用于根据所述待匹配人物的人脸基础图像及预先构建的人脸通 用模型构建匹配替换模型； 三维模型构建子单元，用于根据所述人脸图像及所述人脸通用模型构建用户图像中人 脸的二维人脸模型； 区域划分子单元，用于分别对所述匹配替换模型和所述用户图像中人脸的三维人脸模 型进行区域划分； 目标模型生成子单元，用于以划分的区域为单位，将所述匹配替换模型各区域的模型 替换为所述用户图像中人脸的三维人脸模型对应区域的模型，得到用于替换所述目标视频 中待匹配人物人脸的目标三维人脸模型。17. 根据权利要求16所述的系统，其特征在于，所述目标三维人脸模型确定单元还包 括： 平滑处理子单元，用于对所述模型生成子单元得到的目标三维人脸模型进行平滑处 理；所述平滑处理子单元包括形状处理子单元和/或纹理处理子单元；所述形状处理子单 元用于对所述目标三维人脸模型各区域的形状进行平滑处理；所述纹理处理子单元用于对 所述目标三维人脸模型各区域的纹理进行平滑处理。18. 根据权利要求17所述的系统，其特征在于，所述形状处理子单元包括： 仿射变换子单元，用于对所述目标三维人脸模型进行仿射变换，得到仿射变换结果； 插值计算子单元，用于根据所述匹配替换模型和径向基函数，对所述仿射变换结果进 行插值计算。19. 根据权利要求17所述的系统，其特征在于，所述纹理处理子单元包括： 平滑区域划分子单元，用于分别划分所述目标三维人脸模型和所述匹配替换模型的非 待平滑区域和待平滑区域； 距离计算子单元，用于计算所述匹配替换模型中非待平滑区域上每个三维点到所述匹 配替换模型中待平滑区域中心点的距离； 第一计算子单元，用于根据所述距离计算所述匹配替换模型中待平滑区域的纹理均 值； 第二计算子单元，用于计算所述目标三维人脸模型中待平滑区域的纹理均值； 均值差计算子单元，用于根据所述匹配替换模型中待平滑区域的纹理均值及所述目标 三维人脸模型中待平滑区域的纹理均值，计算纹理均值差； 叠加子单元，用于将所述纹理均值差叠加到所述目标三维人脸模型中待平滑区域。20. 根据权利要求15至19任一项所述的系统，其特征在于，所述图像调整模块包括： 图像对比单元，用于对于待匹配人物出现的每一帧图像，将当前帧图像中待匹配人物 的人脸图像与所述待匹配人物的人脸基础图像进行对比； 目标模型调整单元，用于在当前帧图像中待匹配人物的人脸图像与所述待匹配人物的 人脸基础图像发生变化的情况下，调整替换后的图像中的目标三维人脸模型。21. 根据权利要求20所述的系统，其特征在于，所述目标模型调整单元包括以下任意 一个或多个子单元： 姿态调整子单元，用于在待匹配人物的姿态发生变化时，根据当前帧图像中待匹配人 物的旋转角度，将替换后的图像中的目标三维人脸模型旋转相同角度； 光照调整子单元，用于在待匹配人物的光照发生变化时，构建待匹配人物所在当前帧 的人脸纹理蒙版，并将所述人脸纹理蒙版叠加到替换后的图像中的目标三维人脸模型上； 表情调整子单元，用于在待匹配人物的表情发生变化时，调整替换后的图像中的目标 三维人脸模型，所述表情调整子单元包括： 区域及表情确定子单元，用于根据表情变化情况，确定替换后的图像中的目标三维人 脸模型中需要变化的区域及表情； 重构模型确定子单元，用于根据所述需要变化的区域及表情、以及预先构建的表情库， 确定与所述区域及表情对应的重构模型，所述表情库中包含不同用户不同表情的三维人脸 局部模型； 区域替换子单元，用于将替换后的图像中的目标三维人脸模型中需要变化的区域替换 为对应的重构模型。22. 根据权利要求21所述的系统，其特征在于， 所述重构模型确定子单元，具体用于从所述表情库中选出与所述需要变化的区域及表 情对应的所有候选模型；将所有候选模型进行融合，得到所述重构模型；或者计算各候选 模型与所述需要变化的区域及表情的匹配度，选择匹配度最高的候选模型作为所述重构模 型。23. 根据权利要求14至19任一项所述的系统，其特征在于，所述目标视频为以下任意 一种： 用户上传的视频； 应用系统从视频库中随机选择的视频； 应用系统向用户推荐的视频。24. 根据权利要求14至19任一项所述的系统，其特征在于，所述系统还包括：特征提 取模块，用于提取所述用户图像的图像特征信息； 所述目标视频获取模块，具体用于根据所述特征提取模块提取的图像特征信息从视频 库中获取目标视频。25. 根据权利要求24所述的系统，其特征在于，所述特征提取模块包括： 用户属性获取单元，用于获取用户属性相关信息，所述用户属性相关信息包括年龄、化 妆情况、表情信息、肤质、是否带眼镜和颜值信息； 相似度计算单元，用于计算所述人脸与明星的相似度，确定与所述人脸相似度最高的 明星； 拍摄时间获取单元，用于获取所述待推荐图像的拍摄时间。26. 根据权利要求24所述的系统，其特征在于，所述目标视频获取模块包括： 主要人物特征提取单元，用于提取所述视频库的各视频中主要人物的人脸特征信息； 特征距离计算单元，用于计算所述图像特征信息与所述人脸特征信息之间的距离； 目标视频选择单元，用于选择距离最小的视频作为目标视频，并将所述目标视频中的 主要人物作为待匹配人物。
【专利摘要】本发明公开一种个性化视频生成方法及系统，该方法包括：获取包含人脸的用户图像；提取所述用户图像中的人脸图像；获取目标视频；将所述人脸图像替换掉所述目标视频中待匹配人物的人脸，并根据视频场景的变化动态调整替换后的人脸图像，得到个性化视频。利用本发明，可以提高个性化视频与用户的互动性和娱乐性，提升用户体验度。
【IPC分类】G06K9/62, G06T17/00, G06T15/00, G06T7/00
【公开号】CN105118082
【申请号】CN201510467723
【发明人】吴子扬, 陈磊, 杨溥, 王影
【申请人】科大讯飞股份有限公司
【公开日】2015年12月2日
【申请日】2015年7月30日