一种深度写真影像重构表情同步视频生成方法与流程

本发明涉及计算机图像处理技术领域，具体涉及一种深度写真影像重构表情同步视频生成方法。

背景技术：

视频技术即动态图像传输，在电信领域被称为视频业务或视讯业务，在计算机界常常称为多媒体通信、流媒体（下载像流水）通信等。

随着移动互联网技术的发展，越来越多的人通过互联网进行互动交流。互联网初始阶段，人们在交流的过程中，大多数采用的是文字互动，即通过输入文字进行沟通，随着通信技术的发展和影像合成技术的进步，如今的人们已不再满足于普通的文字交流，在沟通的过程中更多地会掺杂一些短视频、动态图或动画表情等等。目前的交流过程中，人们一般只能通过现场拍摄视频，或从聊天软件的表情库中找到比较合适的表情来进行交流，不能根据实际输入的文字实时推送与真实表情高度吻合的短视频、动态图或表情图像等多媒体信息，因而不能形成原创个性的合成视频，互动性不强。

技术实现要素：

本发明的目的在于提供一种深度写真影像重构表情同步视频生成方法，以解决现有技术中导致的上述缺陷。

一种深度写真影像重构表情同步视频生成方法，包括如下步骤：

(1) 采用合作目标方式，录制实际人像视频，通过典型口型采集图像序列；

(2) 提取五官位置作为图像之间的匹配特征，使得帧间五官位置移动量保持在一个较小的范围；

(3) 将人像的典型口型进行预处理，并提取五官位置；

(4) 对嘴型进行重构，通过真实嘴型序列得到更多的嘴型表情，形成表情字典，存入数据库中；

(5) 识别输入文字的发音，查找表情字典；

(6) 将对应的带有不同嘴型的动态图片按照识别的输入文字顺序组合起来；

(7) 插值平滑视频序列形成与文字同步的动态视频。

优选的，所述步骤（1）中图像序列的采集装置为摄像机或摄像机组或手机摄像头。

优选的，所述步骤（7）中生成的动态视频将存入到存储设备中或通过互联网存入云数据库中。

优选的，所述步骤（7）中的动态视频可由动态图代替。

优选的，所述步骤（4）的表情字典中的表情按照一定顺序进行排序存储。

优选的，所述顺序可以是汉语拼音字母表顺序或英文字母表顺序。

本发明的优点在于：本发明利用影像合成技术形成短视频、动态图或表情包，通过摄像装置对被拍摄目标的多特征多状态样本采集，然后通过图像插值、重构形成表情字典，通过对输入文字的识别查询表情字典将这些图像合成在一起，形成原创个性的合成视频，该影像可由应用者进行网络分享或存储，丰富了人们交流的方式，所生成的视频或动态图与真实场景非常吻合，贴切实际，提高了人们交流的兴趣，相比传统聊天软件中的表情包，更加丰富多彩。

附图说明

图1为本发明所述的一种深度写真影像重构表情同步视频生成方法的流程框图。

图2为本发明所述的一种深度写真影像重构表情同步视频生成装置的原理框图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

如图1所示，一种深度写真影像重构表情同步视频生成方法，包括如下步骤：

(1) 安置摄像机或摄像机组，或调用手机摄像头，采用合作目标方式，录制实际人像视频，通过典型口型采集图像序列；

(2) 指示被拍摄人根据拼音提示进行表情录制，拼音提示可以是数量较多的深度模型或数量较少的元音模型，如a o e i u 等，要求被拍摄人根据提示做出表情，并进行图像或图像序列储存，提取五官位置作为图像之间的匹配特征，使得帧间五官位置移动量保持在一个较小的范围；

(3) 对嘴型进行重构，通过真实嘴型序列得到更多的嘴型表情，形成表情字典，通过人机交互输入语音或文字，设定要设计的文字语句，存入数据库中；

(4) 识别输入文字的发音，查找表情字典，表情字典中的表情按照一定顺序进行排序存储，所述顺序可以是汉语拼音字母表顺序或英文字母表顺序；

(5) 将对应的带有不同嘴型的动态图片按照识别的输入文字顺序组合起来；

(6) 插值平滑视频序列形成动态视频或动态图，并叠加文字信息进行存储；

(7) 将上述影音文件或动态图文件存储到存储设备中或进行网络分享。

本发明中，所述步骤（1）中图像序列的采集装置为摄像机或摄像机组或手机摄像头。

本发明中，所述步骤（7）中生成的动态视频可存入到存储设备中或通过互联网存入云数据库中。

如图2所示，另外，利用本发明方法设计的一种动态表情影像重构及视频合成系统，针对人像进行合作摄影，让人按照指示进行口型或姿态的调整，如模拟韵母的发音，进行图像或图像序列的存储，软件通过滤波技术进行噪声的去除以及平滑图像，通过人机接口输入文字，然后软件能够自动的将采集的图像或图像序列有序组合形成影像视频或动态图，得到字幕与嘴型表情同步的动态图。该装置可以以软件的形式在手机上实现，调用手机的摄像头进行图像的采集，也可以搭建单摄像头或多摄像头阵列或运动摄像头从空间上、通过多个成像角度获得更多的摄影样本。，该影像重构系统可以在手机上实现，也可以搭建深度写真平台来实现

基于上述，本发明利用影像合成技术形成短视频、动态图或表情包，通过摄像装置对被拍摄目标的多特征多状态样本采集，然后通过图像插值、重构形成表情字典，通过对输入文字的识别查询表情字典将这些图像合成在一起，形成原创个性的合成视频，该影像可由应用者进行网络分享或存储，丰富了人们交流的方式，所生成的视频或动态图与真实场景非常吻合，贴切实际，提高了人们交流的兴趣，相比传统聊天软件中的表情包，更加丰富多彩。

由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。