一种基于深度学习的视频风格变换与自动生成方法及系统与流程

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的视频风格变换与自动生成方法及系统。

背景技术

在与视频制作相关的领域中，基于人工智能的创新应用目前还处于空缺状态，同时也没有一套可满足视频设计需求的可行的解决方案。此外，对视频的处理多数是套用预设定好参数的模板形式，具有明显的缺陷：1、模板的数量有限，且模板的实现效果局限于已设定好的模板参数。2、模板的设定是基于长期对专业知识的积累，增加了视频制作的学习成本。3、对于具有不同影调与色调的视频素材的剪辑缺乏统一性的考量。4、模板形式的视频制作无法较好满足非专业群体对于专业化视频制作的需求。

技术实现要素：

本发明要解决的技术问题之一，在于提供一种基于深度学习的视频风格变换与自动生成方法，基于用户对视频风格的需求进行相应的风格素材的自动推荐，并自动完成对视频片段的风格渲染以及对整体视频的渲染，实现特定风格视频的自动生成。

本发明要解决的技术问题之一是这样实现的：一种基于深度学习的视频风格变换与自动生成方法，包括如下步骤：

步骤1、利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；

步骤2、获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；

步骤3、通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；

步骤4、根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；

步骤5、在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。

进一步的，所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。

进一步的，所述片段渲染包括片段风格渲染和字幕效果。

进一步的，所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。

进一步的，所述步骤1具体包括：

利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。

本发明要解决的技术问题之二，在于提供一种基于深度学习的视频风格变换与自动生成系统，基于用户对视频风格的需求进行相应的风格素材的自动推荐，并自动完成对视频片段的风格渲染以及对整体视频的渲染，实现特定风格视频的自动生成。

本发明要解决的技术问题之二是这样实现的：一种基于深度学习的视频风格变换与自动生成系统，包括：

视频风格学习模块，用于利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；

用户需求模块，用于获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；

素材推荐模块，用于通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；

视频生成模块，用于根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；以及

反馈模块，用于在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。

进一步的，所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。

进一步的，所述片段渲染包括片段风格渲染和字幕效果。

进一步的，所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。

进一步的，所述视频风格学习模块具体包括：

用于利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。

本发明具有如下优点：

1、通过深度学习技术学习视频风格可获取更为准确的视频处理参数，改变现有与视频制作相关的领域中处理参数的模板化的形式；

2、根据不同风格学习的可行方案，拓展到其他视频组成元素的提取与学习中，不断完善以及提高对视频组成元素的学习能力以及基于深度学习的视频设计水平；

3、运用人工智能技术学习专业视频剪辑的方法，可更好地满足非专业群体对于专业化视频制作的需求，降低视频制作所需的专业知识的学习成本。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明一种基于深度学习的视频风格变换与自动生成方法执行流程图。

图2为本发明一种基于深度学习的视频风格变换与自动生成系统的逻辑框架图。

具体实施方式

如图1所示，本发明一种基于深度学习的视频风格变换与自动生成方法，包括如下步骤：

步骤1、利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；

步骤2、获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；

步骤3、通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；

步骤4、根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；

步骤5、在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。

较佳的，所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。

较佳的，所述片段渲染包括片段风格渲染和字幕效果。

较佳的，所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。

较佳的，所述步骤1具体包括：

利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。

如图2所示，本发明的一种基于深度学习的视频风格变换与自动生成系统，包括：

视频风格学习模块，用于利用深度学习框架对拍摄主体进行类别分类以及风格模型训练，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，在学习大量不同类型的视频之后，生成对应主题或标签的关联模型，并创建视频片段风格素材资源库，用于按照类别与风格进行视频素材推荐；

用户需求模块，用于获取用户的待处理视频以及用户视频需求，所述视频需求包括风格要求和时长要求；

素材推荐模块，用于通过产品识别模块自动识别待处理视频的类别，并结合用户的风格要求和时长要求，推荐对应的分镜数以及对应风格的视频素材供用户选择；

视频生成模块，用于根据用户选取的视频素材以及对视频素材顺序的调整，渲染器自动结合对应的风格处理参数对视频进行片段渲染和整体渲染生成风格视频；以及

反馈模块，用于在生成风格视频后，将收集到的用户调整修改信息，作为反馈信息优化关联模型，并基于用户的最终选择结果，分析用户的喜好，对深度学习框架进行进一步的优化和更新，形成反馈学习模型。

较佳的，所述视频素材按宫格形式展示给用户，且用户通过调整宫格顺序实现视频素材在时间线上的顺序调整。

较佳的，所述片段渲染包括片段风格渲染和字幕效果。

较佳的，所述整体渲染包括整体视频渲染、添加背景音乐和水印效果。

较佳的，所述视频风格学习模块具体包括：

用于利用深度学习框架对视频短片训练样本进行深度学习，得到用于自动识别类别的产品识别模块以及不同风格模型的对应的风格处理参数，通过对视频拍摄主体进行类别分类，将分类结果与风格资源库进行匹配，生成对应主题或标签的关联模型，基于所述关联模型，将产品的类别、视频时长、用户视频风格需求信息与对应主题标签的风格资源库相关联；根据不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，并与资源库里的素材进行映射，用于按照类别与风格进行视频素材推荐。

下面结合一具体实施例对本发明做进一步说明：

本发明主要包括了深度学习部分以及视频渲染部分，基于用户对视频风格的需求进行相应的风格素材的推荐，在完成了对视频片段的风格渲染以及对整体视频的渲染后，实现特定风格视频的自动生成。

本发明的主要技术包括：

利用深度学习框架进行拍摄主体的类别分类，将经系统识别得到的分类结果进行风格资源库的匹配以及资源库视频风格素材的推荐。在通过学习大量不同类型的视频之后，能够生成对应主题或标签的关联模型，研究不同风格视频中素材的选取与搭配，建立视频片段风格素材资源库，进行相应风格素材的推荐，并与资源库里的素材进行映射，其中，关联模型指的是将大量视频片段进行风格训练后得到其风格与某主题或标签相关联的关联模型，风格模型是学习某种视频风格的参数信息，关联模型的作用是将风格训练后的风格类型与视频拍摄主体的类别，以及主题标签做相关联关系，而后能够在用户拍摄视频主体后，通过物体识别获取其类别和关联主题标签，进行风格素材的推荐，资源库是资源素材的总称，其包括基于风格的视频素材，基于字幕特效的文字素材，基于水印风格的图片素材以及基于风格的音乐素材，其作用是使得基于风格的视频组成素材在风格上统一。

对于不同的产品品类、视频时长、用户视频风格需求，系统提供不同的实现方案，该方案是基于视频风格学习模块对视频风格训练后所得到的结果。在系统识别产品种类，明确用户的视频需求(如视频风格要求以及视频时长要求)后，系统便给出最优分镜数以及视频素材推荐，并创新性的以宫格形式来实现视频片段在时间线上的调整。

在用户确认宫格顺序后，渲染器结合视频风格学习模块得到的风格处理参数对宫格视频片段进行片段渲染和整体渲染来实现视频的自动生成。其中片段渲染包括片段风格渲染、字幕效果等，整体渲染包括整体视频渲染、添加背景音乐、水印效果等，其中，风格处理参数由深度学习得到且用于指导渲染器的风格渲染模块的参数设置，所述风格处理参数包括有色调rgb信息、明度和对比度等。

在自动生成视频后，我们能够获取用户个人视频调整的喜好，因为我们的系统只是向用户推荐一个优选方案，用户可以选择该方案也可以基于自己的喜好进行调整，因此系统可以在大量收集用户的偏好信息后，将收集用户的调整修改信息，作为反馈信息优化关联模型，优化我们的系统推荐方法，其中，用户调整修改信息包括有用户宫格顺序调整信息、滤镜调整信息、字幕调整信息、水印调整信息以及背景音乐调整信息等。

基于用户的最终选择结果，收集用户的调整修改信息，分析用户的喜好，来对学习模型进行进一步的优化和更新，从而形成一个长期的反馈学习模型，所述用户喜好根据用户对基于深度学习所推荐素材的偏好程度来确定，用户的喜好信息包括：对于拍摄某种类别某种风格某种时长的视频的偏好、对于宫格顺序的偏好、对于风格滤镜的偏好、对于字体特效的偏好、对于水印的偏好以及对于背景音乐的偏好等。

本发明通过深度学习的部分学习特定风格的大量视频，可以实现视频样本的分类(线下训练)、特定风格参数的获取等。基于关联模型，能够将产品的品类、视频时长、用户视频风格需求等信息与对应主题标签的风格资源库相关联，从而实现向用户推荐不同的实现方案，例如宫格数、基于风格的视频素材、基于风格的字体特效、基于风格的水印图片以及基于风格的音乐的推荐。

本发明提供的上述基于深度学习的视频风格学习模块与实时视频渲染生成技术，通过利用深度学习框架进行拍摄主体的类别分类，并根据识别后得到的分类结果进行风格资源库的匹配以及资源库视频风格素材的推荐，运用深度学习技术学习专业化的视频风格处理模式，将得到的风格参数专业化地指导视频渲染构建了基于视频风格的长期反馈学习模型，不断完善以及提高对视频组成元素的学习能力以及基于深度学习的视频设计水平，同时降低视频制作所需的专业知识的学习成本。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。