基于AI的视频生成方法、装置和电子设备与流程

文档序号:32497762发布日期:2022-12-10 04:49阅读:61来源:国知局
基于AI的视频生成方法、装置和电子设备与流程
基于ai的视频生成方法、装置和电子设备
技术领域
1.本公开涉及图像处理领域,尤其涉及深度学习、自然语言处理等人工智能领域,适用于视频剪辑场景。


背景技术:

2.随着社会的发展,视频营销成为了一种新型的营销方式,在进行视频营销的过程中,商家可以通过自身注册的官方账号在开放的视频平台上发布商品的视频作品,基于发布的视频作品向用户进行信息的传输。
3.实现中,开放的视频平台存在其设定的视频发布标准,在该场景下,商家已录制好的视频作品存在可能无法满足视频平台的视频发布标准,从而导致商家的已录制好的视频作品无法在开放的视频平台上进行发布,造成了商家的资源浪费。
4.相关技术中,可以通过人工基于商家的视频发布需求,制作满足视频发布标准的视频作品,对于商家来说,人工成本较高且效率较低。


技术实现要素:

5.本公开提出了一种基于ai的视频生成方法、装置和电子设备。
6.根据本公开的第一方面,提出了一种基于ai的视频生成方法,方法包括:从原始素材视频中提取目标主体词;根据所述目标主体词,从所述原始素材视频中识别所述目标主体词的目标描述元素,和所述目标描述元素的目标描述信息;根据所述目标描述元素和所述目标描述元素的目标描述信息,获取所述目标主体词的描述段落;基于所述描述段落,对所述原始素材视频进行剪辑,以生成目标视频。
7.根据本公开的第二方面,提出了一种基于ai的视频生成装置,装置包括:提取模块,用于从原始素材视频中提取目标主体词;识别模块,用于根据所述目标主体词,从所述原始素材视频中识别所述目标主体词的目标描述元素,和所述目标描述元素的目标描述信息;获取模块,用于根据所述目标描述元素和所述目标描述元素的目标描述信息,获取所述目标主体词的描述段落;剪辑模块,用于基于所述描述段落,对所述原始素材视频进行剪辑,以生成目标视频。
8.根据本公开的第三方面,提出了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述第一方面所述的基于ai的视频生成方法。
9.根据本公开的第四方面,提出了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行上述第一方面所述的基于ai的视频生成方法。
10.根据本公开的第五方面,提出了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现上述第一方面所述的基于ai的视频生成方法。
11.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
12.附图用于更好地理解本方案,不构成对本公开的限定。其中:
13.图1为本公开一实施例的基于ai的视频生成方法的流程示意图;
14.图2为本公开另一实施例的基于ai的视频生成方法的流程示意图;
15.图3为本公开另一实施例的基于ai的视频生成方法的流程示意图;
16.图4为本公开另一实施例的基于ai的视频生成方法的流程示意图;
17.图5为本公开一实施例的目标视频的组成示意图;
18.图6为本公开另一实施例的基于ai的视频生成方法的流程示意图;
19.图7为本公开另一实施例的基于ai的视频生成方法的流程示意图;
20.图8为本公开另一实施例的提取目标主体词的流程示意图;
21.图9为本公开一实施例的视频生成终端的页面示意图;
22.图10为本公开另一实施例的视频生成终端的页面示意图;
23.图11为本公开另一实施例的基于ai的视频生成方法的流程示意图;
24.图12为本公开另一实施例的视频生成终端的页面示意图;
25.图13为本公开一实施例的基于ai的视频生成装置的结构示意图;
26.图14为本公开一实施例的电子设备的示意性框图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
28.深度学习(deep learning,dl),深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文本,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文本、图像和声音等数据。
29.自然语言处理(natural language processing,nlp),是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系,但又有重要的区别。自然语言处理并不是一般地研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。自然语言处理主要应用于机器翻译、舆情监测、自动摘要、观点提取、文本分类、问题回答、文本语义对比、语音识别、中文ocr等方面。
30.人工智能(artificial intelligence,ai),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智
能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。人工智能可以对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。
31.图1为本公开一实施例的基于ai的视频生成方法的流程示意图,如图1所示,该方法包括:
32.s101,从原始素材视频中提取目标主体词。
33.实现中,用户的物体介绍视频存在可能不满足视频平台的发布标准,比如时长过长等相关情况导致无法在相关的开放视频平台上进行发布。在该场景下,可以基于用户已经录制完成的物体介绍视频,进行二次的剪辑处理,生成可以在相关的开放视频平台上正常发布的视频作品。
34.可选地,可以基于ai技术对用户已录制完成的物体介绍视频进行相关的视频组成元素的提取,从而基于用户的物体介绍视频生成可以在视频平台正常发布的视频作品。
35.需要说明的是,用户已录制完成的物体介绍视频,可以通过用户主动上传获取,也可以由ai由物体介绍视频所在的网页上获取,此处不做具体限定。
36.其中,可以将用于已经录制完成的物体介绍视频,标识为原始素材视频,并将基于原始素材视频进行剪辑处理得到的可以在相关的开放视频平台发布的视频作品,标识为原始素材视频对应的目标视频。
37.本公开实施例中,目标视频的制作过程中存在对应的主题,可以基于该主题对原始素材视频进行剪辑处理,进而得到原始素材视频对应的目标视频。
38.在一些实现中,原始素材视频中存在可能出现多个物体,其中,可以将描述原始素材视频中出现的物体的词语标识为物体的主体词,其中,物体的主体词可以为描述物体的名词、也可以为描述物体的短语,此处不做具体限定。
39.在该场景下,可以获取目标视频的主题的相关主题信息,根据该主题信息从原始素材视频中出现的全部的物体各自的主体词中确定与主题信息匹配的主体词,并将该主体词确定为原始素材视频中的目标主体词。
40.s102,根据目标主体词,从原始素材视频中识别目标主体词的目标描述元素,和目标描述元素的目标描述信息。
41.本公开实施例中,从原始素材视频中确定目标视频的目标主体词后,可以从原始素材视频中提取与目标主体词相关的视频组成元素。
42.可选地,目标视频的组成元素可以包括视频的基础组成元素,比如视频脚本对应的基础组成元素、图像对应的基础组成元素等。
43.实现中,为了实现对物体的准确描述,可以基于物体的多个维度对物体进行描述,其中,可以将描述物体的维度确定为物体的描述元素,维度下对物体进行描述的相关信息确定为物体的描述元素下的描述信息。
44.比如,设定物体a的高度为10米,在该设定下,物体a的高度为物体a的描述元素,10米为物体a的高度的描述元素下的描述信息。
45.本公开实施例中,可以基于目标主体词,从原始素材视频中提取描述目标主体词的描述元素,以及在描述元素下的目标主体词的描述信息,并将该描述元素确定为目标主
体词的目标描述元素,在目标描述元素下对目标主体词进行描述的相关信息确定为目标元素下的目标描述信息。
46.比如,设定目标主体词为机械臂,可以从原始素材视频中获取描述机械臂的长度的描述元素,获取机械臂在长度的描述元素下的描述信息,并将长度的描述元素确定为目标主体词机械臂的目标描述元素。
47.相应地,获取机械臂在长度的目标描述元素下的描述信息,并将该描述信息确定为目标主体词机械臂在长度的目标描述元素下的目标描述信息。
48.s103,根据目标描述元素和目标描述元素的目标描述信息,获取目标主体词的描述段落。
49.本公开实施例中,通过从原始素材视频中获取到的目标主体词的目标描述元素和目标描述元素的目标描述信息,可以实现对目标主体词的详细描述。
50.可选地,从原始素材视频中获取到的目标主体词的目标描述元素和目标描述元素的目标描述信息可以基于文本为信息载体,在该场景下,可以基于目标主体词的目标描述元素和目标描述元素的目标描述信息,生成目标主体词对应的目标视频的相关文本信息。
51.其中,可以根据目标主体词的目标描述元素和目标描述元素的目标描述信息生成目标主体词的描述段落。
52.本公开实施例中,可以对目标描述元素和目标描述元素的目标描述信息进行语义识别,根据语义识别的结果对目标描述元素和目标描述元素的目标描述信息进行排序拼接,进而将拼接得到的目标描述元素和目标描述元素的目标描述信息组成的文本,确定为目标主体词的描述段落。
53.s104,基于描述段落,对原始素材视频进行剪辑,以生成目标视频。
54.本公开实施例中,目标主体词的描述段落,可以理解为,在人们使用的正常语序以及语言习惯下,对目标主体词的目标描述元素和目标描述元素下的目标描述信息进行整合得到的文本描述信息。
55.在该场景下,基于目标主体词的描述段落对原始素材视频进行剪辑,可以得到基于人们的正常语序以及语言习惯下,符合人们对于物体的认知顺序的视频内容。
56.进一步地,可以将基于目标主体词的描述段落对原始素材视频进行剪辑处理得到的视频,确定为原始素材视频的目标视频。
57.本公开提出的基于ai的视频生成方法,从原始素材视频中提取目标主体词,根据提取到的目标主体词,从原始素材视频中识别目标主体词的目标描述元素和目标描述元素的目标描述信息,根据目标描述元素和目标描述元素的目标描述信息,获取目标主体词的描述段落。进一步地,根据目标主体词的描述段落,对原始素材视频进行视频的剪辑处理,进而得到目标视频。本公开中,基于原始素材视频中的目标主体词,从原始素材视频中提取目标主体词的目标描述元素和目标描述元素的目标描述信息,生成目标主体词的描述段落,进而基于描述段落从原始素材视频中获取目标主体词对应的目标视频,使得基于原始素材视频得到的目标视频,可以与目标主体词存在强关联度,提高了目标视频与目标主体词之间的适配程度,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,基于ai对原始素材视频的目标主体词进行提取,并根据提取到的目标主体词对原始素材视频进行视频剪辑,节约了人工成本,提高了视频剪辑的效率。
58.上述实施例中,关于描述段落的获取,可结合图2进一步理解,图2为本公开另一实施例的基于ai的视频生成方法的流程示意图,如图2所示,该方法包括:
59.s201,识别目标描述元素和目标描述元素的目标描述信息的描述表达式。
60.实现中,基于目标主体词从原始素材视频中提取到的,以文本为信息载体进行表达的目标描述元素和目标描述元素的目标描述信息,存在可能不符合人们的遣词用句的习惯。
61.在该场景下,可以基于人们遣词用句习惯,对目标描述元素和目标描述元素的目标描述信息对应的文本信息进行整合。
62.可选地,目标主体词可以存在多个维度的目标描述元素,在该场景下,目标描述元素与目标描述元素的目标描述信息的可以存在多种文本表达形式。
63.本公开实施例中,可以根据目标描述元素和目标描述元素的目标描述信息的文本表达形式,对目标主体词的全部的目标描述元素和目标描述元素的目标描述信息进行分类,进而确定对目标描述元素和目标描述元素的目标描述信息进行文本整合的方法。
64.可选地,目标描述元素和目标描述元素的目标描述信息存在设定格式的表达形式,可以将该表达形式确定为目标描述元素和目标描述元素的目标描述信息的描述表达式。
65.可选地,可以识别目标描述元素的目标描述信息的描述信息类型和描述信息数量。
66.实现中,目标主体词的目标描述元素的目标描述信息的文本表达形式可以包括数值的文本表达形式、数字区间的文本表达形式、文字的文本表达形式以及数值、数字区间和文字的混合的文本表达形式。
67.可以根据目标描述元素的目标描述信息的具体文本表达形式,确定目标描述元素的目标描述信息的描述信息类型,并将目标描述元素的目标描述信息的数量确定为描述信息数量。
68.比如,目标描述元素存在2个目标描述信息时,则可以将该目标描述元素的目标描述信息的描述信息数量确定为2。
69.当目标主体词的目标描述元素的目标描述信息的文本表达形式为数值的文本表达形式时,可以将目标描述元素的目标描述信息的描述信息类型确定为数值描述信息类型。
70.当目标主体词的目标描述元素的目标描述信息的文本表达形式为文字的文本表达形式时,可以将目标描述元素的目标描述信息的描述信息类型确定为文字描述信息类型。
71.目标主体词的目标描述元素的目标描述信息的文本表达形式为数字区间的文本表达形式时,可以将目标描述元素的目标描述信息的描述信息类型确定为数字区间描述信息类型。
72.目标主体词的目标描述元素的目标描述信息的文本表达形式为混合的文本表达形式时,可以将目标描述元素的目标描述信息的描述信息类型确定为混合描述信息类型。
73.可选地,根据描述信息类型和/或描述信息数量,识别目标描述元素和目标描述元素的目标描述信息的描述表达式。
74.本公开实施例中,可以根据目标主体词的目标描述元素的目标描述信息的文本表达形式,识别目标描述元素的目标描述信息的描述信息类型,结合目标描述元素的目标描述信息的描述信息数量,确定目标描述元素和目标描述元素的目标描述信息的描述表达式。
75.在描述信息类型为数值描述信息且描述信息数量为1的场景下,可以将目标描述元素和目标描述元素的目标描述信息对应的描述表达式,确定为单项数值描述表达式。
76.比如,设定目标描述元素为剪切强度,目标描述元素的目标描述信息为单项的数值17mpa,则可以将该目标描述元素和目标描述元素的目标描述信息的描述表达式确定为单项数值描述表达式。
77.在描述信息类型为数值描述信息且描述信息数量大于1的场景下,可以将目标描述元素和目标描述元素的目标描述信息对应的描述表达式,确定为多项数值描述表达式。
78.比如,设定目标描述元素为抗压强度,目标描述元素的目标描述信息为多项的数值45mpa、40mpa和35mpa,则可以将该目标描述元素和目标描述元素的目标描述信息的描述表达式确定为多项数值描述表达式。
79.在描述信息类型为区间描述信息的场景下,可以将目标描述元素和目标描述元素的目标描述信息对应的描述表达式,确定为区间描述表达式。
80.比如,设定目标描述元素为厚度,目标描述元素的目标描述信息为区间[2mm,50mm],则可以将该目标描述元素和目标描述元素的目标描述信息的描述表达式确定为区间描述表达式。
[0081]
在描述信息类型为属性描述信息的场景下,可以将目标描述元素和目标描述元素的目标描述信息对应的描述表达式,确定为属性描述表达式。
[0082]
比如,设定目标描述元素为抗折强度,目标描述元素的目标描述信息为属性描述词高,则可以将该目标描述元素和目标描述元素的目标描述信息的描述表达式确定为属性描述表达式。
[0083]
再比如,设定目标描述元素为状态,目标描述元素的目标描述信息为属性描述词液体、粉末和粉料,则可以将该目标描述元素和目标描述元素的目标描述信息的描述表达式确定为属性描述表达式。
[0084]
s202,基于描述表达式,对目标描述元素和目标描述元素的目标描述信息进行组合,获取目标主体词的描述语句。
[0085]
本公开实施例中,根据获取到的目标描述元素和目标描述元素的目标描述信息的描述表达式,可以确定对目标描述元素和目标描述元素的目标描述信息的整合方式。
[0086]
其中,可以根据描述表达式,确定描述语句的语句模板。
[0087]
在目标描述元素和目标描述元素的目标描述信息的描述表达式为单项数值描述表达式时,可以将单项数值描述表达式对应的语句模板,确定为该目标描述元素和目标描述元素的目标描述信息的整合模板。
[0088]
在目标描述元素和目标描述元素的目标描述信息的描述表达式为多项数值描述表达式时,可以将多项数值描述表达式对应的语句模板,确定为该目标描述元素和目标描述元素的目标描述信息的整合模板。
[0089]
在目标描述元素和目标描述元素的目标描述信息的描述表达式为区间描述表达
式时,可以将区间描述表达式对应的语句模板,确定为该目标描述元素和目标描述元素的目标描述信息的整合模板。
[0090]
在目标描述元素和目标描述元素的目标描述信息的描述表达式为属性描述表达式时,可以将属性描述表达式对应的语句模板,确定为该目标描述元素和目标描述元素的目标描述信息的整合模板。
[0091]
可选地,根据语句模板,对目标描述元素和目标描述元素的目标描述信息进行整合,以生成目标主体词的描述语句。
[0092]
其中,可以获取语句模板中待填充的空白语句成分。
[0093]
本公开实施例中,可以对语句模板进行语句成分的分析,从而确定语句模板中的空白语句成分,并将空白语句成分所属的位置确定为语句模板中的待填充位置。
[0094]
可选地,根据空白语句成分,从目标描述元素和目标描述元素的目标描述信息中,提取空白语句成分的目标字符。
[0095]
本公开实施例中,确定语句模板中的空白语句成分后,可以从目标描述元素和目标描述元素的目标描述信息从提取空白语句成分对应的字符,确定为填充至空白语句成分所属的待填充位置的目标字符。
[0096]
可选地,将目标字符填充至空白语句成分在语句模板中的填充位置,以生成目标主体词的描述语句。
[0097]
本公开实施例中,目标字符为目标描述元素和目标描述元素的目标描述信息中提取到的,语句模板的空白语句成分对应的字符。
[0098]
在该场景下,可以将目标字符填充至空白语句成分在语句模板中所属的待填充位置,并将填充后得到的描述语句确定为目标主体词的描述语句。
[0099]
在目标描述元素和目标描述元素的目标描述信息的语句模板为单项数值描述表达式对应的语句模板时,可以获取单项数值描述表达式对应的语句模板中的空白语句成分,并从目标描述元素和目标描述元素的目标描述信息中提取目标字符。
[0100]
进一步地,将该目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句。
[0101]
比如,设定目标描述元素为剪切强度,目标描述元素的目标描述信息为17mpa,描述表达式为单项数值描述表达式,则可以确定对应的语句模板为“目标描述元素为目标描述元素的目标描述信息”,和/或,“目标描述元素的目标描述信息的目标描述元素”。
[0102]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为剪切强度,目标描述元素的目标描述信息为17mpa中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“剪切强度为17mpa”,和/或,“17mpa的剪切强度”。
[0103]
再比如,设定目标描述元素为抗压强度,目标描述元素的目标描述信息为大于或者等于40mpa、45mpa、40mpa和35mpa,描述表达式为多项数值描述表达式,则可以确定对应的语句模板为“目标描述元素的范围从目标描述元素的最小值的目标描述信息至目标描述元素的最大值的目标描述信息”,和/或,“目标描述元素大多数为目标描述元素的目标描述信息,一小部分为目标描述元素的目标描述信息”。
[0104]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句
模板中的空白语句成分,则可以从目标描述元素为抗压强度,目标描述元素的目标描述信息为大于或者等于40mpa、45mpa、40mpa和35mpa中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“抗压强度的范围从35mpa至45mpa”,和/或,“抗压强度大多数大于或者等于40mpa,一小部分为35mpa”。
[0105]
再比如,设定目标描述元素为厚度,目标描述元素的目标描述信息为[2mm,50mm],描述表达式为区间描述表达式,则可以确定对应的语句模板为“目标描述元素的范围从目标描述元素的目标描述信息的区间的下限值到目标描述元素的目标描述信息的区间的上限值”,和/或,“目标描述元素一般最大为目标描述元素的目标描述信息的区间的上限值,最小可达到目标描述元素的目标描述信息的区间的下限值”。
[0106]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为厚度,目标描述元素的目标描述信息为[2mm,50mm]提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“厚度的范围从2mm到50mm”,和/或,“厚度一般最大为50mm,最小可达到2mm”。
[0107]
再比如,设定目标描述元素为抗折强度,目标描述元素的目标描述信息为高,描述表达式为属性描述表达式,则可以确定对应的语句模板为“目标描述元素目标描述元素的目标描述信息”,和/或,“目标描述元素的目标描述信息目标描述元素”。
[0108]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为抗折强度,目标描述元素的目标描述信息为高中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“抗折强度高”,和/或,“高抗折强度”。
[0109]
再比如,设定目标描述元素为状态,目标描述元素的目标描述信息为液体、粉末和粉料,描述表达式为属性描述表达式,则可以确定对应的语句模板为“目标描述元素为目标描述元素的目标描述信息”,和/或,“目标描述元素为目标描述元素的目标描述信息,当然也包括目标描述元素的目标描述信息和目标描述元素的目标描述信息”。
[0110]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为状态,目标描述元素的目标描述信息为液体、粉末和粉料中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“状态为液体、粉末和粉料”,和/或,“状态为液体,当然也包括粉末和粉料”。
[0111]
需要说明的是,目标描述元素和目标描述元素的目标描述信息,还可以存在其他表达形式的语句模板。
[0112]
在一些实现中,可以将目标描述元素和目标描述元素的目标描述信息的语句模板确定为“按照目标描述元素来区分,可分为目标描述元素的目标描述信息、目标描述元素的目标描述信息以及目标描述元素的目标描述信息”。
[0113]
比如,设定目标描述元素为形状,目标描述元素的目标描述信息为粉状、液体状、糊状、颗粒状和膏状。
[0114]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为形状,目标描述元素的目标描述信息为
粉状、液体状、糊状、颗粒状和膏状中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“按照形状来区分,可分为粉状、液体状、糊状、颗粒状和膏状”。
[0115]
在该场景下,还可以将目标主体词与上述语句模板进行结合,从而得到目标主体词的描述语句,其中,设定目标主体词为环氧树脂,则描述语句可以为“按照环氧树脂的形状来区分,可分为粉状环氧树脂、液体状环氧树脂、糊状环氧树脂、颗粒状环氧树脂和膏状环氧树脂”。
[0116]
再比如,设定目标描述元素为品种,目标描述元素的目标描述信息包括石灰砂浆、混合砂浆和水泥砂浆。
[0117]
其中,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为品种,目标描述元素的目标描述信息为石灰砂浆、混合砂浆和水泥砂浆中提取目标字符,并将目标字符填充至空白语句成分所属的待填充位置,进而得到目标主体词的描述语句“按照品种来区分,可分为石灰砂浆、混合砂浆和水泥砂浆”。
[0118]
在该场景下,还可以将目标主体词与上述语句模板进行结合,从而得到目标主体词的描述语句,其中,设定目标主体词为环氧树脂,则描述语句可以为“按照环氧树脂的品种来区分,可分为石灰砂浆环氧树脂、混合砂浆环氧树脂和水泥砂浆环氧树脂”。
[0119]
再比如,还可以结合上述两个示例进行整合,其中,设定目标主体词为环氧树脂,目标描述元素包括形状和品种,形状的目标描述元素的目标描述信息包括粉状、液体状、糊状、颗粒状和膏状,品种的目标描述元素的目标描述信息包括石灰砂浆、混合砂浆和水泥砂浆。
[0120]
在该场景下,可以将“目标描述元素”以及“目标描述元素的目标描述信息”确定为该语句模板中的空白语句成分,则可以从目标描述元素为形状,目标描述元素的目标描述信息为粉状、液体状、糊状、颗粒状和膏状中提取目标字符,同时,从目标描述元素为品种,目标描述元素的目标描述信息为石灰砂浆、混合砂浆和水泥砂浆中提取目标字符,进而得到目标主体词的描述语句为“环氧树脂可以按照形状和品种分类,其中,按形状分为粉状环氧树脂、液体状环氧树脂、糊状环氧树脂、颗粒状环氧树脂和膏状环氧树脂,按品种可分为石灰砂浆环氧树脂、混合砂浆环氧树脂和水泥砂浆环氧树脂”。
[0121]
在另一些实现中,可以将目标描述元素和目标描述元素的目标描述信息的语句模板确定为“具有目标描述元素的目标描述信息目标描述元素”,和/或,“具有其他主体词不可比拟的目标描述元素的目标描述信息的特点和优势”。
[0122]
比如,设定目标主体词为环氧树脂,其他主体词为橡胶材料,目标描述元素为抗折强度,目标描述元素的目标描述信息为高,则可以从目标描述元素为抗折强度,目标描述元素的目标描述信息为高中提取目标字符,进而得到目标主体词的描述语句为“具有高抗折强度”,和/或,“具有其他橡胶材料不可比拟的高抗折强度的特点和优势”。
[0123]
s203,根据描述语句,生成目标主体词的描述段落。
[0124]
实现中,人们对于物体进行多维度的描述时,可以基于文本段落的形式,以达到对物体进行详细描述的目的。
[0125]
本公开实施例中,可以基于目标主体词的描述语句,获取目标主体词的描述段落。
其中,可以获取描述段落的段落模板,并确定段落模板中的空白段落成分。
[0126]
可选地,可以目标主体词的段落模板进行段落成分的分析,并根据分析得到的结果确定段落目标中的空白成分,确定为段落模板的空白段落成分。
[0127]
比如,设定目标主体词的描述的段落模板为“目标主体词”是一种“目标描述元素和目标描述元素的目标描述信息”、“目标描述元素和目标描述元素的目标描述信息”的“目标主体词所属的类目名称”。“目标主体词”具有“目标描述元素和目标描述元素的目标描述信息”、“目标描述元素和目标描述元素的目标描述信息”等特点。
[0128]
在该场景下,段落模板中的“目标主体词”、“目标描述元素和目标描述元素的目标描述信息”、“目标主体词所属的类目名称”等可以被确定为该段落模板中的空白段落成分。
[0129]
可选地,从描述语句中确定空白段落成分的目标语句,并将目标语句填充至空白段落成分在段落模板中的填充位置,以生成目标主体词的描述段落。
[0130]
本公开实施例中,根据描述段落的段落模板中的空白段落成分,可以从目标主体词全部的描述语句中,获取能够填充至空白段落成分所属的待填充位置的目标语句。
[0131]
其中,段落目标中可能存在多个空白段落成分,可以根据每个空白段落成分分别获取各自的目标语句,然后根据空白段落成分在段落模板中所属的待填充位置,确定目标语句在段落模板中的填充位置,进而将目标语句填充至段落模板中,并将填充后得到的段落确定为目标主题词的描述段落。
[0132]
比如,设定基于上述实施例中提出的示例中的描述语句,提取上述示例中提出的段落模板中的空白段落成分的目标语句,其中,目标语句包括“抗压强度大多数大于或者等于40mpa,一小部分为35mpa”、“剪切强度为17mpa”的“橡胶材料”和“高抗折强度”。
[0133]
可以将获取到的目标语句在该段落模板中进行填充,可以获取如下所述的目标主体词的描述段落:
[0134]“环氧树脂”是一种“抗压强度大多数大于或者等于40mpa,一小部分为35mpa”、“剪切强度为17mpa”的“橡胶材料”。“环氧树脂”具有“高抗折强度”等特点。
[0135]
可选地,还可以从原始素材视频中提取描述目标主体词的的使用场景的目标描述元素和目标描述元素的目标描述信息,进而生成目标主体词的描述段落。
[0136]
比如,在上述示例的基础上,设定目标主体词环氧树脂的使用场景的目标描述元素为混凝土构件梁柱子、露筋蜂窝麻面和盐水池,其中,混凝土构件梁柱子的目标描述元素的目标描述信息为修补加固、露筋蜂窝麻面的目标描述元素的目标描述信息为修补和盐水池的目标描述元素的目标描述信息为抹面。
[0137]
还可以设定目标主体词环氧树脂的使用场景的目标描述元素为施工方式,目标描述元素的目标描述信息为喷涂和涂抹。
[0138]
在该场景下,可以获取目标主体词的描述段落的段落模板,并从上述描述元素和目标描述元素的目标描述信息生成的描述语句中获取目标语句,并将其填充至段落模板中,可以生成如下述所示的目标主体词的描述段落:
[0139]“环氧树脂”可以用于“混凝土构件梁柱子修补加固”、“露筋蜂窝麻面修补”和“盐水池抹面”等场景,其中,“环氧树脂”的“施工方式”可以包括“喷涂”和“涂抹”等。
[0140]
本公开提出的基于ai的视频生成方法,从原始素材视频中识别目标主体词的目标描述元素和目标描述元素的目标见描述信息的描述表达式,根据描述表达式对目标描述元
素和目标描述元素的目标描述信息进行组合,获取目标主体词的描述语句。进一步地,根据描述语句生成目标主体词的描述段落。本公开中,基于ai对目标主体词的目标描述元素和目标描述元素的目标描述信息进行组合,进而得到目标主体词的描述语句和描述段落,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,节约了人工成本,提高了视频剪辑的效率。
[0141]
上述实施例中,关于目标视频的获取,可结合图3进一步理解,图3为本公开另一实施例的基于ai的视频生成方法的流程示意图,如图3所示,该方法包括:
[0142]
s301,根据描述段落获取视频文案。
[0143]
本公开实施例中,目标主体词可以存在多个描述段落,可以根据人们正常的遣词用句的习惯,对多个描述段落进行组合,从而获取组合后的文本信息作为目标视频中使用的视频文案。
[0144]
比如,设定视频文案的组成成分包括目标主体词的基础信息介绍、目标主体词的适用产业以及目标主体词的挑选技巧,其中,上述三个组成成分的组合顺序为目标主体词的基础信息介绍后面拼接目标主体词的适用产业,然后拼接目标主体词的挑选技巧。
[0145]
在该场景下,可以根据相关技术中的语义识别算法对获取到的目标主体词的描述段落进行语义识别,进而根据语义识别结果对目标主体词的描述段落进行拼接,从而得到目标主体词的目标视频的视频文案。
[0146]
在一些实现中,目标视频中还包括视频引言和视频结束语。
[0147]
如图4所示,可以获取视频引言和视频结束语。
[0148]
可选地,可以根据图4所示的开放资源集获取视频引言和视频结束语,其中,可以获取开放视频资源集,并根据开放视频资源集识别视频引言模板和视频结束语模板。
[0149]
本公开实施例中,可以从开放视频资源集中获取热度较高的多个视频资源,并从该部分热度较高的多个视频资源各自的视频引言和视频结束语中,获取用户喜好的视频引言和视频结束语。
[0150]
进一步地,根据用户喜好的视频引言和视频结束语,生成目标视频使用的视频引言模板和视频结束语模板。
[0151]
比如,可以根据用户喜好的视频引言和视频结束语,生成目标视频使用的视频引言模板“如果你是目标主体词的从业者,以下知识你不得不知道”等。
[0152]
比如,还可以根据用户喜好的视频引言和视频结束语,生成目标视频使用的视频结束语模板“关注我,带你看到更真实的行业信息”等。
[0153]
可选地,获取视频引言模板中待填充的空白引言成分,根据空白引言成分,生成目标主体词的引言元素,并将引言元素填充至视频引言模板的填充位置,以生成视频引言。
[0154]
本公开实施例中,获取视频引言模板中的空白引言成分后,可以基于目标主体词生成空白引言成分的引言元素,并将得到的引言元素田中至空白引言成分在视频引言模板中所属的待填充位置,进而得到填充后的文本信息,并将其确定为目标视频使用的视频引言。
[0155]
相应地,获取视频结束语模板中待填充的空白结束语成分,根据空白结束语成分,生成目标主体词的结束语元素,并将结束语元素填充至视频结束语模板的填充位置,以生成视频结束语。
[0156]
本公开实施例中,获取视频结束语模板中的空白结束语成分后,可以基于目标主体词生成空白结束语成分的结束语元素,并将得到的结束语元素田中至空白结束语成分在视频结束语模板中所属的待填充位置,进而得到填充后的文本信息,并将其确定为目标视频使用的视频结束语。
[0157]
可选地,根据视频引言、视频结束语和描述段落,获取视频文案。
[0158]
其中,可以获取视频引言、视频结束语和目标主体词的描述段落之间的组合顺序,并基于获取到的顺序对视频引言、视频结束语和目标主体词的描述段落进行组合。
[0159]
进一步地,将组合得到的文本信息确定为目标视频所使用的视频文案。
[0160]
s302,根据视频文案对原始素材视频进行编辑,以生成目标视频。
[0161]
可选地,可以根据视频文案获取得到目标视频所需的各项视频基础组成元素,进而基于原始素材视频生成目标主体词的目标视频。
[0162]
其中,可以根据目标主体词,提取视频标题。
[0163]
本公开实施例中,可以根据目标主体词以及视频文案的语义内容,确定目标视频所使用的标题信息,并将该标题信息确定为目标视频所使用的视频标题。
[0164]
可选地,可以根据原始素材视频,确定视频封面。
[0165]
本公开实施例中,可以根据目标主体词,从原始素材视频中提取一帧图像,作为目标视频使用的视频封面。
[0166]
可选地,根据视频文案,获取解说音频、视频字幕和背景音乐。
[0167]
本公开实施例中,可以根据相关技术中的文本转化音频的处理算法,对视频文案进行处理,进而基于视频文案生成目标视频所使用的解说音频、视频字幕以及背景音乐。
[0168]
可选地,根据视频文案对原始素材视频进行视频剪辑,获取图像素材。
[0169]
本公开实施例中,可以根据相关技术中的视频剪辑处理方法,对原始素材视频进行视频剪辑,获取与视频文案存在关联的图像内容,作为目标视频所使用的图像素材。
[0170]
可选地,对视频标题、视频封面、解说音频、视频字幕、背景音乐和图像素材进行视频编辑,以生成目标视频。
[0171]
如图5所示,可以将获取到的视频标题、视频封面,以及视频内容中包括的解说音频、视频字幕、背景音乐以及图像素材进行视频编辑,将视频标题、视频封面,以及视频内容中包括的解说音频、视频字幕、背景音乐以及图像素材,以及视频引言和视频结束语进行组合,从而得到最终的目标视频。
[0172]
本公开提出的基于ai的视频生成方法,根据目标主体词的描述段落生成视频文案后,根据视频文案对原始素材视频进行编辑,进而得到目标视频。本公开中,基于视频文案对原始素材视频进行视频编辑,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,基于ai从原始素材视频中提取目标视频的各项视频组成元素,节约了人工成本,提高了视频剪辑的效率。
[0173]
上述实施例中,关于目标主体词的目标描述元素和目标描述元素的目标描述信息的获取,可结合图6理解,图6为本公开另一实施例的基于ai的视频生成方法的流程示意图,如图6所示,该方法包括:
[0174]
s601,从原始素材视频的初始描述元素中,获取与目标主体词关联的候选描述元素。
[0175]
实现中,原始素材视频中存在可能出现与目标主体词无关的描述元素,其中,可以将原始素材视频中存在的全部的描述元素标识为原始素材视频中的初始描述元素。
[0176]
可选地,可以基于相关技术中的关联度算法,获取初始描述元素与目标主体词的关联度,进而从初始描述元素中获取与目标主体词存在关联的描述元素,作为目标主体词在原始素材视频中的候选描述元素。
[0177]
在一些实现中,对原始素材视频进行初始描述元素的提取时,存在可能提取到语义相同但表达不同的描述元素,可以对该部分描述元素进行整合,进而得到原始素材视频中的初始描述元素。
[0178]
作为一种可能地实现方式,可以从原始素材视频中,识别第一初始描述元素和第一初始描述元素下的第一初始描述信息。
[0179]
其中,可以将从原始素材视频中提取到的相同语义的不同的描述元素,标识为第一初始描述元素,并将第一初始描述元素在原始素材视频中描述信息,确定为第一初始描述元素的第一初始描述信息。
[0180]
可选地,可以对第一初始描述信息进行语义识别,将语义相同的第一初始描述信息各自所属的第一初始描述元素进行整合,得到原始素材视频的初始描述元素,并从语义相同的第一初始描述信息中确定初始描述元素的初始描述信息。
[0181]
本公开实施例中,可以基于相关技术中的语义识别算法对第一初始描述信息进行语义识别的算法处理,并根据算法处理的结果,获取语义相同的第一初始描述信息。
[0182]
进一步地,根据语义相同的第一初始描述信息,获取语义相同的第一初始描述信息各自所属的第一初始描述元素,并将该部分第一初始描述元素进行整合,并将整合后得到的描述元素确定为原始素材视频的初始描述元素。
[0183]
需要说明的是,在进行语义相同的第一初始描述元素的整合过程中,该部分语义相同的第一初始描述信息存在可能出现多种文本表达形式,可以获取全部的语义相同的第一初始描述信息的全部文本表达形式中,重复频次最高的文本表达形式下的第一初始描述信息,作为整合后得到的初始描述元素的初始描述信息。
[0184]
作为另一种可能地实现方式,可以从原始素材视频中,识别第二初始描述元素和第二初始描述元素的第二初始描述信息。
[0185]
其中,可以将从原始素材视频中提取到的相同语义的不同的描述元素,标识为第二初始描述元素,并将第二初始描述元素在原始素材视频中描述信息,确定为第二初始描述元素的第二初始描述信息。
[0186]
可选地,将第二初始元素作为初始描述元素,并将属于同一初始描述元素的全部第二初始描述信息中语义相同的第二初始描述信息进行整合,以得到初始描述元素的初始描述信息。
[0187]
本公开实施例中,可以基于相关技术中的语义识别算法对第第二初始描述信息进行语义识别的算法处理,并根据算法处理的结果,获取语义相同的第二初始描述信息。
[0188]
进一步地,将属于同一第二初始描述元素的语义相同的第二初始描述信息进行整合,得到该第二初始描述元素的初始描述信息,并将该初始第二描述元素确定为原始素材视频的初始描述元素。
[0189]
s602,根据候选描述元素,从原始素材视频中提取候选描述元素的候选描述信息。
[0190]
本公开实施例中,可以根据候选描述元素,从原始素材视频中提取可以描述候选描述元素的信息,作为候选描述元素的描述信息。
[0191]
进一步地,将原始素材视频中提取的候选描述元素的描述信息,确定为候选描述元素的候选描述信息。
[0192]
s603,识别候选描述元素中的异常描述元素,并过滤掉异常候选描述元素,以得到目标主体词的目标描述元素,并从候选描述信息中获取目标描述元素的目标描述信息。
[0193]
实现中,原始素材视频中提取到的与目标主体词关联的候选描述元素和候选描述元素的候选描述信息中,可能存在异常数据,可以将该部分异常数据确定为候选描述元素和候选描述元素的候选描述信息中的异常描述元素和异常描述元素的异常描述信息。
[0194]
在一些实现中,可以识别候选描述信息与所属的候选描述元素不匹配的第一异常描述信息,并确定第一异常描述信息所属的第一异常描述元素。
[0195]
本公开实施例中,可以从获取到的全部候选描述元素,和全部候选描述元素各自的候选描述信息中,获取候选描述元素的候选描述信息与候选描述元素不匹配的候选描述元素,并将该部分候选描述元素确定为第一异常描述元素,将与候选描述元素不匹配的候选描述元素的候选描述信息确定为第一异常描述元素的第一异常描述信息。
[0196]
比如,设定候选描述元素为原料,候选描述元素的候选描述信息为环氧树脂和17mpa,在该场景下,可以将候选描述信息17mpa确定为第一异常描述信息,将候选描述元素原料确定为第一异常描述元素。
[0197]
作为另一种可能地实现方式,获取候选描述信息与目标视频的选题主体词的描述关联度,并获取描述关联度小于或者等于关联度阈值的第二异常描述信息,并确定第二异常描述信息所属的第二异常描述元素。
[0198]
本公开实施例中,目标视频在进行剪辑生成之前,可以存在选题主体词,基于该选题主体词对原始素材视频进行处理,进而得到最终的目标视频。
[0199]
在该场景下,可以根据相关技术中的关联度获取算法,获取候选描述信息与目标视频的选题主体词的描述关联度。
[0200]
其中,可以获取描述关联度对应的描述关联度的关联度阈值,并将获取到的描述关联度与关联度阈值进行对比,将小于或者等于关联度阈值的候选描述信息,可以理解为,该部分候选描述信息与目标视频预设的选题主体词之间的关联程度较低。
[0201]
进一步地,可以将该部分关联程度较低的候选描述元素确定为第二异常描述元素。
[0202]
可选地,根据第一异常描述元素和第二异常描述元素,获取候选描述元素中的异常描述元素。
[0203]
本公开实施例中,可以将第一异常描述元素和第二异常描述元素进行整合,并将整合得到的描述元素确定为候选描述元素中的异常描述元素。
[0204]
在该场景下,可以基于异常描述元素对候选描述元素进行过滤,将异常描述元素从候选描述元素中删除,并将过滤删除后得到的候选描述元素,确定为原始素材视频中与目标主体词的目标描述元素,以及目标描述元素的目标描述信息。
[0205]
本公开提出的基于ai的视频生成方法,从原始素材视频的初始描述元素中,获取与目标主体词关联的候选描述元素,并从原始素材视频中获取候选描述元素的候选描述信
息。进一步地,识别候选描述元素中的异常描述元素,并将异常描述元素从候选描述元素中进行过滤删除,进而得到目标主体词的目标描述元素和目标描述元素的目标描述信息。本公开中,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,基于ai从原始素材视频中提取目标主体词的目标描述元素和目标描述元素的目标描述信息,节约了人工成本,提高了视频剪辑的效率。
[0206]
上述实施例中,关于目标主体词的获取,可结合图7进一步理解,图7为本公开另一实施例的基于ai的视频生成方法的流程示意图,如图7所示,该方法包括:
[0207]
s701,获取选题主体词。
[0208]
本公开实施例中,可以基于用户对于物体的信息传达需求,确定目标视频的选题主体词。
[0209]
比如,用户想要对物体的基础参数进行信息传达,则可以基于该需求,确定目标视频的选题主体词。
[0210]
s702,识别原始素材视频中的关联对象,并确定关联对象在原始素材视频中的关联主体词。
[0211]
本公开实施例中,可以将原始素材视频中出现的关联对象的关联词,确定为关联对象在原始素材视频中的关联主体词。
[0212]
可选地,可以识别原始素材视频的关联对象的关联对象主体词,并根据关联对象在原始素材视频中的出现频次,确定关联对象主体词的关联数量。
[0213]
实现中,存在可能同一关联对象,在原始素材视频中存在多个关联词,在该场景下,可以从原始素材视频中识别关联对象的全部的关联词,确定为关联对象的关联对象主体词。
[0214]
进一步地,获取每个关联对象主体词在原始素材视频中的出现频次,并进行频次的监控和记录,从而得到关联对象主体词的关联数量。
[0215]
可选地,根据关联数量,从关联对象主体词中确定关联对象在原始素材视频中的关联主体词。
[0216]
其中,响应于全部的关联对象主体词各自的关联数量存在差异,确定关联数量最多的关联对象主体词,作为关联对象在原始素材视频中的关联主体词。
[0217]
本公开实施例中,当获取到的全部的关联对象主体词各自的关联数量均不同时,可以将其中关联数量最多的关联对象主体词,确定为关联对象在原始素材视频中的关联主体词。
[0218]
相应地,响应于全部的关联对象主体词各自的关联数量相同,随机选择至少一个关联对象主体词,作为关联对象在原始素材视频中的关联主体词。
[0219]
本公开实施例中,当获取到的全部关联对象主体词各自的关联数量均为相同数量时,可以从中任意选择一个作为关联对象在原始素材视频中的关联主体词。
[0220]
需要说明的是,原始素材视频中存在可能无法识别到其中的关联对象,其中,响应于识别到原始素材视频不存在关联对象,获取原始素材视频的素材名称,并根据素材名称确定关联主体词。
[0221]
在该场景下,可以读取原始素材视频的素材名称,并基于相关技术中的文本分析的方法从素材名称中提取主体词,作为原始素材视频的关联主体词。
[0222]
s703,根据选题主体词和关联主体词,确定目标主体词。
[0223]
可选地,可以获取关联主体词和选题主体词的语义关联度。
[0224]
其中,可以根据相关技术中的语义关联度的获取算法,对关联主体词和选题主体词进行算法处理,并根据算法处理的结果获取关联主体词和选题主体词之间的语义关联度。
[0225]
可选地,根据语义关联度,从关联主体词中获取与选题主体词关联的候选主体词,并根据候选主体词确定目标主体词。
[0226]
本公开实施例中,可以将获取到的全部的关联主体词各自与选题主体词之间的语义关联度进行排序,并从排序后的全部的语义关联度中,获取与选题主体词之间的语义关联度最高的关联主体词,作为生成目标视频时使用的目标主体词。
[0227]
如图8所示,可以获取原始素材视频中的关联对象的关联主体词,并将关联主体词与选题主体词进行对比,基于语义关联度将关联主体词映射至选题主体词下,进而确定与选题主体词语义关联度最高的关联词,作为原始素材视频中的目标主体词。
[0228]
需要说明的是,若无法识别原始素材视频中的关联对象,则可以从原始素材视频的素材名称中提取关联主体词。
[0229]
需要说明的是,在对原始素材视频进行处理之前,可以从用户的全部的已录制好的商品介绍视频中,选择可以进行视频剪辑处理得到目标商品的商品介绍视频,作为待处理的原始素材视频。
[0230]
其中,可以获取候选原始素材视频,并获取候选原始素材视频的视频质量。
[0231]
本公开实施例中,可以将用户的全部的已录制好的商品介绍视频,均表示为候选原始素材视频。
[0232]
实现中,由于候选原始素材视频各自录制的条件以及过程的不同,录制得到的候选原始素材视频的视频质量之间可能存在差异,其中,可以基于候选原始素材视频的像素等参数,获取候选原始素材视频各自的视频质量。
[0233]
可选地,根据视频质量对候选原始素材视频进行过滤,得到过滤后的候选原始素材视频确定为原始素材视频。
[0234]
本公开实施例中,可以基于预设的过滤标准对候选原始素材视频的视频质量进行审核,并将满足预设的过滤标准的候选原始素材视频进行过滤,从而得到过滤后的原始素材视频。其中,预设的过滤标准可如下表所示:
[0235]
过滤标准项过滤标准视频时长视频时长不满足15s-120s视频声音无声视频视频图像黑屏视频、ppt图集视频主题营销类视频视频清晰度未达到预设的清晰度下限值水印存在水印重复与已处理生成目标视频的原始素材视频内容重复
[0236]
由上表可知,当候选原始素材视频满足上述表中提出的:视频时长小于15s、视频时长大于120s、无声视频、黑屏视频、ppt图集、视频主题为营销类视频、视频清晰度未达到
预设的清晰度下限值、视频中存在水印,以及与已处理生成目标视频的原始素材视频内容重复中的任一情况时,均可以确认候选原始素材视频满足了预设的过滤标准,则可以将该部分确认满足了预设的过滤标准的候选原始素材视频进行过滤删除处理。
[0237]
本公开提出的基于ai的视频生成方法,获取选题主体词,识别原始素材视频中的关联对象的关联主体词,并根据选题主体词和关联主体词,确定目标视频所使用的目标主体词。本公开中,基于ai从原始素材视频中进行关联对象的关联主体词的提取,进而根据选题主体词与关联主体词确定最终的目标主体词,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,节约了人工成本,提高了视频剪辑的效率。
[0238]
为了实现上述实施例提出的基于ai的视频生成方法,本公开实施例还提出一种视频生成终端。
[0239]
本公开实施例中,视频生成终端中存在素材空间,其中,素材空间中为原始素材视频以及基于原始素材视频进行视频剪辑得到的目标视频提供了存储空间。
[0240]
可选地,视频生成终端中可以包括视频发布页面、原始素材视频页面以及ai视频页面。
[0241]
其中,在视频发布页面上存在“+”标识符号的选项按钮,通过点击该按钮可以在视频发布页面上弹出素材空间的显示界面,还可以在弹窗上同时显示本地相册的选项,其中,素材空间中包括了已上传至视频生成终端的原始素材视频,本地相册包括了视频生成终端所在设备上的本地存储空间中的原始素材视频。
[0242]
如图9所示,通过点击“+”标识符号的选项按钮,弹出素材空间和本地相册的弹窗界面,并通过点击弹窗界面上素材空间和本地相册的按钮,获取素材空间和本地相册中各自包括的全部的原始素材视频页面的显示界面,进而从各自的显示界面上进行待剪辑的原始素材视频的确定。
[0243]
其中,可以在图9所示的视频发布页面上进行视频封面的选择。
[0244]
可选地,原始素材视频页面的显示界面可以如图10所示,其中,图10所示的原始素材视频页面的显示界面顶部存在两个选项按钮,分别为“原始素材视频”和“ai视频”,在进入该显示界面时,默认选择“原始素材视频”选项。
[0245]
其中,“ai视频”选项下的显示界面上包括了基于ai对原始素材视频进行剪辑处理得到的目标视频。需要说明的是,“ai视频”选项按钮上带有“推荐”的标识符号。
[0246]
如图10所示,原始素材视频页面的显示界面上存在该显示界面上包括的全部的原始素材视频可以关联到的关联主体词,如图10所示,可以包括挖掘机、角磨机、切割机、辅料机和其他等。其中,该显示界面上的关联主体词默认显示2行,每行可以显示4个关联主体词,若全部的关联主体词在默认显示时超过2行,则在2行默认显示的关联主体词下方显示“展开”选项,通过该选项可以展开查看全部的关联主体词,在点击“展开”选项之后,显示界面上会显示“收起”选项,通过该选项关联主体词的显示数量可以恢复至默认状态。
[0247]
如图10所示,该显示界面上显示的原始素材视频的视频橱窗可以包括原始素材视频的视频封面、视频时长、视频的素材名称以及原始素材视频的使用选项按钮,可以通过向下滑动该显示界面,查看该显示界面上可以显示的全部的原始素材视频的视频橱窗。
[0248]
可选地,在图10所示的显示界面上显示的原始素材视频的视频橱窗中包括的视频
封面的长宽比例为16:9。
[0249]
需要说明的是,图10所示的原始素材视频页面的显示界面上包括了备注信息“备注:以上为您视频质量过滤后的原始素材视频”,可以理解为,该显示界面上显示的原始素材视频,为对全部的候选原始素材视频进行视频质量的过滤后得到的原始素材视频。
[0250]
如图10所示,在该显示界面上点击所需的选项按钮,可以显示该选项按钮下的相关内容,点击关联主体词的选项按钮,可以在该界面上显示与该关联主体词之间存在关联的原始素材视频的视频橱窗。
[0251]
点击原始素材视频的视频橱窗后,可以弹出该原始素材视频的视频播放截面,点击视频橱窗中的使用选项按钮,可以弹出如图10所示的提醒弹窗,其中,提醒弹窗中可以包括图10所示的“您确认使用该条素材作为视频内容吗”的提醒信息,并在提醒弹窗中提供“确认”和“取消”的选项以供选择。
[0252]
需要说明的是,如图10所示,提醒弹窗中还可以包括“默认同意,不再提醒”的选项按钮,勾选该选项按钮后,后续点击使用选项按钮后可以直接对选择的原始素材视频进行使用,不会再弹出图10所示的提醒弹窗。
[0253]
在该场景下,若选择的原始素材视频与预设的选题主体词不匹配,视频生成终端还可以进行弹窗提醒,并在提醒弹窗中显示“您选择的原始素材视频与选题主体词不匹配,使用该条原始素材视频可能会导致低质视频”的提醒信息,并在弹窗界面上提供“继续使用”以及“取消”的选项按钮。
[0254]
需要说明的是,原始素材视频页面的显示界面上显示的原始素材视频存在显示排序,其中,可以基于原始素材视频的清晰度由高至低的顺序,在显示界面中基于由上至下的顺序对原始素材视频进行展示。也可以基于原始素材视频的拍摄时间由晚至早的顺序,在显示界面中基于由上至下的顺序对原始素材视频进行展示。还可以基于原始素材视频与选题主体词之间的关联程度由高至低的顺序,在显示界面中基于由上至下的顺序对原始素材视频进行展示。还可以基于原始素材视频中关联到的关联主体词的数量由多至少的顺序,在显示界面中基于由上至下的顺序对原始素材视频进行展示,此处不做具体限定。
[0255]
可选地,可以基于设定的时间间隔对显示界面上的原始素材视频的展示顺序进行更新调整。
[0256]
如图11所示,根据预设的选题主体词,从全部的原始素材视频中选择待剪辑处理的原始素材视频。
[0257]
若选择的待剪辑的原始素材视频与预设的选题主体词匹配,则将该原始素材视频与历史生成的目标视频进行对比,若原始素材视频与历史生成的目标视频不存在重复,则可以将选择的原始素材视频作为生成目标视频的待剪辑原始素材视频。
[0258]
其中,可以在确认使用该原始素材视频之前,弹出确认弹窗,基于弹窗中的确认选项的勾选,确认使用该原始素材视频为生成目标视频的待剪辑原始素材视频。
[0259]
若选择的剪辑的原始素材视频与预设的选题主体词不匹配,则弹出提醒弹窗,基于提醒弹窗中的确认使用选项的勾选,确认使用该原始素材视频为生成目标视频的待剪辑原始素材视频,若勾选了不使用不匹配的原始素材视频对应的选项,则基于该选项的勾选确定不使用与选题主体词不匹配的原始素材视频。
[0260]
需要说明的是,在确认弹窗中存在默认不提醒选项,若当前操作之前的操作轮次
中,勾选了默认不提醒选项,则该确认弹窗不会弹出。
[0261]
本公开实施例中,从原始素材视频页面的显示界面确定待剪辑的原始素材视频并对该原始素材视频进行剪辑得到目标视频后,可以将目标视频上传至视频平台进行发布,在目标视频发布之前,视频平台会对上传的目标视频进行审核。
[0262]
在视频平台对目标视频进行审核的过程中,和/或,目标视频通过审核且正常发布的场景下,可以将该目标视频对应的原始素材视频在图10所示的显示界面上的视频橱窗中的使用选项按钮可以变更为已使用选项按钮。
[0263]
在视频平台对目标视频审核未通过,且未通过原因为非视频内容问题的原因的场景下,可以将该目标视频对应的原始素材视频在图10所示的显示界面上的视频橱窗中的已使用选项按钮可以变更为使用选项按钮,可再次使用。
[0264]
本公开实施例中,视频生成终端还包括如图12所示的ai视频页面,其中,ai视频页面的显示界面上展示了根据原始素材视频进行剪辑处理得到的目标视频。
[0265]
其中,目标视频在ai视频页面的显示界面上的视频橱窗中的视频名称为目标视频的视频标题,ai视频页面的显示界面可以基于如图12所示的列表形式进行目标视频的展示。基于原始素材视频进行剪辑处理得到的目标视频可以在图12所示的ai视频页面的显示界面上展示,也可以从图12所示的ai视频页面的显示界面上勾选想要上传至视频平台的目标视频,并进行上传操作。
[0266]
可选地,在勾选目标视频并上传之前,图12所示的ai视频页面的显示界面上可以弹出图12所示的提醒弹窗,其中,提醒弹窗中包括了“您确认发布该条视频吗”的提醒信息,并提供了“确认”和“取消”的选项按钮。
[0267]
如图12所示,提醒弹窗中还包括了“默认同意,不再提醒”的选项,若勾选了该条选项,后续再进行目标视频的勾选以及上传操作,则不会再出现如图12所示的提醒弹窗。
[0268]
上述几种实施例提出的基于ai的视频生成方法相对应,本公开的一个实施例还提出了一种基于ai的视频生成装置,由于本公开实施例提出的基于ai的视频生成装置与上述几种实施例提出的基于ai的视频生成方法相对应,因此上述基于ai的视频生成方法的实施方式也适用于本公开实施例提出的基于ai的视频生成装置,在下述实施例中不再详细描述。
[0269]
图13为本公开一实施例的基于ai的视频生成装置的结构示意图,如图13所示,基于ai的视频生成装置1300,包括提取模块131、识别模块132、获取模块133和剪辑模块134,其中:
[0270]
提取模块131,用于从原始素材视频中提取目标主体词;
[0271]
识别模块132,用于根据目标主体词,从原始素材视频中识别目标主体词的目标描述元素,和目标描述元素的目标描述信息;
[0272]
获取模块133,用于根据目标描述元素和目标描述元素的目标描述信息,获取目标主体词的描述段落;
[0273]
剪辑模块134,用于基于描述段落,对原始素材视频进行剪辑,以生成目标视频。
[0274]
本公开实施例中,获取模块133,还用于:识别目标描述元素和目标描述元素的目标描述信息的描述表达式;基于描述表达式,对目标描述元素和目标描述元素的目标描述信息进行组合,获取目标主体词的描述语句;根据描述语句,生成目标主体词的描述段落。
[0275]
本公开实施例中,获取模块133,还用于:根据描述表达式,确定描述语句的语句模板;根据语句模板,对目标描述元素和目标描述元素的目标描述信息进行整合,以生成目标主体词的描述语句。
[0276]
本公开实施例中,获取模块133,还用于:获取语句模板中待填充的空白语句成分;根据空白语句成分,从目标描述元素和目标描述元素的目标描述信息中,提取空白语句成分的目标字符;将目标字符填充至空白语句成分在语句模板中的填充位置,以生成目标主体词的描述语句。
[0277]
本公开实施例中,获取模块133,还用于:识别目标描述元素的目标描述信息的描述信息类型和描述信息数量;根据描述信息类型和/或描述信息数量,识别目标描述元素和目标描述元素的目标描述信息的描述表达式。
[0278]
本公开实施例中,获取模块133,还用于:获取描述段落的段落模板,并确定段落模板中的空白段落成分;从描述语句中确定空白段落成分的目标语句,并将目标语句填充至空白段落成分在段落模板中的填充位置,以生成目标主体词的描述段落。
[0279]
本公开实施例中,剪辑模块134,还用于:根据描述段落获取视频文案;根据视频文案对原始素材视频进行编辑,以生成目标视频。
[0280]
本公开实施例中,剪辑模块134,还用于:获取视频引言和视频结束语;根据视频引言、视频结束语和描述段落,获取视频文案。
[0281]
本公开实施例中,剪辑模块134,还用于:获取开放视频资源集,并根据开放视频资源集识别视频引言模板和视频结束语模板;获取视频引言模板中待填充的空白引言成分,根据空白引言成分,生成目标主体词的引言元素,并将引言元素填充至视频引言模板的填充位置,以生成视频引言;获取视频结束语模板中待填充的空白结束语成分,根据空白结束语成分,生成目标主体词的结束语元素,并将结束语元素填充至视频结束语模板的填充位置,以生成视频结束语。
[0282]
本公开实施例中,剪辑模块134,还用于:根据目标主体词,提取视频标题;根据原始素材视频,确定视频封面;根据视频文案,获取解说音频、视频字幕和背景音乐;根据视频文案对原始素材视频进行视频剪辑,获取图像素材;对视频标题、视频封面、解说音频、视频字幕、背景音乐和图像素材进行视频编辑,以生成目标视频。
[0283]
本公开实施例中,识别模块132,还用于:从原始素材视频的初始描述元素中,获取与目标主体词关联的候选描述元素;根据候选描述元素,从原始素材视频中提取候选描述元素的候选描述信息;识别候选描述元素中的异常描述元素,并过滤掉异常候选描述元素,以得到目标主体词的目标描述元素,并从候选描述信息中获取目标描述元素的目标描述信息。
[0284]
本公开实施例中,识别模块132,还用于:识别候选描述信息与所属的候选描述元素不匹配的第一异常描述信息,并确定第一异常描述信息所属的第一异常描述元素;获取候选描述信息与目标视频的选题主体词的描述关联度,并获取描述关联度小于或者等于关联度阈值的第二异常描述信息,并确定第二异常描述信息所属的第二异常描述元素;根据第一异常描述元素和第二异常描述元素,获取候选描述元素中的异常描述元素。
[0285]
本公开实施例中,识别模块132,还用于:从原始素材视频中,识别第一初始描述元素和第一初始描述元素的第一初始描述信息;对第一初始描述信息进行语义识别,将语义
相同的第一初始描述信息各自所属的第一初始描述元素进行整合,得到原始素材视频的初始描述元素,并从语义相同的第一初始描述信息中确定初始描述元素的初始描述信息。
[0286]
本公开实施例中,识别模块132,还用于:从原始素材视频中,识别第二初始描述元素和第二初始元素的第二初始描述信息;将第二初始元素作为初始描述元素,并将属于同一初始描述元素的全部第二初始描述信息中语义相同的第二初始描述信息进行整合,以得到初始描述元素的初始描述信息。
[0287]
本公开实施例中,提取模块131,还用于:获取选题主体词;识别原始素材视频中的关联对象,并确定关联对象在原始素材视频中的关联主体词;根据选题主体词和关联主体词,确定目标主体词。
[0288]
本公开实施例中,提取模块131,还用于:获取关联主体词和选题主体词的语义关联度;根据语义关联度,从关联主体词中获取与选题主体词关联的候选主体词,并根据候选主体词确定目标主体词。
[0289]
本公开实施例中,提取模块131,还用于:识别原始素材视频的关联对象的关联对象主体词,并根据关联对象在原始素材视频中的出现频次,确定关联对象主体词的关联数量;根据关联数量,从关联对象主体词中确定关联对象在原始素材视频中的关联主体词。
[0290]
本公开实施例中,提取模块131,还用于:响应于全部的关联对象主体词各自的关联数量存在差异,确定关联数量最多的关联对象主体词,作为关联对象在原始素材视频中的关联主体词;响应于全部的关联对象主体词各自的关联数量相同,随机选择至少一个关联对象主体词,作为关联对象在原始素材视频中的关联主体词。
[0291]
本公开实施例中,提取模块131,还用于:响应于识别到原始素材视频不存在关联对象,获取原始素材视频的素材名称,并根据素材名称确定关联主体词。
[0292]
本公开实施例中,提取模块131,还用于:获取候选原始素材视频,并获取候选原始素材视频的视频质量;根据视频质量对候选原始素材视频进行过滤,得到过滤后的候选原始素材视频确定为原始素材视频。
[0293]
本公开提出的基于ai的视频生成装置,从原始素材视频中提取目标主体词,根据提取到的目标主体词,从原始素材视频中识别目标主体词的目标描述元素和目标描述元素的目标描述信息,根据目标描述元素和目标描述元素的目标描述信息,获取目标主体词的描述段落。进一步地,根据目标主体词的描述段落,对原始素材视频进行视频的剪辑处理,进而得到目标视频。本公开中,基于原始素材视频中的目标主体词,从原始素材视频中提取目标主体词的目标描述元素和目标描述元素的目标描述信息,生成目标主体词的描述段落,进而基于描述段落从原始素材视频中获取目标主体词对应的目标视频,使得基于原始素材视频得到的目标视频,可以与目标主体词存在强关联度,提高了目标视频与目标主体词之间的适配程度,实现了已录制完成的原始素材视频的二次利用,避免了对已录制完成的原始素材视频的资源浪费,基于ai对原始素材视频的目标主体词进行提取,并根据提取到的目标主体词对原始素材视频进行视频剪辑,节约了人工成本,提高了视频剪辑的效率。
[0294]
根据本公开的实施例,本公开还提出了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0295]
图14示出了可以用来实施本公开的实施例的示例电子设备1400的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数
字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0296]
如图14所示,设备1400包括计算单元1401,其可以根据存储在只读存储器(rom)1402中的计算机程序或者从存储单元1408加载到随机访问存储器(ram)1403中的计算机程序,来执行各种适当的动作和处理。在ram 1403中,还可存储设备1400操作所需的各种程序和数据。计算单元1401、rom 1402以及ram 1403通过总线1404彼此相连。输入/输出(i/o)接口1405也连接至总线1404。
[0297]
设备1400中的多个部件连接至i/o接口1405,包括:输入单元1406,例如键盘、鼠标等;输出单元1406,例如各种类型的显示器、扬声器等;存储单元1408,例如磁盘、光盘等;以及通信单元1409,例如网卡、调制解调器、无线通信收发机等。通信单元1409允许设备1400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0298]
计算单元1401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1401执行上文所描述的各个方法和处理,例如基于ai的视频生成方法。例如,在一些实施例中,基于ai的视频生成方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1408。在一些实施例中,计算机程序的部分或者全部可以经由rom 1402和/或通信单元1409而被载入和/或安装到设备1400上。当计算机程序加载到ram 1403并由计算单元1401执行时,可以执行上文描述的基于ai的视频生成方法的一个或多个步骤。备选地,在其他实施例中,计算单元1401可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行基于ai的视频生成方法。
[0299]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0300]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提出给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0301]
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电
子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0302]
为了提出与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提出给计算机。其它种类的装置还可以用于提出与用户的交互;例如,提出给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0303]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
[0304]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
[0305]
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
[0306]
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1