一种获得视频数据的方法、装置及电子设备

文档序号:25992853发布日期:2021-07-23 21:05阅读:63来源:国知局
一种获得视频数据的方法、装置及电子设备

本申请涉及计算机技术领域,具体涉及一种获得视频数据的方法、装置及电子设备。



背景技术:

随着科技的快速发展,生活物质水平不断提高,与此同时,出现了越来越多的对象以供用户进行选择。具体而言,在为用户进行对象推荐时,一般可以将对象的相关信息展示给用户。作为将对象相关信息展示给用户的一种方式,可以是将含有对象的视频展示给用户。为了更突出对象的量化的相关信息特征,可以将相关量化数据与对象结合在一起,再将结合相关量化数据与对象的视频展示给用户。因此,如何将相关量化数据与对象结合在一起形成视频,成为将对象展示给用户的关键。

针对上述问题,现有技术主要是通过以下方式来将相关量化数据与对象结合在一起形成视频。例如,在制作视频文件时,先将数据转换为视频单元,然后将不同的视频单元进行排序,根据排序后的视频单元,获得相关量化数据对应的视频片段。在获得相关量化数据对应的视频片段后,再将仅包含对象的视频片段与相关量化数据对应的视频片段进行简单拼接,从而获得包含相关量化数据与对象的视频文件。然而,采用现有技术的这种合成视频文件的方式合成的视频文件不能直观地展示相关量化数据与对象之间的关系,导致用户在观看这类视频文件时,不能清晰地感知视频文件中相关量化数据与对象之间的关系。



技术实现要素:

本申请提供一种获得视频数据的方法,以解决现有技术的视频合成方式合成的视频文件不能直观地展示相关量化数据与对象之间的关系的问题。

本申请提供一种获得视频数据的方法,包括:

获得原始图像以及与所述原始图像相关联的目标数据;

根据所述目标数据获得所述目标数据的可视化;

获得所述可视化在所述原始图像中的展示位置信息;

根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

可选的,还包括:

获得原始音频数据;

获得所述可视化相对于所述原始音频数据的展示时间信息;

所述根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据,包括:

根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据。

可选的,还包括:

根据所述原始图像,获得所述原始图像中的目标主体的特征信息;

所述获得与所述原始图像相关联的目标数据,包括:

根据所述目标主体的特征信息,获得与目标主体相关联的目标数据。

可选的,所述获得所述可视化在所述原始图像中的展示位置信息,包括:

根据所述目标主体的特征信息以及所述原始图像中的参照物的特征信息,获得所述可视化在所述原始图像中的展示位置信息。

可选的,所述根据所述目标主体的特征信息以及所述原始图像中的参照物的特征信息,获得所述可视化在所述原始图像中的展示位置信息,包括:

将所述目标主体的特征信息、所述参照物的特征信息与所述可视化输入到用于获得可视化在原始图像的展示位置信息的网络模型中,获得所述可视化在所述原始图像中的展示位置信息。

可选的,还包括:

根据所述原始音频数据,获得所述原始音频数据的节奏特征信息;

所述获得所述可视化相对于所述原始音频数据的展示时间信息,包括:

根据所述节奏特征信息,获得所述可视化相对于所述原始音频数据的展示时间信息。

可选的,所述根据所述节奏特征信息,获得所述可视化相对于所述原始音频数据的展示时间信息,包括:

将所述节奏特征信息与所述可视化,作为用于获得可视化的展示时间信息的网络模型的输入数据,获得所述可视化相对于所述原始音频数据的展示时间信息。

可选的,还包括:

对所述原始图像、所述原始音频数据以及所述可视化进行渲染,获得渲染结果;

所述根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据,包括:根据所述渲染结果、所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据。

可选的,所述根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据,包括:

根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行编码处理,获得所述目标视频数据。

可选的,所述目标主体的特征信息包括以下信息的至少一种:所述目标主体在所述原始图像中的位置信息,所述目标主体的尺寸信息,以及所述目标主体的类型。

可选的,所述参照物的特征信息至少包括所述参照物在所述原始图像中的位置信息。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述参照物在所述原始图像中的位置信息保持靠近的方式构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述目标主体在所述原始图像中的位置信息分布均衡构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述目标主体在所述原始图像中的位置信息保持对齐的方式构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息不遮挡所述目标主体在所述原始图像中的位置信息构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息保持一致性构建的网络模型。

可选的,所述用于获得可视化的展示时间信息的网络模型,为基于所述可视化相对于所述原始音频数据的展示时间信息与所述节奏特征信息相匹配构建的网络模型。

可选的,所述可视化的类型信息包括以下信息的至少一种:饼图、线图、柱状图、字云统计图表。

对应地,本申请提供一种获得视频数据的装置,包括:

数据获得单元,用于获得原始图像以及与所述原始图像相关联的目标数据;

可视化获得单元,用于根据所述目标数据获得所述目标数据的可视化;

展示信息获得单元,用于获得所述可视化在所述原始图像中的展示位置信息;

目标视频数据获得单元,用于根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

对应地,本申请还提供一种电子设备,包括:

处理器;

存储器,用于存储计算机程序,该计算机程序被处理器运行,执行获得视频数据的方法,所述方法包括如下步骤:

获得原始图像以及与所述原始图像相关联的目标数据;

根据所述目标数据获得所述目标数据的可视化;

获得所述可视化在所述原始图像中的展示位置信息;

根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

对应地,本申请提供一种计算机存储介质,所述计算机存储介质存储有计算机程序,该计算机程序被处理器运行,执行获得视频数据的方法,所述方法包括如下步骤:

获得原始图像以及与所述原始图像相关联的目标数据;

根据所述目标数据获得所述目标数据的可视化;

获得所述可视化在所述原始图像中的展示位置信息;

根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

与现有技术相比,本申请具有以下优点:

本申请提供一种获得视频数据的方法,包括:获得原始图像以及与所述原始图像相关联的目标数据;根据所述目标数据获得所述目标数据的可视化;获得所述可视化在所述原始图像中的展示位置信息;根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。由于本申请获得了与所述原始图像相关联的目标数据的可视化在所述原始图像中的展示位置信息,实际上将目标数据的可视化与原始图像进行了绑定,因而以此获得的视频数据能够直观地展示目标数据与原始图像之间的关系,从而解决了现有技术合成的视频文件不能直观地展示相关量化数据与对象之间的关系的问题。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。

图1-a为本申请第一实施例的获得视频数据方法的应用场景示意图。

图1-b为本申请第一实施例的合成目标视频文件中的其中一个关键视频帧的示意图。

图1为本申请第一实施例的获得视频数据方法的流程图。

图1-c为本申请第一实施例的目标数据的可视化在原始图像中的展示位置的示例图。

图1-d为本申请第一实施例的获得视频数据方法的又一应用场景示意图。

图2为本申请第二实施例的获得视频数据装置的示意图。

图3为本申请第三实施例的获得视频数据的电子设备示意图。

具体实施方式

在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此,本申请不受下面公开的具体实施的限制。

本申请提供的获得视频数据的方法实施例可以应用于服务端或者客户端。请参照图1-a,其为本申请提供的获得视频数据方法的应用场景示意图。以在服务端执行获得视频数据方法为例进行说明,本场景实施例可以用于以下场景:用户输入用于获得目标视频文件的原始图像、原始音频数据以及与原始图像相关联的目标数据。之后,服务端根据原始图像、原始音频数据与目标数据,获得目标数据的可视化在原始图像中的展示位置信息以及目标数据的可视化相对于原始音频数据的展示时间信息,当然,在获得目标数据的可视化在原始图像中的展示位置信息以及目标数据的可视化相对于原始音频数据的展示时间信息之前,需要根据目标数据获得目标数据的可视化。

在获得目标数据的可视化在原始图像中的展示位置信息、目标数据的可视化相对于原始音频数据的展示时间信息以及目标数据的可视化后,以展示位置信息以及展示时间信息为依据,对原始图像、原始音频数据以及可视化进行视频合成处理,获得目标视频文件。

上述获得目标数据的可视化在原始图像中的展示位置信息、目标数据的可视化相对于原始音频数据的展示时间信息以及可视化,均是获得目标视频文件的前提。在此处,需要说明的是,目标视频文件是作为目标视频数据的一种形式,本实施例中,主要以获得目标视频文件的方式说明获得目标视频数据的方法。另外,获得目标数据的可视化在原始图像中的展示位置信息、目标数据的可视化相对于原始音频数据的展示时间信息实质上可以是指可视化在原始图像中的展示位置信息、可视化相对于原始音频数据的展示时间信息。

在本申请中,为了表达简便并与本技术领域技术人员的常用表达方式一致,“可视化”作为一个专有名词使用,可以理解为“可以被视觉感知的表现形式”;所谓“目标数据的可视化”是指将目标数据根据预定规则展现为可以被视觉感知的表现形式,具体的表现形式可以是各种静态或则动态的数据图,例如柱状图、饼图、变化趋势图、分布图等等;这些表现形式能够使目标数据更便于被使用者理解,与视频这种媒体形式更为契合。

在上述获得目标视频数据的方法中,目标视频数据可以是指目标视频文件。原始图像是指用于生成目标视频文件的原始图像文件,在生成的目标视频文件中,其可以构成目标视频文件的视频帧。与原始图像相关联的目标数据可以是指,与上述原始图像中识别出的目标主体相关联的数据,例如,可以是介绍目标主体的数据。目标数据的可视化在原始图像中的展示位置信息可以是指,目标数据的可视化在与原始图像相结合展示时,将目标数据的可视化放置于原始图像中的何处的位置信息。例如,可以是指目标数据的可视化在原始图像中的坐标信息,也可以是指目标数据的可视化在原始图像中所占的尺寸信息。目标数据的可视化是指,目标数据以可视化的形式展示在目标视频文件中的形式。数据的可视化形式可以包括例如饼图、线图、柱状图、字云统计图表中的任意一种。原始音频数据可以是指在合成目标视频文件所用的背景音乐文件。目标数据的可视化相对于原始音频数据的展示时间信息,是指在目标视频文件中展示目标数据的可视化的开始时间点、结束时间点与背景音乐文件的节拍点所在的时间点的对应关系。具体可以是,将目标数据的可视化展示的开始时间点与结束时间点分别与背景音乐文件的节拍点所在的时间点进行对应,所获得对应时间点关系。

具体地,请参照图1-a,在本实施例的场景中,以合成电动剃须刀的视频文件进行说明获得的目标视频文件。采用图1-a中获得的目标视频文件中,针对电动剃须刀进行了五个不同角度图像的展示,五个角度的图像即原始图像分别为:电动剃须刀刀片部分图像、电动剃须刀机身部分图像、电动剃须刀使用时的图像、电动剃须刀刀片部分与机身部分连接方式图像以及电动剃须刀内部构造图像。针对五个不同角度图像,与原始图像相关联的目标数据分别为:电动剃须刀刀片部分相关数据、电动剃须刀月销量相关数据、电动剃须刀使用相关数据、电动剃须刀刀片部分与机身部分连接方式相关数据以及电动剃须刀内部构造相关数据。

更具体地,在获取上述五个角度的图像之前,可以是用户输入一张电动剃须刀的图像,基于用户输入的电动剃须刀图像,获得上述五个角度的图像。其中,五个角度的图像实际上可以作为用户输入的电动剃须刀的图像的子图像。然后将五个角度的图像分别与其相关联的目标数据的可视化进行合成,实际上,每个角度的图像与其相关联的目标数据的可视化合成后的图像,作为目标视频文件的关键视频帧,请参照图1-a,最终合成的目标视频文件中包含五个关键视频帧,即第一个关键视频帧至第五个关键视频帧。

分别合成五个角度的图像与其相关联的目标数据的可视化的详细过程描述如下。在获得上述五个角度的图像后,可以根据获得上述五个角度的图像,获得与上述五个角度的图像相关联数据的数据表。例如:在获得电动剃须刀机身部分图像后,可以获得包含电动剃须刀月销量相关数据的数据表。例如,包含电动剃须刀月销量相关数据的数据表可以是统计了该电动剃须刀在七月至十二月下半年每个月的月销量数据的数据表。

以合成电动剃须刀机身部分图像与电动剃须刀月销量相关数据的可视化后的图像作为目标视频文件的一个关键视频帧为例。其合成过程采用如下过程。将合成电动剃须刀机身部分图像与电动剃须刀月销量相关数据的可视化后的图像作为本实施例中的目标视频文件的第二个关键视频帧。在获得电动剃须刀机身部分图像后,基于电动剃须刀机身部分图像可以获得存储有电动剃须刀月销量相关数据的数据表。然后,可以选取某一时间段电动剃须刀的月销量数据。例如,选取某一时间段电动剃须刀的月销量数据可以是七月至十二月下半年每个月的月销量数据。在获得电动剃须刀在七月至十二月下半年每个月的月销量数据之后,可以将电动剃须刀在七月至十二月下半年每个月的月销量数据转化为按照如图1-a所示的线状变化趋势图,该线状变化趋势图即为可视化。其中,图1-a所示的线状变化趋势图是以月份作为横坐标,以每个月份电动剃须刀的销量作为纵坐标绘制的变化趋势图。当然,也可以将月销量数据转化为柱状图、饼图、分布图等其中的一种。此处将月销量数据转化为线状变化趋势图仅仅作为一种数据可视化的示例。

由于在获得目标视频文件的其中一个关键视频帧前,需要获得目标数据的可视化在原始图像中展示位置信息。在获得目标数据的可视化在原始图像中展示位置信息后,即可将目标数据的可视化与原始图像进行合成,以获得目标视频文件的一个关键视频帧。以获得电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像的展示位置信息为例说明。首先,获得目标主体即电动剃须刀机身部分在电动剃须刀机身部分图像的位置信息,电动剃须刀机身部分的尺寸信息,以及电动剃须刀机身部分的类型。之后,按照电动剃须刀月销量相关数据的可视化与电动剃须刀机身部分在图像中分布符合平面布局的五个基本美学原则,即电动剃须刀月销量相关数据的可视化与电动剃须刀机身部分在电动剃须刀机身部分图像中的位置分布均衡,电动剃须刀月销量相关数据的可视化与电动剃须刀机身部分在电动剃须刀机身部分图像中的位置保持对齐,电动剃须刀月销量相关数据的可视化与图像边缘(图像边缘是参照物的一种)在电动剃须刀机身部分图像中的位置保持靠近,电动剃须刀月销量相关数据的可视化与电动剃须刀机身部分在电动剃须刀机身部分图像中的位置相互不遮挡,不同目标数据的可视化在各自相关联的子图像中的位置保持连贯原则。确定电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像的展示位置信息。最终,根据上述五个原则确定的电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像中的位置如图1-b所示的位置。图1-b为本申请第一实施例中合成目标视频文件中的其中一个关键视频帧的示意图。在图1-b中,可以看出根据上述五个原则确定的可视化(电动剃须刀月销量相关数据的可视化)在目标主体(电动剃须刀机身部分)左下侧的位置,当然,在初步确定电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像中的左下侧的位置后,用户还可以根据图1-a中右侧的调节区域2的指示根据需要调整电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像中的位置。同时,也可以根据图1-a中左侧的调节区域1的指示根据需要调整电动剃须刀月销量相关数据的可视化类型。

按照上述获得电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像的展示位置信息的方式,依次获得上述电动剃须刀某一角度部分相关数据的可视化在对应的图像上的展示位置信息。

在依次获得上述电动剃须刀某一角度部分相关数据的可视化在对应的图像上的展示位置信息后,即可获得用户合成目标视频文件的关键视频帧。在本实施例中,合成了如图1-a所示的五个关键视频帧。在合成五个关键视频帧后,即可完成目标视频文件的合成。

另外,在合成目标视频文件时,还需要将音频数据加入。在本实施例中,合成目标视频文件加入的音频信息为音乐文件,由于合成的目标视频文件涉及五个角度的电动剃须刀的图像,因此合成的目标视频文件必然会涉及图像之间的转换。在加入音频数据合成视频时,需要考虑音频节奏时刻点与图像转换时刻点是否匹配,基于音频节奏时刻点与图像转换时刻点匹配的需求,在合成目标视频文件前,需要获得音频节奏时刻点信息与图像转换时刻点信息,并将两者进行匹配。

在本实施例中,由于可以将某一角度部分(是指电动剃须刀的某一部分)相关数据的可视化与其对应图像同步展示,即可以通过可视化与对应图像同步展示,实现某一角度部分相关数据与其对应图像绑定展示,因此,可以通过某一角度部分相关数据的可视化相对于音频数据的展示时间信息,实现音频节奏时刻点与图像转换时刻点匹配。

例如,在合成电动剃须刀视频文件时,在展示电动剃须刀月销量相关数据的可视化时,必然会展示电动剃须刀月销量相关数据的可视化的开始时刻点与结束时刻点,即展示电动剃须刀机身部分图像的开始时刻点与结束时刻点。为了使得开始时刻点与音频数据的节奏时刻点匹配,同时使得结束时刻点与音频数据的其它节奏时刻点匹配,必然要获得某一角度部分相关数据的可视化相对于音频数据的展示时间信息。具体地,可以按照电动剃须刀某一角度部分相关数据的可视化展示时刻点与音频数据的节奏时刻点匹配的原则,确定某一角度部分相关数据的可视化相对于音频数据的展示时间信息。

另外,为了便于合成目标视频文件,将原始图像、原始音频数据以及可视化进行渲染,获得渲染结果。最终,在获得展示位置信息、展示时间信息、可视化以及渲染结果后,对原始图像、原始音频数据以及可视化进行编码,并对编码后的结果依据渲染结果合成目标视频文件。

在初步合成目标视频文件后,用户还可以对视频文件进行一下调整,例如:可以调整图像的排序,当然在调整图像的排序的同时,图像对应的可视化由于“绑定”了对应的图像,因此,在移动图像的同时,对应的可视化会随着图像一起被调整。相应地,也会调整可视化相对音频数据的展示时间。

采用本实施例获得视频数据的方法,由于获得了目标数据的可视化在原始图像中的展示位置信息,实际上将目标数据的可视化与原始图像进行了绑定,因而以此获得的视频数据能够直观地展示目标数据与原始图像之间的关系,从而解决了现有技术合成的视频文件不能直观地展示相关量化数据与对象之间的关系的问题;同时,由于获得了目标数据的可视化相对于原始音频数据的展示时间信息,因而以此获得的视频数据能够保证音频数据与目标数据的展示保持同步。需要说明的是,应用场景实施例仅仅作为一个实施例,提供此应用场景实施例的目的是便于理解本申请的获得视频数据的方法,而并非用于限定本申请的获得视频数据的方法。

本申请提供一种获得视频数据的方法、装置,电子设备,以及计算机存储介质。以下为具体实施例。

如图1所示,其为本申请第一实施例的一种获得视频数据的方法的流程图。所述方法包括如下步骤。

步骤s101:获得原始图像以及原始图像相关联的目标数据。

利用本申请的获得视频数据的方法,首先获得用户合成目标视频文件的原始图像。在本实施例中,获得的目标视频数据主要是指合成目标视频文件。由于本申请合成的目标视频文件是包含有数据可视化的视频文件,因此还要预先获得与原始图像关联的目标数据。

获得原始图像与原始音频数据的方式较为简单,可以采用现有技术众多获得图像与音频数据的方式来获得原始图像与原始音频数据。以获得原始图像为例:作为获得原始图像的方式之一,可以是在预先存储有原始图像的图像库中直接获得原始图像。或者,也可以是直接拍摄实物,并将拍摄的实物图像作为原始图像,需要说明的是,在本实施例中,原始图像可以是指多个连续的图像文件,即原始图像实质上可以是指原始视频文件。例如,在获得场景实施例中的电动剃须刀的视频文件时,可以预先拍摄电动剃须刀刀片部分、电动剃须刀机身部分、电动剃须刀使用情形、电动剃须刀刀片部分与机身部分连接方式以及电动剃须刀内部构造的五个角度的图像,并将拍摄的五个角度的图像作为原始图像,即原始视频文件。在获得原始视频文件时,由于可以将音频数据加入合成的目标视频文件中。因此,可以同时获得用于生成目标视频文件的原始音频数据。获得原始音频数据的方式较为简单,可以直接获得现有的一段音频文件作为原始音频数据即可。在本实施例,音频文件一般指音乐文件。

上述获得与原始图像关联的目标数据的方式有众多种,作为获得与原始图像关联的目标数据的一种实施方式可以按照如下的描述方式。首先,根据原始图像,获得原始图像中的目标主体的特征信息。之后,根据目标主体的特征信息,获得与目标主体相关联的目标数据。

例如,在获得上述场景实施例中的电动剃须刀月销量相关数据时,预先获得电动剃须刀机身部分图像的目标主体为电动剃须刀的机身,在确定目标主体为电动剃须刀的机身后,在包含电动剃须刀各部分数据的数据库中,直接获得电动剃须刀月销量相关数据即可。具体地,包含电动剃须刀各部分数据的数据库中,可以是以电动剃须刀各部分的特征信息作为类目,在数据库中包含了各部分的相关数据。因此,在欲获得电动剃须刀月销量的相关数据时,直接在数据库中,以电动剃须刀销量的特征信息作为检索词,即可获得电动剃须刀月销量的相关数据。

上述目标主体的特征信息可以是以下信息的任意一种或者是其中几种信息的组合。可以是目标主体在原始图像中的位置信息,也可以是目标主体的尺寸信息,或者也可以是指目标主体的类型。例如,在上述获得电动剃须刀机身部分图像后,目标主体的特征信息可以是指电动剃须刀机身部分在图像中的位置坐标信息,电动剃须刀机身部分在图像中的尺寸信息,以及,电动剃须刀机身部分在图像中的类型。

步骤s102:根据目标数据获得目标数据的可视化。

在步骤s101获得原始图像相关联的目标数据后,根据目标数据,获得目标数据的可视化。在本申请实施例中,可视化的类型包括以下的至少一种:饼图、线图、柱状图、字云统计图表。将目标数据转换为可视化后,合成在最终生成的目标视频文件中,可以更直观地显示出目标数据所表达的含义。

例如,具体地,请参照图1-a,其为上述场景实施例合成电动剃须刀的视频文件的示意图。在图1-a中,获得的目标视频文件中,针对电动剃须刀进行了五个不同角度图像的展示,其中五个角度的图像之一包括:电动剃须刀机身部分图像,与电动剃须刀机身部分图像相关联的目标数据为电动剃须刀月销量相关数据。

在获得目标视频文件前,获得电动剃须刀月销量相关数据的其中一种可视化为如图1-b所示的线图。该线图能够清晰地表示电动剃须刀从七月至十二月半年的每个月的月销量。该线图以直观地形式表示出了近几个月的销量浮动。

除了上述的线图之外,还可以将电动剃须刀月销量相关数据的可视化设为饼图,或者柱状图,或者字云统计图表等形式。以用于将电动剃须刀月销量相关数据的不同可视化分别结合在目标视频文件中进行展示。

步骤s103:获得可视化在原始图像中的展示位置信息。

本步骤用于在获得原始图像、目标数据的可视化后,获得目标数据的可视化在原始图像中的展示位置信息。由于在步骤s101中,获得原始图像的同时,也可以获得原始音频数据作为合成目标视频文件的背景音乐。因此,在获得目标数据的可视化在原始图像中的展示位置信息的同时,也获得目标数据的可视化相对应原始音频数据的展示时间信息。

在获得原始图像,原始音频数据以及与原始图像相关联的目标数据的可视化后,为了能够在获得的包括原始图像、原始音频数据以及目标数据的可视化的目标视频文件中,使得目标数据能够以可视化的形式在目标视频文件中进行展示,同时保证可视化不影响原始图像中的目标主体在目标视频文件中的展示,还能够保证原始音频数据能够与多个原始图像相互匹配地在目标视频文件中进行展示,因此,需要获得目标数据的可视化在原始图像中的展示位置信息以及目标数据的可视化相对于原始音频数据的展示时间信息。在本实施例中,目标数据的可视化在原始图像中的展示位置信息以及目标数据的可视化相对于原始音频数据的展示时间信息,可以是指可视化在原始图像中的展示位置信息以及可视化相对于原始音频数据的展示时间信息。

作为获得目标数据的可视化在原始图像中的展示位置信息的一种实现方式,具体实施方式描述如下。根据目标主体的特征信息以及原始图像中的参照物的特征信息,获得目标数据的可视化在原始图像中的展示位置信息。

在步骤s101中,详细阐述了目标主体的特征信息,在获得目标数据的可视化在原始图像中的展示位置信息时,还涉及原始图像中的参照物的特征信息。具体地,参照物的特征信息可以是指参照物在原始图像中的位置信息。例如,在获得电动剃须刀月销量相关数据的可视化在电动剃须刀机身部分图像中的展示位置信息时,可以将电动剃须刀机身部分的上边缘作为参照物,在确认参照物后,即可获得参照物在原始图像中的位置信息。

具体地,上述根据目标主体的特征信息,获得目标数据的可视化在原始图像中的展示位置信息,可以是将目标主体的特征信息、参照物的特征信息与目标数据的可视化,输入到用于获得可视化在原始图像的展示位置信息的网络模型中,从而获得目标数据的可视化在原始图像中的展示位置信息。其中,用于获得可视化在原始图像的展示位置信息的网络模型为基于以下五个原则构建的网络模型。对每个原则进行了量化建模,并计算其能量函数。图1-c示出了按照五个原则在原始图像中获得可视化的展示位置的示例图。

第一个原则,目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置分布均衡。即可视化在原始图像中的展示位置与目标主体在原始图像中的位置符合图1-c的平衡原则。所述原则表示的目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置请参照图1-c。将目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置分布均衡,分布均衡分为横向对称平衡和纵向对称平衡两种,同时将位置分布均衡原则对应于平面布局的基本美学原则中的平衡原则,针对该原则进行了量化建模,所述模型能量函数具体如下。

其中,i为原始图像中的第i个可视化,q为原始图像中的第q个目标主体,xi,yi,为可视化在原始图像中的横坐标与纵坐标信息,wi,hi,为可视化在原始图像中的宽度与高度信息,xq,yq为第q个目标主体在原始图像中的横坐标与纵坐标信息,wq,hq为第q个目标主体在原始图像中的宽度与高度信息,q为原始图像中的目标主体的数量,w为原始图像中的宽度信息,h为原始图像中的宽度信息,ω为该模型的权重系数。

第二个原则,目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置保持对齐。即可视化在原始图像中的展示位置与目标主体在原始图像中的位置符合图1-c的对齐原则。可以选取一个参照物作为对齐的标准。所述原则表示的目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置请参照图1-c。对齐方式包括左对齐、右对齐、上对齐、下对齐、垂直中心对齐和水平中心对齐,将位置保持对齐原则对应于平面布局的基本美学原则中的对齐原则,针对该原则进行了量化建模,所述模型能量函数具体如下。

其中,vi为第i个可视化中的v个可视化类型;a为对齐方式的类型。ca(vi,q)为第i个可视化与第q个目标主体之间的对齐距离,具体定义如下。

第三个原则,目标数据的可视化在原始图像中的展示位置与参照物在原始图像中的位置保持靠近。即可视化在原始图像中的展示位置与参照物在原始图像中的位置符合图1-c的接近原则。所述原则表示的目标数据的可视化在原始图像中的展示位置与参照物在原始图像中的位置请参照图1-c。将目标数据的可视化在原始图像中的展示位置与参照物在原始图像中的位置保持靠近,对应于平面布局的基本美学原则中的亲近原则,针对该原则进行了量化建模,所述模型能量函数具体如下。

其中,r代表原始图像中的参照物,vd代表目标数据的可视化与参照物之间的纵向相对距离,其具体定义如下:

hd代表目标数据的可视化与参照物之间的之间横向相对距离,具体定义方式如下:

其中,为第i个可视化中的第v个可视化类型在原始图像中的横坐标与纵坐标信息;xr,yr,为参照物在原始图像中的横坐标与纵坐标信息;为第i个可视化中的第v个可视化类型在原始图像中的宽度与高度信息;wr,hr,为参照物在原始图像中的宽度与高度信息。

第四个原则,目标数据的可视化在原始图像中的展示位置不遮挡目标主体在原始图像中的位置。即可视化在原始图像中的展示位置符合图1-c的可读原则。所述原则表示的目标数据的可视化在原始图像中的展示位置与目标主体在原始图像中的位置请参照图1-c。将不遮挡原则对应于平面布局的基本美学原则中的可读原则,针对该原则进行了量化建模,所述模型能量函数具体如下。

第五个原则,目标数据的可视化在原始图像中的展示位置保持一致性。即可视化在原始图像中的展示位置符合图1-c的连贯原则。所述原则表示的目标数据的可视化在原始图像中的展示位置与目标数据的可视化在上一个原始图像中的位置(即上一个目标数据的可视化)请参照图1-c。将保持一致性原则对应于平面布局的基本美学原则中的连贯原则,针对该原则进行了量化建模,所述模型能量函数具体如下。

e连贯=(xi-xpre)2+(yi-ypre)2

其中,xpre,ypre为上一个目标数据的可视化在上一个原始图像中的横坐标与纵坐标信息。

基于上述五个原则,构建当前原始图像中,目标数据的可视化在原始图像中的展示位置信息的能量函数e。

e=ω1e平衡+ω2e对齐+ω3e亲近+ω4e可读+ω5e连贯

其中,ω1~ω5分别为每个模型代表的权重,可以为每个模型自行分配权重。

在计算目标数据的可视化在原始图像中的展示位置信息时,满足能量函数e取得最小值即可。在能量函数e中,由于其他参量为定值,仅仅目标数据的可视化在原始图像中的展示位置会影响能量函数e的取值,因此,可以通过能量函数e取得最小值,获得目标数据的可视化在原始图像中的展示位置信息。在此处,需要说明的是,目标数据的可视化在原始图像中的展示位置信息可以是指第i个可视化在原始图像中的展示位置信息,当然更具体地还可以是第i个可视化中的第v个可视化类型在原始图像中的展示位置信息。

在获得目标数据的可视化在原始图像中的展示位置信息时,还需要获得目标数据的可视化相对于原始音频数据的展示时间信息。

作为获得目标数据的可视化相对于原始音频数据的展示时间信息的一种实施方式。首先,根据原始音频数据,获得原始音频数据的节奏特征信息。之后,根据节奏特征信息,获得目标数据的可视化相对于原始音频数据的展示时间信息。

具体地,根据节奏特征信息,获得目标数据的可视化相对于原始音频数据的展示时间信息,可以是将节奏特征信息与目标数据的可视化,作为用于获得可视化的展示时间信息的网络模型的输入数据,获得目标数据的可视化相对于原始音频数据的展示时间信息。

其中,上述用于获得目标数据的可视化的展示时间信息的网络模型,为基于目标数据的可视化相对于原始音频数据的展示时间信息与节奏特征信息相匹配原则构建的网络模型。

为保证获得的视频数据能够保证音频数据与目标数据的可视化展示保持同步,本实施例通过音频数据与目标数据的可视化展示保持同步,实现多个原始图像转场之间(即该图像在目标视频文件中对应的展示视频片段)的时刻要与音频数据的节拍信息保持同步。对基于目标数据的可视化相对于原始音频数据的展示时间信息与节奏特征信息相匹配构建的网络模型构建的能量函数具体如下。

其中,为视频片段和音频数据节奏中节拍信息的最大吻合数,其具体定义方式如下:

其中,为视频片段和音频数据的匹配函数,其具体定义如下:

其中,t=[t1,…,tn],tn表示n个视频片段每个视频片段的展示时间长度,bl=[b0,b1,…,bl]表示节奏特征信息中节拍信息的节奏点。表示m个视频片段每个视频片段的起始与终止展示时间,其中,需要说明的是,n≤m。

具体地,为了充分利用节奏特征信息中节拍信息的节奏点,并且避免修改可视化的展示时间长度,以下边界条件必须要满足由于时长的差别,时间点和音乐节拍不能严格对应,因此,允许稍微延长或者缩短视频片段的展示时间匹配音乐节奏点。定义匹配函数如下:

其中,α为一个阈值,默认为0.1。在实际中存在着一个转场时间点和多个节拍点都满足匹配函数的情形,但是在本实施例中只取值最小的节奏点。

对于任意的m和l,转场时间点和音乐节奏点实际上是两个升序序列,找到最多的转场和节奏吻合点和最长公共子序列问题相同,只不过公共序列由匹配函数定义。最长公共子序列是一个经典的动态规划问题,状态转移方程定义如下:

上述函数解出来的对应点为转场时间点和节奏点那么每个带有可视化的视频片段(一个视频片段仅有一个可视化)展示的时长会更新为如果节奏点不够密,就会出现有些转场点无法匹配到节奏点的情形。因此,可以在两个节奏点间,以视频片段展示的时长作为权重来分配时间。例如,在之间有p个转换点,那么

通过求解上述能量函数最小值的时间信息,即可获得目标数据的可视化相对于原始音频数据的展示时间信息

步骤s104:根据展示位置信息,对原始图像以及可视化进行合成处理,获得目标视频数据。

在步骤s101-s103获得原始图像,目标数据对应的可视化,以及目标数据的可视化在原始图像中的展示位置信息后,将原始图像以及可视化按照上述展示位置信息合成,进而获得目标视频数据。由于在合成目标视频文件时,可以将音频数据作为背景音乐,因此上述合成目标视频文件时在有音频数据时,是将原始图像、原始音频文件以及可视化按照上述展示位置信息与展示时间信息合成,进而获得目标视频数据。

在合成目标视频文件时,可以先对原始图像、原始音频数据以及可视化进行渲染,获得渲染结果。之后,根据渲染结果、展示位置信息和展示时间信息,对原始图像、原始音频数据以及可视化进行合成处理,获得目标视频数据。

另外,在获得目标视频数据时,还可以先对原始图像、原始音频数据以及可视化进行编码处理。编码之后,再根据编码的图像、音频数据以及可视化,获得所述目标视频数据。

请参照图1-d,其为本申请提供的获得视频数据方法的又一应用场景示意图。其示出了获得目标视频数据的具体场景。首先,获得输入的原始图像,原始音频数据,视频片段数据,以及目标数据。按照第一实施例的方法对目标数据进行预处理,即获得目标数据的可视化在原始图像或者视频片段数据的展示位置信息,目标数据可视化相对于原始音频数据或者视频片段数据的展示时间信息以及目标数据的可视化。之后,对预处理结果进行优化,例如,可以是重新选择目标数据的可视化数据类型。再之后,对优化的原始图像,原始音频数据,视频片段数据以及可视化进行渲染,获得渲染结果。最后,根据渲染结果,对原始图像,原始音频数据,视频片段数据以及可视化进行编码,获得目标视频数据。

本申请提供的获得视频数据的方法,由于获得了与所述原始图像相关联的目标数据的可视化在所述原始图像中的展示位置信息,实际上将目标数据的可视化与原始图像进行了绑定,因而以此获得的视频数据能够直观地展示目标数据与原始图像之间的关系,从而解决了现有技术合成的视频文件不能直观地展示相关量化数据与对象之间的关系的问题;同时,由于获得了目标数据的可视化相对于原始音频数据的展示时间信息,因而以此获得的视频数据能够保证音频数据与目标数据可视化的展示保持同步。另外,根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理获得的目标视频数据,实现了目标数据可视化地嵌入在视频中。

在上述的第一实施例中,提供了一种获得视频数据的方法,与之相对应的,本申请提供一种获得视频数据的装置。如图2所示,其为本申请第二实施例的获得视频数据的装置的示意图。由于装置实施例基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。下述描述的装置实施例仅仅是示意性的。

本申请第二实施例提供一种获得视频数据的装置,所述装置包括:

数据获得单元201,用于获得原始图像以及与所述原始图像相关联的目标数据;

可视化获得单元202,用于根据所述目标数据获得所述目标数据的可视化;

展示信息获得单元203,用于获得所述可视化在所述原始图像中的展示位置信息;

目标视频数据获得单元204,用于根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

可选的,所述数据获得单元:还用于获得原始音频数据;

所述展示信息获得单元,还用于获得所述可视化相对于所述原始音频数据的展示时间信息;

所述目标视频数据获得单元,具体用于:

根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据。

可选的,还包括特征信息获得单元:

所述特征信息获得单元,用于根据所述原始图像,获得所述原始图像中的目标主体的特征信息;

所述数据获得单元,具体用于:

根据所述目标主体的特征信息,获得与目标主体相关联的目标数据。

可选的,所述展示信息获得单元,具体用于:

根据所述目标主体的特征信息以及所述原始图像中的参照物的特征信息,获得所述可视化在所述原始图像中的展示位置信息。

可选的,所述展示信息获得单元,具体用于:

将所述目标主体的特征信息、所述参照物的特征信息与所述可视化,输入到用于获得可视化在原始图像的展示位置信息的网络模型中,获得所述可视化在所述原始图像中的展示位置信息。

可选的,还包括节奏特征信息获得单元;

所述节奏特征信息获得单元,用于根据所述原始音频数据,获得所述原始音频数据的节奏特征信息;

所述展示信息获得单元,具体用于:

根据所述节奏特征信息,获得所述可视化相对于所述原始音频数据的展示时间信息。

可选的,所述展示信息获得单元,具体用于:

将所述节奏特征信息与所述可视化,作为用于获得可视化的展示时间信息的网络模型的输入数据,获得所述可视化相对于所述原始音频数据的展示时间信息。

可选的,还包括渲染单元:

所述渲染单元,用于对所述原始图像、所述原始音频数据以及所述可视化进行渲染,获得渲染结果;

所述目标视频数据获得单元,具体用于:根据所述渲染结果、所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行合成处理,获得目标视频数据。

可选的,所述目标视频数据获得单元,具体用于:

根据所述展示位置信息和所述展示时间信息,对所述原始图像、所述原始音频数据以及所述可视化进行编码处理,获得所述目标视频数据。

可选的,所述目标主体的特征信息包括以下信息的至少一种:所述目标主体在所述原始图像中的位置信息,所述目标主体的尺寸信息,以及所述目标主体的类型。

可选的,所述参照物的特征信息至少包括所述参照物在所述原始图像中的位置信息。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述参照物在所述原始图像中的位置信息保持靠近的方式构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述目标主体在所述原始图像中的位置信息分布均衡构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息与所述目标主体在所述原始图像中的位置信息保持对齐的方式构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息不遮挡所述目标主体在所述原始图像中的位置信息构建的网络模型。

可选的,所述用于获得可视化在原始图像的展示位置信息的网络模型,为基于所述可视化在所述原始图像中的展示位置信息保持一致性构建的网络模型。

可选的,所述用于获得可视化的展示时间信息的网络模型,为基于所述可视化相对于所述原始音频数据的展示时间信息与所述节奏特征信息相匹配构建的网络模型。

可选的,所述可视化的类型信息包括以下信息的至少一种:饼图、线图、柱状图、字云统计图表。

本申请第一实施例给出了一种获得视频数据的方法,本申请第三实施例给出了与第一实施例方法对应的电子设备。

如图3所示,其示出了本实施例电子设备示意图。

本实施例提供一种电子设备,包括:

处理器301;

存储器302,用于存储计算机程序,该计算机程序被处理器运行,执行获得视频数据的方法,所述方法包括如下步骤:

获得原始图像以及与所述原始图像相关联的目标数据;

根据所述目标数据获得所述目标数据的可视化;

获得所述可视化在所述原始图像中的展示位置信息;

根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。

本申请第一实施例给出了一种获得视频数据的方法,本申请第四实施例给出了与第一实施例方法对应的计算机存储介质,所述计算机存储介质存储有计算机程序,该计算机程序被处理器运行,执行获得视频数据的方法,所述方法包括如下步骤:

获得原始图像以及与所述原始图像相关联的目标数据;

根据所述目标数据获得所述目标数据的可视化;

获得所述可视化在所述原始图像中的展示位置信息;

根据所述展示位置信息,对所述原始图像以及所述可视化进行合成处理,获得目标视频数据。本申请虽然以较佳实施例公开如上,但其并不是用来限定本申请,任何本领域技术人员在不脱离本申请的精神和范围内,都可以做出可能的变动和修改,因此本申请的保护范围应当以本申请权利要求所界定的范围为准。

在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flashram)。内存是计算机可读介质的示例。

1、计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括非暂存电脑可读存储媒体(non-transitorycomputerreadablestoragemedia),如调制的数据信号和载波。

2、本领域技术人员应明白,本申请的实施例可提供为方法、系统或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1