视频合成方法、装置、设备及存储介质与流程

文档序号:31635971发布日期:2022-09-24 04:01阅读:198来源:国知局
视频合成方法、装置、设备及存储介质与流程

1.本发明涉及视频合成技术领域,尤其涉及一种视频合成方法、装置、设备及存储介质。


背景技术:

2.目前在处理4k以上分辨率的超高清环绕拍摄原始帧序列时,为了能够实现实时合成效果预览,一般采用同比例画幅降低分辨率的合成方式。而通过上述方式进行环绕拍摄的视频合成预览,120帧4k环绕合成视频码率约1600mb/s,等比例缩减画质码率至8mb/s后,环绕效果预览处理速度约为3-5min,不利于实时环绕合成视频的预览与传输。
3.上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。


技术实现要素:

4.本发明的主要目的在于提供了一种视频合成方法、装置、设备及存储介质,旨在解决现有技术采用同比例画幅降低分辨率的方式处理环绕拍摄原始帧序列导致预览视频的合成效率低的技术问题。
5.为实现上述目的,本发明提供了一种视频合成方法,所述方法包括以下步骤:
6.根据相机阵列所拍摄的视频帧构建若干组视频帧序列;
7.提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;
8.根据所述关键帧合成目标视频。
9.可选地,所述根据所述关键帧合成目标视频的步骤,包括:
10.从所述关键帧中选取相匹配的关键帧对,所述关键帧对中的关键帧由不同的相机拍摄;
11.确定所述关键帧对中关键帧之间的视点差值;
12.根据所述视点差值对所述关键帧对中的任一关键帧进行平移,获得虚拟视点帧;
13.根据所述关键帧和所述虚拟视点帧合成目标视频。
14.可选地,所述根据相机阵列所拍摄的视频帧构建若干组视频帧序列的步骤,包括:
15.获取相机阵列所拍摄的视频帧;
16.从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列;
17.统计构建的所述视频帧序列的序列数量,判断所述序列数量是否大于预设视频帧序列数;
18.若否,则执行所述从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列的步骤。
19.可选地,所述从所述关键帧中选取相匹配的关键帧对的步骤,包括:
20.对所述关键帧进行遍历,将遍历到的关键帧作为基准视频帧;
21.根据所述关键帧的时间特征和空间特征从所述关键帧中选取与所述基准视频帧相匹配的匹配帧;
22.将所述基准视频帧和所述匹配帧作为关键帧对。
23.可选地,所述根据所述关键帧和所述虚拟视点帧合成目标视频的步骤,还包括:
24.根据所述关键帧和所述虚拟视点帧构建关键帧序列;
25.通过预设特征提取网络对所述关键帧序列进行图像帧序列特征化,获得待编码帧序列;
26.对所述待编码帧序列进行编码,获得待合成帧序列以及所述待合成帧序列中各视频帧的帧号和时间戳;
27.根据所述各视频帧的帧号和时间戳对所述待合成帧序列进行合成,获得目标视频。
28.可选地,所述提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧的步骤,包括:
29.提取每组视频帧序列中各视频帧的时空特征;
30.根据所述时空特征确定各视频帧的特征面积占比;
31.根据所述特征面积占比确定每组视频帧序列中各视频帧的关键度分值;
32.根据所述关键度分值对所述若干组视频帧序列中的各视频帧进行排序,获得排序结果;
33.根据所述排序结果从所述若干组视频帧序列中选取预设数量的关键帧。
34.可选地,所述根据相机阵列所拍摄的视频帧构建若干组视频帧序列的步骤之前,还包括:
35.从相机阵列中选取预设数量的标定相机;
36.获取所述标定相机的位置信息和焦距信息;
37.根据所述位置信息和所述焦距信息对所述相机阵列中的相机进行目标标定,获得标定后的相机阵列;
38.所述根据相机阵列所拍摄的视频帧构建若干组视频帧序列,包括:
39.根据所述标定后的相机阵列所拍摄的视频帧构建若干组视频帧序列。
40.此外,为实现上述目的,本发明还提供一种视频合成装置,所述装置包括:
41.拍摄模块,用于根据相机阵列所拍摄的视频帧构建若干组视频帧序列;
42.选取模块,用于提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;
43.合成模块,用于根据所述关键帧合成目标视频。
44.此外,为实现上述目的,本发明还提出一种视频合成设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频合成程序,所述视频合成程序配置为实现如上文所述的视频合成方法的步骤。
45.此外,为实现上述目的,本发明还提出一种存储介质,所述存储介质上存储有视频合成程序,所述视频合成程序被处理器执行时实现如上文所述的视频合成方法的步骤。
46.本发明根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序
列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;根据所述关键帧合成目标视频。由于本发明是根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序列中各视频帧的时空特征,根据时空特征从若干组视频帧序列中选取关键帧;根据关键帧合成目标视频。相对于现有的在处理环绕拍摄原始帧序列时,采用同比例画幅降低分辨率的方式,本发明上述方式不用降低视频帧的分辨率,只根据关键帧合成目标视频,能够增加目标视频的合成效率。
附图说明
47.图1是本发明实施例方案涉及的硬件运行环境的视频合成设备的结构示意图;
48.图2为本发明视频合成方法第一实施例的流程示意图;
49.图3为本发明视频合成方法第一实施例的相机标定示意图;
50.图4为本发明视频合成方法第二实施例的流程示意图;
51.图5为本发明视频合成装置第一实施例的结构框图。
52.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
53.应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
54.参照图1,图1为本发明实施例方案涉及的硬件运行环境的视频合成设备结构示意图。
55.如图1所示,该视频合成设备可以包括:处理器1001,例如中央处理器(central processing unit,cpu),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity,wi-fi)接口)。存储器1005可以是高速的随机存取存储器(random access memory,ram),也可以是稳定的非易失性存储器(non-volatile memory,nvm),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
56.本领域技术人员可以理解,图1中示出的结构并不构成对视频合成设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
57.如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及视频合成程序。
58.在图1所示的视频合成设备中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明视频合成设备中的处理器1001、存储器1005可以设置在视频合成设备中,所述视频合成设备通过处理器1001调用存储器1005中存储的视频合成程序,并执行本发明实施例提供的视频合成方法。
59.基于上述视频合成设备,本发明实施例提供了一种视频合成方法,参照图2,图2为本发明视频合成方法第一实施例的流程示意图。
60.本实施例中,所述视频合成方法包括以下步骤:
61.步骤s10:根据相机阵列所拍摄的视频帧构建若干组视频帧序列。
62.需要说明的是,本实施例的执行主体可以是一种具有数据处理、网络通信以及程序运行功能的计算服务设备,例如手机、平板电脑、个人电脑等,或者是一种能够实现上述功能的电子设备或视频合成设备。以下以所述视频合成设备为例,对本实施例及下述各实施例进行说明。
63.需要说明的是,所述相机阵列可以是环绕拍摄时,布置在待拍摄的目标场地周围的多个相机组成的阵列。所述相机阵列可拍摄出不同视角的视频帧。所述构建若干组视频帧序列可以是从相机阵列所拍摄的视频帧中随机抽取预设数量个视频帧组成一个序列,共组成若干组视频帧序列,例如,从所拍摄的视频帧中随机抽取5个视频帧组成一个序列,共构建十个序列。
64.进一步的,为了使视频帧序列组合增多,具有更好的泛化性,所述步骤s10,可包括:获取相机阵列所拍摄的视频帧;从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列;统计构建的所述视频帧序列的序列数量,判断所述序列数量是否大于预设视频帧序列数;若否,则执行所述从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列的步骤。
65.需要说明的是,所述预设数量可以是预先设置的数值,用于确定视频帧序列中的视频帧数量,可以是为5,10等数值。所述序列数量可以是构建的视频帧序列的数量。所述预设视频帧序列数可以是预先设置的需要构建多少个视频帧序列。
66.步骤s20:提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧。
67.需要说明的是,所述时空特征可包括各视频帧的空间特征和时间特征。所述空间特征可以是视频帧中的拍摄目标占所述视频帧的三维体积,例如,拍摄的视频帧为拍摄舞蹈演员的表演,所述空间特征可以包括所述舞蹈演员的姿态特征,舞蹈演员的动作幅度越大,在所述视频帧中所占的空间就越大,所述空间特征就越多。所述时间特征可以是拍摄所述视频帧的拍摄时间戳。所述根据所述时空特征从所述若干组视频帧序列中选取关键帧可以是根据所述时空特征中的空间特征,为若干组视频帧序列中的各个视频帧确定一个关键度分值,根据各个视频帧对应的关键度分值选取关键帧,可以是选取关键度分值大于预设关键度阈值的视频帧作为关键帧。所述预设关键度阈值可以是预先设置的用于选取关键帧的关键度阈值。所述为若干组视频帧序列中的各个视频帧确定一个关键度分值可以是根据拍摄目标占所述视频帧的三维体积确定关键度分值,拍摄目标占所述视频帧的三维体积越大,该视频帧的关键度分值就越高。
68.进一步的,相机阵列中不同的相机或不同的拍摄时间拍摄出来的视频帧存在差别,有的视频帧中拍摄目标的面积占整个视频帧的面积较大,能够包含更多的拍摄目标的特征,有的视频帧可能没有拍摄到拍摄目标或拍摄到的拍摄目标占整个视频帧的面积较小,为了使合成的目标视频中的每一帧视频帧中都能够包含较多的拍摄目标的特征,所述步骤s20,可包括:提取每组视频帧序列中各视频帧的时空特征;根据所述时空特征确定各视频帧的特征面积占比;根据所述特征面积占比确定每组视频帧序列中各视频帧的关键度分值;根据所述关键度分值对所述若干组视频帧序列中的各视频帧进行排序,获得排序结果;根据所述排序结果从所述若干组视频帧序列中选取预设数量的关键帧。
69.需要说明的是,所述提取每组视频帧序列中各视频帧的时空特征可以是通过预设
卷积神经网络模型提取每组视频帧序列中各视频帧的时空特征,并基于所述预设卷积神经网络模型确定各视频帧的特征面积占比;并根据所述特征面积占比确定每组视频帧序列中各视频帧的关键度分值。所述预设卷积神经网络模型可以是预先对三维卷积神经网络进行训练得到的网络模型,用于提取所述视频帧序列中各视频帧的时空特征并输出各视频帧的关键度分值。所述特征面积占比可以是拍摄目标在视频帧中所占的面积与视频帧的面积的比值。
70.步骤s30:根据所述关键帧合成目标视频。
71.需要说明的是,所述根据所述关键帧合成目标视频可以是根据所述关键帧的拍摄时间顺序将所述关键帧合成目标视频。也可以是根据所述关键帧从所述所拍摄的视频帧中再选取一些视频帧,根据选取的视频帧和关键帧合成目标视频。例如,根据所述关键帧的拍摄时间,从所述所拍摄的视频帧中选取与所述拍摄时间相隔预设时长的视频帧作为备选帧,根据所述备选帧和所述关键帧按照拍摄时间的顺序构建目标视频。
72.在具体实施中,也可以不根据关键帧的拍摄时间合成目标视频,可直接根据所述关键帧合成目标视频。。
73.进一步的,为了避免拍摄的视频帧存在图像畸变或抖动,所述步骤s10之前,可包括:从相机阵列中选取预设数量的标定相机;获取所述标定相机的位置信息和焦距信息;根据所述位置信息和所述焦距信息对所述相机阵列中的相机进行目标标定,获得标定后的相机阵列;所述根据相机阵列所拍摄的视频帧构建若干组视频帧序列,包括:根据所述标定后的相机阵列所拍摄的视频帧构建若干组视频帧序列。
74.需要说明的是,所述预设数量的标定相机可以是三个不同视角的相机。根据所述位置信息和所述焦距信息对所述相机阵列中的相机进行目标标定可以是根据所述位置信息和所述焦距信息确定所述标定相机的拍摄中心,并确定其他视角的相机的拍摄中心与所述标定相机的拍摄中心的误差值,然后继续随机抽取三个不同视角的相机,重复上述根据位置信息和焦距信息确定相机的拍摄中心,并确定其他视角的相机的拍摄中心与所述相机的拍摄中心的误差值。根据上述步骤确定各个相机在不同标定相机的拍摄中心下的误差值,选取误差最小的标定相机的拍摄中心为相机阵列的圆心,基于确定的相机阵列的圆心生成调整指令,以使工作人员进行调整,实现对不同视角的相机进行目标标定,所述相机阵列的圆心即为拍摄目标。
75.在具体实施中,可参照图3,图3为本发明视频合成方法第一实施例的相机标定示意图;图3中的拍摄目标为中心的舞蹈老师的表演,不同视角的相机共有4个,随机选取了三个作为标定相机,求取所述三个标定相机的拍摄中心,并判断另一个相机的拍摄中心与所述标定相机的拍摄中心的误差。然后再随机选取三个相机作为标定相机,计算剩余的相机的拍摄中心与其标定相机的拍摄中心的误差,将使得误差最小的标定相机的拍摄中心作为拍摄目标,根据所述拍摄目标调整其他相机的位置和焦距,实现相机的标定。
76.本实施例根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;根据所述关键帧合成目标视频。由于本实施例是根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序列中各视频帧的时空特征,根据时空特征从若干组视频帧序列中选取关键帧;根据关键帧合成目标视频。相对于现有的在处理环绕拍摄原始帧序列
时,采用同比例画幅降低分辨率的方式,本实施例上述方式不用降低视频帧的分辨率,只根据关键帧合成目标视频,能够增加目标视频的合成效率。
77.参考图4,图4为本发明视频合成方法第二实施例的流程示意图。
78.基于上述第一实施例,在本实施例中,所述步骤s30包括:
79.步骤s301:从所述关键帧中选取相匹配的关键帧对,所述关键帧对中的关键帧由不同的相机拍摄。
80.需要说明的是,所述从所述关键帧中选取相匹配的关键帧对可以是从关键帧中选取两张由不同相机拍摄的且存在匹配点的关键帧组成关键帧对。所述存在匹配点可以是两张关键帧中存在同一目标,例如,关键帧对中的第一张关键帧中的某一行存在目标点1,则关键帧对中的另一张关键帧中的同一行也存在目标点1。
81.进一步的,为了快速的从关键帧中选取相匹配的关键帧对,所述步骤s301,可包括:对所述关键帧进行遍历,将遍历到的关键帧作为基准视频帧;根据所述关键帧的时间特征和空间特征从所述关键帧中选取与所述基准视频帧相匹配的匹配帧;将所述基准视频帧和所述匹配帧作为关键帧对。
82.需要说明的是,所述根据所述关键帧的时间特征和空间特征从所述关键帧中选取与所述基准视频帧相匹配的匹配帧可以是根据所述关键帧中的时间特征和空间特征选取与基准视频帧的拍摄时间相同且存在匹配点的关键帧作为匹配帧。
83.步骤s302:确定所述关键帧对中关键帧之间的视点差值。
84.需要说明的是,视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异,从目标看两个点之间的夹角,叫做这两个点的视差角。所述视点差值可以是所述关键帧对中两个关键帧某一个像素点之间的视差。
85.步骤s303:根据所述视点差值对所述关键帧对中的任一关键帧进行平移,获得虚拟视点帧。
86.需要说明的是,所述根据所述视点差值对所述关键帧对中的任一关键帧进行平移,获得虚拟视点帧可以是例如,关键帧对中的两帧关键帧中某一个目标像素点的视点差值为d,也即从关键帧对中第一个关键帧a对应的摄像机camer_l到关键帧对中另一个关键帧b对应的摄像机camer_r之间,该目标像素点的视差值变化范围为0~d,将其取值范围归一化到delta=0~1。假设获取delta=0.3位置时候虚拟相机拍摄的视频帧c,则此时视频帧c中目标像素点和关键帧a中的目标像素点的坐标差异就是0.3d,视频帧c中目标像素点和关键帧b中的目标像素点的坐标差异是0.7d;因此确定虚拟视点帧时只需将关键帧a中的像素点位置向右移动d*delta,或者关键帧b中的像素点向左移动(1-delta)*d,就可以得到该位置处虚拟相机拍摄的虚拟视点帧。
87.步骤s304:根据所述关键帧和所述虚拟视点帧合成目标视频。
88.需要说明的是,所述根据所述关键帧和所述虚拟视点帧合成目标视频可以是先根据所述关键帧的拍摄时间将所述关键帧合成为一个关键帧视频,在将关键帧中各关键帧对对应的虚拟视点帧插入至关键帧对中两个关键帧的中间位置,得到目标视频。也可以是将各个关键帧对和其对应的虚拟视点帧进行绑定,按照预先设置的合成顺序将关键帧对中的两帧关键帧和虚拟视点帧合成为一个待合成视频,再根据各个待合成视频和待合成视频中视频帧的拍摄时间合成目标视频。所述合成顺序可以是按照水平方向上的从左到右的顺序
或从右到左的顺序将关键帧对中的两帧关键帧和虚拟视点帧合成为一个待合成视频。例如,关键帧对w包括两个关键帧,关键帧f和关键帧e,关键帧对w对应的虚拟视点帧为p。对于视频帧f、e和p中共有的一个目标像素点,在关键帧f中,所述目标像素点在所述关键帧f中第4列像素点的位置。在关键帧e中,所述目标像素点在所述关键帧e中第60列像素点的位置。在虚拟视点帧p中,所述目标像素点在所述虚拟视点帧p中第30列像素点的位置。则可知,按照水平的从左到右的顺序将这三张视频帧合成为一个待合成视频的合成顺序可以是f-p-e。根据待合成视频合成目标视频可以是按照待合成视频中视频帧的拍摄时间将各个待合成视频合成为目标视频。
89.进一步的,为了提高目标视频的合成效率,所述步骤s304,可包括:根据所述关键帧和所述虚拟视点帧构建关键帧序列;通过预设特征提取网络对所述关键帧序列进行图像帧序列特征化,获得待编码帧序列;对所述待编码帧序列进行编码,获得待合成帧序列以及所述待合成帧序列中各视频帧的帧号和时间戳;根据所述各视频帧的帧号和时间戳对所述待合成帧序列进行合成,获得目标视频。
90.需要说明的是,所述根据所述关键帧和所述虚拟视点帧构建关键帧序列可以是将所述关键帧和所述虚拟视点帧组成关键帧序列。所述预设特征提取网络可以是预先训练的用于对关键帧序列进行特征提取、特征编码、特征解码的网络模型。为了更好的对关键帧序列进行图像帧序列特征化,所述预设特征提取网络中加入了注意力机制。所述根据所述各视频帧的帧号和时间戳对所述待合成帧序列进行合成,获得目标视频可以是根据所述各视频帧的时间戳和帧号按照时间顺序对所述待合成帧序列进行合成,获得目标视频。
91.本实施例从所述关键帧中选取相匹配的关键帧对,所述关键帧对中的关键帧由不同的相机拍摄;确定所述关键帧对中关键帧之间的视点差值;根据所述视点差值对所述关键帧对中的任一关键帧进行平移,获得虚拟视点帧;根据所述关键帧和所述虚拟视点帧合成目标视频。本实施例从关键帧中选取相匹配的关键帧对,确定关键帧对中关键帧之间的视点差值;根据视点差值对关键帧对中的任一关键帧进行平移,获得虚拟视点帧;根据关键帧和虚拟视点帧合成目标视频。本实施例通过上述方式,能够在合成目标视频中采用虚拟视点帧,使合成的目标视频具有更好的连贯性。
92.参照图5,图5为本发明视频合成装置第一实施例的结构框图。
93.如图5所示,本发明实施例提出的视频合成装置包括:
94.拍摄模块10,用于根据相机阵列所拍摄的视频帧构建若干组视频帧序列;
95.选取模块20,用于提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;
96.合成模块30,用于根据所述关键帧合成目标视频。
97.本实施例根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序列中各视频帧的时空特征,根据所述时空特征从所述若干组视频帧序列中选取关键帧;根据所述关键帧合成目标视频。由于本实施例是根据相机阵列所拍摄的视频帧构建若干组视频帧序列;提取每组视频帧序列中各视频帧的时空特征,根据时空特征从若干组视频帧序列中选取关键帧;根据关键帧合成目标视频。相对于现有的在处理环绕拍摄原始帧序列时,采用同比例画幅降低分辨率的方式,本实施例上述方式不用降低视频帧的分辨率,只根据关键帧合成目标视频,能够增加目标视频的合成效率。
98.需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
99.另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的视频合成方法,此处不再赘述。
100.基于本发明上述视频合成装置第一实施例,提出本发明视频合成装置的第二实施例。
101.在本实施例中,所述合成模块30,还用于从所述关键帧中选取相匹配的关键帧对,所述关键帧对中的关键帧由不同的相机拍摄;确定所述关键帧对中关键帧之间的视点差值;根据所述视点差值对所述关键帧对中的任一关键帧进行平移,获得虚拟视点帧;根据所述关键帧和所述虚拟视点帧合成目标视频。
102.进一步的,所述拍摄模块10,还用于获取相机阵列所拍摄的视频帧;从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列;统计构建的所述视频帧序列的序列数量,判断所述序列数量是否大于预设视频帧序列数;若否,则执行所述从所述所拍摄的视频帧中抽取预设数量的目标视频帧,并根据所述目标视频帧构建视频帧序列的步骤。
103.进一步的,所述合成模块30,还用于对所述关键帧进行遍历,将遍历到的关键帧作为基准视频帧;根据所述关键帧的时间特征和空间特征从所述关键帧中选取与所述基准视频帧相匹配的匹配帧;将所述基准视频帧和所述匹配帧作为关键帧对。
104.进一步的,所述合成模块30,还用于根据所述关键帧和所述虚拟视点帧构建关键帧序列;通过预设特征提取网络对所述关键帧序列进行图像帧序列特征化,获得待编码帧序列;对所述待编码帧序列进行编码,获得待合成帧序列以及所述待合成帧序列中各视频帧的帧号和时间戳;根据所述各视频帧的帧号和时间戳对所述待合成帧序列进行合成,获得目标视频。
105.进一步的,所述选取模块20,还用于提取每组视频帧序列中各视频帧的时空特征;根据所述时空特征确定各视频帧的特征面积占比;根据所述特征面积占比确定每组视频帧序列中各视频帧的关键度分值;根据所述关键度分值对所述若干组视频帧序列中的各视频帧进行排序,获得排序结果;根据所述排序结果从所述若干组视频帧序列中选取预设数量的关键帧。
106.进一步的,所述拍摄模块10,还用于从相机阵列中选取预设数量的标定相机;获取所述标定相机的位置信息和焦距信息;根据所述位置信息和所述焦距信息对所述相机阵列中的相机进行目标标定,获得标定后的相机阵列;所述根据相机阵列所拍摄的视频帧构建若干组视频帧序列,包括:根据所述标定后的相机阵列所拍摄的视频帧构建若干组视频帧序列。
107.本发明视频合成装置的其他实施例或具体实现方式可参照上述各方法实施例,此处不再赘述。
108.此外,本发明实施例还提出一种存储介质,所述存储介质上存储有视频合成程序,所述视频合成程序被处理器执行时实现如上文所述的视频合成方法的步骤。
109.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
110.上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
111.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
112.以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1