拍摄参数预测模型的生成方法、预测方法及拍摄设备

1.本发明涉及模型训练技术领域，特别是涉及一种拍摄参数预测模型的生成方法、预测方法及拍摄设备。


背景技术：

2.近年来，随着图片数据采集的广泛应用和图像模式识别技术的发展，针对照片中相机参数的研究不断深入。过去20年里，深度学习改变了计算机视觉领域。深度卷积网络成功地应用于学习不同的视觉任务，如图像分类、图像分割、目标检测等。通过将深度模型学到的知识转移到大型通用数据集上，研究人员进一步能够为其他更具体的任务创建微调模型。
3.根据已有的运动视频获取对应的相机位置是深度学习与图形学结合的一个新的研究方向，然而传统人工智能方法获取到的相机位置数据存在不够准确的问题。
4.综上，现有技术中存在获取到的相机位置数据不够准确等问题。


技术实现要素：

5.鉴于以上现有技术的缺点，本发明的目的在于提供一种拍摄参数预测模型的生成方法、预测方法及拍摄设备，以改善现有技术中的获取到的相机位置数据不够准确等技术问题。
6.为实现上述目的及其他相关目的，本发明提供一种拍摄参数预测模型的生成方法，包括：
7.获取多个变视角视频，并对其进行逐帧分解，得到多个帧图像作为数据集；
8.将所述数据集随机分成训练集和测试集；
9.采用训练集训练拍摄参数预测网络，得到训练好的拍摄参数预测网络；
10.将所述测试集输入训练好的拍摄参数预测网络，得到所述测试集对应的多个预测拍摄参数，当所述预测拍摄参数满足预设条件时，将当前的拍摄参数预测网络作为最终的拍摄参数预测模型。
11.在一种较优的实施例中，每个所述帧图像包括对应的帧编号、时间值和相机位姿参数。
12.在一种较优的实施例中，所述拍摄参数预测网络包括依次连接的卷积神经网络、长短期记忆网络和两个全连接层。
13.在一种较优的实施例中，所述卷积神经网络包括九个卷积层、一个关联层、一个最大池化层和一个全连接层。
14.在一种较优的实施例中，所述将所述测试集输入训练好的卷积神经网络、长短期记忆网络和两个全连接层，得到所述测试集对应的多个预测拍摄参数，当所述预测拍摄参数满足预设条件时，将当前的卷积神经网络、长短期记忆网络和两个全连接层作为拍摄参数预测模型的步骤包括：
15.将间隔预设帧数值的帧图像进行随机配对，获得多个图像对；
16.将所述图像对输入训练好的卷积神经网络，得到所述图像对对应的特征信息；
17.将所述特征信息依次输入训练好的长短期记忆网络和两个全连接层，得到对应的预测拍摄参数；
18.将多个所述预测拍摄参数依次连接，得到预测拍摄路径及对应的预测拍摄角度；
19.当所述预测拍摄路径及预测拍摄角度与预设拍摄路径及预设拍摄角度的重合率达到预设阈值时，将当前的拍摄参数预测模型作为最终的拍摄参数预测模型。
20.在一种较优的实施例中，所述将多个所述预测拍摄参数依次连接，得到预测拍摄路径及对应的预测拍摄角度的步骤包括：
21.按照所述图像对中较靠前的时间值，将所有图像对对应的预测拍摄参数进行排序；
22.将排序后的预测拍摄参数依次连接，得到所述预测拍摄路径及对应的预测拍摄角度。
23.本发明还公开了一种拍摄参数预测模型的生成系统，包括：
24.分解模块，用于获取多个变视角视频，并对其进行逐帧分解，得到多个帧图像作为数据集；
25.划分模块，用于将所述数据集随机分成训练集和测试集；
26.训练模块，采用训练集训练拍摄参数预测网络，得到训练好的拍摄参数预测网络；
27.模型生成模块，用于将所述测试集输入训练好的拍摄参数预测网络，得到所述测试集对应的多个预测拍摄参数，当所述预测拍摄参数满足预设条件时，将当前的拍摄参数预测网络作为最终的拍摄参数预测模型。
28.本发明还公开了一种相机拍摄路径的预测方法，采用上述拍摄参数预测模型的生成方法生成的拍摄参数预测模型，所述相机拍摄路径预测方法包括：
29.将目标变视角视频进行逐帧分解，得到多个目标帧图像；
30.将间隔预设帧数值的所述目标帧图像进行随机配对，获得目标图像对；
31.将所述目标图像对输入所述拍摄参数预测模型，得到多个目标预测拍摄参数；
32.按照所述目标图像对中较靠前的时间值，将所有目标图像对对应的目标预测拍摄参数进行排序；
33.根据排序后的目标预测拍摄参数，得到所述预测拍摄路径及对应的预测拍摄角度。
34.本发明还公开了一种拍摄装置，所述拍摄装置包括相机载具、驱动装置、拍摄装置和控制器；
35.所述驱动装置固定设置在所述相机载具的上平面，用于驱动所述相机载具移动；
36.拍摄装置，固定设置在所述相机载具的上平面并与所述驱动装置相邻设置；
37.控制器，固定设置在所述相机载具的上平面并与所述驱动装置、所述拍摄装置相连接，用于采用上述相机拍摄路径的预测方法得到预测拍摄路径及对应的预测拍摄方向，并按照所述预测拍摄路径及对应的预测拍摄方向控制所述驱动装置驱动所述相机载具、控制所述拍摄装置进行拍摄；其中，所述控制器还用于依据拍摄得到的视频进行效果反馈，并根据接收到的控制指令优化相机位置、相机速度和相机角度。
38.在一种较优的实施例中，当所述相机载具位于所述预测拍摄路径的起点时，所述控制器控制所述拍摄装置开始拍摄；
39.当所述相机载具位于所述预测拍摄路径的终点时，所述控制器控制所述拍摄装置停止拍摄。
40.本发明提供的一种拍摄参数预测模型的生成方法、预测方法及拍摄设备，能够采用大量包含目标物的帧图像训练卷积神经网络和长短期记忆网络得到拍摄参数预测模型，该拍摄参数预测模型输出的预测拍摄路径包含了预测相机空间位置坐标和预测方向参数，使得根据该预测拍摄路径拍摄出的视频效果更合理。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
42.图1显示为本发明的拍摄参数预测模型于一实施例中的结构示意图。
43.图2显示为本发明的拍摄参数预测模型的生成方法于一实施例中的流程示意图。
44.图3显示为本发明的拍摄参数预测模型的生成系统于一实施例中的结构示意图。
45.图4显示为本发明的相机拍摄路径的预测方法于一实施例中的流程示意图。
46.图5显示为本发明的拍摄装置于一实施例中的结构示意图。
47.元件标号说明
48.100、拍摄参数预测模型的生成系统；110、分解模块；120、划分模块；130、训练模块；140、模型生成模块；200、拍摄设备；210、相机载具；220、驱动装置；230、拍摄装置；240、控制器。
具体实施方式
49.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其它优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。还应当理解，本发明实施例中使用的术语是为了描述特定的具体实施方案，而不是为了限制本发明的保护范围。下列实施例中未注明具体条件的试验方法，通常按照常规条件，或者按照各制造商所建议的条件。
50.请参阅图1至图4。须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容所能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
51.当实施例给出数值范围时，应理解，除非本发明另有说明，每个数值范围的两个端点以及两个端点之间任何一个数值均可选用。除非另外定义，本发明中使用的所有技术和科学术语与本技术领域的技术人员对现有技术的掌握及本发明的记载，还可以使用与本发明实施例中所述的方法、设备、材料相似或等同的现有技术的任何方法、设备和材料来实现本发明。
52.本实施例在空间中预先建立坐标系，目标物预先设置了对应的空间位置坐标。
53.请参阅图2，显示为本实施例中一种拍摄参数预测模型的生成方法，包括：
54.步骤s100、获取多个变视角视频，并对其进行逐帧分解，得到多个帧图像作为数据集。
55.其中，上述变视角视频为拍摄目标物对应的视频，且该视频包括了拍摄装置在拍摄位置及拍摄角度上的变化。
56.每个帧图像包括对应的帧编号z_id、时间值t_i和相机位姿参数cam_pra。
57.其中，每个视频分解出的帧图像的帧编号z_id按照当前视频的时间顺序依次排序，每个帧图像的时间值t_i即相当于当前视频的时间顺序，时间值t_i例如包括了当前视频的初始时间、结束时间等节点，相机位姿参数cam_pra包括当前帧图像对应的相机空间位置坐标(cam_x,cam_y,cam_z)和方向参数(cam_rox,cam_roy,cam_roz)。
58.一个视频对应多个帧图像，数据集中包含了多个视频对应的多个帧图像。
59.步骤s200、将数据集随机分成训练集和测试集。
60.步骤s300、采用训练集训练拍摄参数预测网络，得到训练好的拍摄参数预测网络。
61.其中，拍摄参数预测网络包括依次连接的卷积神经网络、长短期记忆网络和两个全连接层。
62.具体的，卷积神经网络包括九个卷积层、一个关联层、一个最大池化层和一个全连接层。
63.步骤s300训练的过程包括：
64.将训练集中间隔预设帧数值的帧图像进行随机配对，获得多个图像对；将图像对输入卷积神经网络，得到训练好的卷积神经网络；随后将训练集的特征信息依次输入长短期记忆网络和两个全连接层，得到训练好的长短期记忆网络和两个全连接层，完成训练。
65.在训练过程中，大量的帧图像输入卷积神经网络，且序列长度任意，卷积神经网络提取任意一组图像对之间的特征信息，利用梯度下降的方法反向传播，以更新卷积神经网络的参数，训练至卷积神经网络收敛时保存当前的参数。
66.随后，卷积神经网络生成的特征信息输入长短期记忆网络中，经过时序上的处理，生成每个帧图像的时间值对应的相机参数范围。
67.并且，在训练过程中，还可以按照每张帧图像的帧编号相反的顺序将训练集中的帧图像依次输入卷积神经网络、长短期记忆网络和两个全连接层，以扩大训练的样本数量。
68.请参阅图1，长短期记忆网络和两个全连接层组成一个循环神经位姿估计网络模块，该循环神经位姿估计网络模块采用3个门结构和1个长期状态，输入为卷积神经网络卷积输出的一维特征向量，输出为相机参数范围序列。
69.步骤s300中训练好的卷积神经网络、长短期记忆网络和两个全连接层组成本实施例中的拍摄参数预测模型。
70.步骤s400、将测试集输入训练好的拍摄参数预测网络，得到测试集对应的多个预测拍摄参数，当预测拍摄参数满足预设条件时，将当前的拍摄参数预测网络作为最终的拍摄参数预测模型。
71.其中，预测拍摄参数例如包含预测相机空间位置坐标和预测方向参数。
72.其中，将测试集输入训练好的卷积神经网络、长短期记忆网络和两个全连接层，得到测试集对应的多个预测拍摄参数的步骤包括：
73.将测试集中间隔预设帧数值的帧图像进行随机配对，获得多个图像对；将测试集中的图像对输入训练好的卷积神经网络，得到测试集中图像对对应的特征信息；将测试集的特征信息依次输入训练好的长短期记忆网络和两个全连接层，得到对应的预测拍摄参数。
74.图像对例如为一个视频中的两个图像组成的组合，包括第一图像和第二图像，第一图像和第二图像之间间隔了预设帧数值n，n＞0且为固定值。
75.其中，当预测拍摄参数满足预设条件时，将当前的卷积神经网络、长短期记忆网络和两个全连接层作为拍摄参数预测模型的步骤包括：
76.将多个预测拍摄参数依次连接，得到预测拍摄路径及对应的预测拍摄角度；当预测拍摄路径及对应的预测拍摄角度与预设拍摄路径及预设拍摄角度的重合率达到预设阈值时，将当前的卷积神经网络、长短期记忆网络和两个全连接层作为拍摄参数预测模型。
77.预设拍摄路径例如为预先设定的默认拍摄效果最好的相机拍摄路径，该相机拍摄路径包括相机等拍摄工具在拍摄过程中连贯变化的多个拍摄位置，预设拍摄路径中的每个拍摄位置均具有对应的拍摄角度。
78.具体的，将多个所述预测拍摄参数依次连接，得到预测拍摄路径及对应的预测拍摄角度的步骤包括：
79.按照图像对中较靠前的时间值，将所有图像对对应的预测拍摄参数进行排序；
80.根据排序后的预测拍摄参数，得到预测拍摄路径及对应的预测拍摄角度。
81.其中，按照排序后的预测拍摄参数包含的预测相机空间位置坐标和预测方向参数，获取到的预测拍摄路径包括了相机等拍摄工具在拍摄过程中连贯的拍摄位置和拍摄方向。
82.并且，在本实施例所述的拍摄参数预测模型的生成方法生成的预测拍摄路径的基础上，还可以增设效果评价过程，效果评价过程为工作人员、用户对于拍摄工具按照上述预测拍摄路径拍摄出的效果视频的主观评价，包括有：相机的移动速度、相机的空间位置坐标、相机的方向参数的调控、特定帧对应的相机的空间位置坐标；特定帧对应的相机的方向参数的调控。
83.请参阅图3，本实施例中还公开了一种拍摄参数预测模型的生成系统100，包括：
84.分解模块110，用于获取多个变视角视频，并对其进行逐帧分解，得到多个帧图像作为数据集；
85.划分模块120，用于将数据集随机分成训练集和测试集；
86.训练模块130，采用训练集训练依次连接的拍摄参数预测网络，得到训练好的拍摄参数预测网络；
87.模型生成模块140，用于将测试集输入训练好的拍摄参数预测网络，得到测试集对
应的多个预测拍摄参数，当预测拍摄参数满足预设条件时，将当前的拍摄参数预测网络作为最终的拍摄参数预测模型。
88.请参阅图4，本实施例中还公开了一种相机拍摄路径的预测方法，采用上述拍摄参数预测模型的生成方法生成的拍摄参数预测模型，相机拍摄路径预测方法包括：
89.步骤ss100、将目标变视角视频进行逐帧分解，得到多个目标帧图像。
90.步骤ss200、将间隔预设帧数值的所述目标帧图像进行随机配对，获得目标图像对。
91.步骤ss300、将所述目标图像对输入所述拍摄参数预测模型，得到多个目标预测拍摄参数；
92.步骤ss400、按照所述目标图像对中较靠前的时间值，将所有目标图像对对应的目标预测拍摄参数进行排序。
93.步骤ss500、根据排序后的目标预测拍摄参数，得到预测拍摄路径及对应的预测拍摄方向。
94.请参阅图5，本实施例中还公开了一种拍摄装置200，拍摄装置200包括相机载具210、驱动装置220、拍摄装置230和控制器240；
95.驱动装置220固定设置在相机载具210的上平面，用于驱动相机载具210移动；
96.拍摄装置230，固定设置在相机载具210的上平面并与驱动装置220相邻设置；
97.控制器240，固定设置在相机载具210的上平面并与驱动装置220、拍摄装置230相连接，用于采用上述相机拍摄路径的预测方法得到预测拍摄路径及对应的预测拍摄方向，并按照预测拍摄路径及对应的预测拍摄方向控制驱动装置220驱动相机载具210、控制拍摄装置230进行拍摄；其中，控制器240还用于依据拍摄得到的视频进行效果反馈，并根据接收到的控制指令优化相机位置、相机速度和相机角度。
98.其中，控制指令例如为工作人员通过设置在控制器240上的显示器输入。
99.具体的，当相机载具210位于预测拍摄路径的起点时，控制器240控制拍摄装置230开始拍摄；
100.当相机载具210位于预测拍摄路径的终点时，控制器240控制拍摄装置230停止拍摄。
101.本发明提供的一种拍摄参数预测模型的生成方法、预测方法及拍摄设备，能够采用大量包含目标物的帧图像训练卷积神经网络和长短期记忆网络得到拍摄参数预测模型，该拍摄参数预测模型输出的预测拍摄路径包含了预测相机空间位置坐标和预测方向参数，使得根据该预测拍摄路径拍摄出的视频效果更合理。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
102.上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。