一种无人机仿真视频生成方法

1.本发明属于空对空场景下计算机视觉和无人机视觉技术领域，具体涉及一种无人机仿真视频生成方法。


背景技术：

2.随着计算机视觉技术的不断发展，许多需要大量人力资源的工作开始由智能机器代替，从人脸支付到视频监控，从自动驾驶到航天飞行，人类社会已经发生了革命性的变化。空对空场景下的无人机视觉是计算机视觉的拓展，其在无人机上搭载计算芯片和图像传感器，对从真实世界获取的其他无人机数字图像信号进行感知与理解，以实现无人机群体智能。在无人机视觉中，丰富的、精准的无人机飞行视频数据是研究无人机运动的保障和基石，其为分析无人机的运动范式和行为语义提供了大量可挖掘的隐藏模式信息。此外，视频数据量的丰富程度直接决定了最终算法模型性能的好坏，是否意味着算法模型具备一定能力的泛化性和鲁棒性。
3.无人机仿真视频生成是计算机视觉研究领域的一个重要组成部分，是计算机视觉与计算机图形学等多种技术的集合，是一门富有挑战性的基础性研究领域。它在视频监控、智能人机交互、无人机巡航等领域都起到了十分重要的应用。无人机的仿真数据生成，主要是模拟实际场景中可能出现的情况，在计算设备上通过三维模型生成用于目标任务的数据，并通过计算机视觉技术增强生成的数据。然而，目前还没有一项专门用于无人机仿真视频生成的技术。无人机仿真视频生成主要面临着难以有效表示无人机复杂的动作行为、频繁的视角变换和有效的像素比例的困难。此外，背景环境的多样性也是无人机仿真视频生成的所面临的挑战。因此，本发明旨在通过模拟无人机不同尺度下的动作行为和视角变化构造无人机模板，并通过计算机视觉技术增强生成具有各种复杂背景的无人机仿真视频。


技术实现要素：

4.本发明的目的是提供一种无人机仿真视频生成方法，解决目前空对空无人机视频数据集构造效率低的问题。
5.为达到上述目的解决上述技术问题，本发明的技术方案如下，包括如下步骤：
6.步骤1、利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据集；
7.其中，连续动作模板是无人机三维模型到二维平面的映射，包含四个设置：无人机自身动作设置，无人机像素尺度设置，无人机垂直观察角度设置和无人机水平观察角度设置；
8.无人机自身动作设置是描述无人机的一个完整动作序列；
9.无人机像素尺度设置是描述无人机在不同像素感知下尺度的大小；
10.无人机垂直观察角度和水平观察角度是无人机在不同视角下观察的角度；
11.步骤2、利用多尺度多角度无人机模板数据集，通过添加和更换背景语义信息生成
用于研究无人机状态的目标检测仿真训练数据集；
12.2.1收集拥有丰富语义信息的真实背景图像；
13.2.2将不同尺度和不同角度的无人机目标作为前景信息融入到背景图像上；
14.步骤3、利用多尺度多角度无人机模板数据集，通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集；
15.步骤4、利用多尺度多角度无人机模板数据集，通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集，用于测试整个行为认知算法框架的完整性，并提供反馈信息，包括无人机的检测、跟踪和动作识别过程。
16.进一步，真实背景图像覆盖了不同分辨率的各种真实环境，包含城市、森林、草原、戈壁、平原、天空。
17.进一步，前景信息融入到背景图像，采用随机位置选取的方式，将生成的飞机模板添加在收集的真实图像上，以充分模拟真实情况下可能遇到的飞行环境。
18.本发明的有效收益是：
19.1、本发明生成大量用于无人机目标检测器和动作识别器训练的数据，并生成实时的无人机飞行视频数据，用于各类无人机视觉任务。
20.2、作为一种对空对空场景下无人机飞行的仿真数据，本发明能够生成各种复杂环境下的飞行视频，构建的各类数据集大小可以根据各自的任务需求而定，对机器硬件要求不高，应用在无人机群体智能领域中，降低训练无人机智能视觉模型的难度。
附图说明
21.图1为本发明无人机仿真视频生成的总体流程示意图。
具体实施方式
22.下面结合附图和具体实施例对本发明进行详细的解释和说明。
23.在空对空场景下，由于无人机较快的飞行速度和复杂的天气变化，很难通过一架搭载图像传感器的无人机收集目标无人机的有效飞行视频；此外，无人机从地面视角观察目标小，很难采集有效飞行视频数据。这对研究无人机的飞行状态和姿态有较大影响。本发明利用三维无人机模型生成无人机的各种动作模板，并通过计算机视觉技术增强无人机动作模板，最终生成用于无人机视觉的飞行视频数据。
24.本发明的具体实现过程如图1所示，包括如下步骤：
25.步骤1、利用无人机三维模型，获取无人机在不同角度和尺度下的连续动作模板，构建多尺度多角度无人机模板数据集；
26.无人机3d模型到2d平面的映射包含四个设置：无人机自身动作设置，无人机像素尺度设置，无人机垂直观察角度设置和无人机水平观察角度设置。
27.无人机自身动作设置是描述无人机的一个完整动作序列。
28.无人机像素尺度设置是描述无人机在不同像素感知下尺度的大小。
29.无人机垂直观察角度和水平观察角度是无人机在不同视角下观察的角度。
30.多尺度多角度模板是从3d模型中映射而来的2d透明背景图片，旨在模拟无人机飞
行过程中的各种行为和尺度，其能够添加不同类型的背景图片用于构建无人机检测、跟踪和识别任务的仿真数据集，能够充分覆盖无人机动作和外观语义信息。
31.步骤2、利用多尺度多角度无人机模板数据集，通过添加和更换背景语义信息生成用于研究无人机状态的目标检测仿真训练数据集。
32.目标检测仿真训练数据集的构建过程主要分为两步：第一步，收集拥有丰富语义信息的真实背景图像。第二步，将不同尺度和不同角度的无人机目标作为前景信息融入到背景图像上。
33.收集的真实背景图像覆盖了不同分辨率的各种真实环境，包含城市、森林、草原、戈壁、平原、天空等。此外，对于前景目标和背景图像的融合，以随机位置选取的方式，将生成的飞机模板添加在收集的真实图像上，充分模拟了在真实情况下可能遇到的飞行环境。
34.目标检测训练数据集主要被用于训练无人机检测器，学习复杂多变的无人机外观语义信息和背景语义信息，使得检测器能够在复杂的情况下快速准确定位目标。
35.步骤3、利用多尺度多角度无人机模板数据集，通过在连续动作模板上添加时空连续像素偏移的背景语义，生成用于研究无人机姿态的动作识别训练数据集。
36.动作识别训练数据集旨在构建无人机动作行为序列，然后利用深度学习模型提取行为序列的时空语义信息。因此动作识别数据集的样本是一个完整的视频动作序列。为了生成这种样本，在多尺度多角度无人机模板数据集上，直接对动作序列的的背景区域添加时空连续背景信息。通过以上方式生成的动作识别训练数据集被用于学习一个动作语义模型，其能够提取无人机的动作语义信息并进行语义判断。
37.步骤4、利用多尺度多角度无人机模板数据集，通过指令编码方式构建无人机行为序列，并为无人机行为序列添加视频背景语义信息，生成无人机行为认知视频数据集。行为认知视频数据集被用来测试整个行为认知算法框架的完整性，并提供反馈信息，包括无人机的检测、跟踪和动作识别过程。
38.实施例1
39.步骤1、利用3d模型将无人机动作行为根据旋转度数分解为31个动作帧，每度代表一个视频帧，对无人机的自身行为动作进行设置。其次，将无人机的像素大小以10像素为间隔，下限设置为30
×
30像素，上限设置为100
×
100像素，总共得到8种类型的像素尺度。然后，将无人机的垂直观察角度分为俯视25度，俯视30度和俯视35度。最后，将无人机的水平观察角度以15度为间隔分为7组，最小为左视角45度，最大为右视角45度。通过以上四个对无人机3d模型的设置，获取无人机在不同尺度和角度下的动作序列，将得到的模板图片均设置为为透明背景，称为多尺度多角度无人机模板。
40.步骤2、收集拥有丰富语义信息的真实背景图像，从多尺度多角度无人机模板数据集中随机选取1个模板，并在背景图像中随机选取1张图像。首先，随机选取背景图像上1点，作为无人机模板的左上角坐标，使无人机模板的坐标系转化为背景图像所在的坐标系。然后，判断3个无人机的坐标区域是否重叠或者超出背景图像的边界。最后，对没有重叠和超出边界的区域变换成无人机模板像素。以此将不同尺度和不同角度的无人机作为前景信息融入到背景图像上，构建无人机目标检测训练数据集。
41.步骤3、从多尺度多角度模板中选取31帧动作序列，并从收集到的真实背景图像中抽取1张图片。然后，在抽取的背景图像中裁剪出31块与无人机模板大小一致的区域，为了
模拟动作序列的时间运动性质，每一个区域之间的存在一定的像素偏移，即相对的背景的运动代表着前景运动。最后，将前景与背景融合生成无人机动作识别训练数据集。
42.步骤4、收集一定帧数的视频作为无人机行为认知视频数据集的背景信息。对于105帧的视频样本，设置为一个0001010的编码表示，每一个编码代表无人机的15帧动作。0编码代表着无人机15帧的动作角度持续为0，即飞机不进行机翼动作行为。1编码代表着无人机15帧的动作角度为机翼动作左旋转或者右旋转。由于无人机左旋转或右旋转共31帧动作，比如左旋转是0度到-15度再到0度，因此需要在31帧动作中随机抽取15帧作为一个动作序列。此外，无人机的机翼的左右旋转动作行为属于交替进行，即左旋转之后只能进行右旋转。最后，将前景与背景融合图像按顺序排列生成无人机行为认知视频数据集。
43.需要说明的是，以上仅为本发明实施例，仅仅是解释本发明，并非因此限制本发明专利范围。对属于本发明技术构思而仅仅显而易见的改动，同样在本发明保护范围之内。