一种基于5G网络的无人机机载VR视频采集传输装置

一种基于5g网络的无人机机载vr视频采集传输装置
技术领域
1.本发明涉及流媒体传输和无线通信技术领域，具体地说，涉及一种基于5g网络的无人机机载vr视频采集传输装置。


背景技术：

2.现有的无人机图像实时传输多基于无线电实现。无线电传输下，视频清晰度有限，直播延迟较高，传输安全性低，且只在10km内有效。现有vr视频采用双目相机拍摄制作，经过h.265视频编码后，传输上行速率需要达到75mbps，受限于网络传输带宽限制，vr视频还未能实现在实时传输。现有5g通信技术发展迅速，5g产业日趋成熟，5g网络上传速率可达到70mb/s，满足vr视频传输需求。
3.现有的无人机图像实时传输装置多分为摄像头、编码器和无线电发射器。摄像头拍摄视频后，视频流经过编码器编码，以数字信号形式，经过无线电发射器发射至地面站。地面站通过接收器进行接收，并显示出视频图像。也有部分无人机基于4g网络实现图像实时传输，通过4g模块接入互联网，通过互联网进行图像传播。


技术实现要素：

4.本发明的内容是提供一种基于5g网络的无人机机载vr视频采集传输装置，其能够克服现有技术的某种或某些缺陷。
5.根据本发明的一种基于5g网络的无人机机载vr视频采集传输装置，其包括：
6.摄像头模块，用于实时拍摄vr视频；
7.编码器，用于接收vr视频进行编码；
8.5g模块，用于无线通信；
9.服务器，用于缓存和解码；
10.用户端，用于vr眼镜拉流播放或电脑显示播放；
11.摄像头模块、编码器、5g模块、服务器和用户端依次连接。
12.作为优选，摄像头模块包括双目摄像头，双目摄像头连接有云台，云台连接有用于测量无人机运动信息和三轴方向加速度的惯性测量单元。
13.作为优选，编码器包括依次连接的接收模块、vr视频合成模块、h.265编码模块和推流模块。
14.作为优选，5g模块包括依次连接的信号调制模块、信号发送模块和运营商基站。
15.作为优选，信号发送模块连接有sim卡和天线。
16.作为优选，服务器部分包括依次连接的缓存模块a、h.265解码模块、缓存模块b和转发模块。
17.作为优选，用户端包括用户端网关，用户端网关连接有电脑和vr眼镜，电脑连接有显示器。
18.作为优选，双目摄像头与接收模块连接，推流模块与信号调制模块连接，运营商基
站与缓存模块a连接，转发模块与用户端网关连接。
19.作为优选，摄像头模块、编码器和5g模块物理组装集成后，搭载在无人机上。
20.本发明有如下优点：
21.基于5g网络的无人机机载vr视频采集传输装置制作完成后，实现双目摄像头实时拍摄vr视频，传送至编码模块编码后，推流至云服务器，用户端从云服务器拉流，利用vr眼镜或者显示屏观看。同时，用户可以在电脑端软件上对无人机的飞行路径进行规划，也可以基于vr眼镜的陀螺仪等传感器，通过摇晃头部，控制无人机摄像头的朝向。
22.5g模块连接5g信号后，5g模块与服务器双向延迟为12ms，平均单向空口延迟为6ms，平均上行速率约为60mb/s，最大上行速率为70mb/s。实时拼接并编码传输的vr视频像素及帧率可达到3840
×
3840@30fps，视频传输编码方法为标准的h.265编码方法，视频传输平均速率为62mb/s，屏到屏播放延时少于1s。同时，在非直播状态下，双目摄像头和编码器可拍摄制作更高质量，如6400
×
6400@60fps、&680
×
3840@60fps的视频。
附图说明
23.图1为实施例1中一种基于5g网络的无人机机载vr视频采集传输装置的结构框图。
具体实施方式
24.为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。
25.实施例1
26.如图1所示，本实施例提供了一种基于5g网络的无人机机载vr视频采集传输装置，其包括：
27.摄像头模块，用于实时拍摄vr视频；
28.编码器，用于接收vr视频进行编码；
29.5g模块，用于无线通信；
30.服务器，用于缓存和解码；
31.用户端，用于vr眼镜拉流播放或电脑显示播放；
32.摄像头模块、编码器、5g模块、服务器和用户端依次连接。
33.摄像头模块包括双目摄像头，双目摄像头连接有云台，云台连接有用于测量无人机运动信息和三轴方向加速度的惯性测量单元。
34.摄像头采用的双目摄像头，直播时输出视频清晰度及帧率为3840
×
1920@30fps，输出格式为mjepg。摄像头安装在自稳云台上，云台上的惯性测量单元可测量出当前无人机的运动情况和三轴方向加速度，从而驱动云台上的三轴舵机，实现飞机抖动时，摄像头朝向始终固定。
35.编码器包括依次连接的接收模块、vr视频合成模块、h.265编码模块和推流模块。
36.编码器则包括硬件部分和软件部分。在硬件上，视频输入接口为usb3.0接口。主控芯片为海思hi3559a，其拥有双核arm cortex a73、双核arm cortex a53等多个处理器内核，gpu为双核arm mali g71。其支持h.265编码，编码视频最大分辨率为16384x 8640，最大实时编码能力为7680x 4320@30fps。同时，海思hi3559a还支持3d去噪、图像增强、动态对比
度增强处理等多种功能。存储模块主要由spi flash和ddr3组成。spi flash模块采用winbond公司的16mb的w25q128bv芯片实现，该芯片的spi总线与hi3559a的spi flash接口对接。hi3559a的ddr控制器支持32bit和16bit的ddr3。本系统采用32bit模式，以达到系统最佳性能，选用南亚科技的nt5cc256m16cp实现，它具有4gb存储空间，是一款常用的大容量缓存。两片内存芯片共用地址总线和控制总线，独立使用各自数据总线。
37.在软件上，视频输入格式为mjpeg。vr视频拼接算法采用optical flow/template算法，相机将采集的图像信息直接存储在共享内存中，算法通过读取系统内存中的视频流，逐帧进行拼接。拼接完成后，送编码部分。编码部分调用了ffmpeg中的libx265方法，编码后格式为h.265，数据存放在avpacket结构中，等待推流使用。输出的数据不再保存成h.265的文件格式，而是直接将其存储在缓存中，推流操作将直接从该缓存中读取编码信息。推流协议为rtsp。
38.5g模块包括依次连接的信号调制模块、信号发送模块和运营商基站。
39.信号发送模块连接有sim卡和天线。
40.5g模块包括海思公司设计的5g模组巴龙mh5000
‑
31，以及配套的5g模组底板。底板含有usim卡槽及sim卡、四根天线和信号输出接口。巴龙mh5000
‑
31与底板连接采用的pcie接口，遵循usb3.0协议。编码器模块通过底板上的usb3.0与5g模块连接。
41.服务器部分包括依次连接的缓存模块a、h.265解码模块、缓存模块b和转发模块。
42.用户端包括用户端网关，用户端网关连接有电脑和vr眼镜，电脑连接有显示器。
43.服务器租用的云服务器供应商提供的云服务器，基本架构为c/s架构。服务器上安装了ubuntu 20.04lts操作系统，并基于easydarwin+nginx开源项目开发出一款支持高并发的rtsp服务器，并拥有解码转码和视频存储功能。服务器开放出ip地址和一个端口，供编码器采用rtsp协议进行推流；开放另一个端口，供用户端拉流，拉流协议可为rtmp、rtsp和http。
44.用户端的电脑软件采用qt编程，主要用于视频的播放和视频数据的接收显示。共有两个socket对象，一个用于传输视频，一个用于传输连接及传输速率的实时状态。用户在设置界面输入拉流地址后，软件尝试建立起用户与服务器之间的连接。在连接建立成功后，点击播放键，软件向服务器输出指令，命令服务器开放用于推流的端口。点击路径规划，从路径管理系统中，选择一条已经设定好了安全飞行路径，返回给云服务器。云服务器转发指令至无人机，并保证无人机飞控读取到了飞行命令。之后开始视频传输，用户端接收到每一帧完整视频数据后将yuv格式的数据转换为rgb格式，显示到屏幕上。用户端软件的主要功能有：建立与服务器连接、推流端口启用/停止控制、无人机飞行路径规划、视频拉流显示和传输连接情况和传输速率读取显示。
45.双目摄像头与接收模块连接，推流模块与信号调制模块连接，运营商基站与缓存模块a连接，转发模块与用户端网关连接。
46.摄像头模块、编码器和5g模块物理组装集成后，搭载在无人机上。
47.vr端控制中，软件读取vr眼镜中陀螺仪等传感器的参数，并将参数转化为vr眼镜运动情况，返回给云服务器。云服务器完成指令鉴别和校正后，发送相应指令到无人机飞控上，飞控调用云台舵机，完成摄像头朝向的旋转。vr端观看方式中，vr设备通过wifi或双绞线与用户端网关连接，并且需要vr设备方提供其vr设备品牌、型号对应的播放器软件，在软
件中输入拉流地址，进行直接观看。
48.以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。