一种GPU架构机载视频实时处理系统的制作方法

本发明涉及的是无人机技术领域，具体涉及一种gpu架构机载视频实时处理系统。

背景技术：

随着无人机行业的发展，其应用领域日益扩展，基于视频流数据的应用也日趋丰富。在诸多应用场景中，用户对实时视频载荷数据中所发现的目标进行识别、跟踪、定位的需求非常强烈。例如，在应用无人机进行航空拍摄边防安全数据时，发现一些可疑车辆和人员，这时需要实时对可疑目标进行自动识别检出、跟踪定位以确定其是否越境。再如，利用无人机进行森林巡防，当发现异常情况需要进行实施检测、识别、定位，以安排人员进行现场勘察。

在无人机视频目标检测领域，当前技术主要通过实时回传视频载荷数据，并在地面端实现目标检测。而在目标定位上，现有技术主要采用“空中激光有源测距”定位设备及方法，此种方法主要在视频载荷设备端加装激光测距仪，通过载荷内置的惯导设备获取载荷照射方向角度，通过激光测距获取目标位置距离无人机平台的空间距离，再通过飞机空间位置来计算目标位置。

现有技术主要缺点为以下几方面：

1、识别、跟踪、定位功能分散，没有形成系统；

2、识别系统需要将数据传回地面处理，数据链路时延大，且不稳定；

3、激光测量定位方式距离误差较大，未采用系统误差修正手段；

4、增加载荷能源消耗，在目标距离较远时尤其显著；

5、依赖载荷平台和飞机平台的惯导设备精度；

可见当前技术没有形成一个整体解决方案，不易于整合后扩展应用。

综上所述，本发明设计了一种gpu架构机载视频实时处理系统。

技术实现要素：

针对现有技术上存在的不足，本发明目的是在于提供一种gpu架构机载视频实时处理系统，在低功耗cpu+gpu架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。

为了实现上述目的，本发明是通过如下的技术方案来实现：一种gpu架构机载视频实时处理系统，包括armcpu处理器、ddr存储器、第一flash存储器、第二flash存储器、视频解码模块、gpu计算单元、网络交互模块和电源模块，视频解码模块通过ddr存储器与armcpu处理器相连，armcpu处理器与第一flash存储器、gpu计算单元、网络交互模块均相互连接，第二flash存储器与armcpu处理器相连，armcpu处理器还与电源模块相连，armcpu处理器负责计算算法执行，gpu计算单元负责完成算法加速，ddr存储器为系统运行、目标特征检测处理、数据转换的内部存储，第一flash存储器中保存操作系统，第二flash存储器存储目标特征数据库，视频解码模块负责完成视频流数据和图像帧数据的转换，网络交互模块实现与外部系统的数据交互，输出检出目标图像位置信息。

所述的目标检测识别流程为：

1、获取视频帧图像数据；

2、搜索全视图窗口，是否存在已检出目标，若没检测，进入下一步；若检出，进入步骤4；

3、搜索目标周围窗口；

4、目标特征匹配计算；

5、输出检出目标位置。

所述的目标定位计算流程：

1、获取载荷及平台参数；

2、构建透视模型；

3、与地球空间模型计算；

4、载荷是否为跟踪态，若是进入步骤5，若不是则修正视场中心点，计算云台误差角度，进入步骤2；

5、输出计算结果。

本发明具有以下有益效果：

1、采用低功耗cpu+gpu架构设备，实现多目标检测功能，有效减少空地数据链路传输压力；

2、在设备端实时处理，屏蔽了无线数据传输的缺陷，增强系统的稳定性，可以脱离地面站运行；

3、采用无源观测模型与地表模型进行定位；

4、在已知云台目标锁定的条件下可以利用反复迭代的方式进行系统修正；

5、采用低功耗cpu进行数据处理计算，节省载荷能源消耗，可灵活部署在机载端。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明的系统框图；

图2为本发明的系统启动初始化时序图；

图3为本发明的目标检测识别流程图；

图4为本发明的目标定位计算流程图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1-4，本具体实施方式采用以下技术方案：一种gpu架构机载视频实时处理系统，包括armcpu处理器1、ddr存储器2、第一flash存储器3、第二flash存储器4、视频解码模块5、gpu计算单元6、网络交互模块7和电源模块，视频解码模块5通过ddr存储器2与armcpu处理器1相连，armcpu处理器1与第一flash存储器3、gpu计算单元6、网络交互模块7均相互连接，第二flash存储器4与armcpu处理器1相连，armcpu处理器1还与电源模块相连，armcpu处理器1负责计算算法执行，gpu计算单元6负责完成算法加速，ddr存储器2为系统运行、目标特征检测处理、数据转换的内部存储，第一flash存储器3中保存操作系统，第二flash存储器4存储目标特征数据库，视频解码模块5负责完成视频流数据和图像帧数据的转换，网络交互模块7实现与外部系统的数据交互，输出检出目标图像位置信息。

所述的目标检测识别流程为：

1、获取视频帧图像数据；

2、搜索全视图窗口，是否存在已检出目标，若没检测，进入下一步；若检出，进入步骤4；

3、搜索目标周围窗口，

4、目标特征匹配计算；

5、输出检出目标位置。

所述的目标定位计算流程：

1、获取载荷及平台参数；

2、构建透视模型；

3、与地球空间模型计算；

4、载荷是否为跟踪态，若是进入步骤5，若不是则修正视场中心点，计算云台误差角度，进入步骤2；

5、输出计算结果。

本具体实施方式工作主体模式，系统启动初始化时序：设备上电；armcpu启动，视频编码模块自检，视频解码模块自检；加载flash中操作系统；加载flash中处理算法并运行；加载flash中数据模型，通过串口检测载荷工作状态。本具体实施方式在低功耗cpu+gpu架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：

技术总结
本发明公开了一种GPU架构机载视频实时处理系统，视频解码模块通过DDR存储器与ARM CPU处理器相连，ARM CPU处理器与第一FLASH存储器、GPU计算单元、网络交互模块均相互连接，ARM CPU处理器负责计算算法执行，GPU计算单元负责完成算法加速，DDR存储器为系统运行、目标特征检测处理、数据转换的内部存储，第一FLASH存储器中保存操作系统，第二FLASH存储器存储目标特征数据库，视频解码模块负责完成视频流数据和图像帧数据的转换，网络交互模块实现与外部系统的数据交互，输出检出目标图像位置信息。本发明在低功耗CPU+GPU架构下，实现对无人机平台载荷输入视频数据源中的目标进行实时检测识别、跟踪、定位，最终输出目标的类型、经度、纬度、高度位置信息。

技术研发人员：杨旭
受保护的技术使用者：北京中电联达信息技术有限公司
技术研发日：2018.12.20
技术公布日：2019.05.24