一种国产化环境下基于Atlas500的视频目标检测识别方法与流程

本发明涉及一种国产化环境下基于atlas500的视频目标检测识别方法，属于国产化应用领域。

背景技术：

1、随着计算机网络的快速发展和人工智能时代的到来，深度学习技术突飞猛进，同时也促进了目标检测技术的发展。目标检测是一种与计算机视觉和图像处理相关的计算机技术，它主要是对数字图像或者视频中的多个目标进行检测、识别和定位。目标检测在军事领域得到了广泛的应用。

2、基于神经网络的目标检测识别技术，可以通过网络结构优化，实现对无人机侦察环境下典型目标的检测识别，满足复杂多变的实际应用环境。例如：在特征提取网络中，利用可变形卷积神经网络改变卷积对目标采样点的位置，增强目标的特征提取能力，提高复杂背景下目标的检测率；在多特征融合网络结构中采用级联和并列金字塔，进行不同层级的特征融合；同时使用空洞卷积扩大特征提取的视觉感受野，增强网络对复杂背景目标的适应性，降低复杂背景下机载图像目标检测的虚警率。

3、在视频的目标检测识别过程中，由于每秒钟需要处理20帧以上的图片，对目标检测的速度提出了要求。目前，视频的目标检测一般依赖于英伟达显卡进行硬件加速，但是在国产化环境下，国产显卡对加速检测效果并不好。atlas500是华为面向广泛边缘应用场景的轻量边缘设备，基于华为自研davinci架构的昇腾310芯片，单台支持22topsint8算力，支持20路高清视频处理(1080p 25fps)。基于atlas500在国产化平台实现无人机视频的检测识别，是迫切需要解决的问题。

技术实现思路

1、本发明目的就是解决在全国产化环境下，在缺少支持深度学习的显卡时，实现视频的目标检测识别，提出一种国产化环境下基于atlas500的视频目标检测识别方法。

2、本发明采用的技术方案如下：

3、一种国产化环境下基于atlas500的视频目标检测识别方法，包括以下步骤：

4、步骤1、通过视频处理软件接收无人机原始侦察数据，并将接收到的数据解协议以及解码压缩成h264码流，将h264视频流传输到atlas500上；

5、步骤2、atlas500接收到视频流后，将视频流逐帧解码成图片，并获取图片的帧序号；

6、步骤3、atlas500对解码后的图片进行缩放处理，并加载经过轻量化处理的om模型，利用轻量化后的模型对图片进行检测识别，将检测识别结果填入自定结构体，通过tcp传输发送到视频处理软件；

7、步骤4、视频处理软件从atlas500返回的检测识别结果中解析出帧序号、目标个数、目标类型以及目标的像素位置坐标，在图中用矩形框标注并注明目标种类；

8、步骤5、视频处理软件根据目标的像素位置坐标以及遥测信息计算目标的地理位置坐标。

9、进一步的，步骤3中om模型为经过轻量化处理的神经网络模型。

10、进一步的，步骤3中得到轻量化模型的具体过程为：

11、使用yolo算法生成全精度神经网络模型；

12、使用线性量化方法对全精度网络模型进行int8量化，得到8比特整型量化模型；

13、使用基于kl散度的均匀的量化方法，对获得的8比特整型量化模型进行优化，损失函数为：

14、

15、式中，n为向量长度，p(i)为全精度神经网络模型的卷积核的权重分布，q(i)为待优化的8比特整型量化模型的权重分布，q(i)初始值为8比特整型量化模型，对8比特整型量化模型进行迭代优化，使卷积核的权重分布接近全精度神经网络模型的权重分布，即获得最终的8比特整型量化模型。

16、进一步的，步骤3中，检测识别结果包括帧标识、目标个数、目标类型和目标像素位置坐标框。

17、本发明相比现有技术的优点为：

18、1)在纯国产化环境下实现了视频目标的检测识别，且检测识别准确度很高；

19、2)将无人机原始视频数据通过相应解码库解码压缩成标准h264数据，再传输到atlas500的方式，提高了数据传输效率，也提升了atlas500做检测识别的处理效率；

20、3)通过对神经网络模型进行int8量化，大大加快了检测识别的速度，降低了npu的压力，能够支持对多路视频同时进行检测识别。

21、4)通过给atlas500传输h264视频流并将检测结果通过结构体的形式返回给视频处理软件，大大降低了数据传输造成的时间浪费，目标检测造成的视频延迟控制在1s以内。

22、5)atlas500返回的结构体中带有帧序号标识，可以与原始视频数据的帧序号匹配，使返回的检测结果框与原始视频帧对应，杜绝了检测框与视频帧不匹配现象。

技术特征：

1.一种国产化环境下基于atlas500的视频目标检测识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种国产化环境下基于atlas500的视频目标检测识别方法，其特征在于，步骤3中om模型为经过轻量化处理的神经网络模型。

3.根据权利要求2所述的一种国产化环境下基于atlas500的视频目标检测识别方法，其特征在于，步骤3中得到轻量化模型的具体过程为：

4.根据权利要求1所述的一种国产化环境下基于atlas500的视频目标检测识别方法，其特征在于，步骤3中，检测识别结果包括帧标识、目标个数、目标类型和目标像素位置坐标框。

技术总结
本发明涉及一种国产化环境下基于Atlas500的视频目标检测识别方法，属于国产化应用领域。过程包括：通过视频处理软件接收无人机原始侦察数据，并缩成h264码流传输到Atlas500上；Atlas500将视频流逐帧解码成图片，并对图片进行检测识别，将检测识别结果通过tcp发送到视频处理软件；视频处理软件从检测识别结果中解析出目标个数、目标类型以及目标的像素位置坐标，并结合遥测信息计算目标的地理位置坐标。本发明在纯国产化环境下实现了视频目标的检测识别，且检测识别准确度很高；通过给Atlas500传输h264视频流并将检测结果通过结构体的形式返回给视频软件，大大降低了数据传输造成的时间浪费，目标检测造成的视频延迟控制在1s以内。

技术研发人员：刘睿,苑河南,张刚,荀石优,刘保柱,耿川
受保护的技术使用者：中国电子科技集团公司第五十四研究所
技术研发日：
技术公布日：2024/1/15