一种小型化无人机机载实时图像处理装置的制作方法

本
技术实现要素：
属于计算机视觉、图像识别技术、图像处理技术、边缘计算技术、嵌入式开发，特别地，涉及一种小型化机载实时图像处理技术。

背景技术：

1、

2、小型化机载实时图像处理是指在无人机上安装小型化的、嵌入式的边缘计算系统，用于对无人机所获取的实时图像进行处理和分析。嵌入式系统是一种专门设计的计算机系统，通常被用于控制和监测各种机器和设备。在无人机上安装嵌入式系统可以使其具备更加智能化的功能，例如对图像进行实时处理和分析。

3、实时图像处理是指对实时采集的图像进行即时处理和分析的过程。无人机载嵌入式实时图像处理技术可以应用于各种领域，例如农业、环境监测、建筑监测、搜索与救援等。例如，在农业领域，无人机可以通过拍摄作物生长情况的实时图像，进行分析和判断，以提高农业生产效率和减少浪费。

4、小型化机载实时图像处理技术需要涉及到图像采集、图像传输、图像处理和分析等多个方面。其中，图像处理和分析是整个过程的核心。无人机所采集到的图像数据需要通过嵌入式系统进行处理，分析出其中所包含的信息，并根据需要进行相应的反馈和控制。这就要求嵌入式系统具备较高的计算能力和实时性能。

5、总之，小型化机载实时图像处理技术是一项较为复杂的技术，需要涉及到多个方面的知识和技术。但是，它具备较高的应用价值和发展前景，将在未来的各个领域得到广泛应用。其中，图像质量优化、增强处理技术是这一项技术的前端技术，位于图像处理链的最前端，清晰的图像质量无论对人工观测还是后端处理均具有促进作用。同时，在保证图像质量的前提下尽量缩小图像文件大小对无人机的应用来说也是非常重要的。

6、现有技术中虽然提出了很多图像处理算法，但大多数是针对单张图像进行处理，这使得图像处理效果有限，且数据冗余较多，这对无人机与地面的通讯带宽提出了较高要求。也有使用多尺度retinex进行图像处理，但依然无法很好解决上述问题。随着神经网络的发展，现有技术中开始研究将神经网络应用于图像处理中，虽然取得了一定的效果，但这些神经网络并不是专门用于无人机图像实时处理，大多数是针对采集得到的图像进行后台处理，因此为了追求图像处理效果，网络结构较为复杂。由此带来处理速度较慢的问题，不适合无人机实时图像处理。

技术实现思路

1、

2、为了能够实时、连续处理无人机多帧图像，获得较好的图像质量和较低的图像冗余，为后续轨迹追踪、目标分析提供实时支持，本发明提出一种小型化机载实时图像质量优化处理技术，利用帧内图像局部特征进行图像帧内质量优化，利用帧间图像变化的相关性特征进行连续图像质量增强。在小型化嵌入式设备上对机载采集图像进行实时优化处理，提高采集图像观测质量，使设备能够充分适应无人机工作的各种环境，对人工观测以及后端ai处理带来了更佳的便利性。

3、一种小型化无人机机载实时图像处理装置，实时图像处理装置设置在无人机上，接收无人机的图像采集装置采集的图像序列，并进行实时处理，所述实时处理方法包括：

4、步骤1：对于采集到的一张图像，随机采样选取一组三个种子点、、，记录其坐标、、，对于每一个种子点，记录其邻域内的动态系数如下：

5、

6、其中，n=1、2、3；、、表示各种子点的动态系数，表示核函数的尺寸，假设，如果：则不将动态系数最大的种子点加入种子点集合，否则将种子点加入种子点集合，继续随机采样过程，重复上述随机采样过程直至在种子点集合中包括256个种子点后停止；

7、以上述256个种子点及每个种子点的邻域为样本建立高斯模型：

8、

9、求取使上式中取得最小的参数的值，作为核函数的优化参数；其中，

10、

11、是种子点序数，表示种子点邻域中的坐标，, 表示某个种子点在图像中的坐标；

12、步骤2：对于连续采集的一组图像、、…、分别利用步骤1的方法可以得到一组核函数的优化参数、、…、；构建神经网络模型，以、、…、，、、…、为输入，以为输出，根据帧图像、帧参数，估计第帧的参数：

13、

14、其中为激励函数，为偏置参数，，，、是与对应的自由基函数；是l帧图像数据经过两层神经网络后的输出，是、、…、构成的l-1维向量；由此，将帧图像数据与帧参数联合起来，并求解第帧核函数参数。

15、将求解出的第帧核函数优化参数带入下式中，求解真实图像：

16、

17、其中，式中=，是卷积运算符，u、v是卷积核的像素坐标。

18、根据步骤2还能够获得第l+1、l+2、l+3…帧图像，从而实时获得清晰的机载图像序列。

19、使用神经网络模型前，需要先根据训练样本数据求解神经网络模型中未知参数的值。

20、所述求解采用bp算法。

21、bp算法中代价函数采用一阶范数：

22、

23、其中是模型输出值，是样本真值。

24、一种小型化无人机，包括上述实时图像处理装置。

25、还包括图像采集装置和数据传输装置。

26、图像采集装置安装在无人机上，用于实时采集无人机飞过环境的图像，并讲图像传输至实时图像处理装置。

27、数据传输装置用于实时接收处理后的图像，并将其通过无线网络发送至地面控制系统。

28、本发明的发明点及技术效果：

29、1、本发明提出一种帧内图像优化参数计算方法，通过随机取样进行集合构建，使得图像处理更佳快捷，处理质量佳。

30、2、在帧内图像优化的基础上，提出了通过多帧连续图像进行帧间图像变化的相关性特征进行连续图像质量优化增强的方法，两者相互结合，利用前面的多幅图像和图像优化参数来优化后面的图像参数，从而在不增加过多计算负担的基础上，极大地降低了数据冗余，提高了图像质量，且能够保证实时性。

31、3、优化了神经网络模型结构，使得在较小的网络规模情况下能够获得较佳的图像处理质量，且处理速度较快，实时性佳。

技术特征：

1.一种小型化无人机机载实时图像处理装置，其特征在于：实时图像处理装置设置在无人机上，接收无人机的图像采集装置采集的图像序列，并进行实时处理，所述实时处理方法包括：

2.如权利要求1所述装置，其特征在于：将求解出的第帧核函数优化参数带入下式中，求解真实图像：

3.如权利要求1所述装置，其特征在于：根据步骤2还能够获得第l+1、l+2、l+3…帧图像，从而实时获得清晰的机载图像序列。

4.如权利要求1所述装置，其特征在于：使用神经网络模型前，需要先根据训练样本数据求解神经网络模型中未知参数的值。

5.如权利要求4所述装置，其特征在于：所述求解采用bp算法。

6.如权利要求4所述装置，其特征在于：bp算法中代价函数采用一阶范数：

7.一种小型化无人机，其特征在于：包括如权利要求1-6任意一项实时图像处理装置。

8.如权利要求7所述的无人机，其特征在于：还包括图像采集装置和数据传输装置。

9.如权利要求8所述的无人机，其特征在于：图像采集装置安装在无人机上，用于实时采集无人机飞过环境的图像，并讲图像传输至实时图像处理装置。

10.如权利要求8所述的无人机，其特征在于：数据传输装置用于实时接收处理后的图像，并将其通过无线网络发送至地面控制系统。

技术总结
本发明提出一种小型化无人机机载实时图像处理装置，利用帧内图像局部特征进行图像帧内质量优化，利用帧间图像变化的相关性特征进行连续图像质量增强。在小型化嵌入式设备上对机载采集图像进行实时优化处理，提高采集图像观测质量，使设备能够充分适应无人机工作的各种环境，对人工观测以及后端AI处理带来了更佳的便利性。

技术研发人员：胡进
受保护的技术使用者：武汉天进科技有限公司
技术研发日：
技术公布日：2024/1/15