基于边缘设备的图像处理方法、电子设备及存储介质与流程

本申请涉及边缘计算，尤其涉及一种基于边缘设备的图像处理方法、电子设备及存储介质。

背景技术：

1、实时视频分析已经在各个领域引起了革命性的变化，从我们家中的智能摄像头，到视频监控、自动驾驶和智能制造，都有其应用场景。这些应用的一个关键组成部分是深度学习模型。高性能的学习模型在视觉任务上有着出色的表现，但高性能的学习模型对其所部署的硬件的算力上有着较高的要求，这是大多数边缘设备所达不到的，而目前为在边缘设备上实现模型推理，通常会通过知识蒸馏、模型量化的方式在边缘设备上部署一些简化的模型，但这会存在较大准确率损失的问题。

技术实现思路

1、本申请的主要目的在于提供一种基于边缘设备的图像处理方法、电子设备及存储介质，旨在解决目前在边缘设备上实现模型推理，存在较大准确率损失的技术问题。

2、为实现上述目的，本申请提供一种基于边缘设备的图像处理方法，所述基于边缘设备的图像处理方法包括：

3、估计待推理图像中各位置存在推理目标的概率信息；

4、基于所述概率信息从所述待推理图像中提取出各图像块；

5、将各所述图像块分发至各边缘设备进行推理。

6、可选地，所述概率信息包括各局部概率，所述估计待推理图像中各位置存在推理目标的概率信息的步骤包括：

7、对于所述待推理图像中的任意一位置，提取所述位置的纹理特征，提取所述位置相对于上一图像帧中相同位置的像素差特征，提取所述位置存在推理目标的历史概率；

8、基于所述纹理特征、所述像素差特征和所述历史概率确定所述位置的局部概率。

9、可选地，所述图像块的种类包括第一图像块，所述基于所述概率信息从所述待推理图像中提取出各图像块的步骤包括：

10、将所述待推理图像中局部概率大于预设概率阈值的位置作为目标位置；

11、将相邻目标位置联通所形成的联通区域作为所述第一图像块。

12、可选地，所述图像块的种类还包括第二图像块，所述方法还包括：

13、基于所述上一图像帧中的推理目标所在的区域生成候选框；

14、基于所述候选框从而所述待推理图像中提取所述第二图像块。

15、可选地，在所述基于所述概率信息从所述待推理图像中提取出各图像块的步骤之后，所述方法包括：

16、对各所述图像块进行筛选，剔除大于预设面积阈值的图像块和与其他图像块存在重叠区域的图像块。

17、可选地，所述将各所述图像块分发至各边缘设备进行推理的步骤包括：

18、获取各边缘设备的状态信息；

19、基于各所述状态信息，以所述待推理图像的总推理收益最大为目标，确定各图像块的目标边缘设备；

20、对于任意一图像块，将所述图像块分发至对应的目标边缘设备进行推理。

21、可选地，对于任意一所述边缘设备的状态信息包括，自身与所述边缘设备之间传输时延，所述边缘设备的计算时延和算力成本，所述边缘设备上配置的目标模型的推理准确率，所述基于各所述状态信息，以所述待推理图像的总推理收益最大为目标，确定各图像块的目标边缘设备的步骤包括：

22、对于任意一图像块，将所述图像块在边缘设备上的推理准确率与计算成本之间的差作为所述图像块的推理收益；

23、累计各图像块的推理收益得到总收益模型；

24、基于各所述传输时延、各所述计算时延和各所述算力成本构建约束条件，其中，所述约束条件包括，任意一接收图像块的边缘设备的完成时延小于或等于预设最大时延阈值，所述完成时延基于传输时延和计算时延确定，任意一接收图像块的边缘设备的算力成本小于或等于预设最大成本阈值，任意一图像块仅被边缘设备推理一次；

25、在所述约束条件下，以所述总收益模型的收益结果最大为目标，确定各图像块的目标边缘设备。

26、可选地，在所述将各所述图像块分发至各边缘设备进行推理的步骤之前，所述方法包括：

27、基于推理损失和边缘设备的计算开销，构建搜索目标模型的骨干网络的目标函数；

28、以所述目标函数的结果最小为搜索目标，通过神经网络架构搜索，得到所述骨干网络；

29、基于所述骨干网络添加中间层网络和头部网络得到初始模型；

30、基于推理任务，对所述初始模型进行迭代训练后，得到目标模型；

31、将所述目标模型部署至所述边缘设备。

32、此外，为实现上述目的，本申请还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于边缘设备的图像处理程序，所述基于边缘设备的图像处理程序被所述处理器执行时实现上述的基于边缘设备的图像处理方法的步骤。

33、此外，为实现上述目的，本申请还提供一种存储介质，所述可储介质上存储有基于边缘设备的图像处理程序，所述基于边缘设备的图像处理程序被处理器执行时实现如上述的基于边缘设备的图像处理方法的步骤。

34、本申请实施例提出的一种基于边缘设备的图像处理方法、装置、电子设备及存储介质。在申请本实施例中，估计待推理图像中各位置存在推理目标的概率信息；基于所述概率信息从所述待推理图像中提取出各图像块；将各所述图像块分发至各边缘设备进行推理。也即本申请实施例，将估计待推理图像上各位置存在有推理目标的概率，再将概率作为提取图像块的依据，从而保证每个图像块的都具有推理的价值，再将各图像块分发至多个边缘设备上分别进行推理，从而使得多个边缘设备参与到一个图像的推理过程中，实现多个边缘设备的算力聚集，弥补了单个边缘设备算力不足的缺陷，提高了模型推理完全在边缘设备上实现的场景下的准确率。

技术特征：

1.一种基于边缘设备的图像处理方法，其特征在于，所述基于边缘设备的图像处理方法包括：

2.如权利要求1所述的基于边缘设备的图像处理方法，其特征在于，所述概率信息包括各局部概率，所述估计待推理图像中各位置存在推理目标的概率信息的步骤包括：

3.如权利要求2所述的基于边缘设备的图像处理方法，其特征在于，所述图像块的种类包括第一图像块，所述基于所述概率信息从所述待推理图像中提取出各图像块的步骤包括：

4.如权利要求3所述的基于边缘设备的图像处理方法，其特征在于，所述图像块的种类还包括第二图像块，所述方法还包括：

5.如权利要求1所述的基于边缘设备的图像处理方法，其特征在于，在所述基于所述概率信息从所述待推理图像中提取出各图像块的步骤之后，所述方法包括：

6.如权利要求1所述的基于边缘设备的图像处理方法，其特征在于，所述将各所述图像块分发至各边缘设备进行推理的步骤包括：

7.如权利要求6所述的基于边缘设备的图像处理方法，其特征在于，对于任意一所述边缘设备的状态信息包括，自身与所述边缘设备之间传输时延，所述边缘设备的计算时延和算力成本，所述边缘设备上配置的目标模型的推理准确率，所述基于各所述状态信息，以所述待推理图像的总推理收益最大为目标，确定各图像块的目标边缘设备的步骤包括：

8.如权利要求1至7的任意一项所述的基于边缘设备的图像处理方法，其特征在于，在所述将各所述图像块分发至各边缘设备进行推理的步骤之前，所述方法包括：

9.一种电子设备，其特征在于，所述电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于边缘设备的图像处理程序，其中：所述基于边缘设备的图像处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的基于边缘设备的图像处理方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有基于边缘设备的图像处理程序，所述基于边缘设备的图像处理程序被处理器执行时实现如权利要求1至8中任一项所述的基于边缘设备的图像处理方法的步骤。

技术总结
本申请公开了一种基于边缘设备的图像处理方法、电子设备及存储介质，涉及边缘计算技术领域，本申请估计待推理图像中各位置存在推理目标的概率信息；基于概率信息从所述待推理图像中提取出各图像块；将各图像块分发至各边缘设备进行推理。也即本申请实施例，将估计待推理图像上各位置存在有推理目标的概率，再将概率作为提取图像块的依据，从而保证每个图像块的都具有推理的价值，再将各图像块分发至多个边缘设备上分别进行推理，从而使得多个边缘设备参与到一个图像的推理过程中，实现多个边缘设备的算力聚集，弥补了单个边缘设备算力不足的缺陷，提高了模型推理完全在边缘设备上实现的场景下的准确率。

技术研发人员：李清,王汉凌,江勇
受保护的技术使用者：鹏城实验室
技术研发日：
技术公布日：2024/1/16