图像的处理方法、处理装置、电子设备以及存储介质与流程

本申请属于图像处理，尤其涉及一种图像的处理方法、图像的处理装置、电子设备以及计算机可读存储介质。

背景技术：

1、相关技术中，处理图像的网络模型可以同时处理至少两个任务，例如多任务学习网络模型。虽然这样的网络模型能够高效解决多个任务，但是，目前网络模型的设计大多采用硬参数共享(hard parameter sharing)的方法，具体为：底层参数(主干网络和颈部网络所对应的参数)共享，顶层参数(检测模块对应的参数)各自独立。这种硬参数共享的方法会使不同任务之间存在“参数抢占”的情况，而“参数抢占”容易使得网络模型无法兼顾多个任务，进而导致网络模型的鲁棒性偏低，降低各个任务处理结果的准确性。

技术实现思路

1、本申请提供了一种图像的处理方法、图像的处理装置、电子设备及计算机可读存储介质，能够避免不同任务之间出现“参数抢占”，提高图像处理模型的鲁棒性，进而提高各个任务处理结果的准确性。

2、第一方面，本申请提供了一种图像的处理方法，包括：

3、基于预先训练完成的图像处理模型的骨干网络对待处理图像进行特征提取，得到图像特征；

4、将图像特征分别输入图像处理模型的至少两个处理网络中进行处理，得到对应的处理结果；其中，每个处理网络基于至少一个预设任务构建，处理网络包括颈部模块和检测模块；颈部模块用于融合图像特征得到与预设任务匹配的融合特征，检测模块用于对融合特征进行检测得到预设任务对应的处理结果。

5、第二方面，本申请提供了一种图像的处理装置，包括：

6、提取模块，用于基于预先训练完成的图像处理模型的骨干网络对待处理图像进行特征提取，得到图像特征；

7、处理模块，用于将图像特征分别输入图像处理模型的至少两个处理网络中进行处理，得到对应的处理结果；其中，每个处理网络基于至少一个预设任务构建，处理网络包括颈部模块和检测模块；颈部模块用于融合图像特征得到与预设任务匹配的融合特征，检测模块用于对融合特征进行检测得到预设任务对应的处理结果。

8、第三方面，本申请提供了一种电子设备，该电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

9、第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

10、第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

11、本申请与现有技术相比存在的有益效果是：对待处理图像进行处理，是为了完成至少两种预设任务。为了避免不同预设任务之间出现“参数抢占”的情况，降低图像处理模型的鲁棒性，本申请通过预设任务来构建图像处理模型的处理网络，将图像处理模型从“硬参数共享”转变为“软参数共享”，得到改进后的图像处理模型。基于改进后的图像处理模型来处理待处理图像，可充分发挥每个处理网络的学习能力，使每个处理网络能够针对性地学习对应预设任务的独有特征，进而提高对应预设任务的处理结果的准确性。

12、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种图像的处理方法，其特征在于，包括：

2.如权利要求1所述的图像的处理方法，其特征在于，所有所述预设任务包括至少两个处理任务，每个所述处理任务对应一个所述处理网络，每个所述处理网络包括与对应的所述处理任务匹配的一个所述颈部模块和一个所述检测模块。

3.如权利要求1所述的图像的处理方法，其特征在于，所有所述预设任务包括至少两种类型的处理任务，每种类型的所述处理任务的数量至少为一个；一个所述处理网络对应一个类型的所述处理任务，每个所述处理网络包括与对应类型的所述处理任务匹配的一个所述颈部模块和至少一个所述检测模块。

4.如权利要求1-3任意一项所述的图像的处理方法，其特征在于，所述骨干网络包括下采样模块和至少两个阶段的特征提取模块，所述基于预先训练完成的图像处理模型的骨干网络对待处理图像输入中进行特征提取，包括：

5.如权利要求4所述的图像的处理方法，其特征在于，所述特征提取模块包括嵌入层和并联提取层，所述基于所述特征提取模块对输入特征进行特征提取，包括：

6.如权利要求5所述的图像的处理方法，其特征在于，所述并联提取层包括局部特征提取单元和全局特征提取单元，所述局部特征提取单元和所述全局特征提取单元并联，所述将所述基础特征输入所述嵌入层中进行降维处理，包括：

7.如权利要求6所述的图像的处理方法，其特征在于，所述全局特征提取单元包括第一子单元和第二子单元，所述第一子单元和所述第二子单元串联，所述第一子单元包括轻量级多头注意力模块，所述第二子单元包括卷积前馈网络；所述将降维后的所述基础特征输入所述全局特征提取单元，包括：

8.一种图像的处理装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的图像的处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的图像的处理方法。

技术总结
本申请公开了一种图像的处理方法、图像的处理装置、电子设备以及计算机可读存储介质，该图像的处理方法包括：基于预先训练完成的图像处理模型的骨干网络对待处理图像进行特征提取，得到图像特征；将图像特征分别输入图像处理模型的至少两个处理网络中进行处理，得到对应的处理结果；其中，每个处理网络基于至少一个预设任务构建，处理网络包括颈部模块和检测模块；颈部模块用于融合图像特征得到与预设任务匹配的融合特征，检测模块用于对融合特征进行检测得到预设任务对应的处理结果。该方法能够避免不同预设任务之间出现“参数抢占”，提高图像处理模型的鲁棒性，进而提高各个预设任务处理结果的准确性。

技术研发人员：王鹏,韩冰冰,王鹏飞,刘加美
受保护的技术使用者：深圳市锐明像素科技有限公司
技术研发日：
技术公布日：2024/1/15