图像处理方法、装置、设备及存储介质与流程

文档序号:26052135发布日期:2021-07-27 15:28阅读:来源:国知局

技术特征:

1.一种图像处理方法,其特征在于,所述方法包括:

获取待处理的目标图像;

根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图,其中,所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率,所述预测密度图用于指示所述关键点在所述目标图像中的分布情况,所述关键点用于定位所述目标对象;

其中,所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到,所述样本定位密度图基于所述样本定位概率图得到,所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率,所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况,所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

根据所述预测定位概率图确定所述目标对象在所述目标图像中位置,和/或根据所述预测密度图确定所述目标图像中所述目标对象的数量。

3.根据权利要求1或2所述的方法,其特征在于,所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图、所述样本图像的标注信息确定的目标损失训练得到,包括:

根据所述标注信息确定所述样本图像对应的真实定位概率图以及真实密度图;

根据所述样本图像对应的样本定位概率图和所述真实定位概率图确定第一损失;

根据所述样本图像对应的样本密度图和所述真实密度图确定第二损失;

根据所述样本定位密度图和所述真实密度图确定第三损失;

基于所述第一损失、所述第二损失以及所述第三损失确定所述目标损失,以所述目标损失作为优化目标训练得到所述神经网络。

4.根据权利要求1-3任一项所述的方法,其特征在于,基于所述样本定位概率图确定所述样本定位密度图,包括:

根据所述样本定位概率图确定所述关键点在所述样本图像中的位置;

基于所确定的所述关键点在所述样本图像中的位置确定样本预测定位图,所述样本预测定位图中目标像素位置的像素值均为第一数值,除所述目标像素位置以外的其他像素位置的像素值均为第二数值,所述目标像素位置为所述关键点所在的像素位置;

对所述样本预测定位图进行滤波处理,以得到所述样本定位密度图。

5.根据权利要求4所述的方法,其特征在于,根据所述样本定位密度图和所述真实密度图确定第三损失,包括:

根据所述样本定位密度图和所述真实密度图的均方误差确定所述第三损失。

6.根据权利要求4或5所述的方法,其特征在于,根据所述样本密度图和所述真实密度图确定第二损失,包括:

根据所述样本密度图和所述真实密度图的均方误差确定所述第二损失。

7.根据权利要求4-6任一项所述的方法,其特征在于,根据所述样本图像对应的样本定位概率图和所述真实定位概率图确定第一损失,包括:

基于所述真实定位概率图以及所述样本定位概率图确定所述样本图像中的各像素点对应的第一交叉熵损失;

对所述样本图像中的各像素点对应的所述第一交叉熵损失取平均,得到所述第一损失。

8.根据权利要求1-7任一项所述的方法,其特征在于,根据所述预测定位概率图确定所述目标对象在所述目标图像中的位置,包括:

对所述预测定位概率图进行均值池化处理,得到第一概率图;

对所述第一概率图进行最大池化处理,得到第二概率图;

将所述第一概率图和所述第二概率图中概率相同且大于预设阈值的像素点确定为所述关键点,以基于所述关键点确定所述目标对象在所述目标图像中的位置。

9.根据权利要求1-8任一项所述的方法,其特征在于,所述预测密度图用于指示所述目标图像中各像素位置分布的所述关键点的数量,根据所述预测密度图确定所述目标图像中所述目标对象的数量,包括:

对所述预测密度图中的各像素位置分布的所述关键点的数量进行求和处理,得到所述目标对象的数量。

10.一种图像处理装置,其特征在于,所述装置包括:

获取模块,用于获取待处理的目标图像;

处理模块,用于根据预先训练的神经网络确定所述目标图像对应的预测定位概率图和/或预测密度图,其中,所述预测定位概率图用于指示所述目标图像中的像素点为所述目标对象的关键点的概率,所述预测密度图用于指示所述关键点在所述目标图像中的分布情况,所述关键点用于定位所述目标对象;

其中,所述神经网络基于样本图像对应的样本定位概率图、样本密度图、样本定位密度图以及所述样本图像的标注信息确定的目标损失训练得到,所述样本定位密度图基于所述样本定位概率图得到,所述样本定位概率图用于指示所述样本图像中的像素点为所述关键点的概率,所述样本密度图和所述样本定位密度图均用于指示所述关键点在所述样本图像中的分布情况,所述标注信息用于指示所述样本图像中的像素点是否为所述关键点。

11.一种电子设备,其特征在于,所述电子设备包括处理器、存储器、存储于所述存储器可供所述处理器执行的计算机指令,所述处理器执行所述计算机指令时可实现如权利要求1-9任一项所述的方法。

12.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机指令,所述计算机指令被执行时实现如权利要求1-9任一项所述的方法。


技术总结
本说明书实施例提供一种图像处理方法、装置、设备及存储介质。在训练用于预测图像对应的定位概率图和/或密度图的神经网络时,可以基于神经网络预测的样本图像的样本定位概率图确定样本图像对应的样本定位密度图,在构建目标损失时,可以结合基于样本定位概率图确定的样本定位密度图与基于标注信息确定的真实密度之间的差异确定目标损失,用于训练神经网络,从而可以将神经网络预测的定位结果和计数结果耦合,增加用于训练神经网络的监督信息,使得训练的神经网络的预测结果更加准确。

技术研发人员:杨昆霖;李昊鹏;侯军;伊帅
受保护的技术使用者:上海商汤智能科技有限公司
技术研发日:2021.05.20
技术公布日:2021.07.27
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1