一种人体姿态估计方法、装置与流程

文档序号:25780686发布日期:2021-07-09 09:25阅读:来源:国知局

技术特征:
1.一种人体姿态估计方法,其特征在于,包括:将待处理图像输入预先训练的神经网络模型,其中,所述待处理图像中包括人体,所述神经网络模型包括非局部网络模块和至少一级高分辨率网络模块;基于所述非局部网络模块提取所述待处理图像的特征信息,生成所述待处理图像的特征图,所述特征信息包括所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息;基于所述至少一级高分辨率网络模块对所述特征图进行计算,获得所述待处理图像中所述人体的姿态估计结果。2.如权利要求1所述的方法,其特征在于,所述神经网络模型还包括至少一个m
×
m卷积模块,m为奇数;所述非局部网络模块设置在所述至少一个卷积模块之后,所述至少一级高分辨率网络模块之前;在基于所述非局部网络模块提取所述待处理图像的特征信息之前,还包括:基于所述至少一个卷积模块对所述待处理图像中所述人体所在区域上的若干个m
×
m大小的区域进行初步特征提取,获得所述待处理图像的初始特征信息,并基于所述初始特征信息生成所述待处理图像的初始特征图;基于所述非局部网络模块提取所述待处理图像的特征信息,包括:将所述初始特征图输入所述非局部网络模块,计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息,基于所述初始特征信息以及所述相关信息生成所述待处理图像的特征图。3.如权利要求2所述的方法,其特征在于,所述初始特征信息包括像素值、颜色特征、纹理特征、形状特征或空间关系特征中的一项或多项;所述相关信息包括空间关系、颜色关系、纹理关系或形状关系中的一项或多项。4.如权利要求2所述的方法,其特征在于,所述非局部网络模块计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息,具体包括:按照如下公式计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息:z
i
=w
z
y
i
+x
i
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中,f为配对计算函数,用于计算像素x
i
和像素x
j
的相关信息;y
i
为所述人体所在区域上像素x
j
与所述人体所在区域上的所有其他像素的相关信息;g(x
j
)为一元输入函数,用于变换不同的像素x
j
;c(x)为归一化函数,保证变换y
i
前后整体信息不变,x为输入的所述人体所在区域的图像;j为所述人体所在区域上的其他像素的标识;z
i
为non-local网络模块输出的特征图;w
z
为权重值;+x
i
表示一个残差连接。5.如权利要求1-4任一项所述的方法,其特征在于,所述高分辨率网络模块包括多个交换模块,所述高分辨率网络模块中的每个交换模块包括至少两个并联连接的残差块,所述每个交换模块中第n个残差块的分辨率为c/a
n-1
,所述第n个残差块的输出通道为c0×
b
n-1
,其中c等于所述非局部网络模块的分辨率大小,n为正整数,a、b为大于1的正整数,c0为所述
非局部网络模块的输出通道数。6.如权利要求5所述的方法,其特征在于,所述高分辨率网络模块还包括多个交换单元,所述交换单元和所述交换模块按照预定次序交替连接,所述交换单元用于对输入的特征图进行多尺度融合。7.如权利要求5所述的方法,其特征在于,所述残差块由多个相同类型的残差单元串联而成。8.如权利要求5所述的方法,其特征在于,每级所述高分辨率网络模块由至少两个阶段串行连接,每个阶段包括至少一个所述交换模块;其中,相邻两个阶段中的前一个阶段中每个交换模块的残差块的数量不超过后一个阶段中每个交换模块的残差块的数量。9.如权利要求1-8任一项所述的方法,其特征在于,在将待处理图像输入预先训练的神经网络模型之前,还包括:检测所述待处理图像中的人体,确定出所述待处理图像中所述人体所在区域。10.一种识别人体姿态的装置,其特征在于,包括:输入单元,用于将待处理图像输入预先训练的神经网络模型,其中,所述待处理图像中包括人体,所述神经网络模型包括非局部网络模块和至少一级高分辨率网络模块;提取单元,用于基于所述非局部网络模块提取所述待处理图像的特征信息,生成所述待处理图像的特征图,所述特征信息包括所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息;计算单元,用于基于所述至少一级高分辨率网络模块对所述特征图进行计算,获得所述待处理图像中所述人体的姿态估计结果。11.如权利要求10所述的装置,其特征在于,所述神经网络模型还包括至少一个m
×
m卷积模块,m为奇数;所述非局部网络模块设置在所述至少一个卷积模块之后,所述至少一级高分辨率网络模块之前;所述提取单元用于:基于所述至少一个卷积模块对所述待处理图像中所述人体所在区域上的若干个m
×
m大小的区域进行初步特征提取,获得所述待处理图像的初始特征信息,并基于所述初始特征信息生成所述待处理图像的初始特征图;将所述初始特征图输入所述非局部网络模块,计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息,基于所述初始特征信息以及所述相关信息生成所述待处理图像的特征图。12.如权利要求11所述的装置,其特征在于,所述初始特征信息包括像素值、颜色特征、纹理特征、形状特征或空间关系特征中的一项或多项;所述相关信息包括空间关系、颜色关系、纹理关系或形状关系中的一项或多项。13.如权利要求11所述的装置,其特征在于,所述提取单元用于:按照如下公式计算所述待处理图像中所述人体所在区域的每个像素与所述人体所在区域的其他像素的相关信息:z
i
=w
z
y
i
+x
i
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
其中,f为配对计算函数,用于计算像素x
i
和像素x
j
的相关信息;y
i
为所述人体所在区域上像素x
j
与所述人体所在区域上的所有其他像素的相关信息;g(x
j
)为一元输入函数,用于变换不同的像素x
j
;c(x)为归一化函数,保证变换y
i
前后整体信息不变,x为输入的所述人体所在区域的图像;j为所述人体所在区域上的其他像素的标识;z
i
为non-local网络模块输出的特征图;w
z
为权重值;+x
i
表示一个残差连接。14.如权利要求10-13任一项所述的装置,其特征在于,所述高分辨率网络模块包括多个交换模块,所述高分辨率网络模块中的每个交换模块包括至少两个并联连接的残差块,所述每个交换模块中第n个残差块的分辨率为c/a
n-1
,所述第n个残差块的输出通道为c0×
b
n-1
,其中c等于所述非局部网络模块的分辨率大小,n为正整数,a、b为大于1的正整数,c0为所述非局部网络模块的输出通道数。15.如权利要求14所述的装置,其特征在于,所述高分辨率网络模块还包括多个交换单元,所述交换单元和所述交换模块按照预定次序交替连接,所述交换单元用于对输入的特征图进行多尺度融合。16.如权利要求14所述的装置,其特征在于,所述残差块由多个相同类型的残差单元串联而成。17.如权利要求14所述的装置,其特征在于,每级所述高分辨率网络模块由至少两个阶段串行连接,每个阶段包括至少一个所述交换模块;其中,相邻两个阶段中的前一个阶段中每个交换模块的残差块的数量不超过后一个阶段中每个交换模块的残差块的数量。18.如权利要求10-17任一项所述的装置,其特征在于,所述装置还包括:检测单元,用于在所述输入单元将待处理图像输入预先训练的神经网络模型之前,检测所述待处理图像中的人体,确定出所述待处理图像中所述人体所在区域。19.一种电子设备,其特征在于,包括处理器和存储器;所述存储器用于存储一个或多个计算机程序;当所述存储器存储的一个或多个计算机程序被所述处理器执行时,使得所述电子设备执行如权利要求1至9任一项所述的方法。20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括计算机程序,当计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至9任一项所述的方法。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1