人体图像解析方法、系统、电子设备及存储介质

本技术涉及计算机视觉，具体涉及一种人体图像解析方法、系统、电子设备及存储介质。

背景技术：

1、人体解析是指对人体图像进行语义分割，即将图像中的每个像素点都分配到不同的语义类别中，从而实现对人体不同部分的准确识别和分割，在计算机视觉领域中具有重要的应用价值。

2、相关技术中，包括将人体部位进行多层次语义划分，结合神经网络强大的学习能力和图模型强大的表示能力，有效地挖掘人体的内在结构，全视角获取人体语义特征，提升人体解析精度，以上解析方案中存在的问题包括：

3、(1)高性能的传统人体解析网络通过大量像素级标签图像作为强监督信息实现准确的人体解析预测，但是像素级标注需要耗费大量的人力资源，成本太高，同时还存在错误标注等噪声干扰；

4、(2)基于弱监督信息生成的像素级伪标签无法在模型训练过程中提供大量的监督信息，使得现有的弱监督人体解析模型在运算过程中提取特征的准确性和丰富性不足，导致模型的精度不够。

技术实现思路

1、为了解决上述背景技术中提到的至少一个问题，本技术提供了人体图像解析方法、系统、电子设备及存储介质，通过利用先验结构知识进行特征传播，实现高级语义特征优化，进一步对初始伪标签进行在线优化从而提供更多的监督信息，提高细粒度人体解析的准确性。

2、本技术实施例提供的具体技术方案如下：

3、第一方面，提供一种人体图像解析方法，所述方法包括：

4、接收原始图像，获取所述原始图像的初始像素点，采用超像素算法基于所述初始像素点构建图邻接矩阵；

5、获取所述原始图像的初始图节点特征，结合所述初始图节点特征和所述图邻接矩阵形成无向图，采用图神经网络对所述无向图进行特征传播形成优化后图节点特征；

6、结合所述优化后图节点特征与所述初始图节点特征得到最终融合特征，解码所述最终融合特征得到人体图像解析结果。

7、在一个具体的实施例中，所述方法还包括：

8、通过sam模型对所述原始图像进行图像分割形成所述初始化像素级伪标签；

9、采用第一约束函数对所述始像素级伪标签进行在线优化，得到密集像素级伪标签。

10、在一个具体的实施例中，所述方法还包括：

11、将所述人体图像解析结果和所述密集像素级伪标签进行损失函数运算，得到准确性高度值；

12、其中，所述准确性高度值用于指示所述人体图像解析结果的准确性。

13、在一个具体的实施例中，采用超像素算法基于所述初始像素点构建图邻接矩阵，具体包括：

14、提取所述初始像素点的低级语义特征；

15、采用超像素算法对所述初始像素点的低级语义特征进行聚类形成超像素图，对所述超像素图进行矩阵变换并计算得到邻接矩阵；

16、其中，所述超像素图进行矩阵变化公式(1)如下：

17、

18、其中，s表示超像素图，并且s∈rh×w；

19、其中，所述邻接矩阵计算公式(2)如下：

20、a＝st&s   (2)

21、其中，a表示邻接矩阵；s表示矩阵转换后超像素图；st表示s的转置矩阵。

22、在一个具体的实施例中，获取所述原始图像的初始图节点特征，结合所述初始图节点特征和所述图邻接矩阵形成无向图，具体包括：

23、(1)通过编码器学习所述原始图像的高级语义特征，并将所述高级语义特征作为初始图节点特征，结合所述初始图节点特征和所述邻接矩阵构建初始无向图，计算公式(3)如下：

24、g＝(v,a)   (3)

25、其中，a∈rhw×hw表示邻接矩阵；表示初始图节点特征；表示第i个图节点特征；dm表示特征维度；

26、(2)采用边约束函数对所述初始无向图进行边优化，得到无向图；其中，所述边约束函数的公式(4)如下：

27、

28、其中，表示约束后的边集合；i和j分别表示像素；||·||2表示欧式距离算子；pos(·)表示每个所述初始像素点的位置坐标；r表示预定义的阈值参数，superpixeln表示超像素图中的一个超像素块；

29、其中，无向图的计算公式(5)如下：

30、

31、其中，表示无向图；v表示初始图节点特征；表示经过边约束后的邻接矩阵。

32、在一个具体的实施例中，采用图神经网络对所述无向图进行特征传播形成优化后图节点特征，具体包括公式(6)～(8)：

33、h(0)＝fθ(v)   (6)

34、

35、

36、其中，fθ(·)表示两层全连接和一个非线性激活操作；h(0)表示经过一次fθ(·)操作后的图节点特征；表示对邻接矩阵的归一化；d表示邻接矩阵的度矩阵；h(l)表示经过l阶邻居节点特征传播后得到的图节点特征；λl表示可学习变量参数；l表示图节点特征传播的最大阶邻居节点距离；h表示优化后图节点特征，

37、在一个具体的实施例中，结合所述优化后图节点特征与所述初始图节点特征得到最终融合特征，具体包括：

38、将所述优化后图节点特征与所述初始图节点特征进行矩阵变换及拼接得到最终融合特征，计算公式(9)如下：

39、

40、其中，f表示最终融合特征；h表示优化后图节点特征；v表示初始图节点特征；表示矩阵变换操作；[·]表示矩阵拼接操作。

41、第二方面，提供一种基于人体图像解析方法的系统，所述系统包括：

42、构建单元，用于接收原始图像，获取所述原始图像的初始像素点，采用超像素算法基于所述初始像素点构建图邻接矩阵；

43、优化单元，用于获取所述原始图像的初始图节点特征，结合所述初始图节点特征和所述图邻接矩阵形成无向图，采用图神经网络对所述无向图进行特征传播形成优化后图节点特征；

44、解码单元，用于结合所述优化后图节点特征与所述初始图节点特征得到最终融合特征，解码所述最终融合特征得到人体图像解析结果。

45、第三方面，提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

46、步骤a：接收原始图像，获取所述原始图像的初始像素点，采用超像素算法基于所述初始像素点构建图邻接矩阵；

47、步骤b：获取所述原始图像的初始图节点特征，结合所述初始图节点特征和所述图邻接矩阵形成无向图，采用图神经网络对所述无向图进行特征传播形成优化后图节点特征；

48、步骤c：结合所述优化后图节点特征与所述初始图节点特征得到最终融合特征，解码所述最终融合特征得到人体图像解析结果。

49、第四方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

50、步骤a：接收原始图像，获取所述原始图像的初始像素点，采用超像素算法基于所述初始像素点构建图邻接矩阵；

51、步骤b：获取所述原始图像的初始图节点特征，结合所述初始图节点特征和所述图邻接矩阵形成无向图，采用图神经网络对所述无向图进行特征传播形成优化后图节点特征；

52、步骤c：结合所述优化后图节点特征与所述初始图节点特征得到最终融合特征，解码所述最终融合特征得到人体图像解析结果。

53、本技术实施例具有如下有益效果：

54、1.本技术实施例提供的通过编码器对原始图像进行语义特征学习，学习得到的高级语义特征作为初始图节点特征，与超像素构建的邻接矩阵共同构成无向图，并采用基于先验结构知识的特征传播模块进行特征传播，实现高级语义特征优化，提高细粒度人体解析的准确性。