头部姿态评估方法、移动终端及存储介质与流程

本申请属于图像处理，更具体地说，是涉及一种头部姿态评估方法、移动终端及存储介质。

背景技术：

1、头部姿态是判断人类行为很重要的一个因素，同时对于理解人类行为也具有很大帮助。头部姿态估计是指计算机通过对输入图像或者视频序列进行分析、预测，确定人的头部在三维空间中的位置以及姿态参量。这里的姿态参量是指人脸图像在三维空间中的旋转角度，分别为水平旋转(yaw)、垂直旋转(pitch)、平面内旋转(roll)。在过去的二十年中，头部姿态的相关研究推动了三维重建的视觉技术以及多媒体内容操作的发展，在人机交互、生物识别、虚拟现实以及疲劳检测等领域有着广泛的应用。

2、头部姿态估计作为计算机视觉(computer vision，cv)的关键技术之一，受到了广泛的关注与研究，其发展过程中涌现出许多的研究方法。在现有技术中，头部姿态估计通常需要依赖人脸关键点，例如公开号为cn110188728a的发明专利公开了一种头部姿态估计的方法及系统，基于人脸关键点检测的方法主要是采用人脸检测和人脸关键点标记的方式来表示人脸，然后通过二维空间与三维空间相对关系来求解头部姿态。但是该方法必须在人脸检测和特征点标记达到足够准确度的前提下，才能准确估计，但是实际情况下可作为人脸关键点定位的数量是有限的，模型复杂度较大。并且在实际应用中，人脸特征点检测精度会受到光照变化、复杂背景、头部偏转以及遮挡等干扰因素的影响，导致检测精度明显下降，甚至无法检测到人脸特征点。因此，基于模型的头部姿态估计算法并不十分准确。

技术实现思路

1、本申请实施例的目的在于提供一种头部姿态评估方法、移动终端及存储介质，以解决现有技术对头部姿态评估过程中存在的准确率不足的技术问题。

2、为实现上述目的，本申请采用的技术方案是：提供一种头部姿态评估方法，包括：

3、构建特征提取网络，其中所述特征提取网络包含多个不同类型的支流，每个支流包含多个阶段；

4、将图像数据集输入至特征提取网络，逐阶细化提取多尺寸的特征；

5、对相同阶段提取出的多尺寸的特征进行点乘融合得到融合特征uk；

6、将融合特征uk经过细粒度结构映射得到具有代表性的特征u，经过回归网络以得到头部姿态的预测结果；

7、通过调试网络结构超参数训练网络模型输出最终的头部姿态估计的结果。

8、优选地，所述特征提取网络包含三个不同类型的支流，每个支流包含三个阶段。

9、优选地，三个支流的通道大小分别设置为32、64以及128。

10、优选地，逐阶细化提取多尺寸的特征的方法，包括：

11、在特征提取网络中压缩模块进行模型压缩；

12、对压缩后的模块输入到批量标准化和激活函数模块进行处理；

13、对处理后的特征输入到注意力机制中；

14、注意力机制得到的鲁棒特征输入到池化层进行裁剪，将裁剪后得到的精细图像作为下一阶段网络的输入。

15、优选地，对相同阶段提取出的多尺寸的特征进行点乘融合得到融合特征uk的方法，包括：

16、对相同阶段提取出的多尺寸的特征进行点乘融合；

17、点乘融合得到的特征图分别输入到大小为1×1的卷积核中进行卷积操作；

18、再将特征图转化到对应的支流后进行池化操作；

19、得到每个阶段的融合特征uk。

20、优选地，将融合特征uk经过细粒度结构映射得到具有代表性的特征u的方法，包括：

21、融合特征uk输入到注意力结构ak中，输出每个融合特征uk的重要性结果；

22、将融合特征uk与重要性结果共同输入到细粒度结构映射模块，通过细粒度结构映射模块来提取更有效和有代表性的特征uk；

23、将各个更有效和有代表性的特征uk拼接为具有代表性的特征u。

24、优选地，经过回归网络以得到头部姿态的预测结果的方法，包括：

25、将具有代表性的特征u输入到特征聚合模块，得到特征集v；

26、将特征集v输入到软阶段回归网络，得到头部姿态的预测结果。

27、优选地，通过调试网络结构超参数训练网络模型输出最终的头部姿态估计的结果的方法，包括：

28、初始学习率设置为0.01，共有100个周期，每30个周期学习率降低10倍，并得到最终的训练网络模型；

29、输入训练集至训练网络模型进行训练，输出最终的头部姿态估计的结果。

30、本申请还提供一种移动终端，所述移动终端包括处理器，所述处理器用于运行如上所述的头部姿态评估方法。

31、本申请还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的头部姿态评估方法。

32、本申请提供的头部姿态评估方法、移动终端及存储介质，与现有技术相比，通过分支流以及阶段，逐阶细化提取多尺寸的特征，通过分别对输入的图像数据集进行不同类型、不同细粒度、不同大小的综合特征提取，实现对输入特征逐渐进行精细化提取，保留完整的头部姿态特征信息；对相同阶段提取出的多尺寸的特征进行点乘融合，促使网络学习到更多的特征，避免了特征丢失的问题；将融合特征uk经过细粒度结构映射得到具有代表性的特征u，来输出各阶段预测的参数，从而得到最终的头部姿态估计的结果，提高了头部姿态评估的精准度。

技术特征：

1.一种头部姿态评估方法，其特征在于，包括：

2.如权利要求1所述的头部姿态评估方法，其特征在于，所述特征提取网络包含三个不同类型的支流，每个支流包含三个阶段。

3.如权利要求3所述的头部姿态评估方法，其特征在于，三个支流的通道大小分别设置为32、64以及128。

4.如权利要求1所述的头部姿态评估方法，其特征在于，逐阶细化提取多尺寸的特征的方法，包括：

5.如权利要求1至4任意一项所述的头部姿态评估方法，其特征在于，对相同阶段提取出的多尺寸的特征进行点乘融合得到融合特征uk的方法，包括：

6.如权利要求5所述的头部姿态评估方法，其特征在于，将融合特征uk经过细粒度结构映射得到具有代表性的特征u的方法，包括：

7.如权利要求6所述的头部姿态评估方法，其特征在于，经过回归网络以得到头部姿态的预测结果的方法，包括：

8.如权利要求1所述的头部姿态评估方法，其特征在于，通过调试网络结构超参数训练网络模型输出最终的头部姿态估计的结果的方法，包括：

9.一种移动终端，其特征在于，所述移动终端包括处理器，所述处理器用于运行如权利要求1至8任意一项所述的头部姿态评估方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8任意一项所述的头部姿态评估方法。

技术总结
本申请提供了一种头部姿态评估方法、移动终端及存储介质，所述头部姿态评估方法包括：构建特征提取网络，其中所述特征提取网络包含多个不同类型的支流，每个支流包含多个阶段；将图像数据集输入至特征提取网络，逐阶细化提取多尺寸的特征；对相同阶段提取出的多尺寸的特征进行点乘融合得到融合特征UK；将融合特征UK经过细粒度结构映射得到具有代表性的特征U，经过回归网络以得到头部姿态的预测结果；通过调试网络结构超参数训练网络模型输出最终的头部姿态估计的结果；本申请的头部姿态评估方法实现对输入特征逐渐进行精细化提取，保留完整的头部姿态特征信息；避免了特征丢失的问题，提高了头部姿态评估的精准度。

技术研发人员：张笑天,欧阳一村,朱光强,龚小龙,胡玲静,陈雅琼,陈海涛
受保护的技术使用者：盛视科技股份有限公司
技术研发日：
技术公布日：2024/1/12