技术特征：
1.一种基于机器人的步态监测方法，其特征在于，包括：获取所述机器人的拍摄视频；对所述拍摄视频的视频帧进行图像处理，得到所述拍摄视频中人员的人体剪影序列和人体关键点序列；通过身份特征提取模型中的剪影特征提取网络，对所述人体剪影序列进行特征提取，得到所述人员的人体剪影特征；通过所述身份特征提取模型中的关键点特征提取网络，对所述人体关键点序列进行特征提取，得到所述人员的人体关键点特征；通过所述身份特征提取模型中的多模态特征混合网络，对所述人体剪影特征和所述人体关键点特征进行特征融合，得到所述人员的身份特征；根据所述身份特征，对所述人员进行身份识别。2.根据权利要求1所述的基于机器人的步态监测方法，其特征在于，所述剪影特征提取网络包括空域特征提取网络和池化网络，所述通过身份特征提取模型中的剪影特征提取网络，对所述人体剪影序列进行特征提取，得到所述人员的人体剪影特征，包括：将所述人体剪影序列输入所述空域特征提取网络，在所述空域特征提取网络中对所述人体剪影序列进行特征提取，得到剪影空域特征；将所述剪影空域特征输入所述池化网络，通过所述池化网络对所述剪影空域特征进行特征池化，得到所述人体剪影特征。3.根据权利要求2所述的基于机器人的步态监测方法，其特征在于，所述池化网络包括时域池化网络和水平金字塔池化网络，所述将所述剪影空域特征输入所述池化网络，通过所述池化网络对所述剪影空域特征进行特征池化，得到所述人体剪影特征，包括：将所述剪影空域特征输入所述时域池化网络，通过所述时域池化网络在时序维度对所述剪影空域特征进行最大池化，得到初步池化特征；将所述初步池化特征输入所述水平金字塔池化网络，在所述水平金字塔网络中，在空间维度对所述初步池化特征进行多尺度划分、平均池化、最大池化以及池化特征合并，得到所述人体剪影特征。4.根据权利要求1-3中任一项所述的基于机器人的步态监测方法，其特征在于，所述多模态特征混合网络包括与所述人体剪影特征对应的卷积层、与所述人体关键点特征对应的卷积层以及注意力层，所述通过所述身份特征提取模型中的多模态特征混合网络，对所述人体剪影特征和所述人体关键点特征进行特征融合，得到所述人员的身份特征，包括：在所述多模态特征混合网络中，通过与所述人体剪影特征对应的卷积网络、与所述人体关键点特征对应的卷积网络以及注意力层，对所述人体剪影特征和所述人体关键点特征进行特征融合，得到所述身份特征。5.根据权利要求1-3中任一项所述的基于机器人的步态监测方法，其特征在于，所述根据所述身份特征，对所述人员进行身份识别之后，所述基于机器人的步态监测方法还包括：如果身份识别结果为所述人员属于服务对象，则通过健康监测网络对所述人体关键点序列进行识别，得到所述人员的步态健康状况。6.根据权利要求5所述的基于机器人的步态监测方法，其特征在于，所述健康监测网络包括特征编码网络和步态健康识别网络，所述步态健康识别网络包括如下至少一种：步伐
识别网络、情绪识别网络、腿型识别网络，所述如果身份识别结果为所述人员属于服务对象，则通过健康监测网络对所述人体关键点序列进行识别，得到所述人员的步态健康状况，包括：如果所述身份识别结果为所述人员属于服务对象，则通过特征编码网络对所述人体关键点序列进行特征编码，得到编码特征；通过所述步态健康识别网络，对所述编码特征进行识别，得到所述步态健康状况，所述步态健康状况包括如下至少一种：所述人员的步伐状况、所述人员的情绪类型、所述人员的腿型。7.根据权利要求6所述的基于机器人的步态监测方法，其特征在于，所述人体关键点序列包括面部关键点序列和躯体关键点序列，所述特征编码网络包括面部编码网络和步态编码网络；所述如果所述身份识别结果为所述人员属于服务对象，则通过特征编码网络对所述人体关键点序列进行特征编码，得到编码特征，包括：如果所述身份识别结果为所述人员属于服务对象，则通过所述面部编码网络对所述面部关键点序列进行特征编码，得到面部特征，通过所述步态编码网络对所述躯体关键点序列进行特征编码，得到步态特征；所述通过所述步态健康识别网络，对所述编码特征进行识别，得到所述步态健康状况，包括：通过所述步伐识别网络对所述步态特征进行识别，得到所述步伐状况；通过所述情绪识别网络对所述面部特征和所述步态特征进行识别，得到所述情绪类型；通过所述腿型识别网络对所述步态特征进行识别，得到所述腿型。8.一种基于机器人的步态监测装置，其特征在于，包括：视频获取单元，用于获取所述机器人的拍摄视频；视频处理单元，用于对所述拍摄视频的视频帧进行图像处理，得到所述拍摄视频中人员的人体剪影序列和人体关键点序列；剪影特征提取单元，用于通过身份特征提取模型中的剪影特征提取网络，对所述人体剪影序列进行特征提取，得到所述人员的人体剪影特征；关键点特征提取单元，用于通过所述身份特征提取模型中的关键点特征提取网络，对所述人体关键点序列进行特征提取，得到所述人员的人体关键点特征；特征融合单元，用于通过所述身份特征提取模型中的多模态特征混合网络，对所述人体剪影特征和所述人体关键点特征进行特征融合，得到所述人员的身份特征；身份识别单元，用于根据所述身份特征，对所述人员进行身份识别。9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1至7任一项所述的基于机器人的步态监测方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至7任一项所述的基于
机器人的步态监测方法。
技术总结
本公开实施例提供一种基于机器人的步态监测方法及设备，该方法包括：获取机器人的拍摄视频；对拍摄视频的视频帧进行图像处理，得到拍摄视频中人员的人体剪影序列和人体关键点序列；通过身份特征提取模型中的剪影特征提取网络，对人体剪影序列进行特征提取，得到人员的人体剪影特征；通过身份特征提取模型中的关键点特征提取网络，对人体关键点序列进行特征提取，得到人员的人体关键点特征；通过身份特征提取模型中的多模态特征混合网络，对人体剪影特征和人体关键点特征进行特征融合，得到人员的身份特征；根据身份特征，对人员进行身份识别。从而，实现机器人上的步态监测，并通过步态监测方式实现了用户身份识别。步态监测方式实现了用户身份识别。步态监测方式实现了用户身份识别。
技术研发人员：马靖哲 叶顶强 于仕琪
受保护的技术使用者：南方科技大学
技术研发日：2022.08.09
技术公布日：2022/12/5