肢体控制方法、装置和电子设备与流程

文档序号:23728754发布日期:2021-01-26 18:54阅读:来源:国知局

技术特征:
1.一种肢体控制方法,包括:获取视频流中的图像;对所述图像中包括的至少两个人体进行关节点检测,获得所述至少两个人体的目标关节点的位置;其中,所述目标关节点包括人体的预定数量的关节点;根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域;对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者;从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置,并根据所述控制者的目标关节点的位置,确定所述控制者的手部区域;对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作。2.根据权利要求1所述的方法,其中,所述根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域包括:根据所述目标关节点中头部和颈部的关节点的位置关系,确定所述至少两个人体中每个人体的人脸区域。3.根据权利要求1所述的方法,其中,所述对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者包括:对每个人体的人脸区域进行人脸识别,将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比,确定当前与电子设备进行交互的控制者。4.根据权利要求1或3所述的方法,其中,所述确定当前与电子设备进行交互的控制者之后,还包括:计算所述视频流中当前帧的后一帧与所述当前帧中所述目标关节点的距离差矩阵;对所述距离差矩阵进行求解,根据所述距离差矩阵的求解结果,确定所述后一帧与所述当前帧中的人体均为所述控制者的人体时,为所述后一帧保留所述当前帧的人脸识别的结果。5.根据权利要求4所述的方法,其中,所述为所述后一帧保留所述当前帧的人脸识别的结果之后,还包括:每隔预定时长,重新执行所述对所述人脸区域进行人脸识别的步骤,刷新人脸识别的结果。6.根据权利要求1所述的方法,其中,所述对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作包括:对所述视频流包括的图像中所述控制者的手部区域进行手势识别;当所述手势识别的结果与预先设定的目标手势匹配时,控制所述电子设备执行所述目标手势对应的操作。7.根据权利要求1所述的方法,其中,所述对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作包括:从所述目标关节点的位置中获取所述控制者的手部区域的关节点位置;根据所述视频流包括的图像中手部区域的关节点位置,确定所述控制者的手部的移动速度和移动方向;
控制所述电子设备执行与所述手部的移动速度和移动方向对应的操作。8.一种肢体控制装置,包括:获取模块,用于获取视频流中的图像;检测模块,用于对所述图像中包括的至少两个人体进行关节点检测,获得所述至少两个人体的目标关节点的位置;其中,所述目标关节点包括人体的预定数量的关节点;确定模块,用于根据所述目标关节点的位置,确定所述至少两个人体中每个人体的人脸区域;识别模块,用于对所述人脸区域进行人脸识别,根据所述人脸识别的结果,确定当前与电子设备进行交互的控制者;所述获取模块,还用于从所述至少两个人体的目标关节点的位置中获取所述控制者的目标关节点的位置;所述确定模块,还用于根据所述控制者的目标关节点的位置,确定所述控制者的手部区域;控制模块,用于对所述手部区域进行识别,控制所述电子设备执行与所述手部区域的识别结果对应的操作。9.根据权利要求8所述的装置,其中,所述确定模块,具体用于根据所述目标关节点中头部和颈部的关节点的位置关系,确定所述至少两个人体中每个人体的人脸区域。10.根据权利要求8所述的装置,其中,所述识别模块,具体用于对每个人体的人脸区域进行人脸识别,将每个人脸区域的人脸识别结果与预先保存的控制者的人脸进行对比,确定当前与电子设备进行交互的控制者。11.根据权利要求8或10所述的装置,其中,还包括:计算模块,用于在所述识别模块确定当前与电子设备进行交互的控制者之后,计算所述视频流中当前帧的后一帧与所述当前帧中所述目标关节点的距离差矩阵;所述识别模块,还用于对所述距离差矩阵进行求解,根据所述距离差矩阵的求解结果,确定所述后一帧与所述当前帧中的人体均为所述控制者的人体时,为所述后一帧保留所述当前帧的人脸识别的结果。12.根据权利要求11所述的装置,其中,所述识别模块,还用于在为所述后一帧保留所述当前帧的人脸识别的结果之后,每隔预定时长,重新执行所述对所述人脸区域进行人脸识别的步骤,刷新人脸识别的结果。13.根据权利要求8所述的装置,其中,所述控制模块包括:手势识别子模块,用于对所述视频流包括的图像中所述控制者的手部区域进行手势识别;操作控制子模块,用于当所述手势识别的结果与预先设定的目标手势匹配时,控制所述电子设备执行所述目标手势对应的操作。14.根据权利要求8所述的装置,其中,所述控制模块包括:位置获取子模块,用于从所述目标关节点的位置中获取所述控制者的手部区域的关节点位置;
手部运动识别子模块,用于根据所述视频流包括的图像中手部区域的关节点位置,确定所述控制者的手部的移动速度和移动方向;操作控制子模块,用于控制所述电子设备执行与所述手部的移动速度和移动方向对应的操作。15.一种电子设备,包括:至少一个处理器;以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。16.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1