一种机器人头部手势控制方法及系统与流程

文档序号:11322795阅读:244来源:国知局
一种机器人头部手势控制方法及系统与流程

本发明涉及机器双目视觉技术领域和医疗设备技术领域,特别是涉及一种机器人头部手势控制方法及系统。



背景技术:

随着社会的发展,越来越多的人受到颈椎病的困扰。目前采用的颈椎病的治疗方法主要是保守治疗,其中中医旋转类手法作为一种操作简单、见效快的治疗方法被广泛采用。中医旋转类手法可以分为自定位、预加载、快速动作、恢复四个步骤,以右侧旋转类手法为例:患者端坐位,颈部自然放松,医者采用按法、揉法、滚法等手法放松颈部软组织5-10min;让患者头部主动水平旋转至极限角度,最大屈曲后再旋转,达到固定感;医生以肘部托患者下颌,轻轻向上牵引3-5s;让患者放松肌肉,肘部用短力快速向上提拉;操作成功后可以听到一声或多声弹响;应用提、拿等手法再次将颈部肌肉放松。

在临床操作的自定位步骤中,患者首先需要跟随医生的手势来转动头部,以达到自身的生理极限角度,然后在该角度位置进行中医旋转类手法治疗。然而患者的头颈部是比较脆弱的地方,在中医旋转类手法治疗过程中,需要医生能够进行力度和位置准确的按摩治疗,因此需要医生进行大量的中医旋转类手法练习。目前中医旋转类手法培训中采用机器人来模拟颈椎病人以为医生提供练习平台,但是控制机器人采用的方法主要为使用遥控器遥控操作,采用遥控器控制机器人的头部转到需要的位置。然而在临床实际操作中,患者是需要跟随医生的手势来转动头部,以达到自身的生理极限角度的,因此采用遥控器控制机器人的头部转到需要位置的办法在临床应用中不能模拟实际的医患之间的交互操作。



技术实现要素:

本发明的目的是提供一种机器人头部手势控制方法及系统,使机器人可以根据被测人员的手势进行动作,真实模拟实际的医患之间的交互操作,以为医生提供练习平台。

为实现上述目的,本发明提供了如下方案:

一种机器人头部手势控制方法,所述方法包括:

识别被测人员手部的手势形状,获得所述手势形状识别结果;所述手势形状识别结果包括第一手势形状、第二手势形状和第三手势形状;

当所述手势形状识别结果为所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作;

当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,所述机器人跟踪所述被测人员的手部动作进行头部旋转运动;

当所述手势形状识别结果为所述第三手势形状时,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。

可选的,所述识别被测人员手部的手势形状,获得所述手势形状识别结果,具体包括:

获取所述被测人员手部的彩色图像和深度图像;

根据所述彩色图像和所述深度图像得到手势前景图;

根据所述手势前景图识别出所述被测人员的手势形状,获得所述手势形状识别结果。

可选的,所述根据所述彩色图像和所述深度图像得到手势前景图,具体包括:

采用阈值分割算法对所述深度图像进行处理,提取灰度值在设定范围内的图像区域作为前景区域;

根据所述前景区域在所述彩色图像中的对应位置获得所述前景区域的彩色图像;

根据肤色特征建立直方图;

将所述前景区域的彩色图像转换到对应的颜色空间;

根据所述直方图在所述颜色空间内进行反向投影得到概率图;

采用形态学腐蚀膨胀算法和阈值分割算法对所述概率图进行去噪处理,得到所述手势前景图。

可选的,所述根据所述手势前景图识别出所述被测人员的手势形状,获得所述手势形状识别结果,具体包括:

计算所述手势前景图的特征向量;

使用支持向量机对所述特征向量进行分类,获得手势分类结果;

根据所述手势分类结果识别出所述被测人员手部的手势形状,获得所述手势形状识别结果。

可选的,所述当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,所述机器人跟踪所述被测人员的手部动作进行头部旋转运动,具体包括:

根据所述概率图确定所述机器人头部的旋转方向;

根据所述概率图计算所述机器人头部的水平旋转速度和竖直旋转速度;

根据所述旋转方向、所述水平旋转速度和所述竖直旋转速度控制所述机器人头部按照所述旋转方向和所述水平旋转速度进行水平旋转,按照所述旋转方向和所述竖直旋转速度进行竖直旋转。

本发明还公开了一种机器人头部手势控制系统,所述系统包括:

手势形状识别结果获取模块,用于识别被测人员手部的手势形状,获得所述手势形状识别结果;所述手势形状识别结果包括第一手势形状、第二手势形状和第三手势形状;

第一手势形状控制模块,用于当所述手势形状识别结果为所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作;

第二手势形状控制模块,用于当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,控制所述机器人跟踪所述被测人员的手部动作进行头部旋转运动;

第三手势形状控制模块,用于当所述手势形状识别结果为所述第三手势形状时,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。

可选的,所述手势形状识别结果获取模块具体包括:

图像获取子模块,用于获取所述被测人员手部的彩色图像和深度图像;

手势前景图获取子模块,用于根据所述彩色图像和所述深度图像得到手势前景图;

手势形状识别结果获取子模块,用于根据所述手势前景图识别出所述被测人员的手势形状,获得所述手势形状识别结果。

可选的,所述手势前景图获取子模块具体包括:

前景区域提取单元,用于采用阈值分割算法对所述深度图像进行处理,提取灰度值在设定范围内的图像区域作为前景区域;

前景彩色图像获取单元,用于根据所述前景区域在所述彩色图像中的对应位置获得所述前景区域的彩色图像;

直方图建立单元,用于根据肤色特征建立直方图;

图像转换单元,用于将所述前景区域的彩色图像转换到对应的颜色空间;

概率图获取单元,用于根据所述直方图在所述颜色空间内进行反向投影得到概率图;

手势前景图获取单元,用于采用形态学腐蚀膨胀算法和阈值分割算法对所述概率图进行去噪处理,得到所述手势前景图。

可选的,所述手势形状识别结果获取子模块具体包括:

特征向量计算单元,用于计算所述手势前景图的特征向量;

手势分类结果获取单元,用于使用支持向量机对所述特征向量进行分类,获得手势分类结果;

手势形状识别结果获取单元,用于根据所述手势分类结果识别出所述被测人员手部的手势形状,获得所述手势形状识别结果。

可选的,所述第二手势形状控制模块具体包括:

旋转方向获取子模块,用于根据所述概率图确定所述机器人头部的旋转方向;

旋转速度计算子模块,用于根据所述概率图计算所述机器人头部的水平旋转速度和竖直旋转速度;

旋转运动控制子模块,用于根据所述旋转方向、所述水平旋转速度和所述竖直旋转速度控制所述机器人头部按照所述旋转方向和所述水平旋转速度进行水平旋转,按照所述旋转方向和所述竖直旋转速度进行竖直旋转。

根据本发明提供的具体实施例,本发明公开了以下技术效果:

本发明提供了一种机器人头部手势控制方法及系统。所述方法首先识别被测人员手部的手势形状,获得所述手势形状识别结果;所述手势形状识别结果包括第一手势形状、第二手势形状和第三手势形状;当所述手势形状识别结果为所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作;当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,所述机器人跟踪所述被测人员的手部动作进行头部旋转运动;当所述手势形状识别结果为所述第三手势形状时,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。所述方法及系统通过被测人员的不同手势来控制机器人进行相应的动作,能够真实模拟实际的医患之间的交互操作,为医生提供了良好有效的中医旋转类手法练习平台。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例机器人头部手势控制方法的方法流程图;

图2为本发明实施例所述手势形状识别结果的示意图;

图3为本发明所述状态空间和所述稳态空间坐标系的示意图;

图4为采用本发明所述的机器人头部手势控制方法控制机器人头部运动的示意图;

图5为本发明实施例机器人头部手势控制系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的目的是提供一种机器人头部手势控制方法及系统。

为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明实施例机器人头部手势控制方法的方法流程图。

参见图1,一种机器人头部手势控制方法,包括:

步骤101:识别被测人员手部的手势形状,获得所述手势形状识别结果。所述手势形状识别结果包括第一手势形状、第二手势形状和第三手势形状。

步骤101中,所述识别被测人员手部的手势形状,获得所述手势形状识别结果,具体包括:

步骤1011:获取所述被测人员手部的彩色图像和深度图像。

所述彩色图像和所述深度图像通过固定于机器人头部的图像传感器拍摄获得。所述图像传感器为微软公司的kinect。

步骤1012:根据所述彩色图像和所述深度图像得到手势前景图。

所述步骤1012具体包括:

步骤(1):采用阈值分割算法对所述深度图像进行处理,提取灰度值在设定范围内的图像区域作为前景区域。

此处所得的所述深度图像的明暗代表当前像素点所代表物体距离镜头的远近,假设镜头内存在一个柜子距离镜头5米,一个平举手的人距离镜头3米,其中人的手距离镜头2.5米,那么在得到的所述深度图像中显示的就是一个较暗的柜子的形状的斑块,一个较亮的人体的形状的斑块,在此人体斑块上还有一个手形状的更亮的斑块(因为手较人体来说距离镜头更近),那么按照明暗(灰度值)设置阈值就能分割出不同距离的物体。本实施例中采用阈值分割算法对所述深度图像进行处理,提取灰度值在设定范围内的图像区域作为前景区域,就是为了在图像背景中分割出手部区域。具体方法为:遍历所述深度图像,将灰度值处于设定范围内的像素亮度保留,处于设定范围外的像素置为0,这样就可以将所述前景区域从整幅所述深度图像内分割出来。

步骤(2):根据所述前景区域在所述彩色图像中的对应位置获得所述前景区域的彩色图像。

所述前景区域就是所述被测人员手部的图像区域,提取灰度值在设定范围内的图像区域作为前景区域后,根据所述前景区域在所述深度图像中的位置,对照着所述彩色图像中相同的区域就能得到所述前景区域的彩色图像。然后再按照肤色分割图像,去除其他不是肤色的物体(比如接近手部的衣物等),就能够获得所述手势前景图。

步骤(3):根据肤色特征建立直方图。

所述肤色特征就是人体肤色所具有的特征,所述肤色特征可以从多处获取,本实施例所述的方法中,是通过提前选取所述被测人员手部的图片,然后对所述手部的肤色进行统计得到所述肤色特征,然后与应用场景内的相似特征进行比较,加以一定的计算以互相区别,从而得到的特异性的所述肤色特征。

本实施例中所述直方图采用的是cr-cb的二维直方图。首先建立一个50×50的二维直方图,统计落入所述二维直方图中各个区块的像素点的个数,建立所述肤色特征的所述二维直方图。同理,再统计获得所述前景区域的彩色图像中当前场景的二维直方图,对比场景与肤色的直方图的差异,将肤色直方图内较为显著的特征留下,易于背景混淆的特征删除,就得到了最后的所述直方图,对所述直方图进行归一化,使其范围落到0-255之间。

步骤(4):将所述前景区域的彩色图像转换到对应的颜色空间。

所述肤色特征在不同颜色空间下具有不同的表现形式,本实施例中使用的所述颜色空间是ycrcb颜色空间。

步骤(5):根据所述直方图在所述颜色空间内进行反向投影得到概率图。

在前面建立的所述直方图中,对某点来说,横坐标是cr的值,纵坐标是cb的值,该点的值代表具有cr、cb值的像素点的个数(归一化后可以认为是频率),在所述彩色图像内再次遍历全图,对任一像素点,针对该点的cr、cb值查询在所述直方图内对应的频率,将该频率作为该点的亮度,进而得到所述概率图,在所述概率图中某像素点的明暗程度代表该点是所述被测人员手部皮肤的概率大小,该点越亮,所述概率越大。

步骤(6):采用形态学腐蚀膨胀算法和阈值分割算法对所述概率图进行去噪处理,得到所述手势前景图。

采用形态学腐蚀膨胀算法和阈值分割算法对所述概率图进行处理,去除所述概率图中的噪声影响,得到所述手势前景图,所述手势前景图为一幅黑白灰度图像。

步骤1013:根据所述手势前景图识别出所述被测人员的手势形状,获得所述手势形状识别结果。

所述步骤1013具体包括:

步骤①:计算所述手势前景图的特征向量。

计算所述手势前景图的几何不变矩(hu矩)特征,计算所述手势前景图中所述手部的指尖数目,计算所述手势前景图的周长与面积之比。

将所述hu矩特征、所述指尖个数和所述周长与面积之比拼接为一个行向量作为当前所述手势前景图的所述特征向量。例如计算得到的所述hu特征为[0.8,0.1,0.01,0,0,0,0],所述指尖数目计算为3,所述周长与面积之比为0.02,那么拼接得到的所述特征向量就是[0.8,0.1,0.01,0,0,0,0,3,0.02]。

步骤②:使用支持向量机对所述特征向量进行分类,获得手势分类结果。

使用已经训练完成的分类器对所述特征向量进行分类,比如使用所述支持向量机算法训练分类器,然后使用所述分类器对所述特征向量进行分类,获得所述手势分类结果。

步骤③:根据所述手势分类结果识别出所述被测人员手部的手势形状,获得所述手势形状识别结果。

图2为本发明实施例所述手势形状识别结果的示意图。本发明所述的手势形状识别结果包括三种手势形状,分别为第一手势形状、第二手势形状和第三手势形状。其中,第一手势形状用于表示触发所述机器人准备开始跟踪,第二手势形状用于表示所述机器人开始跟踪所述被测人员的手势进行头部旋转运动,第三手势形状用于表示跟踪停止。参见图2,本实施例中,采用图2(a)所示的手势形状作为所述第一手势形状,采用图2(b)所示的手势形状作为所述第二手势形状,采用图2(c)所示的手势形状作为所述第三手势形状。在实际应用中,可以根据需要设置不同的所述手势形状作为所述第一、第二和第三手势形状。

步骤102:当所述手势形状识别结果为所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作。

当所述手势形状识别结果为图2(a)所示的所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作。所述跟踪标志位是对所述机器人运动的一种保护设置,机器人进行旋转运动前都会检测所述跟踪标志位是否置位,若无置位,所述机器人不会执行运动指令,即不会跟踪所述被测人员的手部动作进行旋转运动。

步骤103:当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,所述机器人跟踪所述被测人员的手部动作进行头部旋转运动。

当所述手势形状识别结果为图2(b)所示的所述第二手势形状且所述跟踪标志位已被置位时,所述机器人开始跟踪所述被测人员的手部动作进行头部旋转运动。通过对所述概率图进行计算可得到当前所述手势形状在所述彩色图像中的坐标,再对所述手势形状的图像坐标进行计算可以得到机器人各个关节的运动速度。

所述机器人是面向中医旋转类手法培训的培训机器人,所述机器人用来模拟颈椎病人以为医生提供练习平台。所述培训机器人头颈部具有两个关节,其中第一关节可以水平旋转,第二关节可以竖直旋转,并且具有一种变刚度的结构模拟人体颈椎。

步骤103具体包括:

步骤1031:根据所述概率图确定所述机器人头部的旋转方向。

首先,在所述概率图内定义任一点的坐标为(x,y),(x,y)点的灰度值为p(x,y),所述概率图的p+q阶几何矩为:

则:

m00=∑p(x,y)(2)

m10=∑xp(x,y)(3)

m01=∑yp(x,y)(4)

所述第二手势形状在所述概率图内的重心pc(xc,yc)为:

其中,xc表示所述重心的x坐标,yc表示所述重心的y坐标。

定义当前图像平面为图像的状态空间,所述图像平面为根据所述图像传感器分辨率定义的平面,所述图像和所述图像平面与所述图像传感器的分辨率相同,比如当采用的所述图像传感器分辨率为1440×900时,所述图像平面和所述图像的分辨率大小也为1440×900。则当前的所述状态空间为:

x=(xc,yc)t(7)

在所述状态空间内定义稳态空间为ωs,

其中,uw表示所述状态空间的宽度,β表示比例系数,且β为取值小于二分之一的正数,vh表示所述状态空间的高度。

根据所述概率图计算当前所述第二手势形状在所述状态空间中的坐标。根据所述坐标与所述稳态空间边界之间的相对位置关系,确定所述机器人头部的旋转方向。

图3为本发明所述状态空间和所述稳态空间坐标系的示意图。如图3所示,u0,u1,v0,v1分别表示所述稳态空间ωs的左、右、上、下边界。当所述第二手势形状在所述状态空间中的水平坐标位于所述稳态空间左边界的左边,即所述水平坐标的值小于u0时,确定所述机器人头部顺时针旋转;当所述水平坐标大于u1时,确定所述机器人头部逆时针旋转。也可以当所述水平坐标的值小于u0时,确定所述机器人头部逆时针旋转;当所述水平坐标大于u1时,确定所述机器人头部顺时针旋转。当所述标志物在所述状态空间中的竖直坐标的值小于v0时,确定所述机器人头部向低头方向旋转;当所述水平坐标大于v1时,确定所述机器人头部向抬头方向旋转;或当所述竖直坐标的值小于v0时,确定所述机器人头部向抬头方向旋转;当所述水平坐标大于v1时,确定所述机器人头部向低头方向旋转。

步骤1032:根据所述概率图计算所述机器人头部的水平旋转速度和竖直旋转速度。

根据当前所述第二手势形状在所述状态空间中的坐标位置与所述稳态空间边界的位置计算位置误差,计算所述位置误差就是把所述第二手势形状的所述当前状态空间与所述稳态空间最临近的边界作差。

根据所述状态空间和所述稳态空间,计算当前的所述位置误差,所述位置误差e的计算公式如下:

其中,r表示所述稳态空间边界的转换公式,其中a、b、c、d的取值分别为:

其中,c是一个列向量,表示所述稳态空间的边界,u0表示所述稳态空间ωs的边界,u1分别表示所述稳态空间ωs的右边界,v0分别表示所述稳态空间ωs的上边界,v1分别表示所述稳态空间ωs的下边界。

其中,x表示当前的所述状态空间,x=(xc,yc)t

根据所述位置误差e计算控制所述机器人头部旋转速度的输入ut,

ut=ke(14)

其中,k表示尺度缩放系数,用于进行所述位置误差的尺度缩放,其中ηu,ηv表示比例系数,所述ηu、ηv是两个常数。

为了使所述机器人的旋转运动更加平稳,对所述位置误差求取符号函数,即:

其中,eu表示所述位置误差在图像水平方向的误差,ev表示所述位置误差在图像竖直方向的误差,表示所述图像水平方向的速度,表示所述图像竖直方向的速度。

利用图像雅可比矩阵计算得到所述机器人末端的运行速度wx和wy,计算公式如下:

其中,ωx表示所述机器人头部的绕图像横轴旋转的旋转速度,也就是所述机器人头部的竖直旋转速度;ωy表示所述机器人头部的绕图像纵轴旋转的旋转速度,也就是所述机器人头部的水平旋转速度;(up,vp)为所述图像传感器的图像坐标系主点;λ表示所述图像传感器焦距转换成像素的长度;u表示所述第二手势形状在所述概率图上的行坐标,v表示所述第二手势形状在所述概率图上的列坐标;js表示图像雅可比矩阵,

所述的机器人是面向中医旋转类手法培训的培训机器人,所述的机器人用来模拟颈椎病人以为医生提供练习平台。所述的机器人为两关节机器人,所述机器人的头颈部具有两个关节,其中第一关节可以水平旋转,第二关节可以竖直旋转,并且使用一种变刚度的结构模拟人体颈椎。

步骤1033:根据所述旋转方向、所述竖直旋转速度ωx和所述水平旋转速度ωy控制所述机器人头部按照所述旋转方向和所述水平旋转速度进行水平旋转,按照所述旋转方向和所述竖直旋转速度进行竖直旋转。当所述旋转方向表示顺时针旋转时,控制所述第一关节按照所述水平旋转速度进行顺时针旋转,当所述旋转方向表示逆时针旋转时,控制所述第一关节按照所述水平旋转速度进行逆时针旋转,即控制所述机器人头部的左右转动。同时当所述旋转方向表示向低头方向旋转时,控制所述第二关节按照所述竖直旋转速度向所述低头方向旋转,当所述旋转方向表示向抬头方向旋转时,控制所述第二关节按照所述竖直旋转速度向所述抬头方向旋转,即控制所述机器人头部的上下转动。

步骤104:当所述手势形状识别结果为所述第三手势形状时,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。

当所述机器人头部旋转到练习所需的位置时,操作人员将手势更换为图2(c)所示的第三手势形状。此时所述手势形状识别结果为所述第三手势形状,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。即,所述机器人头部跟踪所述第二手势形状旋转到所需位置后,静止固定在了练习所需位置。

图4为采用本发明所述的机器人头部手势控制方法控制机器人头部运动的示意图。如图4所示,所述被测人员手部401置于所述图像传感器402的前方,根据旋转位置需要作出如图(2)所示的三种手势形状。所述机器人头部具有所述第一关节403和所述第二关节404。

当所述被测人员手部做出如图2(a)所示的所述第一手势形状时,此时所述手势形状识别结果为所述第一手势形状,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作。

接下来当所述被测人员手部做出如图2(b)所示的所述第二手势形状时,此时所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,所述机器人开始跟踪所述被测人员的手部动作进行头部旋转运动。根据计算出的所述旋转方向、所述竖直旋转速度ωx和所述水平旋转速度ωy,控制所述机器人头部的所述第一关节403按照所述旋转方向和所述水平旋转速度进行水平旋转,当所述旋转方向表示顺时针旋转时,控制所述第一关节403按照所述水平旋转速度进行顺时针旋转,当所述旋转方向表示逆时针旋转时,控制所述第一关节403按照所述水平旋转速度进行逆时针旋转,即控制所述机器人头部的左右转动。同时控制所述机器人头部的所述第二关节404按照所述旋转方向和所述竖直旋转速度进行竖直旋转,当所述旋转方向表示向低头方向旋转时,控制所述第二关节404按照所述竖直旋转速度向所述低头方向旋转,当所述旋转方向表示向抬头方向旋转时,控制所述第二关节404按照所述竖直旋转速度向所述抬头方向旋转,即控制所述机器人头部的上下转动。

当所述机器人头部旋转到练习所需的位置时,所述被测人员(操作者)将手势更换为图2(c)所示的第三手势形状。此时所述手势形状识别结果为所述第三手势形状,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。最终使机器人跟踪被测人员的所述第二手势形状运动至了练习需要的角度和位置,能够真实模拟实际的医患之间的交互操作,为医生提供治疗手法的练习平台。

图5为本发明实施例机器人头部手势控制系统的结构示意图。

如图5所示,所述机器人头部手势控制系统,包括:

手势形状识别结果获取模块501,用于识别被测人员手部的手势形状,获得所述手势形状识别结果;所述手势形状识别结果包括第一手势形状、第二手势形状和第三手势形状;

第一手势形状控制模块502,用于当所述手势形状识别结果为所述第一手势形状时,将所述机器人中设置的跟踪标志位置位,触发所述机器人进入跟踪准备状态,准备开始跟踪所述被测人员的手部动作;

第二手势形状控制模块503,用于当所述手势形状识别结果为所述第二手势形状且所述跟踪标志位已被置位时,控制所述机器人跟踪所述被测人员的手部动作进行头部旋转运动;

第三手势形状控制模块504,用于当所述手势形状识别结果为所述第三手势形状时,将所述跟踪标志位清零,停止所述机器人的所述头部旋转运动,所述机器人头部固定于停止位置。

其中,所述手势形状识别结果获取模块501具体包括:

图像获取子模块,用于获取所述被测人员手部的彩色图像和深度图像;

手势前景图获取子模块,用于根据所述彩色图像和所述深度图像得到手势前景图;

手势形状识别结果获取子模块,用于根据所述手势前景图识别出所述被测人员的手势形状,获得所述手势形状识别结果。

其中,所述手势前景图获取子模块具体包括:

前景区域提取单元,用于采用阈值分割算法对所述深度图像进行处理,提取灰度值在设定范围内的图像区域作为前景区域;

前景彩色图像获取单元,用于根据所述前景区域在所述彩色图像中的对应位置获得所述前景区域的彩色图像;

直方图建立单元,用于根据肤色特征建立直方图;

图像转换单元,用于将所述前景区域的彩色图像转换到对应的颜色空间;

概率图获取单元,用于根据所述直方图在所述颜色空间内进行反向投影得到概率图;

手势前景图获取单元,用于采用形态学腐蚀膨胀算法和阈值分割算法对所述概率图进行去噪处理,得到所述手势前景图。

其中,所述手势形状识别结果获取子模块具体包括:

特征向量计算单元,用于计算所述手势前景图的特征向量;

手势分类结果获取单元,用于使用支持向量机对所述特征向量进行分类,获得手势分类结果;

手势形状识别结果获取单元,用于根据所述手势分类结果识别出所述被测人员手部的手势形状,获得所述手势形状识别结果。

其中,所述第二手势形状控制模块503具体包括:

旋转方向获取子模块,用于根据所述概率图确定所述机器人头部的旋转方向;

旋转速度计算子模块,用于根据所述概率图计算所述机器人头部的水平旋转速度和竖直旋转速度;

旋转运动控制子模块,用于根据所述旋转方向、所述水平旋转速度和所述竖直旋转速度控制所述机器人头部按照所述旋转方向和所述水平旋转速度进行水平旋转,按照所述旋转方向和所述竖直旋转速度进行竖直旋转。

本发明所述的机器人头部手势控制系统,可以根据被测人员手部的手势形状控制机器人头部的旋转和停止,使所述机器人头部运动至练习需要的角度和位置,能够真实模拟实际的医患之间的交互操作,为医生提供治疗手法的练习平台。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1