便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法与流程

文档序号:22835051发布日期:2020-11-06 16:27阅读:来源:国知局

技术特征:

1.一种便携式的特定区域内运动训练辅助视觉伺服机器人系统,其特征在于,包括

机器人:包括至少两个协同工作用于拍摄视频画面的摄像头、用于调整机器人拍摄角度使追踪目标能时刻出现在拍摄的视频画面中的舵机、以及在视频画面上追踪运动目标并给予舵机反馈信号控制舵机运动的追踪器;

姿态评估模块:设置在pc内,用于提取机器人端采集的视频帧中所有人体的二维姿态,并将其转换成三维人体姿态,然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对,生成相应的相似度分数,并基于该分数输出姿态评估结果。

2.根据权利要求1所述的一种便携式的特定区域内运动训练辅助视觉伺服机器人系统,其特征在于,所述追踪器包括:

追踪注意力单元:追踪运动目标并给予舵机反馈信号;

控制单元:接受反馈信号并根据控制信号驱动舵机运动。

3.一种权利要求1所述机器人系统的姿态评估方法,其特征在于,包括:

姿态采集步骤:摄像头实时采集用户的运动视频图像;

姿态追踪步骤:追踪器追踪视频帧中的用户目标,并以目标的中心作为注意力焦点,保留其设定范围内的空间信息,去除其它空间信息;

追踪反馈步骤:追踪器根据姿态追踪的结果提供反馈信号给舵机,并控制舵机的角度使摄像头保持拍摄到用户目标的运动视频图像;

姿态评估步骤:空间注意力单元提取姿态采集步骤采集的视频帧中所有人体的二维姿态,并将其转换成三维人体姿态,然后将标准的三维人体姿态与视频帧中的三维人体姿态进行比对,生成相应的相似度分数,并基于该分数输出姿态评估结果。

4.根据权利要求3所述的姿态评估方法,其特征在于,姿态追踪步骤包括:定义一个空间阈值函数,空间阈值函数能够以注意力焦点为中心,将一定范围内的图像像素值设置为1,其它像素值则设置为0,然后将其与原图像进行逐像素相乘,进而保留注意力焦点一定范围内的空间信息,并去除其它空间信息,具体为:

步骤3.1、用户选择需要进行追踪的运动目标,以完成对追踪器的初始化;

步骤3.2、追踪器在摄像头获取到的视频帧中对用户选定的运动目标进行追踪,并返回运动目标中心的坐标值;

步骤3.3、以运动目标中心作为注意力焦点,并以其为中心将一定范围作为注意力聚焦区域;聚焦区域内图像像素值设置为1,区域外的像素值设置为0,并返回处理后的二值图像作为注意力滤波器;

步骤3.4、将注意力滤波器与其原图像进行逐像素相乘,并返回处理后的结果图像,若此时摄像头仍开启则转到步骤3.2,否则该算法结束。

5.根据权利要求4所述的姿态评估方法,其特征在于,姿态评估步骤中,采用三维姿态估计算法,三维姿态估计算法采用了videopose3d算法,该算法将从二维姿态序列中等间隔抽取三组二维姿态帧,每组姿态帧中含有三张二维姿态帧,利用这三组姿态帧合成一张三维姿态帧,具体包括:

步骤4.1、对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计,提取视频帧中的所有二维人体姿态,生成两个二维人体姿态序列;

步骤4.2、使用二维姿态转换为三维姿态的算法,将二维人体姿态序列转换为三维人体姿态序列;

步骤4.3、对两组三维人体姿态序列进行关键帧匹配,使进行比对的两组三维姿态的序列长度相同;

步骤4.4、逐帧计算两组三维姿态序列的余弦相似度,并对所有余弦相似度取平均值,以此为依据返回最终的比对结果。

6.根据权利要求3所述的姿态评估方法,其特征在于,所述空间阈值函数具体为:

在步骤3.1中,用户在摄像头拍摄到的第一帧图像中用矩形框选择需要追踪的目标,然后系统用户选择的宽度为w,长度为h,通道数为c的目标图像输入到追踪器中,以初始化追踪器;

在步骤3.2中,追踪器根据用户选择的目标图像,在摄像头后续输入的视频帧中目标所在的位置生成追踪矩形框,并返回追踪矩形框的中心点坐标值p=(xfocus,yfocus);中心点坐标值将在步骤3.3中用于生成注意力滤波器;

在步骤3.3中,定义输入图像的左上角是像素坐标系的原点,x轴从左至右为正方向,y轴从上到下为正方向,那么使用以下公式来定义注意力聚焦区域的四个角点:

式中w′和h′分别是注意力聚焦区域的宽度和高度;这两个数值可以由用户设置,默认数值设置为输入视频帧宽度和高度的一半;接着通过一个空间阈值函数来设置滤波器m的参数:

式中(i,j)表示输入图像的二维像素坐标,c表示输入图像的通道索引值;

在步骤3.4中,将视频帧和步骤3.3中得到的注意力滤波器进行逐像素相乘,生成结果图像。

7.根据权利要求3所述的姿态评估方法,其特征在于,所述步骤4.1具体包括:使用openpose算法对需要比对的姿态所在的视频以及标准姿态所在的视频中所有视频帧进行二维姿态估计,分别生成两个二维姿态序列其中l2d表示需要比对的二维姿态序列,表示单个需要比对的二维姿态,r2d表示标准的二维姿态序列,表示单个标准的二维姿态。

8.根据权利要求3所述的姿态评估方法,其特征在于,所述步骤4.2具体包括:使用videopose3d算法,从二维姿态序列l2d和r2d中等间隔抽取三组二维姿态帧,每组姿态帧中含有三张二维姿态帧,利用这三组姿态帧合成一张三维姿态帧,将所有三维姿态帧汇总得到两个三维姿态序列其中l3d表示需要比对的三维姿态序列,表示单个需要比对的三维姿态,r3d表示标准的三维姿态序列,表示单个标准的三维姿态。

9.根据权利要求3所述的姿态评估方法,其特征在于,所述步骤4.3具体包括:

使用动态时间规整的方法实现关键帧匹配;定义生成的关键帧匹配路径序列为w=(ω1,ω2,...,ωk),将三维姿态中0号点、7号点以及8号点的欧氏距离的算术平均值索作为距离函数;l3d和r3d这两个序列的长度不相同,序列l3d和r3d在ωt=(i,j)中的距离为d(i,j),从(0,0)到(i,j)的累计距离为d(i,j),则有:

d(i,j)=d(i,j)+min{d(i-1,j-1),d(i-1,j),d(i,j-1)}

每一个关键帧均将l3d和r3d这两个序列中顺序且距离最短的三维姿态帧匹配,将所有关键帧汇总得到关键帧匹配路径序列w,该序列的累计距离为d,其中,三维姿态中0号点、7号点以及8号点分别表示:人体的骨盆、脊柱以及胸部所在位置。

10.根据权利要求3所述的姿态评估方法,其特征在于,所述步骤4.4具体包括:

选取包括头部、左上臂等关节运动姿态,将图3所示三维姿态的特定骨骼点坐标coor相减得到相对应的特征向量v,并将特定的特征向量相乘得到特征平面对应特征向量,将13个特征向量汇总得到图5所示的特征向量列表;在选取特征向量后,要基于余弦相似度对各个部位进行比较;相似度的计算公式如下:

式中分别代表待测姿态和标准姿态中的第i个特征向量;将计算得到的13个特征向量相似度求和取平均得到单个三维姿态的相似度;按照相同的方法根据关键帧匹配路径序列w对两个三维姿态序列l3d和r3d中的三维姿态进行索引和处理,可以得到长度与关键帧匹配路径序列w相同的相似度序列s=(simi1,simi2,...,simik),并将序列中所有相似度相加取平均得到的值作为两个姿态序列的最终比较结果;结果的取值范围为[-1,1],结果的数值越接近1,待测姿态与标准姿态越相似,待测姿态越标准;默认设置中将最终比较结果数值高于0.6的姿态序列评价为“优秀”,低于0.6的姿态序列评价为“一般”。


技术总结
本发明属于图像分析和运动控制技术领域,具体涉及一种便携式的特定区域内运动辅助视觉伺服机器人系统及姿态评估方法,主要实现了对运动目标的追踪拍摄以及姿态评估的功能。它通过摄像头获取图像,利用软件算法对目标进行持续追踪,并使用舵机来调节拍摄角度,以实现对运动目标的追踪拍摄。此外,它能从拍摄画面中提取运动目标的姿态,将其与标准姿态进行比对和评估,从而实现运动训练辅助的功能。

技术研发人员:郭迟;胡建朗;刘敏豪
受保护的技术使用者:武汉大学
技术研发日:2020.07.28
技术公布日:2020.11.06
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1