一种基于单一RGB帧的实时三维手势估计方法与流程

本发明涉及手势估计领域，尤其是涉及了一种基于单一rgb帧的实时三维手势估计方法。

背景技术：

人手作为人体的重要部位之一，对人们在现实生活、工作和学习等各个方面都很重要。人手不仅仅在执行方面能够灵活地完成操作任务，在人际交流方面也起着辅助作用，如挥手、敬礼、邀请、牵手等动作，还可以作为感官来达到认知目的。基于自然人手的交互界面摒弃传统的键盘、鼠标等交互设备，转而利用摄像头、数据手套等设备作为交互工具，用自由灵活的人手进行控制，达到了以人为中心的现代人机交互的要求。手势的识别和估计作为虚拟现实中人与计算机互动的主要辅助手段，可以帮助人们在购物中完成试衣、下单、购买等任务；在智能家居领域，人们可以通过在摄像头前做出手势即可控制家具，也可以控制视频的快进、快退、暂停和播放；在游戏领域，根据手势完成各种动作，将大大提高用户的体验效果。除此之外，提高手势的识别和估计效率，将有利于手语识别的发展，使正常人与聋哑人的沟通更加便捷准确。然而，传统的手势估计方法容易受到手部快速移动、自遮挡的影响或在操作过程中受到来自其他物体遮挡的影响，检测敏感性和准确性都不高。

本发明提出了一种基于单一rgb帧的实时三维手势估计方法，先以彩色图像作为输入，然后使用手部检测器定位手部并产生一个似然估计值和手部边界框的坐标，接着运行预训练网络来估计手关节的二维位置，并产生手部2d关节位置的热点图，最后非线性平方最小化将手部的3d模型拟合到估计的2d关节位置，恢复3d手部姿态。本发明解决了手部快速移动、自遮挡或在操作过程中受到来自其他物体遮挡的影响，同时不需要初始化，实现了高质量的检测率，还可以拓展到其它人类三维姿势的检测应用中。

技术实现要素：

针对容易受到手部快速移动、自遮挡的影响或在操作过程中受到来自其他物体遮挡的影响等问题，本发明的目的在于提供一种基于单一rgb帧的实时三维手势估计方法，先以彩色图像作为输入，然后使用手部检测器定位手部并产生一个似然估计值和手部边界框的坐标，接着运行预训练网络来估计手关节的二维位置，并产生手部2d关节位置的热点图，最后非线性平方最小化将手部的3d模型拟合到估计的2d关节位置，恢复3d手部姿态。

为解决上述问题，本发明提供一种基于单一rgb帧的实时三维手势估计方法，其主要内容包括：

(一)2d关节估计；

(二)从2d关节到3d姿势。

其中，所述的实时三维手势估计方法，首先以彩色图像作为输入，使用最先进的探测器来定位手部；对于输入图像中的每一只手，手部检测器产生一个似然估计值和手部边界框的坐标，运行openpose(肢体语言识别系统)的预训练网络来估计手关节的二维位置，产生手部2d关节位置的热点图；最后，非线性平方最小化将手部的3d模型拟合到估计的2d关节位置，恢复3d手部姿态。

进一步地，所述的手部检测器，检测器原形是完全卷积结构，包含19个卷积层，并且最大的合并操作将288×288的输入图像缩小为7×7的分数图；通过使用批量标准化来加快和稳定训练过程，接着改进原检测器，除了双手之外，关于身体部位的额外信息可以作为区分左手和右手的简单方法，并为观察到的手部所进行的任务提供线索；同时创建一个数据集来训练检测器。

进一步地，所述的数据集，包含12个不同室内环境的项目，使用openpose自动注释帧；在训练网络之前，将数据集分成约12000帧的训练集和约1000帧的验证集；网络训练了20000次迭代；重新训练的网络在验证集上的检测率为92.8％，误报率为1.7％；给定一个输入图像，最终的检测器可以在恒定的时间内检测两个指定的类以及边界框。

其中，所述的2d关节估计，根据检测到的边界框裁剪图像，将其馈送到2d关键点检测器；由于关键点检测器仅在左手进行训练，通过沿着y轴镜像图像来处理右手；检测器的输出是21个热点图，对应于20个手关键点(每个手指四个)和一个手腕点的估计值。

其中，所述的从2d关节到3d姿势，包括手部模型、单相机视图和立体声或多路摄像机输入。

进一步地，所述的手部模型，具有26个自由度，由27个参数表示；手的全局平移和旋转需要6个自由度(dof)，由7个值编码，因为采用了四元数表示三维旋转；每个手指根部的关节使用两个dofs建模，其余的手指关节各需要一个dof；手指关节受到真实关节限制的约束；确定模型骨架上与2d联合检测器估计的关节位置相对应的关键点。

进一步地，所述的单相机视图，给定手部模型f的27个参数和正向运动学函数定义的手部姿态p，在坐标系中使用k^p＝f(p)计算联合关键点的3d位置；

通过应用相机视图矩阵cv和相机投影矩阵cp，将这些点转换成相机的坐标系，然后将它们投影到相机平面上：

其中，是关节i在像平面上的投影(xi，yi)；在使用单个视图/相机的情况下，可以选择将模型保持在相机框架中；在这种情况下，cv是单位矩阵；

令ji＝(ui，vi，pi)，i∈[1，21]表示21个检测到的2d手关节；(ui，vi)是输入图像上关节的二维坐标，pi是关节i的网络置信度，(pi∈[0，1])；为了避免在逆运动学(ik)步骤中的错误检测，不考虑具有低于实验确定的值p^th＝0.1的置信度pi的关节ji。

进一步地，所述的关节，对于一个给定的姿势p，量化观察到的关节ji和计算出的mi之间的差异s(p，mi，ji)：

类似地，观测和模型关节之间的总差异s(p，m，j)可以计算为：

可以通过最小化公式(3)的目标函数来估计与可用观测(观察到的2d关节)最相容的3d手姿态p^*：

这是通过使用列文伯格-马夸尔特优化器实现的，该优化器在残差自动分化之后使这个目标函数最小化。

进一步地，所述的立体声或多路摄像机输入，在3d关键点生成之后，使用相应的cv和cp将公式(1)分别应用于每个相机；这产生了每个摄像头的一组2d关键点，对应于由相应的摄像头图像上的openpose检测到的关键点；继续制定非线性最小二乘问题，定义并最小化所有视图中的二维残差之和：

其中，假定c为可用照相机的集合；实验结果表明，更多视图的可用性显著提高了手姿态估计的准确性，因为其为ik问题提供了额外的约束。

附图说明

图1是本发明一种基于单一rgb帧的实时三维手势估计方法的系统框架图。

图2是本发明一种基于单一rgb帧的实时三维手势估计方法的实时三维手势估计方法。

图3是本发明一种基于单一rgb帧的实时三维手势估计方法的关节。

图4是本发明一种基于单一rgb帧的实时三维手势估计方法的实例图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于单一rgb帧的实时三维手势估计方法的系统框架图。主要包括2d关节估计和从2d关节到3d姿势。

2d关节估计，根据检测到的边界框裁剪图像，将其馈送到2d关键点检测器；由于关键点检测器仅在左手进行训练，通过沿着y轴镜像图像来处理右手；检测器的输出是21个热点图，对应于20个手关键点(每个手指四个)和一个手腕点的估计值。

从2d关节到3d姿势包括手部模型、单相机视图和立体声或多路摄像机输入。

手部模型具有26个自由度，由27个参数表示；手的全局平移和旋转需要6个自由度(dof)，由7个值编码，因为采用了四元数表示三维旋转；每个手指根部的关节使用两个dofs建模，其余的手指关节各需要一个dof；手指关节受到真实关节限制的约束；确定模型骨架上与2d联合检测器估计的关节位置相对应的关键点。

单相机视图，给定手部模型f的27个参数和正向运动学函数定义的手部姿态p，在坐标系中使用k^p＝f(p)计算联合关键点的3d位置；

通过应用相机视图矩阵cv和相机投影矩阵cp，将这些点转换成相机的坐标系，然后将它们投影到相机平面上：

其中，是关节i在像平面上的投影(xi，yi)；在使用单个视图/相机的情况下，可以选择将模型保持在相机框架中；在这种情况下，cv是单位矩阵；

令ji＝(ui，vi，pi)，i∈[1，21]表示21个检测到的2d手关节；(ui，vi)是输入图像上关节的二维坐标，pi是关节i的网络置信度，(pi∈[0，1])；为了避免在逆运动学(ik)步骤中的错误检测，不考虑具有低于实验确定的值p^th＝0.1的置信度pi的关节ji。

立体声或多路摄像机输入，在3d关键点生成之后，使用相应的cv和cp将公式(1)分别应用于每个相机；这产生了每个摄像头的一组2d关键点，对应于由相应的摄像头图像上的openpose检测到的关键点；继续制定非线性最小二乘问题，定义并最小化所有视图中的二维残差之和：

其中，假定c为可用照相机的集合；实验结果表明，更多视图的可用性显著提高了手姿态估计的准确性，因为其为ik问题提供了额外的约束。

图2是本发明一种基于单一rgb帧的实时三维手势估计方法的实时三维手势估计方法。首先以彩色图像作为输入，使用最先进的探测器来定位手部；对于输入图像中的每一只手，手部检测器产生一个似然估计值和手部边界框的坐标，运行openpose(肢体语言识别系统)的预训练网络来估计手关节的二维位置，产生手部2d关节位置的热点图；最后，非线性平方最小化将手部的3d模型拟合到估计的2d关节位置，恢复3d手部姿态。

手部检测器原形是完全卷积结构，包含19个卷积层，并且最大的合并操作将288×288的输入图像缩小为7×7的分数图；通过使用批量标准化来加快和稳定训练过程，接着改进原检测器，除了双手之外，关于身体部位的额外信息可以作为区分左手和右手的简单方法，并为观察到的手部所进行的任务提供线索；同时创建一个数据集来训练检测器。

数据集包含12个不同室内环境的项目，使用openpose自动注释帧；在训练网络之前，将数据集分成约12000帧的训练集和约1000帧的验证集；网络训练了20000次迭代；重新训练的网络在验证集上的检测率为92.8％，误报率为1.7％；给定一个输入图像，最终的检测器可以在恒定的时间内检测两个指定的类以及边界框。

图3是本发明一种基于单一rgb帧的实时三维手势估计方法的关节。对于一个给定的姿势p，量化观察到的关节ji和计算出的mi之间的差异s(p，mi，ji)：

类似地，观测和模型关节之间的总差异s(p，m，j)可以计算为：

可以通过最小化公式(4)的目标函数来估计与可用观测(观察到的2d关节)最相容的3d手姿态p^*：

这是通过使用列文伯格-马夸尔特优化器实现的，该优化器在残差自动分化之后使这个目标函数最小化。

图4是本发明一种基于单一rgb帧的实时三维手势估计方法的实例图。如图所示为一些简单的手势动作，通过本方法即可实现有效准确的识别和估计。手势的识别和估计作为虚拟现实中人与计算机互动的主要辅助手段，可以帮助人们在购物中完成试衣、下单、购买等任务；在智能家居领域，人们可以通过在摄像头前做出手势即可控制家具，也可以控制视频的快进、快退、暂停和播放；在游戏领域，根据手势完成各种动作，将大大提高用户的体验效果。除此之外，提高手势的识别和估计效率，将有利于手语识别的发展，使正常人与聋哑人的沟通更加便捷准确。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。