一种基于三维手势重建的空中手写交互方法、存储介质以及装置

本发明属于人机交互和计算机视觉领域，特别涉及一种基于三维手势重建的空中手写交互方法、存储介质以及装置。

背景技术：

1、随着沉浸式虚拟现实穿戴设备的广泛普及，人们将不再需要键盘鼠标和触摸屏来与计算机进行交流，而空中手势交互将成为未来流行的人机交互方式。空中手写可以让用户通过手指直接在三维空间中进行书写，从而提供了一种自然无约束的人机交互体验。在虚拟现实环境中，人们除了可以使用空中手势来模拟鼠标操作，还可以通过空中手写输入复杂的指令或者文字等。因此，空中手写作为一种基于视觉的高级人机交互方式，其在虚拟现实环境下拥有巨大的应用前景。

2、然而受限于软硬件技术的发展，目前空中手写交互方法与系统还存在许多不足，具备包括以下方面：(1)早期的空中手写依赖于穿戴式设备(例如专利cn107316067a)来捕捉用户手势，这种方式会增加用户的约束感，同时用户在公共场景下的使用意愿度更低；(2)大多数的空中手写依赖于特殊传感器设备(例如专利cn106502390a的kinect深度相机、专利cn20211149452的fmcw波雷达)实现无接触的空中手写交互，这些传感器的硬件成本较高、普及度较低，相反单目可见光摄像头的价格更加低廉、普及度更高；(3)目前的空中手写跟踪方法大多基于传统的二维视觉方法(例如专利cn109033954a)，该方式易受手势形变、遮挡重叠的干扰，因为在实际使用场景下手势跟踪的泛化性和准确性不高；(4)目前的空中手写识别方法大都只能识别单字符(而不能识别文本行)，且识别方法的速度和精度较低，因而不能够满足人们实际应用场景下的需求。综上所述，亟需一种可以克服上述问题的新型空中手写交互方法与系统。

技术实现思路

1、为解决以上现有技术存在的问题，本发明提出了一种基于三维手势重建的空中手写交互方法，该方法包括：获取用户空中手写交互的彩色图像数据流；将彩色图像数据流输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取；将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型，并基于运动连续性和动作合理性对三维空间中用户的手势模型进行约束重建；根据重建后的三维手势模型实时获取用户的指尖运动轨迹，采用时序卷积循环神经网络对指尖运动轨迹进行识别，得到空中手写交互识别结果。

2、优选的，获取彩色图像数据流的传感器为单目可见光相机，通过编程接口稳定、准确地采集到当前场景下用户手势的彩色图像数据流，其中彩色图像包括当前场景和物体的轮廓和彩色信息。

3、优选的，采用深度神经网络中分割手部核心区域和提取手部关节点等二维信息包括：深度神经网络由两个神经网络构成，其中将输入图像输入到第一神经网络，得到输入图像的手部区域热力图；计算手部区域热力图的分割掩码，并根据分割掩码对输入图形进行分割，得到手部核心区域分图；将输入图像输入到第二卷积神经网络中预测手部各个关节点的热力图，计算各个关节点的置信度，设置置信度阈值；将计算出各个关节点的置信度与置信度阈值进行对比，删除小于置信度阈值的关节点；获取筛选出的关节点的位置，得到手部关节点二维信息。

4、优选的，对手势模型进行约束包括：设置最小化约束项，其中最小化约束项包括模型参数约束项和手部动作约束项，模型参数约束项用于对模型的参数进行约束，手部动作约束项用于对用户的手部动作合理性进行约束；其中模型参数约束项为：手部动作约束项为：其中，βt和θt表示当前t时刻的三维手部模型参数，表示当前t时刻手部模型的动作异常程度；其中，w和b分别为手部动作异常估计函数的权重和偏置，[·||·]表示级联操作。

5、优选的，采用时序卷积循环神经网络对指尖运动轨迹进行识别的过程包括：

6、步骤1：对指尖运动轨迹进行时序卷积，得到底层空间关系；根据底层空间关系提取指尖运动轨迹的特征序列，对提取的特征序列进行下采样；

7、步骤2：将下采样后的特征序列输入到循环神经网络中进行处理，得到高层的时序依赖关系和上下文信息；

8、步骤3：将高层的时序依赖关系和上下文信息输入到语言模型中进行解码，得到手写识别文本。

9、为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一上述基于三维手势重建的空中手写交互方法。

10、为实现上述目的，本发明还提供一种基于三维手势重建的空中手写交互装置，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于三维手势重建的空中手写交互装置执行任一上述基于三维手势重建的空中手写交互方法。

11、本发明的有益效果：

12、本发明采用了成本低、普及程度高的单目可见光相机作为空中手写数据的采集设备，从而实现了一种无接触的人机交互方式，a)相比于基于穿戴设备的交互系统，能够提供一种更加自由、无约束的人机交互体验；b)相比于基于特殊传感器设备(如深度相机、fmcw波雷达)的交互系统，硬件成本更加低廉、普及程度更高，因此其应用价值更大、适用范围更广；c)本发明从二维图像信息中来重建用户的三维手势姿态与形状，通过利用三维手势的先验信息辅助从而有效地解决手部形变和遮挡带来的问题，极大地提升了空中手写的跟踪准确性和鲁棒性，实用性更强；d)本发明使用时序卷积循环网络来直接处理手写运动轨迹，该网络不但能够识别输出手写文本行，而且还具备更高的识别精度、更小的计算开销、更小的模型存储，极大地提升了系统的实用性和普及性。

技术特征：

1.一种基于三维手势重建的空中手写交互方法，其特征在于，包括：获取用户空中手写交互的彩色图像数据流；将彩色图像数据流输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取；将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型，并基于运动连续性和动作合理性对三维空间中用户的手势模型进行约束重建；根据重建后的三维手势模型实时获取用户的指尖运动轨迹，采用时序卷积循环神经网络对指尖运动轨迹进行识别，得到空中手写交互识别结果。

2.根据权利要求1所述的一种基于三维手势重建的空中手写交互方法，其特征在于，获取彩色图像数据流的传感器为单目可见光相机，通过编程接口稳定、准确地采集到当前场景下用户手势的彩色图像数据流，其中彩色图像包括当前场景和物体的轮廓和彩色信息。

3.根据权利要求1所述的一种基于三维手势重建的空中手写交互方法，其特征在于，采用深度神经网络中进行手部核心区域分割和手部关节点二维信息提取包括：深度神经网络由两个神经网络构成，其中将输入图像输入到第一神经网络，得到输入图像的手部区域热力图；计算手部区域热力图的分割掩码，并根据分割掩码对输入图形进行分割，得到手部核心区域分图；将输入图像输入到第二卷积神经网络中预测手部各个关节点的热力图，计算各个关节点的置信度，设置置信度阈值；将计算出各个关节点的置信度与置信度阈值进行对比，删除小于置信度阈值的关节点；获取筛选出的关节点的位置，得到手部关节点二维信息。

4.根据权利要求1所述的一种基于三维手势重建的空中手写交互方法，其特征在于，采用解码网络构估计三维空间中用户的手势模型包括：将手部关键点和手部分割区域二维信息输入到三维解码器中，三维解码器通过提取手部分割区域特征和手部关节点特征估计三维手部模型的形状参数β和姿态参数θ；对手模型参数(β,θ)进行调整，并使该投影与采集的二维手部图像进行像素级别的匹配，使得该三维手部关节点的投影位置靠近二维图像上关键点的位置，通过该调整过程来准确地估计出三维手模型的姿态与形状。

5.根据权利要求1所述的一种基于三维手势重建的空中手写交互方法，其特征在于，对手势模型进行约束包括：设置最小化约束项，其中最小化约束项包括模型参数约束项和手部动作约束项，模型参数约束项用于对模型的参数进行约束，手部动作约束项用于对用户的手部动作合理性进行约束；其中模型参数约束项为：手部动作约束项为：其中，βt和θt表示当前t时刻的三维手部模型参数，表示当前t时刻手部模型的动作异常程度。

6.根据权利要求5所述的一种基于三维手势重建的空中手写交互方法，其特征在于，手部动作约束项的计算公式为：

7.根据权利要求1所述的一种基于三维手势重建的空中手写交互方法，其特征在于，采用时序卷积循环神经网络对指尖运动轨迹进行识别的过程包括：

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行权利要求1-7任一所述一种基于三维手势重建的空中手写交互方法。

9.一种基于三维手势重建的空中手写交互装置，其特征在于，包括处理器和存储器；所述存储器用于存储计算机程序；所述处理器与所述存储器相连，用于执行所述存储器存储的计算机程序，以使所述一种基于三维手势重建的空中手写交互装置执行权利要求1至7中任一项基于三维手势重建的空中手写交互方法。

技术总结
本发明属于人机交互和计算机视觉领域，特别涉及一种基于三维手势重建的空中手写交互方法，包括：获取用户空中手写交互的彩色图像数据流，并输入到深度神经网络中进行手部核心区域分割和手部关节点二维信息提取；将手部核心区域图和手部关节点二维信息输入到解码网络中估计三维空间中用户的手势模型，并对手势模型进行约束重建；根据重建后的三维手势模型实时获取用户的指尖运动轨迹，采用时序卷积循环神经网络对指尖运动轨迹进行识别，得到空中手写交互识别结果；本发明使用时序卷积循环网络来直接处理手写运动轨迹，不但能够识别输出手写文本行，而且还具备更高的识别精度、更小的计算开销和模型存储，提升了系统的实用性和普及性。

技术研发人员：甘吉,高新波,冷佳旭,胡波
受保护的技术使用者：重庆邮电大学
技术研发日：
技术公布日：2024/1/16