具有实物感的打字或触控的实现方法与流程

本发明为虚拟键盘和触控，具体涉及一种应用于xr扩展现实可穿戴设备、头戴式显示装置的具有实物感的打字或触控的实现方法。

背景技术：

1、extended reality (xr)扩展现实，是指通过计算机技术和可穿戴设备产生的一个真实与虚拟组合、可人机交互的环境，是增强现实ar、虚拟现实vr、混合现实mr等多种形式的统称。随着(xr)扩展现实在各行各业的普及和发展，各种xr智能眼镜应运而生，通过虚拟键盘和触控的输入来实现用户和系统的交互。

2、目前虚拟键盘和触控有两种：（1）在1/3/6dof的三维环境里锚定虚拟键盘，双手对空气打字或触控，用关节识别模型计算手指尖或射线位置判断是否触碰到虚拟按键的阈值位置；（2）手掌内画虚拟按键，通常将拇指（或任何手指）的指尖（或任何可以聚焦为一个光标点的部位）定义为“触发指尖”，在其他每根手指的三个指节和/或手掌的不同区域上画虚拟按键，将该虚拟按键分别定义对应不同的数字键、字母键或者功能键，用人手关节检测模型推算触发指尖是否触碰到虚拟按键的阈值位置。

3、所述第（1）种虚拟键盘（含按钮、链接、绘图等各种功能的实现，以下统称“功能区域”）的输入方式与传统键盘打字和光标点击触发的做法相像，但有两个问题：（a）由于手背和指头遮挡功能区域，导致视觉计算时很难分辨看不见的触发指尖是否真实触碰到某个功能区域的阈值位置；（b）用户没有触摸实体按键的感觉，在空气中打字只能依赖用户自己的眼睛判断触发指尖是否触碰到正确的字符按键，因此无法实现盲打/盲写的可能。

4、所述第（2）种掌内功能区域的触发方式，类似传统的掐指动作，功能区域在可视的手掌面，由于输入时手掌（以下“手掌”定义均含所有需要判断的掌心和手指部位）面向xr眼镜的摄像镜头，通过触发指尖触碰手掌的功能区域实现触发操作，解决了触碰的感觉和手背遮挡问题。然而这种做法仍然存在触发指尖对功能区域的遮挡问题，视觉计算看到触发指尖挡在某个功能区域前时，并不能知道触发指尖有没有触碰到功能区域还是悬空处于没有触碰的状态，因此就会误判触发指尖触碰了对应的功能区域，错误触发该功能区域对应的内容。为了解决视觉计算或者手势识别模型不能确认是否有真实触碰的问题，许多专利也有尝试通过指环或手套传感器来准确识别触发指尖是否真实地触碰到某个功能区域。然而戴手套或指环等传感器都背离了不希望穿戴任何器件或传感器的意愿，体验感和实用性都不高。

技术实现思路

1、本发明的目的在于针对现有手势识别及视觉计算时，对是否真实触碰存在误判的问题，提出一种具有实物感的打字或触控的实现方法，仅通过摄像头的视觉计算就能精准确认触发指尖与功能区域是否真实触碰，能脱离实体传感器等辅助设备，且计算量少；另外，由于触发指尖触碰的是手掌或者物体表面，在打字或触控时具有实物感，而不是在虚拟空间中毫无手感地比划，体验感好，可以实现盲打盲写。

2、本发明具有实物感的打字或触控的实现方法，应用于xr扩展现实可穿戴设备、头戴式显示装置的系统，该系统通过人手关节检测模型输出人手在视频画面中若干个关节点的带有时序的位置信息，手掌包括掌心和手指，通过触发指尖触碰功能区域实现打字和触控，该功能区域包括可供触发的字符/数字按钮、功能键或快捷键，该功能区域与手掌的关节连线上标定的预置点绑定，包括如下步骤：

3、步骤1、在手掌的关节连线上标定预置点，用户透过眼镜可看到手掌上预置点所绑定的功能区域，设功能区域的宽度为w,将预置点作为功能区域的中心点，在平行于x轴向左和向右处，取左触发判断点wl和右触发判断点wr；基于关节点推算出对应的预置点及其绑定的功能区域的左触发判断点wl和右触发判断点wr的位置信息；

4、步骤2、默认大拇指尖为触发指尖，若大拇指不进入手掌内区域，且由其他任一手指欲触碰手掌或其他功能区域，则判断该手指的指尖为触发指尖，触发指尖位置定义为t；

5、步骤3、系统获取有视差距离的n个图像视频流，其中n为整数，，针对相同帧的n个图像，追踪并判断所有图像中触发指尖t的位置是否落入任一功能区域左右两边界对应的左触发判断点wl和右触发判断点wr之间，若是落入，计算每个图像内的三个目标点的位置值，目标点包括左触发判断点wl、触发指尖t和右触发判断点wr，取三个目标点位置值中的x轴值（wrx,tx,wlx）,分别计算wl与t的差值和t与wr的差值的比值，仅当n个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出或触发功能区域对应的内容。

6、所述步骤3中，取两摄像头为左右摄像头，将摄像头两中心点l和r的连线作为x轴，假定在左摄像头视场中，左摄像头的中心点l与目标点的连线与x轴的夹角弧度为，在右摄像头视场中，右摄像头的中心点r与目标点的连线与x轴的夹角弧度为,设左右摄像头两中心点l和r的视差距离为d，计算图像内的每个目标点的位置(x,z)：

7、若目标点落在左右摄像头两中心点l和r之间，则

8、；

9、若目标点落在左摄像头中心点l的左侧，则

10、；

11、若目标点落在右摄像头中心点r的右侧，则

12、。

13、所述功能区域是圆形的，以手掌的关节连线上的任意位置设置的预置点为圆心，以w为直径画圆。

14、在指节区域内、之间、之外或者手掌内手腕与某个手指之间位置渲染出功能区域。

15、所述步骤3是，系统分别在有视差距离的n个屏幕上，其中n为整数，，在手掌心的相同位置渲染一个矩阵网格，该矩阵网格包括若干格子，每个格子包括若干数量的边，将每个格子视为功能区域；系统追踪并判断触发指尖t(x,y)在所有屏幕中是否同时出现在矩阵网格的某个功能区域，若是，则将触发指尖t(x,y)与该功能区域的左右边，即将左触发判断点wl、触发指尖t和右触发判断点wr作为三个目标点，取三个目标点位置信息中的x轴值（wrx,tx,wlx）,分别计算wl与t的差值和t与wr的差值的比值，若所有图像的比值都相等，则表示触发指尖触碰到功能区域，并在触发指尖的位置t(x,y)渲染画点，按照时序依次将所述画点连接成线，从而用一只手的指尖作为触发指尖在另一只手掌心上实现平板或触控板的触控功能。

16、该矩阵网格以小指与手掌连接关节为右顶点，食指与手掌的连接关节为左顶点，以手掌与手腕连接的位置为下边界。

17、所述矩阵网格为隐形设置，未在屏幕上显示出来。

18、所述格子为正方形或长方形。

19、本发明另一具有实物感的打字或触控的实现方法，应用于xr扩展现实可穿戴设备、头戴式显示装置的系统，该系统输出目标点在视频画面中带有时序的位置信息，通过触发指尖触碰功能区域实现打字和触控，包括如下步骤：

20、步骤1、系统分别在n个屏幕上，在相同预设物体表面的相同位置锚定一个触控界面图像，该触控界面图像上设置若干个功能区域，相同帧中功能区域平行于x轴的左右两边，取左触发判断点wl和右触发判断点wr；

21、步骤2、将任一欲触碰功能区域的手指的指尖视为触发指尖；

22、步骤3、系统获取有视差距离的n个图像视频流，其中n为整数，，追踪并判断触发指尖t(x,y) 在所有屏幕中是否同时出现在某个功能区域内，若是，则将触发指尖t(x,y)与该功能区域对应的左触发判断点wl和右触发判断点wr作为三个目标点，取三个目标点位置信息中的x轴值（wrx,tx,wlx）,分别计算wl与t的差值和t与wr的差值的比值，仅当n个图像的所有比值皆相同时，则表示触发指尖触碰到功能区域，输出触发功能区域对应的内容。

23、所述触控界面图像为传统计算器图、传统键盘图。

24、所述预设物体表面是任意实物表面。

25、所述预设物体表面是虚拟物表面，当触发指尖触碰到功能区域时，通过声音、振动、电击、机械的方式反馈用户提供触碰到实物的感觉。

26、一种头戴式显示设备，所述头戴式显示设备包括用于摄取目标区域的目标图像的至少两个摄像头；所述头戴式显示设备还包括存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于执行所述计算机程序，以实现上述任意一项所述的方法。

27、一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序在被处理器执行时实现上述任意一项所述的方法。

28、一种运行指令的芯片，该芯片包括内部封装的集成电路基片，所述集成电路基片用于执行上述任意一项所述的方法。

29、采用本发明的技术方案后，通过智能眼镜的至少两个摄像头获取有视差的图像视频流，针对图像视频流中相同时序帧的图像，将两摄像头的连线作为x轴或与x轴平行，则计算视野中目标点空间位置的深度z的公式可以忽略y轴的计算。由于摄像头之间是固定的视差间距，利用双目视差间距不变触发指尖在真实触碰功能区域时，左右眼看到的触发指尖的位置在功能区域x轴上的相对位置是相同的原理，也就是说：当三个点都在一条线上时，从左右（或更多摄像头的）不同角度看上去三个点的相对位置都是一样的原理，本发明证明了可以忽略深度z的计算，也不需要知道摄像头与其他摄像头的位置关系。本发明中的触控误差是，z是目标点与摄像头的深度距离，d是任何对比摄像头之间的距离，是阈值设定。本发明将确认视野中触发指尖是否真实触碰功能区域的判断转换成只需要分别计算不同摄像头获取的图像内触发指尖位置与对应功能区域左右边缘的两个触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰到功能区域，否则没有触碰，因此不需要x,、y、z或d的信息，只需要个摄像显示的x轴像素值，本发明解决了手势识别及视觉计算对是否真实触碰存在误判的问题，以及提供一种虚拟空间中具有实物感的打字或触控的实现方法。

30、由于本发明不需要计算触发指尖的深度z值，本发明还可以在掌心部位设矩阵网格，将每个格子作为功能区域，智能眼镜的至少两个摄像头获取有视差距离d的左右图像视频流，通过判断所获取的相同帧的图像中触发指尖位置t(x,y)与在同样y高度的格子对应的两触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰功能区域，否则没有触碰，触碰时可以在触发指尖的位置t(x,y)渲染画点，按照时序依次将所述点连接成线，从而可以用一只手的指尖作为触发指尖在另一只手掌上实现画写和拖拉功能，如同实现平板或触控板的触控功能一样。也可以用多个触发指尖实现多指在平板或触控板的触控功能。也可以三角计算触发指尖的深度z来渲染三维画点t(x,y,z)。

31、除了利用手掌锚定键盘按钮和触控板以外，本发明还可以允许掌外打字和触控。智能眼镜可以锚定一个简单计算器图像或者键盘图像在某个物体表面，例如墙壁或桌面上，也可以是其他真实或虚拟物体，也可以不是平面而是不规则面。通过智能眼镜的至少两个摄像头获取有视差的图像视频流，当触发指尖进入上述图像的功能区域内时，判断所获取的相同帧的图像中触发指尖位置与该功能区域对应的两触发判断点的相对位置关系，若所有摄像头所获取的图像中上述三个目标点的相对位置关系一致，则判断触发指尖已触碰功能区域，否则没有触碰，这样用户在打字或者触控时是触碰真实的物体表面，而不是在空气中对准虚拟按钮进行触控，因而具有实物感。