虚拟现实眼镜的制作方法

1.本技术涉及虚拟现实技术领域，尤其涉及一种虚拟现实眼镜。


背景技术：

2.目前，vr（virtualreality，虚拟现实）眼镜是目前正在快速发展和普及的虚拟现实产品。而市面上很多虚拟现实眼镜通常不配备键盘或触摸屏等输入设备，所以在虚拟现实眼镜上的字符输入方式一般只能通过语音和手势来进行，这一局限给虚拟现实眼镜在文本信息的交互方面造成了不便。
3.相关技术中的字符输入方式是通过提供一种允许用户使用书写工具和书写平面进行手写笔迹的提取方法，即通过摄像头跟踪书写工具的笔尖，从跟踪得到的笔尖的运动轨迹，确定手写笔迹 (即字符信息)。但是，实际应用中，用户在书写时很难通过远距离的摄像头精确捕捉到笔尖的运动轨迹，导致提取出的手写笔迹的准确度不高，进而使得字符输入准确性较低。
4.因此，如何提高虚拟现实眼镜的字符输入准确性，成为亟待解决的技术问题。


技术实现要素：

5.本技术的主要目的在于提供一种虚拟现实眼镜，旨在解决如何提高虚拟现实眼镜的字符输入准确性的技术问题。
6.为实现上述目的，本技术提供一种虚拟现实眼镜，所述虚拟现实眼镜包括激光收发模块、图像识别模块和处理模块，所述激光收发模块和所述图像识别模块分别与所述处理模块电连接，所述激光收发模块用于：在检测到输入的字符书写指令时，生成所述虚拟现实眼镜的字符书写界面对应的布局阵列光束，将所述布局阵列光束投射至预设投影平面，以在所述预设投影平面投影所述字符书写界面；接收所述布局阵列光束对应反射回的反射波束，根据所述反射波束的波束信息，对所述布局阵列光束的光线阻断的位置进行定位，得到阻断坐标位置；所述图像识别模块用于：采集所述预设投影平面对应区域的当前图像帧，根据所述当前图像帧，对用户在字符书写界面的触控点的位置进行识别，得到触点坐标位置；所述处理模块用于：依据时序性对所述阻断坐标位置进行动态追踪，根据动态追踪的所述阻断坐标位置，构建基于回波识别的光线阻断运动轨迹，将所述光线阻断运动轨迹转换为二维矢量图形，并对所述二维矢量图形对应的字符进行识别；依据时序性对所述触点坐标位置进行动态追踪，根据动态追踪的所述触点坐标位置，构建基于图像识别的光线触点运动轨迹；
若识别出的所述字符为多个疑似的待确定字符，则将所述光线触点运动轨迹和各所述待确定字符输入至训练好的字符识别神经网络模型，获取得到所述字符识别神经网络模型从各所述待确定字符中选择的目标字符，并输入所述目标字符，其中，所述待确定字符为识别准确的概率小于预设概率阈值的字符。
7.可选地，所述处理模块还用于：若识别出的所述字符为确定字符，则将所述确定字符作为目标字符进行输入，其中，所述确定字符为识别准确的概率大于或等于预设概率阈值的字符。
8.可选地，所述虚拟现实眼镜还包括手柄操控模块，所述处理模块包括生成单元和追踪单元，所述手柄操控模块、所述生成单元和所述追踪单元依次电连接，所述手柄操控模块，用于获取用户所触发的按钮键位信息；所述生成单元，用于根据所述按钮键位信息生成控制指令，其中，所述控制指令包括落笔指令、移笔指令或完全提笔指令；所述追踪单元，用于根据所述控制指令，依据时序性对所述阻断坐标位置进行动态追踪。
9.可选地，所述激光收发模块包括：比较单元，用于获取预存的所述布局阵列光束的标准回波信息，将所述反射波束的波束信息与所述标准回波信息进行比较，确定所述布局阵列光束的回波周期的变动值；定位单元，用于若所述回波周期的变动值大于预设时长阈值，则对所述变动值大于预设时长阈值的所述反射波束的坐标位置进行定位，得到回波异动坐标位置；将所述回波异动坐标位置，作为所述布局阵列光束的光线阻断的阻断坐标位置。
10.可选地，所述激光收发模块还包括校准单元，所述校准单元，用于：若帧测到输入的光束定位校准指令，则将预设的校准参考光束投射至所述预设投影平面上的预设坐标位置以在所述预设投影平面形成校准标识，其中，所述校准参考光束的波长与所述布局阵列光束的波长不同；接收所述校准参考光束对应反射回的校准反射光束；根据所述校准反射光束的波束信息，对所述激光收发模块中预存的光束定位识别算法进行校准；所述定位单元，还用于：若所述回波周期的变动值大于预设时长阈值，则通过校准后的所述光束定位识别算法，对所述变动值大于预设时长阈值的所述反射波束的坐标位置进行定位，得到回波异动坐标位置。
11.可选地，所述处理模块还包括：预测单元，用于将所述光线触点运动轨迹和所述待确定字符输入至预存的字符识别神经网络模型，通过所述字符识别神经网络模型预测得到所述光线触点运动轨迹对应的预测字符；匹配单元，用于通过所述字符识别神经网络模型将所述预测字符与各所述待确定字符进行相似度匹配，得到各所述待确定字符对应的字符匹配度；确定单元，用于将所述字符匹配度最高的所述待确定字符，作为各所述待确定字
符中选择的目标字符。
12.可选地，所述虚拟现实眼镜还包括触屏显示模块，所述触屏显示模块与所述确定单元电连接，所述确定单元，还用于：若判定所述字符匹配度最高的所述待确定字符为一个，则执行：所述将所述字符匹配度最高的所述待确定字符，作为各所述待确定字符中选择的目标字符的步骤；若判定所述字符匹配度最高的所述待确定字符为多个，则将所述字符匹配度最高的各所述待确定字符输入至所述触屏显示模块进行显示，其中，所述字符匹配度最高的各所述待确定字符分别显示于所述触屏显示模块的显示界面中不同的坐标位置；所述触屏显示模块，用于：若接收到用户在所述显示界面的触控选择指令，则确定所述触控选择指令对应的触控坐标位置；所述确定单元，还用于：将所述触控坐标位置对应显示的字符，作为各所述待确定字符中选择的目标字符。
13.可选地，所述图像识别模块还包括：获取单元，用于获取预存的书写物尖端对应的目标特征，其中，所述书写物尖端为手指指尖或工具笔笔尖，所述目标特征为所述书写物尖端对应的形状特征和/或颜色特征；轮询单元，用于将所述当前图像帧中的各图像特征，与所述目标特征进行相似度的轮询匹配，并将匹配度最高的所述图像特征，作为所述书写物尖端；判定单元，用于将所述书写物尖端的坐标位置，作为用户在字符书写界面的触控点的触点坐标位置。
14.可选地，所述图像识别模块还包括：采集单元，用于若检测到输入的书写物更新指令时，则控制所述图像识别模块对新的书写物进行图像采集，得到最新书写物图像；扫描单元，用于对所述最新书写物图像中的书写物进行轮廓扫描，扫描得到最新的书写物尖端对应的形状特征和/或颜色特征；预存单元，用于将最新的书写物尖端对应的形状特征和/或颜色特征，作为书写物尖端对应的目标特征进行预存。
15.可选地，所述处理模块还包括：通信单元，用于将所述光线触点运动轨迹和各所述待确定字符发送至字符分析服务器，其中，所述字符分析服务器中存储有训练好的字符识别神经网络模型；接收所述字符分析服务器响应于所述光线触点运动轨迹和各所述待确定字符，而返回的所述目标字符。
16.本技术通过将虚拟现实眼镜设置包括激光收发模块、图像识别模块和处理模块，且设置激光收发模块和图像识别模块分别与处理模块电连接的电气连接关系，然后通过激光收发模块检测到输入的字符书写指令时，生成所述虚拟现实眼镜的字符书写界面对应的布局阵列光束，将所述布局阵列光束投射至预设投影平面，以在所述预设投影平面投影所述字符书写界面，并接收所述布局阵列光束对应反射回的反射波束，根据所述反射波束的波束信息，对所述布局阵列光束的光线阻断的位置进行定位，得到阻断坐标位置，从而通过
回波识别方式，来识别用户的手指或交互笔在字符书写界面上的坐标位置。本技术在进行回波识别的同时，还通过图像识别模块采集预设投影平面对应区域的当前图像帧，根据该当前图像帧，对用户在字符书写界面的触控点的位置进行识别，得到触点坐标位置，从而通过图像帧识别方式，来识别用户的手指或交互笔在字符书写界面上的笔画点位置。再通过处理器依据时序性对阻断坐标位置进行动态追踪，根据动态追踪的所述阻断坐标位置，构建基于回波识别的光线阻断运动轨迹，将所述光线阻断运动轨迹转换为二维矢量图形，并对所述二维矢量图形对应的字符进行识别，从而基于回波识别方式对用户的字符书写运动轨迹进行识别，并同时依据时序性对触点坐标位置进行动态追踪，根据动态追踪的触点坐标位置，构建基于图像识别的光线触点运动轨迹，其中，该待确定字符为识别准确的概率小于预设概率阈值的字符，从而还基于图像识别方式对用户的字符书写运动轨迹进行识别，而在基于回波识别方式识别出的所述字符为多个疑似的待确定字符时，也就是说，在判定基于回波识别方式无法准确识别出用户书写运动轨迹对应的字符的情况下，将各待确定字符，以及光线触点运动轨迹输入至训练好的字符识别神经网络模型，获取得到字符识别神经网络模型从各待确定字符中选择的目标字符，并输入目标字符，其中，所述待确定字符为识别准确的概率小于预设概率阈值的字符，从而在出现用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况而导致回波识别方法识别出用户所书写的字符存在多种可能性时（即通过回波识别方法只能识别出多个疑似书写的待确定字符，无法具体且准确地识别出用户所书写的字符为哪一个），将基于回波识别方式识别出的各个疑似书写的待确定字符，以及基于图像识别方式识别出的光线触点运动轨迹，输入至预先训练好的字符识别神经网络模型，通过该字符识别神经网络模型从各个疑似的待确定字符中，预测出用户最可能意图书写的目标字符进行输入，从而提高了虚拟现实眼镜的字符输入准确性。
17.需要说明的是，由于用户在书写时很难通过远距离的摄像头精确捕捉到笔尖的运动轨迹，导致提取出的手写笔迹对应字符的准确度不高，进而使得字符输入准确性较低，而本技术通过先基于回波识别方式对用户的书写运动轨迹进行识别，确定出该书写运动轨迹对应的字符，由于本技术的回波识别方式，可在投影的字符书写界面中精准捕捉到激光光束受到阻断的阻断坐标位置，从而准确识别出手指或者交互笔在该字符书写界面上的笔画点位置，并对该笔画点位置进行动态追踪，从而准确识别出用户的书写运动轨迹，相比于通过摄像头跟踪书写工具的笔尖（即直接采用跟踪笔尖的图像识别方式），本技术提高了虚拟现实眼镜的字符输入准确性。
18.进一步地，需要说明的是，本技术为了避免用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况而导致通过回波识别方法，只能识别出该书写运动轨迹为多个疑似书写的待确定字符，无法具体且准确地识别出用户所书写的字符为哪一个，本技术还结合跟踪手指或笔尖的图像识别方式，识别出基于图像识别的光线触点运动轨迹，并通过字符识别神经网络模型，预测得到该光线触点运动轨迹对应的预测字符，并通过字符识别神经网络模型将预测字符与各待确定字符进行相似度匹配，得到各个待确定字符对应的字符匹配度，然后将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符，从而具体且更加准确地识别出用户所意图书写的字符，进一步提高了虚拟现实眼镜的字符输入准确性。
附图说明
19.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
20.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
21.图1为本技术虚拟现实眼镜第一实施例的结构示意图；图2为本技术虚拟现实眼镜第二实施例的结构示意图；图3为本技术一实施例中激光收发模块的结构示意图；图4为本技术虚拟现实眼镜第三实施例的结构示意图；图5为本技术一实施例中图像识别模块的结构示意图。
22.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。
具体实施方式
23.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
24.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。
25.应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在
……
时"或"当
……
时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：a、b、c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”，再如，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”。仅当元件、功
能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。
26.应该理解的是，虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
27.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测（陈述的条件或事件）”可以被解释成为“当确定时”或“响应于确定”或“当检测（陈述的条件或事件）时”或“响应于检测（陈述的条件或事件）”。
28.需要说明的是，在本文中，采用了诸如a10、a20等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行a10后执行a20等，但这些均应在本技术的保护范围之内。
29.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
30.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。
31.本技术实施例提供一种虚拟现实眼镜100，请参照图1，虚拟现实眼镜100包括激光收发模块1、图像识别模块2和处理模块3，激光收发模块1和图像识别模块2分别与处理模块3电连接，激光收发模块1用于：步骤a10，在检测到输入的字符书写指令时，生成虚拟现实眼镜100的字符书写界面对应的布局阵列光束，将布局阵列光束投射至预设投影平面，以在预设投影平面投影字符书写界面；在本实施例中，用户可通过按压虚拟现实眼镜100的物理按键或者触屏按键来输入该字符书写指令。输入该字符书写指令后，将开启虚拟现实眼镜100的字符书写功能，以将用户书写的字符输入至虚拟现实眼镜100。
32.其中，该预设投影平面可为预设的某一个固定的投影平面，也可为用户根据自身的场景环境，而自主选择的符合投影条件的任何平面。容易理解的是，用户自主选择的平面需与激光收发模块1所投射的布局阵列光束成一定夹角，才能将布局阵列光束顺利投射至该预设投影平面。
33.步骤a20，接收布局阵列光束对应反射回的反射波束，根据反射波束的波束信息，对布局阵列光束的光线阻断的位置进行定位，得到阻断坐标位置；在本实施例中，为了助于理解，列举一示例，当用户在激光收发模块1投影的字符书写界面进行操控的过程中，例如通过手指或者交互笔的笔画点在该字符书写界面上的坐标位置（a，b）时，该坐标位置（a，b）的激光束会受到手指或者交互笔的阻断，此时该坐标位置（a，b）即为布局阵列光束投射至预设投影平面的路径中受到光线阻断的阻断坐标位置。由于激光束在受到阻断后，反射回来的时长变短，因此，可根据各坐标位置的激光束（即布
局阵列光束）的回波周期（例如某个坐标位置的回波周期是指：在该坐标位置，从投射激光束开始至接收到该激光束在投射方向所反射回的反射光束的时长），确定布局阵列光束受到光线阻断的阻断坐标位置，实现对阻断坐标位置的定位，进而实现对手指或者交互笔的笔画点位置的定位。
34.图像识别模块2用于：步骤a30，采集预设投影平面对应区域的当前图像帧，根据当前图像帧，对用户在字符书写界面的触控点的位置进行识别，得到触点坐标位置；在本实施例中，该图像识别模块2用于采集预设投影平面对应区域的当前图像帧，由于预设投影平面中投影有字符书写界面，因此可通过预设的图像识别算法，识别出该当前图像帧中用户的手指或交互笔在字符书写界面上的笔画点位置，来确定用户在字符书写界面的触控点的位置（即触点坐标位置）。
35.处理模块3用于：步骤a40，依据时序性对阻断坐标位置进行动态追踪，根据动态追踪的阻断坐标位置，构建基于回波识别的光线阻断运动轨迹，将光线阻断运动轨迹转换为二维矢量图形，并对二维矢量图形对应的字符进行识别；在本实施例中，该二维矢量图形为具有形状、轮廓和大小等属性的二维图像。该字符可包括文字、阿拉伯数字、标点符号和特殊符号等。
36.本实施例通过光束回波方式来识别光线阻断运动轨迹，该光线阻断运动轨迹即为基于回波识别的字符书写运动轨迹。为了进一步提高虚拟现实眼镜100的字符输入准确性，本实施例还通过图像识别算法，来识别用户在字符书写界面的触控点的位置，即触点坐标位置，从而便于后续在通过回波识别的光线阻断运动轨迹，难以精确识别出用户所书写的字符时，对触点坐标位置进行动态追踪，从而构建基于图像识别的光线触点运动轨迹，该光线触点运动轨迹即为基于图像识别的字符书写运动轨迹。本实施例在确定基于回波识别无法准确识别出用户的字符书写运动轨迹的情况下，再结合预设的图像识别算法来对用户的字符书写运动轨迹进行双重识别，进一步提高虚拟现实眼镜100的字符输入准确性。
37.在本实施例中，容易理解的是，该光线阻断运动轨迹类似于用户在书写字符时的笔画描写过程（基于图像识别的光线触点运动轨迹也同样类似于用户在书写字符时的笔画描写过程），该二维矢量图形类似于用户书写完字符后所呈现的字符图形。因此，可将该基于回波识别的光线阻断运动轨迹转换为二维矢量图形，并根据该二维矢量图形，识别出该二维矢量图形对应的字符。
38.步骤a50，依据时序性对触点坐标位置进行动态追踪，根据动态追踪的触点坐标位置，构建基于图像识别的光线触点运动轨迹；需要说明的是，在执行步骤a40，依据时序性对阻断坐标位置进行动态追踪，根据动态追踪的阻断坐标位置，构建基于回波识别的光线阻断运动轨迹的同时，还应该在同步执行步骤a50，依据时序性对触点坐标位置进行动态追踪，根据动态追踪的触点坐标位置，构建基于图像识别的光线触点运动轨迹。
39.步骤a60，若识别出的字符为多个疑似的待确定字符，则将光线触点运动轨迹和各待确定字符输入至训练好的字符识别神经网络模型，获取得到字符识别神经网络模型从各待确定字符中选择的目标字符，并输入目标字符，其中，待确定字符为识别准确的概率小于
预设概率阈值的字符。
40.作为一种示例，请参照图4，处理模块3还包括：预测单元33，用于将光线触点运动轨迹和待确定字符输入至预存的字符识别神经网络模型，通过字符识别神经网络模型预测得到光线触点运动轨迹对应的预测字符；匹配单元34，用于通过字符识别神经网络模型将预测字符与各待确定字符进行相似度匹配，得到各待确定字符对应的字符匹配度；确定单元35，用于将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符。
41.本实施例将处理模块3设置为预测单元33、匹配单元34和确定单元35，通过预测单元33将光线触点运动轨迹和待确定字符输入至预存的字符识别神经网络模型，通过匹配单元34基于字符识别神经网络模型预测得到光线触点运动轨迹对应的预测字符，从而预测出基于图像识别方式识别出的字符，然后基于该字符识别神经网络模型将该预测字符与各个待确定字符进行相似度匹配，得到各待确定字符对应的字符匹配度，并通过确定单元35将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符，从而具体且准确地识别出用户所书写的字符，提高了识别出用户所意图书写的字符的准确性。
42.在本实施例中，多个疑似的待确定字符是指：根据回波识别方式识别的光线阻断运动轨迹对用户所书写的字符进行分析时，分析出多个疑似书写的待确定字符，其中，该待确定字符为识别准确的概率小于预设概率阈值的字符。例如，可能存在用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况，导致通过回波识别方法，识别出用户所书写的字符存在多种可能性，即只能识别出多个疑似书写的待确定字符，无法具体、准确地识别出用户所书写的字符为哪一个。
43.在本实施例中，该预设概率阈值，本实施例不作具体的限定，以更好地确定识别出的字符是否为待确定字符为准，例如，该预设概率阈值为95%。
44.本实施例通过将虚拟现实眼镜100设置包括激光收发模块1、图像识别模块2和处理模块3，且设置激光收发模块1和图像识别模块2分别与处理模块3电连接的电气连接关系，然后通过激光收发模块1检测到输入的字符书写指令时，生成虚拟现实眼镜100的字符书写界面对应的布局阵列光束，将布局阵列光束投射至预设投影平面，以在预设投影平面投影字符书写界面，并接收布局阵列光束对应反射回的反射波束，根据反射波束的波束信息，对布局阵列光束的光线阻断的位置进行定位，得到阻断坐标位置，从而通过回波识别方式，来识别用户的手指或交互笔在字符书写界面上的坐标位置。本实施例在进行回波识别的同时，还通过图像识别模块2采集预设投影平面对应区域的当前图像帧，根据该当前图像帧，对用户在字符书写界面的触控点的位置进行识别，得到触点坐标位置，从而通过图像帧识别方式，来识别用户的手指或交互笔在字符书写界面上的笔画点位置。再通过处理器依据时序性对阻断坐标位置进行动态追踪，根据动态追踪的阻断坐标位置，构建基于回波识别的光线阻断运动轨迹，将光线阻断运动轨迹转换为二维矢量图形，并对二维矢量图形对应的字符进行识别，从而基于回波识别方式对用户的字符书写运动轨迹进行识别，并同时依据时序性对触点坐标位置进行动态追踪，根据动态追踪的触点坐标位置，构建基于图像识别的光线触点运动轨迹，其中，该待确定字符为识别准确的概率小于预设概率阈值的字符，从而还基于图像识别方式对用户的字符书写运动轨迹进行识别，而在基于回波识别方
式识别出的字符为多个疑似的待确定字符时，也就是说，在判定基于回波识别方式无法准确识别出用户书写运动轨迹对应的字符的情况下，将各待确定字符，以及光线触点运动轨迹输入至训练好的字符识别神经网络模型，获取得到字符识别神经网络模型从各待确定字符中选择的目标字符，并输入目标字符，其中，待确定字符为识别准确的概率小于预设概率阈值的字符，从而在出现用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况而导致回波识别方法识别出用户所书写的字符存在多种可能性时（即通过回波识别方法只能识别出多个疑似书写的待确定字符，无法具体且准确地识别出用户所书写的字符为哪一个），将基于回波识别方式识别出的各个疑似书写的待确定字符，以及基于图像识别方式识别出的光线触点运动轨迹，输入至预先训练好的字符识别神经网络模型，通过该字符识别神经网络模型从各个疑似的待确定字符中，预测出用户最可能意图书写的目标字符进行输入，从而提高了虚拟现实眼镜100的字符输入准确性。
45.需要说明的是，由于用户在书写时很难通过远距离的摄像头精确捕捉到笔尖的运动轨迹，导致提取出的手写笔迹对应字符的准确度不高，进而使得字符输入准确性较低，而本实施例通过先基于回波识别方式对用户的书写运动轨迹进行识别，确定出该书写运动轨迹对应的字符，由于本实施例的回波识别方式，可在投影的字符书写界面中精准捕捉到激光光束受到阻断的阻断坐标位置，从而准确识别出手指或者交互笔在该字符书写界面上的笔画点位置，并对该笔画点位置进行动态追踪，从而准确识别出用户的书写运动轨迹，相比于通过摄像头跟踪书写工具的笔尖（即直接采用跟踪笔尖的图像识别方式），本实施例提高了虚拟现实眼镜100的字符输入准确性。
46.进一步地，需要说明的是，本实施例为了避免用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况而导致通过回波识别方法，只能识别出该书写运动轨迹为多个疑似书写的待确定字符，无法具体且准确地识别出用户所书写的字符为哪一个，本实施例还结合跟踪手指或笔尖的图像识别方式，识别出基于图像识别的光线触点运动轨迹，并通过字符识别神经网络模型，预测得到该光线触点运动轨迹对应的预测字符，并通过字符识别神经网络模型将预测字符与各待确定字符进行相似度匹配，得到各个待确定字符对应的字符匹配度，然后将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符，从而具体且更加准确地识别出用户所意图书写的字符，进一步提高了虚拟现实眼镜100的字符输入准确性。
47.在一种可能的实施方式中，激光收发模块1还用于：步骤c10，在多个方位探测光束，识别所探测的光束的光线波长；步骤c20，将光线波长在预设的目标波长范围内的光束，作为布局阵列光束对应反射回的反射波束。
48.在本实施例中，该目标波长范围，本领域技术人员可根据实际情况进行设置，本实施例不作具体的限定。可以理解的是，激光收发模块1向预设投影平面的第一光线波长的该布局阵列光束，那么该布局阵列光束在投射方向而反射回的反射波束的光线波长也应该为第一光线波长，此时可将第一光线波长作为中值，以该中值上下浮动预设波长值作为目标波长范围，从而能过滤掉其他光线波长的光束，屏蔽掉外界其他无关设备所产生的光束。因此，本实施例通过激光收发模块1在多个方位探测光束，识别所探测的光束的光线波长，将
光线波长在预设的目标波长范围内的光束，作为该布局阵列光束对应反射回的反射波束，从而通过识别特定波长的光束并进行接收，进而避免外界其他无关设备发射光线对用户所书写字符的识别准确性造成干扰，进一步提高了虚拟现实眼镜100的字符输入准确性。
49.在一种可能的实施方式中，处理模块3还用于：步骤b10，若识别出的字符为确定字符，则将确定字符作为目标字符进行输入，其中，确定字符为识别准确的概率大于或等于预设概率阈值的字符。
50.当不存在用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况时，通过本实施例的回波识别方式，可直接准确地识别出用户的书写运动轨迹（无需再结合图像识别方式对用户的书写运动轨迹进行双重识别），进而达到准确识别出用户所书写的字符的目的。
51.因此本实施例通过若识别出的该字符为确定字符，则将该确定字符作为目标字符进行输入，其中，该确定字符为识别准确的概率大于或等于预设概率阈值的字符，从而基于回波识别方式对用户的书写运动轨迹进行准确识别，确定出该书写运动轨迹对应的字符，由于本实施例的回波识别方式，可在投影的字符书写界面中精准捕捉到激光光束受到阻断的阻断坐标位置，从而准确识别出手指或者交互笔在该字符书写界面上的笔画点位置，并对该笔画点位置进行动态追踪，从而准确识别出用户的书写运动轨迹，相比于通过摄像头跟踪书写工具的笔尖，从跟踪得到的笔尖的运动轨迹，确定出手写笔迹对应的字符信息（即直接采用跟踪笔尖的图像识别方式），本实施例提高了虚拟现实眼镜100的字符输入准确性。
52.在一种可能的实施方式中，虚拟现实眼镜100还包括手柄操控模块4，处理模块3包括生成单元31和追踪单元32，手柄操控模块4、生成单元31和追踪单元32依次电连接，手柄操控模块4，用于获取用户所触发的按钮键位信息；生成单元31，用于根据按钮键位信息生成控制指令，其中，控制指令包括落笔指令、移笔指令或完全提笔指令；追踪单元32，用于根据控制指令，依据时序性对阻断坐标位置进行动态追踪。
53.在本实施例中，具体地，通过手柄操控模块4获取用户所触发的按钮键位信息，其中，按钮键位信息可包括键位类型和操作类型，该键位类型为用户在手柄操控模块4中所具体按压的功能按键的种类，操作类型包括点击操作和长按操作等，其中，点击操作又包括单击操作和双击操作。容易理解的是，该操作类型可以通过操作直接产生，例如，对手柄操控模块4上的第一功能按键进行点击，其对应的操作类型为点击操作。对手柄操控模块4上的第二功能按键进行长按，其对应的操作类型为长按操作等。该控制指令也可以通过预设的操作映射规则进行触发，例如，将对手柄操控模块4上的第一功能按键进行点击对应触发的控制指令为落笔指令。将对手柄操控模块4上的第二功能按键进行点击对应触发的控制指令为移笔指令，将对手柄操控模块4上的第三功能按键进行点击对应触发的控制指令为完全提笔指令，不同的键位类型和操作类型可以映射不同的控制指令，有效提升用户在进行字符书写时的操作灵活性。
54.在本实施例中，在根据该控制指令，依据时序性对阻断坐标位置进行动态追踪时，如果接收到的控制指令为落笔指令，则将接下来追踪该动态移动的阻断坐标位置所勾画的运动轨迹作为字符的一笔画。如果接收到的控制指令为提笔指令，则代表一个字符的所有
笔画还没完全写完，将接收该提笔指令时布局阵列光束的当前阻断坐标位置作为当前笔画的终止落笔点，将下一次接收落笔指令时布局阵列光束的当前阻断坐标位置作为下一笔画的起始落笔点。如果接收到的控制指令为完全提笔指令，则表示一个字符的所有笔画已全部写完。
55.本实施例通过在虚拟现实眼镜100设置手柄操控模块4，通过该手柄操控模块4获取用户所触发的按钮键位信息，通过生成单元31根据该按钮键位信息生成控制指令，其中，该控制指令包括落笔指令、移笔指令或完全提笔指令，再通过追踪单元32根据该控制指令，依据时序性对阻断坐标位置进行动态追踪，从而有效提升用户进行字符输入操作的灵活性，进而更准确识别出用户意图书写的字符，提高用户使用虚拟现实眼镜100时进行字符输入的准确性。
56.在一种可实施的方式中，请参照图3和图4，激光收发模块1包括：比较单元11，用于获取预存的布局阵列光束的标准回波信息，将反射波束的波束信息与标准回波信息进行比较，确定布局阵列光束的回波周期的变动值；定位单元12，用于若回波周期的变动值大于预设时长阈值，则对变动值大于预设时长阈值的反射波束的坐标位置进行定位，得到回波异动坐标位置；将回波异动坐标位置，作为布局阵列光束的光线阻断的阻断坐标位置。
57.在本实施例中，该标准回波信息是指在理论上，布局阵列光束投射至预设投影平面所反射回的反射波束的波束信息（即在没有手指或交互笔等障碍物遮挡时的布局阵列光束的回波信息）。在一实施例中，该标准回波信息，可通过出厂前通过实验研究标定所得，并将标定的该布局阵列光束的标准回波信息，预存于激光收发模块1中。在另一实施例中，可通过在激光收发模块1刚开启投影功能的预设时长内，取在预设波动值范围内的稳定回波信息，作为标准回波信息（基于存在手指或交互笔等障碍物遮挡时，布局阵列光束的回波信息会存在突变的原理）。
58.由于考虑布局阵列光束在受到手指或交互笔的阻挡后，反射回来的时长变短，即回波周期变短。因此，本实施例可通过在检测到回波周期的变动值大于预设时长阈值时（说明布局阵列光束已产生突变），确定布局阵列光束已受到到手指或交互笔的遮挡，此时对该变动值大于预设时长阈值的反射波束的坐标位置进行定位，得到布局阵列光束的回波异动坐标位置，并将该回波异动坐标位置，作为布局阵列光束的光线阻断的阻断坐标位置，从而提高了对用户在字符书写界面上所书写的字符进行识别的准确性，进而提升了虚拟现实眼镜100的字符输入准确性。
59.进一步地，在一种可能的实施方式中，激光收发模块1还包括校准单元13，校准单元13，用于：步骤c10，若帧测到输入的光束定位校准指令，则将预设的校准参考光束投射至预设投影平面上的预设坐标位置以在预设投影平面形成校准标识，其中，校准参考光束的波长与布局阵列光束的波长不同；在本实施例中，用户可通过按压虚拟现实眼镜100的物理按键或者触屏按键来输入该光束定位校准指令。输入该光束定位校准指令后，将开启虚拟现实眼镜100的光束定位校准功能，以对该反射波束的坐标位置进行定位的光束定位识别算法进行校准。
60.步骤c20，接收校准参考光束对应反射回的校准反射光束；
步骤c30，根据校准反射光束的波束信息，对激光收发模块1中预存的光束定位识别算法进行校准；定位单元12，还用于：步骤c40，若回波周期的变动值大于预设时长阈值，则通过校准后的光束定位识别算法，对变动值大于预设时长阈值的反射波束的坐标位置进行定位，得到回波异动坐标位置。
61.在本实施例中，该校准标识为一种可视化的校准标识，例如该校准标识可为一种光标。用户可通过使用手指或交互笔落点至字符书写界面上的该校准标识的坐标位置（即手指或交互笔的触控坐标位置与该校准标识的坐标位置重合），此时，该校准标识的坐标位置即为布局阵列光束的光线阻断的阻断坐标位置，由于该校准标识的坐标位置是已知的（校准标识的坐标位置是预先设置的，即上述的预设坐标位置），因此，可通过实际检测该光线阻断的阻断坐标位置，以及该已知的预设坐标位置，来完成对布局阵列光束的该阻断坐标位置进行定位的光束定位识别算法的校准过程。该预设坐标位置，本领域技术人员可根据实际情况进行设置，以更好地校准该光束定位识别算法的识别算法为准，本实施例不作具体的限定。在一实施例中，该预设坐标位置可为字符书写界面的中间的坐标位置。
62.在本实施例中，由于需要通过激光收发模块1接收布局阵列光束在投射方向而反射回的反射光束，并根据该反射光束，对布局阵列光束的光线阻断的阻断坐标位置进行定位，从而识别出用户的交互笔或者手指在字符书写界面的笔画点位置。因此这个定位过程需要光束定位识别算法，对布局阵列光束的该阻断坐标位置进行定位，由于该光束定位识别算法与激光收发模块1和预设投影平面之间的空间相对位置关系密切相关，因此为了提升对布局阵列光束的光线阻断的阻断坐标位置进行定位识别的准确性，需要在对布局阵列光束的光线阻断的阻断坐标位置进行定位之前，对该光束定位识别算法进行校准，本实施例通过校准单元13在帧测到输入的光束定位校准指令时，将预设的校准参考光束投射至预设投影平面上的预设坐标位置以在预设投影平面形成校准标识，其中，校准参考光束的波长与布局阵列光束的波长不同，并接收该校准参考光束对应反射回的校准反射光束，根据该校准反射光束的波束信息，对激光收发模块1中预存的光束定位识别算法进行校准，从而提高了在字符书写界面上所书写的字符进行识别的准确性，进一步提升了虚拟现实眼镜100的字符输入准确性。
63.进一步地，在一种可能的实施方式中，虚拟现实眼镜100还包括触屏显示模块5，触屏显示模块5与确定单元35电连接，确定单元35，还用于：步骤d10，若判定字符匹配度最高的待确定字符为一个，则执行：将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符的步骤；步骤d20，若判定字符匹配度最高的待确定字符为多个，则将字符匹配度最高的各待确定字符输入至触屏显示模块5进行显示，其中，字符匹配度最高的各待确定字符分别显示于触屏显示模块5的显示界面中不同的坐标位置；触屏显示模块5，用于：步骤d30，若接收到用户在显示界面的触控选择指令，则确定触控选择指令对应的触控坐标位置；
在本实施例中，容易理解的是，该触控选择指令是指用户对触屏显示模块5的显示界面上显示的待确定字符进行点击确认的指令。
64.确定单元35，还用于：步骤d40，将触控坐标位置对应显示的字符，作为各待确定字符中选择的目标字符。
65.考虑由于可能存在多个并列的字符匹配度最高的待确定字符的情况，即可能存在用户所书写的字符不规范、光束回波受到环境其他光束的干扰，或者光束回波受到环境其他障碍物的阻碍等情况而导致即使通过回波识别方法和图像识别方法，对用户所书写的字符进行双重识别，也仍然无法准确地识别出用户所意图书写的字符具体为哪一个，因此本实施通过设置触屏显示模块5，在判定字符匹配度最高的待确定字符为多个时，将字符匹配度最高的各待确定字符输入至触屏显示模块5进行显示，其中，该字符匹配度最高的各待确定字符分别显示于触屏显示模块5的显示界面中不同的坐标位置，若接收到用户在显示界面的触控选择指令，则确定该触控选择指令对应的触控坐标位置，并将该触控坐标位置对应显示的字符，作为各待确定字符中选择的目标字符，从而在通过回波识别方法和图像识别方法，对用户所书写的字符进行双重识别，也仍然无法具体且准确地识别出用户所意图书写的字符时，通过将字符匹配度最高的各待确定字符分别显示于触屏显示模块5的显示界面中不同的坐标位置，由用户在该显示界面进行触控选择，从而主动选择出用户所意图书写的字符，进一步提高了虚拟现实眼镜100的字符输入准确性。
66.再进一步地，请参照图4和图5，在一种可能的实施方式中，图像识别模块2还包括：获取单元21，用于获取预存的书写物尖端对应的目标特征，其中，书写物尖端为手指指尖或工具笔笔尖，目标特征为书写物尖端对应的形状特征和/或颜色特征；轮询单元22，用于将当前图像帧中的各图像特征，与目标特征进行相似度的轮询匹配，并将匹配度最高的图像特征，作为书写物尖端；判定单元23，用于将书写物尖端的坐标位置，作为用户在字符书写界面的触控点的触点坐标位置。
67.在本实施例中，当书写物尖端为手指指尖时，该目标特征可为手指指尖对应的形状特征和/或颜色特征，例如手指指尖的形状特征呈圆锥状或椭圆状，手指指尖的颜色特征呈古铜色（具体可视用户的肤色而定）。
68.当书写物尖端为工具笔笔尖时，该目标特征可为工具笔笔尖对应的形状特征和/或颜色特征，例如工具笔笔尖的形状特征呈圆锥状，工具笔笔尖的颜色特征呈银白色（具体可视工具笔的类型而定）。
69.本实施例通过将图像识别模块2设置为获取单元21、轮询单元22和判定单元23，通过获取单元21获取预存的书写物尖端对应的目标特征，其中，书写物尖端为手指指尖或工具笔笔尖，目标特征为书写物尖端对应的形状特征和/或颜色特征，然后通过轮询单元22将当前图像帧中的各图像特征，与目标特征进行相似度的轮询匹配，并将匹配度最高的图像特征，作为书写物尖端，再通过判定单元23将书写物尖端的坐标位置，作为用户在字符书写界面的触控点的触点坐标位置，从而提高了对当前图像帧进行图像识别，识别出用户在字符书写界面的触控点的触点坐标位置的准确性。
70.再进一步地，在一种可实施的方式中，图像识别模块2还包括：
采集单元24，用于若检测到输入的书写物更新指令时，则控制图像识别模块2对新的书写物进行图像采集，得到最新书写物图像；扫描单元25，用于对最新书写物图像中的书写物进行轮廓扫描，扫描得到最新的书写物尖端对应的形状特征和/或颜色特征；预存单元26，用于将最新的书写物尖端对应的形状特征和/或颜色特征，作为书写物尖端对应的目标特征进行预存。
71.在本实施例中，用户可通过按压虚拟现实眼镜100的物理按键或者触屏按键来输入该书写物更新指令。输入该书写物更新指令后，将开启虚拟现实眼镜100的书写物更新功能，以拍摄用户最新使用的书写物图像（即最新书写物图像），并通过该最新书写物图像，识别出用户最新使用的书写物对应书写物尖端的形状特征和/或颜色特征进行预存。
72.不同用户所使用的书写物对于的目标特征往往存在区别，例如书写物类型为手指指尖，由于每个用户的手指的肤色和形状（形状包括手指尺寸和手指轮廓的属性）往往多多少少会存在区别，因此手指尖端对应的形状特征和/或颜色特征也往往多多少少会存在区别。还例如书写物类型为工具笔时，由于不同用户所使用的工具笔的类型或型号可能不同，因此工具笔尖端对应的形状特征和/或颜色特征也往往会存在区别。所以，本实施例将图像识别模块2设置为采集单元24、扫描单元25和预存单元26，在检测到输入的书写物更新指令时，通过采集单元24控制图像识别模块2对新的书写物进行图像采集，得到最新书写物图像，并通过扫描单元25对最新书写物图像中的书写物进行轮廓扫描，扫描得到最新的书写物尖端对应的形状特征和/或颜色特征，然后通过预存单元26将最新的书写物尖端对应的形状特征和/或颜色特征，作为书写物尖端对应的目标特征进行预存，从而使得用户每次在佩戴虚拟现实眼镜100进行字符书写之前，可通过先对当前所需使用的书写物进行图像识别，得到最新的书写物尖端对应的形状特征和/或颜色特征，然后更新存储至虚拟现实眼镜100的系统，从而在用户进行字符书写的过程中，提高对书写物尖端的捕捉准确性，进而提高了对当前图像帧进行图像识别，识别出用户在字符书写界面的触点坐标位置的准确性。
73.在一种可能的实施方式中，处理模块3还包括：通信单元（未图示），用于将光线触点运动轨迹和各待确定字符发送至字符分析服务器，其中，字符分析服务器中存储有训练好的字符识别神经网络模型；接收字符分析服务器响应于光线触点运动轨迹和各待确定字符，而返回的目标字符。
74.本实施例通过将光线触点运动轨迹和各待确定字符发送至字符分析服务器，其中，该字符分析服务器中存储有训练好的字符识别神经网络模型，由字符分析服务器中的字符识别神经网络模型对该光线触点运动轨迹进行预测，预测得到光线触点运动轨迹对应的预测字符，并通过字符识别神经网络模型将预测字符与各待确定字符进行相似度匹配，得到各个待确定字符对应的字符匹配度，然后将字符匹配度最高的待确定字符，作为各待确定字符中选择的目标字符，从而使得本实施例借助字符分析服务器强大的运算功能，无需虚拟现实眼镜100侧对各个待确定字符进行分析，选定出用户最有可能意图书写的字符，进而使得虚拟现实眼镜100无需存储该字符识别神经网络模型，节省了虚拟现实眼镜100的存储空间，同时降低了虚拟现实眼镜100的运行负载。
75.可以理解，上述场景仅是作为示例，并不构成对于本技术实施例提供的技术方案的应用场景的限定，本技术的技术方案还可应用于其他场景。例如，本领域普通技术人员可
知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
76.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
77.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
78.本技术实施例设备中的单元可以根据实际需要进行合并、划分和删减。
79.在本技术中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本技术技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。
80.在本技术中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
81.本技术技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本技术记载的范围。
82.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。
83.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线（例如同轴电缆、光纤、数字用户线）或无线（例如光学、无线、微波等）方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，（例如，软盘、存储盘、磁带）、光介质（例如，dvd），或者半导体介质（例如固态存储盘solid state disk (ssd)）等。
84.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。