一种虚拟现实书写方法、系统和存储介质与流程

本发明涉及人机交互技术领域，尤其涉及一种虚拟现实书写方法、系统和存储介质。

背景技术：

随着人工智能的不断推进，文字识别技术也随之盛起。当前文字识别技术大多是利用图像识别的技术，尤其随着卷积神经网络(convolutionalneuralnetworks,cnn)的出现，大大提高了因位移、缩放等其它形式导致扭曲不变性的二维图像的识别，并且图像识别的准确度也越来越高。

但这类深度学习算法并非适用于所有场景，因为这类算法做图像识别时需要一些具体图片才能进行，而当处在某些无法提供具体图片或文字的场景时该识别方法便不再适用，从而降低了文字识别的灵活性。

技术实现要素：

本发明实施例提供一种虚拟现实书写方法、系统和存储介质，用以丰富文字识别的应用场景，提高文字识别的灵活性。

第一方面，提供一种虚拟现实书写方法，包括：

在第一用户书写文字的过程中，分别采集第一肌电信号和第一手指运动信号；

根据所述第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号，其中，所述文字识别模型为基于预先建立的关系样本库利用卷积神经网络进行训练得到的，所述关系样本库中至少包括第二肌电信号和第二手指运动信号与文字样本和/或压力信号之间的对应关系。

在一种可能的实施方式中，所述关系样本库为按照以下流程获得的：

在第二用户书写文字的过程中，分别采集第二肌电信号和第二运动信号；并

记录所述第二用户书写文字时的压力信号、时间序列以及书写的文字；

分别对所述第二肌电信号和第二运动信号进行滤波、降噪处理；

按照记录的时间序列对处理后的第二肌电信号和第二运动信号进行分割；

建立分割后的第二肌电信号和第二运动信号与所述第二用户书写的各文字和/或该文字对应的压力信号之间的对应关系得到所述关系样本库。

在一种可能的实施方式中，基于预先建立的关系样本库利用卷积神经网络按照以下流程进行训练得到所述文字识别模型：

初始化文字识别模型参数；

从所述关系样本库中包含的对应关系中选择分割后的第二肌电信号和第二运动信号输入所述文字识别模型中；

比较输出的文字信息和/或压力信号与所述关系样本库中选择出的第二肌电信号和第二运动信号对应的文字和/或压力信号；

如果比较结果不大于预设阈值，则结束训练，否则，更新文字识别模型参数继续训练，直至比较结果不大于所述预设阈值。

在一种可能的实施方式中，所述虚拟现实书写方法，还包括：

向所述第一用户输出所述压力信号形成触觉反馈；和/或

向所述第一用户输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，向所述第一用户输出所述压力信号形成触觉反馈，具体包括：

通过置于所述第一用户手指的电触觉刺激电极片向所述第一用户输出所述压力信号形成触觉反馈；和/或

通过所述第一用户佩戴的虚拟现实设备向所述第一用户输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，采集第一肌电信号，具体包括：

通过置于所述第一用户书写文字手臂的差分肌电电极采集第一肌电信号。

在一种可能的实施方式中，采集第一手指运动信号，具体包括：

通过置于所述第一用户书写文字手指的第二指关节处的多轴传感器，采集第一手指运动信号。

在一种可能实施方式中，在利用文字识别模型确定所述用户书写的文字和/或压力信号之前，还包括：

检测所述第一用户的第一书写轨迹；以及

确定检测到的第一书写轨迹与第一预设轨迹匹配。

在一种可能的实施方式中，本发明实施例提供的虚拟现实书写方法，还包括：

在所述第一用户书写文字的过程中，检测所述第一用户的第二书写轨迹；

如果确定所述第二书写轨迹与第二预设轨迹匹配，则进入休眠状态；

如果所述第二书写轨迹与第三预设轨迹匹配，则退出当前运行程序。

第二方面，提供一种虚拟现实书写系统，包括中央处理控制模块、肌电图emg模块，微机电系统mems模块，其中：

所述emg模块，用于在第一用户书写文字的过程中，采集第一肌电信号，并传输给所述中央处理控制模块；

所述mems模块，用于在第一用户书写文字的过程中，采集第一手指运动信号，并传输给所述中央处理控制模块；

所述中央处理控制模块，用于根据所述第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号，其中，所述文字识别模型为基于预先建立的关系样本库利用卷积神经网络进行训练得到的，所述关系样本库中至少包括第二肌电信号和第二手指运动信号与文字样本和/或压力信号之间的对应关系。

在一种可能的实施方式中，虚拟现实书写系统，还包括记录模块，其中：

所述emg模块，还用于在第二用户书写文字的过程中，采集第二肌电信号，并传输给所述中央处理控制模块；

所述mems模块，还用于在第二用户书写文字的过程中，采集第二手指运动信号，并传输给所述中央处理控制模块；

所述记录模块，用于记录所述第二用户书写文字时的压力信号、时间序列以及书写的文字；

所述中央处理控制模块，还用于分别对所述第二肌电信号和第二运动信号进行滤波、降噪处理；按照记录的时间序列对处理后的第二肌电信号和第二运动信号进行分割；建立分割后的第二肌电信号和第二运动信号与所述第二用户书写的各文字和/或该文字对应的压力信号之间的对应关系得到所述关系样本库。

在一种可能的实施方式中，所述中央处理控制模块，具体用于初始化文字识别模型参数；从所述关系样本库中包含的对应关系中选择分割后的第二肌电信号和第二运动信号输入所述文字识别模型中；比较输出的文字信息和/或压力信号与所述关系样本库中选择出的第二肌电信号和第二运动信号对应的文字和/或压力信号；如果比较结果不大于预设阈值，则结束训练，否则，更新文字识别模型参数继续训练，直至比较结果不大于所述预设阈值。

在一种可能的实施方式中，本发明实施例提供的虚拟现实书写系统，还包括触觉反馈模块和/或视觉反馈模块，其中：

所述中央处理控制模块，还用于向所述触觉反馈模块输出所述压力信号形成触觉反馈和/或向所述视觉反馈模块输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，所述触觉反馈模块包括电触觉刺激电极片，所述视觉反馈模块包括虚拟现实设备，其中：

所述中央处理控制模块，具体用于通过置于所述第一用户手指的电触觉刺激电极片向所述第一用户输出所述压力信号形成触觉反馈；和/或通过所述第一用户佩戴的虚拟现实设备向所述第一用户输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，所述emg模块包括差分肌电电极；以及

所述emg模块，具体用于通过置于所述第一用户书写文字手臂的差分肌电电极采集第一肌电信号。

在一种可能的实施方式中，所述emes模块包括多轴传感器；以及

所述emes，具体用于通过置于所述第一用户书写文字手指的第二指关节处的多轴传感器，采集第一手指运动信号。

在一种可能的实施方式中，所述中央处理控制模块，还用于在利用文字识别模型确定所述用户书写的文字和/或压力信号之前，检测所述第一用户的第一书写轨迹；以及确定检测到的第一书写轨迹与第一预设轨迹匹配。

在一种可能的实施方式中，所述中央处理控制模块，还用于在所述第一用户书写文字的过程中，检测所述第一用户的第二书写轨迹；如果确定所述第二书写轨迹与第二预设轨迹匹配，则控制当前运行程序进入休眠状态；如果所述第二书写轨迹与第三预设轨迹匹配，则退出当前运行程序。

第三方面，提供一种计算装置，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述虚拟现实书写方法所述的任一步骤。

第四方面，提供一种计算机可读介质，其存储有可由计算装置执行的计算机程序，当所述程序在计算装置上运行时，使得所述计算装置执行上述虚拟现实书写方法所述的任一步骤。

本发明实施例提供的虚拟现实书写方法、系统和存储介质，通过建立肌电信号和手指运动信号与用户书写文字时的压力信号以及所书写的文字之间的对应关系得到关系样本库，利用卷积神经网络对关系样本库中包含的对应关系进行训练得到文字识别模型，这样，在用户书写过程中，可以根据采集的肌电信号和手指运动信号利用文字识别模型确定用户书写的文字和书写文字时产生的压力，上述对文字识别的方法，无需依赖图片等介质，从而丰富了文字识别的应用场景，提高了文字识别的灵活性。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1a为根据本发明实施方式的虚拟现实书写系统的结构示意图；

图1b为根据本发明实施方式的虚拟现实书写系统的一种可能的硬件结构示意图；

图2为根据本发明实施方式的第一种文字识别模型训练流程示意图；

图3为根据本发明实施方式的离线训练模式和在线识别模式之间的关系示意图；

图4为根据本发明实施方式的关系样本数据库的建立流程示意图；

图5为根据本发明实施方式的第二种文字识别模型训练流程示意图；

图6为根据本发明实施方式的第一种虚拟现实书写方法的实施流程示意图；

图7为根据本发明实施方式的第二种虚拟现实书写方法的实施流程示意图；

图8为根据本发明实施方式的计算装置的结构示意图。

具体实施方式

为了丰富文字识别方法的应用场景，提高文字识别的灵活性，本发明实施例提供了一种虚拟现实书写方法、系统和存储介质。

本发明中的计算装置可以是个人电脑(英文全称：personalcomputer，pc)、平板电脑、个人数字助理(personaldigitalassistant，pda)、个人通信业务(英文全称：personalcommunicationservice，pcs)电话、笔记本和手机等计算装置，也可以是具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们能够向用户提供语音和/或数据连通性的设备，以及与无线接入网交换语言和/或数据。

另外，本发明实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明实施例中，利用文字与肌电特性、加速度特性具有相关性的特点，通过对肌电信号和加速度信号进行特征提取，确定其与具体文字的联系建立文字识别模型。采用这样的方式，便可以根据手臂肌电信号(emg,electromyography，肌电图)与mems信号进行文字的预测。

肌电信号的产生过程如下：大脑运动皮层产生动作电位，经由脊髓及周围神经系统到达肌肉纤维，最后经过皮肤的低通滤波作用，在皮肤表面形成电势场，因为肌电信号超前于肌肉力，所以在肌肉产生反应时便可以收集到。随着半导体技术的发展，mems加速度传感器和肌电传感器可靠性高、灵敏度高、可靠性高、体积小、重量轻、功耗低等优良特性，在人机交互领域得到了越来越多得应用。

当用户在书写文字时，手臂、手指的力度、运动方式等决定了所写的文字及这一文字的具体间架结构；而手臂、手指的力度、运动方式等又可通过肌电传感器、mems加速度传感器采集到。这样便能通过建立起的肌电信号、mems加速度信号与文字之间的关系，由肌电信号与加速度信号便能得出所写文字及其具体书写时的相关信息。

虚拟现实(virtualreality，vr)技术，是利用计算机产生一种人为的虚拟环境，其实时的三维空间表现能力提供了一种人机交互式的操作环境，基于此，本发明可以在虚拟现实的条件下应用，以为用户提供书写文字时的视觉反馈。电刺激触觉反馈为书写时的手指提供必要的反馈，通过震动感、压力感、粗糙感、刺痛感等的组合，弥补了处于虚拟现实的人失去的触觉，为用户提供书写文字时的触觉反馈。

本发明实施例提供的虚拟现实书写方法可以应用于虚拟现实书写系统中，如图1a所示，其为虚拟现实书写系统的结构示意图，包括中央处理控制模块11，emg(肌电图)模块12和mems(微机电系统)模块13。具体实施时，本发明实施例提供的文字识别系统，还可以包括触觉反馈模块14和视觉反馈模块15。

在一种可能的实施方式中，本发明实施例提供的文字识别系统还可以包括记录模块16，用于在文字识别模型训练过程中，记录用户书写的文字以及书写文字时产生的压力信号，并将记录的文字及其对应的压力信号传输给中央处理控制模块，中央处理控制模块根据用户书写文字时emg模块采集的肌电信号、emes模块采集的手指运动信号以及记录模块记录的压力信号和用户书写的文字之间的对应关系得到关系样本库，利用关系样本库中记录的样本数据对文字识别模型进行训练。

在一种可能的实施方式中，中央处理控制模块，可以为中央存储处理控制器，mems模块可以为mems加速度传感器，emg模块可以为肌电电极片，触觉反馈模块可以为电触觉刺激电极片，利用电刺激方法产生触觉效果，增加浸入感；视觉反馈模块可以为虚拟现实设备，例如，虚拟现实眼镜，虚拟现实头盔等等，够接收中央存储处理控制器传来的信号，并能生成对应的图像信号；记录模块可以为带有触摸屏的智能终端设备，例如平板电脑等，用于在离线训练模式下记录手指对平板的压力，以及所写的文字信息，如图1b所示，为其为本发明实施例提供的虚拟现实书写系统的一种可能的硬件结构示意图。

本发明实施例提供的文字识别系统中，肌电图模块、加速度模块、中央处理控制模块、以及记录模块和触觉、视觉反馈模块等多模态交互方式，使人们在虚拟现实的环境下书写变得简单，易操作化，并且可以脱离具体的写字实物(纸张、笔、触摸屏版、电子写字板等)。

具体实施时，中央处理控制模块，可以用于接收mems模块和emg模块采集的多通道信号，并对接收到的信号进行处理。具体实施时，mems模块与emg模块传输的数据可以为经过预处理的数字信号，这样，中央处理控制模块可直接对接收到的数字信号进行数据分割、特征提取、进行训练得出分类器，如图2所示。

首先是数据分割，数据分割的作用是将记录到的一段时间内的肌电信号流划分成众多长度相等的小数据块，方便用来提取信号的特征。同时数据块长度与信号处理时间成正比，但数据块长度越短分类准确率越低，因此既需要数据块长度足够长以保持其准确率，又需要数据短达到同步处理的效果，所以需要在数据分割长度和识别率上进行取舍。具体实施时，分割的信号长度可以根据实际需要进行设定，本发明实施例对此不进行限定，例如，可以选择信号长度为200ms-300ms。

对于mems信号，出于对运算复杂度与准确率综合考量，本发明实施例可以选择基于阈值分割的自动切分算法，具体算法如下所示：

(1)将三轴手势加速度信号转化为合加速度信号：即

(2)设置放大阈值，优化合加速度信号，在一种可能的实施方式中，可以按照以下方法进行优化：

若max(signal)<放大阈值，则signal＝4*signal

若则signal＝3*signal

(3)优化后的合加速度信号用最小二乘法进行直线拟合；

(4)将拟合后的加速度信号进行切分：

slope>slopethreshold||seg_error>seg_errorthreshold。

其中，slope为拟合直线斜率，slopethrehold表设斜率阈值，seg_error表示拟合直线的残差，seg_errorthreshold表示设置的残差阈值。

其次是特征提取，常用的特征提取方法主要包括：绝对值均值(meanabsolutevalue，mav)、均方根(rootmeansquare，rms)、方差(variance，var)、过零点数(zerocrossing，zc)、波形长度(waveformlength，wl)、斜率符号变化(slopesignchange，ssc)等，但肌电信号在一定程度上也具有非线性的特点，为了使本发明实施例提取到更精确的信号特征，本发明实施例中可以使用双谱分析法。应当理解，上述提供的特征提取方法均可以得到较好的训练模型，为了便于说明，本发明实施例中以双谱分析法为例对特征提取的具体过程进行说明。

高阶谱是根据累积量方程来定义的，所以也被称为累积量谱。一个非高斯平稳机信号x(t)的n阶累积量方程的表达式如下：

其中，是信号x(t)的n阶矩方程，是信号x(t)的等效高斯过程的n阶矩方程，它的均值和自相关序列与信号x(t)一致。

双谱b(ω1,ω2)是信号x(t)的3阶累计量的二维傅里叶变换，其公式如下：

其中，同时，一个线性过程的功率可以由它的双普变换完整重构出来，其表达式如下：

其中，h(ω)是该线性时不变系统的传递函数，γ²和γ³是标量常数。

因此对于处理后的加速度信号，用同样的处理方式是完全可行的，此处不再赘述。

而在本发明实施例中，可以使用直接估计的方法计算肌电信号的双普矩阵。x(t)是一个有线长度的信号，被分割为k段，则信号双谱的直接估计公式如下：

其中，sk(ω1,ω2)是第k段信号的双谱变换，其计算方法如下：

其中，l表示第k段中的样本个数，x(ω)表示信号x(t)的傅里叶变换，*表示复数共轭变换。

信号在双谱变换后，得到一个nfft×nfft的双普矩阵，其中nfft是fft变换的长度。同时，对高阶信号处理中，可以使用两个方向的积分方法将原始的双普矩阵数据变换到一个维数合理的范围。比如径向积分方法如下：其中：

α表示积分方向的斜率值，范围从0到1，bs(ω1,aω2)表示输入的双谱矩阵值。在实际计算中，上式可由下式逼近得到：

其中，表示与y值接近的最大整数值，而表示与y值接近的最小整数值。

轴向积分是沿频率轴方向计算的，其计算公式如下：

因此我们可以用以下公式逼近它：

bsia(ω1)＝∑bs(ω1,ω2)

综上所述，双普积分特征提取流程是以原始信号源，通过双谱变换形成双普矩阵，再进行一维积分形成积分双谱，最后通过log变换得到双普特征。

具体实施时，中央处理控制模块还需要处理在用户通过触摸屏书写文字时，平板电脑等所记录的压力信号以及文本信息。由于本发明实施例中对含有时间变量的信号进行处理，因此压力信号与文本信息也都有时间变量，为了更好地建立起对照关系，应当以mems信号与emg信号的最小时间长度对这两者进行划分。

中央处理控制模块还可以采用wifi(无线保真)、蓝牙等无线通信手段或有线通信手段与触觉反馈模块、视觉反馈模块连接。且能够利用上述处理后的特征信号，在神经网络中进行训练，得出一个精确度较高的分类器，即文字识别模型。

本发明实施例提供的虚拟现实书写方法包括离线训练模式和在线识别模式。如图3所示，其为离线训练和在线识别两个阶段之间的关系示意图。

在离线训练阶段，参与训练的第二用户佩戴mems加速度传感器和emg传感器，以正常的书写方式在文字书写设备，例如可以为平板电脑上书写文字。基于此，可以按照图4所示的流程建立关系样本数据库：

s41、在第二用户书写文字的过程中，分别采集第二肌电信号和第二运动信号。

s42、记录第二用户书写文字时的压力信号、时间序列以及书写的文字。

具体实施时，虚拟现实书写系统同步采集mems信号、emg信号、平板电脑上压力信号、时间信号以及文字样本。

s43、分别对第二肌电信号和第二运动信号进行滤波、降噪处理。

本步骤中，对mems模块和emg模块采集的mems信号和emg信号进行滤波、降噪等处理。

s44、按照记录的时间序列对处理后的第二肌电信号和第二运动信号进行分割。

步骤s44中，步骤s33处理后的emg信号和mems信号，在时序上对照所记录事件序列进行分割。

s45、建立分割后的第二肌电信号和第二运动信号与所述第二用户书写的各文字和/或该文字对应的压力信号之间的对应关系得到关系样本库。

步骤s45中，构建起mems信号、emg信号与压力信号、文字样本之间的关系样本库；具体实施时，可以以此关系样本库进行时序卷积神经网络训练，得出输入为mems信号与emg信号，输出为压力信号与文字的文字识别模型。

如图5所示，其为基于构建的关系样本库，利用时序卷积神经网络对文字识别模型进行训练的流程示意图，包括以下步骤：

s51、初始化文字识别模型参数。

s52、从关系样本库中包含的对应关系中选择分割后的第二肌电信号和第二运动信号输入文字识别模型中。

s53、比较输出的文字信息和/或压力信号与关系样本库中选择出的第二肌电信号和第二运动信号对应的文字和/或压力信号。

具体实时时，将关系样本库中保存的处理后的mems信号、emg信号输入到待训练的文字识别模型中，将待训练的文字识别模型输出的压力信号以及文字识别结果与关系样本库中该mems信号和emg信号对应的压力信号和文字进行比较得到比较结果。

s54、判断比较结果是否不大于预设阈值，如果是，流程结束，否则执行步骤s55。

s55、更新文字识别模型参数，返回执行步骤s52。

通过图6所示的流程，可以训练得到文字识别模型，基于训练好的文字识别模型，本发明实施例中可以按照图6所示的流程进行文字识别：

s61、在第一用户书写文字的过程中，分别采集第一肌电信号和第一手指运动信号。

具体实施时，进行文字识别的第一用户佩戴mems加速度传感器以及emg肌电信号传感器。在一种可能的实施方式中，mems加速度传感器由一个9轴传感器构成，大致位于写字手指的第二指节处，主要用于采集测量用户手指运动信息，运动信息汇集于中央处理控制模块；emg肌电信号传感器可以由8对差分肌电电极组成，分散置于用户写字那只手的小臂上，emg模块用于采集用户小臂肌肉活动信号，肌电信号汇集于中央处理控制模块。

具体实施中，可以通过置于第一用户书写文字手臂的差分肌电电极采集第一肌电信号，通过置于第一用户书写文字手指的第二指关节处的多轴传感器，采集第一手指运动信号。其中，多轴传感器可以为9轴传感器。

s62、根据第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号。

具体实施中，本发明实施例提供的虚拟现实书写方法，还可以包括以下步骤：向第一用户输出压力信号形成触觉反馈；和/或向第一用户输出确定出的文字形成视觉反馈。

在一种可能实施方式中，通过置于所述第一用户手指的电触觉刺激电极片向所述第一用户输出所述压力信号形成触觉反馈；和/或通过所述第一用户佩戴的虚拟现实设备向所述第一用户输出确定出的文字形成视觉反馈。这种实施方式中，第一用户头部需要佩戴vr头盔或者vr眼镜，进行书写的指尖佩戴电触觉刺激电极片，这样，文字识别模型输出的压力信号由中央处理控制模块处理传输到电触觉刺激电极片，在用户指尖形成触觉反馈，将文字识别模型识别出的文字由中央处理控制模块处理后传输到第一用户佩戴的vr头盔或者vr眼镜中，形成图像文字信息，作为视觉反馈。

在一种可能的实施方式中，在分别采集第一肌电信号和第一手指运动信号之前，还包括：检测第一用户的第一书写轨迹；以及确定检测到的第一书写轨迹与第一预设轨迹匹配。即在监测到的第一书写轨迹与第一预设轨迹相匹配时，可以触发开始进行文字识别。例如，可以根据采集的mems信号和emg信号检测第一用户是否是顺时针画圆圈，如果是，则进入文字识别流程，如果否，则持续根据采集的mems信号和emg信号来检测第一用户是否顺时针画圆圈，这种情况下，还可以通过电触觉刺激模块对指尖施加初级触觉反馈，并提示用户可以开始书写文字。

在用户书写文字的过程中，还可以检测第一用户的第二书写轨迹；如果确定第二书写轨迹与第二预设轨迹匹配，则进入休眠状态；如果第二书写轨迹与第三预设轨迹匹配，则退出当前运行程序。例如，可以根据采集的mems信号和emg信号检测第一用户是否连续两次逆时针画圆圈，如果是，则控制当前运行程序进入休眠状态，在另一实施方式中，如果连续两次检测到逆时针画圆圈，则进一步判断是否检测到画叉手势，如果是，则跳出所有步骤，退出当前运行程序，即在检测到连续两次逆时针画圆圈加一次画叉手势，则退出当前运行程序，如果仅检测到连续两次逆时针画圆圈，则控制当前运行程序进入休眠状态。同时，还可以根据识别出的压力信号传递给电触觉刺激模块，完成同步触觉反馈，将识别出的文本信息传回虚拟现实设备，完成同步视觉反馈。

为了更好地理解本发明实施例，以下结合文字识别的具体实施过程对本发明实施例提供的虚拟现实书写方法进行详细说明。如图7所示，可以包括以下步骤：

s71、开启mems模块与emg模块同步进行手指加速度信号与肌电信号的采集与处理，以及利用文字识别模型进行识别，开启电触觉刺激电极片与虚拟现实头盔以便输出相应压力信号与文字信息。

s72、检测虚拟现实设备是否开启，以及检测mems模块、emg模块、电触觉反馈模块状态是否正常，如果是，则执行步骤s73，否则执行步骤s75。

具体实施时，如果虚拟现实设备未开启、mems模块或者emg模块异常，则均执行步骤s75，即提示用户出错。只有三者检测均通过时，执行步骤s73。

s73、提示用户可以开始书写。

本步骤中，如果各项检测均通过，则提示用户可以开始书写，例如，通过电触觉刺激模块对指尖施加触觉反馈，例如，连续三次施加短间断压力反馈，以提示用户可以开始书写。

s74、根据mems信号、emg信号，检测手指是否顺时针画圆圈，如果是，执行步骤76，如果否，则执行步骤s73。

s75、提示出错，并执行步骤s71。

具体实施时，可以通过闪灯提示报错。

s76、在用户书写的过程中，采集mems信号与emg信号作为输入端信号，输入到文字识别模型中，得到压力信号与文本信息。

具体实施时，如果出现连续两次检测到逆时针画圈则控制当前运行程序进入休眠状态，同时跳转到不走s74，若出现连续两次逆时针画圈加一次画叉手势，则直接关闭各设备，并跳出所有步骤。

s77、将获得的压力信息传递给电触觉刺激模块，完成同步触觉反馈；将得到的文本信息传递给虚拟现实设备，完成同步视觉反馈。

s78、根据采集的mems信号和emg信号检测用户手指是否连续两次逆时针画圈，如果是，则执行步骤s79，如果否，执行步骤s76。

s79、判断是否检测到一次画叉手势，如果是，执行步骤s710，否则，执行步骤s711。

s710、退出当前运行程序，流程结束。

s711、控制当前运行程序进入休眠状态，并执行步骤s74。

基于同一发明构思，本发明实施例中还提供了一种虚拟现实书写系统，由于上述系统解决问题的原理与虚拟现实书写方法相似，因此上述系统的实施可以参见方法的实施，重复之处不再赘述。

本发明实施例提供的虚拟现实书写系统，包括中央处理控制模块、肌电图emg模块，微机电系统mems模块，其中：

所述emg模块，用于在第一用户书写文字的过程中，采集第一肌电信号，并传输给所述中央处理控制模块；

所述mems模块，用于在第一用户书写文字的过程中，采集第一手指运动信号，并传输给所述中央处理控制模块；

所述中央处理控制模块，用于根据所述第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号，其中，所述文字识别模型为基于预先建立的关系样本库利用卷积神经网络进行训练得到的，所述关系样本库中至少包括第二肌电信号和第二手指运动信号与文字样本和/或压力信号之间的对应关系。

在一种可能的实施方式中，虚拟现实书写系统，还包括记录模块，其中：

所述emg模块，还用于在第二用户书写文字的过程中，采集第二肌电信号，并传输给所述中央处理控制模块；

所述mems模块，还用于在第二用户书写文字的过程中，采集第二手指运动信号，并传输给所述中央处理控制模块；

所述记录模块，用于记录所述第二用户书写文字时的压力信号、时间序列以及书写的文字；

所述中央处理控制模块，还用于分别对所述第二肌电信号和第二运动信号进行滤波、降噪处理；按照记录的时间序列对处理后的第二肌电信号和第二运动信号进行分割；建立分割后的第二肌电信号和第二运动信号与所述第二用户书写的各文字和/或该文字对应的压力信号之间的对应关系得到所述关系样本库。

在一种可能的实施方式中，所述中央处理控制模块，具体用于初始化文字识别模型参数；从所述关系样本库中包含的对应关系中选择分割后的第二肌电信号和第二运动信号输入所述文字识别模型中；比较输出的文字信息和/或压力信号与所述关系样本库中选择出的第二肌电信号和第二运动信号对应的文字和/或压力信号；如果比较结果不大于预设阈值，则结束训练，否则，更新文字识别模型参数继续训练，直至比较结果不大于所述预设阈值。

在一种可能的实施方式中，本发明实施例提供的虚拟现实书写系统，还包括触觉反馈模块和/或视觉反馈模块，其中：

所述中央处理控制模块，还用于向所述触觉反馈模块输出所述压力信号形成触觉反馈和/或向所述视觉反馈模块输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，所述触觉反馈模块包括电触觉刺激电极片，所述视觉反馈模块包括虚拟现实设备，其中：

所述中央处理控制模块，具体用于通过置于所述第一用户手指的电触觉刺激电极片向所述第一用户输出所述压力信号形成触觉反馈；和/或通过所述第一用户佩戴的虚拟现实设备向所述第一用户输出确定出的文字形成视觉反馈。

在一种可能的实施方式中，所述emg模块包括差分肌电电极；以及

所述emg模块，具体用于通过置于所述第一用户书写文字手臂的差分肌电电极采集第一肌电信号。

在一种可能的实施方式中，所述emes模块包括多轴传感器；以及

所述emes，具体用于通过置于所述第一用户书写文字手指的第二指关节处的多轴传感器，采集第一手指运动信号。

在一种可能的实施方式中，所述中央处理控制模块，还用于在利用文字识别模型确定所述用户书写的文字和/或压力信号之前，检测所述第一用户的第一书写轨迹；以及确定检测到的第一书写轨迹与第一预设轨迹匹配。

在一种可能的实施方式中，所述中央处理控制模块，还用于在所述第一用户书写文字的过程中，检测所述第一用户的第二书写轨迹；如果确定所述第二书写轨迹与第二预设轨迹匹配，则控制当前运行程序进入休眠状态；如果所述第二书写轨迹与第三预设轨迹匹配，则退出当前运行程序。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。

在介绍了本发明示例性实施方式的虚拟现实书写方法和系统之后，接下来，介绍根据本发明的另一示例性实施方式的计算系统。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本发明的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行本说明书上述描述的根据本发明各种示例性实施方式的虚拟现实书写方法中的步骤。例如，所述处理器可以执行如图6中所示的步骤s61、在第一用户书写文字的过程中，分别采集第一肌电信号和第一手指运动信号，和步骤s62、根据第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号。

下面参照图8来描述根据本发明的这种实施方式的计算装置80。图8显示的计算装置80仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图8所示，计算装置80以通用计算设备的形式表现。计算装置80的组件可以包括但不限于：上述至少一个处理器81、上述至少一个存储器82、连接不同系统组件(包括存储器82和处理器81)的总线83。

总线83表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。

存储器82可以包括易失性存储器形式的可读介质，例如随机存取存储器(ram)821和/或高速缓存存储器822，还可以进一步包括只读存储器(rom)823。

存储器82还可以包括具有一组(至少一个)程序模块824的程序/实用工具825，这样的程序模块824包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算装置80也可以与一个或多个外部设备84(例如键盘、指向设备等)通信，还可与一个或者多个使得用户能与计算装置80交互的设备通信，和/或与使得该计算装置80能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口85进行。并且，计算装置80还可以通过网络适配器86与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器86通过总线83与用于计算装置80的其它模块通信。应当理解，尽管图中未示出，可以结合计算装置80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。

在一些可能的实施方式中，本发明提供的虚拟现实书写方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本发明各种示例性实施方式的虚拟现实书写方法中的步骤，例如，所述计算机设备可以执行如图6中所示的步骤s61、在第一用户书写文字的过程中，分别采集第一肌电信号和第一手指运动信号，和步骤s62、根据第一肌电信号和第一手指运动信息，利用文字识别模型确定所述用户书写的文字和/或压力信号。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。

本发明的实施方式的用于文字识别的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在计算设备上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、有线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

应当注意，尽管在上文详细描述中提及了系统的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。

此外，尽管在附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。