具有触觉模拟和情绪感知的虚拟场景体验系统和方法

本发明属于智能穿戴装置领域，具体涉及一种具有触觉模拟和情绪感知的虚拟场景体验系统。

背景技术：

当前虚拟现实技术已经广泛运用在产品体验行业，一个典型的应用场景就是虚拟现实下的汽车驾驶体验：使用者戴上vr头显，配合力反馈手套、汽车座椅等外部设备，就可以在虚拟现实场景中感受到接近真实的驾驶体验。然而，上述外部设备所提供的感观有一定的局限性。例如，用户感受到的触觉由直接触摸上述方向盘、座椅产生，而当用户在虚拟现实场景中用手部触摸到其他表面时，则无法产生触觉，这在一定程度上降低了用户体验。

目前，现有的触觉模拟装置存在的问题大多为结构复杂，模拟的真实程度较低。例如，当利用电磁力或微型振动马达来提供力反馈时，由于这些构件本身的尺寸较大，使得整个装置较为笨重，当使用者手部佩戴该类装置时，易产生压迫感和疲劳感，在一定程度上令使用者的体验感下降。另外，使用电磁力、振动马达或类似手段来模拟触觉反馈时，仅可在垂直方向上对皮肤施加力，而在真实世界中皮肤对力的感知绝非仅限于一个平面内，故此类装置无法完整地模拟不同维度上的力反馈，使得拟真程度下降。

此外，用户与虚拟现实场景进行交互时，其情感、生理信号也在不断变化。例如，当用户在虚拟现实场景中触摸外表尖锐的物体时，内心将产生抵触情绪，在生理层面上将表现为心跳加快、肌肉收缩等等。将这些生理信号进行收集、分析，就能得出用户在虚拟场景中与不同对象交互意识情感的变化。当前，生理信号采集在可穿戴设备如智能手表领域应用广泛，而在虚拟现实领域的使用还比较少。基于生理信号的情感分析还难以整合到现有的虚拟现实体感设备系统中。

然而，情感分析在虚拟现实中的应用，一方面，需要一种轻便且精确的感官模拟装置，来保证用户与虚拟场景交互时有尽可能接近现实的体验；另一方面，由于此类交互的拟真程度高，其产生的生理信号足以反映用户在现实世界中进行同种交互所产生的情感，因此需要一套能实时收集、分析用户生理信号的系统。

技术实现要素：

本发明的目的是针对上述问题，提供一种具有触觉模拟和情绪感知的虚拟场景体验系统，穿戴在用户手部，精确追踪用户手部的运动轨迹和姿态，用户在虚拟场景中有触摸行为时，可对用户手部提供垂直方向的压力和水平方向的剪切力，模拟出更逼真的触觉体验；同时，采集用户的脑电、肌电、血压信号，分析得出用户的情绪，得到用户对触摸对象的喜好程度，收集用户对体验对象的反馈信息，可用于现实生活中各种新生事物的虚拟体验。

本发明的技术方案是具有触觉模拟和情绪感知的虚拟场景体验系统，包括场景计算机以及分别与其通讯连接的显示终端、触觉模拟和反馈装置，所述触觉模拟和反馈装置佩戴在用户肢体上，它包括微处理器以及分别与其连接的第二通信模块、定位模块和皮肤触觉模拟模块；皮肤触觉模拟模块根据显示终端展示的场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感。

所述述触觉模拟和反馈装置还包括生理信号模块，生理信号模块包括分别与微处理器连接的血压传感器、肌电传感器和脑电传感器。

所述皮肤触觉模拟模块包括穿戴在用户肢体上的纤维布以及纤维布孔中布置的触觉片，触觉片外部设有与纤维布固定连接的限位环，触觉片四周多个连接点与沿限位环均匀分布的纤维绳的末端连接，纤维绳远离触觉片端与细管中的微型活塞固定连接，细管与液压机构连接，细管中充满液压流体，在液压机构的驱动下，触觉片四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生压力和剪切力。

所述触觉模拟和反馈装置还包括微型液压模块，细管与微型液压模块的细管接头连接。

所述触觉模拟和反馈装置还包括与微处理器连接的陀螺仪传感器。

优选地，所述显示终端为vr头盔。

上述虚拟场景体验系统的方法，包括以下步骤：

步骤1：场景计算机通过显示终端向用户展示虚拟场景，用户佩戴触觉模拟和反馈装置与场景计算机进行交互；

步骤2：场景计算机捕捉用户在虚拟场景中的触摸行为；

步骤3：根据用户的触摸对象，场景计算机控制触觉模拟和反馈装置，在用户身上产生触觉体验；

步骤4：触觉模拟和反馈装置的生理信号模块采集用户的生理信号；

步骤5：根据采集的用户的生理信号，判断用户的情绪。

进一步地，步骤5包括以下子步骤：

步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的脑电特征向量、肌电特征向量、血压特征向量，得到用户的生理信号特征向量组，并人工标记每个试次的生理信号特征向量的情绪标签；

步骤5.2：初始化融合系数矩阵，对每个试次的脑电特征向量、肌电特征向量、血压特征向量进行融合，，得到融合特征向量矩阵，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；

步骤5.3：利用融合系数矩阵，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；

步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；

步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵得到融合特征矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。

优选地，步骤5.1采用共空间模式算法从用户的脑电信号中提取脑电特征向量。

相比现有技术，本发明的有益效果包括：

1）本发明的系统向用户提供虚拟场景，精确追踪用户手部的运动轨迹和姿态，用户在虚拟场景中有触摸行为时，可对用户手部提供垂直方向的压力和水平方向的剪切力，模拟出更逼真的触觉体验，可广泛用于各种场景的虚拟模拟，大大提高了用户的体验度；

2）本发明的系统实时采集用户的脑电、肌电和血压等生理信号，分析用户的情绪，得到用户对触摸对象的喜好程度；

3）本发明采用共空间模式算法从用户的脑电信号中提取区分度高的脑电特征信息，去除脑电信号中的不相关成分，抗噪效果好；

4）本发明的方法利用粒子群算法对生理信号特征向量的融合系数进行优化后，再利用一对多支持向量机针对情绪标签进行分类训练，提高了情绪识别的精度；

5）本发明的方法实时分析用户虚拟场景中的触摸行为产生的情绪，得到用户对体验对象的反馈信息，准确性好，可广泛用于各种新生事物的虚拟体验，体验度高，省时省力，节约成本。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1为本发明实施例的虚拟场景体验系统的结构示意图。

图2为本发明实施例的皮肤触觉模拟模块的示意图。

图3为本发明实施例的皮肤触觉模拟模块穿戴在用户手部的示意图。

图4为本发明实施例的分析得到用户情绪的流程示意图。

具体实施方式

实施例一

如图1所示，具有触觉模拟和情绪感知的虚拟场景体验系统，包括场景计算机1以及分别与其通讯连接的显示终端3、触觉模拟和反馈装置2，触觉模拟和反馈装置2佩戴在用户手部，它包括微处理器201以及分别与其连接的第二通信模块202、定位模块205、皮肤触觉模拟模块203、存储器206和陀螺仪传感器207；生理信号模块208包括分别与微处理器201连接的血压传感器、肌电传感器和脑电传感器。第二通信模块202经无线网络与场景计算机1的通信模块通讯连接。场景计算1利用触觉模拟和反馈装置2的定位模块205和陀螺仪传感器207，精确追踪用户手部的运动轨迹和姿态。

如图2和图3所示，皮肤触觉模拟模块203包括穿戴在用户肢体上的纤维布2031以及纤维布孔中布置的圆形触觉片2036，触觉片2036外部设有与纤维布固定连接的圆形限位环2032，触觉片2036外圈均匀分布的4个连接点分别与沿限位环2032均匀分布的纤维绳2033的末端连接，纤维绳2033远离触觉片端与细管2035中的微型活塞2034固定连接，细管2035与微型液压模块204的细管接头2041连接，细管2035中充满液压流体，在微型液压模块的驱动下，触觉片2036四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片2036在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生垂直方向的压力和水平方向的剪切力。皮肤触觉模拟模块203根据显示终端3展示的场景和用户的肢体位置，对皮肤触觉模拟模块接触的皮肤产生不同的压力、剪切力，模拟出用户触摸场景中物体的触感。

实施例中，显示终端3采用vr头盔。

上述虚拟场景体验系统的方法，包括以下步骤：

步骤5.1：采集不同用户不同情绪下的脑电、肌电、血压信号，提取生理信号特征的肌电特征向量x2、血压特征向量x3，采用共空间模式算法提取脑电特征向量x1，得到用户的生理信号特征向量组x=[x1,x2,x3]，并人工标记每个试次的生理信号特征向量的情绪标签；

步骤5.2：初始化融合系数矩阵a=[a1,a2,a3]，对每个试次的脑电特征向量x1、肌电特征向量x2、血压特征向量x3进行融合，得到融合特征向量矩阵v=[a1x1,a2x2,a3x3]，将融合系数矩阵的特征值作为粒子群的粒子，利用粒子群优化算法对融合系数矩阵进行优化，使得经融合系数矩阵计算的生理信号特征向量组的融合数值与其标记的情绪标签相适应，得到初次优化的融合系数矩阵；

步骤5.3：利用融合系数矩阵a，对步骤5.1采集的用户生理信号特征进行融合，得到每个试次的融合特征向量矩阵，并结合人工对其标记的情绪标签，构建训练数据集；

步骤5.4：对训练数据集采用一对多支持向量机进行训练，计算适应度，更新融合系数矩阵a，达到预定适应度后停止训练，得到多个带情绪标签的训练网络模型；

步骤5.5：从实时采集的用户的生理信号中提取特征向量组，利用融合系数矩阵a得到融合特征向量矩阵，利用训练网络模型对融合特征矩阵进行训练后使用一对多支持向量机进行分类，分类结果与情绪标签进行匹配，将匹配程度最好的情绪标签作为用户的情绪判断结果。

步骤5.1的共空间模式算法参照1990年第2期《braintopography》刊登的zoltanj.等的论文“spatialpatternsunderlyingpopulationdifferencesinthebackgroundeeg”公开的共空间模式算法。

步骤5.2的粒子群优化算法参照ieee2007年群体智能会议（swarmintelligencesymposium）论文“particleswarmoptimization”公开的粒子群优化算法。

步骤5.3的支持向量机参照2002年第13期《ieeetransactionsonneuralnetworks》刊登的hsuchih-wei等的论文“acomparisonofmethodsformulticlasssupportvectormachines”公开的一对多支持向量机。

实施例二

皮肤触觉模拟装置，包括穿戴在用户肢体上的纤维布2031以及纤维布孔中布置的触觉片2036，触觉片2036外部设有与纤维布固定连接的限位环2032，触觉片2036四周多个连接点与沿限位环2032均匀分布的纤维绳2033的末端连接，纤维绳2033远离触觉片端与细管中的微型活塞2034固定连接，细管2035与液压机构连接，细管2035中充满液压流体，在液压机构的驱动下，触觉片2036四周不同方向的细管中液压流体具有不同的压强，使得不同方向的与细管中活塞连接的纤维绳产生不同的拉力，触觉片2036在不同方向纤维绳的不同大小的拉力的作用下，对与其接触的用户体皮肤产生压力和剪切力。

实施例选择汽车领域进行应用，当用户与虚拟现实场景交互时，由于本发明的皮肤触觉模拟装置可以提供精确的触觉模拟，使用户产生身临其境的体验感。而此类体验感与用户在现实中真正触摸某物体产生的体验感十分接近，通过实时采集用户体验过程的生理信号，即可反映用户在视觉、触觉层面上对任意物体的体验情感。例如，当用户想体验一款汽车座椅或内饰的质地、手感时，只需要戴上一个终端显示平台，如vr头显，再佩戴本发明提出的皮肤触觉模拟装置，即可在虚拟场景中完成这一体验，而不需要在现实中亲自前往实地体验；用户在上述体验过程中的生理信号变化，经过本发明提出的生理信号模块，即可分析得出用户对上述汽车座椅、内饰质地、手感的喜好程度。例如，虚拟场景中内设的汽车座椅材料为织物，而用户更青睐的材质为皮革，当触觉反馈装置在向用户模拟出织物的触感后，用户将产生一定的抵触情绪。本发明在收集、分析用户体验情绪后，可以帮助厂商改进设计。