用于对抗晕动症的VR显示方法及系统与流程

用于对抗晕动症的vr显示方法及系统
技术领域
1.本发明涉及vr技术领域，尤其涉及一种用于对抗晕动症的vr显示方法及系统。


背景技术：

2.随着汽车技术的发展，人们对汽车的驾乘体验的要求更高，对车辆的参与和控制也逐步减少。相较于主动驾驶，自动驾驶的用户更容易产生晕动症。这是因为当启动一个驾驶行为时，用户能够经历一个期望修正的过程，用户的这些预期修正（例如在制动时收紧腹部核心肌肉或在转弯时将身体/头部倾斜到转弯方向）有助于用户提前为与驾驶动作相关的加速做好准备。
3.而在自动驾驶中，驾乘人员对驾驶过程多为被动接受并未经历或者完全经历预期修正的过程，因此，其更容易产生晕动症。因此，解决晕动症是自动驾驶中不可回避的问题，也是衡量驾乘体验的重要标准。
4.现有技术中，针对驾驶过程中产生的晕动症方案，主要采用穿戴式传感器检测用户的生理指标对驾乘人员的晕动症状态进行判断，但是该方法无法做到预防的效果，当判断完成，表明晕动症的病症已经出现，不利于预防晕动症的发生。
5.因此，现有及时还有待于进一步的发展。


技术实现要素：

6.针对上述技术问题，本发明提出了一种用于对抗晕动症的vr显示方法、系统、车辆及存储介质，能够为用户提供vr虚拟内容以对抗晕动症，使用户在行进过程中仍保有良好的驾乘体验。
7.本发明的第一方面，提供一种用于对抗晕动症的vr显示方法，包括：基于外界环境信息生成vr虚拟内容，所述vr虚拟内容包括音频、视频、音视频；采集用户躯体的运动信息，用以获得第一用户状态信息；计算用户的晕动症程度值msdv，用以获得第二用户状态信息；基于第一用户状态信息和第二用户状态信息判断用户是否处于晕动症状态；若处于晕动症状态，显示所述vr虚拟内容。
8.可选的，所述外界环境信息，包括：车辆信息，至少包括车辆传感器采集的信息和车辆系统信息；外部源信息，至少包括世界地图数据信息、3d模型信息。
9.可选的，所述基于外界环境信息生成vr虚拟内容，包括：将所述外界环境信息传输给vr系统，所述vr系统至少根据所述外界环境信息中的部分信息生成vr虚拟内容或确定vr虚拟内容。
10.可选的，所述外界环境信息中的部分信息生成vr虚拟内容或确定vr虚拟内容的方式包括：使用静态场景重建技术和/或光流算法。
11.可选的，所述采集用户躯体的运动信息包括：采集用户头部运动频率和用户头部运动幅度。
12.可选的，采用如下公式计算所述晕动症程度值msdv：其中，t 表示时间，t 表示用户头部运动总持续时间，a
w 表示基于用户头部运动频率加权的加速度的rms值，所述加速度具体指用户头部运动幅度产生的加速度。
13.可选的，所述基于第一用户状态信息和第二用户状态信息判断用户是否处于晕动症状态，包括：若第一用户状态信息位于第一阈值范围内且第二用户状态信息位于第二阈值范围内，判断用户处于晕动症状态；所述第一阈值范围由所述用户头部运动频率和所述用户头部运动幅度确定；所述第二阈值范围由晕动症程度的相对值确定。
14.可选的，所述显示所述vr虚拟内容，包括：基于所述vr虚拟内容按照预设比例映射真实车辆运动场景，用以匹配用户的晕动症状态。
15.可选的，所述匹配用户的晕动症状态之前，还包括：获取用户的晕动症易感性；基于所述晕动症易感性调节所述第一阈值范围和所述第二阈值范围。
16.可选的，所述获取用户的晕动症易感性，包括：按照生理属性将用户分类，所述生理属性至少包括年龄和性别；采集不同分类下用户在不同交通工具中的不适性程度，所述不适性程度至少包括呕吐、眩晕；基于不适性程度对用户进行积分，获取晕动症易感性程度，所述晕动症易感性至少包括高、中、低三种程度。
17.本发明的第二方明，提供一种vr晕动症的预防系统，包括：获取单元，至少用于基于外界环境信息获取vr虚拟内容，所述vr虚拟内容包括音频、视频、音视频；采集单元，至少用于采集用户躯体的运动信息，用以获得第一用户状态信息；计算单元，至少用于计算用户的晕动症程度值msdv，用以获得第二用户状态信息；判断单元，至少用于基于第一用户状态信息和第二用户状态信息判断用户是否处于晕动症状态；执行单元，至少用于若处于晕动症状态，显示所述vr虚拟内容。
18.本发明的第三方面，提供一种车辆，包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明第一方面提供的vr显示方法的步骤。
19.本发明的第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如本发明第一方面提供的vr显示方法的步骤。
20.本发明基于vr系统及汽车自动驾驶的场景，提供一种对抗晕动症的vr显示方法和系统，通过对可能发生晕动症的用户显示vr虚拟内容，可以有效对抗晕动症的产生。在针对晕动症的判断过程中，获取第一用户状态信息和第二用户状态信息，既可以在用户发生晕动症前进行对抗，也可以防止晕动症的误启动。
21.此外，通过评估不同年龄段和性别的人员的晕动症易感性水平，提高了对晕动症的量化依据的精确度，提高驾乘人员的驾乘舒适度。
附图说明
22.图1为本发明实施例中一种用于对抗晕动症的vr显示方法的流程示意图；图2为本发明实施例中一种用于对抗晕动症的vr显示方法的又一流程示意图；图3为本发明实施例中一种用于对抗晕动症的vr显示方法的模块示意图；图4为本发明实施例中一种用于对抗晕动症的vr显示系统的模块示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
24.虚拟现实 (virtual reality，vr)是20世纪发展起来的一项全新的实用技术。虚拟现实技术囊括计算机、电子信息、仿真技术，其基本实现方式是计算机模拟虚拟环境从而给人以环境沉浸感。从理论上来讲，虚拟现实技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，使用户沉浸到该环境中。用户可以在虚拟现实世界体验到最真实的感受，其模拟环境的真实性与现实世界难辨真假，让人有种身临其境的感觉；同时，虚拟现实具有一切人类所拥有的感知功能，比如听觉、视觉、触觉、味觉、嗅觉等感知系统。
25.随着自动驾驶技术的升级，用户对车辆驾驶的参与度降低，控制时间也相应的减少，在一定程度上解放了用户双手的同时，也提高了用户晕动症的发生概率和时间。根据感觉冲突理论，产生晕动症原因主要在于视觉信息和前庭信息（即内耳耳石的人体运动信息）的冲突，其冲突程度加深会导致晕动症症状加深。同时，相较于主动驾驶，被动驾驶的用户更容易产生晕动症。这是因为当启动一个驾驶行为时，用户身体能够自主产生一个期望修正行为，用户的期望修正行为例如在制动时收紧腹部核心肌群或在转弯时将身体尤其是头部倾斜均有助于用户提前为与驾驶动作相关的加速做准备，然而在自动驾驶过程中，用户仅仅对这些驾驶过程呈现一个被动接受的状态。因此，用户身体无法进行期望修正，从而加剧晕动症的产生。
26.晕动症，为晕车病、晕船病、晕机病和由于各种原因引起的摇摆、颠簸、旋转、加速运动等所致疾病的统称。晕动症多数是视觉引起的，改变视觉内容可以有效抑制晕动症，基于此开发出借助vr技术应对晕动症的显示方法。本发明的适用场景为在自动驾驶条件下，用户从主动驾驶模式转换为被动驾驶模式过程中产生的视觉信息和前庭信息不匹配而导致的晕动症的问题。
27.请参阅图1，本发明提出一种用于对抗晕动症的vr显示方法，包括：步骤s110：基于外界环境信息生成vr虚拟内容，所述vr虚拟内容包括音频、视频、音视频。
28.在一种实施例中，所述外界环境信息包括车辆信息与外部源信息。所述车辆信息，至少包括车辆传感器采集的信息和车辆系统信息；所述外部源信息，至少包括世界地图数据信息、3d模型信息。
29.此外，基于深度学习、机器学习等技术，车辆可自主学习并提供给vr系统其他信息，例如标记乘客晕动症发生频次，标记用户习惯路程，基于规定路线产生的交通场景以及建立基于映射真实车辆运动场景的虚拟内容模型等。
30.示例性地，外界环境信息的划分是以用户为载体，用户之外的信息为外界环境信息。在车端，外界环境信息与行驶路径的自然环境与车端运行状态有关。其中，车辆传感器采集的信息包括深度图像信息、视频信息、车速、车内温度、轮胎转速、油门位置等，例如可以利用汽车图像采集器采集图像至实际场景中各点的距离（深度）作为像素值的图像或利用摄像头采集车辆周围的视频信息等。
31.车辆系统信息包括转向系统的信息、制动系统的信息、油门系统的信息、悬架系统的信息、定位系统的信息和imu系统的信息等。外部源信息，至少包括世界地图数据信息、3d模型信息，所述3d模型信息有利于提高vr虚拟内容的显示精度。
32.作为一种实施方式，所述基于外界环境信息生成vr虚拟内容，包括：将所述外界环境信息传输给vr系统，所述vr系统至少根据所述外界环境信息中的部分信息生成vr虚拟内容或确定vr虚拟内容。
33.步骤s120：采集用户躯体的运动信息，用以获得第一用户状态信息。
34.用户晕动症状态信息表征用户当前的躯体状态，是用来预判用户晕动症发生概率的重要的手段，具体来说，包括采集用户头部运动频率和用户头部运动幅度。
35.之所以选择用户头部运动频率和用户头部运动幅度是因为用户产生晕动症的原因为视觉信息和前庭信息存在冲突，而眼睛、内耳等器官及小脑等脑组织的分布位置均位于头部。用户头部运动频率和用户头部运动幅度这两个参数由vr系统获得且可以描述头部的运动轨迹。示例性地，也可以增加如头部的前倾与后仰的频率与幅度，头部在转向时的惯性保持的频率与幅度等运动信息。除此之外，也可以采集用户的呼吸频率、体温变化频率等，以获得第一用户状态信息。具体的，由于参数的增多，其计算方式包括使用神经网络、深度学习等方法，筛选并计算参数之间的关系。
36.步骤s130：计算用户的晕动症程度值（motion sickness dose value，msdv），用以获得第二用户状态信息。
37.其中，t 表示时间，t 表示总持续时间，a
w 表示基于用户头部运动频率加权的加速度的均方根（root mean square, rms），所述加速度具体指用户头部运动幅度产生的加速度信号。
38.msdv与晕动症典型症状如呕吐的发病率呈线性关系，以及和不同级别的疾病评级如高血压、心脏病呈线性关系。
39.进一步的，针对msdv的公式，本发明中只选择上述公式加以列举，基于实际的汽车行驶场景，可以设置修正系数等纠正计算偏差。优选的，也可以设置汽车晕动症行驶数据库，基于神经网络训练该晕动症程度值并设置测试数据用以纠正偏差。
40.步骤s140：基于第一用户状态信息和第二用户状态信息判断用户是否处于晕动症状态。
41.在第一用户状态信息中，借助用户的头部运动频率和头部运动幅度可以改善仅依靠用户的生理指标或者车辆信号就显示vr虚拟内容的弊端。通过用户头部运动的参数变化可以在用户产生晕动症之前检测并获得预警，防止出现vr虚拟内容被误操作或者误启动的情况，以节省汽车的工作效率。
42.现有的虚拟现实视觉呈现方案主要采用穿戴式传感器来检测用户的生理指标如心率、体温、皮肤电等，或检测车辆动态加速或摇摆幅度对用户晕动症状态进行预判。当检测到数据有异常时，用户已处于晕动症状态，或处于晕动症高风险状态。这类方案会带来以下风险：由于晕动症为随着时间累积程度加强的症状，当检测到用户的生理状态异常时，视觉呈现的干预措施只能帮助缓解其当下症状，并不能对抗症状的产生。且对于部分人群来说，晕动症恶心、不适的感觉最长可持续24小时。
43.相对于现有技术，本发明的步骤可以更好地识别用户的状态，从而可以相对应地控制vr虚拟内容的显示。
44.步骤s150：若处于晕动症状态，显示所述vr虚拟内容。
45.若处于晕动症状态后，vr设备被触发防晕车显示内容，匹配用户的视觉信息和前庭信息，进行自动驾驶过程中的晕动症的对抗，显示vr虚拟内容。
46.在此，本发明基于vr及汽车自动驾驶的场景，提供一种用于对抗晕动症的vr显示方法和系统，通过对可能发生晕动症的用户显示防晕车显示内容，可以有效对抗用户的晕动症。在针对晕动症的判断过程中，设置第一用户状态信息和第二用户状态信息，既可以在用户发生晕动症前进行有效预防，也可以防止对vr虚拟内容的误启动。
47.进一步的，为了提高虚拟内容的应用，可以结合外设设备或者车内执行单元实现虚拟内容的联动。
48.在本发明一实施例中，所述基于第一用户状态信息和第二用户状态信息判断用户是否处于晕动症状态，包括：若第一用户状态信息位于第一阈值范围内且第二用户状态信息位于第二阈值范围内，判断用户处于晕动症状态；所述第一阈值范围由用户头部运动频率为和用户头部运动幅度确定；所述第二阈值范围由晕动症程度相对值确定。
49.具体的，例如设置当用户头部摇摆的频率在0.02-0.4hz，用户头部运动幅度在0.02-0.32cm之间会诱发晕动症。因此，当vr系统检测到自动驾驶过程中用户头部摇摆的频率和用户头部运动幅度同时满足以上两个区间时，则判断第一用户状态信息处于第一阈值范围。
50.进一步的，晕动症程度相对值的选择依据来源为iso2631国际标准，涉及到与人体有关的振动/冲击。晕动症程度相对值以百分比的形式设定第二阈值范围。当晕动症程度值
位于第二阈值范围内，则判断用户处于第二阈值范围，例如，第二阈值范围为[40%,73%]，msdv的值为66%，则判断第二用户状态信息处于第二阈值范围。
[0051]
在本发明一实施例中，请参阅图3，所述展示所述显示所述vr虚拟内容，包括：基于所述vr虚拟内容按照预设比例映射真实车辆运动场景，用以匹配用户的晕动症状态。
[0052]
如图3所示，当判断用户处于晕动症状态时，基于所述vr虚拟内容按照预设比例映射真实车辆运动场景，通过映射真实车辆运动场景可以对抗晕动症，且用户在自动驾驶过程中，通过显示所述vr虚拟内容，也可以降低心理压力，通过与车载设备或外设设备协同合作，比如加入音乐、香氛，提高用户的驾乘体验。所述预设比例映射可以基于用户的实际情况设置，包括0.8：1映射、1:1映射、1：1.3映射等任意映射比例。
[0053]
具体的，vr虚拟内容基于vr系统获得，所述vr虚拟内容来源于外界环境信息。映射的目的是改变用户的视觉信息，以使得视觉信息和前庭信息完成匹配。但是在实际生活中，除了视觉信息和前庭信息造成的不匹配之外，还包括本体感受信息，所述本体感受信息包括人体对目前状态的感受，例如情绪感受、运动感受，因此，本发明提出在vr虚拟内容映射真实车辆运动场景中可以添加包括辅助添加预防晕动症的多种感官信息，比如释放提神的香氛信息，如橘子气味，薄荷气味等；比如依靠空调释放微风扫风，例如依靠汽车微气候系统增加车内含氧量和湿度，例如针对汽车座椅提供辅助按摩服务以分散并舒缓用户注意力等。
[0054]
请继续参阅图3，在车辆进行自动驾驶过程中，车辆自西向东行驶。其中，乘客a面朝东乘坐，与汽车的驾驶方向相同；乘客b面朝西乘坐，与汽车的驾驶方向相反。此时，乘客a和乘客b的前庭系统均被提供了自西向东的信息。
[0055]
vr系统从外界环境信息中获得了车辆信息和外部源信息，其中，车辆信息包括车辆传感器采集的信息和车辆系统信息，外部源信息包括世界地图数据信息、3d模型信息。基于所述外界环境信息生成vr虚拟内容。vr系统将vr虚拟内容发送到执行设备vr设备中。
[0056]
由于vr设备实时采集用户晕动症状态信息如用户头部运动频率和用户头部运动幅度，所以当第一用户状态信息位于第一阈值范围时，用户满足晕动症头部运动条件；进一步的，vr设备基于用户晕动症状态信息获得第二用户状态信息，即计算晕动症程度值msdv，当第二用户状态信息位于第二阈值范围时，用户满足到达晕动症程度的状态；vr设备向用户显示或者称为展示vr虚拟内容，由于乘客a和乘客b的乘坐方位不一样从而导致视觉信息的不同，为了匹配用户的视觉信息和各自前庭信息，需要向乘客a和乘客b呈现自西向东的虚拟内容。
[0057]
此时，对于乘客a来说，将产生与自动驾驶过程中自东向西的体验，即与汽车后退相同的体验；对于乘客b来说，将产生与自动驾驶过程中自东向西的体验，即与汽车前进相同的体验。
[0058]
本发明一实施例中，所述获取用户晕动症状态信息之前，还包括：获取用户的晕动症易感性；基于所述晕动症易感性调节所述第一阈值范围和所述第二阈值范围。
[0059]
在实际的晕动症中，由于每个人的情况不一样，所以存在不同程度的晕动症症状，
对汽车驾驶来说，舒适的自动驾驶才能支持用户在车内的活动，如何在预防晕动症的同时满足乘客在车内具有更多的自主性是亟待解决的问题。
[0060]
通过获取用户的晕动症易感性，可以选择性地调节第一阈值范围和第二阈值范围，提高展示所述vr虚拟内容的灵敏度。
[0061]
本发明一实施例中，所述获取用户的晕动症易感性，包括：按照生理属性将用户分类，所述生理属性至少包括年龄和性别；采集不同分类下用户在不同交通工具中的不适性程度；基于不适性程度对用户进行积分，获取晕动症易感性程度，所述晕动症易感性至少包括高、中、低三种程度。
[0062]
具体的，不适性程度可以基于用户的不适性症状进行评价，所述不适性症状至少包括眩晕、呕吐、出虚汗。
[0063]
为了提高用户的晕动症程度，按照生理属性例如年龄、性别、身高、体重等，例如所述年龄段以年为单位划分层次，所述性别以男、女划分层次，所述身高以厘米为单位划分层次，所述体重以千克为单位划分层次；采集用户在不同交通工具中的不适性程度包括汽车、飞机、轮船等，具体的，也可以在每个交通工具下细化，如汽车可以划分为客车、轿车、火车等；所述积分只是衡量不适性程度的一种划分方式，例如使用累加积分，采用五点量表法赋分。
[0064]
如下表所示：填入分值范围为1-5分，总分值越高，代表不适性越明显。
[0065]
示例性的，可以将不同的不适性类型进行比例推算，相较于眩晕，呕吐的不适性症状更能代表用户对晕动症的敏感性，因此，可以设置呕吐和眩晕的权重为2:1，获得最后的总分值。
[0066]
所述晕动症易感性至少包括高、中、低三种程度。所述通过设置不同的晕动症易感性程度等级，可以获得量化的标准，也可以提高vr虚拟内容的显示效率。若所述晕动症易感性高，可降低第一阈值范围和第二阈值范围；同理，若所述晕动症易感性低，可提高第一阈值范围和第二阈值范围。相应的，也可以改变预设比例映射。
[0067]
针对预设比例映射真实车辆运动场景的情形中，还包括当车内用户多于一人的时候，每个人对于晕动症的易感性不同，vr设备可以设置车内分区管理，包括，针对前、后座椅划分区域，或者针对主、副驾驶区划分映射区域。针对不同区域的用户的不同赋予不同的映射比例、映射时间。
onlymemory)、随机存取存储器(ram，randomaccessmemory)、以及软件分发介质等。计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、以及软件分发介质等。
[0078]
在本发明的某些实施方式中，所述装置可以包括控制器，控制器是一个单片机芯片，集成了处理器、存储器，通讯模块等。处理器可以是指控制器包含的处理器。处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
[0079]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0080]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
[0081]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。