模拟飞行训练环境下威胁的多通道告警呈现方法及装置与流程

1.本发明涉及人机交互技术领域与多模态呈现的相关技术领域，特别是涉及了一种模拟飞行训练环境下威胁目标的多通道告警呈现方法及电子装置。


背景技术：

2.模拟飞行训练是一种复杂的人机交互任务，对用户的感知和处理能力有很高的要求。在模拟飞行训练环境中，用户面临着多种威胁，如果威胁告警系统能够通过自然交互方式提示用户威胁目标的信息，将极大有助于提升用户对周围态势的感知能力，使得用户能够快速做出反应，采取恰当的应对措施，从而辅助用户高质高效地完成训练任务。威胁目标呈现技术在多种场景下都有广泛的应用。例如，在模拟飞行训练时，系统可以通过呈现敌机、敌舰等威胁目标信息，告知用户威胁目标的方位、种类和威胁等级等，辅助用户掌握更加全面地环境态势信息，提升训练任务的成功率与完成效率。例如，在模拟驾驶训练环境中，系统可以通过呈现影响行车安全的威胁目标，如存在碰撞风险的相邻车辆、行人等，提升用户对路面态势地全面感知能力，辅助用户采取相应的安全措施，从而达到安全驾驶的目的。在呈现相关威胁信息时，系统需要在不影响用户完成主要任务的前提下进行。现有大多数现威胁目标呈现方法采用直接呈现威胁数据的方式，忽略了以用户本体为中心的整体感知，造成威胁目标信息地呈现效果不够自然，容易导致用户产生较高的认知负荷。
3.目前威胁告警呈现方法可以分为两类，第一类是二维俯视图像呈现，第二类是三维立体模型呈现。其中，二维俯视图像呈现方法是以用户所在的载具为中心，自顶向下做正投影所得到的视图；而三维威胁呈现方法，则是以用户为中心，在威胁相对用户所处的方位上，进行告警信息的呈现。所述二维俯视图威胁呈现方法存在以下不足：1)威胁告警位置信息丢失：由于需要将三维空间内的威胁信息在二维平面中呈现，威胁告警的一部分位置信息呈现存在局限性；2)具有较高的认知负荷：采用二维俯视图像进行威胁告警信息呈现，用户感知威胁告警信息的所在位置时，使用的是以异己为中心的空间感知；而用户的主要场景任务，则是以用户的本体为中心的空间感知。例如，在模拟飞行训练中，如果用户使用二维俯视图威胁信息呈现方法来感知威胁目标，则用户需要进行异己中心空间坐标至本体中心空间坐标的转换，造成额外的认知负荷。所述三维威胁呈现方法存在以下不足：1)现有显示设备的可视区域有限：如今市面上常用的虚拟现实头戴式显示设备、增强现实头戴式显示设备、车载或机载抬头显示器等设备的有效呈现区域太小，不足以支撑用户充分观察环境信息。2)复杂的三维模型操纵方式：通常，用户需要拖拽、放缩、平移三维呈现模型，才能完整且准确的认知模型所呈现的告警信息，但用户在驾驶载具的同时很难正确调整三维模型的呈现视角。
4.综上所述，现存的呈现方法和系统不能充分向用户体现当前的态势，导致用户对态势的感知不够全面，并在相应的任务场景下具有较高的认知负荷。如何设计以用户为中心的自适应威胁目标呈现方法，为用户提供高效率、低负荷的威胁呈现系统成为亟待解决的问题。


技术实现要素：

5.为了克服上述现有技术的不足，本发明提供了一种模拟飞行训练环境下威胁目标的多通道告警呈现方法及电子装置，基于用户的空间感知能力，充分利用视觉与听觉通道相结合的优势，能够随用户头部位姿变化实时地向用户呈现威胁目标信息，提升用户对外部环境的感知能力，缩短用户对威胁目标的发现和认知时间，降低用户的认知负荷，提升用户在模拟飞行训练过程中的交互效率。
6.为了达到上述目的，本发明采用的技术方案如下：
7.一种模拟飞行训练环境下威胁的多通道告警呈现方法，包括以下步骤：
8.1)计算用户视野范围；
9.2)根据威胁目标是否位于用户视野范围内，将威胁目标划分为用户视野范围内的威胁目标和用户视野范围外的威胁目标；
10.3)对于用户视野范围内的威胁目标，在用户视野中央区域内向用户推送显示威胁信息；
11.4)对于用户视野范围外的威胁目标，使用视听双通道呈现方法向用户提示威胁信息。
12.进一步地，根据用户当前头部姿态和可视范围计算所述用户视野范围。
13.进一步地，所述用户当前头部姿态的获取方法为：利用头戴式设备中的位姿传感器，获取用户在三维空间中的头部6个自由度姿态参数，该6个自由度姿态参数包括以位姿传感器为坐标原点的x、y、z三轴位置，以及航向角、俯仰角和横滚角。
14.进一步地，所述可视范围是指用户使用的头戴式显示设备所提供的最大显示范围。
15.进一步地，所述用户视野中央区域是指以用户视野范围的中心为圆心、以视野高度范围的五分之一为半径划定的圆形区域。
16.进一步地，所述视听双通道呈现方法为：通过头戴式显示器向用户呈现一个或多个表示威胁目标方位的指向符，通过头戴式立体声耳机呈现一段告警提示音，该告警提示音通过声音特征表征威胁目标的方位和威胁等级信息。
17.进一步地，对于用户视野范围外的多个威胁目标，通过虚拟环绕音的方式轮流播放该多个威胁目标的告警提示音。
18.进一步地，对于用户视野范围内的威胁目标，通过实线图符进行显示，并显示在威胁目标所在的位置。
19.进一步地，对于用户视野范围外的威胁目标，通过虚线图符进行显示，并通过箭头图符显示威胁目标实际所处的方位相对于当前方位的偏移方向和距离。
20.一种模拟飞行训练环境下威胁的多通道告警呈现装置，包括头部位姿采集设备、用户输入设备、图形显示设备、音频输出设备、存储器和处理器，所述头部位姿采集设备为含有位姿传感器的头戴式设备，所述图形显示设备为头戴式显示器，所述音频输出设备用于输出告警提示音，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
21.与现有技术相比，本发明的有益效果是：
22.1)本发明使用了听觉、视觉双通道呈现方法，充分调用了用户的多个感官能力，能
有效帮助增强用户快速发现和认知视野范围外的威胁目标，提升训练任务完成效率，降低用户在训练过程中的认知负荷。
23.2)本发明分别为视野范围之内和视野范围之外的威胁目标提供了自然有效的呈现方案，本发明所述的两种方案能够帮助用户快速分辨威胁目标的紧迫程度，同时具有降低增强显示界面复杂度的有益效果。
附图说明
24.图1是本发明实施例的一种模拟飞行训练环境下威胁的多通道告警呈现装置示意图。
25.图2是具有示例性用户初始视野范围调整界面示意图。
26.图3是本发明实施例的一种模拟飞行训练环境下威胁的多通道告警呈现方法流程图。
27.图4是本发明另一实施例的一种模拟飞行训练环境下威胁的多通道告警呈现装置示意图。
具体实施方式
28.下面结合附图对本发明作具体说明。应该指出，所描述的实施例仅是为了说明的目的，而不是对本发明范围的限制。
29.本实施例公开了一种模拟飞行训练环境下威胁的多通道告警呈现方法及装置，提供以用户为核心的三维威胁呈现方法，所述方法通过感知用户的视野和头部位姿，结合场景中的威胁信息，通过多个通道向用户呈现威胁信息。例如，在模拟飞行训练场景中，用户视野左后方的威胁可以被映射至用户视野之内左侧，通过特殊设计的图符来表明该威胁并不处在视野范围内图符所对应的方位上，而是位于视野范围之外的左后方，在更多视觉元素和听觉通道的呈现下表明该威胁的具体方位，使得用户能够直接、自然地，感知场景中的该威胁。
30.图1示出了一种模拟飞行训练环境下威胁的多通道告警呈现装置，该装置101可以是有计算能力的任何设备，例如，个人计算机、服务器、智能电话、游戏机、嵌入式计算机等。在本实施例中，该装置101被描绘为模拟飞行训练中的机载嵌入式计算机，在其他实施例中，装置101可以是任何适当类型的设备。
31.装置101可以具有触控、键盘鼠标或其他实体交互接口、手势、眼动、语音等输入输出功能以及其他允许装置101及其用户之间通信的任何构建。此外，装置101应具有用户头部位姿采集功能，该功能可以由装置101提供，或通过其他设备采集后传入装置101；装置101具有空间音频输出功能，该功能可以由装置101提供，或通过外接设备，如支持虚拟环绕音的声卡、耳机或环绕立体声音响。
32.图形显示设备102可以是任何具有显示功能的头戴式设备，包括但不限于：头戴式增强现实或虚拟现实屏幕、大屏幕、球形投影幕等。其中，威胁信息被呈现在用户当前的视野范围103中，该视野范围103由用户的头部位姿和初始视野组合计算得出。其中威胁104的图符表示为视野范围外部，表示威胁目标位于左上方位；由于威胁104图符所在位置是通过相对头部位姿映射方法得到的，威胁104实际所处的位置不在威胁104图符所处的方位上，
故以虚线表示。箭头图符105用于表示威胁104实际所处的方位相对于当前方位的偏移方向和距离。威胁106图符呈现的是用户视野范围内的威胁。威胁106的图符代表空中威胁，图符边框以实线绘制，表示威胁106图符所示的威胁处在视野范围内对应的方位上。此外装置101会轮流播放视野外威胁的音频告警，在图1所示出的示例性场景中，将会轮流播放威胁104和威胁107所对应的虚拟环绕音告警。
33.图2示出了具有示例性的用户初始视野范围调整界面。其中视野范围103由左上图符201、右上图符202和下图符203决定。用户通过如上所述装置101的输入设备，调整图符201、图符202和图符203的位置，使得视野范围103与用户真实视野范围相符。
34.图3示出了威胁信息通过一种模拟飞行训练环境下威胁的多通道告警呈现方法的方式呈现给用户的示例性过程。在转向图3的描述之前，应当指出，图3的流程图作为样例参考图1、图2中所示出的构建被描述，但图3的过程可以在任何系统中被执行，并不局限于图1、图2中所示出的场景。此外，图3中的流程图示出了例子，其过程按箭头所指的特定顺序执行，但是这些图中所示出的各阶段能够适应任何顺序或者以任何组合或子组合。
35.在301处，用户的当前头部姿态被获取；在302处，头部姿态信息与用户的初始视野结合，获取用户的实时视野范围。在304处，威胁告警信息(块303)在用户实时视野范围(块302)的基础上，被划分为两部分，分别为视野内的威胁(块304)和视野外的威胁(块306)。视野内的威胁信息(块304)，在用户视野范围内相对应的方向直接显示图符，即原位置推送显示(块308)；对于视野范围外的威胁信息(块306)，则通过空间音频、声化、语音播报等听觉通道进行提示(块309)，此外，视野范围外的威胁在经过基于用户头部位姿的映射方法映射至用户视野之内后(块307)，进一步进行了视觉上的呈现(块310)。
36.也就是说，在块308处，用户可以直观的感知其视野范围之内的态势信息，而不需要经过异己感知的空间坐标向本体感知的空间坐标转换，从而以较低的认知负荷完成了对态势的感知和评估。在经过块307处所进行的坐标映射后，用户视野之外的威胁被映射至用户视野之内，进行视觉通道上的推送显示(块310)，从而使得用户可以充分利用视觉通道，来感知其视野范围之外的威胁信息，而不需要进行额外的视觉搜索，从而降低了相关的负荷。为了进一步降低认知负荷，块309将用户视野范围之外的威胁信息通过听觉通道呈现给用户：通过直接的音频呈现，弥补块307中进行空间坐标映射对视野之外威胁的空间映射对用户感知带来的负荷。
37.图4示出了本发明另一实施例的一种模拟飞行训练环境下威胁的多通道告警呈现装置。该装置400包括了一个或多个的处理器404，以及一个或多个数据记忆构件即存储器405。装置400可以是具有某种计算能力的任何设备，例如头戴式混合现实一体机、态势计算机、移动笔记本电脑、服务器、平板计算机、机顶盒、嵌入式计算机、智能行动电话等。(一个或多个)处理器404的典型示例是微处理器，例如在个人电脑、移动笔记本电脑、服务器、头戴式混合现实一体机设备中的微处理器。(一个或多个)数据记忆构件405是能够短期或长期存储数据的构件，例如包括硬盘、可拆卸磁盘、内存、快取存储器、磁带等，(一个或多个)数据记忆构件是设备刻度存储媒体的例子。装置400可以包括用户输入设备407及输出设备406，如穿戴式混合现实一体机，即包含了用户输入设备407，如手势、眼动、语音等采集设备，又包含了增强现实屏幕及双通道耳机作为输出设备406；装置400也可以通过外接或改装等方式与一个或多个用户输入设备407、输出设备406进行连接，如连接了鼠标、键盘作为
用户输入设备407，连接了包含耳机的头戴式虚拟现实显示器作为输出设备406的个人电脑。需要指出，以上提到的输出设备406仅仅是例子，任何能够进行显示、声音输出的一个或多个设备都在本发明的主题的范围内，包括但不限于耳机、音响等，以及头戴式增强现实显示器、显示器屏幕、大屏、球幕等。同样，以上提到的用户输入设备仅仅是例子，任何能够支持用户进行输入的一个或多个设备都在本发明的主题的范围内，包括但不限于键盘、鼠标、眼动追踪仪、手势采集设备、穿戴式生理信息采集设备、肌电采集设备、脑机接口等。
38.装置400用到的软件计算机程序可以被存储在(一个或多个)数据记忆构件405中，并且可以在(一个或多个)处理器404上执行。这样的软件的例子是可以连同图1-3在上面所述的功能性中一部分或全部实施的自适应威胁呈现软件403，但是任何类型的软件都能够被使用。
39.应当指出，图1、图2所描绘的界面，以及图4所描绘的系统架构，仅仅是例子。任何适当的设计能够在视觉、听觉上传达威胁在当前态势的状态，并且基于用户的头部位姿进行适应性变化的。任何这样的设计在本发明中的主题的范围内。例如，本发明中所描述的界面是应用于模拟飞行训练场景下的。
40.尽管已经用特定于结构特征和/或方法学行为的语言对本主题进行了描述，但是应当理解，所附权力要求中所定义的主题未必现定于上面所描述的特定特征或行为。相反，上面所描述的特定特征和行为作为实施权力要求的示例进行公开。本发明的保护范围应以权利要求书所述为准。