多显示终端仿真数据同步与交互方法及系统与流程

本技术涉及信息技术，尤其涉及一种多显示终端仿真数据同步与交互方法及系统。

背景技术：

1、仿真数据同步与人机交互是被广泛关注的问题，传统交互设备的信息展示维度存在一定局限性，虚拟现实与增强现实技术能够扩展交互空间和信息维度，但在信息的全局交互和决策中则略显不足。同时随着多专业联合仿真技术的发展，涉及飞行仿真等多专业联合仿真系统的数据分析与仿真评估涉及多学科专业经验，因此需要具备多种的观察视角，多人参与仿真评估论证。

2、现有的单一显示终端缺少web端数据面板与vr第一视角的联动和交互，造成针对飞行仿真等多学科仿真过程中的论证与分析难以开展多人协同，造成论证效率低、多学科问题发现困难等问题。国内外多终端的仿真数据同步与交互技术主要采用点对点的网络传输方案，当仿真系统复杂度增加后，原有技术方案需要针对性的适配和开发，无法满足快速分析和交互需求。

3、此外，现有技术主要关注多终端的显示切换与控制，而非仿真数据和人机交互的协同。当前主流技术方案主要关注多终端云渲染与像素推流，该方式多个显示终端之间只能显示相同的图像与信息，无法多维度展现仿真数据。而传统的多终端协同交互和控制方案，仅具备按钮、键盘输入等简单交互功能，无法完成三位视角缩放平移、漫游、标注、场景编辑等交互功能。

技术实现思路

1、本技术提供一种多显示终端仿真数据同步与交互方法及系统，可有效地解决上述或者其他潜在技术问题。

2、本技术的第一个方面是提供一种多显示终端仿真数据同步与交互方法，包括s1：注册显示终端，载入协同插件；s2：接入数据总线；s3：互操作模式设定；s4：数据同步与协同管理。

3、本技术实施例提供的多显示终端仿真数据同步与交互方法，包括s1：注册显示终端，载入协同插件；s2：接入数据总线；s3：互操作模式设定；s4：数据同步与协同管理。本技术实施例提供的多显示终端仿真数据同步与交互方法解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

4、在根据第一方面的可选的实施例中，所述s1，具体包括：

5、s11：根据显示终端的类型、数据内容、显示分辨率，构建协同插件模板；

6、s12：适配于cesium三维地理可视化框架，提取或设定cesium三维地图的目标信息；

7、s13：虚拟现实和增强现实显示端采用基于c++的运行时，分别完成数据解析、坐标转换、数据同步以及视角同步的功能，且将功能模块打包为蓝图插件，以使不同场景的加载和使用；

8、s14：根据显示终端的配置和显示形式，在待接入的显示终端中载入相应的插件，并完成显示设备初始化。

9、在根据第一方面的可选的实施例中，在所述s11中，构建针对基于浏览器的web端与基于unreal三维游戏引擎的虚拟现实和增强现实显示终端的协同插件模板，完成基于js和c++运行时的协同插件的构建；以实现web端协同插件基于js运行时，功能模块打包为node modules组件，支持各类web端开发框架。

10、在根据第一方面的可选的实施例中，在s12中，在视角同步过程中，在主控端完成视角移动和缩放后，延迟预设时间段后，再根据移动后的视角位置和角度，采用平滑算法将显示终端的视角移动至目标位置和角度。

11、在根据第一方面的可选的实施例中，所述s2，具体包括：

12、s21：显示终端和控制终端基于其适配的网络协议，在数据总线管理工具中，选择相对应的网络协议，完成接口的链接和数据格式的定义；

13、s22：将显示终端目标信息自动或手动注册至总线管理平台中，完成显示终端的接入管理；

14、s23：根据需求将所述显示终端与所述数据总线进行筛选和串联，实现显示终端的数据同步接口的打通。

15、在根据第一方面的可选的实施例中，在所述s2中，所述数据总线负责集中管理各个显示终端、数据以及网络连接；协同数据总线采用基于nodejs的后端引擎，通过网路接口和显示面板的低代码开发面板，接入显示终端的网络接口，配置终端管理和监控面板。

16、在根据第一方面的可选的实施例中，所述s3，具体包括：

17、s31：设定显示终端的主控端和显示终端的协同端，其中，主控端负责视角和交互的主要控制，可负责视角、人机交互、控制以及标注的操作；协同端负责接收主控端发送的操作数据，并完成操作数据的协同；其中，数据总线可同时存在多个主控端；

18、s32：设定同步内容和频率，同步内容方面，针对各个显示终端对飞行仿真数据的显示和交互需求，设定接收数据的类型、频率和关键字；

19、s33：人机交互控制模式，人机交互方面，可采用移动端针对三维地景，进行触屏标注、滑动屏幕、二指缩放、按键等交互方式；web端和桌面端，主要针对键鼠输入和点击操作；增强现实与混合现实端则主要针对手柄的移动、缩放、点击、选取操作；将各显示终端的交互数据转换为数据同步标准的数据格式，发送至数据总线，从而控制其他显示终端的显示视角，实现多终端人机交互的协同。

20、在根据第一方面的可选的实施例中，所述s4，具体包括：

21、s41：数据同步标准，数据同步标准采用json数据格式，便于适配和显示终端快速选取数据；

22、s42：数据同步总线，采用基于nodejs的异步运行时，使其满足高并发情况下的性能需求，减小网络阻塞的影响；同时基于nodejs的低代码开发平台，能够模块化、组件化的构建总线平台，接入和管理显示设备；

23、s43：在仿真和演示过程中的操作数据存储于mongdb数据库中，具备回溯数据、撤销操作、返回上一观察视角、论证分析存底的功能。

24、在根据第一方面的可选的实施例中，在所述s41中：

25、同步和传输的数据包括飞行仿真数据、可视化视角和人机交互数据、空间标注数据；

26、其中，所述飞行仿真数据、可视化视角和人机交互数据、空间标注数据均采用type标签来进行区分，飞行仿真数据type关键字为flightsim，可视化视角type关键字为view，人机交互关键字为hmi，空间标注数据为geo；

27、飞行仿真数据结构包括数据类型、数据id、发送端、时间戳、状态、飞行仿真数据；

28、可视化视角包括数据类型、数据id、发送端、时间戳、状态、摄像机坐标、视角角度；

29、人机交互数据包括数据类型、数据id、发送端、时间戳、状态、操作指令、操作内容、操作对象；

30、空间标注数据包括数据类型、数据id、发送端、时间戳、状态、标注矢量、标注图层、标注样式。

31、本技术的第二个方面还提供一种系统，所述系统可用于实现上述的多显示终端仿真数据同步与交互方法，所述系统包括移动交互设备、显示屏幕、虚拟现实设备以及增强显示设备；所述移动交互设备用于进行主动控制，所述显示屏幕用于展示整体的特征信息，所述虚拟现实设备与所述增强现实设备用于探索三维场景细节。

32、本技术还提供的系统，由于所述系统可用于实现上述的多显示终端仿真数据同步与交互方法，因此，也具有解决了多终端数据分发、协同控制、数据接入、数据同步、历史活动存储等功能需求；同时还可以针对飞行仿真场景数据协同与地景交互的传输协议与标准以及相应的协同和控制插件，为web端、平板电脑端、虚拟现实等多类型显示终端，实现了飞行仿真数据的互操作性，满足了低延时、高互操作性、多维度数据实时交互叠加等功能需求；最后，可以针对飞行三维场景，提供三维大地景场景的视角同步、多终端互动、场景互操作、协同标注等功能。

33、本技术的附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。