任务驱动的地理数字孪生场景增强可视化方法及系统

一种任务驱动的地理数字孪生场景增强可视化方法及系统，用于可视化增强及可视化绘制，属于虚拟地理环境。

背景技术：

1、数字孪生是实现工程建造信息化和智能化的有效途径，其将现实物理实体的属性、结构、状态、性能及行为映射到虚拟世界，形成全要素互联且具有高保真度的虚拟地理环境，支持开展交互式可视化探索分析，从而具备对过去问题诊断、当前状态评估以及未来趋势预测的能力，对提升信息化管理水平具有十分重要的意义。数字孪生场景(digitaltwin scenarios)是指通过数字技术，将实际物理世界中的对象、系统、过程等复制成虚拟的数字化模型，并实时或准实时地反映其状态、性能、行为等信息的一种应用场景。然而，由于地理场景影响因素众多、用户类型多样且可视化需求各异，而现有场景可视化方法不仅缺乏对场景对象-用户偏好-可视化表达之间关联关系的清晰描述，还没有对多用户可视化探索分析行为及认知机理的准确刻画，存在数字孪生场景展示任务不明确、信息表达弱与绘制效率低等问题，难以满足动态复杂环境下数字孪生场景高效可视化表达需求。

2、综上所述，现有技术存在如下技术问题：

3、1.缺乏对场景对象-用户特征-可视化表达之间关联关系的清晰描述；

4、2.没有对多用户可视化探索分析行为及认知机理的准确刻画，从而造成数字孪生场景展示任务不明确、信息表达弱与绘制效率低等问题，难以满足动态复杂环境下数字孪生场景高效可视化表达需求；

技术实现思路

1、本发明的目的在于提供一种任务驱动的地理数字孪生场景增强可视化方法及系统，解决现有技术缺乏对场景对象-用户特征-可视化表达之间关联关系的清晰描述的问题。

2、为了实现上述目的，本发明采用的技术方案为：

3、一种任务驱动的地理数字孪生场景增强可视化方法，包括如下步骤：

4、步骤1：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；

5、步骤2：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；

6、步骤3：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；

7、步骤4：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制。

8、进一步,所述步骤2具体步骤为：

9、步骤2.1：基于多源异构数据进行场景对象中的用户特征与可视化偏好分析，并与包括模式层和数据层的知识图谱进行知识映射，构建得到地理场景数字孪生场景知识图谱；

10、具体步骤为：

11、步骤2.11：基于多源异构数据进行用户偏好分析，用户偏好包括多层级用户特征、场景对象和可视化表达方式需求调查分析，其中，多层级用户特征包括工程建造、地理分析、环境管理和普通民众，普通民众为第一层，地埋分析为第二层，环境管理为第三层，工程建造为第四层，场景对象包括地理环境、地质构造、动态环境和构建筑物，可视化表达方式包括pc桌面端、vr/ar、数字大屏和手机移动端；

12、步骤2.12、基于步骤2.11得到的结果梳理不同用户偏好实体的概念关系和特征关系，其中，概念关联包括同位关系、父子关系、整体/部分关系和上下位关系，特征关系是描述不同实体特征之间的关系，包括用户特征实体之间的关系、用户特征实体与场景对象实体的关系、场景对象实体之间的关系、场景对象实体与可视化表达方式之间的关系；

13、步骤2.13：对步骤2.12得到的结果进行统一语义理解与关联映射，得到用户特征、场景对象以及可视化表达方式的关联关系，并将关联关系组织为三元组与包括模式层和数据层的知识图谱进行知识映射，即得到地理场景数字孪生场景知识图谱；

14、步骤2.14：对地理场景数字孪生场景知识图谱进行更新时，将其作为图模型，通过在图模型上随机游走，将其游走连通的各实体节点间在语义关联强度、关联类型、游走路径关系更新到地理场景数字孪生场景知识图谱中；

15、步骤2.2：基于地理场景数字孪生场景知识图谱驱动的语义关联度量和知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；

16、具体步骤为：

17、步骤2.21：将可视化任务需求划分为三类，以建立满足用户展示-分析-探索需求的多层次可视化任务模型，三类分别为对多维特征进行直观展现的展示型可视化任务，对数据背后的规律进行解释的分析型可视化任务，和对数据间潜在的、有价值的关系进行假设推理和验证的探索型可视化任务；

18、步骤2.22：人工分析更新前或更新后的地理场景数字孪生场景知识图谱中要素的实体与实体间的关联匹配程度，并将场景对象、可视化表达方式、用户特征和可视化任务需求转化为特征向量表达；

19、步骤2.23：基于转化得到的特征向量进行语义关联度计算，并基于语义关联度计算后确定的各可视化任务需求中要素的场景对象实体间的语义关联强度建立知识关联网络；

20、步骤2.24：根据知识关联网络计算内容语义关联度量pc、时间邻近度pt和空间重叠度ps，并计算关联匹配度量筛选各可视化任务需求的用户偏好数据，关联匹配度量的公式为：

21、p＝ωc×pc+ωt×pt+ωs×ps (1)

22、

23、

24、

25、其中，ωc、ωt和ωs分别是知识关联网络的内容语义关联度量pc、时间邻近度pt和空间重叠度ps对应的权重因子，权重因子相加的和为1，v1和v2分别表示场景对象1和场景对象2，v1＝(x1,x2,…,xn)，v2＝(y1,y2,…,yn)，t1表示场景对象1的获取时间，t2表示场景对象2的获取时间，a1表示场景对象1的空间范围，a2表示场景对象2的空间范围，β表示空间重叠度衰减因子，取值范围是0-1，a1和a2相交范围越多，则空间重叠度越高，越接近1，若a1和a2相等或是包含，则空间重叠度为1。

26、进一步,所述步骤3的具体步骤为：

27、步骤3.1：对各可视化任务需求获取的用户偏好数据中的场景对象进行可视化增强；

28、步骤3.2：对经过步骤3.1增强后的用户偏好数据中的可视化表达方式进行场景展示级增强；

29、步骤3.3：基于经过步骤3.2增强后的用户偏好数据和语义约束进行场景分析级增强；

30、步骤3.4：基于经过步骤3.3增强后的用户偏好数据和认知引导模型进行场景探索级增强。

31、进一步,所述步骤3.1的具体步骤为:

32、步骤3.11：获取各可视化任务需求得到的用户偏好数据中的场景对象间的语义关系，即计算场景对象与场景对象之间的内容语义关联度量、时间邻近度与空间重叠度获取语义关联度，语义关联度的公式为：

33、s＝ωc1×pc1+ωt1×pt1+ωs1×ps1

34、其中，ωc1、ωt1和ωs1分别是用户偏好数据中的场景对象间内容语义关联度量pc1特征相似度、时间邻近度pt1与空间重叠度ps1各参数对应的权重因子，权重因子相加和为1；

35、步骤3.12：结合语义关联度、更新前或更新后的地理场景数字孪生场景知识图谱与pagerank协同过滤算法，计算场景对象的需求度，公式为：

36、

37、其中，pro表示更新前或更新后的地理场景数字孪生场景知识图谱中节点o被访问的概率pr值，α表示在某节点停留时继续访问其他节点的概率，1-α表示停止访问其他节点的概率，r表示初始向量即可视化任务需求偏好向量，表示与节点o有入链关系的节点pi相对中心节点的pr值，n表示与第i个节点pi有出链关系的节点数量；

38、步骤3.13：根据场景对象的需求度对场景对象进行筛选，推荐场景对象种类与规模，即筛选得到场景对象对应的数据。

39、进一步,所述步骤3.2的具体步骤为:

40、步骤3.21：人为分析经过步骤3.1增强后的用户偏好数据中可视化表达方式的展示特征，包括vr展示着重于虚拟世界中的临场感与真实感，ar与mr着重于虚拟与现实的信息互补；

41、步骤3.22：基于展示特征分析不同可视化表达方式对场景对象可视化的认知效率，公式为：

42、e＝rt(obj)+des(obj)/area

43、其中，e代表可视化的认知效率，值越高认知效率越优，rt(obj)是指找到任务目标的时间，des(obj)是指在任务目标区域内眼动热点分布密度，area是指任务目标区域的面积，任务目标是指让用户在地理数字孪生场景中通过观察找到的场景对象；

44、步骤3.23：基于认知效率对各可视化任务需求选择可视化表达方式，再根据选择的可视化表达方式调度场景对象，实现场景可视化的展示级增强。

45、进一步,所述步骤3.3的具体步骤为:

46、步骤3.31：提取出更新前或更新后的地理场景数字孪生场景知识图谱中用语义描述的语义关联，以建立场景对象的语义约束，其中，语义约束包括包含、邻接、上下方位的空间语义约束和关系语义约束；

47、步骤3.32：基于经过步骤3.2增强后的用户偏好数据和不同的语义约束，联合利用多视觉变量加强场景对象的关注度，或利用动态可视化表达方式对场景对象的事件过程的描述，或利用适宜性表达方法对场景对象的易读性来实现场景对象可视化的语义级增强。

48、进一步,所述步骤3.4的具体步骤为:

49、步骤3.41：基于经过步骤3.3增强后的用户偏好数据和用户的认知引导信息，建立用户探索分析的基本情景，其中，认知引导信息包括场景对象、表层信息、深层逻辑和时序关系；

50、步骤3.42：基于得到的基本情景，梳理分析用户交互行为特征对场景对象的可视化内容进行再组织，其中，用户交互行为是指在用户浏览场景时通过点击、缩放、旋转或漫游操作去关注某个场景对象，用户交互行为特征是指用户对场景的人机交互操作，包括选择、移动、缩放和旋转；

51、步骤3.43：联合表层信息与步骤3.42得到的再组织可视化内容展示的时序表达深度逻辑构建认知引导模型，实现可视化交互探索级增加，即得到重新组织的场景，过程公式为：

52、st＝m∪hti(u)∪pti(x,y,z)

53、其中，sti为时间t中的第i个时刻场景范围，m为视角操作的方式，包括对整体场景进行观察或以第一人称视角的方式进行浏览，hti为在时间t中的第i时刻，需要在地理数字孪生场景中重点展示的场景对象，u为用户类型，hti(u)表示在时间t中的第i时刻将该用户特征有较强关联的场景对象重点显示，pti(x,y,z)为在时间t中的第i时刻的视角位置，用于引导用户开始探索。

54、进一步,所述步骤s4的具体步骤为：

55、步骤4.1：基于眼动感知的感兴趣场景对象选择，即基于步骤3得到的结果和地理数字孪生场景设置感兴趣场景对象的信息，使用眼动仪获取人眼的生理参数构建兴趣度量模型，设置感兴趣场景对象的信息包括几何信息、纹理信息和语义信息，生理参数包括眼动轨迹、注视点数量、注视时长以及瞳孔直径变化量，构建兴趣度量模型的公式为：

56、

57、其中，a为某场景下的视觉吸引力的兴趣度量模型，bk为第k视觉吸引行为的注视时长，dk为第k次视觉吸引行为的瞳孔直径，k为视觉吸引行为次数，k＝1,2,3,…,m；

58、根据公式得到兴趣度量值，记录感兴趣场景对象的几何信息、纹理信息、语义信息以及相应的兴趣度量值，对兴趣度量值进行排序，获得感兴趣对象的列表；

59、步骤4.2：在选择的感兴趣场景对象的驱动下进行未来时刻感兴趣场景对象智能预测，即基于眼动仪检测后提取基于时间窗的用户兴趣特征、用户交互行为特征以及历史行为特征，对提取的特征进行量化、标签化处理，结合用户长期行为特征和短期行为特征，建立基于反馈学习的循环神经网络模型对用户行为特征预测未来时刻感兴趣场景对象，其中，用户行为特征包括兴趣度量值和场景交互行为，场景交互行为包括点击、缩放、旋转和平移，用户兴趣特征是指观测的感兴趣场景对象，历史行为特征是指多个时间段的用户兴趣特征与用户交互行为特征；

60、步骤4.3：基于选择的感兴趣场景的约束及预测得到的未来时刻感兴趣场景对象进行未来场景绘制，即采用感兴趣单元分级量化算法对感兴趣场景的感兴趣度量值和表达层次对未来时刻感兴趣场景对象进行单元划分与数据组织；

61、基于单元划分与数据组织构建带有服务中断与动态优先权的动态调度排队模型，并优化渲染队列组织结构，即优化动态调度排队模型；

62、最后通过几何裂缝消除与视觉一致性处理，采用动态调整优化算法调度优化后的渲染队列组织结构进行场景对象调整优化，实现未来地理数字孪生场景的绘制优化。

63、一种任务驱动的地理数字孪生场景增强可视化系统，包括：

64、采集模块：基于地理场景获取多源异构数据，包括基础地理数据、地质数据以及实时监测数据；

65、用户偏好数据获取模块：基于多源异构数据剖析场景对象、用户特征和可视化表达方式三者特征及其动态关联关系，并基于地理场景数字孪生场景知识图谱驱动的语义关联度量与知识推理算法，构建用户展示-分析-探索需求的数字孪生场景多层次可视化任务模型获取用户偏好数据；

66、增强模块：基于用户偏好数据得到数字孪生场景数据-展示-分析-探索多级增强可视化数据及方式；

67、绘制模块：在得到多级增强可视化数据及方式后，对地理数字孪生场景进行可视化绘制。

68、与现有技术相比，本发明的优点在于：

69、本发明能对场景对象-用户偏好-可视化表达之间的关联关系进行清晰描述，且能对多用户可视化探索分析行为及认知机理的准确刻画，从而使数字孪生场景展示任务明确、信息表达强与绘制效率高，能满足动态复杂环境下数字孪生场景高效可视化表达需求，具体表现在：

70、一、本发明充分利用地理数字孪生场景中众多影响因素特征及相互关系，设计知识图谱驱动的语义关联度量和知识推理规则，建立满足用户展示-分析-探索需求的多层次可视化任务模型，实现对数字孪生场景对象-用户特征-可视化表达之间动态复杂关系的准确描述，提升数字孪生场景可视化任务动态规划能力；

71、二、本发明充分分析数字孪生场景组成结构、信息密度及展示方式等因素特征及相互影响关系(即指多级增强可视化)，探明不同可视化表达方式作用下的视觉认知机理，建立任务驱动的地理数字孪生场景多级增强可视化方法，实现数据-展示-分析-探索逐级引导的场景信息高效呈现，提升用户的可视化认知效能，加深对地理场景的准确理解；

72、三、本发明深入分析不同用户可视化探索分析行为，充分考虑人眼对不同场景内容的感知特性和掩蔽效应，提出眼动感知的场景感兴趣对象选择方法，设计感兴趣约束的适应性场景分析及其动态调整优化算法，实现铁路桥梁建造数字孪生场景等的实时可视化绘制，支持用户开展场景高效交互探索分析。