一种眼动追踪与虚拟现实相结合的室内导航路网构建方法与流程

本发明涉及室内导航路网构建方法，特别是涉及一种三维眼动追踪与虚拟现实技术相结合的室内导航地标路网构建方法。

背景技术：

室内导航路网的构建大多把用于表达室外道路网络的结点—弧段模型引入到室内空间中来，室内空间单元(如房间、办公室等)抽象成结点，走廊、门厅等联系空间抽象为弧段，以此建立室内通道拓扑网络的抽象视图。这种方法虽然可以通过结点、弧段描述室内各个单元之间的相邻性和连通性关系，但忽略了室内空间的拓扑以及语义信息，而且多数路径只能规划到房间，难以满足不同场景下的行人的寻路需求。

现有的室内通道路网的构建思路如下：

(1)室内单元分割，构建初始的室内空间单元；

(2)对室内房间单元、廊道空间、公共设施等地图数据分要素、分专题处理，生成室内建筑地图；

(3)根据室内建筑地图，确定出口、楼梯、电梯等关键出入口，同时确定建筑物内各单元所归属的出入口；

(4)根据楼梯、电梯、扶梯等数据提取出建筑物垂直方向的连通信息，将连通类型、通道种类、位置等信息生成楼层间连通信息表，保存进楼层连通数据库，以用于建筑物的跨楼层的寻路分析；

(5)构建结点要素、弧段要素，采用数据库存储节点、弧段以及多边形要素的拓扑关系；

(6)基于图理论，依据点—弧段理论构建室内网络模型。

人的寻路行为是一系列定位与定向移动的行为，是人不断形成认知地图的过程，在此过程中，行人在头脑中不断感知环境、记忆并表现为外部空间的寻路行为。寻路行为需要使用多种能力，例如定向、距离判断或者路线选择等，并需要通过地标来确定他们在环境中的当前位置。所以寻路行为在认知上要求很高，没有考虑人的心理认知的通道网络大多只具有参考意义。

室内地标提供了大量的环境细节，在场景中能引起注意，帮助场景记忆，有助于主观空间识别，可以作为环境确认的明显标志，在室内环境中寻路和方向指示中发挥着重要作用，发展至今已经广泛应用于室内定位、室内导航、应急疏散等多种寻路场景中。

地标是人在环境中定位自身的重要参考，是构建环境心理表征的基本要素，有研究表明，方向感较差的人通常会在寻路过程中犯下更多错误，并倾向于选择更多的物体作为地标。将地标纳入路径规划算法的原因是在于人们更倾向基于地标的路线描述。系统生成的导航指令特别有助于方向感较差的人。

目前室内地标确定的代表性方法有空间对象显著性度量模型、空间数据挖掘方法、网络资源搜索方法等。现有的室内地标提取处理思路如下：

(1)分析室内地标类型、特征等；

(2)构建室内通道网络；

(3)室内路网要素的特征分析，确定特征点、特征线；

(4)利用连接度、可视域信息等确定决策点等；

(5)结合场景需要，利用决策点，结合显著度，设计地标标志，构建地标路网；

基于点—弧理论构建室内通道路网的处理思路对室内空间认知机制不明确，没有从空间认知的角度明确室内环境中的地标数据的适用性，所给出的路径不仅难以满足行人在不同应用场景下的寻路需求，而且容易增加用户对路线混乱的感觉，丧失在导航期间的信心。

基于地标的方法更容易满足不同场景下的行人导航需求，但是传统的室内地标提取方法，在地标选取上多依靠用户主观选择，地标的描述粗糙，提取、验证困难，难以满足精准导航、轨迹分析以及应急疏散等精细化服务的需要，导致地标数据在室内空间导航中的应用难以实用化，多停留在理论层面。

技术实现要素：

发明目的：本发明的目的是提供一种可提供准确导航的室内导航路网构建方法。

技术方案：一种眼动追踪与虚拟现实相结合的室内导航路网构建方法，包括如下步骤：

(1)基于三维建模技术，对室内构件及空间单元进行构模，构建建筑物室内三维场景模型；

(2)利用虚拟现实技术、gis技术，构建室内空间三维虚拟现实系统；

(3)构建并应用移动眼睛跟踪系统，在虚拟环境中采集被测者的位置和头部姿态信息，以及所述移动眼睛跟踪系统的眼球运动数据；

(4)将步骤(2)所构建的室内空间三维虚拟现实系统与步骤(3)所构建的用于3d注视分析的移动眼睛跟踪系统相结合，构建沉浸式虚拟环境和移动眼睛跟踪系统；

(5)基于网络及图论，分析室内区域功能，将室内封闭性单元和联系性单元统一剖分为房间单元，将室内路网简化为建筑物、楼层、区块和房间四个层次，进行室内单元认知分层编码，构建基于空间认知规律的室内跨楼层通道路网；

(6)针对建筑物室内空间，划分室内空间的地标类型，形成地标地物特征信息；

(7)根据不同的地标类型，建立顾及到不同情境下寻路人员心理的情境―地标―动眼参数量表；

(8)利用所述沉浸式虚拟环境和移动眼睛跟踪系统的视觉追踪设备测量眼动信息，记录被测者寻路过程中的眼动数据信息；

(9)对所述眼动数据信息进行处理与可视化分析，得到眼动指标数据；

(10)利用步骤(7)所构建的地标―动眼参数量表分析不同场景下的地标类型，建立基于寻路心理认知的地标场景适应度和动眼指标之间的相互作用模型；

(11)根据所述基于寻路心理认知的地标场景适应度和动眼指标之间的相互作用模型，对步骤(5)所构建的室内通道路网进行优化和分析，构建顾及场景需求的室内导航地标认知路网。

进一步地，步骤(3)所构建的移动眼睛追踪系统用于采集和记录被测者的姿态、行为以及连续眼动数据。

进一步地，步骤(5)中，所述的室内跨楼层通道路网为：结合锚链理论和室内认知理论，提取室内封闭性空间和室内联系性空间，根据室内单元功能，将室内联系性空间划分为虚拟房间单元，从而对所述空间和室内联系性空间进行统一的房间单元划分，基于室内空间感知规律，将室内路网简化为建筑物、楼层、区块和房间四个层次，采用建筑物—楼层—分区—房间单元，按照从高层级到低层级的顺序进行室内单元认知分层连续编码。

进一步地，步骤(6)中，所述地标地物特征包括以下至少一种：地表地物外观、连接度、颜色、维度、地标类型。其中，维度包括2维/3维(平面或者立体)。

进一步地，步骤(7)中，所述情境―地标―动眼参数量表为：根据不同场景的室内寻路需求(如购物情境、应急情境等)，构建地标—眼动指标量表；其中，所述指标包括以下至少一种：总注视次数、总注视时间、总注视时间均值、总眼跳时间比例、总眼跳时间比例均值、瞳孔直径标准差、瞳孔直径标准差均值、地标平均注视比例、平均注视时间、平均注视次数、步行速度。

进一步地，所述步骤(9)包括：

(91)对所获取的眼动指标数据进行信号去噪；

(92)对去噪后的眼动指标数据进行眼跳检测、注视点检测和注视点识别处理，计算视线夹角、角速度、角加速度信息，进而生成被测者的眼动指标数据；

(93)对所述眼动数据进行可视化分析，分析内容包括眼动位置变化策略、眼动速度检测、视觉注意轨迹，其中所述眼动位置变化策略为基于眼球位置分析的追踪，所述眼动速度检测为基于眼球运动速度的眼动特征分析，所述视觉注意轨迹为被试者实验过程中运动轨迹以及注视点原始信息。

进一步地，所述眼球运动速度由瞬时眼球的运动幅度表示，由视觉角度每个瞬间估计的速度和加速度θi计算得到，所述加速度θi的计算公式如下：

其中，vi,vi+1分别为i,i+1位置处的平均位置；n为样本数。

进一步地，所述基于寻路心理认知的地标场景适应度和动眼指标之间的相互作用模型为，基于心理认知规律构建的包含空间结构、尺度层次、外观信息、语义特征的地标场景适应度测算模型，如下公式所示：

im＝ωstru*istru+ωscal*iscal+ωappe*iappe+ωsema*isema

其中，im表示地标场景适应度，istru表示地标空间结构的定量值，iscal表示地标尺度层次数值；iappe表示外观适应性的定量值；isema表示与情景有关的语义显著度数值，ωstru、ωscal、ωappe、ωsema是对应各定量指标的权重。

所述空间结构使用地标节点关联度来表达，所述地标节点关联度为地标所关联的路网弧段条数；所述尺度层次包括建筑物、楼层、分区和房间四种尺度，分别用1、2、3、4来表达；所述外观适应度性表示地标的外观、立面宽度/高度信息；所述语义显著度表示地标的语义特征。地标的语义特征是与认知相关的因素，与行人对地标的语义认知有关，如地标的用途、名称、种类、重要性(与场景有关)等。

有益效果：本发明提供的一种眼动追踪与虚拟现实相结合的室内导航路网构建方法，该方法充分利用三维眼动追踪系统，并考虑人的心理认知活动，结合寻路观察过程，精确测量眼动信息以及身体姿态位置，生成多项眼动指标数据，提取具有客观、高可用性的地标类别，为室内不同情境下的寻路提供有效的导航信息；所选择的地标与描述更加客观与精准，地标提取相对容易，构建的地标路网更符合人的认知习惯，与室内通道网络的结合更加科学、实用与高效。

附图说明

图1为基于虚拟现实的眼动追踪系统图；

图2为室内空间结构示意图；

图3为室内空间单元剖分图；

图4为室内单元编码示意图；

图5为虚拟现实头盔眼动数据采集及处理流程；

图6为某建筑一楼室内单元分布图；

图7为应急疏散网络示意图(1楼)；

图8为购物模式网络示意图(1楼)；

图9为某建筑物路网以及房间502到房间125的路径示意图。

具体实施方式

下面结合附图和具体实施方式，对本发明的技术方案作进一步的介绍。

一种眼动追踪与虚拟现实相结合的室内导航路网构建方法，包括如下步骤：

(1)基于三维建模技术，采用cad、bim等数据，对室内电梯、门、窗、楼梯等构件以及走廊、房间等空间单元进行构模，构建建筑物室内三维场景模型。

(2)基于gis、虚拟现实技术软件(如u3d、revit等)，构建三维虚拟现实系统。

(3)将沉浸式虚拟环境与用于3d注视分析的移动眼睛跟踪系统相结合，构建如图1所示的基于虚拟现实的眼动追踪实验系统。当测试者佩戴头戴式眼动追踪实验系统时，系统获取被测者在步骤(2)构建的所述三维虚拟现实系统中的位置和头部姿态信息，以及来自眼睛跟踪系统的眼球运动数据，根据连续眼动数据记录被测者的姿态和行为。

(4)利用ifc数据，提取室内空间区域单元，进行室内空间区域类型划分。如图2为某楼层室内单元结构图，room1、room2、room3、room4、room5、room6、room7、room8、r20、r21、r31等为房间单元。在分析室内区域功能的基础上，引入“虚拟房间”单元，将室内封闭性单元和联系通道单元统一剖分为房间单元，如c2水平廊道单元剖分为虚拟房间单元vc21、vc22、vc23、vc24、vc25等组成，如图3所示。基于室内空间感知规律，采用建筑物—楼层—分区—房间单元，按照从高层级到低层级的顺序进行室内单元认知分层连续编码，如图4中的电梯单元编码为000200000102，从左至右依次表示为：00表示建筑物编码，02为楼层2；00表示不分区；0001表示编号为1的房间单元；02表示该单元类型为电梯。图6的2楼room8房间编码为000200000800。00表示建筑物编码，02表示在2楼，00表示不分区；0008表示编号为“0008”单元；00表示房间单元。室内空间拓扑元素抽象，室内空间拓扑关系描述，构建室内层次认知路网。

(5)针对室内空间，统计室内可以作为地标的建筑标识，归纳、分组室内地标类型，包括建筑类、功能类、标志类、信息类、家具类型等；

(6)顾及不同场景下的人员心理(心理认知、空间认知)，根据不同的地标类型，设计地标—动眼参数量表(如下表1所示)，以有效表征人们在观察过程中的感知度、注意度和理解度；

表1

(7)根据虚拟环境中采集的被测者的头部位置、头盔原点以及头盔姿态等数据，确定三维虚拟场景中的视线起点，基于眼动追踪技术定位瞳孔位置，利用几何模型建立用户眼睛特征与电脑屏幕内容之间的关系，计算视线投影面、获取眼球注视交叉点数据，确定用户空间视线方向，生成检测射线向量，与场景中的模型做碰撞检测分析，当眼球的运动数据超出了眼球运动捕捉仪的测量范围或者眼球的运动数据处于极端周边区域中时，眼睛运动数据可以视为噪声，碰撞检测无效，模型将被忽略；如碰撞检测有效，则记录被测试者的位置、身体方向、观察方向、视锥体、步行速度、停留时间和停留位置等信息，计算视线夹角、角速度、角加速度以及注视点等信息，进而生成被测者的注视、扫视、眼跳及追随运动等眼动相关数据。采集以及处理过程如图5所示。

瞬时视角θi的计算公式如下：

其中，vi,vi+1分别为i,i+1位置处的平均位置；n为样本数。本发明利用眼动特征分析算法，通过计算在视觉角度的每个瞬时估计的速度和加速度θi来测量瞬时眼球的运动幅度，并且隐含地表示眼球运动速度。

(8)地标适应度的评估与计算。使用步骤(7)所获得的数据集，综合采集被试的眼动和身体运动信息，根据被试在寻路过程期间的眼动信息计算步骤5所确定的不同场景类型下的各种地标类型的适应度。

为了描述地标的场景适应度，使其能够满足行人的寻路需求，本发明引入结构适应度、视觉适应度、尺度适应度、功能适应度等方面信息。

1)结构适应度：结构适应度主要从建筑物结构的角度来描述地标的适应性，通过节点连接度来描述，其语义表达为：struct_fitness＝{arc_degrees(node_degree)}。其中，arc_degrees表示网络中弧段的度，node_degree表示网络中节点的连接度。

2)视觉适应度：视觉适应度是从地标自身对行人注意力的吸引来描述的，关注的是局部层面的地标设置。主要通过地标的外观颜色、形状、立面大小等来进行描述的。其语义表达为：vision_fitness＝{v_color，v_shape，v_area}。其中，v_color表示地标的颜色，v_area表示地标可视面积，v_shape表示地标立面形状。

3)尺度适应度：尺度适应度描述的是地标适应的空间尺度等级，尺度等级比较高的需要在等级高的路网中进行表达，例如楼层的出入口、垂向联通地标等都需要在建筑物的高等级路网中优先进行表达，而一些室内地标可能需要在行人进入房间单元后才需要进行显示。其语义表达为：scale_fitness＝{s_dimension，s_type}。其中，s_dimension表示地标连接维度，二维还是三维，s_type表示地标的尺度类型，可以分为室外—建筑物、建筑物—楼层、楼层—廊道、廊道—室内和室内五种尺度类型。

4)功能适应度：功能适应度描述的是不同类型的地标对不同场景适应的重要性，根据类别有效性进行定义。function_fitness＝{f_type}。s_type表示地标的功能类型。地标类型主要包括连通地标、情境功能地标(售票机、检票口等，商铺、洗手间等)、情境信息地标、其他地标(广告牌、雕塑等)。

(9)地标标识分层级处理。针对图纸或方案空间，从地标类别的整体有效性，根据室内网络语义信息描述，将结构适应度、视觉适应度、尺度适应度和功能适应度组合进行地标的场景适应度评价，进而根据认知层次、地标的适用性，结合场景对地标进行分层、分等级、分类处理；

(10)结合不同的场景对导航策略的要求，概括、归纳和提取不同层级的地标类型：对步骤(4)所确定的室内路网模型进行认知分层处理(垂直方向进行分层抽象，在水平方向按尺度细节处理，功能上按照场景需求选择地标)，构建顾及地标的室内导航分层路网模型。如图6为某建筑物一楼室内单元分布示意图，图7为应急疏散网络示意图(1楼)、图8为购物模式下的路网(1楼)。图9为跨楼层的路网，其中红色弧为计算1楼125(编码：000100012500)到5楼502房间(编码：000500050200)的寻路路径。