基于自适应视觉差异的混合现实交互式导识系统及方法

1.本发明属于混合现实技术领域，尤其涉及一种基于自适应视觉差异的混合现实交互式导识系统及方法。


背景技术：

2.随着社会现代化程度的提高以及智慧城市建设的深入，商业综合体、医院、地铁、博物馆等公共场所的空间布局越来越复杂，公共场所内布置的智能设施也更加多样化。虽然可利用手机app进行导航，但手机所带gps定位模块在室内定位误差大，且信息呈现界面小。mr（混合现实）技术可将虚拟影像与现实场景精准契合，融为一体，如果将mr技术应用于公共场所室内的寻路导航等，可以给用户更好的沉浸体验。虽然目前有将mr技术应用于其他领域，但未考虑对不同视力状态人群差异化呈现混合现实图像，对视力缺陷人群不友好。


技术实现要素：

3.本发明的目的提供一种基于自适应视觉差异的混合现实交互式导识系统及方法，该系统及方法将可交互的虚拟信息叠加到现实环境，为用户提供易解读且高效的导识服务；并且还针对不同视力状态人群差异化呈现混合现实图像，提升各类用户的体验感。
4.本发明提供的基于自适应视觉差异的混合现实交互式导识系统，包括指令接收模块、图像扫描模块、视力检测模块、储存模块、处理模块、虚拟成像模块、以及第一数据传输模块和第二数据传输模块；所述指令接收模块，用来接收指令并识别目的地，将目的地通过第一数据传输模块发送给处理模块；所述图像扫描模块，用来扫描室内场景并提取场景特征信息，将场景特征信息通过第一数据传输模块发送给处理模块；所述视力检测模块，用来检测佩戴者双眼的屈光数据，屈光数据通过第一数据传输模块发送给处理模块；所述储存模块，用来存储室内三维场景模型以及不同视力状态对应的界面呈现方案，其中界面呈现方案包括界面布局及配色方案；所述处理模块进一步包括视觉定位子模块、导航规划子模块和界面呈现方案子模块；其中，视觉定位子模块用来将场景特征信息与所述储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息；导航规划子模块用来根据佩戴者的位置信息和目的地，规划导航路径，并通过第二数据传输模块发送给虚拟成像模块；界面呈现方案子模块用来根据屈光数据获取佩戴者的视力状况，从储存模块中调取相应的界面呈现方案并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块用来利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航路径的虚拟图像。
5.在一些具体实施方式中，指令接收模块接收的指令为语音指令或手势指令。
6.在一些具体实施方式中，储存模块还存储有室内设施的三维物体模型及操作方法；所述处理模块还包括设施导识子模块；当图像扫描模块接收到设施识别指令时，所述图像扫描模块用来对目标设施进行扫描并提取设施特征信息，并通过第一数据传输模块发送给处理模块；在接收到设施特征信息后，所述设施导识子模块将设施特征信息与所述储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施对应的操作方法，并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块利用混合现实技术，按相应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像。
7.在一些具体实施方式中，设施识别指令为手势指令。
8.在一些具体实施方式中，储存模块中不同视力状态人群对应的界面呈现方案采用如下方法获得：（1）预定义若干不同视力状态以及各视力状态对应的屈光度；（2）通过调研确定各类视力状态人群适用的界面布局，界面布局包括界面分区、各区域尺寸及位置；（3）利用遗传法分别确定各类视力状态人群适用的配色方案，进一步包括：s100：遵循基本美学色彩搭配原理，在当前视力状态人群适用的界面布局上对各区域随机赋予色彩值，经排列组合获得预设数量的不同配色方案；s200：对各配色方案中色彩值进行编码，之后作为初代群体种群；s300：获取各配色方案的主观评分，利用三角模糊数量化评分，利用群体意象偏好模型分别构建各配色方案对应的三角模糊数矩阵；s400：基于三角模糊数矩阵计算当前视力状态人群对各配色方案的偏好共识度；s500：依次判断各配色方案的偏好共识度是否大于预设的偏好共识度阈值β0，一旦有配色方案的偏好共识度大于β0，则将该配色方案作为最优配色方案，执行步骤s700；若所有配色方案的偏好共识度均不大于β0，继续执行步骤s600；β0为经验值；s600：以当前群体种群为基础，依次进行选择、交叉、变异操作，将生成的新配色方案作为新的群体种群，再次执行步骤s300~s500，直至偏好共识度大于偏好共识度阈值，执行步骤s700；s700：对最优配色方案进行解码，将解码后的配色方案与当前视力状态人群适用的界面布局结合，即获得当前视力状态人群对应的界面呈现方案。
9.在一些具体实施方式中，步骤（2）进一步包括：将界面划分为导识区域、提示区域和选择区域；对各类视力状态人群进行调研，获得各类视力状态人群对界面的要求，包括界面中三个区域的重要程度、尺寸以及位置；再结合通用的导识界面布局原则，分别生成适用各类视力状态人群的界面布局。
10.在一些具体实施方式中，步骤s400中基于三角模糊数矩阵计算当前视力状态人群对配色方案的偏好共识度，具体为：
配色方案对应的三角模糊数矩阵为；针对各用户主观调研的矩阵化处理的结果，用算数平均的方式聚合化处理向量之间的距离t，并以该距离来衡量不同视力状态人群对混合现实界面色彩偏好的差异性，；偏好共识度；其中，表示当前视力状态人群中t个用户对当前配色方案的三角模糊数，对第j、k个用户，对应的三角模糊数分别记为、。
11.在一些具体实施方式中，步骤s600的选择操作中，采用偏好共识度与偏好共识度阈值的距离的倒数作为适应度，采用各配色方案适应度与所有配色方案适应度总和之商作为各配色方案被选中的概率，基于概率和轮盘赌法选取进行后续交叉、变异的群体种群。
12.本发明提供的一种基于自适应视觉差异的混合现实交互式导识方法为：视力检测模块检测佩戴者双眼的屈光数据，屈光数据发送给处理模块；图像扫描模块扫描佩戴者所在位置的场景并提取场景特征信息，场景特征信息发送至处理模块；处理模块中的视觉定位子模块将场景特征信息与储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息；处理模块中的界面呈现方案子模块根据屈光数据获取佩戴者的视力状况，从储存模块中调取佩戴者相应的界面呈现方案；当指令接收模块接收到寻路导航指令，指令接收模块识别目的地并将目的地发送给处理模块；处理模块中导航规划子模块根据佩戴者的位置信息和目的地，规划导航路径；处理模块将相应的界面呈现方案和导航路径发送给虚拟成像模块；虚拟成像模块利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航
路径。
13.在一些具体实施方式中，上述混合现实交互式导识方法还包括：当图像扫描模块接收到设施识别指令，图像扫描模块对佩戴者选取的目标设施进行扫描并提取设施特征信息，将设施特征信息发送给处理模块；处理模块中的设施导识子模块将设施特征信息与储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施对应的操作方法，并发送给虚拟成像模块；虚拟成像模块利用混合现实技术，按佩戴者视力状况对应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像。
14.和现有技术相比，本发明具有如下优点和有益效果：（1）将视觉定位技术和混合现实技术结合来实现寻路导航与设施导识功能，混合现实技术用来将虚拟影像与现实场景精准契合，融为一体，可解决目前手机app信息呈现界面小的问题，能给用户带来更好的沉浸体验；视觉定位技术可提高室内定位准确度，有利于寻路导航与设施导识的准确性。
15.（2）对不同视力状态人群呈现差异化界面，对各类不同视力状态人群均友好，进一步提高了用户的使用体验感。
附图说明
16.图1为本发明混合现实交互式导识系统的功能框图；图2为实施例1中所得寻路导航方案示意图；图3为混合现实导识界面示意图；图4为混合现实导识界面的分区示意图；图5为实施例3中基于遗传法的配色方案确定流程图；图6为实施例4中的混合现实交互式导识方法流程图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的实施例仅仅用以解释本发明，并不用于限定本发明。
18.需要说明的是，后文的“界面”均指“混合现实导识界面”。
19.实施例1本实施例混合现实交互式导识系统可进行公共场所室内的寻路导航，参见图1，本实施例系统包括指令接收模块、图像扫描模块、视力检测模块、储存模块、处理模块、虚拟成像模块、以及第一数据传输模块和第二数据传输模块，指令接收模块、图像扫描模块、视力检测模块均通过第一数据传输模块向处理模块发送数据，处理模块通过第二数据传输模块向虚拟成像模块发送控制指令，处理模块还连接储存模块，可从储存模块调取数据。本实施例系统的实体为头戴式mr眼镜，所包含各模块嵌设于mr眼镜框体的相应位置。
20.指令接收模块用来接收佩戴者的指令并从指令中识别目的地，将目的地通过第一数据传输模块发送给处理模块。本实施例中指令接收模块采用语音识别模块，具体采用kaldi开源语音识别模块，佩戴者通过语音告知目的地，指令接收模块接收并进行语音识
别，将识别的目的地转化为数据信息，通过第一数据传输模块发送至处理模块。
21.图像扫描模块用来与处理模块中的视觉定位子模块配合，对佩戴者在室内的位置进行定位。本实施例中，图像扫描模块利用3d飞行时间（time-of-flight， tof）技术扫描佩戴者所在位置的场景，再结合相机拍摄图像，获得场景的深度图像，即场景特征信息。将场景特征信息通过第一数据传输模块发送给处理模块。本实施例中图像扫描模块具体采用microsoft kinect v2深度摄像头，可获取场景的深度扫描图像，将microsoft kinect v2深度摄像头设置于mr眼镜框体侧前方。
22.视力检测模块用来检测佩戴者双眼的屈光数据，将屈光数据通过第一数据传输模块发送给处理模块。本实施例中视力检测模块进一步包括mems光束发射器、光学感受器和数据分析器。mems光束发射器向眼球发射动态光束，光束经眼球的屈光系统聚焦折射到光学感受器上，由数据分析器处理得出双眼的屈光数据，屈光数据所包含的屈光度可反映佩戴者的视力状态。屈光度定义为：在光束经眼球屈光系统，以焦点在1m时眼球屈光系统的屈光力为1屈光度，也记为1d。由于视力检测模块需要对佩戴者双眼进行检测，所以视力检测模块安装于mr眼镜框体上位于人眼前方的位置。本发明中，预定义屈光度与不同视力状态的对应关系，根据屈光度即可获得佩戴者的视力状态。
23.储存模块用来存储室内三维场景模型以及不同视力状态对应的界面呈现方案。室内三维场景模型利用三维建模技术构建，本实施例中采用cad、bim等数据进行三维建模，对室内电梯、楼梯等建筑构建及走廊、房间等空间单元进行模型构建，从而构建出室内三维场景模型。通过对不同视力状态人群进行调查，构建适用不同视力状态人群的界面呈现方案，并预先存储于储存模块内。界面呈现方案具体包括界面布局及配色方案。
24.处理模块为本发明系统的计算核心，其进一步包括视觉定位子模块、导航规划子模块和界面呈现方案子模块。视觉定位子模块用来利用视觉定位技术对佩戴者在室内的位置进行定位，具体为将场景特征信息与储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息。导航规划子模块用来根据佩戴者的位置信息和目的地，规划导航方案路径，并通过第二数据传输模块发送给虚拟成像模块。界面呈现方案子模块用来根据屈光数据获取佩戴者的视力状况，从储存模块中调取相应的界面呈现方案并通过第二数据传输模块发送给虚拟成像模块。本实施例中，储存模块和处理模块均采用azure操作系统。
25.当虚拟成像模块接收到导航路径和界面呈现方案，则利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航路径的虚拟图像。本实施例中虚拟成像模块主要包括dlp投影仪芯片和镜片模组，安装于mr眼镜框体上位于人眼前方的位置。第一数据传输模块和第二数据传输模块用来进行数据传输，本实施例中第一数据传输模块和第二数据传输模块均采用无线宽带模块，例如wifi模块。
26.本实施例系统的使用方法为：佩戴者佩戴该头戴式mr眼镜，当需要寻路导航时，通过语音说出目的地。指令接收模块接收并识别目的地；图像扫描模块实时扫描佩戴者所在位置的场景；视力检测模块检测佩戴者双眼的屈光数据。视觉定位子模块根据佩戴者所在位置的场景，利用视觉定位技术对佩戴者所在位置进行定位；导航规划子模块根据佩戴者的位置信息和目的地进行导航规划；界面呈现方案子模块根据屈光数据获得佩戴者的视力状况，从而调取对应的界面呈
现方案。虚拟成像模块利用混合现实技术，按对应的界面呈现方案在现实情景中叠加导航路径的虚拟图像，为佩戴者提供寻路导航功能。图2所示为所获得的寻路路径，带箭头的虚线即导航路径。
27.实施例2本实施例系统在实施例1的基础上，还具有设施导识功能，即识别目标设施并提供目标设施的操作方法，目标设施即佩戴者所选取设施。设施一般为公共场所内布设的智能设施，例如售票机、贩卖机、共享设备等。
28.本实施例中，储存模块还存储有公共场所室内设施的三维物体模型及操作方法；处理模块还包括设施导识子模块。当图像扫描模块接收到设施识别指令时，对目标设施进行扫描并提取设施特征信息，此处设施特征信息指目标设施的深度图像，通过第一数据传输模块将设施特征信息传输给处理模块。在接收到目标设施的设施特征信息后，处理模块中设施导识子模块将设施特征信息与储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施的操作方法，将操作方法通过第二数据传输模块发送给虚拟成像模块。虚拟成像模块利用混合现实技术，按佩戴者视力状况对应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像，佩戴者按虚拟图像的导识操作目标设施。
29.本实施例中设施导识功能的使用方法为：在需要进行目标设施导识时，佩戴者通过实体或虚拟的触发按钮或预设手势来触发该项功能，之后在界面上选择目标设施，图3所示即目标设施选择示意图，通过手型按钮选择目标设施。在选择目标设施后，图像扫描模块扫描并提取目标设施的设施特征信息。
30.实施例3本实施例将提供视力状态与界面呈现方案对应关系的构建方法，其中界面呈现方案包括布局和配色方案。
31.具体的构建过程如下：（1）预定义若干不同视力状态以及各视力状态对应的屈光度。
32.本实施例中对屈光度为xd（-3≤x≤2），划分为屈光度分别为-3d、-2d、-1d、0d、1d、2d的六类视力状态，d为屈光度单位，0d表示视力状态正常，1d、2d分别代表老花100度、200度；-1d、-2d、-3d分别代表近视100度、200度、300度。
33.（2）确定各类视力状态人群适应的界面布局。
34.本实施例中界面划分为3个区域：导识区域1、提示区域2和选择区域3，具体参见图4。导识区域用来显示导航路径和设施操作图标等；提示区域用来显示提示信息；选择区域用来显示功能。
35.首先对六类视力状态人群进行基础调研，获得各类视力状态人群对界面的要求，包括界面中三个区域的重要程度、尺寸以及位置。再结合通用的导识界面布局原则，分别生成适用各类视力状态人群的界面布局。本具体实施方式通过调研确定三个区域的重要程度为：导识区域》提示区域》选择区域。
36.在确定各类视力状态人群对应的界面布局后，再利用遗传法获得不同视力状态人群适用的配色方案，具体来说，配色方案即三个区域的配色。流程参见图5，针对各视力状态人群分别执行以下步骤：s100：将界面上的导识区域、提示区域、选择区域分别划分为主色区域、中性色区
域、支持色区域，遵循基本美学色彩搭配原理，在当前视力状态人群适用的界面布局上对三个区域随机赋予色彩值，再经排列组合获得预设数量的不同配色方案，构成配色方案集a，，分别表示第i个配色方案中导识区域、提示区域、选择区域的色彩值，i为配色方案编号，s为配色方案总数量，本具体实施方式中s取值6；色彩值包括r、g、b色彩值，分别代表红、绿、蓝三个通道的颜色。
37.s200：对配色方案集a中色彩值进行编码，并将编码后的配色方案集作为初代群体种群。
38.s300：获取配色方案集a中各配色方案的主观评分，并利用三角模糊数量化各配色方案的评分，构建各配色方案对应的三角模糊数矩阵，三角模糊数矩阵可用来反映不同用户对同一配色方案的偏好。主观评分由当前视力状态人群从舒适度出发所进行的评分，本具体实施方式中采用5分制，0分表示完全不满意，5分表示完全满意，从0到5，满意程度递增。
39.三角模糊数是将模糊的语言评价变量值转化为确定数值的方法，在评价决策中引入三角模糊数来解决评价对象属性无法被准确度量而只能用语言进行模糊评价的问题。
40.三角模糊数q的计算见下式（1）：
ꢀꢀꢀꢀꢀꢀꢀ
（1）式（1）中，m为评分，n为评分等级层数，本实施中n取5；qm表示评分所占等级，q
l
和qr分别为qm的左、右相邻等级。
41.特别地，当m =0时，三角模糊数q=（0,0,1/5）；当m =5时，三角模糊数q=（4/5,1,1）。
42.依据群体意象偏好模型对三角模糊数进行矩阵化处理，构建如下三角模糊数矩阵，该三角模糊数矩阵可反映不同用户对某一配色方案的偏好。
43.ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式（2）中，表示t个用户对某一配色方案的三角模糊数，对第j个用户（j=1,
2，
…
t），其对应的三角模糊数记为。
44.s400：基于式（2）的三角模糊数矩阵将当前视力状态人群对配色方案偏好进行量化，获得对配色方案的偏好共识度。
45.用算术平均方式聚合化处理向量之间的距离t，见式（3）：
ꢀꢀ
（3）式（3）中，j和k分别代表不同用户。
46.t可衡量当前视力状态人群中不同用户的评分差异程度，利用t获得当前视力状态人群的配色方案偏好共识度。
47.s500：依次判断各配色方案的偏好共识度是否大于预设的偏好共识度阈值，一旦有配色方案的偏好共识度大于，将该配色方案作为最优配色方案，执行步骤s700；若所有配色方案的偏好共识度均不大于，则继续执行步骤s600。偏好共识度阈值为经验值，本具体实施方式中设为0.4。
48.s600：以当前群体种群为基础，依次进行选择、交叉、变异操作，将生成的新配色方案作为新群体种群，再次执行步骤s300~s500，直至偏好共识度大于偏好共识度阈值后执行步骤s700。
49.选择、交叉、变异为遗传法中的操作。本发明中选择操作（selection）包括：将偏好共识度接近偏好共识度阈值的配色方案赋予更高的适应度，本发明中采用偏好共识度与阈值的距离的绝对值的倒数作为适应度，特别的，当偏好共识度不小于设定阈值时，其适应度视为无穷大。利用轮盘赌法将各配色方案的适应度转化为选中的概率，概率等于配色方案适应度与所有配色方案适应度总和之商。基于各配色方案的概率，进行有限次的选择，有限次数为预设次数，选择是指根据轮盘赌分配概率后的随机选择；取被选中次数大于预设次数阈值的配色方案进行后续的交叉、变异操作。交叉操作（crossover）包括：采用随机配对对选中配色方案进行两两配对，再采用单点交叉对配对中配色方案的元素进行打乱重排，产生新的个体（即配色方案）。变异操作（mutation）主要通过辅助作用帮助种群遗传更好实现。本具体实施方式中采用均匀变异操作。
50.s700：对最优配色方案进行解码，将解码后的配色方案与当前视力状态人群适用的界面布局结合，即获得当前视力状态人群对应的界面呈现方案，存储该界面呈现方案。
51.本具体实施方式中，基于配色方案在导识区域、提示区域、选择区域的三维立体坐标系中进行颜色描点，再将所有数据点进行空间曲线拟合，获得界面呈现方案并存入储存模块，同时储存界面呈现方案与当前视力状态人群的对应关系。
52.对各视力状态人群分别执行上述步骤s100~s700，从而获得各视力状态人群对应的界面呈现方案。
53.作为优选，佩戴者也可根据视觉感受，通过界面调节滑块对界面色彩进行自主调整。
54.实施例4本实施例将提供一种基于自适应视觉差异的混合现实交互式导识方法的具体过
程，见图6，该方法过程如下：视力检测模块检测佩戴者双眼的屈光数据，屈光数据通过第一数据传输模块发送给处理模块。图像扫描模块扫描佩戴者所在位置的场景并提取场景特征信息，场景特征信息通过第一数据传输模块发送至处理模块。处理模块中的视觉定位子模块将场景特征信息与所述储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息。处理模块中的界面呈现方案子模块根据屈光数据获取佩戴者的视力状况，从储存模块中调取佩戴者相应的界面呈现方案。
55.当指令接收模块接收到寻路导航指令，指令接收模块识别目的地并将目的地发送给处理模块。处理模块中导航规划子模块根据佩戴者的位置信息和目的地，建立vps三维位置关系，规划导航路径。处理模块将相应的界面呈现方案和导航路径发送给虚拟成像模块，虚拟成像模块利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航路径。当到达目的地附近，则阶段性导识服务完成。
56.当图像扫描模块接收到设施识别指令，图像扫描模块对目标设施进行扫描并提取设施特征信息，将设施特征信息发送给处理模块。处理模块中的设施导识子模块将设施特征信息与储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施对应的操作方法，并发送给虚拟成像模块。虚拟成像模块利用混合现实技术，按佩戴者视力状况对应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像。当操作完成，则该阶段性导识服务完成。
57.上述实施例所述是用以具体说明本发明，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。