一种视觉定位方法及系统与流程

1.本发明涉及视觉定位领域，特别是涉及一种视觉定位方法及系统。


背景技术：

2.平面图构建是定位服务大规模推广的重要保障。有些定位系统在环境地标建模、布局过程中，使用了复杂的全局优化算法，不能实时增量式的更新平面图，很难在短时间内给予用户输入的反馈，因此很难快速的进行定位。
3.基于上述问题，亟需一种能够快速、准确地进行定位的视觉定位方法或系统。


技术实现要素：

4.本发明的目的是提供一种视觉定位方法及系统，能够快速、准确地进行定位。
5.为实现上述目的，本发明提供了如下方案：
6.一种视觉定位方法，包括：
7.获取用户的行走轨迹；
8.在所述行走轨迹中，获取多个拍摄的图片；
9.根据每一张拍摄的图片确定相应的环境地标的几何信息；所述几何信息包括所述环境地标的位置以及朝向；
10.根据所述环境地标的几何信息以及所述用户的位置确定所述用户到所述环境地标的距离以及角度信息；
11.根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息；
12.根据所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息，基于连接时序分类网络模型确定所述用户的全局位置；所述连接时序分类网络模型以所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息为输入，以用户的全局位置为输出。
13.可选的，所述获取用户的行走轨迹，之后还包括：
14.利用陀螺仪以及所述拍摄的图片对所述行走轨迹进行校准；
15.根据校准后的行走轨迹，基于聚类方法剔除远离聚类中心的环境地标的位置的异常轨迹数据。
16.可选的，所述根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息，具体包括：
17.对所述拍摄图像中的环境地标进行特征向量提取，并将提取的特征向量与已知的环境地标的照片进行匹配，得到第一匹配结果；所述第一匹配结果包括：所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标或者模糊匹配；
18.当识别结果为模糊匹配时，采用wi
‑
fi信号以及所述运动传感器确定所述拍摄图
像中的环境地标的几何信息与每一个已知的环境地标的射频信号相似度，并根据所述相似度得到第二匹配结果；所述第二配结果包括所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标；
19.根据所述第一匹配结果和所述第二匹配结果确定所述环境地标信息。
20.可选的，所述根据所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息，基于连接时序分类网络模型确定所述用户的全局位置，具体包括：
21.将所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息转化成向量数据；
22.根据所述向量数据，基于连接时序分类网络模型确定所述用户的全局位置。
23.一种视觉定位系统，包括：
24.行走轨迹获取模块，用于获取用户的行走轨迹；
25.拍摄的图片获取模块，用于在所述行走轨迹中，获取多个拍摄的图片；
26.几何信息确定模块，用于根据每一张拍摄的图片确定相应的环境地标的几何信息；所述几何信息包括所述环境地标的位置以及朝向；
27.用户到环境地标的距离以及角度信息确定模块，用于根据所述环境地标的几何信息以及所述用户的位置确定所述用户到所述环境地标的距离以及角度信息；
28.环境地标信息确定模块，用于根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息；
29.用户的全局位置确定模块，用于根据所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息，基于连接时序分类网络模型确定所述用户的全局位置；所述连接时序分类网络模型以所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息为输入，以用户的全局位置为输出。
30.可选的，还包括：
31.行走轨迹校准模块，用于利用陀螺仪以及所述拍摄的图片对所述行走轨迹进行校准；
32.行走轨迹异常数据剔除模块，用于根据校准后的行走轨迹，基于聚类方法剔除远离聚类中心的环境地标的位置的异常轨迹数据。
33.可选的，所述环境地标信息确定模块具体包括：
34.第一匹配结果确定单元，用于对所述拍摄图像中的环境地标进行特征向量提取，并将提取的特征向量与已知的环境地标的照片进行匹配，得到第一匹配结果；所述第一匹配结果包括：所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标或者模糊匹配；
35.第二匹配结果确定单元，用于当识别结果为模糊匹配时，采用wi
‑
fi信号以及所述运动传感器确定所述拍摄图像中的环境地标的几何信息与每一个已知的环境地标的射频信号相似度，并根据所述相似度得到第二匹配结果；所述第二配结果包括所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标；
36.环境地标信息确定单元，用于根据所述第一匹配结果和所述第二匹配结果确定所述环境地标信息。
37.可选的，所述用户的全局位置确定模块具体包括：
38.向量数据生成单元，用于将所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息转化成向量数据；
39.用户的全局位置确定单元，用于根据所述向量数据，基于连接时序分类网络模型确定所述用户的全局位置。
40.根据本发明提供的具体实施例，本发明公开了以下技术效果：
41.本发明所提供的一种视觉定位方法及系统，通过在所述行走轨迹中，获取多个拍摄的图片，并根据每一张拍摄的图片确定相应的环境地标的几何信息，根据所述环境地标的几何信息以及所述用户的位置确定所述用户到所述环境地标的距离以及角度信息；再根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息，即对用户拍摄的环境地标进行准确识别，获得精确的环境地标位置信息，并将输入数据减少了两个数量级，进而提供视觉定位的速度。
附图说明
42.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
43.图1为本发明所提供的一种视觉定位方法流程示意图；
44.图2为环境地标的几何信息示意图；
45.图3为环境地标的消失点示意图；
46.图4为用户水平拍照示意图；
47.图5为用户倾斜拍照示意图；
48.图6为水平线与边界线示意图；
49.图7为示例照片与朝向图；
50.图8为不同的轨迹追踪方法示意图；
51.图9为角度校准与步长校准示意图；
52.图10为本发明所提供的一种视觉定位系统结构示意图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.本发明的目的是提供一种视觉定位方法及系统，能够快速、准确地进行定位。
55.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
56.图1为本发明所提供的一种视觉定位方法流程示意图，如图1所示，本发明所提供的一种视觉定位方法，包括：
57.s101，获取用户的行走轨迹。
58.s101之后还包括：
59.利用陀螺仪以及所述拍摄的图片对所述行走轨迹进行校准。
60.对于一条行走五分钟的运动轨迹(图8a)，图8b与图8c展示它们各自的结果。结果表明：1)陀螺仪在长时间行走时产生了较大的漂移；2)在较长、笔直的行走阶段，a3方法所需要的罗盘与陀螺仪相互校准的机会非常少；3)在有强烈电磁干扰的区域(如服务器机房)，a3还可能产生错误的校准。因此本研究提出了基于照片的行走方向与行走步长校准的方法(图8d)。
61.行走方向校准通过行走轨迹计算陀螺仪的平均漂移δ，具体地，在行走轨迹中，用户首先对一个环境地标拍照，之后行走较长的距离并对多个环境地标拍照；最后回到出发点并对第一个环境地标再次拍照。通过单张照片信息提取算法，根据公式(3)得到第一个环境地标两张照片对应的拍照角度θ1与θ2，它们的差值δθ＝θ1‑
θ2表示拍照角度的变化量，同时记录拍摄这两张照片时陀螺仪读数“yaw”(沿重力方向的转动角度)的角度变化量δg，因此陀螺仪的平均漂移可以通过公式(5)得到：
[0062][0063]
其中，t表示这两个拍照位置的时间长度。上述方法不会被电磁干扰所影响，并在实验中获得精确的角度校准结果(90％角度误差在5度以内)。
[0064]
用户在长距离行走时，在不同区域的步长可能不同，比如在宽阔的走廊步长较大、在屋内步长较小，使用闭合的行走轨迹校准用户步长，通过单张照片信息提取算法，可以得到拍摄第一个环境地标两张照片各自的距离d与角度θ，因此该行走轨迹起始点与终止点的位置变化可以表示为对行走轨迹的每一时刻t的位置进行步长校准，补偿量为图9展示了同时使用角度校准与步长校准可以获得准确的闭合轨迹圈，图9(a)原始轨迹；图9(b)仅使用角度校准；图9(c)仅使用步长校准；图9(d)同时使用两种校准方法。
[0065]
根据校准后的行走轨迹，基于聚类方法剔除远离聚类中心的环境地标的位置的异常轨迹数据。
[0066]
本发明使用如下方法检测并剔出其中的异常值。
[0067]
(1)遍历：计算行走轨迹在角度校准之后，起始点与终止点之间的距离差，在理想条件下，由于用户返回了起点，应没有距离差，质量越差的行走轨迹，其两端点的距离差越大，因此根据行走轨迹两端点的距离差占轨迹总长度的比例作为指标，剔除大于设定比例的行走轨迹。
[0068]
(2)行走轨迹对准：当有很多路线相同的行走轨迹时，需要在统一的全局坐标系中放置它们。然而，由于实际行走路线、用户步长不同，这些轨迹往往形状或尺度不一致，不失一般性，考虑如何将第二条轨迹对应到已定位的第一条轨迹上，具体地，选取起始点、终止点距离最小的行走轨迹作为参考行走轨迹，其他行走轨迹通过平移、旋转并缩放第二条轨迹，使其与参考行走轨迹有最大的重叠部分，然后可以将其放入相同的坐标系中。
[0069]
(3)异常数据剔除：基于聚类方法剔除远离聚类中心的环境地标位置的异常轨迹数据，例如：在所有的行走轨迹与环境地标均放入相同坐标系后，使用环境地标识别方法找到所有行走轨迹的相同环境地标集合，行走轨迹k的环境地标集合表示为多维向量多维向
量其中表示行走轨迹k的第i个环境地标的位置，使用基于密度的dbscan聚类方法剔除那些环境地标位置远离其聚类中心的异常数据轨迹。
[0070]
s102，在所述行走轨迹中，获取多个拍摄的图片。
[0071]
s103，根据每一张拍摄的图片确定相应的环境地标的几何信息；所述几何信息包括所述环境地标的位置以及朝向。
[0072]
s104，根据所述环境地标的几何信息以及所述用户的位置确定所述用户到所述环境地标的距离以及角度信息。
[0073]
如图2所示，距离d是用户的拍摄位置到环境地标(如店面的中点)的距离，所述用户角度θ是用户的拍摄的图片的朝向与所述环境地标所成的角度。
[0074]
首先，本发明使用边缘检测算法从拍摄的图片中提取线段，并将这些线段聚类寻找消失点。图3中环境地标消失点v2对应着墙面、地面边界线与水平线的交点，其像素坐标记为(u，v)。
[0075]
本发明根据消失点的像素坐标按照如下公式(1)对环境地标到用户的相对角度进行估计。
[0076][0077]
其中，w表示照片的像素宽度，f表示拍摄装置的像素焦距。
[0078]
由于用户不同的拍摄姿态，所以用户墙面的距离具有不同的计算方法。如图4所示，用户的摄像头水平拍照时，相对距离d可以通过得到，其中h
u
表示摄像头的实际高度(可以通过用户身高估计或用户输入得到)，h
b
表示水平线的像素高度，对应着用户在照片中的高度。
[0079]
当用户摄像头倾斜拍照时，如图5所示，连接消失点v2与v3的直线表示照片上的水平线，此时相对距离d通过下式(2)计算：
[0080][0081]
其中，h0为水平线相对照片中心的像素高度,α为拍摄装置与水平线的夹角(摄像头的倾斜角度)，β为拍摄装置与交线(墙面和地面交线)的夹角。
[0082]
在计算相对距离d的方法均依赖于h
b
的获取，即在照片上需要准确识别墙面、地面的交线。如图6所示，由于照片中存在多条与该交线相互平行的线断，准确识别该交线并不容易，圆圈表示竖直线段与边界线的交点。因此本发明对对面
‑
墙面交线提出多决策方案，使得其中包含正确的交线。
[0083]
本发明从照片中提取线段(例如使用canny边缘检测算法从照片中提取线段)，生成照片的朝向图，如图7所示，对照片中每一个平面的朝向进行估计，对照片上不同像素进行不同染色。
[0084]
对于墙面
‑
地面交线l
i
，其权重设为朝向图中与该交线一致的像素点比例，如公式(3)所示，环境地标中正确的墙面和地面的交线，其具有最大的交线权重。
[0085][0086]
其中，w
li
为交线l
i
的交线权重，与分别为与交线l
i
一致的地面、墙面的像素总数，与分别为墙面和地面的像素总数；
[0087]
本发明进一步检测(w
l
,w
r
)，即距离照片中央最远的左侧、右侧交点的像素横坐标(见图6)。基于相对角度和相对距离，根据三角形正弦定理将它们转换成环境地标左右两侧的墙面长度，即如公式(4)所示：
[0088][0089]
此时，通过上述方法，本发明获得了环境地标几何信息的多决策估计，每种估计中包括交线、距离、角度、左右两侧墙面长度以及该估计的权重(概率)。
[0090]
s105，根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息。
[0091]
s105具体包括：
[0092]
对所述拍摄图像中的环境地标进行特征向量提取，并将提取的特征向量与已知的环境地标的照片进行匹配，得到第一匹配结果；所述第一匹配结果包括：所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标或者模糊匹配。
[0093]
当识别结果为模糊匹配时，采用wi
‑
fi信号以及所述运动传感器确定所述拍摄图像中的环境地标的几何信息与每一个已知的环境地标的射频信号相似度，并根据所述相似度得到第二匹配结果；所述第二配结果包括所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标。
[0094]
根据所述第一匹配结果和所述第二匹配结果确定所述环境地标信息。
[0095]
作为一个具体的实施例，结合照片、运动传感器与wi
‑
fi信号对用户拍摄的环境地标进行准确识别。判断当前拍摄的环境地标是一个新的环境地标还是某个已经存在的环境地标是本部分的主要内容。错误的识别会导致系统更新错误的环境地标，因此会造成较大的地图误差甚至于错误的地图拓扑结构。假定t时刻测量的环境地标被识别为m
j
，本发明结合多个传感器进行鲁棒的环境地标识别：通过照片捕捉环境地标的外观信息，通过用户姿态衡量它们的位置关系，通过wi
‑
fi信号区分它们的射频特征。
[0096]
基于照片的识别：从测试照片中提取特征向量，并与已知环境地标的照片进行匹配，进而判断它是新的或是已知的环境地标，使用标准的图像特征提取算法生成鲁棒、尺度无关的特征向量，并与已知环境地标照片的特征向量进行匹配。测试照片与每一个环境地标j的照片相似度定义为两照片匹配的特征向量数所占特征向量总数的比例。
[0097]
基于wi
‑
fi的识别：尽管照片可以很好的区分复杂的环境地标(如商店与海报)，在
诸如办公楼或实验楼这些门都很相似的场景往往不能正确工作，使用无线信号余弦距离(例如，wi
‑
fi)，即两无线信号强度矢量的余弦值，用来衡量环境地标j的几何信息与每一个环境地标的射频信号相似度。
[0098]
基于拍摄姿态的识别：给定拍摄姿态与环境地标的坐标、朝向，通过公式(6)对关于相对距离与相对角度的预测值为正确的环境地标j预测值与真实测量值z
t
非常接近，因此，在给定x
t
与m
j
条件下，按照公式(7)计算z
t
的条件概率作为用户姿态相似度其计算方式与权重计算相同。
[0099][0100][0101]
总相似度：由于照片、wi
‑
fi信号与运动传感器数据从手机的不同传感器获得，因它他们相互独立，本发明使用贝叶斯估计将得到环境地标j的相似度分解为每一个传感器相似度的连乘形式，即其中，任一较小的相似度都表明一个错误的识别，并且正确的识别应该在三个相似度中均有较高的取值。
[0102]
当关于所有已知环境地标的总相似度小于给定阈值时，本发明认为出现了新的环境地标；其他情况下，将测试数据识别为总相似度最高的环境地标。在对18个环境地标的识别结果中显示在使用单一传感器时，识别结果往往较差；基于用户姿态活wi
‑
fi的识别方法不能区分距离较近的环境地标(如15号与16号)，基于照片的识别方法不能识别玻璃墙(2号)或外观相似的环境地标(将6号识别为5号)。与此相比，本发明观察到同时使用三种传感器时，可以在不同场景均获得接近100％的识别准确率。
[0103]
s106，根据所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息，基于连接时序分类网络模型确定所述用户的全局位置；所述连接时序分类网络模型以所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息为输入，以用户的全局位置为输出。
[0104]
s106具体包括：
[0105]
将所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息转化成向量数据。
[0106]
根据所述向量数据，基于连接时序分类网络模型确定所述用户的全局位置。
[0107]
图10为本发明所提供的一种视觉定位系统结构示意图，如图10所示，本发明所提供的一种视觉定位系统，包括：行走轨迹获取模块1001、拍摄的图片获取模块1002、几何信息确定模块1003、用户到环境地标的距离以及角度信息确定模块1004、环境地标信息确定模块1005和用户的全局位置确定模块1006。
[0108]
行走轨迹获取模块1001用于获取用户的行走轨迹。
[0109]
拍摄的图片获取模块1002用于在所述行走轨迹中，获取多个拍摄的图片。
[0110]
几何信息确定模块1003用于根据每一张拍摄的图片确定相应的环境地标的几何信息；所述几何信息包括所述环境地标的位置以及朝向。
[0111]
用户到环境地标的距离以及角度信息确定模块1004用于根据所述环境地标的几何信息以及所述用户的位置确定所述用户到所述环境地标的距离以及角度信息。
[0112]
环境地标信息确定模块1005用于根据所述拍摄图像、运动传感器与wi
‑
fi信号对所述环境地标进行识别，得到环境地标信息。
[0113]
用户的全局位置确定模块1006用于根据所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息，基于连接时序分类网络模型确定所述用户的全局位置；所述连接时序分类网络模型以所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息为输入，以用户的全局位置为输出。
[0114]
本发明所提供的一种视觉定位系统，还包括：行走轨迹校准模块和行走轨迹异常数据剔除模块。
[0115]
行走轨迹校准模块用于利用陀螺仪以及所述拍摄的图片对所述行走轨迹进行校准。
[0116]
行走轨迹异常数据剔除模块用于根据校准后的行走轨迹，基于聚类方法剔除远离聚类中心的环境地标的位置的异常轨迹数据。
[0117]
所述环境地标信息确定模块1005具体包括：第一匹配结果确定单元、第二匹配结果确定单元和环境地标信息确定单元。
[0118]
第一匹配结果确定单元用于对所述拍摄图像中的环境地标进行特征向量提取，并将提取的特征向量与已知的环境地标的照片进行匹配，得到第一匹配结果；所述第一匹配结果包括：所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标或者模糊匹配。
[0119]
第二匹配结果确定单元用于当识别结果为模糊匹配时，采用wi
‑
fi信号以及所述运动传感器确定所述拍摄图像中的环境地标的几何信息与每一个已知的环境地标的射频信号相似度，并根据所述相似度得到第二匹配结果；所述第二配结果包括所述拍摄图像中的环境地标为已知的环境地标或所述拍摄图像中的环境地标不是已知的环境地标。
[0120]
环境地标信息确定单元用于根据所述第一匹配结果和所述第二匹配结果确定所述环境地标信息。
[0121]
所述用户的全局位置确定模块1006具体包括：向量数据生成单元和用户的全局位置确定单元。
[0122]
向量数据生成单元用于将所述用户到每一个环境地标的距离、角度信息以及对应的环境地标信息转化成向量数据。
[0123]
用户的全局位置确定单元用于根据所述向量数据，基于连接时序分类网络模型确定所述用户的全局位置。
[0124]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0125]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说
明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。