一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法与流程

本发明涉及一种基于局部标识的双目视觉室内定位数据库建立方法及定位方法，具体涉及视觉室内定位技术领域。

背景技术：

互联网和可穿戴设备的飞速发展和基于位置感知的应用的不断需求，使得位置感知逐渐成为人们必不可少的信息，基于位置的服务越来越受到广泛关注。由于人们平均70％以上的时间处于室内环境，对自身在室内场景所处的位置环境的感知需求也与日俱增。因此，可靠的位置信息在许多不同的环境下为用户带来更好更重要的用户体验和感受。目前，室外定位技术已经非常成熟，并且很多移动设备也都参考使用了室外定位技术。gps系统、glonass导航系统、伽利略导航系统和北斗导航系统是目前使用较为广泛的全球卫星定位系统。室内环境的特殊性导致卫星定位信号无法直接满足室内位置服务的需求，因此需要一种性能良好的系统来完成室内定位技术。并且，移动智能终端的可移动性和普适性在位置感知和信息交互方面有很大的推动作用。基于此，高精度的室内定位系统成为一个热点研究领域。

室内定位系统使用的技术非常广泛，主要包括wifi，uwb，rfid，蓝牙，视觉，惯性测量单元等。其中，基于wifi的室内定位技术最为成熟。该定位技术借助无线接入点已部署的特点，利用用户移动终端检测区域范围内各个接入点的信号强度值达到用户定位的目的。然而，该技术的应用场景因严重依赖无线接入点的个数而受到很大限制，在人流量密集的室内环境需要部署大量接入点，过度消耗人力物力，并且在诸如进出口等边缘位置定位，会因墙壁遮挡等因素导致定位精度受到较大影响。随着智能终端的普及，其完备的内置传感器系统正逐渐替代那些特殊设计的室内定位系统。视觉定位方法正是利用图像获取传感器，对用户所处的室内环境进行感知，直接有效地在复杂室内环境中提取出有效的位置信息，为基于视觉的室内定位方法提供基础设备。另外，从计算机视觉和机器人等领域，人类正是通过视觉系统和计算机融合来实现对周围环境的感知，并在此基础上实现机器人的定位导航。因此，基于视觉的室内定位方法是室内定位领域的重要发展方向之一。

目前已提出的视觉定位系统主要分为两个阶段：离线阶段和在线阶段。传统的离线数据库建立方法主要采用位置指纹算法，通过将用户位置与终端拍摄的场景图片融合来建立visualmap数据库，visualmap由图像空间和物理空间所构成，图像空间是指室内环境下的图像信息，物理空间是指地理位置坐标信息。然后，采用快速检索算法得出visualmap中最匹配的场景及相对应的位置，完成定位服务。然而，位置指纹方法存在很明显的缺陷，即随着定位范围的增大，为保证定位精度，基于位置指纹的数据库的容量会不断增大，场景信息的图像采集和地理位置工作会消耗大量的人力。其次，在线定位阶段，传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息，很大程度上增加了定位过程中的时延，而且定位精度较低。

因此，需要一种新的室内定位技术，来解决现有技术的上述缺陷。

技术实现要素：

本发明为了解决现有的基于位置指纹的定位方法，为了保证定位精度，需要大量扩充数据库容量，进而在场景信息的图像采集和地理位置工作方面消耗大量的人力；并且传统的单目视觉定位系统无法相对直接地获取目标点的三维位置信息，很大程度上增加了定位过程中的时延，并使得定位精度较低的缺点，而提出一种基于局部标识的双目视觉室内定位数据库建立方法，包括：

步骤一，建立定位系统的坐标系模型。

步骤二：在所述坐标系模型中，标定双目视觉系统，得到双目视觉系统的内部参数和外部参数；所述双目视觉系统包括左摄像机以及右摄像机。

步骤三：根据待定位的室内场景，建立平面世界坐标系。

步骤四：选取待定位室内场景中的一个标识。

步骤五：在能够拍摄到标识的范围内，使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集n张带有标识的数据库图像；n为正整数。

步骤六：提取每个数据库图像的surf特征点。

步骤七：标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中，并提取出每张数据库图像的标识区域的surf特征点矩阵作为特征信息存入数据库中。

步骤八：对于待定位室内场景中的每一个标识，重复执行步骤四至步骤七，直至数据库构建完成。

本发明还提供一种基于局部标识的双目视觉室内定位方法，包括：

步骤a：利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像il和右图像ir。

步骤b：利用如权利要求1至4中任意一项所述的方法得到的数据库，分别求解出在线输入左图像il和右图像ir中标识的四个角点的像素坐标。

步骤c：根据在线输入左图像il和右图像ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。

本发明的有益效果为：1、只需要已知少数标识图像的地理位置信息，而不需要已知每个采集图像的参考点的地理位置信息，在很大程度上减少建立数据库的时间开销，节省人力。2、本发明在数据库建立阶段通过在某标识附近一定范围区域内，按照一定间隔有针对性地采集含有标识的图像，标注图像中标识的角点信息，提取标识区域的特征点矩阵，并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中，完成基于标识的离线数据库的建立，达到了减少数据库容量的效果。3、本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m，而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m，达到了亚米级的定位精度。并且，本专利提出的定位方法的最大定位误差为1.39m，定位误差在1m以内的累计概率达到85％，而基于位置指纹的定位算法最大定位误差为3m，定位误差在1m以内的累计概率为56％。

附图说明

图1为本发明的基于局部标识的双目视觉室内定位方法的流程示意图；

图2为本发明的基于局部标识的双目视觉室内定位数据库建立方法的一个实施例的示意图；

图3为本发明的离线数据库的存储内容示意图；

图4为本发明中在线阶段标识特征匹配模块框图；

图5为本发明的基于标识的双目视觉定位方法与现有技术中基于位置指纹定位方法的效果对比图。

本发明的变量定义如下

具体实施方式

具体实施方式一：本实施方式的基于局部标识的双目视觉室内定位数据库建立方法，其特征在于，包括：

步骤一，建立定位系统的坐标系模型。

坐标系模型包括参考坐标系、摄像机坐标系、图像坐标系、像素坐标系。具体建立的方法为：

建立参考坐标系or-xyz，定义该坐标系原点or为一个矩形标识图像的左上角顶点，x轴方向为沿标识上边沿平行于水平地面，y轴方向为垂直标识图像向里，z轴方向为垂直地面向下。

建立左摄像机坐标系ocl-uvw，定义该坐标系原点ocl为左摄像机光心，u轴与v轴重合于左摄像机镜头平面，w轴为左摄像机光轴。

建立图像坐标系o1-xy，定义该坐标系原点o1为左摄像机光轴与成像平面的交点，x,y轴分别平行于图像的两条边。该坐标系建立在摄像机的ccd传感器上，其单位与ccd传感器的尺寸保持一致。

建立像素坐标系o2-uv，定义该坐标系的原点o2为图像的左上角顶点，u,v轴分别为图像的上边沿和左边沿。

步骤二：在所述坐标系模型中，标定双目视觉系统，得到双目视觉系统的内部参数和外部参数；所述双目视觉系统包括左摄像机以及右摄像机。标定摄像机的过程为：

利用双目摄像机系统拍摄棋盘标定模板，分别获得10至20张左右摄像机标定图像。

利用张正友标定法对步骤一一中获得的标定图像进行处理，得到双目摄像机的内部参数和外部参数。其中，内部参数包括：左摄像机的焦距fl，右摄像机的焦距fr和二维图像的主点坐标(u0,v0)；外部参数包括：旋转矩阵r和平移向量t。其中，表示左摄像机坐标系原点ocl和右摄像机坐标系原点ocr之间的旋转矩阵。表示左摄像机坐标系原点ocl和右摄像机坐标系原点ocr之间的平移向量；tx表示ocr和ocl在x轴方向的平移值，ty表示ocr和ocl在y轴方向的平移值，tz表示ocr和ocl在z轴方向的平移值。

步骤三：根据待定位的室内场景，建立平面世界坐标系。

步骤四：选取待定位室内场景中的一个标识。标识可以为海报。

步骤五：在能够拍摄到标识的范围内，使用双目视觉系统中的左摄像机或右摄像机按照预定的距离间隔采集n张带有标识的数据库图像；记作imgi(i＝1,2,3,...n)n为正整数。图2示出了离线数据库建立示意图，ocl和ocr为左右摄像机坐标系的原点，即左右摄像机的光心。箭头方向表示摄像机拍摄的方向，在图2示出的情况中，需要一边后退一边拍摄，以保证拍摄到完整的标识图像。左摄像机的最大视角记作θ，标识在平行于地面方向的长度记作l，左摄像机距标识平面的垂直距离记作u0,距标识平面右边沿的水平距离记作w0。为保证采集含有完整标识的数据库图像，拍摄图像时，左摄像机距标识平面左边沿的最小水平距离需要满足如下公式：

步骤六：采集到图像后，提取每个数据库图像的surf特征点；

步骤七：手动标注出每张数据库图像中标识的四个角点的像素坐标作为角点信息存入数据库中，并提取出每张数据库图像的标识区域的surf特征点矩阵作为特征信息存入数据库中。如图3所示，第i张图像的第j个角点的像素坐标可记为其特征矩阵可记为

步骤八：对于待定位室内场景中的每一个标识，重复执行步骤四至步骤七，直至数据库构建完成。

需要说明的是，“数据库图像”和“数据库图像的标识区域”是不同的概念，例如，以海报作为标识时，实际拍摄到的图片既包含海报，也包含海报周围的场景，那么“标识区域”指的就是海报所在的区域。此时四个角点指的是海报的四个点，需要确定四个角点的坐标方可确定标识区域，标识区域即为四个角点围成的区域。

具体实施方式二：本实施方式与具体实施方式一不同的是：内部参数包括左摄像机的焦距、右摄像机的焦距以及左摄像机和右摄像机的二维图像的主点坐标；所述二维图像的主点坐标为左摄像机或右摄像机的光轴与对应图像平面的交点坐标；外部参数包括旋转矩阵以及左摄像机坐标系原点和右摄像机坐标系原点之间的平移向量。上述参数均是通过张正友标定法计算得出的。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：步骤五中，当使用左摄像机采集数据库图像时，左摄像机距离标识平面左边沿的最小水平距离需要满足如下公式：

其中，θ为左摄像机的最大视角；l为标识在平行于地面方向的长度；u0为左摄像机距标识平面的垂直距离。

使用上述公式的好处是，满足公式条件时可以保证左摄像机能够拍摄到完整的标识图像。拍摄到完整的标识图像能够保证定位的精确性。本领域的技术人员应当清楚，如果标识图像位于左摄像机的左侧时，也可以使用右摄像机来进行相似的过程，此处不作赘述。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：

设采集到的n张带有标识的数据库图像为imgi，1≤i≤n，则步骤七具体为：

步骤七一：利用手动标注的方式标注出第一张数据库图像img1中标识区域的四个角点的像素坐标，并将所述四个角点的像素坐标作为角点信息存储在数据库中。

步骤七二：提取第一张数据库图像img1中标识区域的surf特征点，构成surf特征点矩阵，并将所述surf特征点矩阵作为第一张数据库图像img1的特征信息存储在数据库中。

步骤七三：将第一张数据库图像img1的标识区域的surf特征点以及第二张数据库图像img2的surf特征点输入至ransac算法中，得到第二张数据库图像img2的单应矩阵。ransac算法还具有剔除两个图像的误匹配点的功能。

步骤七四：通过单应矩阵求解出第二张数据库图像img2中标识的四个角点的像素坐标，作为第二张图像img2的角点信息存储在数据库中。

步骤七五：提取第二张数据库图像img2中标识区域的surf特征点，构成surf特征点矩阵，作为第二张数据库图像img2的特征信息存储在数据库中。

步骤七六：重复步骤七三至步骤七五，直至第一张数据库图像的角点信息和特征信息均存储在数据库中。

本实施方式的好处是，通过提取图像特征，大大缩减了需要存储的信息大小，显著减轻了数据库的负担。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式提供了一种基于局部标识的双目视觉室内定位方法，本实施方式是基于具体实时方式一至四中任意一项构建出的数据库实现的。

本实施方式的方法包括：

步骤a：利用双目视觉系统中的左摄像机和右摄像机同时拍摄包含标识的在线输入左图像il和右图像ir；

步骤b：利用如权利要求1至4中任意一项所述的方法得到的数据库，分别求解出在线输入左图像il和右图像ir中标识的四个角点的像素坐标；

步骤c：根据在线输入左图像il和右图像ir中标识的四个角点的像素坐标求解出用户所在的位置坐标。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式五不同的是：

步骤b包括：

步骤b1：提取在线输入左图像il和右图像ir的surf特征点，构成特征点矩阵；

步骤b2：将图像il的surf特征点矩阵fl以及由权利要求1至4中任意一项所述方法得到数据库图像imgi的标识区域特征点矩阵fi进行标识区域特征匹配，并通过ransac算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵hil；

步骤b3：通过预设的匹配特征点的阈值判断单应矩阵hil的准确度，若hil正确则执行步骤b4；若hil不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；

步骤b4：将由权利要求1至4中任意一项所述方法得到数据库图像imgi的标识角点的像素坐标通过单应矩阵hil映射到左图像il中，求解左图像il中对应点的像素坐标求解的计算公式为qj＝hilpj；其中j＝1,2,3,4，为数据库图像imgi的第j个标识角点的像素横坐标；为数据库图像imgi的第j个标识角点的像素纵坐标；分别为左图像il中对应点像素坐标的横坐标、纵坐标。

步骤b5：通过在线输入左图像il中标识的四个角点的像素坐标qj确定标识区域，并提取左图像il中标识区域的surf特征点矩阵f′l；

步骤b6：利用左图像il中标识区域的surf特征点矩阵f′l和步骤b1中得到的右图像ir的surf特征点矩阵fr进行特征匹配，通过ransac算法进行误匹配点剔除，并求解两图像间标识区域单应矩阵hlr；

步骤b7：通过预设的匹配特征点的阈值判断单应矩阵hlr的准确度，若hlr正确则执行步骤b8；若hlr不正确，则选择下一张数据库图像，并重新判断单应矩阵的准确度；

步骤b8：将步骤b4得到左图像il的标识角点的像素坐标qj通过单应矩阵hlr映射到到右图像ir中，求解右图像ir中对应点的像素坐标求解的计算公式为q′j＝hlrqj；其中j＝1,2,3,4；分别为右图像ir中对应点像素坐标的横坐标、纵坐标。

步骤b9：通过右图像ir中标识的四个角点的像素坐标q′j确定标识区域，并提取右图像ir中标识区域的surf特征点矩阵f′r。

其它步骤及参数与具体实施方式五相同。

具体实施方式七：本实施方式与具体实施方式五或六不同的是：

步骤c包括：

步骤c1：左图像il中标识角点的左侧上下两个角点像素坐标表示为m＝1,4，右图像ir中标识角点的右侧上下角点像素坐标表示为表示，则标识左侧上下两个角点在左摄像机坐标系下的坐标满足如下：

其中r1,r2,r3,r7,r8,r9为通过张正友标定法计算出的旋转矩阵中的对应元素。fl为左摄像机的焦距，fr为右摄像机的焦距；tx表示ocr和ocl在x轴方向的平移值；ty表示ocr和ocl在y轴方向的平移值，tz表示ocr和ocl在z轴方向的平移值。

步骤c2；对坐标进行坐标系转换得到用户在真实世界中的位置坐标(xp,yp)，以完成对用户位置的估计。

其它步骤及参数与具体实施方式五或六相同。

综上，本发明提出一种基于局部标识的双目视觉室内定位方法。首先，在离线阶段，提出一种基于局部标识的离线数据库建立方法来减少数据库的存储容量和建立阶段的复杂度。具体来说，该方法在数据库建立阶段通过在某标识附近一定范围区域内，按照一定间隔有针对性地采集含有标识的图像，标注图像中标识的角点信息，提取标识区域的特征点矩阵，并将图像中标识的角点像素坐标和标识的世界坐标存入数据库中，完成基于标识的离线数据库的建立，达到了减少数据库容量的效果。并且，该方法只要求已知少数标识图像的地理位置信息，而不需要已知每个采集图像的参考点的地理位置信息，在很大程度上减少建立数据库的时间开销，节省人力。其次，在在线阶段，提出一种基于双目视觉的室内定位方法，通过计算两摄像机拍摄的二维图像信息进行用户定位，减少图像匹配的时延同时有效地提高室内用户的定位精度。具体来说，将离线数据库存储的标识特征与在线阶段左右摄像机拍摄图像中的标识特征输入到标识特征匹配模块，分别得到左右摄像机拍摄图像中标识角点的像素坐标。然后，通过双目视觉定位模块完成室内用户的在线定位。

图5示出了本发明的定位方法和现有技术的基于位置指纹的定位方法的效果对比图。其中，横轴表示在左摄像机坐标系下标识图像左边沿上下两个角点的定位误差，纵坐标表示定位误差的累积概率，即cdf的概率。从图5中可以看出，本专利提出的定位方法在定位精度明显高于基于位置指纹的定位算法。基于位置指纹的定位算法定位精度达到一个σ定位误差为1.2m，而本专利提出的定位方法的定位精度达到一个σ定位误差为0.65m，达到了亚米级的定位精度。并且，本专利提出的定位方法的最大定位误差为1.39m，定位误差在1m以内的累计概率达到85％，而基于位置指纹的定位算法最大定位误差为3m，定位误差在1m以内的累计概率为56％。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。