本发明属于定位定姿技术领域，特别涉及一种利用包含定位二维码的墙体广告的单目视觉定位定姿方法。
背景技术：
二维码是利用特定几何模型按照指定编码方式在二维平面上进行排列、来实现信息存储的图形符号，二维码具有信息含量高、可靠性高、安全性好等优点，被广泛应用于日常生产生活中。
卫星定位是日常生活中使用最广泛的定位技术，但是卫星定位依赖于卫星信号的接收，在室内或者隧道等信号受遮蔽的环境中，卫星定位失效。常见的室内定位技术有：wi-fi、蓝牙、红外线、超宽带、rfid和超声波，其中，wifi和蓝牙定位很容易受到其他信号干扰，定位结果稳定性差，红外线、超宽带和超声波定位系统布设成本高，无法在日常生活中普及，rfid定位受限于其与移动设备的结合性，也限制了该技术的使用。
视觉定位是指利用视觉传感器，确定移动设备三维位姿，该技术不受环境限制，可以用于辅助其他定位系统，也可以独立作为一种定位系统。其中的单目视觉定位是指仅利用一台视觉传感器完成定位工作。因其仅需一台视觉传感器，所以单目视觉定位技术的优点是结构简单、相机标定也简单，同时还可避免立体视觉中的视场小、立体匹配困难等不足。随着智能手机的普及，利用手机摄像机这种视觉传感器进行单目视觉定位成为一种将视觉定位应用于日常生活中的最好方式。
技术实现要素：
本发明的目的是提供一种利用包含定位二维码的墙体广告的单目视觉定位定姿方法，该方法易于操作、部署成本低、不易受环境干扰、不破坏现有环境特点和背景、稳定性好、且易于推广。
本发明的广告图布设方法，包括：
s110在广告图上选定定位点，利用地图数据，选定环境中广告图的张贴位置，根据选定的张贴位置，确定广告图张贴后定位点的三维位置信息及姿态信息，利用二维码编码规范生成包含定位点的三维位置信息、姿态信息以及该位置需布设广告图的实际尺寸的定位二维码图像；
s230将广告图像和定位二维码图像结合生成广告图，按照广告图实际尺寸打印广告图，并根据确定的定位点三维位置信息及姿态信息布设广告图。
进一步的，所述定位点选择广告图的任一角点；且，所述定位点的姿态信息为广告图上过定位点的边线的姿态信息。
进一步的，广告图像和定位二维码图像的结合方式为将广告图像和定位二维码图像按照预设的画面比例以上下或左右分布方式结合或利用图像位运算将广告图像和定位二维码图像叠加或将定位二维码分布在广告图像的外围或内部。
本发明的利用包含定位二维码的墙体广告的单目视觉定位定姿方法，包括：
s210采用带图像采集功能的移动设备，采集包含广告图的环境图像m0，所述广告图由广告图像和定位二维码图像结合合成，所述定位二维码图像包含广告图布设的三维位置信息、姿态信息和广告图实际尺寸；
s220对原始的环境图像m0依次进行灰度化、降噪、二值化，获得环境图像m3；
s230利用环境图像m3，搜索广告图在环境图像m0中的图像轮廓和图像区域，所获得的图像轮廓和图像区域即广告图的概略轮廓cx和概略位置；
s240根据广告图的cx拟合广告图的边线，计算边线的交点，获得广告图角点在环境图像中的位置；
s250根据步骤s240获得的广告图角点在环境图像中的位置，在环境图像中获得广告图对应的图像区域，将该图像区域变换为标准尺寸的图像；
s260采用广告图像和定位二维码图像结合合成的逆运算，从步骤s250获得的标准尺寸图像中提取出定位二维码图像，并进行解码，从而获得广告图布设的三维位置信息、姿态信息和广告图实际尺寸，进一步获得广告图四个角点的三维位置信息；
s270结合广告图角点在环境图像中的位置及其三维位置信息，进行定位定姿。
进一步的，步骤s230进一步包括：
s231对环境图像m3进行闭合轮廓提取，获得轮廓簇c0；
s232根据广告图形状的先验信息，对轮廓簇c0进行筛选，保留与先验信息相似程度在预设范围内的轮廓，被保留的轮廓构成轮廓簇c1；
s233将轮廓簇c1中轮廓在环境图像m0中的图像区域和预先储存的各广告图模板的特征描述子进行匹配，找出匹配程度最高的轮廓，该轮廓在环境图像m0中对应的图像区域，即广告图的概略位置；
所述广告图模板由广告图像和二维码模板合成生成，所述二维码模板包括用于储存数据的数据区和用于标定方位的定位区。
进一步的，步骤s232进一步包括：
s232.1提前准备一个四边形图像，提取该四边形的轮廓，记为轮廓r1；
s232.2计算轮廓r1与轮廓簇c0中每一条轮廓的相似性；
s232.3保留与轮廓r1相似程度在预设范围内的多个轮廓。
进一步的，步骤s233进一步包括：
对轮廓簇c1中各轮廓ci逐一进行以下步骤s233.1～s233.5：
s233.1计算轮廓ci的最小外包矩形；
s233.2在环境图像m0中选取最小外包矩形所包含的图像区域，记为子图mi；
s233.3对子图mi进行图像校正，将其变换为尺寸同预设的标准尺寸一致的标准图像qi；
s233.4检测并提取标准图像qi的特征描述子；
s233.5将标准图像qi的特征描述子与预先储存的各广告图模板的特征描述子进行匹配，根据匹配结果估计相似度，保存标准图像qi的相似度峰值；
s233.6比较轮廓簇c1中所有轮廓的相似度峰值，峰值最高的轮廓cx在环境图像m0中对应的图像区域，即广告图的概略位置。
进一步的，步骤s240中所述根据广告图的cx拟合广告图的边线，进一步包括：
s241从cx中随机选择两像素点，记为点a、b，构造直线类ab，直线类ab初始值仅包括点a和b；
s242随机选择一未被选择的像素点，记为点c；
s243判断点c到直线ab的距离是否小于预设的距离阈值，若小于距离阈值，则将点c添加到直线类ab中后，执行步骤s244；若不小于距离阈值，直接执行步骤s244；
s244判断cx内像素点是否被遍历，若没有，返回步骤s242；否则，执行步骤s245；
s245判断直线类ab内像素点数是否大于给定的数量阈值，若大于，执行步骤s246；否则，返回重新执行步骤s241；
s246利用最小二乘法对直线类ab中像素点进行直线拟合，所拟合直线即广告图的一边线；
s247将直线类ab中像素点从cx中剔除，重复执行步骤s241～s246，直至获得广告图的四条边线。
进一步的，步骤s270具体为：
利用步骤s240获得的广告图角点在环境图像中的位置，并结合步骤s260获得的广告图角点三维位置信息，计算出环境图像坐标系和广告图角点三维位置信息所对应坐标系的转换关系，从而推算移动设备在广告图角点三维位置信息所对应坐标系下的位置和姿态。
本发明的利用包含定位二维码的墙体广告的单目视觉定位定姿系统，包括：
图像采集模块，用来采用带图像采集功能的移动设备，采集包含广告图的环境图像m0，所述广告图由广告图像和定位二维码图像结合合成，所述定位二维码图像包含广告图布设的三维位置信息、姿态信息和广告图的实际尺寸；
预处理模块，用来对原始的环境图像m0依次进行灰度化、降噪、二值化，获得环境图像m3；
广告图概率位置搜索模块，用来利用环境图像m3，搜索广告图在环境图像m0中的图像轮廓和图像区域，所获得的图像轮廓和图像区域即广告图的概略轮廓cx和概略位置；
广告图精确位置确定模块，用来根据广告图的cx拟合广告图的边线，计算边线的交点，获得广告图角点在环境图像中的位置；
仿射变换消除模块，用来根据所述广告图概率位置搜索模块获得的广告图角点在环境图像中的位置，在环境图像中获得广告图对应的图像区域，将该图像区域变换为标准尺寸的图像；
解码模块，用来采用广告图像和定位二维码图像结合合成的逆运算，从所述仿射变换消除模块获得的标准尺寸图像中提取出定位二维码图像，并进行解码，从而获得广告图布设的三维位置信息、姿态信息和广告图实际尺寸，进一步获得广告图四个角点的三维位置信息；
定位定姿模块，用来结合广告图角点在环境图像中的位置及其三维位置信息，进行定位定姿。
和现有技术相比，本发明具有如下优点和有益效果：
(1)操作简单：
用户只需采用携带的手机拍摄一张包含所布设广告图的环境图像，满足操作简单的需求。
(2)部署成本低：
采用自定义的定位二维码图像作为定位图像，满足部署成本低的需求。
(3)不易受环境干扰：
本发明方法可从背景复杂的环境图像中搜索出定位图像，且对环境光照条件和定位图案仿射变换不敏感，满足不易受环境干扰的需求。
(4)不破坏已有的环境，稳定性好。
仅需将定位二维码图像添加到室内所布设的广告牌、海报等广告图像中，无需改变已有的环境特点。
(5)有利于商家推广。
将定位方法和广告结合，有利于商家主动推广，从而可进一步提高推广效率，降低成本。
附图说明
图1为实施例1中二维码模板示意图；
图2为实施例1中二维码图像的生成示意图，其中，图(a)为二进制数据直接编码在二维码图像数据区的示意图；图(b)为生成的二维码模板示意图；图(c)为由图(a)的二维码图像和图(b)的二维码模板异或相加形成的二维码图像示意图；
图3为实施例1中广告图s的生成示意图，其中，图(a)为广告图像示意图；图(b)为二维码图像示意图；图(c)为由图(a)的广告图像和图(b)的二维码图像结合生成的广告图s示意图；
图4为实施例1中定位定姿部分的流程图；
图5为实施例1中确定搜索广告图概略位置的流程图；
图6为实施例1中检测广告图所在区域的边界并提取角点的示意图。
具体实施方式
为了更清楚地说明本发明和/或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
一种利用包含定位二维码的墙体广告的单目视觉定位定姿方法，包括两个部分：第一部分的广告图布设，以及第二部分的定位定姿。下面将结合实施例对两个部分分别进行详细说明。
在描述实施例技术方案之前，提供本发明所涉及术语的定义：
①二维码模板
本发明采用一种自定义的二维码编码方式，所获得二维码模板包含两个定位区和一个数据区。为方便解释方便，这里以正方形二维码图像为例，各区的位置关系见图1。其中，数据区用于储存数据，定位区用于在解码时区分二维码的方向。以图1中二维码图像所示的方位关系为例，数据区的编码顺序为从左到右再从上到下依次编码，在解码时当搜索到定位区1时，表示此处为二维码的左上方；当搜索到定位区2时，表示此处为二维码的右上方；搜索不到定位区时，则表示此处为二维码的下方。根据搜索到的二维码方向关系，确定数据区的起始位置和编码方向，进而进行解码。
数据区所储存的数据在编码时，将需要编码的数据转化为二进制表示，最后以白色块表示1、黑色块表示0的方式在二维码图像上展现。
将二进制数据按照上述黑白对应关系在数据区排列之后，得到如图2(a)所示图像，该图像的缺点是编码数据不同时，图形的差异较大。如二进制数据中0位较多时，出现大量白块，1位较多时，出现大量黑块，不利于图案美观，也不利于统一二维码图像。
将数据区按照一定的顺序给出没有意义但是有规律的统一的编码结构，其并不包含任何有用信息。本实施例中所采用的生成数据区的编码的规则为：假设数据区一共有p行w列小方块，对于位于(p,w)位置的小方块，当满足((p*w)％3+p+w)％2＝0时，置为白色；不满足时置为黑色，其中，0≤p＜p,0≤w＜w。按照该方法生成的数据区图形，再加上两个定位图形，即得到二维码模板，见图1和图2(b)所示。
②二维码图像
将图2(a)所得由二进制数据直接编码得到的图像和图2(b)所得二维码模板进行异或相加，生成如图2(c)所示的图像，即最后所得二维码图像。
③广告图像
广告图像是指由商家设计的具有商业独特性和宣传推广作用的特殊图案，见图3(a)所示。
④广告图
见图3所示，将编码了定位点的位置信息以及其他信息的二维码图像(如图3(b)所示)和广告图像(如图3(a)所示)，按照预设方式结合在一起，生成的图像即广告图。只要满足不破坏广告图像的原始设计、且二维码信息易于提取的结合方式均是可行的。例如，也可以采取将二维码环绕在广告图像周围等其他方式来结合广告图像和二维码图像。
⑤广告图模板
由图3(a)所示广告图像和图3(b)所示二维码图像对应的二维码模板结合而成的合成图像，即广告图模板。
实施例1
一、广告图布设的具体步骤如下：
s110根据商家提供的广告图像和二维码模板结合生成广告图模板t，并提取广告图模板t的特征描述子，将特征描述子、对应的广告图像、广告图像的商家信息以及所采用的二维码编码规范、二维码模板生成规则、广告图实际尺寸、广告图标准尺寸等信息上传至广告图数据库。
广告图实际尺寸指通过载体显示的结合后的整体广告图在室内坐标系下的实际尺寸，载体可以为电子广告牌或在固定位置张贴的纸质广告，但不限于电子广告牌和纸质广告。
为了后续定位过程中快速确定广告图所在的位置，需要提取并利用广告图模板的特征，对应在拍摄的环境图像中搜索与广告图模板的特征最匹配的区域，即广告图在环境图像中的区域。图像特征的提取和匹配方法有很多，例如，加速稳健特征(speed-uprobustfeatures，简称surf)法是一种经典的图像特征的提取与匹配算法，其具有稳定、高效的优点。因此，本实施例采用surf法检测并提取广告图模板t的特征描述子，并将特征描述子、对应的广告图像、广告图像的商业信息以及所采用的二维码编码规范、二维码模板生成规则、广告图实际尺寸、广告图标准尺寸等信息上传至广告图数据库。提取广告图模板的特征描述子时，需要先将广告图模板缩放至标准尺寸。本实施例中，采用(高)350像素×(宽)200像素作为标准尺寸，后面对环境图像中各个区域进行特征提取以及解码的过程中也将利用该标准尺寸。
广告图标准尺寸的选取与广告图像和二维码图像的结合方式以及二维码图像的编码规范有关。如在本实施例中，二维码图像水平方向可以容纳20个小方格，垂直方向可以容纳7个小方格，一个小方格代表一个二进制数据位。为了保证解码的准确度，标准尺寸图像中的二维码图案中的一个小方格以10*10个像素块来表示，因此二维码图像部分的高度为70像素，宽度为200像素。由于本实施例中广告图像和二维码图像以上下结构分布且画面比例为4：1，因此，设定广告图标准尺寸的高度为350像素，宽度200像素。
s120在广告图上选定定位点，利用室内地图数据，确定定位点在室内坐标系下的三维位置信息及广告图的姿态信息，利用二维码编码规范生成包含定位点的三维位置信息、姿态信息以及该位置需布设广告图的实际尺寸的定位二维码图像。
更具体的，选定广告图左上角点为定位点，定位点的三维位置信息即广告图张贴后左上角点在室内坐标系下坐标(x1,y1,z1)，单位为米。本实施例中，将室内坐标系定义为：以布设广告图的建筑物西南角为坐标原点，以正北方向为y轴，以正东方向为x轴，垂直向上为z轴建立室内坐标系。
张贴广告图时，将广告图左上角点与(x1,y1,z1)点重合，保持广告图上边线沿水平方向，此时广告图左上角点到右上角点的直线方向在室内坐标系下与y轴的夹角记为α。室内坐标系下墙面可以看作平行于z轴的平面，因此，仅用一个α角即可确定广告图的姿态。另外，应提前确定将要张贴在此处的广告图的实际高度m(米)和宽度n(米)。利用二维码编码规范，将定位点的三维位置信息(x1,y1,z1)、广告图的姿态信息α、广告图的实际尺寸以及商家信息生成定位二维码图像，其中，定位点的三维位置信息和广告图的姿态信息统称为广告图的定位信息。
所生成的定位二维码图像应至少包括两定位图形和一数据区，数据区用来存储广告图的定位信息、广告图的实际尺寸以及商家信息，但数据区所存储的信息并不仅限于此。
s130将广告图像和定位二维码图像结合生成广告图s，按照提前确定好的广告图实际尺寸打印广告图s，并张贴在定位二维码图像所包含定位信息所表示的定位点处。
本实施例所结合生成的广告图s见图3(c)，其中，广告图像为示意图片，定位二维码图像为示意编码。本实施例中，按照图3所示的结合生成方式，将广告图像和定位二维码图像结合生成可用于定位的广告图s，打印广告图s，并按照步骤s102所述方法张贴广告图s，具体为：使广告图s上定位点位于定位二维码图像所包含三维位置信息处，同时，保持广告图s最上面边线沿水平方向。另外，也可按照该方法在同一环境中选择不同的定位点三维位置信息处，并张贴不同的广告图s。
本领域技术人员应当理解，在另外的实施例中，广告图像和定位二维码图像也可以采用其他的结合方式，例如，采用图像位运算将广告图像和定位二维码图像叠加；或者，将二维码图像分布在广告图像外围或内部；或者，将广告图像和定位二维码图像按照一定画面比例，以上下或左右分布方式结合生成广告图。但无论何种结合方式，只要知道其结合方式，就可以根据其逆运算从广告图中提取出定位二维码信息。同理，定位二维码图像的设计、编码以及内部包含的信息，均可根据实际情况进行变化，只要知道定位二维码图像的生成方式，都可以一步步进行逆向处理，从而得到定位信息。
二、定位定姿
定位定姿的具体流程参见图4，步骤如下：
s210采集环境图像。
环境图像指布设有广告图s的环境的图像。本实施例中，环境图像利用图像采集模块获得，图像采集模块可以为视觉传感器，具体地，可为智能移动终端或其他移动设备自带的摄像头。但环境图像的采集方式并不限于此，也可以通过有线网络或无线网络下载获得。
本发明中图像采集模块为带摄像功能且摄相机已经过内参数标定的移动设备，包含但不限于手机、平板电脑、装有相机传感器的机器人等。
s220环境图像的预处理。
本实施例中，首先，为降低后续图像处理的计算量，对原始彩色的环境图像m0进行灰度化，经灰度化后的环境图像记为环境图像m1。接着，为消除图像的噪声干扰，对环境图像m1进行低通滤波降噪，经低通滤波后的环境图像记为环境图像m2；具体的，可重复两次利用大小为5×5的均值滤波核对环境图像进行卷积，以进行低通滤波。然后，为使图像边缘信息更明显，方便后续轮廓检测，采用局部自适应阈值法对环境图像m2进行二值化处理，二值化处理后的环境图像记为环境图像m3。
局部自适应阈值法是根据像素邻域块的像素值分布，来确定该像素位置上的二值化阈值。这样，每个像素位置处的二值化阈值不是固定不变的，而是由其周围邻域块像素的分布来决定。亮度较高的图像区域的二值化阈值通常较高，而亮度较低的图像区域的二值化阈值则会相适应地变小。不同亮度、对比度、纹理的局部图像区域将会拥有相对应的局部二值化阈值。通过局部自适应阈值法进行二值化处理之后的环境图像m3，可很好地将图像中不同光照条件、不同纹理、不同对比度等的边缘平等地显示出来，从而可降低对环境的要求。
s230搜索广告图在环境图像中的概略位置。
本步骤利用环境图像m0、m3，找到广告图s在环境图像中的图像区域，即广告图的概略位置。一种具体的搜索方法见图5所示，包括步骤：
s231轮廓提取。
对环境图像m3进行闭合轮廓提取，获得轮廓簇c0，本实施例中使用开源的图像处理库opencv所包含的findcontours函数，可以快速提取环境图像m3中的闭合轮廓。这里，轮廓指某一与其周围像素差别较大的连通区域的最外层像素点集合。轮廓簇c0剔除了轮廓中像素点过少或轮廓组成的连通区域面积过小的轮廓。
s232第一轮轮廓筛选。
根据广告图形状的先验信息对轮廓簇c0中轮廓进行第一轮筛选。例如，本实施例中广告图为矩形，所采集的环境图像中的广告图的轮廓应为矩形的仿射变换的某种形式，仿射变换不改变直线的平行关系即矩形仿射变换之后仍是四边形。因此，可利用此先验信息，在轮廓簇c0中筛选出近似四边形的轮廓，删除与矩形仿射变换的近似程度低的轮廓，如圆形轮廓等。
本步骤进一步包括：
s232.1提前准备一四边形图像，提取该四边形图像的轮廓，记为轮廓r1。
s232.2：计算轮廓r1与轮廓簇c0中每一条轮廓的相似程度，本实施例中，利用开源的图像处理库opencv所包含的matchshapes函数直接计算两轮廓的相似程度。
s232.3：由于轮廓簇c0中可能有多个四边形的轮廓，为了保证环境图像中广告图所在区域的轮廓被保留，这里，不仅保留与轮廓r1相似程度最高的轮廓，还将相似程度在预设范围内的多个轮廓均保留，被保留的轮廓构成轮廓簇c1。
s233第二轮轮廓筛选。
经过第一轮轮廓筛选获得轮廓簇c1，轮廓簇c1中所包含轮廓均为可能的广告图轮廓。对轮廓簇c1进行第二轮轮廓筛选，寻找与广告图数据库中已有模板最匹配的轮廓。
本步骤进一步包括：
对轮廓簇c1中各轮廓ci逐一进行以下步骤s233.1～s233.5：
s233.1：计算轮廓ci的最小外包矩形；
s233.2：在环境图像m0中选取最小外包矩形所包含的图像区域，记为子图mi，子图mi是原始彩色的环境图像m0的一部分，因此，子图mi是彩色图像，彩色图像包含更多信息，有利于后续的模板匹配；
s233.3：子图mi为原始彩色的环境图像m0中的一个区域，其尺寸也随着轮廓ci不同而变化。为方便模板匹配过程，对子图mi进行图像校正，将其变换为尺寸同标准尺寸一致的标准图像qi，这里的标准尺寸即(高)350像素*(宽)200像素。采用标准尺寸，可使所有特征描述子的提取在同样的图像尺寸下进行，后续特征匹配更稳定；
s233.4：采用surf法检测并提取标准图像qi的特征描述子；
s233.5：将标准图像qi的特征描述子与广告图数据库中各模板的特征描述子进行匹配，根据匹配结果估计相似度，保存相似度峰值处的相似度值以及对应的模板信息；
s233.6：比较轮廓簇c1中所有轮廓的相似度峰值，保存峰值最高的轮廓cx及对应的模板信息，此轮廓所包含的图像区域即广告图在环境图像中的概略位置。
本领域技术人员应当理解，当所采集的环境图像中不包括广告图时，上述匹配结果并不会出现明显峰值，因此可以舍弃本次采集的环境图像，重新进行环境图像采集；当所采集的环境图像中出现两个及以上的广告图时，环境图像中最清晰、最稳定的广告图会对模板有更好的匹配响应，因此，依然可以利用峰值来选取最有利的轮廓区域。本实施例中利用surf法进行特征点的检测和提取，但并不限于此，在另外的实施例中也可以采用其他的图像特征检测和提取方法进行模板的匹配。
s240确定广告图在环境图像中的精确位置。
步骤s230最后可获得广告图所在区域的概略轮廓以及该广告图所对应的模板信息，该概略轮廓为广告图所在区域外轮廓的像素点的图像坐标集合，并不是由四条直线段构成的轮廓，因此需要拟合出四条直线段，从而确定广告图在环境图像中的精确位置。
本实施例中，需要利用步骤s230获得的概略轮廓，来拟合代表广告图边界的四条直线段，并获得广告图四个角点精确的图像坐标，从而实现广告图的精确定位。
本实施例中利用ransac*法进行直线拟合，ransac*法可看成随机抽样一致性(ransac)法在本实施例的适应性简化版本。概略轮廓简记为轮廓cx。
本步骤的具体实施过程如下：
s241：从轮廓cx中随机选择两像素点，记为点a、b，构造直线类ab，直线类ab初始值仅包括点a和点b；
s242：随机选择一未被选择的像素点，记为点c；
s243：判断点c到直线ab的距离是否小于预设的距离阈值，若小于距离阈值，则将点c添加到直线类ab中后，执行步骤s244；若不小于距离阈值，直接执行步骤s244；
s244：判断轮廓cx内的像素点是否被遍历，若没有，返回步骤s242；否则，执行步骤s245；
s245：判断直线类ab内的像素点数是否大于给定的数量阈值，若大于，说明直线类ab中的像素点是广告图某条边界的点的集合，执行步骤s246；否则，说明直线类ab并不是一个有效的分类，返回步骤s241，重新执行步骤s241；
s246：利用最小二乘法对直线类ab中像素点进行直线拟合，所拟合直线即广告图的一边线；
s247：将直线类ab中像素点从轮廓cx中剔除，返回步骤s241，重复执行步骤s241～s246，直至获得广告图的四条边线。
s246中利用最小二乘法拟合之后，得到归类后直线在图像坐标系下的直线方程如下：
其中，l1、l2、l3、l4表示广告图的4条边界，系数m1、m2、m3、、n1、n2、n3、n4采用最小二乘法拟合获得。
上述直线方程两两联立，即可解算出两两直线的交点，即广告图的精确角点。由于环境图像采集中的仿射变换造成图像区域并不是严格的矩形，见图6所示，即从直线l1、l2、l3、l4中任选两条直线可以有6种组合方式，从而可获得6个交点，分别为：l1与l2交点、l1与l3交点、l1与l4交点、l2与l3交点、l2与l4交点、l3与l4交点。其中，l1与l2的交点、l1与l3的交点、l2与l4的交点、l3与l4的交点即所要求的广告图角点，其他两个交点需要剔除。以直线l1和l4为例，在计算得出的6个交点中剔除l1与l4交点的方法为：由于l1和l4几乎平行，计算得到的交点距离广告图所在的图像区域很远，因此可以判定其不是广告图角点，予以剔除。
本领域技术人员应当理解，在另外的实施例中，也可采用其他方法对轮廓cx中像素点进行直线拟合，如霍夫变换等；也可对轮廓cx内像素点进行预处理，以减少像素点的数量，进而减少拟合的计算量。
s250消除广告图的仿射变换。
步骤s230除了获得广告图在环境图像中的概略位置外，还获得了广告图匹配的模板信息，从而可获知广告图标准尺寸。基于广告图标准尺寸进行广告图仿射变换的消除，具体为：根据步骤s240获得的广告图精确角点，在环境图像中获得广告图对应的图像区域，将该图像区域变换为标准尺寸的图像，这样可消除由拍摄角度等造成的广告图形变，便于后续解码。
s260解码。
从步骤s230可获得广告图匹配的模板信息，该模板信息具体包括广告图像和定位二维码图像的结合方式、二维码编码规范、二维码模板生成规则等信息。本实施例中，广告图像和定位二维码图像是以上下结构分布在合成的广告图中，两者在广告图中的画面比例为4:1。根据此结合方式信息，可快速确定定位二维码图像在步骤s250所获得的标准尺寸图像中的位置，根据二维码生成的逆运算对二维码进行解码。
解码完成即可获得定位二维码图像中编码的定位点处的三维位置信息、姿态信息和广告图实际尺寸，进而获得广告图四角点的三维坐标。本实施例中，选广告图左上角点为定位点，定位点三维位置指定位点在室内坐标系下的坐标(x1,y1,z1)，单位为米。张贴广告图时，保持广告图上边线沿水平方向，室内坐标系下墙面可看作平行于z轴的平面，此时广告图左上角点到右上角点的直线方向在室内坐标系下与y轴的夹角记为α。根据解码获得的定位点在室内坐标系下的坐标(x1,y1,z1)和表征广告图姿态的α以及广告图实际尺寸m和n，推算广告图四角点的三维位置信息。其中，右上角点的三维位置为(x1+m*sinα，y1+m*cosα，z1)，左下角点的三维位置为(x1，y1，z1-n)，右下角点的三维位置为(x1+m*sinα，y1+m*cosα，z1-n)，m表示广告图的宽，n表示广告图的高。
s270定位定姿。
基于步骤s240获得的广告图在环境图像中的精确角点的图像位置，以及步骤s260获得的4角点实际的三维位置，进行定位定姿。
本实施例中，将图像采集模块标定后获得的内参数矩阵记为k，畸变参数向量记为d。本步骤定位定姿要解决的技术问题是，利用四对室内坐标系和图像坐标系的对应点对，解算图像采集设备的三维位置和姿态，具体原理如下：
s271：根据畸变参数向量d，对图像坐标系中4个角点进行校正，以消除畸变引起的误差；校正后的4个角点记为xi，i＝1，2，3，4。
s272：利用内参数矩阵k，将步骤s271获得的4个角点xi变换到相机坐标系下。
s273：从室内坐标系到相机坐标系的转换，需要变换矩阵[r|t]，其中，r是旋转矩阵，用来描述两个坐标系间的旋转关系；t是位移向量，用来描述两个坐标系坐标原点之间的平移。将室内坐标系记为x”，相机坐标系记为x'，那么两个坐标系的转换关系可以表示为：x'＝[r|t]*x”。利用四对匹配点，通过求解线性方程组，得到变换矩阵[r|t]的初值，再利用非线性最小二乘法迭代求得最优的变换矩阵[r|t]。
s274：解出变换矩阵[r|t]后，即获得了室内坐标系和相机坐标系的转换关系；根据移动设备与图像采集模块的硬件安装关系，获得移动设备在相机坐标系下的位置和姿态，通过变换矩阵，进而将移动设备在相机坐标系下的位置和姿态转换为移动设备在室内坐标系下的位置和姿态，也即实现了室内坐标系下对移动设备的定位与定姿。由于图像采集模块为用户所携带，即可获得用户的三维位置信息和姿态信息。
本实施例中，利用opencv开源图像处理库中的solvepnp函数，利用四个点的室内坐标系下的三维坐标、四个点在图像坐标系下的像素坐标、图像采集模块的内参数矩阵k、图像采集模块的畸变参数向量d，解算获得旋转向量和平移向量，利用罗德里格斯变换将旋转向量转换成旋转矩阵，最终可得室内坐标系和相机坐标系的变换矩阵[r|t]。
本实施例的具体实施过程中，初次布设广告图时，需商家提供广告图像、待推送的商业信息、待张贴广告图的位置、广告图实际尺寸等。张贴位置可以是墙面、天花板、地面等的某位置，需测量张贴位置在室内坐标系下的坐标。将待推送的商业信息、待张贴广告图的位置、广告图实际尺寸等生成定位二维码图像。广告图像和定位二维码模板结合生成广告图模板，广告图模板用于提取特征描述子。将广告图模板的特征描述子、包含的广告图像、所采用的二维码编码规范、二维码模板生成方式、广告图实际尺寸、广告图标准尺寸等信息上传至广告图数据库。
后续使用中，若布设于某处的广告图需要更新，若不改变广告图的实际尺寸和商业信息，仅需更换广告图中的广告图像部分，这时仅更新广告图数据库中对应的广告图像，并自动更新特征描述子，其余信息不变。若改变广告图实际尺寸、商业信息等，商家则需要提供更新后的信息，用于生成新的定位二维码图像并更新广告图数据库。
实施例2
实施例1所提供的定位定姿方法，在商家每次更新广告图像内容时，都需要更改广告图数据库。若商家在没有更换布设位置、广告图实际尺寸、二维码编码内容的情况下，只是在本地更换广告图中广告图像部分的内容，而并没有及时更新广告图数据库中对应的广告图像，在这种情况下，并不能在广告图数据库中搜索到正确的广告图模板。针对实施例1中存在的不足，本实施例提供一种不依赖于广告图像的定位定姿方法，利用定位二维码图像部分的特征进行搜索，以确定广告图在环境图像中的概略位置。
在广告图布设部分中，初次布设广告图的步骤和实施例1一样，区别仅在于，仅需要准备二维码模板的特征描述子，该特征描述子提取方法同实施例1中广告图模板特征描述子的提取。
在定位定姿部分中，和实施例1相比的区别仅在于第二轮轮廓筛选子步骤，仅根据定位二维码图像搜索广告图在环境图像中的轮廓区域，对经过第一轮轮廓筛选之后的轮廓簇c1进行第二轮筛选。
本实施例第二轮轮廓筛选的具体步骤如下：
对轮廓簇c1中各轮廓ci逐一进行以下步骤s233.1～s233.5：
s233.1：计算轮廓ci的最小外包矩形；
s233.2：在环境图像m0中选取最小外包矩形所包含的图像区域，记为子图mi；
s233.3：子图mi为环境图像m0中的一个区域，其尺寸也随着轮廓ci不同而变化。为方便模板匹配过程，对子图mi进行图像校正，将其变换为尺寸同标准尺寸一致的标准图像qi，这里的标准尺寸即(高)350像素*(宽)200像素；
s233.4：因为本实施例中广告图像和定位二维码图像的结合方式为上下结构，图幅比例为4：1，因此定位二维码图像在标准图像qi的图像坐标系下，x方向的像素范围为0～199像素，y方向的像素范围为280像素～349像素。本实施例中，x方向为水平方向，y方向为竖直方向。利用surf法检测并提取标准图像qi中定位二维码图像的特征描述子；
s233.5：将定位二维码图像的特征描述子与广告图数据库中定位二维码模板的特征描述子进行匹配，根据匹配结果估计相似度，保存相似度峰值处的相似度值；
s233.6：比较轮廓簇c1中所有轮廓对应的相似度峰值，保存相似度峰值最高的轮廓cx，此轮廓所包含的图像区域即广告图在环境图像中的概略位置。
本领域技术人员应当理解，当所采集的环境图像中没有广告图时，上述匹配结果并不会出现明显峰值，因此可以舍弃这一次图像采集结果，重新进行图像采集；当所拍摄的环境图像中出现两个及以上广告图时，在图像中最清晰、最稳定的广告图会对模板有更好的匹配响应，因此依然可以利用峰值来选取最有利的一个轮廓区域。
本发明将定位二维码和广告结合成为低成本、易推广的视觉特征标志，在应用此标志的区域内只需拍摄一张环境照片，经过图像预处理、搜索广告图概略位置、确定广告图精确位置、消除广告图仿射变换、解码和定位定姿等可以通过单张照片获得移动设备的位置和姿态，具有用户操作简单、部署成本低、不易受环境干扰、不破坏现有环境特点和背景等特点，使得此种定位方式既可以作为卫星定位的辅助手段，也可以很好地独立工作。
上述实施例所述是用以具体说明本发明，文中虽通过特定的术语进行说明，但不能以此限定本发明的保护范围，熟悉此技术领域的人士可在了解本发明的精神与原则后对其进行变更或修改而达到等效目的，而此等效变更和修改，皆应涵盖于权利要求范围所界定范畴内。