一种基于图像消失点识别技术的移动设备姿态测量方法
【技术领域】
[0001] 本发明涉及机器视觉以及电子设备应用领域，具体涉及一种基于图像消失点识别 技术的移动设备姿态测量方法。
【背景技术】
[0002] 手机姿态指的是手机相对于大地坐标系的精确的3D坐标和朝向信息。这个信息 对许多手机应用程序来说起到至关重要的作用。例如手机游戏、手势和动作识别、室内导航 等等。精确的室内定位和导航，是近几年科研领域和商业应用领域的热点问题。其中利用 手机内部传感器，例如加速度计、陀螺仪、指南针进行定位是其中常用的方法。但是要实现 精确的室内定位，必须要对手机姿态进行测定。目前对手机姿态的测量主要有两种方法，第 一种是利用陀螺仪积分得到手机3D姿态，第二种是利用加速度计和磁感应传感器。
[0003] 利用陀螺仪积分的方法是目前应用最广泛的获取手机姿态的方法。陀螺仪是用来 测量旋转角速度的传感器，又被称作角速度传感器。因此我们可以通过对陀螺仪获得的角 速度进行不断的积分，这样有了手机初始姿态，再加上每时每刻的角速度，我们就可以得到 具体某一时刻的手机姿态。这种方法虽然简单，也有其难以解决的问题。虽然陀螺仪在测 量瞬时角速度方面误差较小，但是手机姿态却是通过积分得到的，这样随着时间的增长，累 积误差越来越大，到最后，系统获得的手机姿态便会有较大的误差。
[0004] 另一种方法是利用加速度计和磁感应传感器来直接计算手机的瞬时姿态。磁感应 传感器可以用来检测磁场强度的大小。加速度传感器用来实时检测手机的加速度，它虽然 无法直接得到重力的方向，但是利用滤波器，可以过滤到由于手机移动产生的加速度，只保 留下重力加速度。这样综合利用磁感传感器和加速度传感器就可以得到手机的实时姿态。 但是磁感应传感器的精确度很低，而且在室内环境下，极其容易受到周围电子设备的影响。 而加速度传感器除了会受到电磁干扰还容易受到手机自身运动的影响，精确度相对于陀螺 仪积分的方法来说较低。因此没有得到广泛的使用。
[0005] 以上两种方法各有优缺点，陀螺仪积分的方法短时间内精度高，但是随着时间的 增加，会有累积误差，精确度逐渐降低；加速度计的方法容易受环境影响，精确度较低。
【发明内容】
[0006] 为了解决现有技术中的问题，本发明提出了一种能够矫正陀螺仪积分的累积误 差，降低了误差率，具有精确度高，不易受环境影响的基于图像消失点识别技术的移动设备 姿态测量方法。
[0007] 为了实现以上目的，本发明所采用的技术方案为，包括以下步骤：
[0008] 1)利用移动设备的摄像头拍摄建筑物具有三条互相垂直的直线的场景，场景包含 空间坐标系三个坐标轴的方向信息；
[0009] 2)利用机器视觉的方法对场景图像进行边缘检测，得到图像中的线段，然后对线 段进行分类，得到在三维空间内互相垂直的三类线段；
[0010] 3)利用步骤2)得到的线段，以及图像消失点检测算法得到图像三个互相垂直方 向上的消失点；
[0011] 4)利用图像消失点，结合摄像头成像模型，得到移动设备的姿态信息；
[0012] 5)用得到的移动设备的姿态信息对陀螺仪积分得到的结果进行矫正，即完成移动 设备姿态测量方法。
[0013] 所述的步骤2)中对场景图像进行边缘检测采用的是canny边缘检测方法，具体包 括：首先对图像进行高斯平滑处理，抑制图像中的噪声；然后对图像进行梯度计算，计算梯 度的幅值和方向，记下来细化梯度幅值矩阵，寻找图像中的可能边缘点；最后利用双门限检 测的方法来进行边缘提取，根据检测到的线段的斜率将线段分类。
[0014] 所述的步骤2)中采用KLT追踪算法对检测到的线段进行追踪，追踪线段上的点得 到特定线段在下一帧上的位置，并在该位置周围进行线段检测。
[0015] 所述的步骤3)中首先根据线段的斜率信息，对线段进行分类，利用KNN方法选取 数量最多的三类平行线，代表空间坐标系的三个轴的方向；然后利用RANSAC算法，计算这 些平行线的交点，得到三个互相垂直方向上的消失点。
[0016] 所述的步骤4)中的摄像头成像模型采用针孔相机模型，针孔相机模型的世界坐 标的点P (X。，Y。，Z。)，在图像平面上的投影点为P (X，Y)的关系为：
【主权项】
1. 一种基于图像消失点识别技术的移动设备姿态测量方法，其特征在于，包括w下步 骤： 1) 利用移动设备的摄像头拍摄建筑物具有=条互相垂直的直线的场景，场景包含空间 坐标系立个坐标轴的方向信息； 2) 利用机器视觉的方法对场景图像进行边缘检测，得到图像中的线段，然后对线段进 行分类，得到在=维空间内互相垂直的=类线段； 3) 利用步骤2)得到的线段，W及图像消失点检测算法得到图像=个互相垂直方向上 的消失点； 4) 利用图像消失点，结合摄像头成像模型，得到移动设备的姿态信息； 5) 用得到的移动设备的姿态信息对巧螺仪积分得到的结果进行矫正，即完成移动设备 姿态测量方法。
2. 根据权利要求1所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤2)中对场景图像进行边缘检测采用的是canny边缘检测方法，具体 包括；首先对图像进行高斯平滑处理，抑制图像中的噪声；然后对图像进行梯度计算，计算 梯度的幅值和方向，记下来细化梯度幅值矩阵，寻找图像中的可能边缘点；最后利用双口限 检测的方法来进行边缘提取，根据检测到的线段的斜率将线段分类。
3. 根据权利要求2所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤2)中采用KLT追踪算法对检测到的线段进行追踪，追踪线段上的点 得到特定线段在下一帖上的位置，并在该位置周围进行线段检测。
4. 根据权利要求1所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤扣中首先根据线段的斜率信息，对线段进行分类，利用K順方法选取 数量最多的=类平行线，代表空间坐标系的=个轴的方向；然后利用RANSAC算法，计算该 些平行线的交点，得到S个互相垂直方向上的消失点。
5. 根据权利要求1所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤4)中的摄像头成像模型采用针孔相机模型，针孔相机模型的世界坐 标的点P狂。，Y。，Z。)，在图像平面上的投影点为P狂，Y)的关系为：
式中，K是指的相机的内参，R是旋转矩阵，t是平移矩阵，利用上面的公式，W及消失点 的坐标计算出拍摄照片时的移动设备姿态。
6. 根据权利要求5所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤4)中利用拓展卡尔曼滤波的方法将从摄像头图像获得的移动设备 姿态和从巧螺仪积分得到的移动设备姿态进行结合，从而完成移动设备姿态测量方法。
7. 根据权利要求6所述的一种基于图像消失点识别技术的移动设备姿态测量方法，其 特征在于；所述的步骤4)中首先将摄像头图像获得的移动设备姿态的矩阵转化为四元数， 然后结合移动设备内部的巧螺仪获得的巧螺仪四元数，利用拓展卡尔曼滤波的方法得到移
【专利摘要】本发明涉及一种基于图像消失点识别技术的移动设备姿态测量方法，首先利用手机摄像头拍摄室内墙角等人造规则物体，利用消失点检测技术可以从中提取出三维结构信息，利用不同照片之间三维结构的变化可以矫正手机内部的惯性传感器模块，例如陀螺仪、加速度计等。这样就可以在不增加硬件的基础上，提高传感器测量精度，获得更加准确的手机姿态。另外，本发明提出的方法，相比于传统的方法，有效的避免了室内电视、计算机等电磁干扰对加速度计、陀螺仪的干扰，而且还防止了陀螺仪积分的累计误差，因此大幅度提高了手机姿态测量的精确度。
【IPC分类】G01C21-20
【公开号】CN104848861
【申请号】CN201510282967
【发明人】惠维, 高学广, 蒋志平, 杜立, 韩劲松, 赵季中
【申请人】西安交通大学
【公开日】2015年8月19日
【申请日】2015年5月28日