度计数据；根据不同智能手机传感器的性能，选定固定的传感器数据获取速率，记为η帧/秒。
[0044]实际使用中，由于智能手机的多个传感器数据刷新频率不一致，需要根据设备传感器性能选择，本实验中选择η为60，即每秒获得60次陀螺仪和加速度计数据。
[0045]由于传感器实际回报速率较难精确控制，因此采用重采样的方法获得固定速率的传感器数据，通过对原传感器数据进行插值和重采样，输出频率一致为60帧/秒的传感器数据。
[0046]此外，获得数据后视具体情况对传感器数据做简单处理，如尺度的变换及明显异常值的剔除，但不应对其做太过复杂的处理。
[0047](3)如图3所示，进行设备位置和姿态估计，包括以下子步骤:
[0048](3.1)当仅有IMU数据，没有图像数据获得时(MU数据获得频率通常都高于摄像头)，使用IMU数据扩展其状态和协方差矩阵；
[0049](3.2)当图像数据到达时，执行以下操作:
[0050](3.2.1)通过特征提取算法(常见的如SIFT，SURF等)获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法(如RANSAC)减少特征匹配的误差；
[0051](3.2.2)使用步骤3.2.1获得的图像特征数据及步骤3.1里获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波(EKF)，获得摄像头的位置和姿态估计；
[0052](3.2.3)使用步骤3.2.2的摄像头位置和姿态估计和最新的MU数据，扩展MU状态和协方差矩阵；
[0053]本实验中，选用SURF作为特征和描述符算法，RANSAC作为特征匹配误差优化算法，以下为步骤3.2.1的具体步骤:
[0054](3.2.1.1)通过高斯滤波和Hessian矩阵行列式计算，得到变换后图像组成的高斯金字塔尺度空间，不同层数中的图像的区别在于高斯模糊大小不同；
[0055](3.2.1.2)通过对比高斯金字塔尺度空间三维领域内26个点的大小，初步找出特征点，并使用三维线性插值算法找出准确的特征点位置；
[0056](3.2.1.3)计算特征点邻域(6s，s为特征点所在的尺度)内60度扇形的水平及垂直Haar小波特征，旋转扇形找到最大的方向，作为特征点的主方向；
[0057](3.2.1.4)将特征点附近边长为20s的正方形框均分为16个子区域，统计其水平和垂直方向的Haar小波特征，将其水平方向之和，水平方向绝对值之和，垂直方向之和，垂直方向绝对值之和，共4X 16 = 64维向量作为特征描述算子；
[0058](3.2.1.5)将多帧图像的特征点相互匹配，实现特征点的对应；
[0059](3.2.1.6)反复在所有特征点里随机选取N个特征点，估计摄像头模型，计算其它点到模型的具体，找出距离最小的一组特征点，作为俄内点估计摄像头模型。
[0060](3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得其初始位置，且抛弃其对应的原所有摄像头姿态数据。
[0061]在实验中，为进一步降低算法运行压力，抛弃存储的超过一定时间的摄像头状态。
[0062]在实际的特征识别与匹配里，由于环境的复杂性，图像会出现各种变形，如光照、位置、仿射等变换对于图像特征的影响。因此在对比各特征算法的特点及效果后，选择了SURF算法作为特征识别算法，其具有对旋转，尺度及仿射的不变性，且在保证一定的可重复，可定位及鲁棒性的前提下具有较高的运行效率。
[0063]具体的图像特征算法及误差修正算法需要根据实际应用场合及性能要求选取，以获得最佳的性能及效果，因此，不论其使用何特征识别算法和误差修正算法，只要采用前后摄像头同时工作，获取图像进行特征识别并匹配的方法，均属于本发明的内容。
[0064]对于输入的图像数据，为了进一步降低算法运行的压力，加入一定的过滤机制，对于变化不大且距离前次有效图像时间较短的图像，不再重复进行计算，而是直接丢弃。
[0065]为提高程序的实时性和充分利用多核处理器的多线程能力，程序设计为各独立线程接收处理传感器数据，各自通过本地Socket连接向算法线程传送数据，由算法线程进行统一的处理，完成后交由输出线程输出到相应的设备，而主线程则负责控制其它线程及Π交互，具体结构见图4。
【主权项】
1.一种基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，包括以下步骤: (1)视觉数据获取及预处理:智能手机放置于室内环境，通过智能手机自带的前后摄像头获取视觉图像数据；根据实际应用场景，选定固定的图像获取速率，记为m帧/秒，m取10-20 ;对获得图像进行预处理； (2)MU数据获取及预处理:获得MU数据，所述MU数据为智能手机自带的陀螺仪和加速度计数据；根据智能手机传感器的性能，选定固定的传感器数据获取速率，记为η帧/秒； (3)根据步骤I预处理后的视觉数据和步骤2预处理后的MU数据，进行设备位置和姿态估计，包括以下子步骤: (3.1)当仅有MU数据，没有图像数据获得时，使用MU数据扩展其状态和协方差矩阵； (3.2)当图像数据到达时，执行以下操作: (3.2.1)通过特征提取算法获得图像数据的特征点及描述，在单侧的图像帧之间完成特征匹配，利用特征点优化算法减少特征匹配的误差； (3.2.2)根据步骤3.2.1获得的图像特征数据及步骤3.1获得的IMU状态和协方差矩阵及图像数据，使用扩展卡尔曼滤波，获得摄像头的位置和姿态估计； (3.2.3)根据步骤3.2.2获得的摄像头位置和姿态估计以及最新的IMU数据，扩展IMU状态和协方差矩阵； (3.3)若有标记无效的单侧摄像头数据到达，则使用另一侧摄像头当前的位置和姿态估计，结合设备上双摄像头相对位置，重新获得无效侧摄像头初始位置，且抛弃其对应的原所有摄像头姿态数据。
2.根据权利要求1所述基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，所述步骤I具体包括以下子步骤: (1.0同时开启智能手机的前后摄像头，同步前后摄像头的获取速率，使其保持相同的帧速m获取图像数据，禁用自动对焦以避免焦距的改变； (1.2)图像到达时分别测量并判断其亮度，设置亮度阈值范围为[Tl，T2]，判断每一帧图像亮度是否在亮度阈值范围内；如图像满足亮度条件，更新对应摄像头的时间标记，进入步骤1.3，否则直接抛弃图像； (1.3)若双侧摄像头采集的图像均满足亮度条件且获取时间距上次符合要求的图像的获取时间均没有超过时间阈值t，则将双侧图像数据送入步骤3进行融合； (1.4)若单侧摄像头图像获取时间距上次符合要求的图像的获取时间超过时间阈值t，则标记该摄像头图像数据无效，并把无效信息及另一侧图像数据送入步骤3，同时抛弃该无效摄像头所有已存储数据； (1.5)若双侧摄像头图像获取时间距上次符合要求的图像的获取时间均超过时间阈值t，则中止定位。
3.根据权利要求1所述基于智能手机前后摄像头同时工作的视觉定位方法，其特征在于，所述步骤3.2.1具体包括以下子步骤: (3.2.1.1)对步骤I输入的所有图像应用特征响应函数凸显特征点； (3.2.1.2)对步骤3.1.1处理后的图像应用非极值抑制操作，在特征函数的响应图里找出所有区域极小值和极大值； (3.2.1.3)对步骤I输入的所有图像进行降采样后重复步骤3.1.1和3.1.2，实现特征识别的尺度不变性； (3.2.1.4)将单侧的多帧图像的特征点相互匹配，实现特征点的对应； (3.2.1.5)通过RANSAC或类似算法优化特征点匹配结果，去除错误的特征点对应。
【专利摘要】本发明公开了一种基于智能手机前后摄像头同时工作的视觉定位方法，包括视觉数据获取及预处理、IMU数据获取及预处理和设备位置姿态估计三个步骤，通过智能手机的前后摄像头获取图像并进行简单预处理，给出可用于位置估计的图像数据；获取智能手机的IMU数据，同步数据刷新周期；融合图像和IMU数据，给出设备的位置和姿态估计。本发明采用智能手机的前后双摄像头避免室内光照变化频繁及单侧强光或弱光对算法的影响。在整个过程中，最终解算出的位置及姿态信息可以实时输出给无人飞行器等用于导航。
【IPC分类】G06T7-00, H04M1-725
【公开号】CN104680522
【申请号】CN201510065115
【发明人】张宇, 施啸天, 方舟
【申请人】浙江大学
【公开日】2015年6月3日
【申请日】2015年2月9日