一种基于orb特征检测测量载体速度的方法
【专利摘要】本发明公开一种基于ORB特征检测来测量载体速度的方法，通过对摄像机获取的连续两帧图像进行ORB特征提取并匹配，从而得到载体的位移和速度。所述方法包括：对当前帧和下一帧进行灰度化并设定感兴趣区域；利用OrientedFAST算子对特征点检测；利用RotatedBRIEF特征描述子对特征点进行特征匹配；对匹配出来的特征点对进行筛选并剔除误匹配点；然后对得到的特征点对的像素位移进行分析和计算；通过系统模型得到比例转换系数，从而得到载体的实际位移和速度。本方法简单易实现，对图像特征点检测和匹配的速度提高明显，特别适用于对实时性要求高的视觉辅助系统中。
【专利说明】—种基于ORB特征检测测量载体速度的方法
【技术领域】
[0001]本发明涉及计算机图像处理领域，尤其涉及一种通过图像特征提取来测量像素位移，从而测量得载体移动速度的设计，适用于机器人，飞行器等的视觉辅助导航。
【背景技术】
[0002]通过特征提取来获取载体位移和速度，是视觉辅助导航系统中的一种非常重要的手段。视觉辅助技术已经广泛应用在机器人导航、飞行器等载体的导航技术中。通常，我们通过对摄像机拍摄到的图像，对当前帧和下一帧图像使用特征检测技术检测出鲁棒性强的特征点，然后对在当前帧和下一帧中检测出的特征点进行特征匹配，从而得到优良特征点在当前帧和下一帧中的位置，由此我们便可以得到特征点在图像中的像素位移。再由摄像机的帧率，我们可以得到当前帧和下一帧的时间间隔，通过位移和这个两帧间的时间间隔，我们就可以得到特征点的像素位移了，再通过摄像机和载体之间的模型几何关系，便可求得载体的速度和位移。
[0003]在导航领域中，视觉检测具有以下三个优势:1、非接触测量，对于观测体和被观测体都不会产生任何损伤，从而提高系统的可靠性；2、机器视觉具有较宽的光谱响应范围以及宽广的机器视野，这可以使得机器视觉获得更丰富的外界信息；3、机器视觉可以长时间稳定工作，而不会像诸如惯性导航器件等会产生误差累积，所以在惯性导航中，可利用机器视觉，对惯性导航进行误差补偿。
[0004]无论在工业制造还是机器人视觉导航中，都会追求更快更鲁棒的方法来进行特征点检测和匹配。从最早的光流算法，到后来的SIFT特征检测，再后来基于对SIFT特征检测算法改进而来的更为快速的SURF特征检测算法，都很好地实现了两帧图像间的特征点检测和匹配。一般的特征检测算法，如果是用于对前后两幅图像进行特征匹配，比如用于人脸识别等工程应用中，则对实时性要求不高，在一秒乃至两秒的处理时间范围，我们都是可以忍受的。而在载体视觉辅助导航中，如果特征点检测和识别的处理过程太慢，则会导致载体速度已经发生了变化，而这个图像处理过程却还在运行，而无法实时地得到载体当前的位移和速度。因此，传统的利用SURF特征检测算法来实现特征检测的方法则不能够用在载体利用视觉来测量运动速度的情况中。
【发明内容】
[0005]本发明提供一种基于ORB特征检测算法来测量载体速度的方法，用于实现通过视觉技术快速地得到载体当前速度。具体包含以下步骤:
[0006](I)在被测载体上安装一个导航摄像头，该导航摄像头的镜头垂直朝下，用于拍摄地面，以便获取地面特征；
[0007](2)在导航摄像头拍摄过程中，截取当前帧和下一帧的图像；
[0008](3)将这两幅图像转为灰度图像；
[0009](4)分别从两幅灰度图像的中央选取一定大小的感兴趣区域，使用ORB特征检测算法对当前帧和下一帧的特征点进行检测，并从中得到相应特征点的描述子；
[0010](5)根据得到的特征点的描述子，通过暴力匹配方法，对当前帧和下一帧中的特征点进行匹配；
[0011](6)遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移(即匹配出的特征点间的距离)maX_dist，然后，剔除掉像素绝对位移大于0.6*max_dist的匹配特征点对，得到正确匹配特征点对的对数；
[0012](7)求取每对正确匹配特征点对的横向位移和纵向位移，并将所有正确匹配特征点对的横向位移、纵向位移分别进行叠加，然后分别除以正确匹配特征点对的对数，得到每对正确匹配特征点对的横向、纵向的平均像素位移；
[0013](8)通过摄像机的帧率求得相邻帧之间的时间间隔，根据步骤(7)得到的每对正确匹配特征点对的横向、纵向的平均像素位移，得到特征点在横向、纵向上的移动速度，然后再经过系统建模，求得载体的位移以及它的移动速度。
[0014]本发明与现有技术相比:
[0015]I)利用ORB特征检测算法来进行特征点的检测和匹配，使图像处理速度大大提高，比传统的SURF算法的速度快了将近4倍，这大大增强了系统的实时性。
[0016]2)因为其实时性强的优点，在视觉辅助惯性导航技术中，更有利于实时地得到更多的速度信息，使得导航性能更加精确可靠。
【专利附图】
【附图说明】
[0017]下面将结合附图及实施例对本发明作进一步说明:
[0018]图1是本发明实施例的步骤流程图；
[0019]图2是本发明实施例的硬件实验平台图；
[0020]图3是本发明实施例的ORB特征点匹配效果图；
[0021]图4是本发明实施例的计算出特征点像素位移结果图。
【具体实施方式】
[0022]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0023]如图2所示，硬件平台是一台可移动的小车，平台上有一个工业摄像机，摄像机光轴垂直于地面且面朝地面，还有一台笔记本电脑用于实施图像处理。
[0024]如图1所示，一种基于ORB特征检测来测量载体速度的方法，包括以下步骤:
[0025]I)因为要使用特征检测，所以，小车运动的环境应该处于一个有纹理的地面环境。
[0026]2)小车运动过程中，摄像机面朝地面，不断拍摄运动过程中地面的纹理变化。
[0027]3)对拍摄到的图像，截取当前一帧图像，以及下一帧的图像。为减少图像处理的信息，对这两帧图像分别进行灰度化。
[0028]4)本实施例采用的工业摄像机拍摄的图像像素为640*480，如果直接处理这样大小的图像，将会使处理时间大大延长。而因为利用特征点来检测速度，所以并不需要对图像全部特征点进行检测和匹配，只需对其中某一区域的特征变化检测并识别出来即可。因此，本实施例将截取拍摄到的图像中央160*120大小感兴趣区域(ROI)进行图像处理，从而大大减少了图像信息，并极大提高了特征点检测和匹配的速度，增强了实时性。
[0029]5)对这个在当前帧和下一帧中选取出来的R0I，使用ORB特征检测算法，首先用Oriented FAST算子对当前巾贞和下一巾贞特征点进行检测，并从中得到特征点，并且得到相应特征点的Rotated BRIEF特征描述子。
[0030]6)利用上一步中得到的特征点的Rotated BRIEF特征描述子对两巾贞中感兴趣区域(ROI)中检测出的ORB特征点进行暴力匹配。
[0031]7)在匹配中，会因某些特征点的特征描述子相似，而导致误匹配，因此，要对匹配出来的匹配特征点对进行筛选。在当前帧和下一帧的特征点匹配完成后，对所有匹配特征点对的绝对像素位移进行计算，并得到所有匹配特征点对绝对像素位移的最大值max_disto然后,剔除掉像素位移大于0.6*max_dist的匹配特征点对。剩下的特征点对，本实施例即认为是正确匹配的特征点对，并得到正确匹配特征点对的对数。
[0032]8)后面的操作只对正确匹配特征点对进行操作。获取每对特征点对的横向像素位移和纵向像素位移。
[0033]9)对获取得的每对特征点对的横向像素位移和纵向像素位移分别进行叠加，然后除以正确匹配特征点对的对数，从而得到横向像素平均位移和纵向像素平均位移。
[0034]10)最后通过摄像机的帧率，利用
Vkeypoint ^keypoint^-^ ^ 中 Vkeypoint 为特征点像素速度，Skeypoint为特征点像素位移，f为帧率)由上一步得到的横向和纵向的像素平均位移得到横向和纵向的像素速度，然后通过系统建模，对实际系统结构分析得到实际载体位移与像素位移之间的关系，从而通过测量和标定得到实际载体位移与像素位移之间的比例值K，利用SMal = Skeyp()int*K(其中K为实际载体位移SMal和像素位移Skeyptjint间的比例系数)求得实际载体位移以及它的移动速度。
[0035]图3是本发明实施例中载体运行时对图像进行特征检测的ORB特征点匹配效果图，其中，左边的图像为当前帧的图像，右边则为下一帧的图像，圆圈为检测出的匹配特征点，连线是为了突出在两帧中匹配出来的特征点。
[0036]图4是本发明实施例的计算出特征点像素位移结果图，其中:第一行Time (Extracting&Matching)是当前巾贞和下一巾贞图像中用于特征点检测和匹配的处理时间，单位为ms ;第二行MaxDist和第三行MinDist分别是匹配出的遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移和最小绝对位移(这里绝对位移即匹配出的特征点间的距离)；第四行the matches.sizeO是在当前帧和下一帧中能够匹配出来的特征点对的对数；第五行the good_matches.size ()是剔除掉像素位移大于0.6*max_dist(最大绝对位移)的匹配特征点对后，剩下的正确匹配特征点对的对数；第六行XZ是所有正确匹配特征点对的横向位移总和；第七行yz是所有正确匹配特征点对的纵向位移总和；第八和第九行，则是利用前面求得的Xz和yz分别除以正确匹配特征点对的对数而得到横向和纵向上的平均位移，并将其视作计算出的像素横向位移和纵向位移。
[0037]本发明可以作为一种适用于INS、GPS、超声波等多传感器组合导航系统中用于速度估计和对速度测量误差校正的方法，应用者可以根据其特殊的应用领域通过修改软件来灵活方便地实现利用视觉信息测量载体的位移和速度，及其运动方向。
【权利要求】
1.一种基于ORB特征检测测量载体位移和速度的方法，其特征在于包括以下步骤: (1)在被测载体上安装一个导航摄像头，该导航摄像头的镜头垂直朝下，用于拍摄地面，以便获取地面特征； (2)在导航摄像头拍摄过程中，截取当前帧和下一帧的图像； (3)将这两幅图像转为灰度图像； (4)分别从两幅灰度图像的中央选取一定大小的感兴趣区域，使用ORB特征检测算法对当前帧和下一帧的特征点进行检测，并从中得到相应特征点的描述子； (5)根据得到的特征点的描述子，通过暴力匹配方法，对当前帧和下一帧中的特征点进行匹配； (6 )遍历所有匹配出来的特征点对，求得特征点移动的最大绝对位移max_dist，然后，剔除掉像素绝对位移大于0.6*max_dist的匹配特征点对，得到正确匹配特征点对的对数； (7)求取每对正确匹配特征点对的横向位移和纵向位移，并将所有正确匹配特征点对的横向位移、纵向位移分别进行叠加，然后分别除以正确匹配特征点对的对数，得到每对正确匹配特征点对的横向、纵向的平均像素位移； (8)通过摄像机的帧率求得相邻帧之间的时间间隔，根据步骤(7)得到的每对正确匹配特征点对的横向、纵向的平均像素位移，得到特征点在横向、纵向上的移动速度，然后再经过系统建模，求得载体的位移以及它的移动速度。
2.如权利要求1所述的基于ORB特征检测测量载体位移和速度的方法，其特征在于所述感兴趣区域的大小为160*120像素。
【文档编号】G06T7/20GK104331907SQ201410629762
【公开日】2015年2月4日 申请日期:2014年11月10日 优先权日:2014年11月10日
【发明者】陈熙源, 赖泊能, 李庆华, 方琳 申请人:东南大学