专利名称：视觉定位方法及装置的制作方法
技术领域：
本公开涉及一种视觉定位方法及装置。
背景技术：
定位导航技术的研发目的在于估计移动载体在实际环境移动过程中的位置，进而达成移动载体准确而稳定的导航需求。此技术可分成两大类:一类是通过建置环境电子地图，而以此地图作为移动载体定位时的参考信息；另一类则未建构环境电子地图，而是通过在移动载体移动的过程中进行同步定位与环境电子地图建置。如果采用建置环境电子地图的技术，移动载体可在移动过程中通过感测元件收集环境信息，并进一步与预先建置的环境电子地图比对，以完成其位置估计。举例来说，图1是已知估计移动载体位置的范例。请参照图1，其中物件12标示移动载体目前的估计位置，多个估计点14标示所估计的环境特征点，而多个特征点16则标示地图的环境特征点，当估计点14与地图的特征点16重叠的部分达一定比例时，即表示移动载体的位置估计符合目前的环境状态；反之，当二者之间的偏移过大时，则表示移动载体无法确认其目前正确位置。如果采用同步定位与环境电子地图建置技术，则未事先针对环境进行地图建置，而是在移动载体移动的过程中通过感测元件进行环境特征或地标的检测，并以此作为地图的参考信息，达成定位目的。举例来说，图2是已知估计移动载体位置的范例。请参照图2，移动载体22会在移动过程中检测环境中可辨识的特征24，并对所检测的地标位置，以不确定性的分布26来表示其可信赖的程度，此种技术可通过随时检测环境特征及其可能位置的方式达成定位需求。以上所提的移动载体定位技术通过视觉图像感测元件建构的定位技术，并使用延伸卡尔曼滤波器(Extended Kalman Filter,EKF)或粒子滤波器(Particle Filter,PF)等算法进行移动载体的移动预测与修正程序，以达成较准确的环境电子地图建置与移动载体定位。算法的修正程序乃使用图像特征点比对技术，计算出移动载体的估计姿态误差量，以进行误差修正。然而，一般将粒子滤波器算法用于移动载体的视觉图像感测元件的定位时，每个粒子皆须进行图像与地图特征点的比对，因此当粒子数量增加时，其运算量将会跟随着大幅增加。此外，上述视觉图像感测元件的定位技术多半仍停留在模拟或是离线的定位运算，无法即时完成移动载体的定位，使得这些方法均无法用于实际环境下移动载体的定位导航需求。
发明内容
有鉴于此，本公开提出一种视觉定位方法及装置，通过使用粒子滤波器定位算法，进行移动载体的移动预测与修正程序，以达成较准确的环境特征地图与移动载体定位。本公开提出一种视觉定位方法，适于定位具有图像感测元件的电子装置。此方法利用粒子滤波器洒布多个粒子至电子装置估计的位置周围的多个位置，并分别找出各个粒子对应的可视范围内的多个地图特征点，并联集为可视的地图特征点集合。接着，利用图像感测元件提取图像，并分析图像中的多个图像特征点，然后将图像中的图像特征点分别与上述可视的地图特征点集合中的地图特征点进行比对，获得比对结果，最后则选择与比对结果最相近的粒子，而以该粒子所在位置作为该电子装置的位置。本公开提出一种视觉定位装置，其包括图像感测元件、图像分析模块、粒子滤波器、特征点集合模块、特征比对模块及位置判断模块。其中，图像感测元件用以提取图像。图像分析模块用以分析图像感测元件所提取的图像中的多个图像特征点。粒子滤波器用以洒布多个粒子至视觉定位装置估计的位置周围的多个位置。特征点集合模块用以分别找出各个粒子对应的可视范围内的多个地图特征点，并联集为地图特征点集合。特征比对模块用以将图像中的图像特征点分别与地图特征点进行比对，获得比对结果。位置判断模块选择与比对结果最相近的粒子，而以该粒子所在位置作为视觉定位装置的位置。基于上述，本公开通过辨识图像中的不同特征点，将粒子滤波器定位算法中不必要的特征点比对计算去除，可解决视觉图像感测元件定位算法重复运算的问题，并降低视觉图像感测元件定位软件算法的运算量。为让本公开的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
图1是已知估计移动载体位置的范例。图2是已知估计移动载体位置的范例。图3是依照本公开一实施例所绘示的视觉定位装置的方块图。图4是依照本公开一实施例所绘示的视觉定位方法的流程图。图5是依照本公开一实施例所绘示的视觉定位方法的示意图。图6是依照本公开一实施例所绘示的筛选地图特征点的方法流程图。图7是依照本公开一实施例所绘示的利用激光定义可视范围的范例。图8是依照本公开一实施例所绘示的筛选地图特征点的方法流程图。图9是依照本公开一实施例所绘示的直线方程式象限示意图。主要元件符号说明12:物件14:估计点16:特征点22:移动载体24:可辨识特征26:不确定性分布30:视觉定位装置31:图像感测元件32:图像分析模块33:粒子滤波器
34:特征点集合模块35:特征比对模块36:位置判断模块51:粒子52:地图特征点53:粒子集合54:可视的地图特征点集合55、70:提取图像56:图像特征点92、94:圆圈LL:左投影点LR:右投影点Ll> Le:线段S402 S410:本公开一实施例的视觉定位方法的步骤S602 S606:本公开一实施例的地图特征点筛选方法的步骤S802 S810:本公开一实施例的地图特征点筛选方法的步骤
具体实施例方式本公开利用视觉图像感测元件可辨识图像中不同特征点的特性，将粒子滤波器定位算法中重复的特征点比对计算去除，使粒子滤波器算法不会随着粒子数量增加而造成特征点比对运算量大幅上升，藉此可降低视觉图像感测元件定位软件算法运算量，达成视觉图像感测元件即时定位移动载体的目的。图3是依照本公开一实施例所绘示的视觉定位装置的方块图。图4是依照本公开一实施例所绘示的视觉定位方法的流程图。请同时参照图3及图4，视觉定位装置30例如是配置在机器人、移动载体等电子装置上，而用以对电子装置进行定位，其中包括图像感测元件31、图像分析模块32、粒子滤波器33、特征点集合模块34、特征比对模块35及位置判断模块36。以下即搭配图3中视觉定位装置30的各项元件说明本实施例的视觉定位方法的详细步骤。首先，由视觉定位装置30利用粒子滤波器33洒布多个粒子至电子装置估计的位置周围的多个位置(步骤S402)。其中，粒子滤波器33例如是以随机的方式在电子装置估计的位置周围洒布粒子，而用以评估电子装置的位置，每个粒子均有其对应的可视范围，而此可视范围可涵括环境电子地图中不同的地图特征点。接着，由特征点集合模块34分别找出各个粒子对应的可视范围内的多个地图特征点，并联集为可视的地图特征点集合(步骤S404)。其中，特征点集合模块34例如还会筛选落在图像感测元件的可视范围内的地图特征点，以联集为可视的地图特征点集合。举例来说，图5是依照本公开一实施例所绘示的视觉定位方法的示意图。请参照图5，多个粒子51例如是由粒子滤波器洒布在所要定位的电子装置估计的位置周围，而地图特征点52则是散布在电子装置周围，预先检测的环境电子地图中的特征点。每个粒子51都会有其特定的可视范围，而涵括不同种类或数量的地图特征点52，如果将所有粒子51的可视范围内的地图特征点52进行联集，则可得到如图所示的粒子集合53对应的可视的地图特征点集合54，此地图特征点集合54可用来和目前提取图像55中的多个图像特征点56比较，而找出可对应的地图特征点。通过上述将地图特征点52联集的动作，可将粒子51之间重复的地图特征点52去除，进而省去重复比对的运算。回到图4，在求取地图特征点集合的同时，视觉定位装置30还会利用图像感测元件31提取图像，并由图像分析模块32分析该图像中的多个图像特征点(步骤S406)。此图像感测元件31例如是电荷稱合元件(Charge Coupled Device, CO))或互补式金属氧化物半导体(Complementary Metal-Oxide Semiconductor Device, CMOS)兀件，而用以提取其可视范围内的图像。图像分析模块32则可采用特征提取等图像处理算法分析图像中的多个图像特征点，例如图5中的图像特征点56。然后，由特征比对模块35将图像中的图像特征点分别与地图特征点进行比对，以获得比对结果(步骤S408)。其中，在进行比对之前，例如会先由特征点集合模块34将地图特征点集合中各个地图特征点的坐标转换至图像平面，再由特征比对模块35将图像分析模块32分析的图像特征点与此转换后的地图特征点进行比对，而找出与图像特征点相符的地图特征点。最后，由位置判断模块36选择与比对结果最相近的粒子，而以此粒子所在位置作为电子装置的位置(步骤S410)。其中，位置判断模块36例如会根据比对结果计算各个粒子可视范围内的地图特征点与比对后的地图特征点之间的误差值，选择误差值最小的粒子的位置来作为电子装置的位置。也就是说，如果粒子的可视范围内包括愈多相符的地图特征点，则该粒子的位置与电子装置所在位置相同的可能性愈高，因此可将该粒子的位置视为电子装置所在位置。通过上述方法即可将粒子滤波器定位算法中不必要的地图特征点比对的计算去除，以解决重复运算的问题，进而降低定位电子装置所需的运算量。需说明的是，特征点集合模块34在筛选地图特征点时，例如会依照图像感测元件31的可视范围定义左右边线，并根据地图特征点所处象限是否落在此左右边线内，决定是否将该地图特征点选入可视的地图特征点集合。图6是依照本公开一实施例所绘示的筛选可视的地图特征点的方法流程图。请参照图6，特征点集合模块34会先找出图像感测元件31的可视范围内的左投影点及右投影点(步骤S602)。其中，特征点集合模块34例如利用投射模块(未绘示)投射激光点于图像感测元件31的一个预设可视范围内，并控制图像感测元件31提取此预设可视范围内的图像，而依据图像上的激光投影点的位置，定义图像感测元件31的可视范围。此处图像感测元件31所提取的图像(例如第二图像)可直接使用前述步骤S406中图像感测元件31所提取的图像(例如第一图像)。在一优选实施例中，由于图像感测元件31的可视范围通常为固定的，因此找出图像感测元件31的可视范围内的左投影点及右投影点的步骤只需执行一次，故前述第一图像与第二图像为分开提取。定义图像感测元件31的可视范围可以多种方法计算，在一实施例中，以中国台湾专利申请号98140007的专利为例，请参考图7所绘示的图像70，虚线代表投射模块投射在图像70中的激光投影点的位置，而其中的最左边的左投影点LL以及最右边的右投影点LR可定义出图像感测元件31的实际可视范围，但不限于此方法。
使用激光投影点的目的是为了要利用激光投影点在图像上的位置以及激光投影点在世界坐标中的位置这两者的关系来定义出图像在世界坐标的可视范围。在另一实施例中，如果已经能准确知道图像感测元件的视角，则可利用电子装置在世界坐标的位置与已知的图像感测元件的视角来定义左右边线。然后，特征点集合模块34会求取左投影点及右投影点分别与图像感测元件上参考点的连线的直线方程式(步骤S604)。此参考点的功能是求取图像感测元件的视角，在一实施例中为图像感测元件的中心点。其中，特征点集合模块34例如会先将左投影点、右投影点以及图像感测元件上参考点的坐标转换至世界坐标系，再分别求取左投影点与参考点连线的直线方程式，以及右投影点与参考点连线的直线方程式。举例来说，假设LRZ_X、LLZ_X及cz_x分别代表左投影点、右投影点以及图像感测元件上参考点转换至世界坐标系的坐标，则左投影点与参考点连线的直线方程式LI以及右投影点与参考点连线的直线方程式L2可以下列公式计算而得:
权利要求
1.一种视觉定位方法，适于定位具有一图像感测元件的一电子装置，该方法包括下列步骤: 利用一粒子滤波器洒布多个粒子至该电子装置的一估计位置周围的多个位置； 分别找出各所述粒子对应的一可视范围内的多个地图特征点，并联集为可视的一地图特征点集合； 利用该图像感测元件提取一第一图像，并分析该第一图像中的多个图像特征点； 将该第一图像中的图像特征点分别与该地图特征点集合中的地图特征点进行比对，获得一比对结果；以及 选择与该比对结果最相近的粒子，而以该粒子所在位置作为该电子装置的位置。
2.如权利要求1所述的视觉定位方法，其中分别找出各所述粒子对应的该可视范围内的地图特征点，并联集为该地图特征点集合的步骤还包括: 筛选落在该图像感测元件的该可视范围内的地图特征点。
3.如权利要求2所述的视觉定位方法，其中筛选落在该图像感测元件的该可视范围内的地图特征点的步骤包括: 找出该图像感测元件的该可视范围内的一左投影点及一右投影点； 求取该左投影点及该右投影点分别与该图像感测元件上一参考点的一连线的一直线方程式；以及 根据各所述地图特征点所属的一象限以及该地图特征点相对于各所述连线的一方向，决定是否将该地图特征点选入该地图特征点集合。
4.如权利要求3所述的视觉定位方法，其中找出该图像感测元件的该可视范围内的该左投影点及该右投影点的步骤包括: 投射一激光于该图像感测元件的一预设可视范围内； 利用该图像感测元件提取一第二图像；以及 依据该激光在该第二图像上的一激光投影点的一位置，定义该图像感测元件的该可视范围。
5.如权利要求3所述的视觉定位方法，其中在求取该左投影点及该右投影点分别与该图像感测元件上该参考点的该连线的该直线方程式的步骤之前，还包括: 转换该左投影点、该右投影点及该参考点的坐标至一世界坐标系。
6.如权利要求3所述的视觉定位方法，其中根据各所述地图特征点所属的该象限以及该地图特征点相对于各所述连线的该方向，决定是否将该地图特征点选入该地图特征点集合的步骤包括: 将各所述地图特征点的一坐标代入各所述直线方程式，获得一运算值； 根据各所述地图特征点的运算值的正负号，查询一象限表以找出对应的一象限； 判断该地图特征点所处象限与在该象限表所找出的该象限是否相符；以及 如果相符，将该地图特征点选入该地图特征点集合。
7.如权利要求1所述的视觉定位方法，其中在将该第一图像中的图像特征点分别与所述地图特征点进行比对，获得该比对结果的步骤之前，还包括: 转换该地图特征点集合中的地图特征点至一图像平面。
8.如权利要求1所述的视觉定位方法，其中选择与该比对结果最相近的粒子，而以该粒子所在位置作为该电子装置的位置的步骤包括: 根据比对结果计算各所述粒子的一误差值，以选择该误差值最小的粒子的该位置作为该电子装置的位置。
9.一种视觉定位装置，包括: 一图像感测元件，提取一第一图像； 一图像分析模块，分析该图像感测元件所提取的该第一图像中的多个图像特征点； 一粒子滤波器，洒 布多个粒子至该视觉定位装置的一估计位置周围的多个位置； 一特征点集合模块，分别找出各所述粒子对应的一可视范围内的多个地图特征点，并联集为可视的一地图特征点集合； 一特征比对模块，将该第一图像中的图像特征点分别与所述地图特征点进行比对，获得一比对结果；以及 一位置判断模块，选择与该比对结果最相近的粒子，而以该粒子所在位置作为该视觉定位装置的位置。
10.如权利要求9所述的视觉定位装置，其中该特征点集合模块还包括筛选落在该图像感测元件的该可视范围内的地图特征点。
11.如权利要求10所述的视觉定位装置，其中该特征点集合模块包括找出该图像感测元件的该可视范围内的一左投影点及一右投影点，求取该左投影点及该右投影点分别与该图像感测元件上一参考点的一连线的一直线方程式，并根据各所述地图特征点所属的一象限以及该地图特征点相对于各所述连线的一方向，决定是否将该地图特征点选入该地图特征点集合。
12.如权利要求10所述的视觉定位装置，还包括: 一投射模块，投射一激光于该图像感测元件的一预设可视范围内，并控制该图像感测元件提取一第二图像，而依据该激光在该第二图像上的一激光投影点的一位置，定义该图像感测元件的该可视范围。
13.如权利要求10所述的视觉定位装置，其中该特征点集合模块还包括转换该左投影点、该右投影点及该参考点的坐标至一世界坐标系。
14.如权利要求13所述的视觉定位装置，其中该特征点集合模块还包括转换该地图特征点集合中的地图特征点至一图像平面。
15.如权利要求11所述的视觉定位装置，其中该特征点集合模块包括将各所述地图特征点的一坐标代入各所述直线方程式，获得一运算值，并根据所述运算值的正负号，查询一象限表以找出对应的一象限，然后判断该地图特征点所处象限与在该象限表所找出的该象限是否相符，如果相符，将该地图特征点选入该地图特征点集合。
16.如权利要求9所述的视觉定位装置，其中该位置判断模块包括根据比对结果计算各所述粒子的一误差值，以选择该误差值最小的粒子的该位置作为该视觉定位装置的位置。
全文摘要
一种视觉定位方法及装置，适于定位具有图像感测元件的电子装置。此方法利用粒子滤波器洒布多个粒子至电子装置估计的位置周围的多个位置，然后分别找出各个粒子对应的可视范围内的多个地图特征点，并联集为可视的地图特征点集合。接着，利用图像感测元件提取图像，并分析图像中的多个图像特征点，然后将图像中的图像特征点分别与上述可视的地图特征点集合中的地图特征点进行比对，获得比对结果。最后选择与比对结果最相近的粒子，以该粒子所在位置作为电子装置的位置。
文档编号G06K9/64GK103186797SQ20121021127
公开日2013年7月3日 申请日期2012年6月20日 优先权日2011年12月29日
发明者蔡雨坤, 欧志鸿, 游鸿修, 王维汉 申请人:财团法人工业技术研究院