专利名称：移动机器人及其控制方法和程序的制作方法
技术领域：
本发明涉及可以执行各种动作的移动机器人及其控制方法和程序，该移动机器人能够执行的动作例如是给人作向导或引路、运输物体以及来回走动或巡逻；更具体而言，本发明涉及行进到目的地位置并同时从捕获的照相机图像中估计当前行进位置的移动机器人及其控制方法和程序。
背景技术：
最近，除了工作在制造场所的工业机器人之外，对适合人们用于例如家用、福利、医疗服务和公共事务的移动机器人的开发也正在进行中。这样的机器人需要根据自我位置估计方法的自动移动功能，在此自我位置估计方法中，机器人自身在行进中的位置被利用(一个或多个)传感器估计出，以便沿目标轨迹(路径)而行。作为移动机器人的自我位置估计方法，推算定位(dead reckoning)被频繁采用，该推算定位根据转角传感器利用移动机器人的模型获得的轮子转角来估计行进位置。机器人利用环境中的特定标记来识别位置的方法也被采用，所述特定标记例如是如白线等之类的路标、磁轨以及角隅棱镜(corner cube)。此外，作为不使用特定标记的方法，还提出了通过根据照相机获得的图像测量墙或地面的边缘的位置和方向来估计机器人的位置和姿态的方法(JP 09-053939)。
但是，这些传统的机器人自我位置估计方法包含以下问题。首先，根据轮子转角估计移动机器人行进位置的推算定位方法的问题在于轮子的滑动等会导致误差积累。因此，将推算定位和陀螺传感器组合起来的方法被广泛采用；但是，虽然滑动等的影响可以消除，但是仍旧存在由于陀螺仪的偏移导致的误差积累。机器人利用特定标记识别环境中的位置的方法的问题在于必须在环境中放置特定标记，这提高了成本。此外，在通过根据照相机的图像测量墙和地面的边缘的位置和方向来估计机器人的位置和姿态的方法中，必须预先注册多种指定图像特性在真实空间中的位置。在当前环境下，这种注册操作是一种人为操作，其中在每次测量和注册的地点及其位置上，特性例如是利用人眼来确定的，这存在需要长时间工作的问题。
发明内容
另外，根据本发明，提供了一种能够通过利用照相机的图像来容易而精确地估计行进位置的移动机器人及其控制方法和程序。
本发明提供了一种移动机器人。在本发明中，一种在诸如工厂之类环境中行进的移动机器人，其特征在于具有路径规划单元，该单元基于估计出的当前行进位置规划到目的地的行进路径并输出行进命令；行进控制单元，该单元执行行进控制，以便基于所述路径规划单元的行进命令来沿所述行进路径而行；位置预测单元，该单元将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成单元，该单元基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测单元预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成单元，该单元从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计单元，该单元将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划单元和所述位置预测单元中的行进位置。
这里，所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性，并估计出相关性最大的预测边缘图像的候选位置，作为所述行进位置。
所述位置估计单元可以计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目，并估计出重叠像素数目最多的预测边缘图像的候选位置，作为所述行进位置。
所述预测图像生成单元针对每个所述候选位置改变所述成像单元的图像捕获方向，并生成所述多个预测边缘图像。
所述预测图像生成单元基于所述成像单元的照相机参数和所述布局信息的三维坐标生成所述预测边缘图像。
本发明的移动机器人每隔预定行进距离或每隔预定移动时间重复基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程。
(方法)本发明提供了一种对移动机器人的控制方法。在本发明中，一种对在诸如工厂之类环境中行进的移动机器人的控制方法，其特征在于具有路径规划步骤，在该步骤中，基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令；行进控制步骤，在该步骤中，执行行进控制，以便基于所述路径规划步骤的行进命令来沿所述行进路径而行；位置预测步骤，在该步骤中，将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成步骤，在该步骤中，基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成步骤，在该步骤中，从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计步骤，在该步骤中，将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
(程序)本发明提供了一种控制移动机器人的程序。本发明的程序的特征在于致使在诸如工厂之类环境中行进的移动机器人的计算机执行以下步骤
路径规划步骤，在该步骤中，基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令；行进控制步骤，在该步骤中，执行行进控制，以便基于所述路径规划步骤的行进命令来沿所述行进路径而行；位置预测步骤，在该步骤中，将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成步骤，在该步骤中，基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成步骤，在该步骤中，从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计步骤，在该步骤中，将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
根据本发明，在利用轮子的转角传感器通过推算定位预测出的移动机器人的当前行进位置附近设置多个候选位置，基于环境的布局信息(例如柱子和墙的位置和高度)生成预测边缘图像，这些预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在每个候选位置上时捕获到的，在候选位置上的预测边缘图像被与由从实际图像中提取出的边缘信息构成的实际边缘图像相比较，并估计出与之最相似的预测边缘图像的候选位置，作为机器人的当前行进位置。因此，仅通过在移动机器人中预先存储描述墙、柱子位置等的环境的相对简单的布局信息，就可以容易地生成预测边缘图像，不需要执行预先注册实际空间中的多种指定图像特性的位置的操作，并且可以简单而精确地执行利用照相机图像的自我位置估计。
此外，当通过预测边缘图像和实际边缘图像之间的比较对相似度的确定是利用图像的相关性值来评价的，并且相关性值最大的预测边缘图像的坐标位置被估计出以作为行进位置时，预测边缘图像和实际边缘图像的不同细节的影响被消除，从而可以实现稳定的比较过程，此外，由于该过程是通过对边缘信息的相关性计算来执行的，因此减少了计算量，并且可以利用小设备来实现。
此外，当通过预测边缘图像和实际边缘图像之间的比较对相似度的确定是利用边缘图像的重叠像素数目来评价的，并且重叠像素数目最多处的预测边缘图像的候选位置被估计出以作为行进位置时，与图像相关相比，可以实现更稳定的比较过程，并且因为计算的是相应边缘像素的总数，因此与相关性计算相比，可以以更小计算量来实现。
此外，多个预测边缘图像是在针对每个候选位置改变成像单元的图像捕获方向的同时生成的；因此，在同一候选位置上生成多个具有不同图像捕获方向的预测边缘图像，并且这些预测边缘图像被与实际边缘图像相比较。即使实际图像的图像捕获方向偏离了规划的行进方向，只要可以获得具有最大相似度的预测边缘图像，就可以估计出正确的行进位置，并且可以进一步增强行进位置的估计精确度。
此外，在生成预测边缘图像(预测边缘图像是在成像单元被假设布置在候选位置上时生成的)的过程中，可以基于成像单元的照相机参数和布局信息的三维坐标来容易而精确地执行所述生成过程。
此外，以预定行进距离或预定移动时间的处理周期，基于实际边缘图像和多个预测边缘图像对当前行进位置的估计过程被重复；因此，可以通过缩短处理周期来提高估计精确度。从以下参考附图的详细描述中，本发明的上述和其他目的、特征和优点将变得更加明显。
图1是根据本发明的移动机器人的实施例的说明图；图2是应用了图1的实施例的移动机器人的硬件配置的框图；图3是示出根据本发明的移动机器人控制设备的实施例的功能配置的框图；图4是利用本发明的路径规划生成的规划路径的说明图；图5是根据本发明实施例在行进期间执行的使用照相机捕获的图像的行进位置估计过程的说明图；
图6是被设置在用于生成预测边缘图像的预测行进位置附近的候选位置的说明图；图7是在本发明实施例的位置估计过程中利用相关性计算获得实际边缘图像和预测边缘图像之间相似度的过程的说明图；图8是在本发明实施例的位置估计过程中利用重叠像素的数目获得实际边缘图像和预测边缘图像之间相似度的过程的说明图；以及图9A和9B是本发明实施例中的行进位置估计过程的流程图。
具体实施例方式
图1是根据本发明的移动机器人的实施例的说明图。在图1中，本实施例的移动机器人10包括五个单元，即头部单元12、身体14、移动单元16、左臂20-1和右臂20-2。当水平观察移动机器人10时，其大小为直径大约60cm，其高度大约130cm。头部单元12可以相对于身体14水平转动，并且使用成像设备(例如CCD)的照相机18朝向前方并附接到头部单元12。照相机18的视线方向可以通过转动头部单元12来调整。如果在头部单元12上安装多个具有不同视线方向的照相机，则可以通过切换照相机来立即改变视觉方向，而无需使用上下左右旋转(pan/tilt)机制。在左臂20-1和右臂20-2中，分别提供了具有四个自由度的关节和抓取操作所需的钳子，利用关节，手可以移动到任意位置。装配有触摸屏的LCD22被安装在身体14上，从而使得可以执行移动机器人10的各种显示和所需操作。在移动单元16中提供了左和右驱动轮以及辅助轮，并且可以通过独立驱动左和右驱动轮来直行、后退和转向。
图2是并入在本实施例的移动机器人中的硬件配置的框图。在图2中，在移动机器人10中，并入了CPU板46、DSP板48和图像处理板50，作为移动机器人的控制设备，并且这些控制设备通过网络总线52彼此相连。装配有触摸屏的LCD 22和扬声器54被连接到CPU板46，而CPU板46执行用户界面和操作指令的过程。各个传感器32-1到32-n经由传感器板56连接到DSP板48，用在各种驱动器中的马达28-1到28-n经由马达控制板58也连接到DSP板48。DSP板48主要执行实时处理，例如包括移动机器人的行进控制。加载在移动机器人上的多个照相机18-1到18-n经由照相机切换板60连接到图像处理板50。图像处理板50利用照相机切换板60切换到并选择将经历图像处理的照相机18-1到18-n中的任意一个，并且从所选照相机中读取的图像信息被图像处理板50进行图像处理，以便执行必要的机器人操作。
图3是示出根据本发明的移动机器人控制设备的实施例的功能配置的框图，该移动机器人控制设备是利用根据图2所示移动机器人的硬件配置的环境来实现的。在图3中，本实施例的移动机器人控制设备包括路径规划单元24、行进控制单元26、行进位置预测单元34、预测图像生成单元36、环境布局信息数据库38、位置估计单元40、图像输入单元42和边缘图像生成单元44。路径规划单元24基于位置估计单元40确定的当前行进位置规划到目的地(预先设置的)的行进路径并将行进命令发布到行进控制单元26。响应于该行进命令，行进控制单元26通过驱动马达28-1和28-2来独立驱动左和右驱动轮30-1和30-2并致使移动机器人沿规划的路径行进到目的地。行进控制单元26连接到作为控制负载的马达28-1和28-2，并且马达28-1和28-2独立驱动设置在图1的移动单元26中的左和右驱动轮30-1和30-2。针对辅助轮30-3和30-4设置了轮转角传感器32，该轮转角传感器32输出与辅助轮30-3和30-4伴随驱动轮30-1和30-2的移动发生的旋转相对应的脉冲信号。辅助轮的数目可以是一个。例如，当采用图4的布局环境作为示例时，根据规划路径对移动机器人的行进控制如下所述。当相对移动机器人10的当前位置设置了任意目的地62时，路径规划单元24例如规划出作为期望路径64的最短路线，该最短路线穿过通向目的地62并由房间66-1到66-4包围的走廊68。当规划出期望路径64时，从位置估计单元40获得的当前行进位置被与期望路径64相比较，并向行进控制单元26输出行进命令以沿期望路径64而行。行进控制单元26使得移动机器人通过驱动马达28-1和28-2而借助驱动轮30-1和30-2的驱动作用来沿期望路径64行进。根据来自路径规划单元24的行进命令，在期望路径64中的直行移动距离L1、L2和L3以及在转向点P1和P2的转向信息被利用；行进距离是通过对在行进期间从轮转角传感器32检测到的脉冲计数，将其中每个脉冲乘以每个脉冲的行进距离，再将它们累加而获得的；当等于期望路径64中设置的距离L1时，得知到达转向点P1；行进方向向左转90度；随后行进直行距离L2；在转向点P2处行进方向向右转90度，最后通过行进行进距离L3到达目的地62。在行进控制单元26基于根据期望路径64来自路径规划单元24的行进命令进行行进控制时，由于例如轮子的滑率会在轮转角传感器32的检测精度方面引起误差，并且在估计的行进位置和实际行进位置之间引起误差；因此，在本实施例中，通过利用照相机18拍摄的图像估计移动机器人的正确当前行进位置并在更新行进位置的同时执行行进控制，从而能够根据期望路径64精确而平滑地执行到目的地62的行进。在本实施例中，对移动机器人的当前行进位置的估计是由行进位置预测单元34、预测图像生成单元36、充当成像单元的照相机18、图像输入单元42、边缘图像生成单元44和位置估计单元40来执行的。行进位置预测单元34将基于来自轮转角传感器32的检测到的脉冲计算出的相对于在位置估计单元40中估计出的行进位置的行进距离累积起来并预测当前行进位置。预测图像生成单元36假设基于预先存储在环境布局信息数据库38中的环境布局信息(例如柱子和墙的位置和高度)将照相机18放置在由行进位置预测单元34预测的当前行进位置及其附近的候选位置上，并生成由成像边缘信息构成的多个预测边缘图像。在此过程中，由预测图像生成单元36执行的预测边缘图像的生成在每次行进位置预测单元34获得的行进距离达到预定距离ΔL(例如ΔL＝1m)时被执行。每次行进位置预测单元34行进了预定距离ΔL时，由照相机18拍摄的移动机器人的行进方向的图像被输入图像输入单元42，并且图像输入单元将其输出到边缘图像生成单元44，生成实际边缘图像并将其输出到位置估计单元40，其中在实际边缘图像中，仅提取出实际图像中的柱子和墙的边缘。位置估计单元40将从边缘图像生成单元44输出的实际边缘图像与由预测图像生成单元36生成的多个候选位置的预测边缘图像相比较，估计与当前行进位置有最大相似度的预测边缘图像的候选位置，并将路径规划单元24和行进位置预测单元34中的行进位置更新为估计的正确位置。
图5是在行进期间利用照相机捕获的图像执行的根据本实施例的行进位置估计过程的说明图。图5是在移动机器人10沿着图4所示规划路径64行进期间，移动机器人10在规划路径64的行进方向改变点P1点处向左转90度之后移动机器人10的状态，并且假设在此时执行利用照相机捕获的图像的行进位置估计过程。在此情况下，移动机器人10在箭头所示方向上行进，并且装载在移动机器人上的照相机18也处于箭头所示的视线方向上并以虚线所示角度α拍摄实际图像。在图5中移动机器人10的位置被看作预测位置，该预测位置是相对于图3的行进位置预测单元34中先前估计的位置的行进距离的累积，该行进距离的累积是基于轮转角传感器32的检测的脉冲计算出的。由于该预测位置在实践中包括由于轮子滑动引起的误差，因此移动机器人10的预测位置和当前位置不总是匹配。在基于移动机器人10的行进位置预测单元34预测的行进位置处，图3的预测图像生成单元36设置p×q的候选位置矩阵72，其例如围绕预测行进位置70在x方向上包含p块，并在y方向上包含q块(与图6一样)，并且包括候选位置矩阵72的预测行进位置70的矩阵的交叉点被设置为候选位置。然后，通过在将照相机18假设放置在候选位置时捕获图像获得的边缘图像被作为来自布局信息的预测边缘图像生成，其中所述布局信息例如是预先存储在环境布局信息数据库38中的柱子和墙的位置和高度。在图6的候选矩阵72的情况下，候选位置的数目为p×q，其中包括预测行进位置70。对于候选位置矩阵72，例如设置一个候选区域，该候选区域距离穿过预测行进位置70的中心线±15cm，并且例如设置大约1000个点作为候选点的数目(p×q)。此外，在本实施例中，在包括预测行进位置70的候选位置中的每个位置处，照相机的视线方向假设被定向在视线方向74-2和74-3(这两个方向相对于与机器人移动方向相对应的视线方向74-1向左和向右偏离大约±6度)上，并且从布局信息中生成预测边缘图像。因此，除了关于当前预测进行位置的对行进位置的正确估计之外，在预测行进位置70处关于移动机器人的移动方向的正确方向估计也可被实现。在候选位置矩阵72中每个候选位置处，照相机的视线方向可能仅被固定在对应于移动方向的视线方向74-1上，并且向在左和右方向上±6度的视线方向74-2和74-3上的移动可被省略。对于设置在预测行进位置70附近的用于生成预测边缘图像的候选位置的数目，可以根据安装在移动机器人上的图2所示图像处理板50的处理能力来确定任意数目的候选位置。这里，由图3所示位置估计单元40执行的实际边缘图像和预测边缘图像之间的比较和对相似度最大的候选位置的确定可以使用以下两种方法中的任一方法来执行(1)在一种方法中，计算实际边缘图像和预测边缘图像之间的相关性，并估计出相关性最大的候选位置作为行进位置，或者(2)在另一方法中，计算实际边缘图像和预测边缘图像的重叠像素的数目，并估计出重叠像素数目最多的候选位置作为行进位置。
图7是根据相关性计算确定相似度的过程的说明图。在图7中，例如通过对照相机18捕获的实际图像76执行微分处理来对图像76执行边缘提取78，并且获得实际边缘图像80，该实际边缘图像80包括提取出的边缘部分，这些边缘部分充当实际图像76中的走廊、墙和天花板之间的边界。同时，与实际图像76的输入同步地，基于照相机18被放置在设置在预测行进位置70附近的候选位置上(例如如图6所示)的假设，从布局信息中生成预测边缘图像82-1到82-n。然后，在相关性计算84中，分别对实际边缘图像80和预测边缘图像82-1到82-n执行相关性计算。这里，基于布局信息的预测边缘图像82-1到82-n可以从基于处于如下状态的照相机18的照相机参数的计算中生成和获得在所述状态中，照相机18假设被放置在设置在预测行进位置70附近的候选位置上(见图6)。在本实施例中，预测边缘图像可以通过以下方式由设置在候选位置上的照相机捕获由照相机将基于布局信息的三维布局空间转换成从设置在候选位置上的照相机观察到的二维平面图像。当这种关系被数学化时，预测边缘图像可以作为在照相机被假设设置在每个候选位置上的情况下的三维布局空间的平面图像而生成。在将三维布局空间转换成二维平面图像的关系表达式中使用的系数是照相机参数。更具体而言，当布局三维空间中的点(X，Y，Z)出现在照相机图像中的点(Xc，Yc)处时，它们之间的关系可以由以下表达式提供。
HcXcHcYcHc=C11C12C13C14C21C22C23C24C31C32C33C34XYZ1---(1)]]>这里，Hc是中间变量。3×4矩阵的系数C11到C34是照相机参数并且包括所有信息，例如照相机的位置与姿态以及镜头的价格。由于总共存在12个照相机参数C11到C34，因此照相机参数C11到C34的值可以由布局三维空间和照相机的二维图像中的6个或更多个参考点预先确定。当照相机参数C11到C34的值是以这种方式预先确定的时，并且当照相机被放置在任意候选位置上时，将布局三维空间转换成预测边缘图像的转换表达式可以由以下表达式提供。
Xc=C11X+C12Y+C13Z+C14C31X+C32Y+C33Z+C34---(2)]]>Yc=C21X+C22Y+C23Z+C24C31X+C32Y+C33Z+C34---(3)]]>当表达式(2)和(3)被应用到代表基于候选位置获得的布局三维空间中的边缘的所有像素坐标(X，Y，Z)时，代表预测边缘图像中的边缘的所有像素可被获得。图7中的在实际边缘图像80和预测边缘图像82-1到82-n之间执行的相关性计算84可以由以下表达式提供。
NCC=Σ(Rij-Rm)(Sij-Sm)Σ(Sij-Sm)2Σ(Rij-Rm)2,Rm=1nΣRij,Sm=1nΣSij---(4)]]>这里，表达式(4)中的Rij代表布局三维空间中的边缘图像的每个像素，Sij代表预测边缘图像的每个像素值，并且n代表图像中的像素数目。在本实施例中这种利用图像对当前行进位置的估计中，实际边缘图像是从实际图像中提取出的，将与其进行比较的环境是预测边缘图像，预测边缘图像仅由充当代表不与实际环境的图像信息相关的柱子和墙的位置和高度的地图信息的布局信息构成，布局信息的数据量与实际环境图像相比要小得多并且可以容易地从诸如环境的设计图之类的信息中获得，并且将布局信息注册到移动机器人的过程可以被容易地执行。而且，在对当前行进位置的估计过程中，相似度最大的候选位置是通过借助从实际图像中提取出的实际边缘图像和从设置在预测行进位置附近的候选位置中观察到并基于布局信息生成的预测边缘图像之间的相关性计算来匹配相似度而估计出的；因此，由于它们是边缘图像，因此即使对于图像处理，像素数目也会少得多，并且对正确当前位置的估计可以由小设备以更高速度执行。图8是本实施例的位置估计中，根据构成边缘的重叠像素数目获得实际边缘图像和预测边缘图像之间的相似度的过程的说明图。在图8中，边缘提取78是通过对实际图像76执行微分处理来执行的，以便确定实际边缘图像80。同时，分别针对设置在预测行进位置附近的候选位置从布局信息中生成预测边缘图像82-1到82-n。在该状态中，与实际边缘图像80最相似的预测边缘图像被检测出；因此，在本实施例中，例如，生成重叠确定图像86-1，其中实际边缘图像80与预测边缘图像82-1相重叠，并且在重叠确定图像86-1中，在实际边缘图像80的边缘部分与预测边缘图像82-1的边缘部分相重叠的部分中的总像素数目被计算出。针对这样的实际边缘图像80和预测边缘图像82-1到82-n的重叠确定图像86-1到86-n中的每一个获得边缘图像的重叠像素的数目，确定重叠像素数目最多的预测边缘图像82-i，并估计出其候选位置，作为当前行进位置。在比较借助图7的相关性计算确定最大相似度的方法和借助重叠像素数目确定最大相似度的方法时，在对实际边缘图像80的提取不充分并且边缘不连续的情况下，在相关性计算的情况下，相关性值以与不连续性相对应的方式减小；但是，在边缘重叠像素的数目的情况下，即使在实际边缘图像的边缘中生成了不连续性，边缘的不连续性也不会影响对重叠像素的数目的确定，只要边缘的不连续性处于边缘的重叠部分之外的其他部分中即可，并且与相关性计算相比，可以更稳定地执行最大相似度的比较处理。借助图7的相关性计算来确定最大相似度的过程和借助图8的重叠像素确定最大相似度的过程可以单独执行，也可以组合执行。例如，由图7的相关性计算获得的相关性值可以被排序，顶部的预定数目个候选位置可被选出，对图8的重叠像素的数目的确定过程可被应用到所选候选位置的预测边缘图像，并且与有最多重叠像素的预测边缘图像相对应的候选位置可被估计出，作为行进位置。
图9A和9B是本实施例中的行进位置估计过程的流程图，并且下面将参考图3来描述该流程图。在图9A和9B中，首先，在步骤S1中，例如由行进位置预测单元34基于从轮转角传感器32输出的脉冲来检查行进距离是否已经到达设置的距离ΔL；并且，当其已到达设置的距离ΔL时，在步骤S2中清除行进距离，然后从步骤S3开始启动行进位置估计过程。在行进位置估计过程中，在步骤S3中，最大相似度被初始化为0；然后，在步骤S4中，图像输入单元42获得照相机18在该点捕获的照相机图像，并且边缘图像生成单元44通过微分处理生成边缘图像。然后，在步骤S5中，由行进位置预测单元34预测的当前行进位置被获得，并且在步骤S6中，由预测图像生成单元36例如像图6那样在预测行进位置附近设置候选位置。接下来，在步骤S7中，选择候选位置之一，并生成在所选候选位置处的预测边缘图像。具体而言，假设照相机18被假设放置在所选候选位置上，并且利用上述表达式(2)和(3)中的照相机参数C11到C34将从环境布局信息数据库38的布局信息中获得的关于布局三维空间的布局三维信息的边缘图像转换成二维平面边缘图像，从而生成预测边缘图像。接下来，在步骤S8中，实际边缘图像和预测边缘图像的相似度被计算。该相似度的计算是如图7所示的相关性计算84或如图8所示的对边缘重叠像素数目的计算。随后，在步骤S9中，计算出的相似度被与该点的最大相似度相比较。由于这是第一比较过程，因此最大相似度为0(如步骤S3所初始化的)；因此，计算出的相似度总是大于等于0，并且过程前进到步骤S10，其中最大相似度被更新为在步骤S8中计算出的相似度，并且该点处的候选位置被记录。随后，过程前进到步骤S11，如果被处理的候选位置的数目小于预先确定的预定阈值，过程则返回步骤S6，生成下一候选位置并重复步骤S7到S10的过程。作为重复步骤S6到S11的过程的结果，多个候选点的预测边缘图像中具有最大相似度的候选位置总是留作记录的结果。当候选位置的数目在步骤S11中超过阈值时，过程前进到步骤S12，其中由于在步骤S10中记录的候选位置是具有最大相似度的候选位置，因此其被设置为当前行进位置。随后，在步骤S13中检查是否已经到达目的地。如果尚未到达，过程则返回步骤S1，并重复类似的过程；如果已经到达目的地，则终止行进位置估计过程的序列。本发明还提供了由装载在移动机器人(具体而言，如图2所示硬件配置)上的计算机执行的程序，并且程序的内容是根据图9A和9B的流程图的内容。本发明还包括不损害其目的和优点的任意修改，并且本发明不受以上描述的实施例中所示的数字值所限制。
权利要求
1.一种在诸如工厂之类环境中行进的移动机器人，其特征在于具有路径规划单元，该单元基于估计出的当前行进位置规划到目的地的行进路径并输出行进命令；行进控制单元，该单元执行行进控制，以便基于所述路径规划单元的行进命令来沿所述行进路径而行；位置预测单元，该单元将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成单元，该单元基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测单元预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成单元，该单元从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计单元，该单元将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划单元和所述位置预测单元中的行进位置。
2.如权利要求1所述的移动机器人，其特征在于所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性，并估计出相关性最大的预测边缘图像的候选位置，作为所述行进位置。
3.如权利要求1所述的移动机器人，其特征在于所述位置估计单元计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目，并估计出重叠像素数目最多的预测边缘图像的候选位置，作为所述行进位置。
4.如权利要求2或3所述的移动机器人，其特征在于所述预测图像生成单元针对每个所述候选位置改变所述成像单元的图像捕获方向，并生成所述多个预测边缘图像。
5.如权利要求1所述的移动机器人，其特征在于所述预测图像生成单元基于所述成像单元的照相机参数和所述布局信息的三维坐标生成所述预测边缘图像。
6.如权利要求1所述的移动机器人，其特征在于所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
7.一种对在诸如工厂之类环境中行进的移动机器人的控制方法，其特征在于具有路径规划步骤，在该步骤中，基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令；行进控制步骤，在该步骤中，执行行进控制，以便基于所述路径规划步骤的行进命令来沿所述行进路径而行；位置预测步骤，在该步骤中，将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成步骤，在该步骤中，基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成步骤，在该步骤中，从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计步骤，在该步骤中，将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
8.如权利要求7所述的对移动机器人的控制方法，其特征在于，在所述位置估计步骤中，计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性，并估计出相关性最大的预测边缘图像的候选位置，作为所述行进位置。
9.如权利要求7所述的对移动机器人的控制方法，其特征在于，在所述位置估计步骤中，计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目，并估计出重叠像素数目最多的预测边缘图像的候选位置，作为所述行进位置。
10.如权利要求8或9所述的对移动机器人的控制方法，其特征在于，在所述预测图像生成步骤中，针对每个所述候选位置改变所述成像步骤的图像捕获方向，并生成所述多个预测边缘图像。
11.如权利要求7所述的对移动机器人的控制方法，其特征在于，在所述预测图像生成步骤中，所述预测边缘图像是基于所述成像步骤的照相机参数和所述布局信息的三维坐标生成的。
12.如权利要求7所述的对移动机器人的控制方法，其特征在于，所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
13.一种存储有程序的计算机可读存储介质，所述程序的特征在于致使在诸如工厂之类环境中行进的移动机器人的计算机执行以下步骤路径规划步骤，在该步骤中，基于估计出的当前行进位置对到目的地的行进路径进行规划并输出行进命令；行进控制步骤，在该步骤中，执行行进控制，以便基于所述路径规划步骤的行进命令来沿所述行进路径而行；位置预测步骤，在该步骤中，将由轮子的转角传感器检测到的行进距离累加到所述估计出的当前行进位置中，并预测当前行进位置；预测图像生成步骤，在该步骤中，基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在成像单元被假设放置在所述位置预测步骤中预测的当前行进位置上和在所述当前行进位置附近的候选位置上时捕获到的；边缘图像生成步骤，在该步骤中，从由所述成像单元捕获的行进方向上的实际图像中提取出边缘信息并生成实际边缘图像；以及位置估计步骤，在该步骤中，将所述实际边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置作为行进位置，并更新所述路径规划步骤和所述位置预测步骤中的行进位置。
14.如权利要求13所述的存储介质，其特征在于，在所述位置估计步骤中，计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的相关性，并估计出相关性最大的预测边缘图像的候选位置，作为所述行进位置。
15.如权利要求13所述的存储介质，其特征在于，在所述位置估计步骤中，计算通过对实际图像的微分处理生成的实际边缘图像与每个预测边缘图像之间的重叠像素的数目，并估计出重叠像素数目最多的预测边缘图像的候选位置，作为所述行进位置。
16.如权利要求14或15所述的存储介质，其特征在于，在所述预测图像生成步骤中，针对每个所述候选位置改变所述成像步骤的图像捕获方向，并生成所述多个预测边缘图像。
17.如权利要求13所述的存储介质，其特征在于，在所述预测图像生成步骤中，所述预测边缘图像是基于所述成像步骤的照相机参数和所述布局信息的三维坐标生成的。
18.如权利要求13所述的存储介质，其特征在于，所述基于所述实际边缘图像和所述多个预测边缘图像对当前行进位置的估计过程每隔预定行进距离或每隔预定移动时间被执行一次。
全文摘要
本发明公开了一种在诸如工厂之类环境中行进的移动机器人，其包括路径规划单元，该单元基于估计出的当前行进位置规划到目的地的行进路径，并向行进控制单元输出行进命令来执行行进控制，以便沿所述行进路径而行；行进位置预测单元，该单元将由轮转角传感器检测到的行进距离累加到估计出的当前行进位置中，以便预测当前行进位置；预测图像生成单元，该单元基于所述环境的布局信息生成多个预测边缘图像，所述多个预测边缘图像由边缘信息构成，并且是在照相机被假设放置在预测出的当前行进位置上和在当前行进位置附近的候选位置上时捕获到的；边缘图像生成单元，该单元从照相机捕获的实际图像中生成实际边缘图像；以及位置估计单元，该单元将边缘图像与所述多个预测边缘图像相比较，估计出相似度最大的预测边缘图像的候选位置，并更新路径规划单元和行进位置预测单元中的行进位置。
文档编号B25J5/00GK101078632SQ20061015237
公开日2007年11月28日 申请日期2006年9月28日 优先权日2006年5月26日
发明者沢崎直之 申请人:富士通株式会社