专利名称：可移动机器人的制作方法
技术领域：
本发明涉及用自驱动动力移动的机器人。特别地，本发明涉及通过使 用照相机认识周围环境来移动的机器人。
背景技术：
正在开发这样的机器人其具有经由包含驱动机构的关节连接到体干 的被连接元件。在这种类型的机器人中，存在一种机器人，其由布置在体 干上的体干侧照相机所拍摄的环境图像创建环境地图，并基于所获得的环 境地图，拟出其向目标位置的移动路线的计划。在日本特开No.2005-92820 公开的技术中，用布置在机器人头部的照相机拍摄图像，由所获得的图像 计算视差图像或距离图像，由所获得的视差图像或距离图像计算平面^:， 接着，通过基于所获得的平面参数提取包含地板面积(floorage space)在 内的多个平面，创建环境地图。机器人由环境地图认识机器人能够在其中 移动的范围，并基于所认识的范围计划其移动路线。
发明内容
采用具有经由包含驱动机构的关节连接到体干的被连接元件的机器 人，可能存在这样的情况依赖于被连接元件(例如臂、腿等等)的位置， 由于部分照相机视野范围被这样的连接元件遮住，部分周围物体不能由机 器人的照相机拍才聂到。因此，可能存在这样的情况在,皮连接元件后面，
存在未知的环境。
如果这样的未知环境存在于被连接元件的后面，体干的移动路线可能 变得难以计划。另外，不能计划例如臂或腿等被连接元件的移动路线。特 别是在计划将被连接元件移动到目标位置的路径时，可能经常出现这样的
不希望的情况由于目标位置位于未知环境中，不能认识到目标位置。
采用传统技术，每当未知环境出现时，进行额外的处理将体干或,皮 连接元件移动到另一位置，接着，对未知环境进行拍4聂，并在未知环境变 为"已知"环境之后重新确定移动路径。除了需要前面所述的多余操作以 外，传统技术不能有效地用于以连续动作移动其体干的机器人。另外，在 周围物体正在移动的环境中，机器人不能有效地使用传统技术。 本发明目标在于实现可防止未知环境的发生的可移动机器人。 本发明提供了位于被连接元件上的照相机，使得由此可拍摄由被连接 元件从位于体干上的照相机的视野中遮住的范围。因此，可防止由于被连 接元件的存在而导致的环境的某些部分不能被拍摄的不希望的情况。
本发明所创建的机器人包含体干；被连接元件，其通过具有驱动机 构的关节连接到体干；布置在体干上的体干侧照相机；布置在被连接元件 上的连接元件侧照相机；合成图像创建单元。合成图像创建单元创建由体 干侧照相机拍摄的体干侧图像与由连接元件侧照相机拍摄的连接元件侧图 像的合成图像，使得体干侧图像的一部分由被连接元件侧图像的一部分替 换，从而从体干侧图像中将连接元件排除在外。
通过使用由体干侧照相机拍摄的体千侧图像，前面提到的机器人能够 实现具有宽广视野范围的环境图像。然而，可能存在这样的情况被连接 元件被包含在体干侧图像内。在这样的情况下，未知环境_—由于由被连 接元件在体干侧照相机前遮挡，不能获得其环境图像一一可能存在于所述 体干侧图像中。
即使在这样的情况下，前面所述的机器人包含合成图像创建单元，该 单元通过将被连接元件侧图像合成到体干侧图像中来创建合成图像。因此， 体干侧图像中被连接元件被拍摄且由于被连接元件而保持为未知环境的范 围能用从被连接元件侧图像中取出的、对应的图^^替换。这导致在所创建 的合成图像中没有留下未知环境。
通过使用没有未知环境的合成图像，前面所述的机器人可计算其体干 或被连接元件的移动路线。因此可以省略传统上为了去除未知环境而需要 的多余操作。另外，即使在周围物体移动的环境中，可及时计算机器人的 适当的移动路径。
在本发明的机器人的另 一替代实施例中，合成图像创建单元还可包含 第一指定单元，其指定体干侧图像内被连接元件被拍摄的范围；第二指定
单元，其指定被连接元件侧图像中与由第一指定单元指定的体干侧图像范
围所对应的对应范围；替换单元，其用被连接元件侧图像的对应范围替换
由第 一指定单元指定的体干侧图像的范围。
对于指定体干侧图像中被连接元件被拍摄的范围的元件的构造，构造
类型可粗略分为两类。 一种类型的构造可在计算假设被连接元件被拍摄的
图像范围时使用被连接元件相对于体干侧照相机的位置关系(其位置关系
对机器人是已知的)。另一种类型的构造可通过在体干侧图像上进行图像
处理来提取体干侧图像中与被连接部分的形状或轮廓(其形状对机器人是
已知的)对应的一部分，接着，指定被连接元件被拍摄的范围。可使用二
种构造中的任何一种。
在被连接元件侧图像中，在被连接元件没有位于体干侧照相枳视线范 围内的条件下由体干侧照相机拍摄的范围被拍摄。指定这样的范围的构造 也可纟皮粗略分为两类。
一种类型的构造可在计算在被连接元件没有阻碍视线的条件下由体干
侧照相机拍摄的图像范围时使用被连接元件相对于体干侧照相机的位置关
系(该关系对机器人是已知的)以及被连接元件侧照相机相对于被连接元
件的位置关系。此构造在这样的情况下特别有效深度方向的横向距离的
信息对于机器人是已知的。例如，在自驱动可移动机器人操作布置在墙上
的开关的情况下，如果机器>^目对于墙的位置对机器人来说是已知的，则 可计算体干侧照相机对墙进行拍摄的范围。另外，如果被连接元件相对于
体干的位置对机器人来说是已知的，则可以计算由于被连接元件的存在而 不能被拍摄到的墙的范围。在被连接元件相对于体干的位置以及,皮连接元 件侧照相机相对于被连接元件的位置给定的情况下，可计算被连接元件侧 图像中与由于位于被连接元件之后而不能被体干侧照相机拍摄的墙的范围 对应的范围。另外，如果体干侧照相机中被连接元件被拍摄的范围能用由 于位于被连接元件之后而不能被体干侧照相机拍摄的被连接元件侧图像的 范围替换，可获得与在被连接元件不阻碍体干侧照相机的视线的情况下由 体干侧照相机所拍摄的图像等同的合成图像。在大多数情况下，不能仅仅 通过用被连接元件侧图像的对应范围替代体干侧图像的范围来获得等同于 由体干侧照相机拍摄的体干侧图像的合成图像。这是因为在被连接元件侧 照相机与体干侧照相机的位置之间存在差异。然而，被连接元件侧照相机 在不能由体干侧照相机拍摄的方向范围内，被连接元件侧照相机和体干侧 照相才M目对于不能从体干侧照相机拍摄的范围的视点没有普遍差异。相反， 体干侧照相机和被连接元件侧照相机可从基W目同的方向拍摄图 <象。因此， 通过简单地改变被连接元件侧图像的尺寸并用减小(在某些情况下增大) 尺寸的被连接元件侧图像的对应部分替代体干侧图像的部分，在某些情况 下可以获得等于在视线中没有被连接元件的情况下从体干侧照相机拍摄的 图像的合成图像。另外，在需要的情况下，可在合成前将被连接元件侧照 相机图像转换为假设由体干侧照相机拍摄的图像。合成图像的品质可得到 提高。通过使用这样的合成图像，因此可以认识存在于由于在被连接元件 侧后面而不能由体千侧照相机拍摄的范围内的开关的位置。这可使得被连 接元件移动到这样的范围内的预期开关。结果，体干可向着预期开关移动。 另 一种类型的构造可从被连接元件侧图像中指定与体干侧图像中被连 接元件被拍摄的范围对应的范围。通过在体干侧图像上进行图像处理，可 从体干侧图像中提取与被连接元件的轮廓有关的部分。这样的处理可用从 由此存在的周围图像中提取特征点的处理来启用。例如，在被连接元件位 于箱子前面且箱子前面的视线部分地受到被连接元件的遮挡的情况下，可 在体干侧图像上进行特征提取，以便提取与被连接元件对应的图形，可指
定箱子的没有受到被连接元件遮挡的部分的特征点。通过指定被连接元件 被拍摄的范围周围的特征点，可以确定包含由于4皮连接元件导致的周围环 境不能被拍摄的范围的范围。另一方面，被连接元件被拍摄的范围周围的 所述特征点也被对应地记录在被连接元件侧图像中。因此，通过从4皮连接 元件侧图像中提取所述特征点，可在被连接元件侧图像内确定由于被连接 元件而不能由体干侧照相机拍摄的范围内的周围环境的图4象。进一步地， 通过用后面的被连接元件侧图像的范围替代前面的体干侧图像的范围，可
获得等于在将被连接臂从视野中移除的情况下由体干侧照相机拍:摄的图像 的合成图像。
如上所述，依赖于机器人被操作的环境，可存在替代范围可通过计算 来指定的情况，也可存在替代范围可通过图像处理来指定的情况。注意， 上述两种过程仅仅是实例，指定处理不仅限于上面介绍的实例。
在本发明的机器人的另 一替代实施例中，可移动机器人还可包含多个 体干侧照相机。在这种情况下，合成图像创建单元可为由各个体干侧照相 机拍摄的各个体干侧图像创建合成图像。在这种情况下，可获得从不同视 点拍摄的多个合成图像。这在指定存在于被拍摄范围内的特征点的三维位 置时是有用的，例如，在关于横向或深度方向的信息未知的情况下。
在本发明的机器人的另一替代实施例中，可移动机器人可通过使用合 成图像计算存在于可移动机器人周围的一个或一个以上的物体的相对位 置。如同在操作目标布置在墙面且其横向或深度信息被给与机器人的前述 情况下一样，可基于一个合成图像来确定操作目标的存在位置。即使在横 向或深度信息对机器人来说未知的情况下，可基于从不同角度显示周围物 体的多个合成图像来确定周围物体的三维存在位置。
在本发明的机器人的另 一替代实施例中，可移动机器人还可包含照相 机方向调节单元，其被配置为根据被连接元件相对于体干侧照相机的位置 调节被连接元件侧照相机的方向。体干侧照相机不能拍摄的范围相对于被 连接元件的角度可根据被连接元件的位置而不同。采用才艮据被连接元件的 位置调节被连接元件侧照相机朝向的方向的构造，可保证体干侧照相机不
能拍摄的范围由被连接元件侧照相机拍摄。可有效地防止盲点的发生。
在橫向信息已知的情况下，可通过简单创建一个合成图像来获得有效 信息。在横向信息未知的相反情况下，可有益地采用关于从不同视点拍摄 的多个图像的图像信息的获得以及由所获得的图像信息对周围物体的计算。
已创建的符合该种要求的可移动机器人可包含体干；被连接元件， 其通过具有驱动才几构的关节连接到体干；布置在体干上的多个体干侧照相 机；布置在被连接元件上的被连接元件侧照相机；第一计算单元，其基于 由所述多个体干侧照相机中的一个或一个以上拍才聂的至少两个体干侧图寸象 计算存在于^L拍才聂范围内的一个或一个以上的物体的相对位置关系；第二 计算单元，其基于由所述多个体干侧照相机种的至少一个拍摄的体干侧图 像以及由被连接元件侧照相机拍摄的被连接元件侧图像计算在被拍摄范围 内存在的一个或一个以上的物体的相对位置关系。采用上面提到的构造， 通过对可由图像获得的图像信息进行处理来计算位置信息。不必创建合成 图像。
在上面提到的构造中，可通过使用各自布置在不同位置的所述多个体 干侧照相机获得多个体干侧图像信息。由此，可相对于可移动机器人计算 在多个体干侧图像中被拍摄的物体的相对位置关系。然而，对于用于计算
的至少 一个体干侧图像中由于位于被连接元件后面而没有被拍摄到的周围 物体，不能确定其位置。
采用上述可移动机器人的构造，使用由所迷多个体干侧照相机中的一 个拍摄的体干侧图像以及由被连接元件侧照相机拍摄的被连接元件侧图像 的组合。这种图像组合还提供了从不同视点拍摄的多种图像信息，周围物 体相对于可移动机器人的相对位置关系可以得到确定。
即使在被连接元件阻挡视线的情况下物体不能从所有体干侧照相机观 看，只要物体由一个体干侧照相机拍摄，其图像可与被连接元件侧图像的 信息结合用于指定所述物体与可移动机器人的相对位置关系。根据上述构 造，保持为对机器人未知的范围可以得到减少。
在本发明的机器人的另 一替代实施例中，第二计算单元可将被连接元 件被拍摄的部分最小的体干侧图像选择用于计算一个或一个以上的物体相 对于可移动才几器人的相对位置关系。采用这种机器人的构造，除了上面的 非限制性实例所示的情况以外，可通过4吏用关于^皮连接元件侧图《象的信息 与关于各个体干侧图像的相应信息的组合来进行计算。
根据本发明的可移动机器人，布置在被连接元件上的照相机为被连接 元件赋予了视觉认识的附加功能。上述构造对减小或消除不能由体干侧照 相机拍摄的未知范围有贡献。采用上述构造，可移动机器人可得到迅速且 安全的操作。
图1示出了第一实施例的机器人及其周围环境的透视图2示出了第一实施例的机器人的原理机构；
图3示出了第一实施例的机器人的视野；
图4示出了体干侧图像的实例；
图5示出了被连接元件侧图像的实例；
图6为一流程图，其示出了由图像合成处理装置执行的过程；
图7示出了图4的体干侧图像中被连接元件被拍摄的范围R;
图8示出了图5的被连接元件侧图像中的对应范围S;
图9示出了步骤S613的输出的实例；
图10A示出了由布置在机器人右侧的体干侧照相机拍摄的体干侧图
像；
图10B示出了由布置在机器人中央的体干侧照相机拍摄的体干侧图
像；
图10C示出了由布置在机器人左侧的体干侧照相机拍摄的体干侧图
像；
图ll示出了被连接元件侧图像中的多个对应范围S的另一实例； 图12示出了第二实施例的机器>^51其周围环境的透视图；图13示出了第二实施例的机器人的原理机构； 图14示出了第二实施例的机器人的视野的鸟瞰图； 图15为一流程图，其示出了第二实施例的机器人的操作过程； 图16为一流程图，其示出了用于获得立体图像的图像处理； 图17示出了第三实施例的机器人的原理机构。
具体实施例方式
下面将列举可以实现本发明的实施例的某些优选特征。 (模式1)机器人可包含布置在体干上的移动机构。本说明书中公开
的实施例采用轮，但移动机构可以为有脚的连接。
(模式2)机器人可基于环境地图计算体干的移动通过轨迹。 (模式3 )机器人可基于环境地图计算被连接元件的移动路径。 (模式4)机器人可基于环境地图计算体干和被连接元件的移动路径。 (模式5)机器人可通过使用关节角度控制器、轮旋转控制器、位置
信息检测装置等等控制机器人的姿势以及相应的照相机的拍摄方向。体干
侧照相机方向计算单元可计算体干侧照相机的拍摄方向，被连接元件侧照
相机方向计算单元可计算被连接元件侧照相机的拍摄方向。
(方式6)机器人可基于从合成图像获得的信息创建移动路径。关节
角度控制器、轮旋转控制器、位置信息检测装置控制致动器，以便根据所
创建的移动路径移动体干和/或被连接元件。
(模式7)机器人可包含路径校正单元，其根据周围环境中发生的变
化对其先前作出的移动路径(轨迹)进行校正。 (第一实施例)
下面将参照附图介绍本发明的非限制性第一实施例。图l示出了本实 施例的机器人100及其周围环境的透视图。机器人100具有体干103、通 过肩关节203连接到体干103的被连接元件(下面称为"臂")104。可设 置多个臂104。体干103包含躯干200、颈关节202、头201。体干侧照相 机105固定地布置在头201上。体干侧照相机105通过颈关节202的旋转
相对于躯干200改变其拍摄方向(下面也可简称为"方向"或"照相机方 向")。 一对同轴轮206布置在身体200的下侧。机器人100通过使用轮 206来移动体干103。
臂104包含肩关节203、肘关节204、腕关节205。臂侧照相才几106布 置在手部。肩关节203、肘关节204、腕关节205各自装有驱动机构。因此， 臂侧照相机106可通过肩关节203、肘关节204、腕关节205的驱动力相对 于身体200改变其方向(拍^L方向)。另外，臂侧照相机106相对于躯干 200的位置也可由这些关节的工作来改变。
机器人100进一步具有这样的装置其测量头201在机器人100的工 作环境中的位置，使得体干侧照相机105的照相机位置和方向得到认识。 另外，釆用相关的构造，臂侧照相机106相对于体干103的照相机位置和 方向也得到i人识。
本实施例的机器人100通过使用轮206来接近开关面板100，并通过 使用臂104来操作开关组12a、 12b等等。在本实施例中，墙上的布置有开 关面板100的位置4皮给予机器人100。
图2示出了机器人100的原理机构101。机构101用于机器人对周围 视觉认识。本实施例的机器人101具有控制器114。控制器114包含合成 图像创建装置110、移动路径创建装置113、体干侧照相机位置/方向计算 装置lll、臂侧照相机位置方向计算装置109。合成图像创建装置10被配 置为具有从体干侧照相机105输入的体干侧图像信息、从臂侧照相机106 输入的臂侧图像信息、从体干侧照相机位置/方向计算装置111输入的体干 侧照相机105、从臂侧照相机位置/方向计算装置109输入的臂侧照相机106 的位置和方向。基于上述输入，合成图像创建装置110由体干侧图像信息 和臂侧图像信息创建合成图像。移动路径创建装置113基于所创建的合成 图像创建进一步的移动路径，并根据所创建的移动路径控制被设置为驱动 轮26与关节的致动器115。因此，移动路径创建装置113根据所创建的路 径控制致动器115，例如轮26、头201、臂104。机器人100还具有轮轴 旋转检测装置119，其检测轮26的旋转频率；关节角度检测装置117,其
检测各个关节的关节角度；位置信息检测装置121，其被布置在躯干200 上并检测躯干200的位置。由上述装置得到的信息被输入到体干侧照相机 位置/方向计算装置111和臂侧照相机位置/方向计算装置109。
由于机器人包含移动路径创建装置113——该装置通过由从照相机 (其位置和拍摄方向是已知的)驱动的图像信息认识周围环境来创建移动 轨迹，可在沿所确定的路径移动并继以再次进行拍照操作之后重新计算照 相机位置和照相机方向。所述一系列操作可被重复，这使得机器人能够自 主移动。
图3示出了机器人100的视野。在机器人100的臂104来到体干侧照 相机105的视野的情况下，不能获取关于臂104后方的环境的环境信息。 具体而言，在由体干侧照相机105拍摄的体干侧图像中，尽管图3的开关 面板10的点A与B将被拍摄，点C与D不会被拍摄。因此，关于点C与 D的周围物体的信息保持为未知，因此，传统上导致机器人既不能充分认 识环境情况也不能明了周围物体相对于机器人100的相对位置关系的问 题。相反，采用本实施例的技术，可视范围通过应用臂侧照相机106而得 到扩大，本技术使得机器人能够认识包含点C与D的未知范围。
图4与5分别示出了体干侧图像与臂侧图像的实例。尽管在图4的体 干侧图像中面板被臂104部分地遮挡，面板的对应表面被记录在图5的臂 侧图像中。在用关节角度检测装置117的检测控制头201与臂104的位置 且臂侧照相机106的照相机方向根据体干侧照相机105与臂104的相对位 置受到调节的情况下，建立起体干侧图像与臂侧图像的这样的关系。臂侧 照相机106的照相机方向受到调节，使得臂侧照相机106在被臂104从体 干侧照相机前遮挡的范围可被拍摄的方向进行拍摄。
关于各照相机的照相机放大倍数、图像尺寸等等的信息可通过体干侧 照相机位置/方向计算装置111和臂侧照相机位置/方向计算装置109来获 得。另外，由于基于前述信息的图像处理将在对图像进行合成以创建新的 图像时进行，每个图像的拍摄范围不必具有完全的匹配。例如，开关面板 10和体干侧照相机105之间的距离可不同于开关面板10与臂侧照相机106
之间的距离，臂104可相对于头201的角度而倾斜。由于前面提到的原因， 图5的臂侧图像以放大的大小且相对于图4的体干侧图像成角度地示出了 开关面板IO。
图6示出了图像合成过程的流程图。在下面的阐释中，假设在开始下 面的过程时机器人100和开关面板10处于图l所示的位置关系。同时，机 器人100的臂104处于图4所示的位置，且图4中的图傳4皮体干侧照相机 105拍摄。在下面假设的情况下，机器人100试图移动臂104,以l更操作开 关12c(见图l)，然而，目标开关12c由于在臂104后面而处于体干侧图 像的未知范围内。图6中的过程可在这样的条件下开始。
在步骤S601中，关于体干侧图像的信息被输入到合成图像创建装置 110。在步骤S603中，在体干侧图像中未知的未知环境的特征点Xj皮提取。 图7示出了被提取的特征点的实例。由于臂104的轮廓对机器人100来说 是已知的，可从体干侧图像中指定臂104被拍摄的范围(其为臂的被拍摄 范围)。这等于使用第一指定单元。图中的点X^X6为特征点，其被提取 为包围臂的被拍摄范围，在本实施例中，提取了可被线性连接的六个个别 的特征点。然而，可以任何形式提取特征点Xn,只要它们沿着臂的轮廓对 准或根据臂的轮廓对准。在步骤S605中，由已在步骤S603中提取的特征 点指定臂104被拍摄的范围R (即其环绕物体信息未知的范围)。图7中 以特征点X^X6为边界的范围R为范围R。本实施例的范围R与臂104的 轮廓线大致一致。通过增加被提取的特征点Xn的数量，以特征点为边界的 范围R可以以更为真实的方式与臂的轮廓线密切一致。
在步骤S607中，关于臂侧图像的信息被输入合成图像创建装置110。 在步骤S609中，提取这样的特征点Zn:其对应于定义体干侧图4象的范围 R的特征点。图8示出了被提取的特征点的实例。图8的特征点ZrZ6为 这样的特征点其对应于从体干侧图像中提取的特征点XrX6。在步骤S611 中，对应的范围S(与体干侧图像的未知范围对应的范围)由已在步骤S609 中提取的特征点指定。
在步骤S613中，基于来自体干侧照相机以及臂侧照相机的输入图像的
差异信息，在从臂侧图像中获得的对应范围s上进行大小的调节、角度的 旋转等等。进行调节处理，使得对应范围s可被适当应用到在体干侧图像 中示出了臂的范围s。
在步骤S615中，体干侧图像的范围R用对应范围S替代，其已经经 过了准备图像合成的前面提到的过程。作为替换过程的结果，未知范围已 被排除出视野之外的合成图像在步骤S617中被输出。图9示出了这样的合 成图像的实例。用虛线示出的范围R中的图像已经用范围S的图像代替。 因此，可获得不包含臂的合成图像。
本实施例的机器人可具有多个体干侧照相机。在这种情况下，可从相 应的体干侧图像中提取在各体干侧图像中示出了臂的范围Rx，并可从臂侧 图像中提取对应范围Sx，以便与每个被提取的范围Rx对应，并用相应的 对应范围Sx替代每个范围Rx。
图10示出了体干侧图像的范围R的实例。在机器人具有三个体干侧 照相机的情况下，左右两侧各有一个，另一个在体干103的中央，如图10A 所示的体干侧图像Td可由右侧的体干侧照相机获得，如图IOB所示的体 干侧图像TC2可由中央位置的体干侧照相机获得，如图IOC所示的体干侧 图像TC3可由左侧的体干侧照相机获得。体干侧图像Td、 TC2、 TQ经 过步骤S601到S605,分别在每个图像中指定范围Ri、 R2、 R3。由于各个 体干侧照相机被布置的位置的差别，臂被拍摄的位置在体干侧图像Td、 TC2、 TC3中不同。
图11示出了根据体干侧照相机运行的臂侧照相机所拍摄的臂侧图像 的实例。为了附加未知范围Td、 TC2、 TC3的信息，在臂侧图像AC上进 行步骤S607到S611的处理，以^使指定对应范围Sp S2、 S3。
釆用步骤S613到S617的处理，相应的体干侧照相机Td、 TC2、 TC3 的范围Rr R2、 R3用臂侧图像的相应的对应范围Sp S2、 Ss替代。结果， 可获得未知范围得到补充的多个体干侧图像。
另夕卜，本实施例的机器人100可具有多个臂侧照相机。在这种情况下， 优选为，规定这样的判断装置其为体干侧图像的每个范围R判断和选择
对应范围S最大P艮度地覆盖范围R的臂侧图1象。
本实施例的机器人100可进一步通过使用由上述过程获得的合成图像 来计算周围物体相对于机器人100的相对位置。周围物体相对于机器人100 的相对位置可通过将物体在世界坐标系中的相对位置坐标转换为在本地坐 标系(其中心被设置在机器人的位置上)中的坐标来认识。 (第二实施例)
对于与第一实施例共同的构造，给与同样的参考标号，且将省略对其 的阐释。
图12示出了本实施例的立体照相机机器人及其周围环境的透视图。本 实施例的机器人100具有体干103、通过肩关节203连接到体干103的被 连接元件(下面也称为臂)104。可设置多个臂104。体干103包含躯干200、 颈关节202、头201。 一对体干侧照相机105 (a)与105 (b)固定布置在 头201上。体干侧照相机105 ( a)与105 (b )通过颈关节202的旋转相对 于躯干200改变其拍摄方向(下面可简称为"方向"或"照相机方向")。 一对同轴轮206布置在躯干200的下侧。机器人100通过4吏用轮206来移 动体干103。
臂104包含肩关节203、肘关节204、腕关节205。臂侧照相机106布 置在手部。肩关节203、肘关节204、腕关节205各自装有驱动机构。因此， 臂侧照相机106可通过肩关节203、肘关节204、腕关节205的驱动力相对 于躯干200改变其照相机方向。另外，臂侧照相机106相对于躯干200的 位置也可通过这些关节的工作改变。
机器人还具有这样的装置其测量头201在机器人100的工作环境中 的位置，使得体干侧照相机105 (a)与105 (b)的照相机位置与方向得到 认识。另外，采用相关的构造，臂侧照相机106相对于体干103的照相机 位置与方向也得到i人识。
本实施例的机器人100视觉认识周围物体30、 40、 50、 60,计划其不 会与这些障碍碰撞的路径，并进行操作，以便将所握持的物体20放在空的 地方。体干侧照相机105 (a)与105 (b) —般作为立体照相机运行。图
12中的点A、 B、 C、 D示出了机器人视觉聚焦点(focusing point)的实例。
图13示出了机器人100的原理机构101。机构101用于机器人对环境 的视觉认识。本实施例的机器人100具有控制器114。控制器114包含图 像信息处理装置116、环境地图存储装置112、移动路径创建装置113、体 干侧照相机位置/方向计算装置111、臂侧照相机位置/方向计算装置109。 图像信息处理装置116被配置为具有从体干侧照相机105 (a)与106 (b) 输入的体干侧图像信息、从臂侧照相机106输入的臂侧图像信息、从体干 侧照相机位置/方向计算装置111输入的体干侧照相机105 ( a)与105 ( b ) 的位置与方向、从臂侧照相机位置/方向计算装置109输入的臂侧照相机 106的位置与方向。基于上述输入，图像信息处理装置116创建环境地图 并将所创建的环境地图存储在环境地图存储装置112中。移动路径创建装 置113基于所创建的环境地图创建进一步的移动路径，并根据所创建的移 动路径，控制被设置为对轮26与关节进行驱动的致动器115。因此，移动 路径创建装置113控制致动器115，使得轮26、头201、臂104分别根据 所创建的路径移动。机器人100进一步具有轮轴旋转检测装置119,其 检测轮26的旋转频率；关节角度检测装置123，其检测各个点的关节角度； 位置信息检测装置121，其被布置在躯干200上，并检测躯干200的位置。 由上述装置得到的信息被输入到体干侧照相机位置/方向计算装置111和臂 侧照相机位置/方向计算装置109。
由于机器人包含通过由从照相机(其位置和拍摄方向是已知的)驱动 的图像信息认识周围环境来创建移动轨迹的移动路径创建装置113，可在 沿着所确定的路径移动并继以再次进行拍摄图像的处理之后再次计算照相 机位置与照相机方向。所述一系列操作可以重复，使得机器人能够自主移 动。
图15示出了机器人100的视野的鸟瞰图。如图所示，如果机器人IOO 的臂104及其握持的物体20处于体干侧照相机105 (a)与105 (b)的视 野内，不能获得关于臂104及其握持物体20后面的环境信息。具体而言，
如图14所示，点A、 B如实线所示对体干侧照相机105 (a)与105 (b) 是可见的，因此，可通过使用由体干侧照相机105 ( a)与105 ( b )拍摄的 体干图像来创建立体图像。另外，可根据时间的推移连续获得关于这些范 围的信息。
另一方面，由于臂以及臂的手部的动作，对于点C与D来说，不能建 立其由两个体干侧照相机105 (a)和105 (b)的全视觉(full vision)， 由此导致不可能用体干侧照相机105 ( a)与105 (b )获得点C与D的立 体视觉(stereovision )。不能获得关于这些范围的信息。虛线示出了包含 由于臂或其把持物体的阻碍而不能由两个照相机拍摄的聚焦点上的特征 点。
在立体视觉的情况下，特别是在必需关于物体的横向宽度(深度)或 高度的情况下，必须获得基于多个图像的视差信息。可通过使用多个照相 机(其位置信息对机器人来说是已知的)进行拍摄来获得所述多个图像， 或使用 一个照相机并通过移动照相机在不同位置进行拍摄来获得所述多个 图像。因此，由于机器人不能用两眼(体干侧照相机)在点C或D上聚焦 的情况，不能认识位于点C与D的范围内以及点C与D周围的位置关系。
对于点C与D，在至少一个体干侧照相机105 (a)与105 (b)不能 作为立体照相机运行的情况下，立体图像可通过体干侧照相机105 (a)与 105 ( b )中的一个以及臂侧照相机106来获得。
在没有东西阻碍体干侧照相机105 (a)与105 (b)的视野的情况下， 如同点A与B的情况一样，立体图像可通过使用体干侧照相机105 (a) 与105 (b)并计算周围物体与机器人IOO的相对位置关系来获得。这等于 使用第一计算单元。另一方面，在点C的情况下，立体图像可通过使用体 干侧照相机105 (b )与臂侧照相机106来获得，在点D的情况下，不能通 过使用 一个体干侧照相机105 ( a)与臂侧照相机106获得立体图像。认识 周围环境所必需的信息整体可由前面提到的照相机组合获得，机器人可计 算周围物体与机器人IOO的相对位置关系。这等于使用第二计算单元。
在将臂侧照相机106用作立体照相机中的一个的情况下，体干侧照相机105 ( a)与105 (b )中的另 一照相机的选择可被判断为使得臂104被拍 摄的范围为最小的体干侧照相机被选择。图像信息处理装置116可执行选 择。
图15示出了本实施例的机器人的操作过程。下面的过程将根据机器人 100握持物体20并创建将所握持物体20放在空的地方而不与周围物体30 、 40、 50、 60碰撞的路径的情况进行介绍。机器人100的臂104位于图14 所示的位置，该图所示的情况由体干侧照相机105 (a)与105 (b)从它们 所位于的地方进行拍摄。开始图15所示的图像信息处理，由于臂104与握 持物体20遮挡物体50与60的一部分，因此，被遮挡的部分对机器人来说 保持为未知。
在步骤S500中，立体图像由体干侧照相机105 (a)与105 (b)以及 臂侧照相机106所拍摄的多个图像获得，其被输入到图像信息处理装置 116。根据体干侧图像中的未知范围的大小，图像信息处理装置116可判断 是否使用臂侧图像。在这样的情况下，图像信息处理装置116可包含从图 像组合一一其中，臂104所阻挡并变得未知的范围被较少地拍摄一一获得 立体图像的机构。
在步骤S502中，基于在步骤S500中获得的立体图像，计算机器人100 周围的物体的相对位置关系。图像数据从世界坐标系被转换到机器人100 位于中心的本地坐标系。周围物体的位置关系才艮据本地坐标系进行计算， 并被输出为机器人100及其周围物体的相对位置信息。在获得相对位置信 息的过程中，例如，可使用视差图像或距离图像。
另外，优选为，第一计算装置与第二计算装置分别被设置为用于在从 体干侧图像的组合获得立体图像的情况下的计算以及用于在从体干侧图像 与臂侧图像的组合获得立体图像的情况下的计算。对于体干侧图像的组合， 体干侧照相机为平行立体。然而，对于体干侧图像与臂侧图像的组合，照 相机的相对位置不同。因此，第二计算装置可被配置为应用坐标系转换处 理，例如立体图像的调整、手眼校正等等。
在步骤S504中，图傳 f言息处理装置116所计算的相对位置信息被构建
为表示周围物体的相对定位的数据并被存储在环境地图存储装置112中。 环境地图指的是机器人100用于认识周围物体的相对定位的数据。例如， 在用图像信息处理装置116计算视差图像的情况下，环境地图可用图像视 差空间(SDS, Spatial disparity space)表示。在SDS中，包含点A、 B、 C、 D的周围物体30、 40、 50、 60表现为具有横向或深度空间膨胀的曲面。 在步骤S506中，基于环境地图信息创建机器人100的移动路径。由于 本实施例的机器人IOO目的在于视觉认识周围物体30、 40、 50、 60、创建 不会与这些障碍碰撞的移动路径并将握持物体20放在空的地方，优选为， 基于这些环境信息，机器人100提取不存在周围物体的平面，并为臂创建 将握持物体20放在所提取平面的路径。在步骤S508中，致动器115进行 实际动作。
图16为一流程图，其示出了获得立体图像的图像处理。如前所述，图 15的步骤S500中的立体图像基本上可通过使用多个体干侧图^^或^f吏用体 干侧图像中的一个与臂侧图像来获得。在步骤S160中，由体干侧照相机 105 (a)与105 (b)所拍摄的多个体干侧图像以及由臂侧照相机106所拍 摄的臂侧图傳_被输入到图像信息处理装置116。在步骤S162中，判断臂104 是否被拍摄在到体干侧图像中。在臂104没有被拍摄到体干侧图像中的情 况下(步骤S162的否)，过程进行到步骤S164。在步骤S164中，立体图 像由一对体干侧图像获得，进行第一计算。另一方面，在臂104被拍摄到 体干侧图像中的情况下(步骤S162中的否)，过程进行到步骤S166。在 步骤S166中，立体图像由一个体千侧图像与臂侧图像的一对获得，进行第 二计算。在步骤S166中选择的体干侧图像为臂104被拍摄的范围最小的体 干侧图像。
在本实施例中，介绍了使用布置在体干与被连接元件上的总共三个照 相机来获得周围物体的三维信息的实例。然而，本发明的实施例不限于这 样的构造。其可使用更多数量的照相机，或者，可简单使用被连接元件侧 照相机，并在被连接元件侧照相机的移动以及改变拍摄角度或位置的序列 中获得照片。
另外，本实施例给出了认识处于静止的周围物体的实例。然而，采用 上述构造，机器人不能处理新的周围物体在机器人被设置为根据先前创建 的移动路径移动之后出现在机器人的移动轨迹上的情况，或者处理机器人 与周围物体的位置由于轮或被连接元件进行的移动而变化的情况，移动路 径需要被校正。
(第三实施例)
图17示出了第三实施例的机器人的原理机构101，其被配置为处理移 动中的周围物体。除了第二实施例的机器人的机构的构造以外，机器人的 机构101还具有移动路径校正装置125。移动路径校正装置125对所创建 的被连接元件移动路径进行校正。因此，机器人能够动态校正其已经i^V 处理的移动轨迹。
另外，由于周围环境数据可动态更新，周围环境的变化以及臂的移动 可被连续认识，移动轨迹可根据这种变化得到校正。
上面介绍了本发明的具体实施例，但它们仅仅示出了本发明的某些实 施例，不对其权利要求进行限制。权利要求所述的技术包括上面所述的具 体实施例的多种变形与修改。
例如，除了布置在臂上的臂侧照相机， 一个或一个以上的被连接元件 侧照相机可布置在多个被连接元件(例如腿等等)上。或者，多个照相机 可以可旋转地布置在被连接元件的不同位置。在任何一个上述实例中，拍 摄范围可进一步得到扩展。
本说明书或附图所公开的技术元素可分立地或以所有组合的形式应 用，不限于提交本申请时在权利要求中所述的组合。另外，本说明书或附 图所公开的技术可用于同时实现多个目的或实现这些目的中的一个。
权利要求
1. 一种可移动机器人，其包含:体干；被连接元件，其由具有驱动机构的关节连接到所述体干；体干侧照相机，其被布置在所述体干上；被连接元件侧照相机，其被布置在所述被连接元件上；以及合成图像创建单元，其创建由所述体干侧照相机拍摄的体干侧图像与由所述被连接元件侧照相机拍摄的被连接元件侧图像的合成图像，使得所述体干侧图像的一部分由所述被连接元件侧图像的一部分替换，以便从所述体干侧图像中去除所述被连接元件。
2. 根据权利要求1的可移动机器人，其中，所述合成图像创建单元包含第一指定单元，其指定所述体千侧图像内所述被连接元件被拍摄的范围；第二指定单元，其指定所述,皮连接元件侧图像内与由所述第 一指定单元指定的所述体干侧图像的范围对应的对应范围；以及替换单元，其用所述被连接元件侧图像的所述对应范围替换所述体干 侧图像的由所迷第 一指定单元指定的所述范围。
3. 根据权利要求l的可移动机器人， 其包含多个体干侧照相机；其中，所述合成图像创建单元对于由各个体干侧照相机拍摄的每个体 干側图像创建合成图像。
4. 根据权利要求l的可移动机器人，其还包含计算单元，该单元基于由所述合成图像创建单元创建的合成 图像计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动机器人的相对位置关系。
5. 根据权利要求l的可移动机器人， 其还包含照相机方向调节单元，该单元被配置为，在所述被连接元件 位于所述体干侧照相机的拍摄范围内的情况下，调节所述被连接元件侧照 相机的方向，其中，所述照相机方向调节单元对所述被连接元件侧照相机 的方向进行调节，使得所述被连接元件侧照相机,皮定向为转向所述体干侧 照相机的拍摄范围被所述被连接元件侧照相机拍摄的方向。
6. —种可移动机器人，其包含 体干；被连接元件，其由具有驱动机构的关节连接到所述体干； 多个体干侧照相机，其被布置在所述体干上；被连接元件侧照相机，其被布置在所述被连接元件上；第 一计算单元，其基于由所述多个体干侧照相机拍摄的至少两个体干侧图像，计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动^L器人的第一相对位置关系；以及第二计算单元，其基于由所述多个体干侧照相机中的至少一个拍摄的体干侧图像以及由所述被连接元件侧照相机拍摄的被连接元件侧图像，计算拍摄范围内存在的一个或一个以上的物体相对于所述可移动机器人的第二相对位置关系。
7. 根据权利要求6的可移动机器人，其中，所述第二计算单元选择将这样的体干侧图^f象用于所述第二相对 位置关系的计算其中，所拍摄的所述被连接元件的部分是最小的。
全文摘要
通过排除在操作过程中由于机器人身体部分遮挡机器人视野而引起的未知环境，提供了一种总体认识周围环境的技术。本发明的机器人具有包含头与躯干的体干；至少一个被连接元件，其通过具有驱动机构的关节连接到体干；体干侧照相机，其被布置在体干上；被连接元件侧照相机，其被布置在被连接元件上。另外，机器人具有合成图像创建单元，其创建由体干侧照相机拍摄的体干侧图像与由被连接元件侧照相机拍摄的被连接元件侧图像的合成图像，使得体干侧图像的一部分用被连接元件侧图像的一部分代替，从而从体干侧图像中排除被连接元件。
文档编号G06T3/00GK101384402SQ200780005719
公开日2009年3月11日 申请日期2007年2月15日 优先权日2006年2月17日
发明者中岛裕一朗, 李海研, 野村秀树 申请人:丰田自动车株式会社