专利名称：基于多信息融合的仿人型机器人作业场景的重构的制作方法
技术领域：
本发明属于机器人领域，主要用于对仿人型机器人作业场景进行三维重构。它适用于机器人遥操作控制，可以实时显示仿人型机器人及其作业场景中的物体的三维图像，为仿人型机器人遥操作提供视觉临场感。
背景技术：
仿人型机器人，就是一种具有人类外观特征、可模拟人类基本动作的机器人。遥操作是机器人应用的一个重要技术。通过遥操作平台，操作人员可以监视和控制远方机器人完成各种作业任务，从而使仿人型机器人能够代替人类在一些无法触及的、甚至一些危及人类健康或生命安全的环境下完成各种任务。
作业环境的图像显示是遥操作控制的一项关键技术。目前作业环境的图像显示，主要采用现场二维视频图像和基于操作者命令的三维立体虚拟场景两种方式。
现场二维视频图像方式，是在机器人作业现场安装多个视频摄像机，对机器人及其作业现场进行视频摄像。视频图像经过网络传输到操作者端，在计算机上显示。这样的图像是机器人作业的真实场景，能够真实反映机器人作业的情况。但是存在以下缺点1)不能提供三维信息，因此实际的三维位置操作难以实现；2)视角有限，在机器人作业现场安装的摄像机，位置固定，无法提供全面的观察视角；3)较大时延，在网络中传输的视频图像文件数据量比较大，在网络带宽的有限情况下，传输过程存在较大的时延。
基于操作者命令的三维立体虚拟场景的基本原理是，操作者向机器人发出的各种操作指令，假定机器人正确执行并产生相应的运动，为了描述这种运动，在操作者端的计算机上，使用三维建模软件，建立基于操作者指令的机器人运动模型和三维虚拟图像，产生预测仿真的效果。这样的图像是对机器人执行命令过程的预测，可以提供给操作者形象的作业场景。另外，由于使用三维建模软件制作，操作者可以很方便的改变观察角度。但存在以下缺点这样的系统提供给操作者的是对机器人及其作业现场的预测和仿真，不能够真实反映机器人的作业情况。
发明内容
本发明结合操作者控制命令、仿人型机器人自身的传感器检测信息以及环境检测信息构建一个作业环境的三维立体场景。
本发明采用的技术方案是本发明构建的仿人型机器人作业场景是一种结合操作命令和反馈信息的实时视频图像。场景能够实时显示仿人型机器人模型和机器人作业现场的环境模型。
场景能够接收仿人型机器人作业现场的位置信息及机器人运行中的传感信息。使用以上信息驱动仿人型机器人模型及其环境模型运动以显示实时视频动画图像。同时场景接收操作者发出的命令并进行预测，生成理想情况下的机器人运行数据及各个模型的位置数据。在实时反馈信息缺失或者无法获取时，使用预测所生成的数据来驱动模型。
操作者可以任意改变视角，实现全视角的观察。
其主要技术方案为使用三维建模软件，制作仿人型机器人的作业现场各类物体的三维模型，模型具有与实际物体相同的外形特征。同时建立与模型匹配的数据处理模块。数据处理模块可以接收多种信息，经过匹配处理来驱动作业场景中的模型运动。
仿人型机器人作业场景的模型主要有两种环境模型和仿人型机器人模型。
(1)使用三维建模软件制作结构已知的机器人作业场所中的环境模型。环境模型具有与实际物体相同的外形特征和位置关系。可以实现全视角观察。
(2)使用三维建模软件制作仿人型机器人模型。模型具有与机器人相同的外形几何特征及自由度设置，满足仿人机器人多连杆机构运动学约束条件。仿人型机器人模型接收位置数据在场景中定位。模型接收各个自由度的关节角度数据来驱动各个连杆之间的角度变化，表现仿人型机器人的运动。
在机器人作业现场安装位置传感器，实时测量机器人及其作业目标的位置，输出测量得到的三维坐标数据。机器人身体各关节安装有角度传感器，可以实时测量机器人身体各个关节所连接的连杆之间的相对角度数据。
数据处理模块主要实现以下功能(1)接收机器人在其作业环境的位置数据，将机器人模型在作业场所环境模型中定位。
(2)接收机器人身体各个关节所连接的连杆之间的相对角度数据，将其匹配到机器人模型，驱动模型的各个连杆之间运动来表达机器人的运动。
(3)接收操作者发出的命令，进行命令解释。按照命令生成机器人作业的理想运动轨迹，对机器人的运行数据进行预测。可生成的运动轨迹包括机器人在命令执行过程中关节角度数据变化轨迹，机器人的位置数据变化轨迹。在理想情况下，这些数据与机器人作业现场反馈的数据相同。
场景在工作的过程中，数据处理模块正常情况下实时接收来自机器人工作现场的数据来驱动各类模型运动。在现场数据临时缺失的情况下，使用操作者发出命令的仿真预测生成的预测数据来驱动各类模型的运动，维持模型运动的连续性。
本发明的有益效果是1.融合多种信息实时显示机器人作业现场的动画图像。场景中各个模型的驱动使用现场反馈的数据，在现场反馈数据暂时缺失的情况下，使用命令预测数据进行显示，保持显示的连续性。
2.全视角观察图像。操作者可以任意改变观察视角，观察场景的细节。
图1是基于多信息融合的仿人型机器人作业场景工作原理图
具体实施例方式整个仿人型机器人工作场景工作过程如下第一步，机器人开始运行，遥操作控制开始。启动计算机程序，显示已经建立好的场景模型。使用初始化数据确定机器人模型及其操作目标模型初始位置，确定机器人模型的连杆之间的初始角度。这一步所生成的是场景的初始化界面。
第二步，场景数据处理模块实时接收遥操作者发出的操作命令，解释生成预测轨迹数据。使用预测数据来驱动虚拟场景中的各个模型，以构成三维虚拟场景。这一步所生成的场景能够显示，机器人执行操作者发出命令的理想运动图像。
第三步，机器人本身的传感器实时测量各关节角数据，经遥操作平台传输到场景的数据处理模块。数据处理模块停止使用预测关节角度数据，改为使用真实关节角数据驱动模型表达机器人自身的运动。此时，三维虚拟场景中的机器人模型，能够真实的表达机器人在作业现场的运行状态。
第四步，机器人作业现场的环境检测传感器开始运行，获取到机器人及其作业目标的位置数据。以上数据经过遥操作平台传输到场景的数据处理模块。数据模块使用以上数据为机器人模型及其环境模型进行定位。此时，三维场景能够真实的表现出作业现场中机器人及其环境的位置关系。
同时使用机器人自身传感器反馈数据和环境检测位置传感器反馈数据，来驱动机器人及其作业环境的模型的三维虚拟场景，能够真实表达机器人的运行状态及其在环境中的位置信息。其中，在现场反馈暂时缺失的情况下，场景数据处理模块能够自动选择由命令预测生成的轨迹数据，来驱动各类模型。当重新获取到反馈数据后，切换到由真实数据驱动模型的三维虚拟场景。
权利要求
1.一种可以用于仿人型机器人遥操作的三维作业场景。可以向操作者提供视频图像以监视机器人的运行情况。其特征在于它是一种使用实时视频图像；图像中显示仿人型机器人及其作业场所中的环境模型；场景可以接收机器人作业现场的多种数据以及操作者的命令，使用以上信息来驱动模型显示实时视频图像。
2.按照权利要求1所述的作业场景，其特征在于使用三维建模软件建立各类模型，模型具有与实际物体相同的外形特征；操作者可以任意改变视角以观察模型的细节。
3.按照权利要求1所述的作业场景，其特征在于场景接收现场位置数据、机器人运行数据，驱动场景中的模型运动；场景接收操作者发出的命令，进行解释，生成预测数据；在现场数据暂时缺失的情况下，使用预测数据驱动场景中的模型运动。
全文摘要
本发明构建的仿人型机器人作业场景是一种结合操作者控制命令和反馈信息的实时视频图像。场景中能够实时显示作业现场的仿人型机器人模型及其作业环境模型。场景能够接收仿人型机器人作业现场的位置信息及机器人运行中的传感信息。使用以上信息驱动仿人型机器人模型及其环境模型运动以显示实时视频图像。同时场景根据操作者发出的命令进行预测仿真，生成理想情况下的仿人型机器人运行数据及各个模型的位置数据。在实时反馈信息缺失或者无法获取时，使用预测仿真所生成的数据来驱动模型。操作者可以任意改变视角，实现全视角的观察。
文档编号B25J19/00GK1840298SQ20051005991
公开日2006年10月4日 申请日期2005年4月1日 优先权日2005年4月1日
发明者黄强, 张雷, 刘涛 申请人:北京理工大学