一种基于现实场景的机器人模拟演练系统的构建方法
【专利摘要】本发明公开了一种基于现实场景的机器人模拟演练系统的构建方法，包括：获取现实场景的深度图像信息，并将深度图像信息转化成离散的三维点云数据；将三维点云数据解释成机器人能够理解的语义地图；将离散的三维点云数据输入三维建模软件中对虚拟场景进行几何建模，得到虚拟场景的三维实体模型；将三维实体模型导入到3DS MAX中贴图渲染，得到三维空间场景模型；在3DS MAX中对机器人进行几何建模，得到虚拟机器人模型；以及将三维空间场景模型和虚拟机器人模型导入到OGRE中构建三维空间场景的物理模型和动力模型，建立虚拟的场景仿真系统。
【专利说明】一种基于现实场景的机器人模拟演练系统的构建方法
【技术领域】
[0001]本发明属于机器视觉及虚拟现实【技术领域】，具体涉及一种基于现实场景的机器人模拟演练系统的构建方法。
【背景技术】
[0002]虚拟现实技术的不断发展给危险环境下的机器人远程遥操作带来了福音。基于虚拟现实的机器人作业仿真系统包括操作者、远程危险环境中的遥操作机器人、计算机生成的虚拟作业环境以及交互界面。操作者只需要通过生成的虚拟环境界面以及基于机器人多传感器便能掌控远程机器人作业信息、环境信息，最终实现对机器人在虚拟场景的模拟演练。
[0003]构建机器人的模拟演练系统，首先需要构建与现实环境的一致的虚拟环境。长期以来现实环境的三维重建与测量与虚拟环境重建是分离的，往往经过现实环境的图形图像处理、CAD仿真建模和作业环境位姿建立等完成遥操作机器人机器虚拟作业环境的几何建模和运动学建模，虚拟环境建模往往只能靠人工绘制及仿真使其与现实场景尽可能一致，这种虚拟环境建模往往不能真实反映现实机器人作业场景几何实体模型，且人工绘制耗时较长。
虚拟现实首先需要对机器人作业现实场景进行三维重建，是机器人分析和理解工作环境的基础，为机器人导航、避障以及现场作业目标操作提供可靠的信息支持。三维重建过程中的无序点云需要解释成实际意义的场景信息，让机器人能够理解其所处的场景信息，这样的过程我们也称之为构建语义地图。地图构建本质上是一个将不同位置、视角下的局部场景进行对齐和融合的过程，对于底层的导航、避障等任务，尺度地图即可满足需求；但对于像人机交互、任务规划之类的高层任务，则需要获取抽象层次更高的场景表示形式，因此，需要借助场景分析手段将三维地图解释成机器人能够理解的语义地图。
[0004]现有的基于双目立体视觉的三维重建易受光照、物体表面纹理等因素的影响，重建效果和实时性受限。基于激光测量方法的三维重建缺乏纹理信息，且设备昂贵。
[0005]3DS MAX软件是采用反向动力学的直觉特性动画软件，擅长贴图渲染、环境模拟、场景仿真，缺点是建模周期长。模型相对粗糙，构建的模型与设计的产品有一定的出入。而目前机械设计领域常用的三维建模软件具有建模速度快、模型精确的优点，缺点是贴图、渲染能力不足，不具备环境模拟、场景仿真能力。
【发明内容】
[0006]本发明提供了一种基于现实场景的机器人模拟演练系统的构建方法，能实现三维现实场景直接转换成机器人虚拟作业场景，无需人工绘制及仿真，机器人虚拟作业场景与现实场景的几何模型完全一致。
[0007]本发明的一个实施例提供了一种基于现实场景的机器人模拟演练系统的构建方法，包括: 获取现实场景的深度图像信息，并将深度图像信息转化成离散的三维点云数据；
将三维点云数据解释成机器人能够理解的语义地图；
将离散的三维点云数据输入三维建模软件中对虚拟场景进行几何建模，得到虚拟场景的三维实体模型；
将三维实体模型导入到3DS MAX中贴图渲染，得到三维空间场景模型；
在3DS MAX中对机器人进行几何建模，得到虚拟机器人模型；以及将三维空间场景模型和虚拟机器人模型导入到OGRE中构建三维空间场景的物理模型和动力模型，在ODE中建立虚拟的场景仿真系统。
[0008]本发明提供的基于现实场景的机器人模拟演练系统的构建方法，利用三维建模软件建模速度快、模型精确的优点和3DS MAX软件擅长贴图渲染、环境模拟、场景仿真的优点，结合3DS MAX软件和三维建模软件对虚拟场景进行几何建模，能实现三维现实场景直接转换成机器人虚拟作业场景，无需人工绘制及仿真，建模所需时间短，机器人虚拟作业场景与现实场景的几何模型完全一致。
【专利附图】
【附图说明】
[0009]图1所示为本发明的基于现实场景的机器人模拟演练系统的构建方法的一个实施例的流程图。
[0010]图2所示为基于本发明的方法建立的一个基于现实场景的机器人模拟演练系统的示意图。
【具体实施方式】
[0011]为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。
[0012]参考图1，图1所示为本发明的基于现实场景的机器人模拟演练系统的构建方法的一个实施例100的流程图。实施例100包括如下步骤101至106。
[0013]在步骤101中，获取现实场景的深度图像信息，并将深度图像信息转化成离散的三维点云数据。
[0014]在本发明的一个实施例中，可以利用深度传感器Kinect来获取现实场景的深度图像信息，采用光编码技术(light Coding)技术进行3D侦测，获取深度图像信息，通过内置的芯片运算得到完整的点云坐标，并在保留主要的几何特征信息的前提下，采用八叉树方法对点云数据进行精简。
[0015]在步骤102中，将三维点云数据解释成机器人能够理解的语义地图。
[0016]在本发明的一个实施例中，将三维点云数据解释成机器人能够理解的语义地图的步骤进一步包括步骤201~203。
[0017]在步骤201中，先对点云场景进行分割，并通过平面检测算法在大规模三维点集中找出大平面，进而去除平面点云完成对点云的初步分割；
在步骤202中，提取大平面的特征以及大平面间的关系，识别出地面、墙面和门等房间结构，以及尺寸较大的桌面，并对剩余空间点进行分割、聚簇得到单个物体。
[0018]在步骤203中，对单个物体进行特征提取，得到其粗类别以及边界框。由此，将无序点集转换为带有语义信息的三维拓扑地图。
[0019]在步骤103中，将离散的三维点云数据输入三维建模软件中对虚拟场景进行几何建模，得到虚拟场景的三维实体模型。三维建模软件可以是UG、Pro/E、sol id works或solidedge等三维建模软件。
[0020]在本发明的一个实施例中，三维建模软件可以是Pro/E软件。Pro/E在建立模型时允许从一个点集数据文件输入数据，因此很容易实现与点云数据的接口。此类型点云数据文件的名称以Pts为扩展名，此种点云数据文件都遵循如下的一般规则:文件为文本文件，每个点云数据的坐标占一行，空行将被忽略。#用于标记注释行的开始，可置于行的任何位置。系统读取数据行时，#后的内容被忽略。每个点在一行内用它的X、Y、Z三个坐标值表示。可以将Kinect获取的深度数据按照上述格式写成包含人体表面的三维信息的pts点云数据文件后，再利用Pro/E软件进行读取，就可以实现点云数据的可视化。
[0021]在本发明的一个实施例中，采用Facet Feature小平面特征建模，它可以输入三维坐标测量所获得的点云数据，纠正设备引起的点云错误，可以对点云消噪、平滑滤波，部分点云删除和增补、经过多视拼接、特征线提取、三角网络划分和三角平面处理等操作，最终获得三维实体模型。
[0022]在步骤104中，将三维实体模型导入到3DS MAX中贴图渲染，得到三维空间场景模型。
[0023]在步骤105中，在3DS MAX中对机器人进行几何建模，得到虚拟机器人模型。
[0024]机器人模拟演练的作业仿真平台中，为了保证虚拟机器人能有效模拟实际机器人，首先得要求虚拟机器人外观形状与实际机器人相同，组成虚拟机器人的各个零部件的形状以及它们之间相对的尺寸比例也应与实际机器人一致。另外，虚拟机器人需要能跟现实机器人做一样的动作，必然要在机构上做到跟现实机器人一样，以实现对虚拟机器人的交互式控制，令其能够在虚拟环境中按照操作人员的意愿做出相应动作。
[0025]因此，在本发明的一个实施例中，对机器人进行几何建模时，需要根据机器人的运动关节来拆分机器人的各部分构件，利用3DS MAX建模工具对机器人各零部件建模建立各个部分几何模型，创建相关的OGRE及ODE对象，形成配置文件，然后在ODE动力引擎中从机器人配置文件读取机器人各零部件的几何模型及相对位姿，最后将各零部件通过ODE定义的关节联系在一起，将各个零部件装配成一个可以活动的整体模型。
[0026]在步骤106中，将三维空间场景模型和虚拟机器人模型导入到OGRE中构建三维空间场景的物理模型和动力模型，并在ODE中建立虚拟的场景仿真系统。
[0027]在本发明的一个实施例中，在3DS MAX软件中贴图渲染后，利用OGRE软件渲染出虚拟三维场景，并用ODE软件建立虚拟世界的物理模型，在此系统上易于进行可视化和交互式编程。
[0028]由于用3DS MAX制作三维模型或动画后以3DS格式文保存文件，事实上OGRE不能识别3DS文件，OGRE能够识别的是一种类似XML文件的OSM文件，所以必须对模型的源文件进行处理。因此，在本发明的一个实施例中，导出OSM格式文件需要安装相应的Ofus1n插件(为OGRE工程提供模型资源的3DS MAX转换插件，使用它可以将3DS MAX的模型导出为OGRE可以识别的资源文件)，然后在OGRE中导入所生成的资源文件。
[0029]虚拟环境的建模是整个可视化仿真系统建立的基础。因此，在本发明的一个实施例中，OGRE利用场景管理器来对场景进行组织，并在渲染之前对场景中可见物体的渲染顺序进行排列，按照优先级存储到队列当中，以便于渲染系统进行渲染，所使用的场景图结构是八叉树结构。
[0030]在现实世界中的对象或物体除了具有外在的表现特征如外观、质感，还有自身的能力和行为，并服从物理世界的客观规律。
[0031]因此，在本发明的一个实施例中，还需要对机器人进行运动建模以及环境的物理建模。运动建模主要用于确定机器人在世界坐标系中的位置，以及机器人在虚拟世界中的运动。物体在三维空间的位姿变化包括物体的移动、缩放和旋转，通常采用4X4的齐次变换矩阵来描述物体在三维空间的位姿变化，齐次变换矩阵的一般形式可由式(I)表示。
[0032]其中，R3x3是描述物体局部坐标系B相对于世界坐标系A的旋转子矩阵，R 3xl是描述物体局部坐标系的原点相对于世界坐标系的原点的位置向量。采用齐次变换矩阵的方法可以节省计算量，平移、旋转可以按照同一种方式定义，还可以复合，齐次变换矩阵的求逆相对简单，所以比较适合复杂建模。
[0033]如式(2)所示，当对物体进行缩放时，只需要在旋转子矩阵R3x3的对角线元素乘以关于世界坐标系A的三个坐标轴的缩放因子，物体的旋转只需要在旋转子矩阵中进行变换。
[0034]在本发明的一个实施例中，在虚拟环境中，虚拟物体的物理建模包括定义物体的弹性、惯性、质量、硬度、表面纹理(光滑或粗糙)等。将几何建模和物体的行为规则与这些特性相结合起来，就可以形成虚拟物体的物理模型。
[0035]在本发明的一个实施例中，可以利用电液伺服系统的解析模型来实现虚拟机器人的控制系统，液压缸在ODE中用滑动关节来表示。通过滑动关节可以获取关节现在的位置，以此来模拟模型中的位移传感器，通过输入设置获取目标位置，同时，用PID控制器代替电液比例阀，用PID控制器输出模拟液压直接作用于滑动关节，以驱动虚拟液压缸按用户的输入运动，进而驱动机械臂的作相应的动作。
[0036]参考图2，图2所示为基于本发明的方法建立的一个基于现实场景的机器人模拟演练系统的示意图。包括虚拟三维场景模块，外部资源文件通过资源管理器导入到场景管理器模块，机器人配置文件及外部资源文件通过场景管理器模块生成场景文件，通过场景文件生成虚拟三维场景模块；场景管理器模块及虚拟三维场景模块连接OGRE渲染队列模块；0GRE渲染队列模块连接显示终端模块，操作人员通过显示终端模块对系统进行监视；所述虚拟场景内设有虚拟机器人，所述虚拟机器人通过ODE动力引擎按照的机器人运动学模型提供动力完成仿真动作，操作人员操作鼠标、键盘或手柄等外部设备通过OGRE帧监听器对虚拟机器人进行仿真控制。
[0037]资源管理器从外部文件中载入系统需要使用的资源，包括网格模型文件(.mesh)、材质定义文件(.material)、骨赂动画(.skeleton)、以及各种图像文件，以备其它模块调用。
[0038]场景管理器从场景文件中载入三维场景地形数据，建立三维场景，从机器人配置文件读取机器人各零部件的几何模型和相对位姿，从而创建出虚拟机器人。
[0039]OGRE帧监听器，负责循环监听用户输入，利用OIS模块读取鼠标键盘消息，并将消息发送给虚拟机器人从而对机器人进行控制。
[0040] 虽然以上述较佳的实施例对本发明做出了详细的描述，但并非用上述实施例限定本发明。本领域的技术人员应当意识到在不脱离本发明技术方案所给出的技术特征和范围的情况下，对技术特征所作的增加、以本领域一些同样内容的替换，均应属本发明的保护范围。
【权利要求】
1.一种基于现实场景的机器人模拟演练系统的构建方法，其特征是，包括: 获取现实场景的深度图像信息，并将所述深度图像信息转化成离散的三维点云数据； 将所述三维点云数据解释成机器人能够理解的语义地图； 将离散的三维点云数据输入三维建模软件中对虚拟场景进行几何建模，得到虚拟场景的三维实体模型； 将所述三维实体模型导入到303嫩X中贴图渲染，得到三维空间场景模型； 在303嫩X中对机器人进行几何建模，得到虚拟机器人模型；以及 将三维空间场景模型和虚拟机器人模型导入到0--中构建三维空间场景的物理模型和动力模型，在002中建立虚拟的场景仿真系统。
2.根据权利要求1所述的方法，其特征是，所述将三维点云数据解释成机器人能够理解的语义地图的步骤包括: 先对点云场景进行分割，并通过平面检测算法在大规模三维点集中找出大平面，进而去除平面点云完成对点云的初步分割； 提取所述大平面的特征以及大平面间的关系，识别出地面、墙面和门等房间结构，以及尺寸较大的桌面，并对剩余空间点进行分割、聚簇得到单个物体；以及 对所述单个物体进行特征提取，得到其粗类别以及边界框。
3.根据权利要求1或2所述的方法，其特征是，所述获取现实场景的深度图像信息，并将所述深度图像信息转化成离散的三维点云数据的步骤包括:将深度图像信息转化为世界坐标系下的三维点云数据，并将彩色图像中的颜色信息映射到三维点云中，形成三维点云数据。
4.根据权利要求3所述的方法，其特征是，还包括:在保留重建物体关键几何特征信息的前提下，对点云数据进行精简的步骤。
【文档编号】G06T17/00GK104484522SQ201410754484
【公开日】2015年4月1日 申请日期:2014年12月11日 优先权日:2014年12月11日
【发明者】刘桂华, 张华 , 史晋芳, 丁飞, 刘满禄, 张静, 肖宇峰, 楚红雨, 王坤朋 申请人:西南科技大学