机器人遥操作增强现实实验系统及方法

专利名称：机器人遥操作增强现实实验系统及方法
技术领域：
本发明涉及一种遥操作实验系统，尤指一种机器人遥操作实验系统。
背景技术：
现有的机器人遥操作实验系统是通过光学定位系统以二维图片的形式观测现实 实验环境，其中的光学定位系统可按照光源不同分为三类红外线定位、可见光定位和激光 定位。其中应用最广泛的是使用明亮的红外线斑点来标定目标的位置。 定位系统中目标中心点是通过计算斑点图像的质点亮度来确定的。 一个污点或者 一个局部的闭塞会影响到质心的位置，从而引起一个明显的测量错误。并且，这种情况不会 被检测到也不会对用户发出报警。左右视图及观察到的目标特性与模板中目标特性的误差 比较大。同时，在工作环境中误导性的映射亮点将比X点(对象用一个可变的目标区域来 标记，称作点X)更容易察觉。 不足的是，标记点与任何用于跟踪物体位置工具(如一个探针工具)之间的空间 关系只能以平面二维的方式显示出来，不能向用户直观的以立体方式展现出来以便于进行 动态的视觉比，这样导致使用不方便，不能对构图更加清晰的表示；难以鉴别相互之间只有 微小区别的众多样本；当使用其它的定位仪器时，在外设中放置光学定位仪，随后会重复放 置，导致安装复杂，且需要估测1 2米外模糊的边界；不能同时识别多组标记。

发明内容
针对现有技术存在的问题，本发明提供一种能够以三维立体方式显示机器人与实 际场景，并建立遥操作互动信息模型，使整个增强现实系统具有了交互智能的机器人遥操 作实验系统及方法。 为实现上述目的，本发明的机器人遥操作增强现实实验系统，包括机器人、双路视
频采集装置、服务器、客户端和显示装置，其中， 机器人用于实现抓取物体的具体操作； 双路视频采集装置设置在机器人上，用于获取场景数据，输出双路视频流； 服务器用于接收双路视频采集装置输出的双路视频流和机器人的姿态参数并进
行数据处理； 客户端用于接收服务器处理后的数据，通过该数据建立虚拟人_机_场景互动模 型； 显示装置用于动态立体显示机器人与场景。 进一步，所述双路视频采集装置为两个CCD摄像机。 进一步，所述服务器包括机器人控制服务器和视频服务器，机器人控制服务器接 收所述机器人姿态参数反馈，发送出机器人控制指令；视频服务器对所述双路视频采集装 置进行滤波、压縮与发送处理。 进一步，所述客户端连接有模型数据库，模型数据库中针对常见物体或遥操作场
3景中的对象物体，保存其形态及属性的模型。 进一步，所述客户端接收服务器处理后的双路视频流进行视觉合成和对象识别。
进一步，所述显示装置为立体显示器，经所述客户端视觉合成的视频流能够在立 体显示器中立体的动态显示。 进一步，所述虚拟人_机_场景互动模型基于所述客户端接收的双路视频流与所 述模型数据库中的模型进行对象识别、匹配而建立。 基于上述实验系统的机器人遥操作的实验方法，具体步骤如下1)双路视频采集 装置采集场景数据并将采集到的双路视频流发送至服务器；2)服务器接收双路视频流和 机器人的姿态参数，并对数据进行处理传送给客户端；3)客户端对服务器传送的双路视频 流和机器人姿态参数进行双路视频影像合成、场景中对象物体的三维重构、影像融合处理， 并建立虚拟人_机_场景互动模型，通过客户端发送指令对虚拟人_机_场景互动模型进 行各类操作；4)客户端建立的虚拟人-机-场景互动模型在立体显示装置中动态显示。
进一步，所述双路视频影像合成具体为双路视频采集装置捕获的双路视频流采用 直接线性变换法进行CCD的标定，针对步骤2)中滤波处理后的视频帧进行特征提取，并采 用相位匹配算法进行图像匹配。 进一步，所述场景中对象物体的三维重构具体为通过影像合成建立对象物体的形 状数据库来识别对象物体；针对常见物体或遥操作场景中可能的对象物体，建立其形态及 属性数据库；物体识别采用数据库中的物体在特定投影方向上影像或特征去匹配被操作对 象，匹配成功，则对象物体的维度和属性能够直接从数据库中提取出来；针对新物体或属性 不能自主确定的物体，采用与所述客户端之间交互方式完善其属性项。 本发明的机器人遥操作增强现实实验系统及方法，建立了增强现实仿真试验的环 境，其主要技术效果如下 (1)具备双路视觉动态立体显示，实时显示帧数不小于24帧/秒；实现遥操作场 景中多维信息的实时显示；能支持增强场景中对象物体基于认知知识的重构。
(2)基于双目视差的立体影像合成算法能实现动态实时，流迟延不大于1/24秒。
(3)物体形态认知知识库实现实时动态查询，具备知识获取及知识扩充功能。
(4)对象重构算法能支持常见及知识库已储存物体重构，类识别准确度95%以 上，几何维度识别误差不大于10%。 (5)场景增效显示模型能容纳预定义属性的增效互动显示，包括对象物体的几何 维度、物理特性、化学特性、电磁特性、声音特性等可感知或不可感知的属性的显示。


图1为本发明的机器人遥操作实验系统的结构框图； 图2为本发明中两个CCD摄像机的针孔模型； 图3为基于双路视觉的视频影像合成流程； 图4为立体场景影像与虚拟三维物体的影响融合流程。 图5为互动信息模型示意图。
具体实施例方式
如图1所示，本发明的机器人遥操作实验系统，包括机器人、双目摄像机、服务器、 客户端和立体显示器， 1.机器人实现抓取物体等具体操作。
2.双目摄像机用来获取场景数据，输出双路视频流。 3.服务器包括机器人控制服务器和视频服务器，其中机器人控制服务器接收机 器人姿态参数反馈，发送出机器人控制指令；视频服务器对左右相机视频进行滤波/压縮 与发送处理。
4.客户端登录服务器实现远程操作。
5.立体显示器实现双路视觉动态立体显示。 客户端连接有模型数据库，模型数据库中针对常见物体或遥操作场景中可能的对 象物体，保存其形态及属性的模型。 结合附图1对本发明的实验系统的工作流程说明如下双目摄像机采集场景数据 并将采集到的双路视频流发送至服务器；服务器接收双路视频流和机器人的姿态参数，并 对数据进行处理通过网络传送给客户端；客户端对服务器传送的双路视频流和机器人姿态 参数进行双路视频影像合成、场景中对象物体的三维重构、影像融合处理，并建立机器人遥 操作实验支撑环境，通过客户端发送机器人控制指令对虚拟人_机_场景互动模型进行各 类操作；客户端建立的虚拟人_机_场景互动模型在立体显示装置中动态显示。
(1)基于视差的双路视频影像合成及立体显示算法研究 利用装载到机器人身上的双CCD系统捕获遥操作现场的动态视频流，经过 Fourier滤波、压縮传送到处理器主机；基于Marr双目视觉合成理论，实现双路视频影像的 动态合成及立体显示。双CCD针孔模型如图2所示。 基于双路视觉的立体影像合成方法包括获取同步第一路和第二路视觉影像；对 获取的所述第一路和第二路视觉影像执行影像公共视域截取；确定所述第一路视觉影像和 所述第二路视觉影像的合成偏移距离；将所述第一路和第二路视觉影像分别调节所述合成 偏移距离，并合成调节后的第一路和第二路视觉影像。 获取同步第一路和第二路视觉影像。第一路和第二路视觉影像分别模拟了输入观 察者左眼和右眼的信号，当两路信号是同步的，才有可能进行影像合成，实现立体效果。所 谓同步是指，第一路和第二路视觉影像所描述的场景必须是在同一时间针对同一场景摄取 的。在一个实施例中，第一路和第二路视觉影像可以是静态存储在存储装置中的现成的影 像，例如可以是首先通过双路相机、摄影机或其他摄像装置摄取影像，然后将这些影像存储 在存储装置中利用上面合成方法进行离线合成。第一路和第二路视觉影像可以是通过虚拟 显示或三维动画软件中利用双路摄像装置摄取的影像。 对获取的所述第一路和第二路视觉影像(由于双路视觉是模拟人的左右双眼，因 此也可以称为左路和右路视觉影像)执行公共视域截取。公共视域是指，双路摄像装置所 摄取的影像中所共有的区域。该步骤的作用是获取左路和右路视觉影像的公共部分，即把 非公共部分的图片裁减掉。在具体实施中，可以通过观察来进行截取。通过这一步骤，为下 一步将两个影像进行移动，从而为确定符合人眼视差特性的移动距离的计算提供了基础。 只有符合人眼视差特性的两幅影像才有可能观察到立体影像效果。
对于场景中的任何一点，在双路视觉影像(例如，左眼影像或左影像和右眼影像 或右影像)中对应着不同的点，因此，为了确定立体合成偏移距离，需要计算出场景中的点 在左眼影像和右眼影像中的像点的坐标。像点坐标的计算是利用现有技术中的计算方法来 实现的。 例如，像点的相关性可以利用下列等式计算得到
mi
In2 1] /fe/<〖x+i+j〗[^+_/]|| (l)
其中，dmin和cU表示最大和最小视距差(disparity) ;m是模板尺寸(mask size); Iright和Ilrft是左右影像；x， y分别表示像点在左右影像中的坐标。其中，最大的视距限定 了能被检测到的最近的物体，而视距为0是表示无穷远处的物体。减小视距范围可以加快 系统的匹配点计算速度，并降低误匹配的几率。 在进行影像合成时，需要分别对第一路和第二路视觉影像进行偏移，该偏移量的 大小直接决定了合成立体影像的效果。 根据心理学的研究，人在观察立体影像时，所允许的视差范围是有限的，利用视差
角表示，视差角利用下面等式来表示 P = 2arctan (P/2f) (2) 其中，P是立体影像中左右对应像点在合成影像上的间距；f是观察者眼镜到屏幕 之间的距离，P = D-delta， D为立体影像对的视差，即D = XK， X。 XK分别为场景中的点 在左眼影像和右眼影像中的像点的坐标。 一般，P《1.5° ，当13 > 1.5°时，观察者不能 观察到立体效果，看到的仅仅是两幅图。 [OO53] 由(2)式很容易得到 尸
2tan(鲁)i"1.5。 (3)
如下示出了执行合成计算的一个实施例。
为了确保合成的立体影像的视差角不大于最大视差角，确定合成偏移距离delta
为下列数值 2/tan(%) 其中，w表示立体影像对(即左右影像)的宽度；e表示左右相机的间距；f是观察 者眼镜到屏幕之间的距离；小表示相机的光圈。利用上面的公式，由此合成偏移距离delta 就可以用视差角P来约束。由于P为一个角度范围，因此，可以确定适于合成立体图像的 delta的范围，只要将左眼和右眼影像移动delta的距离，就适于能够合成立体影像的。由 此，确定了满足人视觉要求的合成影像的移动偏移距离。 将第一路和第二路视觉影像分别调节合成偏移距离，并合成调节后的第一路和第 二路视觉影像。 由此，即实现了立体影像的合成。由于对于每个镜头都有一定的视角，因此两个 镜头平行光轴的布置有一定的范围限制，同时为了实现更好地立体效果。由于在上述合成方法中，优选地，所述相机或摄像装置的平行光轴之间的距离为30mm-150mm。例如可以为 60mm， lOOmm， 120mm， 150mm等。 针对捕获的双路视频流采用直接线性变换法进行CCD的标定。针对滤波处理后的 视频帧进行特征提取，并采用相位匹配算法进行图像匹配。相位作为匹配基元，本身反映信 号的结构信息，对图像的高频噪声有很好的抑制作用，适于并行处理，能获得亚像素级精度 的致密视差。但存在相位奇点和相位巻绕的问题，拟采用自适应滤波器加以解决。这一影 像融合的算法处理管道如图3所示。 在图3所示的双路影像合成流程中，要实现动态化，就必须对CCD采集的原始场景 信息进行预处理以减少噪声，提高影像匹配的精度。另外，由于视频流数据量大，要保证重 建影像的动态实时性，就必须在算法中引入并行优化，使得每一帧的的影像合成计算时延 能控制在1/24秒之内。 (2)基于自然特征的无标志物的对象物体的三维重构算法
实时对象物体的三维重构，我们采用以下方案开展研究 1)采集要识别物体影像。在该步骤中。采集要识别物体影像，可以利用各种各样 的影像摄取装置(如相机、摄像机等)获取场景中的物体影像。在一个实施例中，例如在遥 控控制领域，远程机器人利用相机获取现场的照片，并将照片通过无线网络发送至控制台， 工作人员可以通过图形界面选择机器人要操作的对象物体的影像。在另一个实施例中，例 如在工厂自动化领域中，机械加工机器人根据加工制造的流程的程序控制从拍摄的现场场 景中选择要识别的物体影像。 2)对影像进行预处理。在该步骤中，需要对所选取的物体影像进行滤波、去噪、畸 变校正等操作，以去除掉物体影像的各种杂音，便于进行特征提取。在一个实施例中，可以 省略掉该步骤。 3)对采集的物体影像进行特征提取，即提取影像特征。在该步骤中，特征提取是利 用现有技术中常用的各种特征的方法，例如Ca皿y算法及其改进算法进行特征提取，利用 sift及其算法进行结构特征提取。为简单起见，不做详细说明。 4)提供物体模型知识库，该物体模型知识库包括N个物体模型，其中，N > 1。在
该步骤中，可以在物体模型知识库中预先设置多个物体模型。在一个实施例中，例如，在工
厂自动化中，机器人操作现场中，机器人所需要接触或操作的工具或对象相对是有限的，因
此可以将这有限的工具或对象的模型建立起来，并存储在物体模型知识库中。另外，也可以
在识别过程中，根据要求添加物体模型。 5)调取物体模型知识库中的第一物体模型。 6)对该提取的物体模型进行特征提取，即提取模型特征。提取模型的特征是利用 现有技术中的方法来实现的，例如利用Ca皿y算法。提取模型的特征可以提取模型的结构 特征、形状特征、投影特征、边界特征等，例如可以利用背景技术中所使用的方法提取模型 特征。 7)将影像特征与模型特征进行对比。将将影像特征与模型特征进行对比用来判断
影像的特征与模型的特征的相似度，为了说明方便，利用匹配率来描述这个意义，匹配率用 来描述两个特征之间的相似程度。例如匹配率越高，则两者越相似，匹配率为100% ，则说明
两者完全相同。在机器视觉过程中，可以设定某一个匹配率的临界值(或阀值)，例如匹配率为70%、80%、90、95%、99%等，这样可以加快匹配判断的过程，不必将所有的特征完全 匹配就能做出正确的结论，能够节省时间，提高效率。 对于对比的结果进行判定，并根据不同的判定结构执行不同的步骤 8)如果影像特征与模型特征匹配率不小于设定临界值，则该要识别的物体被识别
为该提取的物体模型或者记录被模型，作为备选模型。 9)如果影像特征与模型特征边界匹配率小于设定临界值，则从物体模型知识库中调
取与第一物体模型不同的第二物体模型，在调取第二物体模型之前，首先判断是否第一物体模
型是否为物体模型知识库中的最后一个模型，如果不是，调取下一个模型；并重复执行步骤6)
提取模型特征、7)特征对比的步骤，遍历物体模型知识库中的第三、第四物体模型……第N物体
模型，直至寻找到采集的影像特征与提取的模型特征相匹配的物体模型为止。 通过建立对象物体的形状知识库来识别对象物体，进而实现其三维重构。针对常
见物体或遥操作场景中可能的对象物体，建立其形态及属性知识库。流视频场景中的物体
识别可以采用图像识别的方法解决，即用知识库中的物体在特定投影方向上影像或特征的
去匹配被操作对象。 一旦匹配成功，则对象物体的维度和属性就可以直接从数据库中提取
出来。要求物体形状知识库要有自我学习和扩展的能力。对于新物体或属性不能自主确定
的物体，则采用交互方式完善其属性项。
(3)真实场景立体视觉影像与虚拟三维物体的动态无缝融合技术 把虚拟的三维物体融合在合成的立体视觉帧场景图像中，需要计算场景的深度信
息和相关物体的遮挡关系。为确保遥操作过程的流畅，拟采用双目立体视觉提供粗略的目
标深度信息，结合改进的图像分割算法，縮小虚拟三维物体与场景立体视觉影像帧内对象
的相互位置的求解范围，进而实现在高速流媒体中对视频图像中的目标位置进行分割，突
破而传统的目标分割算法难以在实时环境中得到令人满意结果的缺陷，完成真实场景立体
视觉影像与虚拟三维对象物体的动态无缝融合。算法框图如图4所示。 在这一方面，我们会考虑充分利用课题依托单位现有的虚拟现实显示平台、及某
特种机器人研究等软件和硬件基础。将相关的流视频压縮、机器人视觉深度定位、大规模虚
拟显示技术等已有技术成果应用到新系统的开发中来，以加快本课题的研究进度。我们使
用SuperD立体显示器实现最终显示场景。
(4)增强的人_机_场景中多维信息互动模型 通过分析与遥操作相关的信息计算及显示类别、显示方式、动态表达模型，建立根 据操作需要定制的互动信息反馈机制。遥操作场景中多维信息包括遥操作机器人定位 及姿态参数、场景的环境物理化学及场信息、操作对象的维度与位置信息、物理化学属性信 息。多维信息的来源可以是被操作对象物体匹配识别后提取自形态知识库的物体属性数 据、由遥操作机器人上装置的各种传感器的探测数据等。将设计一个具有自学习能力的智 能物体形态数据库来管理对象信息。 通过研究人_机互动心理、生理等人机功效机理，掌握遥操作过程必要的信息需 求准则、找出场景数据对特定操作任务的互动映射规律，据此设计出用户友好信息定制界 面并建立遥操作互动信息模型。遥操作增强场景中信息互动反映在一方面是用户定制的 场景及对象物体信息的实时反馈；另一方面是模型中基于知识的信息映射触发系统要求用 户留意某些非用户定制的特定信息。从这一方面来说，互动信息模型使整个增强现实系统
8具有了交互智能。 互动信息的映射是由一个信息映射规则知识库支持的，该知识库用来记录多维信 息映射的关联规则知识。这些知识能确保在遥操作增强现实系统中用户定制正确的信息。 必要时，信息关联映射会帮助用户修正已发出的定制参数。图5是互动信息模型的示意图。
(5)遥操作增强现实支撑平台的测试 在上述基础上，已有的九自由度某特种机器人系统平台及SuperD立体显示系统 来进行机器人特定作业的遥操作实验和整体调试，验证上述理论方法的正确性，并加以改 进。测试主要内容包括双CCD视觉流影像的立体合成及显示效果、基于形态知识匹配的对 象物体的识别效率及其三维重建精度、以及多维互动信息模型的用户认可度、遥操作沉浸 感及任务操作准确度等方面。 上面已经对本发明进行了说明。应该理解的是，上述说明仅仅是以示例的方式对 本发明进行了说明，这些示例仅用于阐述本发明的原理而非对其保护范围进行限制。因此， 在不背离本发明精神和范围的前提下，可以对其进行各种修改和变更。
权利要求
一种机器人遥操作增强现实实验系统，其特征在于，包括机器人、双路视频采集装置、服务器、客户端和显示装置，其中，机器人用于实现抓取物体的具体操作；双路视频采集装置设置在机器人上，用于获取场景数据，输出双路视频流；服务器用于接收双路视频采集装置输出的双路视频流和机器人的姿态参数并进行数据处理；客户端用于接收服务器处理后的数据，通过该数据建立虚拟人-机-场景互动模型；显示装置用于动态立体显示机器人与场景。
2. 如权利要求1所述的机器人遥操作增强现实实验系统，其特征在于，所述双路视频采集装置为两个CCD摄像机。
3. 如权利要求1所述的机器人遥操作增强现实实验系统，其特征在于，所述服务器包括机器人控制服务器和视频服务器，机器人控制服务器接收所述机器人姿态参数反馈，发送出机器人控制指令；视频服务器对所述双路视频采集装置进行滤波、压縮与发送处理。
4. 如权利要求1所述的机器人遥操作增强现实实验系统，其特征在于，所述客户端连接有模型数据库，模型数据库中针对常见物体或遥操作场景中的对象物体，保存其形态及属性的模型。
5. 如权利要求1所述的机器人遥操作增强现实实验系统，其特征在于，所述客户端接收服务器处理后的双路视频流进行视觉合成和对象识别。
6. 如权利要求4所述的机器人遥操作增强现实实验系统，其特征在于，所述显示装置为立体显示器，经所述客户端视觉合成的视频流能够在立体显示器中立体的动态显示。
7. 如权利要求3所述的机器人遥操作增强现实实验系统，其特征在于，所述虚拟人_机_场景互动模型基于所述客户端接收的双路视频流与所述模型数据库中的模型进行对象识别、匹配而建立。
8. —种基于如权利要求l-7任一项所述实验系统的机器人遥操作的实验方法，具体步骤如下1)双路视频采集装置采集场景数据并将采集到的双路视频流发送至服务器；2)服务器接收双路视频流和机器人的姿态参数，并对数据进行处理传送给客户端；3)客户端对服务器传送的双路视频流和机器人姿态参数进行双路视频影像合成、场景中对象物体的三维重构、影像融合处理，并建立虚拟人_机_场景互动模型，通过客户端发送指令对虚拟人_机_场景互动模型进行各类操作；4)客户端建立的虚拟人_机_场景互动模型在立体显示装置中动态显示。
9. 如权利要求7所述的机器人遥操作的实验方法，其特征在于，所述双路视频影像合成具体为双路视频采集装置捕获的双路视频流采用直接线性变换法进行CCD的标定，针对步骤2)中滤波处理后的视频帧进行特征提取，并采用相位匹配算法进行图像匹配。
10. 如权利要求7所述的机器人遥操作的实验方法，其特征在于，所述场景中对象物体的三维重构具体为通过影像合成建立对象物体的形状数据库来识别对象物体；针对常见物体或遥操作场景中可能的对象物体，建立其形态及属性数据库；物体识别采用数据库中的物体在特定投影方向上影像或特征去匹配被操作对象，匹配成功，则对象物体的维度和属性能够直接从数据库中提取出来；针对新物体或属性不能自主确定的物体，采用与所述客户端之间交互方式完善其属性项。
全文摘要
本发明公开了一种机器人遥操作增强现实实验系统及方法，该系统包括机器人、双路视频采集装置、服务器、客户端和显示装置。双路视频采集装置采集场景数据并将采集到的双路视频流发送至服务器；服务器接收双路视频流和机器人的姿态参数，并对数据进行处理传送给客户端；客户端对服务器传送的双路视频流和机器人姿态参数进行数据处理并建立虚拟互动模型，通过客户端发送指令对虚拟互动模型进行各类操作；客户端建立的虚拟互动模型在立体显示装置中动态显示。本发明的机器人遥操作增强现实实验系统及方法，建立了增强现实仿真试验的环境，能够以三维立体方式显示机器人与实际场景，并建立遥操作互动信息模型，进行相应实验操作。
文档编号G06F19/00GK101794349SQ20101011045
公开日2010年8月4日 申请日期2010年2月9日 优先权日2010年2月9日
发明者王晨升 申请人:北京邮电大学