基于互联网的工业机器人远程控制方法

基于互联网的工业机器人远程控制方法
【专利摘要】本发明公开一种基于互联网的工业机器人远程控制方法，包括：控制模式设计、网络协议选择、网络远程驱动、虚拟现实控制四个步骤，目的是通过互联网对流水生产线上的工业机器人进行远程控制，使其完成相关的生产任务。该发明采用客户机和服务器C/S控制模式，选择面向连接的传输控制协议TCP传输客户机和服务器之间的远程控制命令，以及利用无连接的用户数据报协议UDP实现图像传输；同时通过网络远程驱动(时间驱动、事件驱动、预测显示等)工业机器人完成相关作业；并且利用虚拟现实控制对工业机器人进行仿真建模，将控制命令序列通过互联网传给远程的工业机器人执行，再将返回的实际执行结果信息通过虚拟的工业机器人仿真模型反映出来。
【专利说明】
基于互联网的工业机器人远程控制方法
技术领域
[0001] 本发明设及工业机器人控制的技术领域，特别设及一种基于互联网的工业机器人 远程控制方法。
【背景技术】
[0002] 工业机器人是一种能在3D空间内完成生产作业的机电一体化自动化生产设备，特 别适合于多品种、变批量的柔性生产过程，它对于稳定地提高产品质量、生产效率、更新换 代，W及改善劳动条件等起着十分重要的作用。工业机器人经过50多年的发展已经日趋成 熟，一批著名的工业机器人公司，例如，瑞典ABB RobotiCS，日本FANUC、化skawa，德国KUKA Roboter、美国Adept Technology、American Robot、Emerson Industrial Automation、S-T Robotics、意大利COMAU、英国AutoTech Robotics、加拿大Jed International Robotics, W色列Robogroup Tek公司等已经开发出了喷漆、弧焊、点焊、装配、搬运等许多种类型或序 列的工业机器人，并且已经广泛地应用于冲压、压铸、锻造、加工、焊接、热处理、喷涂、上料、 装配、检测、堆煤等作业中。
[0003] 目前，工业机器人产业增长势头非常强劲，工业机器人技术也正朝着结构模块化 和可重构化、控制技术开放化和PC化及网络化、伺服驱动技术数字化和分散化、多传感器融 合技术实用化、工作环境设计优化、作业柔性化等智能化、模块化、网络化和系统化方向发 展。其中，工业机器人的网络化是一个重点方向发展。传统的工业机器人远程控制技术非常 复杂，需要建立特殊的操作台，铺设专用的通信线路，因为硬件设备极其昂贵，故使得其没 法有效地推广应用。随着IT技术的迅速发展，互联网己经成为世界上信息资源最丰富的计 算机公共网络。1993年，由Ken Gol化erg等连接到互联网上的Mercury Project机器人是全 世界第一个基于Web浏览器的机器人远程控制系统。此后，基于互联网的工业机器人远程控 制方法成为了重要的研究方向。基于互联网的工业机器人远程控制方法将互联网作为通信 媒介，不仅可W对流水生产线上的每台工业机器人进行远程控制，而且还可W摆脱原来的 那种专人专机远程控制的束缚及降低成本，运非常有利于工业机器人的推广和应用及普 及。
[0004] 互联网的飞速发展给工业机器人远程控制提供了广阔的应用空间，使得对工业机 器人的直接操作转化为远程控制。鉴于工业机器人远程控制具有重大的现实意义和广阔的 应用前景，美国、日本和欧州等发达各国竞相开发相关的技术。但是，基于互联网的工业机 器人远程控制存在时延、稳定、丢包、调度、同步、安全、驱动、仿真、控制等众多问题，急需要 有效的互联网控制模式、协议选择、网络驱动、虚拟现实等关键技术。

【发明内容】

[0005] 本发明的目的在于克服现有技术的缺点与不足，提供一种基于互联网的工业机器 人远程控制方法。
[0006] 本发明的目的通过下述技术方案实现：
[0007] -种基于互联网的工业机器人远程控制方法，所述远程控制方法包括：
[0008] 步骤S1、控制模式设计，采用客户机和服务器的(VS控制模式，用户登录客户端软 件，通过互联网与服务器端通信，并通过服务器端软件控制服务器端的工业机器人；
[0009] 步骤S2、网络协议选择，选择面向连接的传输控制协议TCP传输客户机和服务器之 间的远程控制命令，W及利用无连接的用户数据报协议UDP实现图像传输；
[0010] 步骤S3、网络远程驱动，通过时间驱动方式、事件驱动方式、预测显示方式让工业 机器人的相关组成部分完成相关作业；
[0011] 步骤S4、虚拟现实控制，利用虚拟现实控制对工业机器人进行仿真建模，将控制命 令序列通过互联网传给远程的工业机器人执行，再将返回的实际执行结果信息通过虚拟的 工业机器人仿真模型反映出来。
[0012] 进一步地，所述步骤S1、控制模式设计的C/S控制模式采用两层结构系统，其中第 一层是在客户机上结合了表示与业务逻辑，第二层是通过网络结合数据库服务器，C/S控制 模式将多个复杂网络应用的用户交互界面GUI、业务应用处理和数据库访问及处理相分离， 服务器与客户机之间通过消息传递机制进行对话，由客户端发出请求给服务器，服务器进 行相应处理后，经传递机制送回客户端。
[0013] 进一步地，所述步步骤S2、网络协议选择具体为:在发送客户机和服务器之间的远 程控制命令和状态反馈时均采用面向连接的TCP协议进行传输，服务器通过CC时暴象机获得 工业机器人作业现场的视频图像，经由视频采集卡将PAL制式图像转化为24位的帖彩色位 图图像，然后将图像送入视频编码解码器，再对图像进行压缩后传输，并且采用无连接的 UDP协议实现图像传输。
[0014] 进一步地，所述步骤S3、网络远程驱动具体为:工业机器人的传感器采用时间驱动 方式工作，工业机器人的执行器和控制器采用事件驱动方式工作，并且采用随机预测显示 方式预测环境和工业机器人的状态，并且显示在操作者的监视器上，操作者通过虚拟现实 技术来观察工业机器人的运动行为。
[0015] 进一步地，所述步骤S4、虚拟现实控制具体为:采用预测显示方式进行工业机器人 远程控制，利用通过虚拟现实技术来对工业机器人进行建模，并仿真实际工业机器人的运 行，验证无误后再将控制命令序列传给实体工业机器人执行，并将返回的实际执行信息通 过虚拟的工业机器人模型反映出来。
[0016] 进一步地，所述工业机器人远程控制方法的操作方式包括单关节控制和整体控 审IJ，其中，在所述单关节控制的操作方式中，操作者先通过操作控制端选定仿真模型或实体 工业机器人的某个关节，并使用该操作控制端调整选定关节的旋转角度，通过对一组关节 的旋转角度逐个调整，操作者得W控制工业机器人完成某个特定的任务;在所述整体控制 的操作方式中，操作者针对工业机器人的机械手进行控制，操作者通过控制机械手向上、向 下、伸出、缩回、正向平移、逆向平移六个方向移动来驱动工业机器人完成指定的动作，此控 制方式中各个关节的参数均通过逆向运动学方程计算得到，其中，单关节控制和整体控制 在操作过程中支持实时切换。
[0017] 进一步地，所述工业机器人远程控制方法包括本地仿真模式和远程控制模式，在 所述本地仿真模式下，客户端未连接到服务器，通过本地仿真模式对模拟器中的工业机器 人进行模拟控制，W练习对工业机器人的各种操作，所述本地仿真模式下的各种行为和实 体工业机器人完全相同，所有对本地工业机器人进行的各种操作可直接应用于实体工业机 器人之上；
[0018] 在所述远程控制模式下，客户端连接至服务器，通过互联网对服务器端的工业机 器人进行远程控制，用户所有的操作均通过互联网传送到服务器端，本地工业机器人仿真 模型的状态从实体工业机器人中实时读取，并从服务器传回客户端。
[0019] 进一步地，所述工业机器人远程控制方法支持操作过程录制与播放，在选择录制 轨迹功能之后，操作者可W将操作过程中工业机器人的运动轨迹保存下来，在后继的操作 中将保存下来的运动轨迹播放出来，并重复执行先前保存的对工业机器人各种操作，操作 者同时可W选择将操作轨迹保存到文件W待下次执行应用程序时再重新从文件调入。
[0020] 进一步地，所述工业机器人远程控制方法支持实时视频反馈，在远程控制模式中 连接到服务器主机上的CO)摄像头会将工业机器人的实时视频信息通过互联网传送至客户 端界面；
[0021 ]所述工业机器人远程控制方法支持视频/仿真窗口切换，在远程控制模式的初始 界面中，操作者通过对仿真模型的状态反馈来实时监控工业机器人的当前状态，此时视频 窗口起辅助监控作用，用户可W通过窗口切换功能将视频窗口切换为主要观测界面，此时 仿真模型窗口起辅助观测作用；
[0022] 所述工业机器人远程控制方法支持仿真模型视角切换，通过仿真模型的观察视角 切换功能，操作者可在操作中从不同角度观察工业机器人状态。
[0023] 进一步地，所述客户机和服务器的(VS控制模式采用基于套接字sockets的通信， 支持数据的收发，在网络的每一端都建立一个sockets,两个sockets之间可W建立连接，也 可W无连接，并通过对sockets的读、写操作实现网络通信功能。
[0024] 本发明相对于现有技术具有如下的优点及效果：
[0025] 本发明的基于互联网的工业机器人远程控制方法适用于各类劳动密集型生产制 造企业，24小时不停地在有毒、有害、易发生职业病的环境中取代技术含量低和重复性的简 单工作，从而提高企业的生产效率，降低企业的工伤事故，减少企业的成本负担。
【附图说明】
[00%] 图1(a)是基于互联网的工业机器人组网工作示意图；
[0027] 图1(b)是基于互联网的工业机器人远程控制方法流程图；
[0028] 图2是(VS控制模式原理图；
[0029] 图3是面向连接的TCP通信流程；
[0030] 图4是面向无连接的UDP通信流程；
[0031] 图5是基于(VS控制模式的远程控制系统功能结构图；
[0032] 图6是客户端主界面；
[0033] 图7是服务器端主界面；
[0034] 图8是建立服务器界面；
[0035] 图9是工业机器人本地控制界面；
[0036] 图10是单个工业机器人远程控制网络结构图；
[0037] 图11是工业机器人夹住小钢棒；
[0038] 图12是工业机器人要将钢棒放到棒套中；
[0039] 图13是工业机器人机械手末端坐标变化图；
[0040] 图14是工业机器人关节角度变化图；
[0041 ]图15是多工业机器人远程控制的网络结构图。
【具体实施方式】
[0042] 为使本发明的目的、技术方案及优点更加清楚、明确，W下参照附图并举实施例对 本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用W解释本发明，并不用 于限定本发明。
[0043] 实施例一
[0044] 本实施例提供了一种基于互联网的工业机器人远程控制方法，旨在对流水生产线 上的每台工业机器人进行远程控制，使它们能够完成相关的生产任务。解决上述技术问题 的技术方案如图1(a)和图1(b)所示，该技术方案利用互联网来实现对每台工业机器人进行 远程控制。本发明专利所述的基于互联网的工业机器人远程控制方法包括:控制模式设计、 网络协议选择、网络远程驱动、虚拟现实控制等四个步骤。下面结合附图与【具体实施方式】对 本专利申请所述基于互联网的工业机器人远程控制方法所设及的四个步骤作进一步的详 细描述。
[0045] 步骤S1、控制模式设计。
[0046] 基于互联网的工业机器人远程控制方法必须要设计出高效的和可靠的控制模式， 为此采用C/S控制模式，如图2所示。由于基于互联网的工业机器人远程控制系统需要采用 基于状态反馈和实时仿真方法来解决远程控制中的时延问题，所W所述系统需要在客户端 将服务器端的工业机器人场景虚拟仿真出来，而且还要实现客户端的离线仿真控制功能， 需要在客户端做大量的数据处理，而运正是(VS控制模式的优势所在。在(VS控制模式中，用 户登录客户端软件，通过互联网与服务器端通信，并通过服务器端软件控制服务器端的工 业机器人。C/S控制模式是一种两层结构系统：第一层是在客户机上结合了表示与业务逻 辑;第二层是通过网络结合了数据库服务器。它将多个复杂网络应用的用户交互界面GUI、 业务应用处理和数据库访问及处理相分离，服务器与客户机之间通过消息传递机制进行对 话，由客户端发出请求给服务器，服务器进行相应处理后，经传递机制送回客户机。运种结 构充分地利用客户端强大的处理能力，将大部分业务逻辑都集中在客户端实现，减轻服务 器端的工作负荷。
[0047] 步骤S2、网络协议选择。
[0048] 基于互联网的工业机器人远程控制系统必须要选择高效的和可靠的网络协议，W 保证所述系统的远程控制命令和视频图像反馈正确的传输。所述系统选择TCP/IP进行远程 控制命令和视频图像反馈传输。实际上，TCP/IP中网络层的传输协议包括传输控制协议TCP 和用户数据报协议UDP。其中，TCP是面向连接的和提供可靠的连接，而UDP则是提供无连接 服务，而且可靠性没有保证。由于工业机器人的远程控制命令传输要求可靠、准确、及时，且 控制命令本身占用极小的网络带宽，所W为保证控制命令正确传输，在发送控制命令和状 态反馈时均采用TCP进行传输，W保证传输的可靠性和操作的安全性;而服务器获取的图像 数据等视频反馈是通过CO)摄象机获得的工作现场图像，经由视频采集卡将PAL制式图像转 化为24位帖彩色位图图像，然后将图像送入视频编码解码器对图像进行压缩。即使图像即 使丢失几帖也没什么大碍，所W采用UDP进行视频反馈传输。因为基于套接字（sockets)的 C/S控制模式应用设计有两种通信服务类型：一种是面向连接的TCP,另一种是无连接的 UDP，所W所述系统的远程通信都是通过socket来具体实现。Socket通信分为面向连接的通 信(TCP)和面向无连接的通信(UDP)，通信流程分别如图3和图4所示。
[0049] 步骤S3、网络远程驱动。
[0050] 基于互联网的工业机器人远程控制系统需要采用时间驱动和事件驱动两种节点 驱动方式。时间驱动是指所述系统在固定时钟下定时采样信号，驱动节点工作和进行数据 处理。运种方式对所述系统各个部分的时间同步性要求高。事件驱动则是节点根据相应的 事件信号触发驱动完成工作，实时性较强。所述系统的传感器采用时间驱动，执行器和控制 器采用事件驱动方式下作。在所述系统中，关节部件采用事件驱动串行接受控制指令，传感 器反馈通道多采用时间驱动采样。本专利申请公开的基于互联网的工业机器人远程控制系 统采用预测显示控制方式，也即采用随机预测方式预测环境和工业机器人状态并显示在操 作者的监视器上。操作者通过虚拟现实技术建造模拟仿真环境观察工业机器人的运动，W 保证实体工业机器人实际动作的准确性。
[0051 ] 步骤S4、虚拟现实控制。
[0052] 基于互联网的工业机器人远程控制系统需要采用预测显示方式进行工业机器人 远程控制，需要通过虚拟现实技术来对工业机器人进行建模，并仿真实际工业机器人的运 行，验证无误后再将控制命令序列传给实体工业机器人执行，并将返回的实际执行信息通 过虚拟的工业机器人模型反映出来。对于采用远程编程方式控制工业机器人，虚拟现实技 术是绝对必要的。操作者所面对的是一个虚拟环境，操作仅仅是工业机器人的仿真模型，得 到的所有感觉反馈也直接来自虚拟环境。在工业机器人侧，真实的工业机器人接到远程控 制命令后，自动解释并执行该命令，工业机器人控制器接收所有来自运行现场的视频反馈 信息。操作端与工业机器人之间只有很少的信息交互。但是，将非结构化环境纳入虚拟现实 环境中还存在很大的困难。基于投射式虚拟现实技术的工业机器人远程控制系统，是一个 完全基于虚拟现实的工业机器人远程控制系统。操作者所有操作都在虚拟现实环境中，由 虚拟现实环境和真实的工业机器人及其运行环境交互，可W说操作者被虚拟现实环境包裹 而完全与真实世界隔绝。
[0053] 基于互联网的工业机器人远程控制系统的功能结构图如图5所示，主要包括客户 端功能和服务器端功能两大部分。客户端主要负互责对工业机器人进行仿真控制和远程控 审IJ，服务器端主要负责为客户端提供工业机器人本地控制代理。服务器端也同时提供部分 工业机器人本地控制功能。
[0054] (1)客户端主要功能
[0055] ①客户端操作控制台，图6所示为客户端操作控制台，也就是客户端进行仿真控 审IJ、远程控制及示教的操作控制台。
[0056] ②单关节操作方式和整体操作方式。工业机器人远程控制系统使用通用的游戏手 柄作为工业机器人操作控制端，它采用DirectI吨ut封装模块对输入进行处理。基于互联网 的工业机器人远程控制系统采用单关节控制和整体控制两种操作方式对仿真模型和实体 工业机器人进行控制。在单关节操作方式中，操作者先通过操作控制端选定仿真模型或实 体工业机器人的某个关节，并使用该操作控制端调整选定关节的旋转角度。通过对一组关 节的旋转角度逐个调整，操作者得W控制工业机器人完成某个特定的任务。在整体控制方 式中，操作者只针对工业机器人的机械手(比如，气动手爪)进行控制。操作者通过控制机械 手向上、向下、伸出、缩回、正向平移、逆向平移六个方向移动来驱动工业机器人完成指定的 动作，比如，移动机械手到某位置并抓取物件。在运种控制方式中，各个关节的参数均通过 逆向运动学方程计算得到。关节操作和整体操作两种方式可W在操作过程中实时切换，W 便对工业机器人进行更灵活的操控。
[0057] ③本地仿真模式和远程控制模式。客户端在未连接到服务器时，可W通过本地仿 真模式对模拟器中的工业机器人进行模拟控制，W练习对工业机器人的各种操作。连接至 服务器后，可W通过互联网对服务器端的工业机器人进行远程控制。在本地仿真模式下，操 作者发出的指令只对本地工业机器人仿真模型产生影响。本地仿真模型的各种行为和实体 工业机器人完全相同，所有对本地工业机器人进行的各种操作可W直接应用于实体工业机 器人之上。用户可W通过操作控制端选择关节控制模式或整体控制模式，分别对仿真器中 的工业机器人进行单关节控制或整体模式对工业机器人进行控制。在切换至远程控制模式 并连接到服务器后，用户所有的操作均通过互联网传送到服务器端。本地工业机器人仿真 模型的状态从实体工业机器人中实时读取，并从服务器传回客户端。
[0058] ④操作过程录制与播放。在选择录制轨迹功能之后，操作者可W将操作过程中工 业机器人的运动轨迹保存下来。在后来的操作中可W将保存下来的运动轨迹播放出来，系 统将重复执行先前保存的对工业机器人各种操作。操作者同时可W选择将操作轨迹保存到 文件W待下次执行应用程序时再重新从文件调入。运种控制方式又称为工业机器人的示教 与重现。操作者可W通过仿真练习对工业机器人执行任务时的各种操作，并选择一组最佳 的控制序列并保存下来。运样在W后再执行相同的任务时便不需要再重复先前的一步步摸 索，而是直接调入录制好的控制序列W缩短实际控制所需的时间。
[0059] ⑤客户端其它功能:a)实时视频反馈。在远程控制模式中，有时单凭仿真窗口仍无 法完全确定工业机器人的某个操作，运时可W通过和视频结合来保证操作过程中万无一 失。连接到服务器主机上的CC时暴像头会将工业机器人的实时视频信息通过互联网传送至 客户端界面。操作者可W通过视频窗口观察工业机器人的视频画面，W保证仿真过程的正 确性。b)视频/仿真窗口切换。在远程控制模式的初始界面中，操作者主要通过对仿真模型 的状态反馈来实时监控工业机器人的当前状态，此时视频窗口主要起辅助监控作用。用户 可W通过窗口切换功能将视频窗口切换为主要观测界面，此时仿真模型窗口起辅助观测作 用。C)仿真模型视角切换。仿真模型的缺省状态为正面视图，运在进行工业机器人平移操作 时显得不够直观。所述系统提供仿真模型的观察视角切换功能，操作者可在操作中从不同 角度观察工业机器人状态，从而能更加准确地控制工业机器人。
[0060] (2)服务器端主要功能
[0061] 服务器端如图7所示，服务器端主机通过串口与实际工业机器人相连，其主要功能 是用来提供客户端操作命令的本地代理。同时服务器端也负责将工业机器人当前的状态数 据和视频数据返回客户端。除此之外，服务器端还提供对工业机器人进行本地控制等辅助 功能。
[0062] 服务器端主要功能是：
[0063] ①建立服务器。服务器端需要建立服务器W开始接受客户端的连接请求，建立服 务器如图8所示。客户端连接建立W后，服务器端开始代理客户端发来的控制命令W及返回 工业机器人当前的状态数据和视频图像。服务器端可W通过控制界面随时启动或者停止代 理服务。
[0064] ②工业机器人本地操作。服务器端可W通过本地操作功能在本地对工业机器人发 起各种命令，主要是控制工业机器人各关节进行运动，工业机器人本地控制界面如图9所 示。服务器管理员可W通过位置模式、速度模式和微调模式运Ξ种模式来控制本地工业机 器人各个关节的转动。在位置模式中操作者可W通过设置某个关节的转动目标角度来控制 工业机器人转动至某个位置。在速度模式中操作者可W设定工业机器人某个关节的转动速 度，启动后相应关节会一直转动直到操作者按下停止按钮或达到关节转动极限。微调模式 中，操作者可W自己设置微调的角度对工业机器人进行精细控制。
[0065] ③工业机器人复位。操作者可W使用复位功能对工业机器人进行复位。通过工业 机器人复位功能可W使工业机器人恢复到原始状态。工业机器人每执行完一系列动作之 后，在执行下系列动作之前一般需要通过复位功能让工业机器人恢复到初始状态，W确保 下一系列动作的准确性。
[0066] ④工业机器人急停。在工业机器人操作过程中可能会遇到不可预计的紧急情况， 此时操作者可W通过紧急停止功能使工业机器人强行停止运动。
[0067] (3)网络通信流程实现
[0068] 由于基于套接字(sockets)的(VS控制模式应用设计有两种通信服务类型:一种是 面向连接的TCP,另一种是无连接的UDP，所W基于互联网的工业机器人远程控制系统的通 信都通过socket来具体实现。Socket是一个连接的双向端点，通过它可W发送数据，也可W 接收数据。它有Ξ个属性:①网络地址(TCP^P中的IP地址）；②端口号(port number):表示 不同主机上的不同进程;③Socket类型：sockets是支持TCP/IP的网络通信基本操作单元。 可W将sockets看作是不同主机间的进程进行双向通信的端点。它构成了在单个主机内及 整个网际间的编程界面。一般来说，跨机应用进程之间要在网络环境下进行通信，必须要在 网络的每一端都要建立一个sockets,两个sockets之间可W建立连接，也可W无连接，并通 过对sockets的"读"、"写"操作实现网络通信功能。
[0069] 根据传输数据类型不同，sockets可分为面向连接的字节流sockets(stream sockets)、无连接的数据报sockets(da1:agram sockets)和原始式sockets(raw socket)^ 种类型：（a)字节流套接字。字节流不按记录定界，在TCP/IP簇中对应TCP,它是一个提供给 用户进程可靠全双工的面向连接协议，大多数互联网应用程序如ftp、telnet都使用TCP。通 信端点使用TCP对应的互联网地址互相连接，可保证按正确的顺序及单一和可靠的地址传 输。由于它是字节流，所W包长包短没有限制，信包传输也不重复，因而数据流套接字提供 了双向的、有序的、无重复并且无记录边界的数据流服务，也是一种常用的套接字类型。其 特点是通信可靠，对数据有校验和重发的机制。（b)数据报套接字。数据报对应记录型数据 流，在TCP/IP簇中对应UDP，利用数据报服务可实现一些简单的网络服务，如网点检测程序 PING。由于不建立连接，UDP比TCP快。但不能保证所有数据都准确有序地到达目的地，不保 证顺序性、可靠性和无重复性。它是无连接的服务，W独立的信包进行传输，通信点使用UDP 对应的互联网地址。双方不需要互连，按固定的最大长度进行传输，因而适用于单个报文传 输，或较小文件传输。（C)原始式套接字（raw socket)，该接口允许对较低层协议，如IP、 ICMP直接访问，主要用于检验新协议实现或访问现有服务中配置的新设备。Socket通信分 为面向连接的通信(TCP)和面向无连接的通信(UDP)，通信流程如图3和图4所示。
[0070] (4)虚拟现实控制实现
[0071] 基于互联网的工业机器人远程控制系统具有双向远程控制的特点，运就决定了其 对虚拟现实技术有特殊关系和自然需要。虚拟现实技术对于工业机器人远程控制的意义在 于，它提供了一种解决(确切的说是屏蔽)通信延迟的方法和进行系统仿真的手段。实际上， 虚拟现实技术的起源和发展都得益于许多机器人技术，例如传感器技术等，反过来虚拟现 实技术又为机器人领域提供了一个强有力的技术手段。基于互联网的工业机器人远程控制 系统的双向远程控制理想状态是，操作者远离工业机器人所在地，通过操作端来控制工业 机器人完成指定任务，同时操作者还应具有逼真的临场感觉(虚拟现实），为操作者做出决 定提供帮助。运既是所谓的虚拟现实技术(临场感技术或远距离存在技术），临场感技术可 W看作是虚拟现实技术的初步实现。临场感技术要求将现场的信息传回操作端，使操作者 可W感受到现场的状态，而在操作端一侧，需要相应的装置将传回来的信息W适当形式表 现给操作者，大多数临场感技术都要求至少返馈视觉信息和力觉信息，并将运些信息W视 觉和力觉形式施加给操作者。
[0072] 实施例二
[0073] 该实施例W远程控制单个工业机器人进行实验(Peg-in-Hole实验）。
[0074] 本实施例中应用的硬件包括:两台6自由度工业机器人、用来运行客户端控制程序 的普通PC-台、用来运行服务器端控制程序、装由工业机器人控制驱动卡的两台PC机，如图 10所示。本实验所使用的软件包括：用VC++、0pen化和3DS MAX开发的客户端控制软件 RobotTelecontrol、用VC++开发的服务器端控制软件RobotControl ePeg-in-Hole实验内容 是控制单个工业机器人或协调控制两个工业机器人，将实验台上小钢棒夹起，然后将其准 确地放到实验台另外一边棒套中。实验在两个不同的网段之间进行，客户端与服务器端通 过网络进行连接，中间有一个路由器隔开。客户端是一台装有客户端控制软件的普通PC，并 与网络连接;服务器端包括一台6自由度工业机器人和一台装有服务器端控制软件的普通 PC，工业机器人通过控制驱动卡与PC连接，而服务器PC又与网络连接。本实验是利用互联网 远程控制单个工业机器人实现化g-in-Hole实验。
[0075] 首先启动服务器端程序，设置通信的端口号，然后建立服务器等待客户端连接，并 且启动与服务器相连的工业机器人，初始化工业机器人的各种设置;然后启动客户端程序， 并与服务器端建立连接。操作者通过远程控制平台，选择控制模式，并通过实时仿真和视觉 反馈及时地确定下一步操作，必要时还可W将远程控制模式切换到本地自主控制，进行更 精确的控制，直到完成整个任务。实时仿真的同步效果见图11和图12所示。作业模式下实时 反馈工业机器人的机械手末端坐标和各关节角度(第4关节和第6关节没有转动过，一直是0 度，所W未画出）随时间变化见图13和图14所示。
[0076] 为了验证实时仿真在解决网络控制问题的有效性，W及离线示教仿真练习/在线 控制、远程控制/本地自主控制、单命令模式/作业模式等控制模式相结合在控制网络时延 和保证系统稳定性和安全性上的作用，共进行四类分组实验，每组实验分别进行了 10次，记 下每组实验的平均操作时间和成功完成的次数(所谓成功完成是控制工业机器人成功地将 实验台上一边的小钢棒夹起来然后准确地放到另一边的棒套里，没能准确地放进去则算失 败)：
[0077] ①有无开启实时仿真。有启动实时仿真时，可W直接根据实时仿真迅速地采取下 一步操作;无启动实时仿真则全部依靠视觉反馈进行控制。该组实验在单命令模式下进行， 其结果见表1所示。
[0078] 表1.单命令模式下有无实时仿真的仿真结果
[0079]
[0080] ②在线控制前有无先进行离线示教仿真练习。下面两组实验都在有开通实时仿真 的单命令模式前提下进行，见表2所示。
[0081 ]表2.单命令模式下有无先进行离线示教仿真练习的仿真结果
[0082]
[0083]
[0084] ③有无进行远程控制与本地自主控制的模式切换。有模式切换是当小钢棒很靠近 棒套时，进行模式切换，改成本地自主控制，通过服务器端控制平台完成最后部分控制。无 模式切换则是整个任务全部通过远程控制来完成。下面两组仿真都是在有实时仿真和单命 令模式的前提下进行，见表3所示。
[0085] 表3.进行远程控制与本地自主控制的模式切换下的仿真结果
[0086] ___
'[0087]~④采用单命令模式还是作业模式。下面两组实验都是在有实时仿真和事先进行离I 线示教仿真练习的前提下进行的。见表4所示。
[0088]表4.采用单命令模式还是作业模式的仿真结果 「noRol
[0090]~从实验①的结果可W看出有实时仿真比单靠视觉反馈少用了 195秒，并且单靠视 觉反馈的失败率很高，运是由于视频反馈时需要传送大量的视频信息，容易引起网络时延， 并且由于网络时延造成的视频严重滞后，不能反映现场的真实情况，并且视觉反馈不能像 仿真那样旋转物体从各个角度进行仔细的观察而准确地判断物体的位置，所W容易造成错 误操作，产生安全性问题。运说明实时仿真在解决网络时延的有效性，并且还可W提高远程 控制的稳定性和安全性。实验②的结果表明有先用离线示教仿真练习比没有平均少用了 98 秒，而且成功率更高，运是因为通过离线示教仿真练习，操作者能事先熟悉各种操作，而且 能借此确定工业机器人移动的最佳路径。运说明离线示教仿真能有效地缩短在线控制操作 时间，还能在一定程度上提高操作安全性。实验③的结果表明有模式切换比没有模式切换 的平均操作时间稍微少一些，而且操作的准确性更高一些。运是由于本地自主操作没有时 延，而且可W避免仿真可能出现的微小误差。运说明模式切换能够有效的保证操作准确性 和安全性。实验④的结果显示单命令的平均操作时间要比作业模式长很多，但作业模式的 成功率却没有单命令的高。运是因为单命令模式的每步之间多了思考下一步采取何种控制 策略的时间，所W所用的时间会相应的变长，但也正是由于有了每一步的及时调整，所W更 能保证操作的准确性和安全性。运说明在保证操作准确性的前提下，作业模式能进一步的 缩短远程控制的操作时间。
[0091 ] 实施例Ξ
[0092] 该实施例W远程控制多工业机器人进行实验。
[0093] 实验在两个不同的网段之间进行，客户端与服务器端通过网络进行连接，中间有 一个路由器隔开。客户端是一台装有客户端控制软件的普通PC，并与网络连接;服务器端包 括两台6自由度的工业机器人和两台装有服务器端控制软件的普通PC，工业机器人通过控 制驱动卡与PC连接，而服务器PC又与网络连接。本实验是利用网络远程控制两个工业机器 人协调合作完成化g-in-化le实验。首先分别启动两个服务器端的控制程序，设置好服务器 端各自的通信端口号，然后各自建立服务器，等待客户端的连接，并启动与服务器相连的工 业机器人，初始化工业机器人的各种设置;然后启动客户端程序，分别设置对应的端口号并 与对应的服务器端建立连接。最后，操作者通过远程控制平台，选择控制模式，并通过实时 仿真和视觉反馈协调控制两台工业机器人，必要时还可W将远程控制模式切换到本地自主 控制，进行更精确的控制，直到完成整个任务。
[0094] 综上所述，上述基于互联网的工业机器人远程控制方法采用客户机和服务器 (ClienVServer，C/S)控制模式，选择面向连接的传输控制协议（Transmission Conhol Protocol,TCP)传输客户机和服务器之间的远程控制命令，W及利用无连接的用户数据报 协议化ser化tagram Protocol，UDP)实现图像传输；同时通过网络远程驱动（时间驱动、事 件驱动、预测显示等)工业机器人完成相关作业;并且利用虚拟现实控制对工业机器人进行 仿真建模，将控制命令序列通过互联网传给远程的工业机器人执行，再将返回的实际执行 结果信息通过虚拟的工业机器人仿真模型反映出来。本发明的基于互联网的工业机器人远 程控制方法适用于各类劳动密集型生产制造企业，24小时不停地在有毒、有害、易发生职业 病的环境中取代技术含量低和重复性的简单工作，从而提高企业的生产效率，降低企业的 工伤事故，减少企业的成本负担。
[0095] 上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的 限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化， 均应为等效的置换方式，都包含在本发明的保护范围之内。
【主权项】
1. 一种基于互联网的工业机器人远程控制方法，其特征在于，所述远程控制方法包括： 步骤S1、控制模式设计，采用客户机和服务器的C/S控制模式，用户登录客户端软件，通 过互联网与服务器端通信，并通过服务器端软件控制服务器端的工业机器人； 步骤S2、网络协议选择，选择面向连接的传输控制协议TCP传输客户机和服务器之间的 远程控制命令，以及利用无连接的用户数据报协议UDP实现图像传输； 步骤S3、网络远程驱动，通过时间驱动方式、事件驱动方式、预测显示方式让工业机器 人的相关组成部分完成相关作业； 步骤S4、虚拟现实控制，利用虚拟现实控制对工业机器人进行仿真建模，将控制命令序 列通过互联网传给远程的工业机器人执行，再将返回的实际执行结果信息通过虚拟的工业 机器人仿真模型反映出来。2. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述步骤S1、控制模式设计的C/S控制模式采用两层结构系统，其中第一层是在客户机 上结合了表示与业务逻辑，第二层是通过网络结合数据库服务器，C/S控制模式将多个复杂 网络应用的用户交互界面GUI、业务应用处理和数据库访问及处理相分离，服务器与客户机 之间通过消息传递机制进行对话，由客户端发出请求给服务器，服务器进行相应处理后，经 传递机制送回客户端。3. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述步骤S2、网络协议选择具体为:在发送客户机和服务器之间的远程控制命令和状 态反馈时均采用面向连接的TCP协议进行传输，服务器通过CCD摄象机获得工业机器人作业 现场的视频图像，经由视频采集卡将PAL制式图像转化为24位的帧彩色位图图像，然后将图 像送入视频编码解码器，再对图像进行压缩后传输，并且采用无连接的UDP协议实现图像传 输。4. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述步骤S3、网络远程驱动具体为:工业机器人的传感器采用时间驱动方式工作，工业 机器人的执行器和控制器采用事件驱动方式工作，并且采用随机预测显示方式预测环境和 工业机器人的状态，并且显示在操作者的监视器上，操作者通过虚拟现实技术来观察工业 机器人的运动行为。5. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述步骤S4、虚拟现实控制具体为:采用预测显示方式进行工业机器人远程控制，利用 通过虚拟现实技术来对工业机器人进行建模，并仿真实际工业机器人的运行，验证无误后 再将控制命令序列传给实体工业机器人执行，并将返回的实际执行信息通过虚拟的工业机 器人模型反映出来。6. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述工业机器人远程控制方法的操作方式包括单关节控制和整体控制，其中，在所述 单关节控制的操作方式中，操作者先通过操作控制端选定仿真模型或实体工业机器人的某 个关节，并使用该操作控制端调整选定关节的旋转角度，通过对一组关节的旋转角度逐个 调整，操作者得以控制工业机器人完成某个特定的任务;在所述整体控制的操作方式中，操 作者针对工业机器人的机械手进行控制，操作者通过控制机械手向上、向下、伸出、缩回、正 向平移、逆向平移六个方向移动来驱动工业机器人完成指定的动作，此控制方式中各个关 节的参数均通过逆向运动学方程计算得到，其中，单关节控制和整体控制在操作过程中支 持实时切换。7. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述工业机器人远程控制方法包括本地仿真模式和远程控制模式，在所述本地仿真模 式下，客户端未连接到服务器，通过本地仿真模式对模拟器中的工业机器人进行模拟控制， 以练习对工业机器人的各种操作，所述本地仿真模式下的各种行为和实体工业机器人完全 相同，所有对本地工业机器人进行的各种操作可直接应用于实体工业机器人之上； 在所述远程控制模式下，客户端连接至服务器，通过互联网对服务器端的工业机器人 进行远程控制，用户所有的操作均通过互联网传送到服务器端，本地工业机器人仿真模型 的状态从实体工业机器人中实时读取，并从服务器传回客户端。8. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述工业机器人远程控制方法支持操作过程录制与播放，在选择录制轨迹功能之后， 操作者可以将操作过程中工业机器人的运动轨迹保存下来，在后继的操作中将保存下来的 运动轨迹播放出来，并重复执行先前保存的对工业机器人各种操作，操作者同时可以选择 将操作轨迹保存到文件以待下次执行应用程序时再重新从文件调入。9. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述工业机器人远程控制方法支持实时视频反馈，在远程控制模式中连接到服务器主 机上的CCD摄像头会将工业机器人的实时视频信息通过互联网传送至客户端界面； 所述工业机器人远程控制方法支持视频/仿真窗口切换，在远程控制模式的初始界面 中，操作者通过对仿真模型的状态反馈来实时监控工业机器人的当前状态，此时视频窗口 起辅助监控作用，用户可以通过窗口切换功能将视频窗口切换为主要观测界面，此时仿真 模型窗口起辅助观测作用； 所述工业机器人远程控制方法支持仿真模型视角切换，通过仿真模型的观察视角切换 功能，操作者可在操作中从不同角度观察工业机器人状态。10. 根据权利要求1所述的基于互联网的工业机器人远程控制方法，其特征在于， 所述客户机和服务器的C/S控制模式采用基于套接字sockets的通信，支持数据的收 发，在网络的每一端都建立一个sockets，两个sockets之间可以建立连接，也可以无连接， 并通过对sockets的读、写操作实现网络通信功能。
【文档编号】H04L29/08GK106060058SQ201610444195
【公开日】2016年10月26日
【申请日】2016年6月16日
【发明人】江文辉, 肖南峰
【申请人】华南理工大学