本申请请求2010年11月19日提交的美国临时专利申请序列号61/415594的利益。
本发明通常的涉及机器人。更特别的，本发明针对用于在机器人环境中显示三维图像数据的系统、方法和设备。
背景技术：
当前，需要高功率的个人计算机将三维工作单元数据呈现为三维图像。另外，针对每个显示装置，需要定制的编程代码(例如c编程语言)。因此，为了使得特定的装置(例如计算机)显示工作单元的三维图像，该特定的装置必须包括定制的软件程序。
典型的，机器人的操作者需要访问可以可视化双检安全(dcs)区和干扰的专用计算机。目前，用户不能在个人电子装置例如蜂窝电话、apple有限公司的ipad、或其他浏览器使能的装置上容易的观看代表机器人工作单元的三维图像。因此，机器人操作者的手中不能容易地获得工作单元的三维图像。
现有技术同样需要程序员/操作者理解深奥的数学概念，例如特定角度如何关联到机器人工具(tooling)的角度以及关联到三维空间中的其他元件。对于一种物理位置，操作者可看到该物理机器并根据物理位置编程点。然而，存在更多的虚拟的特殊关系，其在现有技术中不能被操作者看到。在没有三维模型的情况下，元件，例如安全墙、机器人行程(envelope)、机器人与用于特定操作的操作区交叠的区域，很难可视化。操作者必须非常有经验以便将描述的这些元件的文本关联到物质世界。
点动(jog)机器人的现有技术需要有经验的操作者，其知道如何将点动按钮映射到物质世界。操作者典型的需要响应于作用于(engage)特定键而在内心可视化得到的结果。然而，即使有经验的操作者偶尔也会作用于不需要的键，这将导致损坏机器人和周围设备。对于特殊应用，例如电弧焊，操作者必须熟悉特定术语，例如超前角和滞后角，这在传统上提供的文本信息中是不显而易见的。
现有技术的缺陷：
1、工作单元的常规的二维表示是原始的并且不能被试图处理三维工作单元环境的用户很好的理解：
2、机器人的操作者需要访问与该工作单元远离的计算机；
3、操作者对工作单元的三维表示不具有便携式访问(例如，操作者不具有机器人程序的便携式视觉虚拟(点云)表示)；并且
4、没有标准化的程序代码用于浏览器使能的装置。
技术实现要素：
与本发明协调一致地，用于在机器人环境中显示三维图像数据的三维表示的系统和方法如下克服了现有技术的缺陷。
本发明的系统和方法提供了在各种便携式手持装置上显示三维工作单元数据的表示的器件。因此，拥有兼容的浏览器使能的手持式装置的任何用户可使用三维工作单元数据。因此，用户可以获得可信的三维显示作为帮助来进行教学以及维护机器人。
在一个实施例中，用于显示三维工作单元数据的系统包括：产生工作单元数据的器件；显示装置，包括用于接收标准格式的工作单元数据以及显示工作单元数据的三维呈现的网络浏览器；以及在显示装置上操纵三维呈现的器件。
在另一个实施例中，用于显示三维工作单元数据的设备包括：操作该设备的处理器；耦合到处理器的显示器；以及在该设备上运行的网络浏览器，用于接收标准格式的工作单元数据以及用于在显示器上显示工作单元数据，其中该设备充当客户端，以将工作单元数据显示为三维呈现。
本发明还包括用于显示三维工作单元数据的方法。
一种方法，包括步骤：
a)提供工作单元数据；
b)提供包括网络浏览器的显示装置；
c)将工作单元数据传达到显示装置；
d)使用显示装置的网络浏览器显示视觉输出，该视觉输出代表工作单元数据的三维呈现；
以及
e)操纵该视觉输出。
附图说明
当依照附图考虑时，从优选实施例的以下详细描述中，以上以及本发明的其他优势对于本领域技术人员是显而易见的，其中：
图1是根据本发明的实施例的用于显示工作单元数据的系统的概略方框图；
图2是根据本发明的实施例的用于显示工作单元数据的方法的概略方框图；
图3-7是在图1的系统的显示装置上呈现的视觉输出的抓屏的实施例；
具体实施方式
下述详细的说明和附图描述并示出了本发明的各种实施例。说明和附图用于使得本领域技术人员做出并使用本发明，但不试图以任何方式限定本发明的范围。关于公开的方法，提供的步骤本质上是示范性的，因此步骤的顺序不是必须或关键的。
图1示出根据本发明的实施例的用于显示三维机器人工作单元数据的系统10。如所示的，系统10包括用于产生工作单元数据的器件12，用于接收工作单元数据并显示代表工作单元数据的视觉输出的显示装置14，以及用于操纵视觉输出的器件16。
作为非限制性实例，用于产生工作单元数据的器件12包括机器人控制器12a以及离线编程工作站12b中的至少一个。可以理解可使用工作单元数据的其他来源。作为另外的非限制性实例，在机器人13上设置网络服务器12c，以便将工作单元数据传达到显示装置14(例如通过因特网或网络连接)。可进一步理解的是可将网络服务器12c远离机器人13设置。
在特定实施例中，工作单元数据是完整的三维数据(例如，“完整的3d”，其中显示装置14具有完整的实时三维显示能力)。作为非限制性实例，工作单元数据代表三维机器人模型、动画三维机器人模型、虚拟安全区、机器人干扰区以及视觉建立数据中的至少一个。工作单元数据可代表其他数据和结构，例如诸如机器的模型、工具的模型(例如手臂工具的末端)、虚拟墙的模型、机器工作空间的模型、位置序列数据、点焊枪的模型、电弧焊炬的模型、喷漆枪和风扇喷雾器的模型、工件、物理安全围栏、以及其他机器。然而，可以理解的是，工作单元数据可代表任何物理结构或虚拟表示。
系统10典型的包括标准网络技术以将工作单元数据传达到显示装置14。例如，典型的依照html5规范(例如canvas、webgl、svg等等)传输工作单元数据。因此，可在没有定制的本地编程代码的情况下，显示装置14可接收工作单元数据并呈现工作单元数据的视觉表示(例如视觉输出)。可以理解的是，例如可使用任何标准网络通信技术诸如有线以太网、无线以太网、蓝牙协议、蜂窝网络以及有线串行连接，将工作单元数据传达到显示装置14。可使用传送工作单元数据的其它器件，例如美国专利号6518980中描述的系统和方法，此处通过引用结合其全部内容。
在特定实施例中，显示装置14包括动态显示器(未示出)，其中可在三维空间中操纵三维元件的视觉输出。作为非限制性实例，显示装置14包括完整的动画机器人链接更新。作为进一步的非限制性实例，显示装置14提供视觉输出，该视觉输出包括机器人程序路径、机器人工作行程、干扰区以及安全墙中的至少一个。可在显示装置14上呈现其他视觉输出。
在特定实施例中，显示装置14包括用于接收标准格式的工作单元数据的网络浏览器18。然而，可使用其它器件(例如软件、平台等等)接收任意格式的工作单元数据并在显示装置14上显示数据。可以理解的是，显示装置14可为浏览器使能的教导器(teachpendant)、浏览器使能的蜂窝电话、浏览器使能的便携计算机(例如平板计算机或其他个人计算机)之一。可进一步理解的是，可使用任何装置访问和显示工作单元数据的表示。在特定实施例中，如本领域技术人员可以理解的是，显示装置14可包括安全开关和与机器人教导器类似的使能装置。在特定实施例中，显示装置14可包括与教导器类似的部件，该教导器在美国专利号6560513中描述，该专利此处通过引用结合其全部内容。作为非限制性实例，显示装置14可包括可操作显示装置14的处理器20和显示装置14的任何部件(例如显示屏幕、网络浏览器18以及输入/输出(i/o)装置)。
用于在显示装置14上操纵视觉输出(例如三维呈现)的器件16典型地包括控件(例如触摸屏、操纵杆、鼠标、追踪球、加速器等等)以进行机器人位置的修改、编程路径的修改、对机器人编程、调节机器人、修改观察点、编程电弧焊、编程点焊、编程拾取操作以及编程密封操作中的至少一个。
图2示出了用于显示三维工作单元数据的方法100(例如工作单元数据的三维呈现)。在步骤102，提供工作单元数据。可以使用通信协议从机器下载机器的模型(例如机器人)和相关联的部件，此处的机器充当服务器，并且手持装置(例如显示装置14)充当到服务器的客户端。这样的关系的一个实例是网络浏览器18和网络服务器。
在步骤104，提供显示装置14，该显示装置14与工作单元数据的源数据通信。
在步骤106，工作单元数据被传达到显示装置14。作为非限制性实例，使用http标准传达工作单元数据。可以理解的是，使用像http这样的通用、标准并且普遍的协议允许到若干服务器的各种连接检索额外的信息，因此允许普通的手持装置(例如显示装置14)与若干不同的机器接口。可进一步理解的是http协议可使用通用方法(例如webgl)演变到包含三维概念。因此，可使用通用的器件在手持装置上显示遵循标准的任何机器。
在步骤108，显示装置14使用网络浏览器18呈现工作单元数据的视觉表示(即视觉输出)。作为非限制性实例，显示装置14通过作用于用于操作的器件16(例如按压移动键)，允许用户图形地预览机器的移动，其中显示装置14在实际移动该机构之前图形地显示该移动。作为另外的非限制性实例，可配置呈现在显示装置14上的视觉输出以便示出碰撞对象(例如安全墙)，并在执行移动之前，投影物理机器人与碰撞对象的碰撞。
在步骤110，操纵由显示装置14呈现的视觉输出。在特定实施例中，用户可单一地或成组地选择视觉点，其中视觉点可与编程的序列相关联。作为非限制性实例，用户可移动和配置三维空间中的视觉点。作为另外的非限制性实例，用户可旋转、缩放、倾斜并摇摄特定视图。可以理解的是用户可通过基础软件以任何可用方式操纵视觉输出。
在特定实施例中，用于编程和操作机器人的方法包括在传统教学装置上使用工作单元数据的三维显示。因此，操作者可执行所有编程机器人需要的功能，例如慢跑，并操作来自也被装配以呈现三维显示的传统的教学装置的相关硬件。可以理解的是，当在相同装置上可视化并操纵三维数据时，该教学装置可包括安全互锁以提供真实的机器人的安全操作。进一步理解的是，教学装置将典型的是教导器，专用于教学和该特定机器人的操作。
作为示出的实例，图3-7示出了系统10和方法100在操作中的实施例。特别的，图3示出了在作为屏幕显示器115的输送机环境中的机器人工作单元的三维视觉输出120。在特定实施例中，用户可与视觉输出120交互以操纵视觉输出。作为另外的非限制性实例，视觉输出120所代表的各种部件可被用户单独选择(例如围栏121、机器人122、机器人支持固定设备123、加载平衡组124、输送台125(即vistrack工作区域)、传感器(照相机等)以及其他输送部件)。
如图4中所示的，在特定实施例中，一旦用户选择特定对象，则出现弹出屏幕130。例如，当用户选择输送台时，可在显示装置14上呈现建立屏幕作为弹出屏幕130，以允许用户观看和配置与选择的输送台相关的配置。理解的是，可使用任何方法触发对显示装置14的视频输出120上呈现的任何对象的选择(例如双击)。
在特定实施例中，用户可选择特定菜单项以配置在工作单元环境中的部件。因此，如在图5中所示的，一旦选择了菜单项，可自动调整视觉输出120的大小以提供部件的适当视图。
如图6所示的，例如，当用户正配置特定机器人的设置时，则显示装置可提供自动缩放和角度改变以便聚焦在视觉输出120的代表选择的机器人122的部分。理解的是，可使用任何缩放和角度修改技术。
作为另外的实施例，如图7所示的，用户可与视觉输出120交互以操纵特定设置并可视化该得到的更新。
通过允许手持装置显示和操纵工作单元数据的三维呈现，本发明的系统10和方法100避免了现有技术系统的缺点。具体地，一旦手持装置(例如显示装置14)具有工作单元和相关部件的完整的模型，操作者可以直观的方式图形地操纵编程数据。例如，与从传统的数字列表选择位置相反，可基于虚拟安全墙在三维空间中相对于其它部件的显示位置选择该虚拟安全墙。操作者也可基于形状和尺寸而非名字和值的表格查找并选择位置群集。另外，操作者可作用于显示装置14的触摸屏以指向需要的机器人位置，其中，在确认之后，可将机器人引导到所选择的位置。
在工作单元数据的三维呈现中也可呈现特定处理。例如，在电弧焊应用中，操作者可作用于显示装置14以操纵工作单元数据的三维呈现以定位虚拟炬(例如使用期望的方向和角度)。因此，可控制物理炬工具以与操作者设置的虚拟呈现匹配。理解的是，其他应用可得益于系统10和方法100呈现的三维视觉输出。
从前述描述中，在没有偏离本发明的精神和范围的情况下，本领域技术人员可容易地获知本发明的实质特点并对本发明做出各种改变和修改以便将其适应各种用途和条件。