包括支撑机器人面部及悬吊式摄像机的推车的远程呈现系统的制作方法

技术领域

所公开的主题一般地涉及机器人遥现（tele-presence）系统的领域。

背景技术：

机器人已经被用在从对危险材料的远程控制到辅助外科手术的施行的各种应用中。例如，颁发给Wang等人的美国专利No.5,762,458公开了一种允许外科医生通过使用机器人控制的仪器来施行微创医疗程序（medical procedure）的系统。Wang的系统中的机器人臂中的一个移动具有摄像机的内窥镜。该摄像机允许外科医生观察患者的手术区（surgical area）。

已经有由本申请的受让人InTouch科技公司引入的以RP-7为商标的移动遥现机器人在市场上被销售。该InTouch机器人由在远程站处的用户来控制。该远程站可以是具有允许用户远程控制机器人的移动的操纵杆的个人计算机。机器人和远程站都具有摄像机、监控器、扬声器以及麦克风，以考虑到双向视频/音频通信。机器人摄像机向在远程站处的屏幕提供视频图像，使得用户可以观察机器人的周围环境并相应地移动机器人。

InTouch还提供了一种包括被附着到吊臂的机器人面部的以VisitOR被出售的系统。吊臂和机器人面部可以被安装到手术室中。在手术室中使用机器人面部可能要求面部的消毒。另外，VisitOR要求在手术室中安装吊臂。这可以增加安装这样的系统的成本和复杂度。

附图说明

图1是遥现系统的图解；

图2是该系统的推车（cart）的透视图；

图3是推车的关节臂以及机器人面部的后视图；

图4是推车的悬吊式摄像机（overhead camera）的放大的透视图；

图5是远程站的显示用户界面的图解；

图6是显示用户界面的示出了被同时显示的通过机器人摄像机捕获的视频图像以及通过悬吊式摄像机捕获的视频图像的图解。

具体实施方式

公开的是一种包括推车的遥现系统。该推车包括具有机器人监控器、机器人摄像机、机器人扬声器、机器人麦克风的机器人面部以及包括悬吊式摄像机。该系统还包括被耦合到机器人面部以及悬吊式摄像机的远程站。远程站包括站监控器、站摄像机、站扬声器和站麦克风。远程站可以显示通过机器人摄像机和/或悬吊式摄像机所捕获的视频图像。举例来说，推车可以被用在手术室中，其中悬吊式摄像机可以被放置在消过毒的区域（sterile field）上方，以提供更加有益的有利位置来观察程序。远程站处的用户可以通过机器人面部进行电话会议，并且还可以通过悬吊式摄像机获得对医疗程序的观察。

更特别地通过参考数字参照附图，图1、2和3示出了遥现系统10。该系统10包括被耦合到远程控制站14的推车12。推车12具有机器人面部16以及悬吊式摄像机18。远程控制站14可以通过网络20被耦合到推车12。举例来说，网络20可以是诸如因特网之类的分组交换网络或诸如公共交换电话网络（PSTN）之类的电路交换网络或其它宽带系统。可替换地，推车12可以通过卫星被耦合到远程站14。

远程控制站14可以包括具有监控器24、摄像机26、麦克风28以及扬声器30的计算机22。计算机22还可以包含诸如操纵杆或鼠标之类的输入设备32。控制站14通常位于远离推车12的地方。虽然只有一个远程控制站14被示出，但是系统10可以包括多个远程站14。一般地，任意数目的推车12都可以被耦合到任意数目的远程站14或其它推车12。例如，一个远程站14可以被耦合到多个推车12，或者一个推车12可以被耦合到多个远程站14或多个推车12。该系统可以包括控制推车12与远程站14之间的接入的仲裁器（未示出）。

如在图3中示出的那样，推车12可以包括支撑并且可以移动机器人面部16的关节臂40。关节臂40可以具有分别允许机器人面部14被摇动（pan）和被倾斜的主动关节（active joint）42和44。主动关节42和44可以响应于由远程站提供的命令而移动。关节42和44可以分别包含提供臂40的位置反馈的位置传感器46和48。

参照图2和3，每个机器人面部16都包括（多个）摄像机50、监控器52、（多个）麦克风54以及（多个）扬声器56。机器人摄像机50被耦合到远程监控器24，使得远程站14处的用户可以观察通过机器人摄像机50所捕获的视频图像。同样地，机器人监控器52被耦合到远程摄像机26，因此手术地点（surgical site）处的人员可以观察远程站14的用户。麦克风28和54以及扬声器30和56都考虑到在系统操作者与手术地点处的人员之间的有声通信。

悬吊式摄像机18可以被耦合到吊臂60。吊臂60可以包括多个（主动的或被动的（passive））关节62。关节62可以包括位置传感器，以提供关于悬吊式摄像机18的位置的反馈。

如在图4中所示出的那样，推车12可以包括悬吊式麦克风64以及可拆式把手66。悬吊式麦克风64可以提供可替换的声音源。可拆式把手66可以被用来移动吊臂60以及悬吊式摄像机18。如果推车12被用在消过毒的区域中，例如在手术室中，那么在每个医疗程序之前，把手66都可以被消过毒的把手替换，以允许在消过毒的区域内的外科医生在程序期间定位吊臂。

再次参照图2，推车12可以包括直线驱动器70，所述直线驱动器70可以远程地或本地地被驱使来使机器人面部16以及悬吊式摄像机18的高度变化。使高度变化允许推车12被滚动穿过门，并且接着被驱使来将面部16以及摄像机18移动到被升高的位置。例如，面部16以及摄像机18可以被降低，以允许推车12被移动进入手术室。摄像机18可以接着被抬高，以提供期望的对手术台的观察。推车12可以包括位于吊臂60上的激光指示器72和/或定向照明（未示出）。推车12还可以包括本地控制面板74，以移动关节臂40、驱动器70和/或吊臂60。在无论人是正站着、坐着或者以卧姿躺着都将面部16移动到处于基本上与人相同的水平方面，直线驱动器70也是有利的。

机器人面部16可以包括处理器、硬盘驱动器以及使得面部16能够起到计算机作用的其它电路。面部16可以包括允许用户提供输入的输入面板76。举例来说，远程站的操作者可以通过机器人面部16提供一个或多个问题，其中推车的用户通过输入面板76提供答复。

系统10可以具有与由在加利福尼亚州的戈拉塔的受让人InTouch科技公司提供的名称为RP-7的机器人系统相同或类似的特定的部件和软件，并且具体表现在通过引入作为参考的美国专利6,925,357中所描述的系统。

图5示出了可以被显示在远程站14处的显示用户界面（“DUI”）120。DUI 120可以包括显示通过机器人摄像机和/或悬吊式摄像机所捕获的视频图像的机器人观察区域122 。DUI 120还可以包括显示通过远程站14的摄像机所提供的视频图像的站观察区域124。DUI 120可以是通过远程站14的计算机22所存储并操作的应用程序的部分。

DUI 120可以包括允许用户在通过机器人摄像机提供的视频图像与通过悬吊式摄像机提供的视频图像之间进行选择的图形开关126。DUI 120还可以具有允许用户选择如在图6中所示出的同时显示来自机器人和悬吊式摄像机的视频图像的图形开关128。来自两个摄像机的视频图像都可以从推车被流向远程站。通过呈现每个图像的中心矩形（例如320×480中心区），图像可以被合并。通过操纵任一图像上的光标，缩放或加亮特征可以被利用。当光标被移出所显示的视野时，该系统还可以自动摇动摄像机镜头。

该系统可以自动呈现来自具有对对象的最佳观察的摄像机的视频图像。例如，该系统可以利用模式识别技术来确定哪个视频图像提供了对象的更清楚的图像。该系统可以确定哪个摄像机更紧靠对象并且提供来自更接近于该对象的摄像机的图像。该系统可以利用来自推车的位置反馈来确定摄像机的相对于对象的接近性。该系统还可以具有可以确定摄像机到对象的接近性的诸如激光器、声纳等之类的传感器。该系统可以使用反馈和/或传感器来确定哪个摄像机更接近于对象。

该系统可以自动移动摄像机，使得每个摄像机都指向相同的或基本上相同的视野。例如，如果机器人面部被指向对象，则悬吊式摄像机可以被自动移动来捕获相同对象的视频图像。同样地，如果悬吊式摄像机正在捕获对象的视频图像，则机器人面部可以被自动移动，以指向相同的对象。这增强了远程操作者的“存在”，因为这些远程操作者正面对悬吊式摄像机正在观察的相同对象。

DUI 120可以具有允许用户在通过机器人麦克风或悬吊式麦克风所捕获的声音之间进行切换的图形开关130。该系统可以基于通过麦克风所捕获的声音的（多个）特征在麦克风之间自动切换。例如，该系统可以切换到提供最高的听觉清晰度的麦克风，或者切换到最紧靠生成该声音的人或对象的麦克风。

DUI 120可以包括提供机器人面部的定位的定位显示138。“改变”按钮140可以被选择来在新的会话中改变缺省的机器人面部。“改变”按钮140可以被用来在具有多个机器人面部的系统中选择并控制不同的机器人面部。用户可以通过选择框142发起并终止会话。当用户选择该框来发起会话时，框142从“连接”改变为“断开”。系统设置以及系统支持可以通过按钮144和146来选择。

机器人观察区域122以及站观察区域124都可以具有相关联的图形，以使视频显示以及音频显示变化。每个区域都可以具有相关联的图形音频滑动条148，以使所选择的麦克风的音频水平变化，并且具有另一滑动条152，以使扬声器的音量变化。

DUI 120可以具有滑动条150、154和156，以分别使所选择的摄像机的缩放、聚焦和亮度变化。通过选择图形摄像机图标之一158，静止图片可以在机器人面部或远程站处被拍摄。静止图片可以是在摄像机图标158被选择的时候被呈现在相对应的区域122或124处的图像。捕获并且播放视频可以通过图形图标160进行。返回到实时视频可以在拍摄静止图片、所捕获的视频或者审阅幻灯片之后通过选择图形“实况播送”按钮162来重新开始。

静止图片可以通过选择图标164从磁盘被加载用于进行观察。所存储的静止图像通过选择按钮166来审阅。相对于图像总数的所显示的图像的数目通过图形框168被示出。通过移动滑动条170，用户可以快速地经过幻灯片方式的静止图像或经过所捕获的视频片断。所捕获的视频图像可以通过选择圆圈174被暂停。播放可以通过相同的按钮174来重新开始。视频或静止图像通过按钮172可以从现役列表中被消除。视频或静止图像可以通过选择图标176被传送到机器人。例如，远程站处的医生可以将x光照片传送到机器人的屏幕。

该系统可以提供注释184被显示在区域122和/或124中的图像的能力。例如，远程站处的医生可以注释通过机器人面部摄像机所捕获的图像的某个部分。被注释的图像可以被该系统存储。该系统还可以考虑到通过图标176被发送到机器人面部的图像的注释。例如，医生可以将x光照片发送到机器人面部，所述x光照片由机器人屏幕被显示。医生可以注释该x光照片，以向位于机器人地点处的人员指出该x光照片的部分。这可以协助允许医生指示在机器人地点处的人员。

显示用户界面可以包括图形输入186，所述图形输入186允许操作者接通和关断远程站以及远程摄像机的观察。

参照图1，推车12可以被使用在手术室中。举例来说，吊臂60可以被移动来把悬吊式摄像机18放置在手术台200上方。悬吊式摄像机18可以位于消过毒的区域上方。机器人面部16可以邻近于消过毒的区域被放置。利用这样的配置，人员可以通过机器人面部16进行双向视频会议。悬吊式摄像机18可以提供对患者以及手术程序的更期望的观察。这会允许在远程站处的医师观察该程序并且召开视频会议，以向在手术地点处的人员提供指令、指导等。

对于本领域的技术人员将是显而易见的是，可以对上面描述的实施例的细节进行改变，而不偏离本发明的基本原理。当某些示例性实施例已经被描述并且在所附的附图中被示出时，应理解的是，这样的实施例仅仅是说明本概括性的发明（broad invention），并不是对本概括性的发明进行限制，并且应理解的是，本发明并不限于被示出的和被描述的特定的构造和装置，因为本领域技术人员可以想到各种其它修改方案。在权利要求书中，连接词“和”是包含的，连接词“或”是排他的，并且连接词“和/或”是包含的或排他的。本发明的其中请求保护专有的所有权或特权的实施例被如下限定。