具有双应用屏幕呈示的遥控机器人系统的制作方法
【专利摘要】监理系统包括耦合到远程站的通信装置。远程站具有显示涉及对对象造成影响的动作的第一信息并且同时显示涉及对对象的影响的第二信息的视觉显示器。远程站包括允许通过操作员向通信装置传送通信的至少一个输入装置。举例来说，在心脏支架的部署期间，专科医生可远程观察实时的荧光检查成像和患者的血液动力学。专家可在用于安装支架的适当的方向和时间选择要求上远程监理医疗人员。
【专利说明】具有双应用屏幕呈示的遥控机器人系统
【技术领域】
[0001]公开的主题通常涉及监理(proctoring)领域。
【背景技术】
[0002]机器人已经被用于从危险材料的远程控制到帮助外科手术执行的范围中的多种应用。例如，颁给Wang等人的美国专利编号5762458公开了通过机器人控制的仪器的使用允许外科医生执行微创的医疗过程的系统。Wang系统中的机器手臂中的一个移动具有照相机的内诊镜。照相机允许外科医生观察患者的外科手术区域。
[0003]移动机器人已经由本申请的受让人InTouch科技公司在市场上销售。InTouch机器人通过在远程站的用户控制。远程站可以是允许用户远程控制机器人移动的具有操纵杆的个人计算机。机器人和远程站都具有允许远程站操作员和机器人站点人员之间的双向视频/音频通信的照相机、监视器、扬声器和麦克风。
[0004]InTouch系统已经被用于远程援助和培训医疗人员。例如，在一个位置的医疗专家可以观察在远程位置的患者并且对在患者站点的医疗人员提供监理。期望增强InTouch系统的监理能力。
【专利附图】
【附图说明】
[0005]图1是机器人系统的图示；
[0006]图2是机器人的电气系统的示意图；以及
[0007]图3是具有第一屏幕域和第二屏幕域的远程站的显示器用户界面。
【具体实施方式】
[0008]公开的是包括耦合到远程站的通信装置的监理系统。远程站具有显示涉及对对象造成影响的动作的第一信息并同时地显示涉及对对象的影响的第二信息的视觉显示器。远程站包括允许通过操作员向通信装置传送通信的至少一个输入装置。举例来说，在心脏支架的部署期间，专科医生可以远程地观察实时的荧光检查成像和患者的血液动力学。专家可以在用于安装支架的适当的方向和时间选择的要求上远程监理医疗人员。荧光检查成像显示正被插入跳动的心脏的支架图像。支架将造成对心脏的影响，例如心跳的变化。血液动力学提供关于跳动的心脏的数据，即支架的影响。患者血液动力学和荧光检查成像的同时显示为专家提供了实时数据，使得他们可以发出例如“现在部署”的命令以便插入支架。备选地，监理的专家将与在手术中的外科医生交谈以便商量正在被接收的血液动力学信息的模式并且通过此信息建议“如我们可以观察到的，这是植入部署的理想时间选择”。
[0009]通过参考标号更具体地参考附图，图1示出系统10。机器人系统包括机器人12、基站14和远程控制站16。远程控制站16可通过网络18耦合到基站14。举例来说，网络18可以是例如因特网的分组交换网络，或例如公共交换电话网络(PSTN)的电路交换网络或其他宽带系统。基站14可通过调制解调器20或其他宽带网络接口装置耦合到网络18。举例来说，基站14可以是无线路由器。备选地，机器人12可通过例如卫星具有到网络的直接连接。
[0010]远程控制站16可包括具有监视器24、照相机26、麦克风28和扬声器30的计算机
22。计算机22还可包括例如操纵杆或鼠标的输入装置32。控制站16通常位于远离机器人12的位置。虽然只示出了一个远程控制站16，但是系统10可包括多个远程站。通常，任何数量的机器人12可通过任何数量的远程站16或其他机器人12控制。例如，一个远程站16可耦合到多个机器人12，或一个机器人12可耦合到多个远程站16或多个机器人12。
[0011]每个机器人12包括被附于机器人外壳36的移动平台34。照相机38、监视器40、麦克风42和扬声器44也被附于机器人外壳36。麦克风42和扬声器30可产生立体声。机器人12还可具有被无线耦合到基站14的天线48的天线46。系统10允许在远程控制站16的用户通过输入装置32的操作移动机器人12。机器人照相机38耦合到远程监视器24使得在远程站16的用户可以观察患者。同样地，机器人监视器40耦合到远程照相机26使得患者可以观察用户。麦克风28和42以及扬声器30和44考虑到患者和用户之间的可听通信。
[0012]远程站计算机22可操作微软操作系统软件和WINDOWS XP或例如LINUX的其他操作系统。远程计算机22还可操作视频驱动器、照相机驱动器、音频驱动器和操纵杆驱动器。可以用例如MPEG CODEC的压缩软件传送和接收视频图像。
[0013]机器人12可耦合到一个或多个医疗监视装置50。医疗监视装置50可以从患者处采集医疗数据。举例来说，医疗监视装置50可以是听诊器、脉搏血氧仪和/或EKG监视器。医疗监视装置50可包括向机器人12传送患者数据的无线传送器52。无线传送的数据可以通过天线46或独立天线(未示出)接收。然后，机器人12可传送数据至远程站16。医疗装置50可包括可以产生荧光检查图像的荧光检查器。此外，医疗装置可产生例如心率的患者血液动力学数据。
[0014]来自医疗监视装置50的无线传送可符合例如IEEE的多种无线标准。用于传送来自医疗监视装置50的数据的标准不应该干扰机器人12和基站14之间的无线通信。虽然示出和描述了无线传送，可以理解医疗监视装置50可以通过电线(未示出)耦合到机器人12。
[0015]当传送荧光检查成像和患者血液动力学时，系统可以将血液动力学数据与荧光检查成像的帧结合成被传送至远程站用于分屏显示的双宽度帧。两个帧的缝合将在压缩之前发生，使得压缩算法(例如MPEG-4)能够利用可以发生在两个帧之间的冗余信息。与分别压缩和传输的两个流相比，这将潜在地导致同等的质量和更低的带宽。备选地，荧光检查成像和血液动力学可以通过去耦的方式被传送并且然后通过例如在传送前被插入到信息中的时间戳的时间选择信息来结合。
[0016]远程站16可通过网络18耦合到服务器54。服务器54可包括患者的电子医疗记录。举例来说，电子医疗记录可包括治疗、病历、药物治疗信息、例如e_ray、MRI或CT扫描、EKG的医疗图像、实验结果、医师笔记等的书面记录。医疗记录可从服务器54检索并且通过远程站16的监视器24显示。替代地，或者另外地，医疗记录可以被存储在移动机器人12中。远程站16可允许医师修改记录并且然后将修改的记录存储回服务器54和/或机器人12中。[0017]图2示出机器人12的实施例。每个机器人12包括高等级控制系统60和低等级控制系统62。高等级控制系统60可包括连接至总线66的处理器64。总线通过输入/输出(I/O)端口 68耦合到照相机38，并且通过串行输出端口 70和VGA驱动器72耦合到监视器40。监视器40可包括允许患者通过触摸监视器屏幕键入输入的触摸屏功能。
[0018]扬声器44通过数字模拟转换器74耦合到总线66。麦克风42通过模拟数字转换器76耦合到总线66。高等级控制器60还可包括都耦合到总线72的随机存取存储器(RAM)装置78、非易失性RAM装置80和大容量存储装置82。大容量存储装置82可包括可以通过在远程控制站16的用户访问的患者医疗档案。例如，大容量存储装置82可包括患者的照片。用户，尤其是健康护理提供商，可取回旧照片并且在监视器24上与通过照相机38提供的患者的当前视频图像做并排比较。机器人天线46可耦合到无线收发器84。举例来说，无线收发器84可根据IEEE802.1lb的信息传送和接收。收发器84还可根据IEEE (也被称为蓝牙)来处理来自医疗监视装置的信号。机器人可具有独立的天线以便接收来自医疗监视装置的无线信号。
[0019]控制器64可用LINUX OS操作系统操作。控制器64还可操作MS WINDOWS以及视频、照相机和音频驱动器用于与远程控制站16的通信。可使用MPEG CODEC压缩技术收发视频信息。软件可允许用户向患者发送e-mail并且反之亦然，或允许患者访问因特网。通常高等级控制器60操作以便控制机器人12和远程控制站16之间的通信。低等级控制器可以控制机器人12的移动。该系统可以与由加利福利亚州圣巴巴拉市的受让人InTouch科技公司提供的名为RP-7的机器人系统相同或相似，其通过参考并入本文。
[0020]图3示出远程站的视觉显示器120。视觉显示器120显示第一屏幕域122和第二屏幕域124。两个屏幕域可通过两个不同的监视器创建。备选地，两个屏幕域也可通过一个监视器显示。第一和第二屏幕域122和124可以是由远程站16的计算机22存储和操作的应用程序的一部分。
[0021]第一屏幕域122可显示涉及对对象造成影响的动作的第一信息。第二屏幕域124可同时显示涉及对对象的影响的第二信息。举例来说，系统可用于在医疗过程期间的监理。第一屏幕域122可显示示出支架正被插入穿过跳动心脏的大动脉的荧光检查成像。第二屏幕域124可显示患者血液动力学例如心率。支架在适当的位置并且在心跳的某些时序期间被插入是关键的。远程站的医疗专家可同时观察支架的位置和血液动力学数据。这允许专家监理位于患者位置的某人关于某个支架移动的时间选择。监理可通过从远程站传送到机器人的视频和/或音频通信完成。尽管示出和描述了支架的插入，系统可在任何类型的过程中使用，例如血块粉碎药的部署。
[0022]视觉显示器120可包括提供在两个同步屏幕域122和124中显示的信息的发送和接收之间的延迟的延迟指示器126。例如，图3示出来自手术室的荧光检查成像和血液动力学数据的发送与远程站的成像和数据的接收之间的92毫秒的延迟。备选地，延迟值可指示从手术室到远程站并且返回至手术室的往返延迟，因此表示手术室中图像的捕获和手术室中相关监理指示的接收之间的时间。此延迟信息对于部署可以是关键的，因为远程专家必须确定当声明例如“现在部署”的命令时，消息在适当的时刻而不是在之后的不适当的时间到达。视觉显示器120还可包括提供当延迟超过阈值时的指示的指示器128。图4示出当延迟低于阈值时显示的“安全时间选择”的指示。在一个实施例中，医师可从下拉菜单(未示出）中选择正被监理的过程的类型，并且表示最大安全延迟以便提供时间选择敏感指令的阈值将从通过过程类型索引的值的表设置。
[0023]系统允许操作者同时观察涉及将影响对象的动作的信息以及涉及对对象的影响的信息。这允许操作者向对象的站点提供通信，例如医生可监理在外科病房站点的另一位医生。
[0024]多种类型的过程可从这项技术中获益。除上述的输导管心脏瓣膜部署之外，该系统还可用于脑深部刺激（DBS)过程中。患者的头颅为神经外科作好准备并且清醒，而外科医生钻穿颅骨并在大脑特定的目标区域放置扫描/刺激探针。外科医生同时读取DBS监视器记号（波形和数字）并且然后要求患者举起手臂并且从100倒数。患者为这个任务努力。外科医生可放大到大脑的目标区域的刺激并要求患者重复这个任务直到患者可以更容易地执行这个任务。在这个过程中，监理的外科医生必须同时看到：
[0025](a)患者头部所在的床头，包括执行钻孔和刺激的本地外科医生；
[0026](b)涉及本地外科医生正在做什么的DBS监视器；以及可能地
[0027](c)手术视野的平面图。
[0028]在使用中，当接收请求监理的呼叫时，医师可以是在移动中的，并且可以在走向办公室时利用例如iPad的移动装置开始监理会话。在移动显示器上仅有用于荧光检查成像的空间，其仅足够在程序的起始段用于监理。到达办公室后，医师可从可使用3G和/或802. 11连接的移动装置断开，并从以太网连接上的宽屏桌面系统重新连接。医师现在可以具有荧光检查和血液动力学的高分辨率视图，并且可监理最终的部署。这个转变考虑到跨越两个装置的护理的连续性。备选地，当仍通过移动装置连接时，医师可开始使用桌面系统，并且系统将实现无缝自动的从移动装置的断开以及到桌面系统的重连接。
[0029]虽然在附图中描述和示出了某些示范性的实施例，将理解的是这样的实施例仅仅是说明并且不限制本宽泛的发明，并且本发明不限于示出和描述的特定构造和布置，因为本领域普通技术人员可以想到多种其他的修改。
【权利要求】
1.一种监理系统，包括: 通信装置；以及 耦合到所述通信装置的远程站，所述远程站具有视觉显示器，其显示涉及对对象造成影响的动作的第一信息并且同时显示涉及对所述对象的所述影响的第二信息，所述远程站包括允许通过操作员向所述通信装置传送通信的至少一个输入装置。
2.权利要求1的系统，其中所述通信装置包括监视器和扬声器。
3.权利要求2的系统，其中所述通信装置包括通过所述远程站控制的移动平台。
4.权利要求1的系统，其中所述第一信息包括荧光检查图像并且所述第二信息包括至少一个血液动力学数据。
5.权利要求1的系统，其中所述远程站显示表示所述第一信息和所述第二信息的本地捕获与所述第一信息和第二信息的远程显示之间的网络迟滞的延迟。
6.权利要求1的系统，其中所述远程站显示涉及延迟是否超过阈值的指示器。
7.权利要求1的系统，其中所述远程站的所述至少一个输入装置包括照相机和麦克风。
8.权利要求1的系统，还包括将所述通信装置耦合到所述远程站的网络。
9.权利要求1的系统，其中所述通信装置包括耦合到监视器的照相机以及耦合到扬声器的麦克风的机器人。
10.权利要求9的系统，其中所述机器人包括通过所述远程站控制的移动平台。
11.权利要求1的系统，其中所述通信装置将视频帧和附加信息结合，压缩所述视频帧和附加信息的所述结合，并传送所述视频帧和所述附加信息的所压缩的结合，并且所述远程站接收所述视频帧和所述附加信息的所述压缩的结合。
12.一种用于监理的方法，包括: 在远程站显示涉及对对象造成影响的动作的第一信息并且同时在所述远程站显示涉及对所述对象的所述影响的第二信息；以及 从所述远程站的操作员向与所述动作有关的人员传送通信。
13.权利要求12的方法，其中所传送的通信包括所述操作员的图像和来自所述操作员的语音通信。
14.权利要求13的方法，还包括在机器人监视器上显示所述图像并且从机器人扬声器发出所述语音通信。
15.权利要求14的方法，还包括通过所述远程站的输入移动所述机器人。
16.权利要求12的方法，其中所述第一信息包括荧光检查图像并且所述第二信息包括至少一个血液动力学数据。
17.权利要求12的方法，还包括显示表示所述第一信息和所述第二信息的本地捕获与所述第一信息和第二信息的远程显示之间的网络迟滞的延迟。
18.权利要求12的方法，还包括显示涉及延迟是否超过阈值的指示器。
19.一种用于医疗咨询的方法，包括: 从远程健康装置传送患者的图像； 在第一远程站显示患者的所述图像； 启动所述远程健康装置和第二远程站之间的连接；以及在所述第二远程站处显示带有附加信息的所述患者的所述图像。
20.权利要求19的方法，其中所述远程健康装置是机器人。
21.权利要求19的方法，其中通过所述第一远程站显示的所述患者的所述图像是荧光检查图像。
22.权利要求19的方法，其中所述附加信息是血液动力学数据。
23.权利要求19的方法，其中所述附加信息是较大分辨率的视频图像。
24.权利要求19的方法，其中与所述第一远程站视图的通信在所述第二远程站连接的启动时被终止。`
【文档编号】G06Q50/24GK103503017SQ201280006058
【公开日】2014年1月8日 申请日期:2012年1月18日 优先权日:2011年1月21日
【发明者】D·A·斯图尔特, M·C·陈, T·C·赖特, Y·王, F·赖 申请人:英塔茨科技公司