图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免的制作方法【专利说明】图像采集装置和可操纵装置活动臂受控运动过程中的碰撞避免[0001]相关申请的交叉引用[0002]本申请要求享有2012年12月10日提交的美国临时申请号61/735,170和2013年12月10提交的美国非临时申请号14/101，769的优先权，其全部内容被引入本文作为参考。发明领域[0003]本发明总体上设及机器人系统，并且具体地设及图像采集装置和可操纵装置机器人臂受控运动过程中的碰撞避免。[0004]发明背景[0005]机器人系统和计算机辅助装置通常包括操纵器械W在工作位点执行任务的机器人或活动臂、和支撑采集工作位点图像的图像采集装置的至少一个机器人或活动臂。当机器人臂相互紧紧靠近操作时，存在运样的可能性：臂可能相互碰撞，并且由此导致臂损坏。当机器人臂一同操作时，可直接防止运种碰撞。然而，当机器人臂独立操作时，碰撞避免可远更具挑战性。[0006]机器人臂包括通过一个或多个主动控制接头偶联在一起的多个连杆。在多种实施方式中，可提供多个主动控制接头。机器人臂还可包括一个或多个被动接头，其不被主动控审IJ，但依从主动控制接头的运动。运种主动和被动接头可W是旋转或棱柱接头。可通过接头位置和连杆结构和偶联知识确定机器人臂的构型。[0007]为避免机器人臂之间的碰撞，拥有臂构型信息和其各自在共同坐标系统中的位置信息是非常有用的。通过运种信息，控制其中一个机器人臂的运动的控制器可采取行动W避免与另一机器人臂碰撞。[0008]控制器可采取W避免碰撞的一个行动是向指挥机器人臂的操作人员警示即将与另一机器人臂碰撞。作为运种警示系统的一个实例，U.S.2009/0192524A1，名为SyntheticRepresen化tionofa如rgicalRobot"--其被引入本文作为参考，描述了安置了多个机器人臂的患者侧推车。作为运种警示系统的另一实例，U.S.2009/0326553,名为"MedicalRoboticSystemProvidinganAuxiliaryViewofArticulatableInstrumentsExtendingoutofaDistalE；ndofanElntryGuide"--其被引入本文作为参考，描述了具有延伸到进入引导件（entryguide)外的多种较接器械的医疗机器人系统。作为运种警示系统的再一实例，U.S.2009/0234444A1，名为"MethodandApparatusforConductinganInterventionalProcedureInvolvingHeartValvesusingaRobot-basedX-rayDevice"-其被引入本文作为参考，描述了运样的医疗机器人系统：其中X射线源和检测器安置在C-臂的相对端，从而可在利用导管控制机器人执行医疗程序期间采集患者解剖结构的X射线图像。[0009]碰撞避免还可通过控制一个或多个机器人臂的运动的控制器自动进行。作为运种自动碰撞避免系统的实例，U.S.8,004,229,名为Softwarecenterandhi曲Iyconfigurableroboticsystemsforsurgeryandotheruses"--其被弓I入本文作为参考，描述了一种医疗机器人系统，其被配置W避免其机器人臂之间的碰撞。该机器人臂具有多余度，使得每个臂可有多种构型W实现其支持器械的预期位置和定向。每个控制器命令其相关机器人臂运动服从于二次约束，导致排除会导致与另一机器人臂碰撞的可能臂构型。[0010]然而，当多个机器人臂被多个控制器控制时，如果多个控制器中多于一个试图避免碰撞，则可能造成混乱和无意的后果。运个问题在控制器之间没有或仅有有限的信息交流时加剧，如可W是机器人系统采用独立地操作的机器人臂时的情况。为避免机器人臂碰撞问题，可相继使用独立地操作的机器人臂，而非在工作位点同时使用。然而，在工作位点执行程序或任务期间同时使用机器人臂可W是有利的。[0011]发明目的和概述[0012]因此，本发明的一个或多个方面的一个目的是其中实施的自动进行机器人臂碰撞避免的机器人系统和方法。[0013]本发明的一个或多个方面的另一目的是其中实施的自动进行独立操作型机器人臂的碰撞避免的机器人系统和方法。[0014]本发明的一个或多个方面的另一目的是其中实施的在不阻止任何机器人臂执行其目的任务的情况下自动进行机器人臂碰撞避免的机器人系统和方法。[0015]运些和另外的目的通过本发明多种方面来实现，其中简而言之，一方面是机器人系统，包括：第一机器人臂，其支持可操纵装置，该可操纵装置具有工作端；和控制器，其被配置W控制第一机器人臂和第二机器人臂中至少一个的运动，同时避免第一和第二机器人臂之间的碰撞，其中第二机器人臂支持图像采集装置，该图像采集装置用于采集可操纵装置的工作端的多个图像，由此可生成可操纵装置的工作端的=维计算机模型；其中控制器被配置W避免第一和第二机器人臂之间的碰撞：通过利用可操纵装置的工作端的多个图像中的至少一个图像来确定可操纵装置的工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；通过利用可操纵装置的工作端相对于图像采集装置坐标系统的确定的位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；和通过利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；通过利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间的即将的碰撞；和通过命令第一和第二机器人臂其中一个采取行动W避免即将的碰撞。[0016]另一方面是机器人系统中实施的避免第一和第二机器人臂之间碰撞的方法，其中第一机器人臂支持可操纵装置，该可操纵装置具有工作端，其中第二机器人臂支持图像采集装置，W采集可操纵装置的工作端的多个图像，由此可生成可操纵装置的工作端的=维计算机模型，并且其中方法包括：利用可操纵装置的工作端的多个图像中的至少一个图像来确定可操纵装置的工作端相对于图像采集装置坐标系统的位置和定向，其中图像采集装置的坐标系统相应于采集图像的透视图；通过利用可操纵装置的工作端相对于图像采集装置坐标系统的确定位置和定向来确定第一和第二机器人臂其中一个相对于共同坐标系统的构型和位置；通过利用接收到的第一和第二机器人臂其中另一个的接头位置信息来确定第一和第二机器人臂其中另一个相对于共同坐标系统的构型和位置；利用第一和第二机器人臂相对于共同坐标系统的确定构型和位置来确定第一和第二机器人臂之间即将的碰撞；和命令第一和第二机器人臂其中一个采取行动W避免即将的碰撞。[0017]另一方面是机器人系统，包括：第一机器人臂，其支持可操纵装置，该可操纵装置具有工作端；和处理器，其被编程W将第一机器人臂定位至第二机器人臂，该第二机器人臂支持图像采集装置，其中处理器通过如下进行定位：利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。[0018]另一方面是通过定位第一和第二机器人臂的处理器实施的方法。第一机器人臂支持可操纵装置，该可操纵装置具有工作端。第二机器人臂支持图像采集装置。方法包括利用第一和第二机器人臂中至少一个的外部跟踪数据和运动学数据，在第一和第二机器人臂的初始位置处进行第一和第二机器人臂的低精度定位；利用由至少部分第一机器人臂的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第一设置位置的中精度定位，其中第一设置位置包括指示低精度定位的第一安全界限；和利用由可操纵装置的工作端的图像采集装置采集的至少一个图像和第一和第二机器人臂中至少一个的运动学数据，进行第一和第二机器人臂相对于第二设置位置的高精度定位，其中第二设置位置包括指示中精度定位的第二安全界限。[0019]根据一些实施方式，运动控制系统包括控制器。控制器包括一个或多个处理器和偶联至一个或多个处理器的存储器。控制器偶联至计算机辅助外科装置，该计算机辅助外科装置具有第一活动臂，该第一活动臂偶联至可操纵装置，该可操纵装置具有工作端。控制器进一步偶联至第二活动臂，该第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置。控制器被配置W接收第一活动臂的一个或多个第一构型；接收第二活动臂的一个或多个第二构型；从图像采集装置接收工作端的第一多个图像；基于第一多个图像中的至少一个，确定工作端在共同坐标系统中的位置和定向；基于第一构型，确定第一活动臂在共同坐标系统中的第一活动臂位置和第一活动臂轨迹；基于第二构型，确定第二活动臂在共同坐标系统中的第二活动臂位置和第二活动臂轨迹；基于第一活动臂位置、第一活动臂轨迹、第二活动臂位置、和第二活动臂轨迹，确定第一活动臂动作、第二活动臂动作、或第一和第二活动臂一起动作是否会导致第一和第二活动臂之间不期望的关系；和发送第一运动命令至第一活动臂或第二活动臂W避免不期望的关系。[0020]在一些实例中，共同坐标系统是图像采集装置的坐标系统，并且控制器进一步被配置W进一步基于工作端在共同坐标系统中的位置和定向来确定共同坐标系统中的第一活动臂位置。在一些实例中，共同坐标系统是计算机辅助外科装置的坐标系统，并且控制器进一步被配置W确定图像采集装置坐标系统中的第二活动臂位置，确定工作端在图像采集装置坐标系统中的位置和定向，和将第二活动臂位置和工作端的位置和定向从图像采集装置坐标系统变换至共同坐标系统。[0021]在一些实例中，第一多个图像是来自图像采集装置的多个二维图像，并且控制器进一步被配置W根据二维图像确定工作端的位置和定向一-甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，系统进一步包括查看器，其适于显示可操纵装置的工作端的工作空间的第二多个图像；和输入单元，其被配置W接收查看器上正在显示的图像内的用户指定目标区域的信息。控制器进一步被配置W发送第二运动命令至第二活动臂，使得图像采集装置采集用户指定目标区域的图像。[0022]在一些实例中，输入单元包括视点跟踪单元，其被配置W跟踪用户在查看器显示屏上的视点，并且视点跟踪单元包括指示器，其可被用户操作W通过利用用户在显示屏上的当前凝视点来指示目标区域。在一些实例中，输入单元包括telestrator单元，其被配置W接收第二多个图像其中一个和在telestrator的显示屏上显示第二多个图像中的接收到的第二图像，并且telestrator单元包括标记单元，其可被用户操作W在第二多个图像中的显示图像上指示目标区域。[0023]在一些实例中，系统进一步包括照相机，并且通过照相机采集第二多个图像。在一些实例中，系统进一步包括超声探头，并且通过超声探头采集第二多个图像。在一些实例中，第一活动臂具有多余自由度，使得针对可操纵装置工作端的每个可控位置和定向，第一活动臂具有第一多种可能的位置和定向；第二活动臂具有多余自由度，使得针对图像采集装置的每个可控位置和定向，第二活动臂具有第二多种可能的位置和定向；并且，发送至第一活动臂或第二活动臂的第一运动命令指挥第一活动臂移动至第一多种可能的位置和定向中的一种，或指挥第二活动臂移动至第二多种可能的位置和定向中的一种，避免不期望关系。[0024]在一些实例中，控制器进一步被配置W基于第一活动臂位置和第一多种可能的位置和定向之间的差异和第二活动臂位置和第二多种可能的位置和定向之间的差异，确定发送第一运动命令至第一活动臂和第二活动臂中的哪一个，并且进行运种确定W最小化成本函数。[00巧]在一些实例中，第一运动命令指挥第一活动臂从第一活动臂位置移动至第一多种可能的位置和定向中的第一选定的一种位置和定向，或指挥第二活动臂从第二活动臂位置移动至第二多种可能的位置和定向中的第二选定的一种位置和定向一一基于第一多种可能的位置和定向中的第一选定的一种位置和定向和第二多种可能的位置和定向中的第二选定的一种位置和定向之中哪个最小化成本函数。在一些实例中，不期望的关系选自第一活动臂和第二活动臂之间碰撞、第一活动臂和第二活动臂之间过于接近、和图像采集装置的目标区域被第一活动臂阻挡。[00%]根据一些实施方式，控制医疗系统的运动的方法包括接收计算机辅助外科装置的第一活动臂的一个或多个第一构型，第一活动臂偶联至可操纵装置，该可操纵装置具有工作端；接收第二活动臂的一个或多个第二构型，第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置；从图像采集装置接收工作端的第一多个图像；基于第一多个图像中的至少一个，确定工作端在共同坐标系统中的位置和定向；基于第一构型，确定第一活动臂在共同坐标系统中的第一活动臂位置和第一活动臂轨迹；基于第二构型，确定第二活动臂在共同坐标系统中的第二活动臂位置和第二活动臂轨迹；基于第一活动臂位置、第一活动臂轨迹、第二活动臂位置、和第二活动臂轨迹，确定第一活动臂动作、第二活动臂动作、或第一和第二活动臂一起动作是否会导致第一和第二活动臂之间不期望的关系；和发送第一运动命令至第一活动臂或第二活动臂W避免不期望的关系。[0027]在一些实例中，共同坐标系统是图像采集装置的坐标系统，并且方法进一步包括进一步基于工作端在共同坐标系统中的位置和定向来确定共同坐标系统中的第一活动臂位置。在一些实例中，共同坐标系统是计算机辅助外科装置的坐标系统，并且方法进一步包括确定图像采集装置坐标系统中的第二活动臂位置，确定工作端在图像采集装置坐标系统中的位置和定向，和将第二活动臂位置和工作端的位置和定向从图像采集装置坐标系统变换至共同坐标系统。[0028]在一些实例中，第一多个图像是来自图像采集装置的多个二维图像，并且方法进一步包括根据二维图像确定工作端的位置和定向一一甚至在可操纵装置的工作端被布置在图像采集装置和可操纵装置工作端之间的一个或多个对象阻挡时。在一些实例中，方法进一步包括确定第一运动命令从而最小化成本函数。[0029]根据一些实施方式，运动控制系统包括跟踪系统和偶联至跟踪系统的控制器。控制器包括一个或多个处理器和偶联至一个或多个处理器的存储器。控制器偶联至计算机辅助外科装置，该计算机辅助外科装置具有第一活动臂，该第一活动臂偶联至可操纵装置，该可操纵装置具有工作端。控制器进一步偶联至第二活动臂，该第二活动臂偶联至图像采集装置，该图像采集装置独立于计算机辅助外科装置。控制器被配置W接收第一活动臂的第一运动学数据；接收第二活动臂的第二运动学数据；从跟踪系统接收第一活动臂的第一跟踪数据；从跟踪系统接收第二活动臂的第二跟踪数据；基于第一运动学数据和第一跟踪数据，确定第一活动臂的第一方位；基于第二运动学数据和第二跟踪数据，确定第二活动臂的第二方位；发送第一运动命令至第二活动臂，指挥第二活动臂移动到第一设置位置，采集至少部分可操纵装置的图像，同时在第一活动臂和第二活动臂之间保持第一安全界限，第一运动命令基于第一方位和第二方位；接收第一活动臂的第=运动学数据；接收第二活动臂的第四运动学数据；从图像采集装置接收一个或多个第一图像，该一个或多个第一图像采集至少部分可操纵装置；基于第=运动学数据和一个或多个第一图像，确定第一活动臂的第=方位；基于第四运动学数据和一个或多个第一图像，确定第二活动臂的第四方位；和发送第二运动命令至第二活动臂，指挥第二活动臂移动到不同于第一设置位置的第二设置位置，采集目标区域的当前第1页1 2 3 4 5 6