环境特性估计和图形显示的制作方法

专利名称：环境特性估计和图形显示的制作方法
技术领域：
本发明涉及环境特性估计和图形显示，尤其涉及一种可进行操作以图形地显示环境特性估计的外科手术机器人。
背景技术：
将本说明书中的任何位置引用的所有文献，包括文章、出版的专利申请和专利的内容，通过引用合并于此。诸如达芬奇(直觉外科手术公司antuitive Surgical Inc.)，美国加利福尼亚州桑尼维尔市)的遥控机器人辅助外科手术系统相对于传统的微创手术(MIQ具有大量优点。其增强了灵敏性，使得能够进行更精密的运动，并且提供三维(3D)可视化。然而， 缺乏触觉反馈被视为这种遥控机器人辅助微创手术(RMIS)系统的缺点之一(F.W.Mohr， V. FaIk, A. Diegeler, Τ. Walther, J. F. Gummert, J. Bucerius, S. Jacobs,禾口 R. Autschbach,“ Computer-enhanced‘ robotic‘ -cardiac surgery -experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no.5, pp. 842-853, 2001)。虽然许多研究小组，例如 Μ· Mahvash, J. Gwilliam, R. Agarwal, B. Vagvolgyi, L. -Μ. Su, D. D. Yuh 禾口 Α· Μ· Okamura, " Force-feedback surgical teleoperator-Controller design and palpation experiments, " 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp.465-471,2008 ；H.Mayer, I. Nagy, A. Knoll, E.U. Braun, R.Bauernschmitt 禾口 R. Lange, " Haptic feedback in a telepresence system for endoscopic heart surgery, " Presence :Teleoperators and Virtual Environments, vol. 16, no.5, pp. 459-470,2007 ； 以及 Μ. Tavakoli, R.Patel, Μ. Moallem 禾口 A. Aziminejad, Haptics for Teleoperated Surgical Robotic Systems (New Frontiers in Robotics series),World Scientific Publishing Company, 2008，研究了具有用于外科手术应用的触觉反馈的遥控操作，但是稳定性和透明度之间的折中以及诸如成本、生物适应性和可消毒性的力传感器问题，使得难以开发具有逼真的触觉反馈的实用系统(基于当前在市场上可获得的外科手术机器人)(A.M. Okamura, L N. Verner，C. E. Reiley,禾口 M.Mahvash， “ Haptics for robot-assisted minimally invasive surgery, “ Proceedings of the International Symposium Robotics Research,Hiroshima,Japan,Nov. 26-29,2007)禾口(A. Μ· Okamura，“ Haptic feedback inrobot-assisted minimally invasive surgery," Current Opinion in Urology,vol. 19, no. 1，pp. 102-107,2009)。因此，使用现有的RMIS系统的外科医生原则上依赖于诸如组织变形的视觉线索来估计远程工具对组织施加多大的力。在手术过程中，外科医生经常手动地对生物组织进行触诊以检查解剖学结构。触诊提供力位移和分布式触觉信息两者。可以通过异常组织和正常组织的诸如硬度的机械特性来区分组织异常和正常组织(例如K. Hoyt, B. Castaneda, M. Zhang, P. Nigwekar，P. A. di Sant ‘ agnese, J. V. Joseph, J. Strang, D. J. Rubens,禾口 K. J. Parker. Tissue elasticity properties as biomarkers for prostate cancer. Cancer Biomark,4 (4-5) :213-225, 2008. Neurophys，73 :88,19卯)。在冠状动脉旁路移植外科手术(CABG)中，触诊对于检测在哪放置移物尤其有利。最好移植柔软的没有得病的动脉，难以在视觉上区分没有得病的动脉和钙化的动脉。不应当将移植物与钙化的动脉部分相邻地放置或者直接放置到钙化的动脉部分上。在没有力反馈的情况下，在心脏组织中找到钙化的动脉的位置是非常有挑战性的，外科医生可能不能确定最佳的吻合位置(F. W. Mohr, V. FaIk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobs,禾口 R. Autschbach, “ Computer-enhanced' roboti c‘ cardiac surgery -experience in 148patients, " The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5,pp.842-853,2001)。因此，存在对用于进行环境特性估计的改进的外科手术机器人、部件和方法的需要。

发明内容
根据本发明的实施例的外科手术机器人具有成像系统，包括至少一个摄像机； 处理器，其与成像系统通信；操纵系统，其与处理器通信；以及视觉显示器，其与处理器通信。处理器能够进行操作以基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像，并且在视觉显示器上输出合成图像。根据本发明的实施例的与外科手术机器人一起使用的数据处理单元具有至少一个输入端口，适合于从外科手术机器人接收环境图像，并且从外科手术机器人接收工具-环境相互作用数据；叠加部件，其与至少一个输入端口通信；以及输出端口，其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在环境图像上的机械特性图的合成图像，并且将合成图像输出到输出端口。根据本发明的实施例的提供指令的有形机器可读存储介质，当由计算平台执行该指令时，该指令使计算平台执行包括如下方法的操作，该方法包括根据对环境的区域的触诊，确定工具-环境相互作用数据；基于工具-环境相互作用数据计算环境的区域的机械特性估计；接收环境图像；生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像；以及在视觉显示器上输出合成图像。


通过参考附图阅读下面的详细说明，可以更好地理解本发明，在附图中
图1是根据本发明的实施例的用于组织特性估计和图形显示的外科手术机器人的示意图；图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图；图3是示出根据本发明的实施例的叠加在环境图像上的机械特性图的合成图像的图；图4A和4B示出根据本发明的实施例的使用质量阻尼弹簧(mass-damper-spring) 模型计算估计的力时的示出(顶部)力对经过的时间和(底部)力对位移的(4A)人造软组织和GB)人造钙化动脉的样本图表；图5A和5B示出根据本发明的实施例的来自一个人造钙化动脉的(5A)力对经过的时间和(5B)力对位移的力图表；图6示出根据本发明的实施例的的达芬奇外科手术系统的定制版本的示意图，其中主操纵器和3D视觉显示系统位于右侧，而患者侧操纵器和立体摄像机在左侧；图7A和7B示出根据本发明的实施例的(7A)对重叠概率密度函数求和时的置信水平以及(7B)指示硬度的改变的色调和指示置信水平的饱和度的图表；以及图8A至8D是在根据本发明的实施例产生在图像中示出的下层环境的硬度图的情况下的合成图像的图。
具体实施例方式在描述在附图中示出的本发明的实施例时，为了清楚，使用特定术语。然而，本发明不旨在被限制到如此选择的特定术语。应当理解，每个具体元素包括以类似的方式工作以实现类似的目的的所有技术等同物。图1是根据本发明的实施例的用于环境特性估计和图形显示的外科手术机器人 100的示意图。外科手术机器人100包括主控制台102和患者侧操纵器104。主控制台102 包括视觉显示器106和操纵器108。患者侧操纵器104包括操纵系统110。在一个实施例中，操纵系统110包括操纵工具112和成像系统114。在该实施例中，外科手术机器人100 包括包含至少一个摄像机的成像系统114、与成像系统114通信的处理器116、与处理器116 通信的操纵系统110和与处理器116通信的视觉显示器106。处理器116基于工具-环境相互作用数据的环境模型针对环境的区域计算机械特性估计，创建包括叠加在来自至少一个摄像机的环境图像上的机械特性估计的机械特性图的合成图像，并且在视觉显示器106上输出合成图像。在一个实施例中，机械特性是硬度。硬度可以是线性或非线性的。在另一实施例中，机械特性是线性或非线性阻尼。在另一实施例中，机械特性是阻尼。在另一实施例中， 机械特性是可以由系统检测的，诸如但不限于硬度、阻尼或者质量等的任意机械特性。在一个实施例中，用户可以使用外科手术机器人100提供合成图像，因此用户可以基于估计的组织硬度来识别组织异常的区域。使用来自对组织的触诊的工具-环境相互作用数据计算估计的硬度。用户操纵主控制台102的操纵器108，以手动地控制外科手术机器人100来对组织区域进行触诊。可选地，用户选择进行触诊的组织的区域，但是外科手术机器人100控制对组织区域的触诊。在另一实施例中，外科手术机器人100自动对包括组织异常区域的组织进行触诊。
为了对组织区域进行触诊，外科手术机器人100的处理器116指示操纵系统110 使用操纵工具112对组织的区域进行触诊。处理器116接收触诊过程中在操纵工具112和组织之间相互作用的工具-环境相互作用数据。工具-环境相互作用数据包括对组织区域进行触诊时的操纵工具112的位置的数据。工具-环境相互作用数据还可以包括其它数据，例如操纵工具112的速度和加速度、操纵工具112对组织施加的力、或者操纵工具112对组织引起的位移量。在操纵工具112与组织接触时，操纵工具112的许多特征也与组织的特征相对应。例如，在操纵工具112与组织接触时，操纵工具112的位置改变对应于组织的位置改变。处理器116可以从多种源接收工具-环境相互作用数据。在一个实施例中，处理器 116可以通过操纵系统110中的位置传感器，或者通过对来自成像系统114的数据的分析， 知道操纵工具112的位置。处理器116监视操纵工具112的位置，并且基于操纵工具112 的位置的改变计算操纵工具的速度和加速度。可选地，操纵工具112包括与处理器116通信的速度和加速度传感器。下面，关于图2A、2B和2C进一步描述其它工具-环境相互作用数据的确定。在一次触诊过程中，处理器116接收多组工具-环境相互作用数据。然后，基于工具-环境相互作用数据，处理器116针对进行触诊的组织的区域计算表示估计的硬度的硬度估计。为了针对组织的区域计算硬度估计，处理器116使用组织模型，并对组织模型应用工具-环境相互作用数据，以估计组织模型的未知参数。可以使用各种组织模型，例如但不限于Kelvin-Voigt模型、质量阻尼弹簧模型、Hunt-Crossley模型、二阶多项式模型、三阶多项式模型、四阶多项式模型或者二阶多项式和依赖于速度的模型。也可以使用用于估计组织模型的未知参数的各种估计技术，例如但不限于递归最小二乘、自适应识别、卡尔曼滤波器和信号处理。处理器116从估计的组织模型的未知参数获得硬度估计。使用硬度估计和来自成像系统114的环境图像，处理器116创建合成图像。合成图像包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图。硬度图是组织的一个或更多个区域的计算硬度估计的图形表示，下面关于图3进一步描述硬度图。处理器116创建合成图像，使得硬度图的各区域对应于硬度图叠加在环境图像中的环境的各区域。创建合成图像包括基于硬度估计到环境图像的转化来创建硬度图。处理器116分析环境图像，以将环境的区域转化为示出环境的区域的环境图像的区域。然后，基于该转化，处理器116创建硬度图，并且将硬度图叠加在环境图像上。处理器116以半透明的方式叠加硬度图，因此在合成图像中下层环境图像仍然是可视的。然后，在视觉显示器 106上输出合成图像。根据一个实施例，处理器116实时地创建合成图像。视觉显示器106向用户示出合成图像。视觉显示器106是立体显示器。视觉显示器106通过一个显示器针对一只眼睛的两个单独的显示器向用户示出三维立体视图。显示器中的每一个示出与针对该眼睛的环境的视点相对应的不同的合成图像。在另一实施例中，代替地，视觉显示器106是非立体显示器118。图2A、2B和2C是根据本发明的实施例的触诊工具附件的示意图。图2A描绘了操纵工具112的附件的实施例。附件包括仪器延伸部件和透明塑料盘。如图2B所示，仪器延伸部件附连到操纵工具112。虽然在该实施例中，透明塑料盘是用于对组织进行触诊的接触点，但是盘可以由任何其它合适的材料制成，并且可以具有任何其它合适的形状。另外，代替分离的附件，可以代替地将附件包含到操纵工具112中。如图2C所示，在一个实施例中，操纵工具112包括工具-环境相互作用传感器。 工具-环境相互作用传感器是力传感器。操纵工具112被布置为由力传感器测量操纵工具 112对环境施加的力。基于力传感器测量的力的改变，处理器116还可以确定操纵工具112 和环境之间接触和不接触的时刻。工具-环境相互作用数据包括力传感器测量的力，处理器116基于测量的力和机器人位置计算硬度估计。在另一实施例中，遵循 M-Mahvash，J Gwilliam, R. Agarwal, B. Vagvolgyi, L. Su, D.D.Yuh,禾口 A.M. Okamura, “ Force-Feedback Surgical Teleoperator-Controller Design and Palpation Experiments “ ，16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, Reno,NV,March 2008 的方法，不由力传感器测量，而从机器人控制器估计工具-环境相互作用力。在这种方法中， 使用命令的机器人运动和实际机器人运动之间的误差来估计对机器人末端执行器施加的力。使用机器人的动态模型，在来自环境(例如组织)的力和来自机器人的内部机械部件的力(例如惯性和摩擦)之间进行区分。在另一实施例中，从成像系统114视觉地获得工具-环境相互作用数据。处理器 116指示操纵工具112对环境施加已知量的力。基于来自图像系统114的图像，处理器116 识别操纵工具112和环境之间的接触。然后，处理器116可以基于对环境图像的视觉分析或者基于操纵工具112的位置数据的改变，确定由操纵工具112引起的环境中的位移量。工具-环境相互作用数据包括位移量，并且处理器116基于位移量计算硬度估计。根据另一实施例，外科手术机器人100使用工具-环境相互作用传感器和视觉地确定的工具-环境相互作用数据两者。图3是示出根据本发明的实施例的叠加在环境图像上的硬度图的合成图像的图。 处理器116根据硬度估计创建组织的硬度图。硬度图是估计的组织硬度的图形表示。在一个实施例中，硬度图是色调-饱和度-亮度(HSL)表示。色调对应于硬度值，并且使用加权高斯函数计算饱和度。基于与触诊点的距离，处理器116定义周围区域的置信水平，其被解释为饱和度值。在一个实施例中，当多个置信水平叠加在同一点时，混合色调以形成混合连续着色图。处理器116对置信水平求和，以提高触诊点处的可靠性。在一个实施例中，随着新数据的收集，处理器116实时地更新硬度图。在一个实施例中，硬度图是三维地图(三维嵌入的表面地图)，处理器116将三维硬度图叠加在环境图像上。处理器116接收环境的立体视图。立体视图包括来自成像系统 114的两个环境图像。使用立体视图，处理器116如立体视图所示地确定环境的轮廓。然后，处理器116创建合成图像，使得三维硬度图对应于环境的轮廓。本发明的另一实施例针对一种与外科手术机器人一起使用的数据处理单元。例如，数据处理单元可以与参考图1中的外科手术机器人描述的处理器116类似。数据处理单元具有至少一个输入端口，适合于从外科手术机器人接收环境图像，并且从外科手术机器人接收工具-环境相互作用数据；叠加部件，其与至少一个输入端口通信；以及输出端口， 其与叠加部件通信。叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在环境图像上的机械特性估计的机械特性图的合成图像，并且将合成图像输出到输出端口。本发明的另一实施例针对一种提供指令的有形机器可读存储介质，当由计算平台执行该指令时，该指令使计算平台执行包括如下方法的操作，根据本发明的一个实施例，该方法包括根据对环境的区域的触诊，确定工具-环境相互作用数据；基于工具-环境相互作用数据计算环境的区域的机械特性估计；接收环境图像；生成包括叠加在环境图像上的机械特性估计的机械特性图的合成图像；以及在视觉显示器上输出合成图像。示例在外科手术过程中对组织和器官的手动触诊为临床医生提供对于诊断和外科手术计划的有价值的信息。在当今的机器人辅助微创手术系统中，缺乏可感知的触觉反馈使得检测器官中的肿瘤和心脏组织中的钙化动脉具有挑战性。该示例呈现允许操作者区分硬组织和软组织的自动化的组织特性估计方法和实时图形叠加。首先，我们用实验地评价人造组织的特性，并且比较7个可能的数学组织模型。自验证以及交叉验证确认 Hunt-Crossley模型最好地描述用实验地观察到的人造组织特性，并且适合于我们的目的。 其次，我们呈现使用遥控外科手术机器人对人造组织进行触诊，并且通过递归最小二乘实时地估计Himt-Crossley模型的硬度的系统的发展。使用组织表面处的半透明盘上的色调-饱和度-亮度表示，创建表示组织硬度的实时视觉叠加。色调描绘触诊点处的硬度，并且基于与该点的距离计算饱和度。由简单的插值技术创建连续硬度彩色图。在实验中，图形叠加成功地示出了隐藏在人造组织中的人造钙化动脉的位置。在该工作中，我们提出用于显示隐藏在软物质中的硬物体，例如心脏组织内的钙化动脉的位置的实时图形叠加技术。我们的方法使用递归最小二乘(RLQ估计组织的机械特性，同时将着色的硬度图叠加在外科医生的视觉显示器上。如图3所示，图形叠加清楚地显示人造钙化动脉的位置。另一应用是对肿瘤的在线检测。由于开发专门为进行触诊而设计的简单的力感测仪器比力感测灵敏操纵仪器更容易，因此我们提出的技术也可以作为对传统力反馈的替代来实现。组织模型已知人体生物组织呈现非线性特性，并且包括非均勻结构。然而，为了计算效率， 许多研究者采用简单的线性组织模型。特别地，通常使用诸如弹簧模型或者Kelvin-Voigt 模型的经典线性组织模型(R.Corteso，J.Park，*0.Khatib，“ Real-time adaptive control for haptic telemanipulation with kalman active observers, " IEEE Transact ions on Robotics, vol.22, no. 5, pp.987-999,2006) (R. Corteso , W. Zarrad, P. Poignet, 0. Company, 禾口 Ε· Dombre, " Haptic control design for robotic-assisted minimally invasive surgery, " IEEE International Conference on Intelligent Robots and Systems,pp.454-459,2006)(G. De Gersem, H. V. Brussel,禾口 J.V. Sloten," Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection, " World Haptics Conference (WHC) CD-ROM Proceedings，2005) (S. Misra 禾口 A. M. Okamura， " Environment parameter estimation during bilateral telemanipulation, " 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307,2006)(X. Wang, P.X. Liu, D. Wang, B.Chebbi,禾口 M. Meng, " Design of bilateral teleoperators forsoft environments with adaptive environmental impedance estimation, " IEEE International Conference on Robotics and Automation, pp.1127-1132,2005)。 Diolaiti 等人(N. Diolaiti, C. Melchiorrl,禾口 S. Stramigioli, " Contact impedance estimation for robotic systems, " IEEE Transactions on Robotics, vol.21, no. 5, pp.925-935,2005)使用 Hunt-Crossley 模型(K. Hunt 和 F. Crossley, “ Coefficient of restitution interpreted as damping in vibroimpact, " ASME Journal of Applied Mechanics, vol.42，no. 2，pp. 440—445，1975)。非线性 Hunt-Crossley 模型考虑在Kelvin-Voigt模型中观察到的碰撞过程中的能量损失。虽然有限元建模可以提供更好的组织建模，但是其计算复杂度限制了其在实时应用的实用性。Misra等人 (S. Misra, K. T. Ramesh,禾口 A. M. Okamura, “ Modeling of tool-tissue interactions for computer-based surgical simulation :A literature review, “ Presence Teleoperators and Virtual Environments，vol. 17，no. 5，pp. 463-491，2008)回顾了关于工具-组织相互作用方法的文献。估计技术对于在线环境参数估计，存在几种方法，包括RLS(X. Wang，P. X. Liu, D.Wang，
B.Chebbi，禾口 Μ· Meng，“ Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation， “ IEEE International Conference on Robotics and Automation，pp. 1127-1132，2005) (N.Diolaiti,
C.Melchiorri,禾口 S. Stramigioli， “ Contact impedance estimation for robotic systems, “ IEEE Transactions on Robotics，vol. 21, no.5, pp. 925-935，2005) (M. B. Colton 禾口 J. M. Hollerbach， “ Identification of nonlinear passive devices for haptic simulations， 〃 WHC' 05 -Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, (Washington, DC， USA)， pp.363-368， IEEE Computer Society,
2005)(L J. Love 禾口 I J. Book, ” Environment estimation for enhanced impedance control， “ IEEE International Conference on Robotics and Automation， pp. 1854-1858，1995)，自适应i只另Ij (S. Misra 禾口 Α. Μ. Okamura， “ Environment parameter estimation during bilateral telemanipuIation， “ 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301—307，
2006)(K. Hashtrudi-Zaad 禾口 S. Ε. Salcudean， “ Adaptive transparent impedance reflecting teleoperation， “ IEEE International Conferenceon Robotics and Automation，pp. 1369-1374，1996)(H. Seraji 禾口 R. Colbaugh， “ Force tracking in impedance control， “ IEEE Transactions on Robotics，vol.16，no.1，pp. 97-117， 1997)(S. K. Singh 禾口 D. 0. Popa， “ An analysis of some fundamental problems in adaptive control of force and impedance behavior Theory and experiments,“ IEEE Transactions on Robotics and Automation，vol.11，no.6, pp. 912-921，1995)，卡尔曼滤波器方法(R. Corteso， J. Park，禾口 0. Khatib， “ Realtime adaptive control for haptic telemanipulation with kalman active observers, “ IEEE Transactions on Robotics，vol.22，no.5，pp. 987-999，2006) (R.Corteso，W. Zarrad，P.Poignet，0. Company，禾口 E. Dombre， “ Haptic control design for robotic-assisted minimally invasive surgery, " IEEE International Conference on Intelligent Robots and Systems, pp. 454-459,2006)(G. De Gersem, H. V. Brussel,禾口 J. V. Sloten， “ Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection, " World Haptics Conference (WHC) CD-ROM Proceedings，2005)，以及多估计器技术(Τ· Yamamoto,M. Bernhardt, A. Peer,Μ· Buss,禾口 A. Μ· Okamura, “ Multi-estimator technique for environment parameter estimation during telemanipulation," IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223,2008)。Erickson 等人(D. Erickson, Μ. Weber,和 I. Sharf， “ Contact stiffness and damping estimation for robotic systems, " The International Journal of Robotics Research，vol. 22，no. 1，pp. 41-57，2003)回顾并比较了四种方法RLS、间接自适应控制、模型基准自适应控制和信号处理技术。他们估计环境硬度和阻尼，以改进机器人组件操作的应用的力跟踪和阻抗控制的稳定性。他们得出结论，在四种方案中，具有持久激励的间接自适应控制示出最佳性能。Yamamoto等人(T. Yamamoto， M. Bernhardt, A. Peer, Μ. Buss,禾口 Α· Μ· Okamura, " Multi-estimator technique for environment parameter estimation during telemanipulation, " IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223,2008)比较了 RLS、自适应识别和针对外科手术应用估计Kelvin-Voigt模型的未知参数的多估计器技术。他们推荐RLS或多估计器用于在线组织参数估计。组织特性估计使用超声波可以找到一些硬夹杂(hard inclusion)，先前的工作研究了使用达芬奇外科手术系统的腹腔镜检查超声波数据的直观可视化(J. Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. Dai, Μ. Awad, G. D. Hager, Μ. Marohn, Μ. Choti, C. Hasser,禾口 R. H. Taylor, " Davinci canvas :A telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability, " Medical Image Computing and Computer-Assisted Intervention (MICCAI)，pp. 811-818，2005)。一般使用超声波并且显示软组织中的应变分布的弹性图像是检测肿瘤的有效方法。弹性图像的主要缺点是计算上昂贵(J. Ophir，S. Alam, B. Garra，F. Kallel, E. Konofagou, T. Krouskop, C. Merritt，R. Righetti，R. Souchon, S. Srinivasan,禾口 T. Varghese， “ Elastography Imaging the elastic properties of soft tissues with ultrasound， “ Journal of Medical Ultrasonics，vol. 29，pp. 155-171，2002)。已经幵发了专门对肿瘤进行定位的一些新型的设备，例如触觉成像(P. S. Wellman, E. P. Dalton，D. Krag，K. A. Kern，和 R.D. Howe, “ Tactile imaging of breast masses first clinical report，“ Archives of Surgery, vol. 136，pp. 204-208，2001)，触觉成像系统(Α. P. Miller, W. J. Peine, J.S.Son, 禾口 Ζ·Τ· Hammoud， “ Tactile imaging system for localizing lung nodules during video assisted thoracoscopic surgery, “ IEEE International Conference on Robotics and Automation， pp.2996-3001，2007)，活动频闪成像器(M. Kaneko, C. Toya,禾口 M.Okajima， “ Active strobe imager for visualizing dynamic behavior of tumors， “ IEEE International Conference on Roboticsand Automation，pp. 3009-3014，2007)，PVDF 感测 If (J. Dargahi, S. Najarian,禾口 R. Ramezanifard, “ Graphical display of tactile sensing data with application in minimally invasive surgery, " Canadian Journal of Electrical and Computer Engineering, vol. 32，no. 3，pp. 151-155，2007)，触觉感测仪器(A. L. Trejos, J. Jayender, Μ. Τ. Perri, Μ. D. Naish, R. V. Patel,禾口 R. A. Malthaner, " Experimental evaluation of robot-assisted tactile sensing for minimally invasive surgery, " IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 971-976,2008),以及气垫力敏感探针(K. Althoefer，D. Zbyszewski, H. Liu, P. Puangmali, L. Seneviratne, B. Challacombe, P. Dasgupta，禾口 D. Murphy, " Air-cushion force sensitive probe for soft tissue investigation during minimally invasive surgery, “ in IEEE Conference on Sensors, pp. 827-830，2008)，但是还未在 RMIS 系统中测试任何一个。该示例描述了(1)数学人造人造组织模型的有效性，以及( 使用该模型和遥控机器人来创建实时图形叠加以表示组织硬度，由此使得操作者能够识别软物质内的可视硬夹杂。为了选择准确的人造组织的数学模型，我们分析了实验工具-环境相互作用数据并且比较了 7个候选模型。通过使用最小二乘法进行后处理，我们基于自验证和交叉验证两者中的力估计误差评价了模型准确度。由于Hunt-Crossley模型的准确度和从软物质区分硬物体的硬度项，选择了 Himt-Crossley模型。由于我们的长期目的是对非齐次并且复杂的真实的组织进行建模，这两种验证对于对组织动态行为进行数学近似是有用的。我们还开发出了基于估计的组织特性来显示硬度分布的在线图形叠加技术。使用色调-饱和度-亮度(HSL)表示，将半透明着色硬度图叠加在环境图像上。色调对应于硬度值，通过加权高斯函数计算饱和度。基于距触诊点的距离，我们定义周围区域的置信水平， 其被解释为饱和度值。当将多个置信水平叠加在同一点时，对色调进行混合以形成连续着色图。此外，对置信水平求和，以提高触诊点处的可靠性。随着新数据的添加，实时地重复该过程。其结果是，我们实现了显示硬夹杂的位置而不遮挡外科医生对组织或外科手术仪器的观察的半透明的着色的硬度图。组织模型选择虽然几乎不可能找到真实组织或人造组织的完美数学模型，但是存在可以近似组织动态行为的数学模型。考虑7个可能的模型，然而可以使用其它模型。根据工具-环境相互作用数据，我们比较了所有模型，并且基于力估计误差评价了准确度。A.人造组织人造组织心脏模型由以M 24 12 1的比率混合的Ecoflex 0030 (A和B 部分)、硅稀释剂和silc颜料(Smooth-on公司，美国宾夕法尼亚州伊斯顿市)制成。为了模拟钙化的动脉，在人造组织中嵌入咖啡搅拌棒。我们的外科医生合作者测试可能的模型以对人造组织样本进行实际的选择。人造组织心脏模型的直径和厚度大约分别为60mm和 18. 5mm。将直径为4mm的咖啡搅拌棒嵌入距表面5mm的深度。B.模型候选对象我们比较表I中列出的7个模型。/是估计的工具和环境之间的相互作用力，X、^和i分别是工具的位置、速度和加速度。其余项，iei、i、ι;、 、i、 、咚和β是要估
计的未知参数。表 I7个环境模型和力估计误差的平均偏差和标准偏差的比较
权利要求
1.一种外科手术机器人，包括 成像系统，包括至少一个摄像机； 处理器，其与所述成像系统通信； 操纵系统，其与所述处理器通信；以及视觉显示器，其与所述处理器通信， 其中，所述处理器能够进行操作以基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计； 创建合成图像，其包括叠加在来自所述至少一个摄像机的环境图像上的所述机械特性估计的机械特性图；以及在所述视觉显示器上输出所述合成图像。
2.根据权利要求1所述的外科手术机器人，其中，所述处理器能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
3.根据权利要求1所述的外科手术机器人，其中，叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域叠加的环境的区域。
4.根据权利要求3所述的外科手术机器人，其中，所述机械特性图包括色调-饱和度-亮度着色的机械特性图，其中，所述色调对应于所述机械特性图的区域的机械特性值， 而所述饱和度对应于所述机械特性图的所述区域的置信水平。
5.根据权利要求1所述的外科手术机器人，其中，所述机械特性图包括混合机械特性图。
6.根据权利要求1所述的外科手术机器人，其中，所述操纵系统还包括工具-环境相互作用传感器。
7.根据权利要求6所述的外科手术机器人，其中，所述工具-环境相互作用传感器包括力传感器，其中，所述工具-环境相互作用数据包括所述操纵系统对所述环境施加的力的量。
8.根据权利要求1所述的外科手术机器人，其中，所述工具-环境相互作用数据包括所述操纵系统引起的所述环境中的位移量。
9.根据权利要求1所述的外科手术机器人，其中，所述处理器还能够进行操作以实时地创建所述合成图像。
10.根据权利要求1所述的外科手术机器人，其中，所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
11.根据权利要求1所述的外科手术机器人，其中，所述处理器还能够进行操作以应用算法，以基于所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
12.根据权利要求1所述的外科手术机器人，其中，所述机械特性图包括嵌入在三维空间中的表面机械特性图。
13.根据权利要求1所述的外科手术机器人，其中，所述环境包括组织或者器官的至少之一。
14.根据权利要求1所述的外科手术机器人，其中，所述机械特性包括硬度。
15.一种与外科手术机器人一起使用的数据处理单元，包括至少一个输入端口，其适合于从所述外科手术机器人接收环境图像，以及从所述外科手术机器人接收工具-环境相互作用数据；叠加部件，其与所述至少一个输入端口通信；以及输出端口，其与所述叠加部件通信，其中，所述叠加部件适合于基于工具-环境相互作用数据的环境模型，针对环境的区域计算机械特性估计，创建包括叠加在所述环境图像上的所述机械特性估计的机械特性图的合成图像，并且将所述合成图像输出到所述输出端口。
16.根据权利要求15所述的数据处理单元，其中，所述叠加部件能够进行操作以基于所述机械特性估计到所述环境图像的转化来创建所述机械特性图。
17.根据权利要求15所述的数据处理单元，其中，叠加在所述环境图像上的所述机械特性图的区域对应于所述环境图像中显示为被所述机械特性图的所述区域的叠加的环境的区域。
18.根据权利要求17所述的数据处理单元，其中，所述机械特性图包括色调-饱和度-亮度着色的机械特性图，其中，所述色调对应于所述机械特性图的区域的机械特性值， 而所述饱和度对应于所述机械特性图的所述区域的置信水平。
19.根据权利要求15所述的数据处理单元，其中，所述机械特性图包括混合机械特性图。
20.根据权利要求15所述的数据处理单元，其中，所述工具-环境相互作用数据包括操纵系统对所述环境施加的力的量。
21.根据权利要求15所述的数据处理单元，其中，所述工具-环境相互作用数据包括操纵系统引起的所述环境中的位移量。
22.根据权利要求15所述的数据处理单元，其中，所述叠加部件还适合于实时地创建所述合成图像。
23.根据权利要求15所述的数据处理单元，其中，所述环境模型包括使用所述环境的所述机械特性将力变量和运动变量相关的线性方程或非线性方程。
24.根据权利要求15所述的数据处理单元，其中，所述叠加部件还适合于应用算法，以使用所述环境模型和所述工具-环境相互作用数据来估计所述机械特性。
25.根据权利要求15所述的数据处理单元，其中，所述机械特性图包括3-D机械特性图。
26.根据权利要求15所述的数据处理单元，其中，所述环境包括组织或者器官的至少之一。
27.根据权利要求15所述的数据处理单元，其中，所述机械特性包括硬度。
28.一种提供指令的有形机器可读存储介质，当由计算平台执行所述指令时，所述指令使所述计算平台执行包括如下方法的操作，所述方法包括根据对环境的区域的触诊，确定工具-环境相互作用数据；基于所述工具-环境相互作用数据计算所述环境的区域的机械特性估计；接收环境图像；生成合成图像，其包括叠加在所述环境上的所述机械特性估计的机械特性图；以及在视觉显示器上输出所述合成图像。
全文摘要
一种外科手术机器人，包括成像系统，其包括至少一个摄像机；处理器，其与成像系统通信；操纵系统，其与处理器通信；以及视觉显示器，其与处理器通信。一种处理器，其能够进行操作以基于工具-环境相互作用数据的环境模型，针对环境的区域计算硬度估计，创建包括叠加在来自至少一个摄像机的环境图像上的硬度估计的硬度图的合成图像，并且在视觉显示器上输出该合成图像。
文档编号A61B19/00GK102238916SQ200980146503
公开日2011年11月9日 申请日期2009年10月20日 优先权日2008年10月20日
发明者山本智德, 巴拉日·彼得·瓦格沃尔吉, 阿莉森·马里科·奥卡穆拉 申请人:约翰霍普金斯大学