手术辅助装置以及手术辅助程序的制作方法
【专利摘要】手术辅助系统(100)的个人计算机(1)在由体绘制运算部(13)生成的三维图像中，将表示手术器具(33)的前端的图像(手术器具图像(33a))和从手术器具前端至切削部位为止的距离进行合成后显示的同时，进行手术中的导航。
【专利说明】手术辅助装置以及手术辅助程序
【技术领域】
[0001] 本发明涉及进行手术中的导航的手术辅助装置以及手术辅助程序。
【背景技术】
[0002] 在医疗现场，为了进行更适当的手术，有效利用能够进行手术模拟的手术辅助装 置。
[0003] 现有的手术辅助装置例如具备：断层图像信息获取部，其获取X射线CT图像和核 磁共振图像（MRI图像）、通过PET(正电子发射断层法）得到的图像等断层图像信息；存储 器，其与断层图像信息获取部相连接；体绘制运算部，其与存储器相连接；显示器，其显示 体绘制运算部的运算结果；以及输入部，其对显示器显示的显示对象物进行切削指示。
[0004] 例如，在专利文献1中，公开了以下的手术辅助装置：通过将实际使用的内窥镜的 三维位置的坐标与使用断层图像生成的三维体图像数据的坐标相综合，并与内窥镜的影像 重叠显示，从而能够根据内窥镜和手术器具的变化实时地在内窥镜图像上重叠显示该位置 处的手术对象区域的图像。
[0005] 在先技术文献 [0006] 专利文献
[0007] 专利文献1 :JP专利第4152402号公报（2008年7月11日登记）
【发明内容】
[0008] 但是，在上述现有的手术辅助装置中，具有以下的问题。
[0009] g卩，在上述公报中公开的手术辅助装置中，由于能够实时地在内窥镜图像上重叠 显示该位置处的手术对象区域的图像，所以能够计算出手术器具前端与特定区域之间的距 离。但是，在此公开的只是与不和手术器具接触的血管或脏器等部位之间的距离显示以及 警告，并不是为了手术中的导航。
[0010] 本发明的课题在于，提供一种能够观察使用手术器具进行切削的切削部位的同时 实施手术中的适当的导航的手术辅助装置以及手术辅助程序。
[0011] 第1发明涉及的手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具来 进行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助 装置具备断层图像信息获取部、存储器、体绘制运算部、内窥镜/手术器具位置检测部、配 准运算部、模拟部、距离计算部以及导航部。断层图像信息获取部获取患者的断层图像信 息。存储器与断层图像信息获取部相连接，保存断层图像信息的体素信息。体绘制运算部 与存储器相连接,基于体素信息，在与视线垂直的方向上对体素信息进行采样。内窥镜/手 术器具位置检测部依次检测内窥镜以及手术器具的三维位置。配准运算部对由体绘制运算 部生成的三维图像的坐标、和在内窥镜/手术器具位置检测部中检测的内窥镜以及手术器 具的坐标进行坐标合并。模拟部在由体绘制运算部生成的三维图像上将预定被虚拟地切削 的手术的切削部分相关联到体素信息上后存储于存储器中。距离计算部计算出三维图像上 的手术器具的处理部与存储器所保存的表示切削部分的体素信息之间的距离。导航部使用 手术器具在手术中的坐标显示三维图像上的手术器具的处理部，并与在手术中显示的内窥 镜图像一起显示处理部与存储器所保存的表示切削部分的体素信息之间的距离。
[0012] 在此，例如，在使用利用多个X射线CT图像生成的三维图像来显示了特定的骨骼 或血管、脏器等的周围的状态下实施切削模拟之后，进行使用了内窥镜的手术时，依次检测 实际手术中要使用的内窥镜和手术器具的三维位置，将由多个X射线ct图像形成的三维图 像的坐标与内窥镜和手术器具的实际的三维位置的坐标相合并。并且，在使用三维图像进 行的切削模拟中，计算出实际的手术器具的前端（处理部）相对于被切削的部位的距离，将 与三维图像一起显示该距离并告知手术者，由此根据切削模拟的实施而无缝地进行手术导 航。
[0013] 在此，上述断层图像包括例如使用)C射线CT或MRI、PET等医用设备获取到的二维 图像。此外，上述手术器具包括对内脏或骨骼等进行切削的切削器具等。此外，上述处理部 意味着对骨骼或脏器等进行切除的手术器具的锯齿部分等。
[0014] 由此，例如，在使用内窥镜来切削特定脏器的手术中，手术者能够正确地把握手术 器具的前端到作为切削对象的部位还剩多少距离的同时，使切削器具等手术器具逐渐靠近 切削部位。由此，手术者在插入手术器具时，不会由于不知道手术器具前端到切削部位为止 的距离而感到不安，能够实施适当的导航。
[0015] 第2发明涉及的手术辅助装置是在第1发明涉及的手术辅助装置中，模拟部在实 施手术前的切削模拟时，检测切削部位的深度并运算不连续性或者深度的变化程度，在变 化程度预先超过了阈值的情况下，中止切削或者不更新切削数据。
[0016] 在此，在模拟部中，设定虚拟切削动作的阈值，并设置实施切削模拟时的制约。
[0017] 由此，在深度的变化程度等超过了阈值的情况下，能够在模拟上的画面中针对该 部位，在切削后的状态下使其不再显示。此外，在更新阈值的同时实施切削模拟之际，能够 避免阈值的值过小而过渡地中止切削。
[0018] 第3发明涉及的手术辅助装置是在第1或第2发明涉及的手术辅助装置中，导航 部利用多点模型（multi-point model)，对三维图像上的手术器具的处理部进行建模。
[0019] 在此，所谓多点模型是指，对服从于预测到碰撞的部位的外缘的点进行采样的模 型。
[0020] 由此，例如，如果在实际手术器具的规定位置处设置对手术器具进行位置或角度 等的探测的传感器，则能够以该传感器的位置为基准，在虚拟空间上利用多个点来表现手 术器具，能够计算并显示从该多个点至切削部分的距离。
[0021] 第4发明涉及的手术辅助装置是在第1至第3发明的任一个发明涉及的手术辅助 装置中，导航部使用设为对手术中的手术器具所切削的部分进行表示的体素信息的方向的 分量的向量，作为距离的向量。
[0022]由此，能够在手术器具对切削部位逐渐接近的方向上进行采样的同时，根据多个 点所靠近的速度、加速度以及方向来变更显示模式等，对于手术者来说，对手术器具前端与 切削部位之间的位置关系进行了更有效的显示。
[0023]第5发明涉及的手术辅助装置是在第1至第4发明的任一个发明涉及的手术辅助 装置中，导航部从切削部分起按等距离来变更体素的颜色来使其被显示。
[0024] 在此，在手术中的导航画面中，将以切削部分为中心的等距离的范围作为颜色不 同的球来进行显示。
[0025]由此，在手术中的导航中，能够对于手术者来说，以易于理解的方式来显示从进行 切削的部分到手术器具前端为止的距离，能够作为导航的補助。
[0026] 第6发明涉及的手术辅助装置是在第1至第5发明的任一个发明涉及的手术辅助 装置中，配准运算部将内窥镜以及手术器具的坐标和三维图像的坐标进行坐标合并后，确 认坐标合并的精度，在该精度超过了规定范围的情况下，对坐标合并的偏差进行校正。
[0027] 在此，对将基于多个X射线CT图像等而生成的三维图像的坐标、与内窥镜及手术 器具的实际坐标进行合并的配准的精度进行验证，在不满足规定精度的情况下，再次实施 配准。
[0028] 由此，能够更正确地在三维图像中显示在三维图像中显示的内窥镜和手术器具的 位置。
[0029] 第7发明涉及的手术辅助装置是在第1至第6发明的任一个发明涉及的手术辅助 装置中，导航部设定由体绘制运算部生成并由内窥镜获取的第1显示区域、和在实际手术 中因手术器具而导致显示受限的第2显示区域，并显示该第1显示区域和第2显示区域。
[0030] 在此，在手术中显示于监视器画面等的三维图像中，执行将因插入了内窥镜的手 术器具而被限制的视野部分也进行反映的显示。
[0031] 由此，以针对由于牵引器等筒状手术器具而被限制的部分不会被看到的方式，例 如通过在遮蔽的状态下进行显示，从而能够以与实际的内窥镜图像相近似的状态下显示三 维图像。
[0032] 第8发明涉及的手术辅助装置是在第1至第7发明的任一个发明渉及的手术辅助 装置中，还具备显示三维图像、表示手术器具的前端的图像以及距离的显示部。
[0033] 在此，作为手术辅助装置，具备监视器等显示部。
[0034]由此，在使用了内窥镜的手术中，能够使显示部显示与实际的内窥镜的影像相近 似的状态的三维图像的同时，进行手术辅助。
[0035] 第9发明涉及的手术辅助程序，在观察内窥镜图像的同时使用切削用手术器具进 行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助程 序使计算机执行具备以下步骤的手术辅助方法，该手术辅助方法具备：获取患者的断层图 像信息的步骤；保存断层图像信息的体素信息的步骤；基于体素信息在与视线垂直的方向 上对体素信息进行采样的步骤；依次检测内窥镜以及手术器具的三维位置的步骤；对三维 图像的坐标和内窥镜以及手术器具的坐标进行坐标合并的步骤；计算出包含在由内窥镜获 取的影像中的切削部位与手术器具的前端之间的距离的步骤；以及在三维图像中使表示手 术器具的前端的图像、和手术器具的前端与切削部位之间的距离合成后被显示的同时，进 行手术中的导航的步骤。
[0036] 在此，例如，在使用利用多个X射线CT图像生成的三维图像来显示了特定的骨骼 或血管、脏器等的周围的状态下实施切削模拟后，在进行使用了内窥镜的手术时，依次检测 实际在手术中使用的内窥镜和手术器具的三维位置，将由多个X射线CT图像形成的三维图 像的坐标与内窥镜和手术器具的实际的三维位置的坐标相合并。并且，通过在使用三维图 像进行的切削模拟中计算出实际手术器具的前端的相对于被切削的部位的距离，并将该距 离与三维图像一起进行显示，告知手术者，由此通过切削模拟的实施而无缝地进行手术导 航。
[0037] 在此，上述断层图像包括例如使用X射线CT或MRI、PET等医用设备获取到的二维 图像。此外，上述手术器具包括对内脏或骨骼等进行切削的切削器具等。
[0038] 由此，例如，在使用内窥镜来对特定的脏器进行切削的手术中，手术者能够正确地 把握手术器具的前端到作为切削对象的部位还剩多少距离的同时，使切削器具等手术器具 逐渐靠近切削部位。由此，手术者在插入手术器具时，不会由于不知道手术器具前端到切削 部位为止的距离而感到不安，能够实施适当的导航。
[0039] 第10发明涉及的手术辅助装置在观察内窥镜图像的同时使用切削用手术器具进 行的手术中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装 置具备模拟部和导航部。模拟部在与视线垂直的方向上对患者的断层图像信息的体素信息 进行采样而生成的三维图像上，将预定被虚拟地切削的手术的切削部分相关联到体素信息 上来进行存储。导航部计算出三维图像上的手术器具的处理部、与存储器所保存的表示切 削部分的体素信息之间的距离，使用手术器具在手术中的坐标来显示三维图像上的手术器 具的处理部，并与手术中显示的内窥镜图像一起显示处理部与表示切削部分的体素信息之 间的距离。
【专利附图】
【附图说明】
[0040] 图1是表示本发明的一实施方式涉及的包含个人计算机（手术辅助装置）的手术 辅助系统的结构的图。
[0041] 图2是表示包含在图1的手术辅助系统中的个人计算机的立体图。
[0042] 图3是图2的个人计算机的控制框图。
[0043]图4是表示包含在图3的控制模块中的存储器内的内窥镜参数保存部的结构的框 图。
[0044]图5是表示图3的控制模块所包含的存储器内的手术器具参数保存部的结构的框 图。
[0045]图6 (a)、（b)是表示图1的手术辅助系统所包含的斜视内窥镜以及安装于该斜视 内窥镜的三维传感器的侧视图和俯视图。
[0046]图7中，（a)是图2的个人计算机的动作流程图，（b)是表示（a)的 S6内的流程的 动作流程图，（c)是表示（a)的S8内的流程的动作流程图。
[0047]图8是表^图1的手术辅助系统的显示器所显示的导航画面的图。
[0048]图9是表不图1的手术辅助系统的显示器所显示的导航画面的图。
[0049]图1〇是表不图1的手术辅助系统的显不器所显示的导航画面的图。
[0050]图η是表^图1的手术辅助系统的显示器所显示的导航画面的图。
[0051]图12是表示图1的手术辅助系统的显示器所显示的导航画面的图。
[0052]图I3(a)、(b)是说明在使用筒状手术器具（牵引器）时从基于鼠标操作的二维输 入向内窥镜三维操作的映射的图。
[0053]图14是说明从基于鼠标操作的二维输入向内窥镜的三维操作的映射的图。
[0054]图I5是说明反映斜视内窥镜的任意斜视角的体绘制像的显示的图。
[0055] 图16(a)?（c)是表示使斜视内窥镜的前端位置以及视线向量反映至3面图上时 的显示的图。
[0056]图17是表示由图2的个人计算机显示的斜视内窥镜图像的图。
[0057]图18中，（a)是表示本实施方式涉及的斜视内窥镜图像的图，（b)是表示取代斜视 内窥镜而使用直视内窥镜时的内窥镜图像的图。
[0058] 图19是表示反映内窥镜图像的显示限制区域的监视器画面的图。
[0059] 图20(a)?（c)是表示显示了以切削对象部位C为中心的内窥镜图像、从与该部 分相对应的三维图像中提取出的内窥镜视图、使内窥镜图像与内窥镜视图重叠后的图像的 监视器画面的图。
[0060] 图21(a)?（C)是表示显示了内窥镜图像、与该部分相对应的三维图像（犯像）、 使内窥镜图像与VR像重叠后的图像的监视器画面的图。
[0061] 图22是表不显不了进行特征点设定的配准（registration)用界面画面的监视器 画面的图。
[0062]图23是说明配准中的坐标变换的图。
[0063]图24(a)、（b)是表示配准中的校正值设定界面以及体绘制像上的特征点和坐标 轴的显示例的图。
[0064]图25中，（a)是表示图1的手术辅助系统所包含的手术器具以及安装于该手术器 具的三维传感器的侧视图，（b)是利用多点模型以（a)的传感器为基准对虚拟空间上的手 术器具的前端进行了建模的侧视图。
[0065]图26是表示在虚拟空间中计算并显示从图25(b)的手术器具的前端至切削部位 的距离的步骤的说明图。
[0066]图27是表示示出了虚拟空间中的从切削部位起等距离的区域的显示例的图。 [0067]图28是说明在切削模拟中实施了在制约切削的阈值的更新方法中导入了阈值相 加有效点的概念后的切削控制的情况的图。
[0068]图29是说明在切削模拟中实施了在制约切削的阈值的更新方法中未导入阈值相 加有效点的概念的切削控制的情况的图。
[0069]图3〇是表示在本发明的其他的实施方式涉及的手术辅助系统中所使用的内窥镜 以及传感器的侧视图和俯视图。
[0070]图31是表示在本发明的另一实施方式涉及的手术辅助系统中所使用的内窥镜以 及传感器的侧视图和俯视图。
【具体实施方式】
[0071]如以下，使用图1?图29来说明本发明的一实施方式涉及的个人计算机（手术辅 助装置）。
[0072]另外，在本实施方式中，说明使用内窥镜以及切削工具等手术器具来实施针对腰 椎管狭窄症的手术导航的情况，但本发明并不限于此。
[0073]如图1所示，本实施方式涉及的个人计算机1与显示器（显示部）2、位置/角度检 测装置29、斜视内窥镜（内窥镜）32、定位用发射器（磁场产生装置）34 一起构成手术辅助 系统100。
[0074]个人计算机1读入使计算机执行本实施方式的手术辅助方法的手术辅助程序而 起到手术辅助装置的作用。另外，后面详述个人计算机1的构成。
[0075]显示器（显示部）2显示后面详述的进行手术中的导航和切削模拟的三维图像，并 且显示手术导航和切削模拟的设定画面等。
[0076]另外，作为显示手术中的导航的显示部，由于需要以手术中的手术者易于理解的 方式显示导航画面，所以除了个人计算机1的显示器2以外，还同时使用图1的手术辅助系 统100所包含的大型的液晶显示器102。
[0077]位置/角度检测装置29与个人计算机1、定位用发射器34以及斜视内窥镜32相 连接，基于安装于斜视内窥镜32、手术器具33等的三维传感器32a (参照图6 (a)等）、三维 传感器33b(参照图25(a))的探测结果，检测实际手术中的斜视内窥镜32、手术器具 33的 位置和姿势。
[0078]从进行手术的部分附近的体表部沿着后述的筒状牵引器31内而插入斜视内窥镜 (内窥镜）32,该斜视内窥镜（内窥镜）32获取手术部位的影像。此外，在斜视内窥镜32中 安装有三维传感器32a。
[0079]定位用发射器（磁场产生装置）34配置在患者横卧的手术台的附近，其产生磁场。 由此，由安装于斜视内窥镜32和手术器具33的三维传感器挪和三维传感器33b检测量 位用发射器34所产生的磁场，从而能够检测斜视内窥镜μ和手术器具33的位置和姿势。 [0080](个人计算机1) 。
[0081]如图2所示，个人计算机1具备显示器（显示部）2、各种输入部（键盘3、鼠标 4 以及平板5 (参照图2))。
[0082] f示器2显示由X射线CT图像等多个断层图像形成的骨骼或脏器（在图2的例 子中，显不内窥镜图像）等二维图像，并且显不切削模拟的结果和手术导航的内容。
[0083]此外，如图3所示，个人计算机1在内部形成断层图像信息获取部6等控制模块。 [0084]在断层图像信息获取部6上经由体素（voxel)信息提取部7而连接断层图像信息 部8。即，在断层图像信息部 8中，从拍摄CT或者MRI、PET等断层图像的设备提供断层图 像{旨息，该断层图像信息是由体素信息提取部 7作为体素信息来提取的。
[0085]存储器9设置于个人计算机1内，具有体素信息保存部10、体素标签保存部n、颜 色信息保存部I2、内窥镜参数保存部22和手术器具参数保存部24。此外，与存储器9连^ 体绘制运算部（距离计算部、显示控制部）13。
[0086]体素信息保存部10保存从体素信息提取部7经由断层图像信息获取部6接收的 体素信息。
[0087]体素标签保存部11具有第1体素标签保存部、第2体素标签保存部、第3体素标 签，存部。分别与后述的预先设定的CT值的范围、即成为显示对象的脏器相对应地设置这 些^ 1?第3体素标签保存部。例如，第1体素标签保存部与显示肝脏的CT值的范围相对 应，第2体素标签保存部与显示血管的CT值的范围相对应，第3体素标签保存部与显示骨 骼的CT值的范围相对应。
[0088] 一颜色信息保存部12在内部具有多个保存部。分别与预先设定的CT值的范围、即 成为显示对象的骨骼、血管、神经、脏器等相对应地设置各保存部。例如，可列举与显示肝脏 的CT值的抱围相对应的保存部、与显示血管的 CT值的范围相对应的保存部、与显示骨路的 CT值的范围相对应的保存部等。此时，在各保存部中按照成为显示对象的每一个骨骼、血 管、神经、脏器而设定分别不同的颜色信息。例如，在与骨骼相对应的CT值的范围内保存白 色的颜色信息，在与血管相对应的CT值的范围内保存红色的颜色信息。
[0089]另外，所谓按照成为显示对象的每一个骨骼、血管、神经、脏器而设定的CT值是 指，对人体中的X射线吸收的程度进行数值化而得到的值，表示为将水设为〇的相对值（单 位：HU)。例如，显示骨骼的CT值的范围为500?1000HU，显示血液的CT值的范围为30? 50HU，显示肝脏的CT值的范围为 6〇?70HU，显示肾脏的CT值的范围为30?40HU。
[0090]如图4所示，内窥镜参数保存部22具有第1内窥镜参数保存部22a、第2内窥镜 参数保存部22b、第3内窥镜参数保存部22c。在第1?第3内窥镜参数保存部22a?22c 中，例如分别保存有内窥镜的斜视角、视野角、位置、姿势等信息。此外，如图3所示，内窥镜 参数保存部22与内窥镜参数设定部23相连接。
[0091]内窥镜参数设定部23经由键盘3或鼠标4进行内窥镜参数的设定，并将参数发送 给内窥镜参数保存部22。
[0092]如图5所示，手术器具参数保存部24具有第1手术器具参数保存部24a、第2手术 器具参数保存部24b、第3手术器具参数保存部24c。例如，在将手术器具设为切削用的电 钻时，在第1?第3手术器具参数保存部24a?24c中分别保存电钻的长度、前端形状、位 置、姿势等信息。或者，在将手术器具设为筒状的牵引器31时，分别保存筒状的牵引器31 的筒形、筒长度、位置、姿势等信息。此外，如图2所示，手术器具参数保存部24与手术器具 参数设定部25相连接。
[0093]手术器具参数设定部25经由键盘3或鼠标4进行牵引器31或电钻等手术器具参 数的设定，并将参数发送给手术器具参数保存部24。
[0094]内窥镜和手术器具位置/姿势获取部（内窥镜/手术器具位置检测部）26经由总 线16接收对内窥镜和手术器具的位置和角度进行检测的位置/角度检测装置29中的检测 结果，并将检测结果发送给体绘制运算部13、配准运算部27。
[0095]体绘制运算部13基于体素信息保存部1〇所保存的体素信息、体素标签保存部u 所保存的体素标签、颜色信息保存部12所保存的颜色信息，获取与视线垂直且Z方向上的 间隔固定的多个切片信息。并且，体绘制运算部13使该运算结果作为三维图像而显示于显 示器2中。
[0096]此外，体绘制运算部I3基于内窥镜参数保存部22所保存的内窥镜信息、手术器具 参数保存部24所保存的手术器具信息、内窥镜和手术器具位置/姿势获取部26中的检测 结果，进行将头际的内窥镜和手术器具的运动与三维图像相结合的实时显示。
[0097]进一步，体绘制运算部13基于上述内窥镜信息以及手术器具信息，在相对于由内 窥镜得到的图像信息反映了视野被牵引器31限制的图像信息的遮蔽状态下，使虚拟内窥 镜图像显示于显示器2。具体地，体绘制运算部Π 基于内窥镜参数保存部22所保存的与内 窥镜相关的信息（斜视角、视野角、位置等）、手术器具参数保存部24所保存的与手术器具 相关的信息（直径、长度等），设定由内窥镜获取的内窥镜图像显示区域（第1显示区域） Al(参照图10等）和显示限制区域（第2显示区域）A2(参照图10等）。
[0098]在此，所谓虚拟内窥镜图像显示区域A1指的是，在实际的内窥镜手术中在显示器 2的监视器画面上显示的显示区域。所谓显示限制区域A2指的是，因筒状牵引器31等手术 器具的内壁部分等，通过内窥镜获取的显示被限制的显示区域，意味着在内窥镜手术模拟 上被遮蔽显示的区域（参照图10等）。
[00"]进一步，在体绘制运算部13上经由总线！6而连接深度检测部15。
[0100]深度检测部15测量光线投射扫描距离，并且将深度控制部17和体素标签设定部 18相连接。
[0101]体素标签设定部18将体素标签保存部n和被切削体素标签计算显示部 19相连 接。
[0102]与总线I6连接上述的体绘制运算部13以及深度检测部15以外，还连接存储器9 内的颜色信息保存部12等、窗口坐标获取部20、内窥镜和手术器具位置/姿势获取部26， 并基于从键盘3、鼠标4、平板5、位置/角度检测装置29、内窥镜影像获取部30等输入的内 容,将三维图像等显示于显示器2。
[0103] 与窗口坐标获取部20连接颜色信息设定部21和配准运算部27。
[0104] 颜色信息设定部21与存储器9内的颜色信息保存部12相连接。
[0105]如上所述，内窥镜和手术器具位置/姿势获取部26通过在安装于斜视内窥镜32 和手术器具33的三维传感器32a和三维传感器33b中对由定位用发射器34产生的磁场进 行检测，从而获取与斜视内窥镜32和手术器具33的位置和姿势相关的信息。
[0106]另外，如图6(a)以及图6(b)所示，用于检测斜视内窥镜32的三维的位置和姿势 的三维传感器32a被设置在不会妨碍斜视内窥镜％的把持部的操作的位置上。此外，如图 25(a)所示，用于检测手术器具33的三维的位置和姿势的三维传感器 33b被设置在不会妨 碍手术器具33的把持部的操作的位置上。
[0107]配准运算部27进行用于使在体绘制运算部I3中生成的三维图像、和实际手术中 的患者的基准位置、内窥镜32以及手术器具33的三维位置及旋转角度一致的运算。另外， 针对该配准运算部27的配准处理（坐标变换处理），将在后面详细叙述。
[0108]变换矩阵保持部28与配准运算部2了及体绘制运算部13相连接，保持多个在实施 配准处理（坐标变换处理）时使用的变换矩阵。
[0109]如上所述，位置/角度检测装置29与个人计算机1、定位用发射器34以及斜视内 窥镜32相连接，并基于安装于斜视内窥镜32和手术器具33等的三维传感器32a (参照图 6(a)等）和三维传感器33b中的探测结果，检测实际手术中的斜视内窥镜32和手术器具 33的位置和姿势。 '
[0110]内窥镜影像获取部30获取在斜视内窥镜32中获取到的影像。在内窥镜影像获取 部30中获取到的内窥镜的影像经由总线16而被显示于显示器2、102。
[0111]如上所述，牵引器31是将斜视内窥镜32或电钻等手术器具33插入到内部的筒状 构件，在实际手术中，从手术部位附近的体表面向患者的体内插入并固定该牵引器。
[0112]沿着上述的筒状牵引器31的内周面而插入斜视内窥镜（内窥镜）32,该斜视内窥 镜（内窥镜）32获取手术部位的影像。此外，为了在手术中实时地检测斜视内窥镜％的三 维位置和姿势，在斜视内窥镜32中安装有三维传感器32a。 一
[0113] 如图6(a)以及图6(b)所示，在斜视内窥镜32的后端部侧的侧面设置了丨个三维 传感器3如。由此，基于上述的内窥镜参数保存部22所保存的斜视内窥镜％的长度、形状， 通过计算，计算出斜视内窥镜32的前端位置。另外，在本实施方式中，作为三维传感器32 a， 使用1个6轴传感器。因此，能够通过1个三维传感器32a对（x，y，z)、y (偏航）、p (俯 仰）、r(旋转）这6个参数进行定位。
[0114] 在本实施方式中，手术器具33使用对手术部位进行切削的电钻。针对该手术器具 (电钻）33,与斜视内窥镜32同样地，在后端部附近安装有三维传感器33b。由此，针对进行 切削的手术器具（电钻）33的前端（处理部）的位置，也能够基于手术器具参数保存部24 所保存的电钻的长度和形状来进行计算。
[0115] 更具体来说，如图25(a)所示，通过在实际空间中，将三维传感器33b安装于不会 妨碍实际在手术中使用的手术器具33的把持部的位置处，由此，如图25(b)所示，在虚拟空 间中，利用多点模型对手术器具图像33a的前端位置进行建模。
[0116] 并且，如图26所示，与实际的手术器具33的操作一致地，基于实时对手术器具33 的位置和姿势等进行探测的结果，在虚拟空间上，计算并显示从手术器具33的前端的多个 点到计划手术的切削部位的距离。
[0117] 此外，从手术器具33的前端的多个点至计划手术的切削部位的距离，在靠近的方 向上进行采样，根据多个点靠近的速度、加速度以及方向，变更显示模式（参照图9以及图 10)。
[0118]由此，手术者能够观察表示导航用的虚拟空间的图像的同时更准确地把握手术器 具前端相对于切削部位的位置。
[0119] 〈与本手术辅助方法相关的控制流程〉
[0120] 在此，针对表示本实施方式的基于个人计算机1的手术辅助方法的流程的控制流 程，使用图7(a)至图7(c)进行说明，如下。
[0121]如图7(a)所示，在本实施方式的个人计算机1中，首先，在S1中，如上所述，输入 来自断层图像信息部8的断层图像信息，并将该信息提供给体素信息提取部7。
[0122] 接着，在S2中，在体素信息提取部7中，从断层图像信息中提取体素信息。提取到 的体素信息经由断层图像信息获取部6而被保存到存储器9的体素信息保存部10中。体 素信息保存部10所保存的体素信息是例如由I(x，y，z，α)构成的点的信息。此时，I为该 点的亮度信息，x、y、z表示坐标点，α是透明度信息。
[0123] 接着，在S3中，体绘制运算部13基于体素信息保存部10所保存的体素信息，计算 出与视线垂直且间隔固定的多个切片信息，并获取切片信息组。并且，切片信息组至少暂时 被保存在体绘制运算部13内。
[0124]另外，所谓上述与视线垂直的切片信息是指与视线正交的面。例如，在使显示器2 沿着铅垂方向竖立的状态下，在将显示器设为与脸部面平行的状态下进行观察时，切片信 息成为与视线垂直的面。
[0125] 如上所述，这样得到的多个切片信息保有由I(x，y，z，α )构成的点的信息。由此， 关于切片信息，例如在Ζ方向上配置多个体素标签14。另外，体素标签14的集合体容纳在 体素标签保存部11中。
[0126] 接着，在S4中，在显示器2中显示绘制像。此时，在显示器2中，通过使用鼠标4 等来指定CT值的范围，从而选择成为切削对象物的骨骼或血管等来进行显示。
[0127] 接着，在S5中，判定是否从用户接受了实施配准的指示。在此，在接受到配准指示 的情况下，为了实施配准，进入A(se)。另一方面，在未接受到配准指示的情况下，转移至确 认是否接受到实施导航的指示的S7。
[0128] 在S5中接受到配准指示的情况下，按照图7(b)所示的流程，实施配准。
[0129] g卩，首先，在S61中，指示成为配准的特征点的位置。具体来说，将容易从体表面确 认位置的骨骼的部分，例如，第五棘突、左右髂骨等作为特征点。
[0130] 接着，在S62中，设为在手术者或者护士等把持传感器的状态下从横卧于手术台 上的患者的体表面向这些特征点靠近的位置推压的状态，观察显示器102的同时对传感器 的位置进行微调整来获取传感器位置信息。
[0131] 接着，在S63中，计算出用于将获取到的表示传感器位置的实际空间坐标系变换 为虚拟空间坐标系的变换矩阵。
[0132] 如图23所示，根据由在虚拟空间内指定的3个特征点（Pvl，P# Pv3)、（Pvl，Pv2, Pv3) 形成的三角形的重心为原点的PvQ、和相对于从传感器获取到的实际空间内的对象以由对应 的特征点坐标（Pd，P r2, prt)、（Pd，pr2, pr3)形成的三角形的重心为原点的Prt，求出坐标变换 矩阵。
[0133] 首先，PvQ是在虚拟空间内指定的特征点三角形的重心。
[0134] 【数学式1】
[0135]
【权利要求】
1. 一种手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具来进行的手术 中，显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备： 断层图像信息获取部，获取患者的断层图像信息； 存储器，与所述断层图像信息获取部相连接，保存所述断层图像信息的体素信息； 体绘制运算部，与所述存储器相连接，基于所述体素信息，在与视线垂直的方向上对体 素信息进行采样； 内窥镜/手术器具位置检测部，依次检测所述内窥镜以及所述手术器具的三维位置； 配准运算部，对由所述体绘制运算部生成的三维图像的坐标、和在所述内窥镜/手术 器具位置检测部中检测的所述内窥镜及所述手术器具的坐标进行坐标合并； 模拟部，在由所述体绘制运算部生成的三维图像上将预定被虚拟地切削的手术的切削 部分相关联到所述体素信息上后存储于所述存储器中； 距离计算部，计算出所述三维图像上的所述手术器具的处理部与所述存储器所保存的 表示所述切削部分的所述体素信息之间的距离；以及 导航部,使用所述手术器具在手术中的坐标来显示所述三维图像上的所述手术器具的 所述处理部，与手术中显示的内窥镜图像一起显示所述处理部与所述存储器所保存的表示 所述切削部分的所述体素信息之间的距离。
2. 根据权利要求1所述的手术辅助装置，其中， 所述模拟部在进行手术前的切削时，检测对象部位的深度并运算出不连续性或者深度 的变化程度，在变化程度超过了规定阈值的情况下，中止切削或者不更新切削数据。
3. 根据权利要求1或2所述的手术辅助装置，其中， 所述导航部利用多点模型，对所述三维图像上的所述手术器具的处理部进行建模。
4. 根据权利要求1?3中任一项所述的手术辅助装置，其中， 所述导航部使用设为对所述手术中的手术器具进行了切削的部分进行表示的体素信 息的方向分量的向量，作为所述距离的向量。
5. 根据权利要求1?4中任一项所述的手术辅助装置，其中， 所述导航部从所述切削部分开始按等距离来变更体素的颜色后进行显示。
6. 根据权利要求1?5中任一项所述的手术辅助装置，其中， 所述配准运算部将所述内窥镜以及所述手术器具的坐标和所述三维图像的坐标进行 坐标合并后，确认坐标合并的精度，在该精度超过了规定范围的情况下，对坐标合并的偏差 进行校正。
7. 根据权利要求1?6中任一项所述的手术辅助装置，其中， 所述导航部设定由所述体绘制运算部生成且由所述内窥镜所获取的第1显示区域、和 在实际的手术中因所述手术器具而导致显示受限的第2显示区域，并显示该第1显示区域 和该第2显示区域。
8. 根据权利要求1?7中任一项所述的手术辅助装置，其中， 该手术辅助装置还具备显示所述三维图像、表示所述手术器具的前端的图像以及所述 距离的显示部。
9. 一种手术辅助程序，在观察内窥镜图像的同时使用切削用手术器具进行的手术中， 显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助程序使计算机执 行具备以下步骤的手术辅助方法，该手术辅助方法具备： 获取患者的断层图像信息的步骤； 保存所述断层图像信息的体素信息的步骤； _ 基于所述体素信息，在与视线垂直的方向上对体素信息进行采样的步骤； 依次检测所述内窥镜以及手术器具的三维位置的步骤； _ 对所述三维图像的坐标与所述内窥镜及所述手术器具的坐标进行坐标合并的步骤； 在所述三维图像上将预定被虚拟地切削的手术的切削部分相关联到所述体素信息上 后存储在存储器中的步骤； _ 计算出所述三维图像上的所述手术器具的处理部与所述存储器所保存的表示所述切 削部分的所述体素信息之间的距离的步骤；以及 使用所述手术器具在手术中的坐标来显示所述三维图像上的所述手术器具的所述处 理部，与手术中显示的内窥镜图像一起显示所述处理部与所述存储器所保存的表示所述切 削部分的所述体素信息之间的距离。
10. -种手术辅助装置，在观察内窥镜图像的同时使用切削用手术器具进行的手术中， 显示根据断层图像信息生成的三维模拟图像的同时进行导航，该手术辅助装置具备： 模拟部，在与视线垂直的方向上对患者的断层图像信息的体素信息进行采样而生成 的三维图像上，将预定被虚拟地切削的手术的切削部分相关联到所述体素信息上后进行存 储；以及 导航部，计算出所述三维图像上的所述手术器具的处理部与存储器所保存的表示所述 切削部分的所述体素信息之间的距离，使用所述手术器具在手术中的坐标来显示所述三维 图像上的所述手术器具的所述处理部，并与手术中显示的内窥镜图像一起显示所述处理部 与表示所述切削部分的所述体素信息之间的距离。
【文档编号】A61B1/00GK104203142SQ201380016841
【公开日】2014年12月10日 申请日期:2013年3月26日 优先权日:2012年3月29日
【发明者】竹村知晃, 今中良一, 今西劲峰, 吉田宗人, 木冈雅彦 申请人:松下健康医疗器械株式会社, 松下医疗方案株式会社