专利名称：插入支持系统的制作方法
技术领域：
本发明涉及支持内窥镜的插入的插入支持系统。
背景技术：
近年来广泛采用基于图像的诊断，例如，通过利用X线CT(ComputedTomography)装置等拍摄被检体的断层像，在被检体内获得三维图像数据，使用该三维图像数据进行目标部位的诊断。
在CT装置中，通过一边连续旋转着进行X线照射/检测，一边向体轴方向连续输送被检体，可以在被检体的三维区域中进行螺旋状的连续扫描(螺旋扫描helical scan)，根据三维区域的连续的切片断层像生成三维图像。
这种三维图像的一种图像中有肺的支气管的三维图像。支气管的三维图像用来三维掌握例如被怀疑为肺癌等的异常部的位置。并且，为了通过活检来确认异常部，插入支气管内窥镜并从前端部伸出活检针和活检钳子等，采取组织的样本(sample)。
在像支气管那样具有多个阶段的分支的管路中，在异常部的所在位置接近分支的末梢时，使内窥镜的前端在短时间内准确到达目标部位比较困难，因此例如在日本国特开2000-135215号公报等中提出了一种装置，根据被检体的三维区域的图像数据生成所述被检体内的管路的三维像，在所述三维像上求出沿着所述管路到达目标地点的路径，根据所述图像数据生成沿着所述路径的所述管路的虚拟内视像，并显示所述虚拟内视像，从而把支气管内窥镜导航到目标部位。
但是，作为目标部位的活体组织一般具有一定的范围，所以利用点指定活检时的活检位置并不合适，期望指定为一定大小的目标区域，但在以往的装置中不能把导航的终点指定为这种目标区域，存在不能确定从始点到目标区域的导航路径的问题。
发明内容
本发明就是鉴于上述情况而提出的，其目的在于提供一种插入支持系统，能够在任意区域指定关心部位，并且能够恰当地设定到达所指定区域的导航。
本发明的插入支持系统构成为具有虚拟图像生成单元，其根据被检体的三维区域的图像数据，生成所述被检体内的体腔路上的虚拟图像；路径始点设定单元，其设定内窥镜通往所述被检体内的体腔路上的插入路径的始点；关心区域设定单元，其设定所述被检体内的关心部位的区域；路径终点抽取单元，其根据所述关心部位的区域，抽取所述内窥镜通往所述被检体内的体腔路上的插入路径的终点。
本发明的插入支持系统具有可以在任意区域指定关心部位，而且能够恰当地设定到达所指定区域的导航的效果。
图1是表示本发明的实施例1的支气管插入支持系统的结构的结构图。
图2是表示图1的插入支持装置生成导航数据的处理流程的流程图。
图3是表示在图2的处理中展开的路径设定画面的第1图。
图4是表示在图2的处理中展开的路径设定画面的第2图。
图5是表示在图2的处理中展开的路径设定画面的第3图。
图6是表示在图2的处理中展开的路径设定画面的第4图。
图7是表示在图2的处理中展开的路径设定画面的第5图。
图8是表示图2的路径设定处理的流程的流程图。
图9是说明图8的处理的第1图。
图10是说明图8的处理的第2图。
图11是表示在图8的处理中展开的路径设定画面的第1图。
图12是说明图8的处理的第3图。
图13是表示在图8的处理中展开的路径设定画面的第2图。
图14是说明图8的处理的第4图。
图15是表示在图8的处理中展开的路径设定画面的第3图。
图16是表示在图2的处理中展开的插入支持画面的图。
图17是表示在图8的处理中展开的路径设定画面的第2变形例的图。
图18是表示在图8的处理中展开的路径设定画面的第1变形例的图。
图19是表示本发明的实施例2的支气管插入支持系统的结构的结构图。
图20是表示图19所示的插入支持装置生成插入支持数据的处理流程的流程图。
图21是表示在图20的处理中展开的患者信息选择画面的图。
图22是表示在图20的处理中展开的路径设定画面的图。
图23是说明图22的支气管断层图像和MPR图像的显示方法的特征的第1图。
图24是说明图22的支气管断层图像和MPR图像的显示方法的特征的第2图。
图25是说明图22的支气管断层图像和MPR图像的显示方法的特征的第3图。
图26是说明图22的支气管断层图像和MPR图像的显示方法的特征的第4图。
图27是表示图20的路径设定处理的流程的第1流程图。
图28是表示图20的路径设定处理的流程的第2流程图。
图29是说明图27和图28所示的处理的第1图。
图30是说明图27和图28所示的处理的第2图。
图31是说明图27和图28所示的处理的第3图。
图32是说明图27和图28所示的处理的第4图。
图33是说明图27和图28所示的处理的第5图。
图34是说明图27和图28所示的处理的第6图。
图35是说明图27和图28所示的处理的第7图。
图36是说明图27和图28所示的处理的第8图。
图37是说明图27和图28所示的处理的第9图。
图38是表示利用图19的插入支持装置生成的插入支持画面的图。
图39是表示本发明的实施例3的支气管插入支持系统的结构的结构图。
图40是表示图39的插入支持装置生成插入支持数据的处理流程的流程图。
图41是表示在图40的处理中展开的患者信息选择画面的图。
图42是表示在图40的处理中展开的路径设定画面的图。
图43是说明图42的支气管图像和MPR图像的显示方法的特征的第1图。
图44是说明图42的支气管图像和MPR图像的显示方法的特征的第2图。
图45是说明图42的支气管图像和MPR图像的显示方法的特征的第3图。
图46是说明图42的支气管图像和MPR图像的显示方法的特征的第4图。
图47是表示图40的路径设定处理的流程的第1流程图。
图48是表示图40的路径设定处理的流程的第2流程图。
图49是说明图47和图48的处理的第1图。
图50是说明图47和图48的处理的第2图。
图51是说明图47和图48的处理的第3图。
图52是说明图47和图48的处理的第4图。
图53是说明图47和图48的处理的第5图。
图54是说明图47和图48的处理的第6图。
图55是说明图47和图48的处理的第7图。
图56是说明图47和图48的处理的第8图。
图57是说明图47和图48的处理的第9图。
图58是表示利用图39的插入支持装置生成的插入支持画面的图。
具体实施例方式
以下，参照
本发明的实施例。
(实施例1)如图1所示，本实施例1的支气管插入支持系统1由支气管内窥镜装置3和插入支持装置5构成。
插入支持装置5根据CT图像数据生成支气管内部的虚拟的内视像(以下表述为VBS图像)，并且将通过支气管内窥镜装置3得到的内窥镜图像(以下表述为实时图像)与VBS图像合成，并显示在监视器6上，由此进行支气管内窥镜装置3向支气管的插入支持。
并且，支气管内窥镜装置3虽然未图示，但是由具有摄像单元的支气管镜、为支气管镜提供照明光的光源、和对来自支气管镜的摄像信号进行信号处理的摄像机控制单元等构成，把支气管镜插入患者体内的支气管中，拍摄支气管内部，对支气管末端的目标组织进行活检，并且将实时图像和VBS图像合成显示在监视器7上。
监视器7设有由触摸屏构成的输入部8，能够一面进行插入处理一面容易地操作由触摸屏构成的输入部8。
插入支持装置5由以下部分构成CT图像数据取入部11，其通过例如MO(Magnetic Optical disk磁光盘)装置或DVD(Digital VersatileDisk数字通用磁盘)装置等可移动的存储介质，取入由拍摄患者的X线断层像的未图示的公知CT装置生成的三维图像数据；CT图像数据存储部12，其存储通过CT图像数据取入部11取入的CT图像数据；MPR图像生成部13，其根据存储在CT图像数据存储部12中的CT图像数据，生成MPR图像(多断面再构建图像)；路径设定部14，其生成具有MPR图像生成部所生成的MPR图像的后述的路径设定画面，设定支气管内窥镜装置3的通往支气管的支持路径(以下仅表述为路径)；作为虚拟图像生成单元的VBS图像生成部15，其根据存储在CT图像数据存储部12中的CT图像数据，以帧为单位生成由路径设定部14设定的路径连续的VBS图像；VBS图像存储部16，其存储VBS图像生成部15生成的VBS图像；作为导航图像生成单元的图像处理部17，其输入来自支气管内窥镜装置3的摄像信号和来自输入部8的输入信号，生成由实时图像、VBS图像和多个缩略VBS图像构成的后述的插入支持画面；图像显示控制部18，其使监视器6显示路径设定部14生成的路径设定画面和图像处理部17生成的插入支持画面；输入装置19，其由向路径设定部14输入设定信息的键盘和指针器件构成。
支气管内窥镜装置3从插入支持装置5的图像处理部17接收VBS图像和缩略VBS图像，与实时图像合成，在监视器7上显示与插入支持装置5显示于监视器6上的插入支持画面相同的画面，并且把来自监视器7的由触摸屏构成的输入部8的输入信息输出给插入支持装置5的图像处理部17。
另外，CT图像数据存储部12和VBS图像存储部16可以由一个硬盘构成，另外，MPR图像生成部13、路径设定部14、VBS图像生成部15和图像处理部17可以由一个运算处理电路构成。并且，CT图像数据取入部11通过MO或DVD等可移动的存储介质取入CT图像数据，但在CT装置或保存CT图像数据的医院内服务器连接医院内LAN时，也可以由可连接该医院内LAN的接口电路构成CT图像数据取入部11，通过医院内LAN取入CT图像数据。
对这样构成的本实施方式的作用进行说明。
如图2所示，在利用支气管内窥镜装置3进行观察/处置之前，插入支持装置5在步骤S1中，通过CT图像数据取入部11取入由CT装置生成的患者的CT图像数据，在步骤S2中把所取入的CT图像数据存储在CT图像数据存储部12中。
在步骤S3中，通过路径设定部14使监视器6显示图3所示的路径设定画面21，在路径设定画面21上的患者信息标签画面22中选择患者信息。根据该选择，在步骤S4中，生成所选择的患者的例如由3个不同的多断面像构成的MPR图像，在步骤S5中，在路径设定画面21上显示该MPR图像23a、23b、23c。在路径设定画面21中设有显示VBS图像的VBS图像显示区域23d。
另外，患者信息标签画面22中的患者信息的选择，通过利用输入装置19输入识别患者的患者ID来进行。
然后，在步骤S6中，当利用输入装置19选择路径设定画面21上的路径设定标签24(参照图3)时，图4所示的路径设定标签画面25显示在路径设定画面21上，进行后述的路径设定处理，设定支气管镜在支气管内的插入支持路径。
在设定了插入支持路径时，在步骤S7中，通过VBS图像生成部15以帧为单位生成所设定的所有路径连续的VBS图像，在步骤S8中，把所生成的VBS图像存储在VBS图像存储部16中。
通过上述的步骤S1～S8的处理，完成使用支气管镜观察/处置时的插入支持装置4的插入支持的准备。
此处，使用图5～图8说明上述步骤S6的路径设定处理。
当在路径设定画面21中选择了路径搜索按钮时，开始步骤S6的路径设定处理。具体来讲，图5所示的催促输入路径的始点的始点输入指示窗口31显示在路径设定画面21上，在路径设定画面21上使用光标30在MPR图像23中的一个断层像上设定始点71。设定始点71后，在MPR图像23的其他两个断层像上的对应位置处也设定始点71，并且在VBS图像显示区域23d上显示始点71的VBS图像，图6所示的催促设定路径的终点即活检区域72的活检区域输入指示窗口32显示在路径设定画面21上。
在该图6的路径设定画面21上，使用光标30在MPR图像23中的一个断层像上二维描画活检区域72来进行设定。此时设定的活检区域72的数量不限于一个，也可以指定多个，在图6中示出了指定两个活检区域72a、72b的状态。
并且，在活检区域72的设定的设定结束后，图7所示的设定每一个活检区域72的搜索路径数量的路径数量设定窗口33显示在路径设定画面21上。通过设定每一个活检区域72的搜索路径数量，可以搜索出多条导航对象在活检区域72中的靠近路径(approach route)。
根据图5～图7，在设定了始点、活检区域72和搜索路径数量后，按照图8所示的处理搜索路径。
即，如图8所示，在步骤S11中，检测出所设定的活检区域72的数量，在步骤S12中，读入搜索路径数量n，在步骤S13中，读入始点71的位置。
并且，在步骤S14中，抽取活检区域72的重心位置，在步骤S15中，把r设为Δr后，在步骤S16中，把以重心位置为中心的半径为r的圆内部指定为搜索区域。
在步骤S17中，判断搜索区域内是否有支气管，在有支气管时，在步骤S18中，确定把该位置作为终点的路径候选。
在确定了路径候选后，在步骤S19中，判断所确定的路径候选是否已登记，在没有登记的情况下，在步骤S20中，生成基于从始点到终点的分支点名称的路径名称，并作为支持路径登记。
并且，在步骤S21中，判断所登记的路径数量是否小于在步骤S12中读入的路径数量n。
另外，在步骤S17中判断为搜索区域内没有支气管时，在步骤S19中所确定的路径候选已登记时，或者在步骤S21中已登记的路径数量小于路径数量n时，在步骤S22中，把r设为r+Δr来放大搜索区域，并返回步骤S16。
在已登记的路径数量达到在步骤S2中读入的路径数量n时，在步骤S23中，判断是否已搜索所设定的所有活检区域，如果已搜索所有活检区域则结束处理，在还有未搜索的活检区域时，在步骤S23中抽取下一个活检区域的重心位置，并返回步骤S15。
具体来讲，如图9所示，在支气管101的端部被指定了活检区域72时，抽取活检区域72的重心103。
并且，如图10所示，把以该重心103为中心的圆设为搜索区域104，放大搜索区域104直到支气管位于搜索区域104内，把支气管最先位于搜索区域104内的点设为终点105，如图11所示，确定连接始点71和该终点105的第1路径候选106，如果该第1路径候选106尚未登记，则作为第1支持路径进行登记。此时的路径名称根据将要通过的分支点名称来命名。
在确定了第1支持路径后，如图12所示，增大以重心103为中心的搜索区域104的半径，放大搜索区域104，把之后支气管位于搜索区域104内的点设为终点107，如图13所示，确定连接始点71和该终点107的第2路径候选108，如果该第2路径候选108尚未登记，则作为第2支持路径进行登记。在图13中，第2路径候选108与图11中的第1支持路径不同，所以第2路径候选108成为第2支持路径。此时的路径名称也根据将要通过的分支点名称来命名。
在本实施例中，由于路径数量为3个，所以在确定了第2支持路径后，完全相同地，如图14所示，进一步增大以重心103为中心的搜索区域104的半径，放大搜索区域104，把之后支气管位于搜索区域104内的点设为终点109，如图15所示，确定连接始点71和该终点109的第3路径候选110，如果该第3路径候选110尚未登记，则作为第3支持路径进行登记。在图15中，由于第3路径候选110与第1和第2支持路径不同，所以第3路径候选110成为第3支持路径。此时的路径名称也根据将要通过的分支点名称来命名。
这样，可以设定所指定的路径数量的支持路径。对所有活检区域72执行这些处理，对每个活检区域72设定所指定的路径数量的支持路径。
当在插入支持装置5的插入支持下，开始在这样设定的支持路径中的支气管内窥镜检查时，在监视器7上显示如图16所示的插入支持画面51。另外，也在监视器6上显示和监视器7相同的插入支持画面51。
该插入支持画面51包括显示来自支气管内窥镜装置3的实时图像的内窥镜实时图像显示区域52；显示VBS图像像53a的VBS图像显示区域53；将路径的所有分支点的VBS图像像53a缩小显示为分支缩略VBS图像54(a)～54(j)的分支缩略VBS图像区域54，与实时图像所在的分支点对应的虚拟图像即VBS图像像53a显示在VBS图像显示区域53上。
此处，与显示在VBS图像显示区域53上的VBS图像53a相同的分支缩略VBS图像的框显示为粗框或彩色，可以与其他的分支缩略VBS图像区分，手术医生能够容易识别显示在VBS图像显示区域53上的VBS图像是哪个分支的图像。
另外，也可以按照图17所示那样，将所有的支持路径以区分颜色的方式同时显示在MPR图像23上。并且，在MPR图像23上指定始点和活检区域，但不限于此，也可以如图18所示，在路径设定画面21上显示支气管的三维图像151，在三维图像151中指定始点71和活检区域72，以进行路径搜索。
(实施例2)如图19所示，本实施例2的支气管插入支持系统301由支气管内窥镜装置303和插入支持装置305构成。
插入支持装置305根据CT图像数据生成支气管内部的虚拟的内视像(以下表述为VBS图像)，并且将通过支气管内窥镜装置303得到的内窥镜图像(以下表述为实时图像)与VBS图像合成，并显示在监视器306上，由此进行支气管内窥镜装置303向支气管的插入支持。
并且，支气管内窥镜装置303虽然未图示，但是由具有摄像单元的支气管镜、为支气管镜提供照明光的光源、和对来自支气管镜的摄像信号进行信号处理的摄像机控制单元等构成，把支气管镜插入患者体内的支气管中，拍摄支气管内部，对支气管末端的目标组织进行活检，并且将实时图像和VBS图像合成显示在监视器307上。
监视器307设有由触摸屏构成的输入部308，能够一面进行插入处理一面容易地操作由触摸屏构成的输入部308。
插入支持装置305由以下部分构成CT图像数据取入部11，其通过例如MO(Magnetic Optical disk)装置或DVD(Digital Versatile Disk)装置等可移动的存储介质，取入由拍摄患者的X线断层像的未图示的公知CT装置生成的三维图像数据；CT图像数据存储部312，其存储通过CT图像数据取入部311取入的CT图像数据；脏器抽取部320，其抽取存储在CT图像数据存储部312中的作为CT图像数据的规定脏器即支气管的三维信息的区段(segmentation)；MPR图像生成部313，其根据存储在CT图像数据存储部312中的CT图像数据，生成MPR图像(多断面再构建图像)，并且在MPR图像上重叠显示脏器抽取部320抽取的支气管的支气管断层图像；路径设定部314，其生成具有MPR图像生成部313生成的MPR图像的后述的路径设定画面，设定支气管内窥镜装置303通往支气管的支持路径(以下仅表述为路径)VBS图像生成部315，其根据存储在CT图像数据存储部312中的CT图像数据，以帧为单位生成由路径设定部314设定的路径连续的VBS图像；VBS图像存储部316，其存储VBS图像生成部315生成的VBS图像；图像处理部317，其输入来自支气管内窥镜装置3的摄像信号和来自输入部8的输入信号，生成由实时图像、VBS图像和多个缩略VBS图像构成的后述的插入支持画面；图像显示控制部318，其使监视器306显示路径设定部314生成的路径设定画面和图像处理部317生成的插入支持画面；输入装置319，其由向路径设定部314输入设定信息的键盘和指针器件构成。
支气管内窥镜装置303从插入支持装置305的图像处理部317接收VBS图像和缩略VBS图像，并与实时图像合成显示在监视器307上，并且把来自监视器7的由触摸屏构成的输入部308的输入信息输出给插入支持装置305的图像处理部317。
另外，CT图像数据存储部312和VBS图像存储部316可以由一个硬盘构成，另外，MPR图像生成部313、路径设定部314、VBS图像生成部315和图像处理部317可以由一个运算处理电路构成。并且，CT图像数据取入部311通过MO或DVD等可移动的存储介质取入CT图像数据，但在CT装置或保存CT图像数据的医院内服务器连接医院内LAN时，也可以由可连接该医院内LAN的接口电路构成CT图像数据取入部311，通过医院内LAN取入CT图像数据。
对这样构成的本实施例的作用进行说明。
如图20所示，在利用支气管内窥镜装置303进行观察/处置之前，插入支持装置305在步骤S301中，通过CT图像数据取入部311取入由CT装置生成的患者的CT图像数据，在步骤S302中把所取入的CT图像数据存储在CT图像数据存储部312中。
在步骤S303中，通过路径设定部314使监视器6显示图21所示的患者信息选择画面322，在患者信息选择画面22中选择患者信息。并且，利用基于输入装置319的操作的指针324选择患者信息选择画面322的路径设定按钮323，由此，在步骤S304中，在MPR图像生成部313中生成所选择的患者的例如由3个不同的多断面像构成的MPR图像，在监视器306上显示图22所示的路径设定画面326，该路径设定画面326具有由轴向(axial)图像325a、冠状(coronal)图像325b、径向(sagittal)图像325c构成的MPR图像325、和显示路径信息的路径信息画面328。
另外，在路径设定部314中进行的患者信息选择画面322中的患者信息的选择，通过利用输入装置319输入识别患者的患者ID来进行。
然后，在步骤S305中，利用脏器抽取部320抽取存储在CT图像数据存储部312中的CT图像数据的规定脏器即支气管，生成所抽取的支气管的支气管断层图像327，并输出给MPR图像生成部313，按照图22所示，在MPR图像325上重叠显示所抽取的支气管的支气管断层图像327。
另外，MPR图像325的轴向图像325a、冠状图像325b、径向图像325c的各个图像例如由黑白图像构成，将要重叠的支气管断层图像327利用蓝色图像(在图22中为斜线阴影部分的图像)显示，可以在视觉上区分显示MPR图像325的轴向图像325a、冠状图像325b、径向图像325c的各个图像和支气管断层图像327。
然后，在步骤S306中，在路径设定画面321上进行后述的路径设定处理，设定在支气管中的支气管镜的插入支持路径。
在设定了插入支持路径时，在步骤S307中，通过VBS图像生成部315以帧为单位生成所设定的所有路径连续的VBS图像，在步骤S308中，把所生成的VBS图像存储在VBS图像存储部316中。
通过上述的步骤S301～S308的处理，完成使用支气管镜观察/处置时的插入支持装置5的插入支持的准备。
此处，使用图22～图26说明图22所示的重叠的支气管断层图像327和MPR图像325的显示方法的特征。
在图22的路径设定画面326中，使用输入装置319，通过指针324操作路径信息区域328上的透明度设定框330，可以设定MPR图像325和将要重叠的管腔脏器抽取结果图像即支气管断层图像327在监视器306上的各自透明度，图22表示把MPR图像325和支气管断层图像327的透明度都设为0％时的显示示例。
具体来讲，在透明度设定框330中设有MPR图像透明度增减按钮330a和管腔脏器抽取结果图像透明度增减按钮330b，使用输入装置319，通过指针324操作MPR图像透明度增减按钮330a和管腔脏器抽取结果图像透明度增减按钮330b，从而可以增减MPR图像325和支气管断层图像327的透明度。
图23是把MPR图像325的透明度设为0％、把支气管断层图像327的透明度设为50％时的显示示例，图24是把MPR图像325的透明度设为0％、把支气管断层图像327的透明度设为100％时的显示示例。如图22～图24所示，通过使支气管断层图像327的透明度可变，可以在MPR图像325上进行支气管断层图像327的强调显示(图22、图23)，以及进行把支气管断层图像327融合到MPR图像325中的融合显示(图24)。
图25是把MPR图像325的透明度设为50％、把支气管断层图像327的透明度设为0％时的显示示例，图26是把MPR图像325的透明度设为100％、把支气管断层图像327的透明度设为0％时的显示示例。如图22、图25和图26所示，通过使MPR图像325的透明度可变，可以进行MPR图像325上的支气管断层图像327的强调显示(图22、图25)，以及进行只显示支气管断层图像327的支气管单独显示(图26)。
这样，通过操作MPR图像透明度增减按钮330a和管腔脏器抽取结果图像透明度增减按钮330b，可以任意增减MPR图像325和支气管断层图像327的透明度，通过以所期望的强调程度在MPR图像325上重叠显示基于CT图像数据的支气管的管腔脏器抽取结果即支气管断层图像327，可以使手术医生在正常地观察MPR图像325的过程中确认MPR图像325上的支气管的位置。
另外，不限于支气管，例如当然也可以应用于利用MPR图像325确认肠管、胆道等其他管腔脏器的位置的情况。
下面，参照图27～图37说明路径设定部314的上述步骤S306的路径设定处理。
如图27所示，在步骤S321中，在MPR图像上获取支气管插入支持的终点位置的标志。具体来讲，如图29所示，例如当利用指针324点击MPR图像325的轴向画面325a时，在所点击的位置处显示出标志400。此时，在冠状图像325b、径向图像325c的各个图像上的对应位置处也显示出标志400。
在利用指针324选择路径信息区域328上的追加按钮411时，路径设定部314获取在轴向画面325a、冠状图像325b、径向图像325c上被指定的标志400的三维坐标。
标志100如图30所示，由表示指针324点击的点的标志点400a及区域线400b构成，该区域线400b表示包括标志点400a的规定区域，以便可以在MPR图像325上视认标志点400a。因此，手术医生通过在MPR图像325上视认区域线400b，能够容易确认标志400的位置。
并且，在步骤S322中，判断标志400是否在支气管内，在支气管内时，在步骤S323中，将标志点登记到通过点列表中。不在支气管内时，在步骤S328中，显示图37所示的确认窗口440。手术医生在把标志点指定到支气管外面时，如果选择“是”，则标志点即被登记到通过点列表中。登记在通过点列表中的标志400的三维坐标在路径信息区域328上的登记信息区域412(参照图29和图32)中被赋予序号并显示。
并且，也可以显示图31所示的通过点确认窗口405。该通过点确认窗口405是用于确认三维显示的支气管像406上的标志400的窗口，手术医生利用通过点确认窗口405判断标志400是否被标记在规定的支气管内的位置处。
并且，反复把通过点的标志400登记到通过点列表中的处理直到成为所期望的位置。
图32表示登记了5个通过点后，利用标志400新指定第6个通过点的状态，如图32的MPR图像325上示出的那样，已登记的5个通过点400a例如显示为绿色的点。另外，在通过点确认窗口405中，已登记的5个通过点400a例如显示为绿色的点，第6个通过点421例如显示为红色的点。
另外，例如在图32的MPR图像325上利用标志400指定第6个通过点时，手术医生通过图34所示的通过点确认窗口405判断为当前通过点421被标记在不适合对上次利用支气管像406指定的通过点位置进行插入支持的支气管内位置处时，利用指针324选择图32的路径信息区域328上的删除按钮414，从而可以解除标志400的指定。另外，在选择全部删除按钮415时，包括当前通过点421在内的所有通过点被删除。
这样，如图35所示的通过点确认窗口405那样，在从终点407到开始插入支持的所期望的始点425的期间，把所期望的通过点登记在通过点列表中，之后手术医生判断是否需要通过点的插值。
在选择了路径插值按钮416时，在图28的步骤S326中进行规定的插值处理(例如在通过点之间直线插值)。
另外，在该插值处理中，在支气管内的通过点之间以规定间隔插值多个虚拟点，由此进行插值，但虚拟点的插值间隔可以在路径信息区域328上的插值间隔框417中任意设定。
并且，在步骤S327中，由包括虚拟点在内的通过点构成的路径430被登记在通过点列表中。
但是，在步骤S327中登记的通过点未必在支气管内。因此在实施了插值处理的情况下，在步骤S327的处理后，在步骤S329中，从通过点列表中删除不在支气管内的通过点，并结束处理，在图36所示的通过点确认窗口405中显示出路径430。
按照上面所述，当利用路径设定部314设定路径430时，转入图20中的步骤S307的处理。如上所述，在步骤S307中，利用VBS图像生成部315以帧为单位生成所设定的路径430连续的VBS图像，在步骤S308中把所生成的VBS图像存储在VBS图像存储部316中。
关于使用这样进行路径设定的插入支持装置5和支气管内窥镜装置303进行观察/处置时的插入支持用的插入支持画面，为了简化说明，以路径的分支点为10个的情况为例进行说明。
当在插入支持装置305的插入支持下，开始支气管内窥镜检查时，在监视器306上显示图示那样的插入支持画面451。
该插入支持画面451由以下部分构成显示来自支气管内窥镜装置303的实时图像452a的内窥镜实时图像显示区域452；显示VBS图像像453a的VBS图像显示区域453；将路径的所有分支点的VBS图像像453a缩小显示为分支缩略VBS图像454(a)～454(j)的分支缩略VBS图像区域454，在VBS图像显示区域453上显示路径的第一个分支点的VBS图像453a，在分支缩略VBS图像区域454上显示所有分支点的分支缩略VBS图像454(a)～454(j)。
另外，在VBS图像453a上，在沿路径行进的路径孔处重叠显示导航标志455。并且，与显示在VBS图像显示区域453上的VBS图像453a相同的分支缩略VBS图像的框显示为粗框或彩色框，可以与其他的分支缩略VBS图像区分，手术医生能够容易地识别显示在VBS图像显示区域453上的VBS图像是哪个分支的图像。在第一个阶段中，分支缩略VBS图像454(a)的框显示为粗框或彩色框。
(实施例3)如图39所示，本实施例3的支气管插入支持系统501由支气管内窥镜装置503和插入支持装置505构成。
插入支持装置505根据CT图像数据生成支气管内部的虚拟的内视像(以下表述为VBS图像)，并且将通过支气管内窥镜装置503得到的内窥镜图像(以下表述为实时图像)与VBS图像合成，并显示在监视器506上，由此进行支气管内窥镜装置503向支气管的插入支持。
并且，支气管内窥镜装置503虽然未图示，但是由具有摄像单元的支气管镜、为支气管镜提供照明光的光源、和对来自支气管镜的摄像信号进行信号处理的摄像机控制单元等构成，把支气管镜插入患者体内的支气管中，拍摄支气管内部，对支气管末端的目标组织进行活检，并且将实时图像和VBS图像合成显示在监视器507上。
监视器507设有由触摸屏构成的输入部508，能够一面进行插入处理一面容易地操作由触摸屏构成的输入部508。
插入支持装置505由以下部分构成CT图像数据取入部151，其通过例如MO(Magnetic Optical disk)装置或DVD(Digital Versatile Disk)装置等可移动的存储介质，取入由拍摄患者的X线断层像的未图示的公知CT装置生成的三维图像数据；CT图像数据存储部512，其存储通过CT图像数据取入部511取入的CT图像数据；脏器抽取部520，其抽取存储在CT图像数据存储部512中的作为CT图像数据的规定脏器即支气管的三维信息的区段；MPR图像生成部513，其根据存储在CT图像数据存储部512中的CT图像数据，生成MPR图像(多断面再构建图像)，并且在MPR图像上重叠显示脏器抽取部520抽取的支气管的支气管断层图像；路径设定部514，其生成具有MPR图像生成部513生成的MPR图像的后述的路径设定画面，设定支气管内窥镜装置3通往支气管的支持路径(以下仅表述为路径)；VBS图像生成部515，其根据存储在CT图像数据存储部512中的CT图像数据，以帧为单位生成由路径设定部514设定的路径连续的VBS图像；VBS图像存储部516，其存储VBS图像生成部515生成的VBS图像；图像处理部517，其输入来自支气管内窥镜装置3的摄像信号和来自输入部508的输入信号，生成由实时图像、VBS图像和多个缩略VBS图像构成的后述的插入支持画面；图像显示控制部518，其使监视器506显示路径设定部514生成的路径设定画面、和图像处理部517生成的插入支持画面；输入装置519，其由向路径设定部514输入设定信息的键盘和指针器件构成。
支气管内窥镜装置503从插入支持装置5的图像处理部517接收VBS图像和缩略VBS图像，并与实时图像合成显示在监视器507上，并且把来自监视器7的由触摸屏构成的输入部508的输入信息输出给插入支持装置5的图像处理部517。
另外，CT图像数据存储部512和VBS图像存储部516可以由一个硬盘构成，另外，MPR图像生成部513、路径设定部514、VBS图像生成部515和图像处理部517可以由一个运算处理电路构成。并且，CT图像数据取入部511通过MO或DVD等可移动的存储介质取入CT图像数据，但在CT装置或保存CT图像数据的医院内服务器连接医院内LAN时，也可以由可连接该医院内LAN的接口电路构成CT图像数据取入部511，通过医院内LAN取入CT图像数据。
对这样构成的本实施例的作用进行说明。
如图40所示，在利用支气管内窥镜装置503进行观察/处置之前，插入支持装置5在步骤S501中，通过CT图像数据取入部511取入由CT装置生成的患者的CT图像数据，在步骤S502中把所取入的CT图像数据存储在CT图像数据存储部512中。
在步骤S503中，通过路径设定部14使监视器506显示图41所示的患者信息选择画面522，在患者信息选择画面522中选择患者信息。并且，利用基于输入装置519的操作的指针524选择患者信息选择画面522的路径设定按钮523，由此，在步骤S504中，在MPR图像生成部513中生成所选择患者的例如由3个不同的多断面像构成的MPR图像，在监视器506上显示图42所示的路径设定画面526，该路径设定画面526具有由轴向图像525a、冠状图像525b、径向图像525c构成的MPR图像525、和显示路径信息的路径信息画面528。
另外，在路径设定部514中进行的患者信息选择画面522中的患者信息的选择，通过利用输入装置519输入识别患者的患者ID来进行。
然后，在步骤S505中，利用脏器抽取部520抽取存储在CT图像数据存储部512中的CT图像数据的规定脏器即支气管，生成所抽取的支气管的支气管断层图像527，并输出给MPR图像生成部513，按照图42所示，在MPR图像525上重叠显示所抽取的支气管的支气管断层图像527。
另外，MPR图像525的轴向图像523a、冠状图像525b、径向图像525c的各个图像例如由黑白图像构成，将要重叠的支气管断层图像527利用蓝色图像(在图42中为斜线阴影部分的图像)显示，可以在视觉上区分显示MPR图像525的轴向图像525a、冠状图像525b、径向图像525c的各个图像和支气管断层图像527。
然后，在步骤S506中，在路径设定画面521上进行后述的路径设定处理，设定在支气管中的支气管镜的插入支持路径。
在设定了插入支持路径时，在步骤S507中，通过VBS图像生成部515以帧为单位生成所设定的所有路径连续的VBS图像，在步骤S508中，把所生成的VBS图像存储在VBS图像存储部516中。
通过上述的步骤S501～S508的处理，完成使用支气管镜观察/处置时的插入支持装置5的插入支持的准备。
此处，使用图42～图46说明图42所示的重叠的支气管图像527和MPR图像525的显示方法的特征。
在图42所示的路径设定画面526中，使用输入装置519，通过指针524操作路径信息区域528上的透明度设定框530，可以设定MPR图像525和将要重叠的管腔脏器抽取结果图像即支气管断层图像527在监视器506上的各自的透明度，图42表示把MPR图像525和支气管断层图像527的透明度都设为0％时的显示示例。
具体来讲，在透明度设定框530内设有MPR图像透明度增减按钮530a和管腔脏器抽取结果图像透明度增减按钮530b，使用输入装置519，通过指针524操作MPR图像透明度增减按钮530a和管腔脏器抽取结果图像透明度增减按钮530b，从而可以增减MPR图像525和支气管断层图像527的透明度。
图43是把MPR图像525的透明度设为0％、把支气管断层图像527的透明度设为50％时的显示示例，图44是把MPR图像525的透明度设为0％、把支气管断层图像527的透明度设为100％时的显示示例。如图42～图44所示，通过改变支气管断层图像527的透明度，可以在MPR图像525上强调或融合支气管断层图像527。
图45是把MPR图像525的透明度设为50％、把支气管断层图像527的透明度设为0％时的显示示例，图46是把MPR图像525的透明度设为100％、把支气管断层图像527的透明度设为0％时的显示示例。如图42、图45和图46所示，通过使MPR图像525的透明度可变，可以只进行支气管断层图像527的显示。
这样，通过操作MPR图像透明度增减按钮530a和管腔脏器抽取结果图像透明度增减按钮530b，可以任意增减MPR图像525和支气管断层图像527的透明度，通过以所期望的强调程度在MPR图像525上重叠显示基于CT图像数据的支气管的管腔脏器抽取结果即支气管断层图像527，可以使手术医生在正常地观察MPR图像525的过程中确认MPR图像525上的支气管的位置。
下面，参照图47～图57说明路径设定部514中的上述步骤S506的路径设定处理。
如图47所示，在步骤S521中，在MPR图像上获取支气管插入支持的终点位置的标志。具体来讲，如图49所示，当例如利用指针524点击MPR图像525的轴向画面525a时，在所点击的位置处显示出标志600。此时，在冠状图像525b、径向图像525c的各个图像上的对应位置处也显示出标志600。
在利用指针524选择路径信息区域528上的追加按钮611时，路径设定部514获取在轴向画面525a、冠状图像525b、径向图像525c上指定的标志600的三维坐标。
标志600如图50所示，由表示指针524点击的点的标志点600a及区域线600b构成，该区域线600b表示包括标志点600a的规定区域，以便可以在MPR图像525上视认标志点600a。因此，手术医生通过在MPR图像525上视认区域线600b，能够容易地确认标志600的位置。
并且，在步骤S522中，判断标志100是否在支气管内，当在支气管内时，在步骤S523中，将标志点登记到通过点列表中。当不在支气管内时，在步骤S528中，显示图57所示的确认窗口640。手术医生在把标志点指定到支气管外面时，如果选择“是”，则标志点被登记到通过点列表中。登记在通过点列表中的标志600的三维坐标在路径信息区域528上的登记信息区域612(参照图49和图52)中被赋予序号并显示。
并且，也可以显示图51所示的通过点确认窗口605。该通过点确认窗口605是用于确认三维显示的支气管像606上的标志600的窗口，手术医生利用通过点确认窗口605判断标志600是否被标记在规定的支气管内的位置处。
并且，反复把通过点的标志600登记到通过点明显表中的处理直到成为所期望的位置。
图52表示登记了5个通过点后，利用标志600新指定第6个通过点的状态，如图52的MPR图像525上示出的那样，已登记的5个通过点600a例如显示为绿色的点。另外，在通过点确认窗口605中，已登记的5个通过点600a例如显示为绿色的点，第6个通过点621例如显示为红色的点。
另外，例如在图52的MPR图像525上利用标志600指定第6个通过点时，手术医生通过图54所示的通过点确认窗口605判断为当前通过点621被标记在不适合对上次利用支气管像606指定的通过点位置进行插入支持的支气管内位置处时，利用指针524选择图52的路径信息区域528上的删除按钮614，从而可以解除标志600的指定。另外，在选择全部删除按钮615时，包括当前通过点621在内的所有通过点被删除。
这样，如图55所示的通过点确认窗口605那样，在从终点607到开始插入支持的所期望的始点625的期间，把所期望的通过点登记在通过点列表中，然后手术医生判断是否需要通过点的插值。
在选择了路径插值按钮616时，在图48中的步骤S526中进行规定的插值处理(例如在通过点之间进行直线插值)。
另外，在该插值处理中，在支气管内的通过点之间以规定间隔插值多个虚拟点，由此进行插值，但虚拟点的插值间隔可以在路径信息区域528上的插值间隔框617中任意设定。
并且，在步骤S527中，由包括虚拟点在内的通过点构成的路径630被登记在通过点列表中。
但是，在步骤S527中登记的通过点未必在支气管内。因此在实施了插值处理的情况下，在步骤S527的处理后，在步骤S529中，从通过点列表中删除不在支气管内的通过点，并结束处理，在图56所示的通过点确认窗口605显示出路径630。
按照上面所述，当利用路径设定部514设定路径630时，转入图40中的步骤S507的处理。如上所述，在步骤S507中，利用VBS图像生成部515以帧为单位生成所设定的路径630连续的VBS图像，在步骤S508中把所生成的VBS图像存储在VBS图像存储部516中。
关于使用这样进行路径设定的插入支持装置505和支气管内窥镜装置503进行观察/处置时的插入支持用的插入支持画面，为了简化说明，以路径的分支点为10个的情况为例进行说明。
当在插入支持装置505的插入支持下，开始支气管内窥镜检查时，在监视器506上显示图示那样的插入支持画面651。
该插入支持画面651由以下部分构成显示来自支气管内窥镜装置503的实时图像652a的内窥镜实时图像显示区域652；显示VBS图像像653a的VBS图像显示区域653；将路径的所有分支点的VBS图像像653a缩小显示为分支缩略VBS图像654(a)～654(j)的分支缩略VBS图像区域654，在VBS图像显示区域653上显示路径的第一个分支点的VBS图像153a，在分支缩略VBS图像区域654上显示所有分支点的分支缩略VBS图像654(a)～654(j)。
另外，在VBS图像653a上，在沿路径行进的路径孔处重叠显示导航标志655。并且，与显示在VBS图像显示区域653上的VBS图像653a相同的分支缩略VBS图像的框显示为粗框或彩色框，可以与其他的分支缩略VBS图像区分，手术医生能够容易地识别显示在VBS图像显示区域653上的VBS图像是哪个分支的图像。在第一个阶段中，分支缩略VBS图像654(a)的框显示为粗框或彩色框。
这样，在本实施例中，在从支气管内的终点到始点的期间指定所期望间隔的通过点，对所指定的终点一通过点之间、通过点之间、通过点一始点之间进行插值处理，来设定路径，所以能够算出沿着支气管内的管路的从始点到终点(目标地点)的内窥镜插入的最适合路径(插入支持路径)。
本发明不限于上述实施例，可以在不改变本发明的宗旨的范围内进行各种变更、改变等。
权利要求
1.一种插入支持系统，其特征在于，具有虚拟图像生成单元，其根据被检体的三维区域的图像数据，生成所述被检体内的体腔路上的虚拟图像；路径始点设定单元，其设定内窥镜通往所述被检体内的体腔路上的插入路径的始点；关心区域设定单元，其设定所述被检体内的关心部位的区域；路径终点抽取单元，其根据所述关心部位的区域，抽取所述内窥镜通往所述被检体内的体腔路上的插入路径的终点。
2.根据权利要求1所述的插入支持系统，其特征在于，所述路径终点抽取单元具有计算所述关心部位的区域的重心的重心计算单元；抽取所述体腔路上的位于所述重心附近的位置的位置抽取单元。
3.根据权利要求2所述的插入支持系统，其特征在于，所述位置抽取单元抽取多个所述体腔路上的位于所述重心附近的位置。
4.一种插入支持方法，其特征在于，包括虚拟图像生成步骤，根据被检体的三维区域的图像数据，生成所述被检体内的体腔路上的虚拟图像；路径始点设定步骤，设定内窥镜通往所述被检体内的体腔路上的插入路径的始点；关心区域设定步骤，设定所述被检体内的关心部位的区域；路径终点抽取步骤，根据所述关心部位的区域，抽取所述内窥镜通往所述被检体内的体腔路上的插入路径的终点。
5.一种多断面再构建图像生成装置，其特征在于，具有多断面再构建图像生成单元，其根据被检体的三维区域的图像数据，生成所述被检体内的多断面再构建图像；管腔脏器信息抽取单元，其根据所述被检体的所述三维区域的图像数据，抽取与规定的管腔脏器的所述三维区域的形状相关的信息；管腔脏器抽取结果图像重叠单元，其把反映所述管腔脏器抽取结果的管腔脏器抽取结果图像重叠在所述多断面再构建图像上。
6.根据权利要求5所述的多断面再构建图像生成装置，其特征在于，可以改变重叠在所述多断面再构建图像上的所述管腔脏器抽取结果图像的透明度。
7.根据权利要求5或6所述的多断面再构建图像生成装置，其特征在于，可以改变重叠了所述管腔脏器抽取结果图像的所述多断面再构建图像的透明度。
8.一种插入支持系统，其特征在于，具有多断面再构建图像生成单元，其根据被检体的三维区域的图像数据，生成所述被检体内的多断面再构建图像；终点坐标指定单元，其在所述多断面再构建图像上指定所述被检体内的管腔脏器的体腔路的前端侧的所述体腔路内的期望终点在所述三维区域内的坐标；通过点坐标指定单元，其指定所述体腔路中的距所述终点规定距离的所述体腔内的期望通过点在所述三维区域内的坐标；坐标指定控制单元，其判断所述通过点是否是所述体腔路内的体腔路上的基端侧的期望始点，在所述第1通过点不是所述开始点时，控制所述通过点坐标指定单元，指定所述体腔路中的距所述通过点规定距离的所述体腔内的新的期望通过点在所述三维区域内的坐标。
9.根据权利要求8所述的插入支持系统，其特征在于，具有管腔脏器抽取单元，其根据所述被检体的所述三维区域的图像数据，抽取作为所述管腔脏器的所述三维区域的形状数据的区段；坐标位置识别单元，其识别所述终点坐标指定单元指定的所述终点在所述三维区域内的坐标或所述通过点坐标指定单元指定的所述通过点在所述三维区域内的坐标，是否存在于所述管腔脏器抽取单元抽取的所述区段所占据的所述三维区域内。
10.根据权利要求9所述的插入支持系统，其特征在于，具有管腔脏器图像生成单元，其根据所述管腔脏器抽取单元抽取的所述区段，生成所述管腔脏器的三维图像；绘制单元，其绘制所述管腔脏器图像生成单元生成的所述管腔脏器的三维图像上的所述终点和所述通过点。
11.根据权利要求8、9或10中任一项所述的插入支持系统，其特征在于，具有插值处理单元，其对所述终点和所述通过点之间、所述通过点之间以及所述通过点和所述始点之间进行插值处理；路径设定单元，其把所述插值处理单元的处理结果设定为从所述始点到所述终点的路径。
12.根据权利要求8、9、10或11中任一项所述的插入支持系统，其特征在于，把表示所述终点坐标指定单元指定的所述终点或所述通过点坐标指定单元指定的所述通过点的标志重叠在所述多断面再构建图像上。
13.根据权利要求12所述的插入支持系统，其特征在于，所述标志由指定所述终点或所述通过点的位置的位置标志部、和表示包括所述终点或所述通过点的位置的规定区域的区域标志部构成。
14.根据权利要求9所述的插入支持系统，其特征在于，控制所述多断面再构建图像生成单元，把反映所述区段的区段图像重叠在所述多断面再构建图像上。
15.一种插入支持路径设定方法，其特征在于，包括多断面再构建图像生成步骤，根据被检体的三维区域的图像数据，生成所述被检体内的多断面再构建图像；终点坐标指定步骤，在所述多断面再构建图像上指定所述被检体内的管腔脏器的体腔路的前端侧的所述体腔路内的期望终点在所述三维区域内的坐标；通过点坐标指定步骤，指定所述体腔路中的距所述终点规定距离的所述体腔内的期望通过点在所述三维区域内的坐标；坐标指定控制步骤，判断所述通过点是否是所述体腔路内的体腔路上的基端侧的期望始点，在所述第1通过点不是所述开始点时，控制所述通过点坐标指定步骤，指定所述体腔路中的距所述通过点规定距离的所述体腔内的新的期望通过点在所述三维区域内的坐标。
全文摘要
在本发明的插入支持系统中，在支气管的端部被指定为活检区域时，抽取活检区域的重心。把以重心为中心的圆作为搜索区域，放大搜索区域直到支气管位于搜索区域内，把支气管最先位于搜索区域内时的点作为终点，确定连接始点和该终点的第1路径候选，如果该第1路径候选尚未登记，则作为第1登记路径进行登记。由此，可以在任意区域指定关心部位，而且恰当设定到达所指定区域的导航。
文档编号A61B6/00GK1874716SQ20048003233
公开日2006年12月6日 申请日期2004年10月28日 优先权日2003年10月31日
发明者秋本俊也, 大西顺一 申请人:奥林巴斯株式会社