投影映射装置的制作方法

本发明涉及一种向插入有医疗仪器的受检体投影图像的投影映射装置。

背景技术：

在医疗领域中，已知有利用投影装置向患者投影(projection)器官、肌肉、骨骼、关节以及血管等的图像的技术。在专利文献1中公开有投影系统，该投影系统利用红外线相机拍摄安装有热感应标记的患者，对通过该摄像获得的红外线图像进行分析并推断患者(受检体)的位置以及姿势，根据该推断结果依据患者的位置以及姿势对患者的体内信息(器官等)进行投影。

在专利文献2中公开有如下装置：对插入到患者体内的医疗器具(外科用器具)的空间坐标进行检测，并根据该空间坐标的检测结果将与医疗仪器的位置以及方位等相关的几何图案投影到患者。在该专利文献2所记载的装置中，投影到患者的几何图案的位置表示患者体内的医疗仪器的位置(二维位置)，几何图案的颜色表示患者体内的医疗仪器的深度位置。

以往技术文献

专利文献

专利文献1：日本特开2007-151686号公报

专利文献2：日本特开2002-102251号公报

技术实现要素：

发明要解决的技术课题

然而，在专利文献1所记载的技术中，虽然能够推断患者的位置和姿势，但是无法判断投影体内信息(器官等)的患者的投影面(照射面)的形状，因此有可能导致投影到患者的投影面的投影图像(照射图像)变形。其结果，无法在投影到患者的投影图像上再现体内信息(器官等)的形状和大小。

在专利文献2所记载的技术中，虽然将前述几何图案作为投影图像投影到患者，但是以不移动患者的位置为前提，并未判断投影几何图案的患者的投影面(照射面)的形状。因此，在专利文献2所记载的技术中，在移动了患者的情况下，有可能导致几何图案的投影图像的位置偏离，或者与上述专利文献1相同地导致投影图像产生变形。其结果，有时在专利文献2所记载的投影图像中至少无法再现插入到患者体内的医疗器具的位置。

本发明是鉴于这种情况完成的，其涉及一种能够将表示插入到受检体内的医疗仪器的前端位置的投影图像依据受检体的位置和姿势的变化进行投影的投影映射装置。

用于解决技术课题的手段

用于实现本发明的目的的投影映射装置具备：光源，其对受检体照射测量光；距离图像传感器，其呈二维状排列有多个受光元件；距离图像生成部，其从距离图像传感器获取测量光的受光信号，并根据获取到的受光信号生成距离图像，所述测量光从光源射出，且被受检体反射，并射入到距离图像传感器；位置信息获取部，其获取插入到受检体内的医疗仪器的前端位置；前端位置图像获取部，其获取表示受检体内的医疗仪器的前端位置的前端位置图像；投影图像生成部，其根据由距离图像生成部生成的距离图像检测出的受检体的形状和位置信息获取部所获取到的前端位置，由前端位置图像获取部所获取到的前端位置图像生成与受检体的对应部位的表面形状对应的投影图像，所述对应部位与前端位置对应；以及投影装置，其包含显示用光学元件、投影光源以及投影透镜，所述显示用光学元件显示投影图像生成部生成的投影图像，所述投影光源使投影光射入到显示用光学元件，所述投影透镜将从显示用光学元件射出的投影图像投影到对应部位。

根据该投影映射装置，能够生成与受检体的对应部位的表面形状对应且表示受检体内的医疗仪器的前端位置的投影图像，并将该投影图像投影到受检体的对应部位。

在本发明的另一方式所涉及的投影映射装置中，前端位置图像获取部从透射图像摄像装置获取透射图像作为前端位置图像，所述透射图像摄像装置拍摄受检体的对应部位的透射图像。由此，能够将根据该透射光图像生成的投影图像投影到受检体的对应部位，因此医生无需从受检体离开视线(无需在另外的监视器确认透射光图像)而能够进行医疗仪器的插入。

在本发明的另一方式所涉及的投影映射装置中，其具备前端位置图像生成部，所述前端位置图像生成部根据位置信息获取部所获取到的前端位置和受检体内的已知的内部结构生成前端位置图像，前端位置图像获取部从前端位置图像生成部获取前端位置图像。由此，即使不进行透射光图像的获取，也能够获取表示受检体内的医疗仪器的前端位置的前端位置图像。

在本发明的另一方式所涉及的投影映射装置中，位置信息获取部根据透射图像和受检体内的已知的内部结构获取前端位置。由此，能够从实际拍摄到的透射光图像获取受检体内的医疗仪器的准确的前端位置。

在本发明的另一方式所涉及的投影映射装置中，医疗仪器沿受检体内的已知的路径插入，位置信息获取部获取向受检体内插入医疗仪器的插入量，并根据对插入量与已知的路径进行比较的结果获取前端位置。由此，能够简单地获取受检体内的医疗仪器的前端位置。

在本发明的另一方式所涉及的投影映射装置中，在医疗仪器的前端设置有加速度传感器以及陀螺仪传感器，位置信息获取部根据加速度传感器以及陀螺仪传感器的输出而检测医疗仪器的前端从医疗仪器插入到受检体内的插入位置移动的移动方向以及移动量，并根据移动方向以及移动量的检测结果获取前端位置。由此，即使在受检体内自由移动医疗仪器的前端位置的情况下，也能够在受检体内可靠地获取医疗仪器的前端位置。

在本发明的另一方式所涉及的投影映射装置中，在医疗仪器的前端设置有摄像部，所述投影映射装置具有插入路径信息获取部，所述插入路径信息获取部根据摄像部拍摄到的摄像图像获取表示受检体内的医疗仪器的前端的插入路径的插入路径信息，位置信息获取部根据医疗仪器插入到受检体内的插入位置和通过插入路径信息获取部获取的插入路径信息获取前端位置。由此，即使在受检体内自由移动医疗仪器的前端位置的情况下，也能够在受检体内可靠地获取医疗仪器的前端位置。

在本发明的另一方式所涉及的投影映射装置中，其具备：切换控制部，其在生成距离图像之前，切换从光源照射到受检体的测量光的波长；以及光源控制部，其从光源照射测量光，所述测量光是距离图像传感器通过测量光的波长基于切换控制部的切换而按每一波长接收的测量光中强度最高的波长的测量光，距离图像生成部在从光源向受检体照射强度最高的波长的测量光的情况下生成距离图像。由此，能够提高根据距离图像判定与受检体之间的距离的精度和判定受检体的形状的精度。

在本发明的另一方式所涉及的投影映射装置中，光源具有将不同波长的测量光照射到受检体的多个光源单元，切换控制部对照射测量光的光源单元进行切换，光源控制部控制从照射强度最高的波长的测量光的光源单元向受检体照射测量光。由此，能够提高根据距离图像判定与受检体之间的距离的精度和判定受检体的形状的精度。

在本发明的另一方式所涉及的投影映射装置中，其具备：投影范围获取部，其根据投影透镜的焦距、距离图像生成部生成的距离图像所表示的与受检体之间的距离以及投影图像生成部生成的投影图像获取投影到受检体的投影图像的投影范围；以及距离图像生成控制部，其与投影范围获取部所获取到的投影范围对应地设定距离图像生成部进行距离图像的生成的生成范围。由此，无需生成受检体整体范围的距离图像，因此能够减少距离图像的生成处理所需的运算量。

在本发明的另一方式所涉及的投影映射装置中，距离图像生成部从距离图像传感器获取表示距离信息的受光信号，并根据距离信息生成距离图像，所述距离信息与从光源照射且被受检体反射并射入到距离图像传感器的测量光的飞行时间对应。

在本发明的另一方式所涉及的投影映射装置中，投影图像生成部根据由距离图像检测出的受检体的形状和位置信息获取部所获取到的前端位置识别对应部位的表面形状，并根据表面形状的识别结果将前端位置图像变形为与对应部位一致的形状而生成投影图像。由此，生成与受检体的对应部位的表面形状对应的投影图像。

在本发明的另一方式所涉及的投影映射装置中，投影图像生成部根据由距离图像以及前端位置判断的投影装置至对应部位的距离和投影透镜的焦距信息，将显示于显示用光学元件的投影图像的显示位置以及大小确定为投影图像重叠投影到对应部位的显示位置以及大小，显示用光学元件以投影图像生成部确定的显示位置以及大小显示投影图像。由此，能够将投影图像重叠投影到对应部位。

发明效果

本发明的投影映射装置能够将表示插入到受检体内的医疗仪器的前端位置的投影图像依据受检体的位置和姿势的变化进行投影。

附图说明

图1是包含本发明的投影映射装置的手术辅助系统的概略图。

图2是表示第1实施方式的投影映射装置的结构的框图。

图3是第1实施方式的控制部的功能框图。

图4是表示第1实施方式的内部结构信息的一例的说明图。

图5是表示透射图像数据的一例的说明图。

图6是用于对通过第1实施方式的投影图像生成部生成投影图像数据的处理进行说明的说明图。

图7是用于对基于投影图像数据的投影图像投影到患者的情况进行说明的说明图。

图8是用于对基于投影图像数据的投影图像投影到患者的状态进行说明的说明图。

图9是用于对通过投影图像生成部生成投影图像数据的处理的变形例进行说明的说明图。

图10是表示通过第1实施方式的手术辅助系统的投影映射装置进行投影图像的投影处理的流程的流程图。

图11是表示第2实施方式的投影映射装置的结构的框图。

图12是用于对通过前端位置图像生成部生成前端位置图像数据的处理的一例进行说明的说明图。

图13是表示通过第2实施方式的手术辅助系统的投影映射装置进行投影图像的投影处理的流程的流程图。

图14是用于说明使用腹腔镜进行腹腔镜手术的一例的说明图。

图15是表示第3实施方式的投影映射装置的结构的框图。

图16是用于对通过第3实施方式的位置信息获取部获取患者体内的腹腔镜的前端位置的处理进行说明的说明图。

图17是表示第3实施方式的内部结构信息的一例的说明图。

图18是用于对通过第3实施方式的前端位置图像生成部生成前端位置图像数据的处理进行说明的说明图。

图19是用于对基于第3实施方式的投影图像数据的投影图像投影到患者的情况进行说明的说明图。

图20是用于对基于第3实施方式的投影图像数据的投影图像投影到患者的状态进行说明的说明图。

图21是表示第4实施方式的手术辅助系统的投影映射装置的结构的框图。

图22是用于对通过第4实施方式的位置信息获取部获取患者体内的腹腔镜的前端位置的处理进行说明的说明图。

图23是表示第5实施方式的手术辅助系统的投影映射装置的结构的框图。

图24是表示射出距离图像数据生成用脉冲光的led光源的确定处理的流程的流程图。

图25是表示第6实施方式的手术辅助系统的投影映射装置的结构的框图。

图26是用于对通过距离图像生成控制部设定距离图像数据的生成范围的情况进行说明的说明图。

具体实施方式

[第1实施方式的手术辅助系统(投影映射装置)]

图1是包含本发明的投影映射装置的手术辅助系统10的概略图。如图1所示，手术辅助系统10在将相当于本发明的医疗器具的导管12插入到作为本发明的受检体的患者9体内的情况下，将表示患者9体内的导管12的前端位置的图像投影到与该前端位置对应的患者9的对应部位。在此所说的对应部位是指在患者9的体内存有导管12(医疗仪器)的前端位置的部位。

手术辅助系统10具备载置患者9的载置台15、配置于载置台15的下侧的x射线管16、配置于载置台15的上侧的x射线平面检测器(fpd：flatpaneldetector)17、透射图像生成部18、送入量传感器19以及本发明的投影映射(projectionmapping)装置20。以下，将投影映射装置适宜地省略为“pm装置”。

x射线管16、x射线平面检测器17以及透射图像生成部18相当于本发明的拍摄透射图像的透射图像摄像装置。x射线管16穿过载置台15向患者9照射x射线。另外，图中的符号ax表示x射线的照射范围。x射线平面检测器17对透射了载置台15以及患者9的x射线进行检测，并将检测信号输出至透射图像生成部18。

透射图像生成部18根据从x射线平面检测器17输入的检测信号生成本发明的透射图像，即作为x射线图像的透射图像数据22(参考图5)，并将透射图像数据22输出至pm装置20。另外，关于x射线管16、x射线平面检测器17以及透射图像生成部18，由于是公知技术，因此省略详细说明。

并且，x射线管16以及x射线平面检测器17与载置台15能够通过未图示的相对移动机构进行相对移动。因此，一边使x射线管16以及x射线平面检测器17与载置台15(患者9)相对移动，一边反复进行通过x射线管16的x射线的照射、通过x射线平面检测器17的x射线的检测以及通过透射图像生成部18的透射图像数据22(参考图5)的生成，由此获得患者9的各部位的透射图像数据22。

在本例中，使x射线管16以及x射线平面检测器17和载置台15(患者9)与患者9体内的导管12的前端位置相应地相对移动，以便在插入导管12的过程中能够始终获得前述对应部位的透射图像数据22。另外，通过相对移动机构的相对移动可以由医疗人员等手动进行，或者也可以如后述那样使相对移动机构根据患者9体内的导管12的前端位置的获取结果自动进行与该前端位置相应的相对移动。

送入量传感器19为检测导管12的送入量的传感器。能够根据该送入量传感器19的检测结果获取向患者9的体内插入导管12的插入量。该送入量传感器19将导管12的送入量的检测结果输出至pm装置20。

pm装置20具有以下功能：生成载置台15上的患者9的距离图像数据23(参考图6)的功能；以及生成表示患者9体内的导管12的前端位置且与前述对应部位的表面形状对应的投影图像数据24(参考图6)，并将基于该投影图像数据24的投影图像投影到患者9的对应部位的功能。图中的符号at表示进行距离图像数据23的生成的生成范围，图中的符号ap表示投影图像的投影范围(照射范围)。

[第1实施方式的pm装置的结构]

图2是表示第1实施方式的pm装置20的结构的框图。该pm装置20具备：前述距离图像数据23的生成所涉及的距离图像获取装置20a；进行基于投影图像数据24的投影图像的投影的投影装置20b；控制部26；存储器27；投影图像生成部28；以及输入i/f(interface，接口)29。

距离图像获取装置20a进行脉冲光检测方式的距离图像的获取，包含：定时信号发生器31；led(lightemittingdiode，发光二极管)光源32；光源驱动器33；投影透镜35；成像透镜36；透镜驱动器37；距离图像传感器38；图中表示为“a/d”的ad(analog-to-digital，模数)转换器39；以及图中表示为“i/f”的接口(interface)电路40。

定时信号发生器31在控制部26的控制下分别向led光源32和距离图像传感器38输出定时信号。

led光源32相当于本发明的光源，与从定时信号发生器31输入的定时信号同步而发出固定脉冲宽度的脉冲光。该脉冲光相当于本发明的测量光。并且，在本例中，脉冲光为近红外光。光源驱动器33在控制部26的控制下对led光源32的驱动进行控制。另外，作为本发明的光源，能够使用led以外的光源，而且本发明的测量光并不限定于近红外光的脉冲光。

投影透镜35向载置台15上的患者9照射从led光源32射出的脉冲光。成像透镜36在脉冲光照射于患者9的情况下，使被该患者9反射的脉冲光成像于距离图像传感器38。透镜驱动器37经由未图示的透镜驱动部进行成像透镜36的聚焦控制等。另外，在本例中，由于pm装置20以及载置台15的位置大致固定，因此依据载置台15上的患者9预先进行聚焦调整等。

距离图像传感器38由cmos型图像传感器构成，该cmos型图像传感器通过具有垂直驱动器、水平驱动器等的cmos(complementarymetal-oxidesemiconductor，互补金属氧化物半导体)驱动器以及定时信号发生器31驱动。另外，距离图像传感器38并不限于cmos型图像传感器，也可以是xy地址型或ccd(chargecoupleddevice，电荷藕合器件)型图像传感器。

距离图像传感器38呈二维状排列有多个受光元件(光电二极管)，在多个受光元件的射入面侧设置有带通滤波器或去除可见光的可见光截止滤波器，该带通滤波器只使从led光源32发出的近红外光的脉冲光的波长频带通过。由此，距离图像传感器38的多个受光元件作为对作为近红外光的脉冲光具有灵敏度的像素发挥功能。

与led光源32的脉冲光的发光同步，通过从定时信号发生器31输入的定时信号控制距离图像传感器38的曝光期间(曝光时间以及曝光定时)。在距离图像传感器38的各受光元件中蓄积有与在曝光期间射入的脉冲光的光量对应的电荷。如此，在脉冲光检测方式中，与患者9之间的距离(飞行时间)越短，曝光量越多，相反，与患者9之间的距离(飞行时间)越远，曝光量越少，因此能够按照曝光量的大小测量与患者9之间的距离。另外，在本例中，由于受检体为患者9，手术辅助系统10的设置地点在医院内，因此不考虑受检体的反射率的不同和外光的影响。

从距离图像传感器38读出与被患者9反射的脉冲光的射入光量相应的受光信号(是与按每一个像素蓄积的电荷对应的模拟信号，还称作像素信号)。该受光信号表示与被患者9反射并射入到距离图像传感器38的脉冲光的飞行时间对应的距离信息。

ad转换器39将从距离图像传感器38读出的受光信号转换为数字信号，并输出至接口电路40。另外，cmos型图像传感器有包含ad转换器的图像传感器，在该情况下，能够省略ad转换器39。接口电路40作为图像输入控制器发挥功能，将从ad转换器39输入的数字信号输出至控制部26。由此，详细内容后述，通过控制部26生成距离图像数据23(参考图3)。

投影装置20b是所谓的单片式液晶投影仪，包含显示用光学元件(还称作光调制元件)42、元件驱动器43、led光源44、光源驱动器45、投影透镜46以及透镜驱动器47。

显示用光学元件42使用具备多个颜色的滤光片的透射型液晶面板或将分色镜、微透镜阵列以及单色透射型液晶面板组合而成的不具备彩色滤光片的结构的元件等。不具备彩色滤光片的结构的元件例如通过分别反射r(red)光、g(green)光以及b(blue)光的三种分色镜将白色光分光为rgb这三个颜色的光，并使三个颜色的光以相互不同的角度射入到液晶面板上的微透镜阵列中。然后，使三个颜色的光通过微透镜阵列分别射入到液晶面板的r用像素、g用像素以及b用像素中，由此能够显示彩色图像。

另外，投影装置20b并不限定于单片式液晶投影仪，也可以是具备色分离光学系统以及多个液晶面板的公知的三片式液晶投影仪。并且，投影装置20b并不限定于透射型液晶方式，也可以采用利用了反射型液晶显示方式或dmd(digitalmirrordevice，数字微镜器件)等的反射型显示方式等其他各种方式。

元件驱动器43在控制部26的控制下控制显示用光学元件42，使其显示出后述投影图像生成部28生成的投影图像数据24。

led光源44相当于本发明的投影光源，使白色光(本发明的投影光)从显示用光学元件42的背面侧(与和投影透镜46相向的面相反的面侧)射入到显示用光学元件42。由此，从显示用光学元件42射出基于投影图像数据24的投影图像的像光。光源驱动器45在控制部26的控制下对led光源44的驱动进行控制。另外，作为本发明的投影光源，能够使用led以外的光源。并且，在使用dmd等依次分时投影r光、b光、g光的显示用光学元件的情况下，作为投影光源使用使r光、b光、g光依次分时照射到显示用光学元件的光源。即，作为本发明的投影光，能够使用r光、b光、g光等白色光以外的光。

投影透镜46将从显示用光学元件42射出的投影图像的像光投影到患者9。透镜驱动器47经由未图示的透镜驱动部进行投影透镜46的聚焦控制等。另外，在本例中，由于pm装置20以及载置台15的位置大致固定，因此依据载置台15上的患者9预先进行聚焦调整等。

控制部26经由数据总线49与定时信号发生器31、光源驱动器33、透镜驱动器37、距离图像传感器38、接口电路40、元件驱动器43、光源驱动器45以及透镜驱动器47等连接。该控制部26例如由包含cpu(centralprocessingunit，中央处理器)的各种运算部、处理部以及存储部构成，通过执行从存储器27读出的控制用程序或数据，统一控制pm装置20整体的动作和处理。并且，详细内容后述，该控制部26进行在通过投影图像生成部28生成投影图像数据24时使用的数据或信息的生成以及获取(参考图3)。

详细内容后述，存储器27除了存储有控制部26用于执行处理的控制用程序以外，还存储有在获取与患者9体内的导管12的前端位置相关的信息时使用的内部结构信息50(相当于本发明的内部结构)以及插入路径信息51(相当于本发明的已知的路径)(参考图3)。

详细内容后述，投影图像生成部28在控制部26的控制下根据从控制部26输入的数据或信息生成作为本发明的投影图像的投影图像数据24。

输入i/f29为与前述透射图像生成部18和送入量传感器19有线连接或无线连接的通信接口。该输入i/f29从透射图像生成部18获取透射图像数据22，并且从送入量传感器19获取送入量的检测结果，并将透射图像数据22以及送入量的检测结果输出至控制部26。

图3是第1实施方式的控制部26的功能框图。另外，在图3中省略了数据总线49的图示。如图3所示，控制部26通过执行从存储器27读出的程序或数据，作为距离图像生成部53、位置信息获取部54以及前端位置图像获取部55发挥功能。

距离图像生成部53根据从前述接口电路40输入的数字信号生成距离图像数据23。如前述，由于距离图像传感器38的各受光元件的受光量按照与患者9之间的距离而不同，因此距离图像数据23为代替通常的二维图像数据的颜色或深浅而按照每一个像素具有距离图像传感器38至患者9的距离信息的数据，即具有与患者9的表面的各点之间的距离信息的数据，表示与患者9之间的距离以及患者9的表面形状。距离图像生成部53将所生成的距离图像数据23输出至投影图像生成部28。

位置信息获取部54获取插入到患者9体内的导管12的前端位置。另外，在此所说的“前端位置”还包括与前端的朝向(方位)相关的信息。

本例的位置信息获取部54能够选择以下方法：利用经由输入i/f29获取到的透射图像数据22获取导管12的前端位置的方法；以及利用经由输入i/f29获取到的通过送入量传感器19检测的送入量的检测结果获取导管12的前端位置的方法。另外，关于选择哪一种方法，由用户操作未图示的操作部等来确定。

在选择了利用透射图像数据22获取导管12的前端位置的方法的情况下，位置信息获取部54根据该透射图像数据22和预先存储于存储器27中的内部结构信息50获取导管12的前端位置。

图4是表示内部结构信息50的一例的说明图。并且，图5是表示透射图像数据22的一例的说明图。如图4所示，在将导管12插入到患者9体内的血管内的情况下使用的内部结构信息50是表示患者9体内的血管的结构的信息。该内部结构信息50能够通过事先对患者9进行mri(magneticresonanceimaging,磁共振成像)检查或ct(computedtomography，计算机断层扫描)检查而获取。通过参考内部结构信息50，获得患者9体内的血管的结构。

如图5所示，患者9的对应部位的透射图像数据22包含导管12的前端的图像和导管12的前端位置周边的血管的图像。在此，如上所述，由于透射图像数据22是x射线图像，因此能够通过事先给患者9服用不使x射线通过的造影剂而在透射图像数据22上映出血管的图像。

返回到图3，位置信息获取部54通过公知的方法(例如参考日本特开2001-161091号公报)从透射图像数据22中提取血管的图像，并通过模式匹配法对透射图像数据22的血管的图像与内部结构信息50所表示的患者9的血管结构进行比较。由此，位置信息获取部54能够识别透射图像数据22内的血管是位于患者9体内的哪个位置的血管。

并且，从透射图像数据22中提取导管12的图像的方法也为公知(例如参考日本特开2007-229473号公报的0005段)。从而，位置信息获取部54能够根据血管的识别结果和透射图像数据22内的导管12的位置获取插入到患者9体内的导管12的前端位置。

另一方面，在选择了利用通过送入量传感器19检测的送入量的检测结果获取导管12的前端位置的方法的情况下，位置信息获取部54根据该检测结果和预先存储于存储器27中的插入路径信息51获取导管12的前端位置。

在将导管12插入到患者9体内的血管内的情况下使用的插入路径信息51是表示向血管内插入导管12的插入位置和该导管12到达目的位置之前通过的血管的路径的信息。该插入路径信息51由医生事先根据前述内部结构信息50等确定并存储于存储器27中。

位置信息获取部54通过比较由送入量传感器19检测出的送入量的检测结果与插入路径信息51，能够识别导管12的前端位置位于插入路径信息51中的血管的路径上的哪一处。由于已知插入路径信息51中的血管位于患者9体内的哪一位置，因此位置信息获取部54能够从前述血管的路径上的导管12的前端位置获取插入到患者9体内的导管12的前端位置。

位置信息获取部54在通过前述任一方法获取患者9体内的导管12的前端位置之后，将表示该前端位置的前端位置信息输出至投影图像生成部28。

前端位置图像获取部55从透射图像生成部18经由输入i/f29获取透射图像数据22，并将该透射图像数据22输出至投影图像生成部28。如上述图5所示，由于该透射图像数据22是包含导管12的前端的图像和导管12的前端位置周边的血管的图像的图像，因此为表示患者9体内的导管12的前端位置的本发明的前端位置图像。另外，作为本发明的前端位置图像，优选为至少包含前端位置中的患者9的体内信息[器官、肌肉、骨骼、关节以及血管等]或表示体内信息的图像。

图6是用于对通过第1实施方式的投影图像生成部28生成投影图像数据24的处理进行说明的说明图。如图6所示，投影图像生成部28由通过前端位置图像获取部55输入的透射图像数据22生成投影到患者9的投影图像数据24，即显示于上述显示用光学元件42的投影图像数据24。

具体而言，投影图像生成部28根据从距离图像生成部53输入的距离图像数据23和从位置信息获取部54输入的前端位置信息识别导管12的前端位置所在的患者9的对应部位(图中的点线框内所含的患者9的部位)的表面形状。在此所述的对应部位的表面形状是指从pm装置20侧观察到的患者9的对应部位的表面形状，例如即使在导管12的前端位置不移动的情况下，若患者的位置和姿势发生变化，则通过投影图像生成部28识别的对应部位的表面形状也会变化。由此，能够识别与患者的实时的位置和姿势相应的对应部位的表面形状。

接下来，投影图像生成部28根据对应部位的表面形状的识别结果将透射图像数据22变形为与患者9的对应部位一致的形状而生成投影图像数据24。本例的投影图像生成部28通过由透射图像数据22检测浓度大致相同的空白区域，从透射图像数据22中提取相当于患者9的对应部位的区域，并将提取区域的图像数据变形为与患者9的对应部位一致的形状而生成投影图像数据24。

此时，在本例中，由于通过x射线平面检测器17的x射线的摄像方向与通过pm装置20的距离图像数据23的摄像方向大致相同，因此将透射图像数据22变形为投影图像数据24的变形处理主要为扩大缩小处理。另一方面，在通过x射线平面检测器17的x射线的摄像方向与通过pm装置20的距离图像数据23的摄像方向不同的情况下，除了进行扩大缩小处理之外，还进行射影转换处理等。

并且，投影图像生成部28根据由距离图像数据23以及前端位置信息判断的pm装置20(投影装置20b)至患者9的对应部位的距离和投影透镜46的焦距信息，以基于投影图像数据24的投影图像重叠投影到患者9的对应部位的方式，确定投影图像数据24在显示用光学元件42上的显示位置以及大小。然后，投影图像生成部28将投影图像数据24输出至前述元件驱动器43。由此，从投影图像生成部28输入的投影图像数据24通过元件驱动器43以投影图像生成部28确定了的位置以及大小显示于显示用光学元件42。

图7是用于对基于投影图像数据24的投影图像投影到患者9的情况进行说明的说明图。图8是用于对基于投影图像数据24的投影图像投影到患者9上的状态进行说明的说明图。

如图7所示，若通过显示用光学元件42显示投影图像数据24，则从led光源44射出的白色光通过显示用光学元件42调制，基于投影图像数据24的投影图像的像光投影到患者9的对应部位。由此，如图8所示，在患者9的对应部位上投影出基于投影图像数据24的投影图像，即表示患者9体内的导管12的前端位置的图像。

此时，也可以以投影图像内的导管12的前端位置与实际的患者9体内的导管12的前端位置一致的方式，通过投影图像生成部28生成投影图像数据24，并确定投影图像数据24在显示用光学元件42上的显示位置以及大小。

图9是用于对通过投影图像生成部28生成投影图像数据24的处理的变形例进行说明的说明图。

如图9所示，投影图像生成部28通过对前述位置信息获取部54所获取到的前端位置信息与距离图像数据23进行对比，在距离图像数据23上获取插入到患者9体内的导管12的前端位置(图中用十字表示)。并且，投影图像生成部28通过从透射图像数据22中提取导管12的图像，能够获取透射图像数据22内的导管12的前端位置。由此，投影图像生成部28能够以透射图像数据22内的导管12的前端位置与患者9体内的导管12的前端位置一致的方式，生成投影图像数据24，并确定投影图像数据24的显示位置以及大小。

另外，反复进行通过距离图像生成部53的距离图像数据23的生成、通过位置信息获取部54的前端位置信息的获取以及通过前端位置图像获取部55的透射图像数据22的获取，并与此相应地还反复进行通过投影图像生成部28的新的投影图像数据24的生成。其结果，投影到患者9的对应部位的投影图像被更新。

[第1实施方式的手术辅助系统的作用]

接下来，利用图10对上述结构的手术辅助系统10的作用进行说明。图10是表示通过第1实施方式的手术辅助系统10的pm装置20进行投影图像的投影处理的流程的流程图。另外，预先获取患者9的内部结构信息50和插入路径信息51，并存储于存储器27中。

在医生开始向患者9体内的血管内插入导管12之前，启动手术辅助系统10的各部之后，由医生向患者9的血管内插入导管12。

若启动手术辅助系统10，则从x射线管16向患者9的对应部位照射x射线，通过x射线平面检测器17检测透射了患者9的x射线，并通过透射图像生成部18生成透射图像数据22。通过透射图像生成部18生成的透射图像数据22经由输入i/f29输入至pm装置20的控制部26。由此，控制部26的前端位置图像获取部55获取表示患者9体内的导管12的前端位置的透射图像数据22，并将该透射图像数据22输出至投影图像生成部28(步骤s1)。

并且，若启动手术辅助系统10，则pm装置20的控制部26控制光源驱动器33，开始驱动led光源32。由此，led光源32与从定时信号发生器31输入的定时信号同步而射出脉冲光。然后，从led光源32射出的脉冲光通过投影透镜35向患者9照射(步骤s2)。

向患者9照射的脉冲光被患者9的体表面反射并射入到成像透镜36，并通过该成像透镜36成像于距离图像传感器38。由此，在距离图像传感器38中接收被患者9反射的脉冲光(步骤s3)。然后，从距离图像传感器38读出与被患者9反射的脉冲光的射入光量相应的受光信号，该受光信号通过ad转换器39转换为数字信号之后，经由接口电路40输入至控制部26。

控制部26的距离图像生成部53根据从接口电路40输入的数字信号生成距离图像数据23，并将该距离图像数据23输出至投影图像生成部28(步骤s4)。另外，步骤s2至步骤s4的处理也可以在步骤s1的处理之前进行或者与步骤s1的处理并行。

并且，位置信息获取部54使用上述利用透射图像数据22的方法和上述利用从送入量传感器19检测的送入量的检测结果的方法中的任一方法，获取插入到患者9体内的导管12的前端位置，并将前端位置信息输出至投影图像生成部28(步骤s5)。在使用前者方法的情况下，能够从实际拍摄到的透射图像数据22获取导管12的准确的前端位置。并且，在使用后者方法的情况下，能够简单地获取导管12的前端位置。

接下来，如上述图6所示，投影图像生成部28根据从距离图像生成部53输入的距离图像数据23和从位置信息获取部54输入的前端位置信息识别导管12的前端位置所在的患者9的对应部位的表面形状。然后，投影图像生成部28根据对应部位的表面形状的识别结果将透射图像数据22变形为与患者9的对应部位一致的形状而生成投影图像数据24(步骤s6)。

并且，投影图像生成部28以基于投影图像数据24的投影图像重叠投影到患者9的对应部位的方式，根据基于距离图像数据23以及前端位置信息判断的与患者9的对应部位之间的距离和投影透镜46的焦距信息确定投影图像数据24在显示用光学元件42上的显示位置以及大小。然后，投影图像生成部28将投影图像数据24输出至元件驱动器43。

此时，如在上述图9中说明，也可以以透射图像数据22内的导管12的前端位置与患者9体内的导管12的前端位置一致的方式，通过投影图像生成部28生成投影图像数据24，并确定显示位置以及大小。由此，能够在投影到患者9的投影图像上如实地再现插入到患者9体内的导管12的位置。

元件驱动器43使从投影图像生成部28输入的投影图像数据24以投影图像生成部28确定了的位置以及大小显示于显示用光学元件42。由此，从led光源44射出的白色光通过显示用光学元件42调制，基于投影图像数据24的投影图像的像光投影到患者9的对应部位。其结果，如上述图8所示，在患者9的对应部位上投影出基于投影图像数据24的投影图像，通过该投影图像显示患者9体内的导管12的前端位置(步骤s7)。

以下，在继续进行投影图像的投影的情况下，反复执行前述步骤s1至步骤s7的处理(步骤s8)。其结果，投影图像数据24随着导管12的前端在患者9的血管内的移动而更新，并且投影基于该投影图像数据24的投影图像的患者9的对应部位也发生变化。

[第1实施方式的效果]

如以上，在第1实施方式的手术辅助系统10中，由于根据患者9的距离图像数据23和表示患者9体内的导管12的前端位置的前端位置信息，由透射图像数据22生成与患者9的对应部位的表面形状对应的投影图像数据24，并将该投影图像数据24的像光投影到患者9的对应部位，因此即使在移动了患者9的情况下，也能够依据患者的实时的位置和姿势的变化将表示患者9体内的导管12的前端位置的投影图像投影到患者9的对应部位。并且，能够将插入到患者9体内的导管12的位置再现于患者9的体表面上。

并且，由于根据患者9的对应部位的透射图像数据22生成投影图像数据24，并将基于该投影图像数据24的投影图像投影到患者9，因此医生无需从患者9转移视线(无需确认另外的监视器)而能够进行导管12的插入。

[第2实施方式的手术辅助系统]

接下来，对第2实施方式的手术辅助系统(pm装置)进行说明。在上述第1实施方式的手术辅助系统10中，利用透射图像数据22生成投影图像数据24，而在第2实施方式的手术辅助系统(pm装置)中，利用上述图4所示的内部结构信息50生成投影图像数据24。

第2实施方式的手术辅助系统具备与第1实施方式不同的pm装置60(参考图11)，除此以外的结构与上述第1实施方式的手术辅助系统10基本相同。因此，对在功能或结构上与上述第1实施方式相同的部分标注相同的符号而省略其说明。另外，在第2实施方式的手术辅助系统中，透射图像数据22的获取所涉及的结构并不是必须的。

图11是表示第2实施方式的pm装置60的结构的框图。如图11所示，在第2实施方式的pm装置60中，控制部26除了作为上述距离图像生成部53、位置信息获取部54以及前端位置图像获取部55发挥功能以外，还作为前端位置图像生成部62发挥功能，除此以外的结构与上述第1实施方式的pm装置20基本相同。

另外，第2实施方式的位置信息获取部54在通过上述利用透射图像数据22的方法获取插入到患者9体内的导管12的前端位置的情况下，位置信息获取部54以与第1实施方式相同的方法接受透射图像数据22的输入。

前端位置图像生成部62根据从位置信息获取部54获取到的前端位置信息和存储器27中存储的内部结构信息50生成表示患者9体内的导管12的前端位置的作为本发明的前端位置图像的前端位置图像数据64(参考图12)。

图12是用于对通过前端位置图像生成部62生成前端位置图像数据64的处理的一例进行说明的说明图。如图12所示，前端位置图像生成部62根据从位置信息获取部54获取到的前端位置信息(图中用十字表示)，参考存储器27中存储的内部结构信息50从内部结构信息50中提取患者9的对应部位(图中用点线框表示)的血管结构。然后，前端位置图像生成部62通过构筑模型图像(假想图像)而生成前端位置图像数据64，该模型图像将所提取的患者9的对应部位的血管结构和前端位置信息所表示的血管内的导管12模型化而获得。

由于前端位置图像数据64包含导管12的前端的模型图像和导管12的前端位置周边的血管的模型图像，因此为表示患者9体内的导管12的前端位置的图像。

返回到图11，第2实施方式的前端位置图像获取部55从前端位置图像生成部62获取前端位置图像数据64，并将该前端位置图像数据64输出至投影图像生成部28。

第2实施方式的投影图像生成部28根据距离图像数据23以及前端位置信息由从前端位置图像获取部55输入的前端位置图像数据64生成投影图像数据24。生成投影图像数据24的具体方法与上述图6所示的第1实施方式基本相同。另外，进行此后的处理的结构与第1实施方式相同，因此省略说明。

[第2实施方式的手术辅助系统的作用]

接下来，利用图13对第2实施方式的手术辅助系统的作用进行说明。图10是表示通过第2实施方式的手术辅助系统的pm装置60进行投影图像的投影处理的流程的流程图。另外，在第2实施方式中，不进行上述图10所示的如第1实施方式的以生成投影图像数据24为目的的透射图像数据22(参考图5)的获取，但是步骤s2至步骤s5的处理与第1实施方式相同，因此在此省略说明。

在步骤s5的处理之后，前端位置图像生成部62根据从位置信息获取部54获取到的前端位置信息，参考存储器27中存储的内部结构信息50从内部结构信息50中提取患者9的对应部位的血管结构(步骤s5a)。然后，如上述图12所示，前端位置图像生成部62构筑模型图像而生成前端位置图像数据64，该模型图像将所提取的患者9的对应部位的血管结构和前端位置信息所表示的血管内的导管12模型化而获得(步骤s5b)。由此，即使不具备如第1实施方式的获取透射图像数据22的结构，也能够获取表示导管12的前端位置的前端位置图像数据64。

若通过前端位置图像生成部62进行前端位置图像数据64的生成，则前端位置图像获取部55从前端位置图像生成部62获取前端位置图像数据64，并将该前端位置图像数据64输出至投影图像生成部28。

投影图像生成部28以与第1实施方式基本相同的方法根据距离图像数据23以及前端位置信息由从前端位置图像获取部55输入的前端位置图像数据64生成投影图像数据24(步骤s6a)。

由于此后的处理与上述图10所示的第1实施方式相同，因此省略具体的说明。

[第2实施方式的效果]

如以上，在第2实施方式的手术辅助系统中，根据患者9的距离图像数据23和表示患者9体内的导管12的前端位置的前端位置信息，由前端位置图像数据64生成与患者9的对应部位的表面形状对应的投影图像数据24，并将投影图像数据24的像光投影到患者9的对应部位，因此也能够获得与上述第1实施方式相同的效果。

[第3实施方式的手术辅助系统]

接下来，对第3实施方式的手术辅助系统进行说明。在上述各实施方式中，作为插入到患者9体内的医疗仪器举出通过体内的已知的路径(血管等)的导管12的例子进行了说明，但是在第3实施方式的手术辅助系统中，对使用腹腔镜65(相当于本发明的医疗仪器，参考图14)的情况进行说明。

图14是用于对使用腹腔镜65进行腹腔镜手术的一例进行说明的说明图。如图14所示，在腹腔镜手术中，在将套管针67插置以及固定在形成于患者9的体壁的处置孔中的状态下，医生经套管针67的插入孔向患者9的体内(第3实施方式中为体腔内)插入腹腔镜65，并通过腹腔镜65进行体内的器官的摄像。然后，医生一边确认通过腹腔镜65获得的器官的摄像图像，一边经套管针67的插入孔向患者9的体内插入钳子等处置器具68，并通过处置器具68对器官进行各种处置。

在第3实施方式的手术辅助系统中，依据患者9的实时的位置和姿势将表示患者9体内的腹腔镜65的前端位置的投影图像投影到患者的对应部位。另外，也可以代替腹腔镜65将表示处置器具68的前端位置或将表示腹腔镜65和处置器具68的前端位置的投影图像投影到患者9的对应部位，但是在本例中为了防止说明以及图面的繁杂化，将只表示腹腔镜65的前端位置的投影图像投影到患者9的对应部位。

第3实施方式的手术辅助系统具备与上述各实施方式不同的pm装置70(参考图15)，并且不具备送入量传感器19，除此以外的结构与上述各实施方式中的第2实施方式的手术辅助系统基本相同。因此，对在功能或结构上与上述第2实施方式相同的部分标注相同的符号而省略其说明。

图15是表示第3实施方式的pm装置70的结构的框图。如图15所示，在第3实施方式的pm装置70中，控制部26除了作为上述距离图像生成部53以及前端位置图像获取部55发挥功能以外，还作为位置信息获取部72以及前端位置图像生成部73发挥功能，除此以外的结构与上述第2实施方式的pm装置60基本相同。

位置信息获取部72获取插入到患者9体内的腹腔镜65的前端位置。在该腹腔镜65的前端部中内置有包含摄像透镜以及各种图像传感器的摄像部75、陀螺仪传感器76以及加速度传感器77。陀螺仪传感器76测量腹腔镜65的前端旋转时产生的角速度，并将其测量信号输出至输入i/f29。加速度传感器77测量腹腔镜65的前端的加速度(例如xyz这3个轴的加速度)，并将其测量信号输出至输入i/f29。

位置信息获取部72经由输入i/f29以一定的时间间隔获取陀螺仪传感器76以及加速度传感器77的测量信号。并且，位置信息获取部72获取向患者9的体内插入腹腔镜65的插入位置ps(参考图16)。由于在该插入位置ps中腹腔镜65的一部分位于患者9的体外，因此位置信息获取部72能够根据例如分析距离图像数据23识别出位于患者9的体外的腹腔镜65(套管针67)的识别结果获取腹腔镜65的插入位置ps。并且，在预先规定腹腔镜65的插入位置ps的情况下，也可以将后述内部结构信息79(参考图17)上的表示插入位置ps的空间坐标等输入至pm装置70。

图16是用于对通过第3实施方式的位置信息获取部72获取患者9体内的腹腔镜65的前端位置的处理进行说明的说明图。如图16所示，位置信息获取部72根据从陀螺仪传感器76以及加速度传感器77经由输入i/f29以一定的时间间隔输入的测量信号，由向患者9的体内插入腹腔镜65的插入位置ps检测腹腔镜65的前端的移动方向以及移动量(向哪个方向移动了多少)。由此，位置信息获取部72能够获取插入到患者9体内的腹腔镜65的前端位置，从而将表示该前端位置的前端位置信息输出至前端位置图像生成部73以及投影图像生成部28。

返回到图15，前端位置图像生成部73根据从位置信息获取部72获取到的前端位置信息和存储器27中存储的内部结构信息79生成表示患者9体内的腹腔镜65的前端位置的作为本发明的前端位置图像的前端位置图像数据81(参考图18)。

图17是表示第3实施方式的内部结构信息79的一例的说明图。如图17所示，将腹腔镜65插入到患者9的体内时的内部结构信息79为表示患者9体内的器官(肺、心脏、肝、胰脏、肾等)的配置结构的信息。与上述第1实施方式中说明的内部结构信息50(参考图4)相同，该内部结构信息79能够通过事先对患者9进行mri检查或ct检查而获取。通过参考内部结构信息79，获得患者9体内的器官的配置结构。

图18是用于对通过第3实施方式的前端位置图像生成部73生成前端位置图像数据81的处理进行说明的说明图。如图18所示，前端位置图像生成部73根据从位置信息获取部72获取到的前端位置信息(图中用十字表示)，参考存储器27中存储的内部结构信息79识别患者9的对应部位(图中用点线框表示)中的器官种类。另外，第3实施方式中的患者9的“对应部位”是指在患者9的体内存有腹腔镜65的前端位置的部位，在图18中例示了前端位置分别位于“肝”和“肠”的情况。

而且，前端位置图像生成部73根据患者9的对应部位中的器官种类的识别结果构筑将该对应部位的器官模型化而获得的模型图像(假想图像)，由此生成前端位置图像数据81。由于该前端位置图像数据81是腹腔镜65的前端位置所在的患者9体内的器官的模型图像，因此为表示患者9体内的腹腔镜65的前端位置的图像。另外，也可以根据从位置信息获取部72获取到的前端位置信息生成位于患者9体内的腹腔镜65的模型图像，并使该模型图像与前端位置图像数据81合成显示。

返回到图15，第3实施方式的前端位置图像获取部55与第2实施方式基本相同，从前端位置图像生成部73获取前端位置图像数据81，并将该前端位置图像数据81输出至投影图像生成部28。

如上述第1实施方式的图6中说明，第3实施方式的投影图像生成部28根据距离图像数据23以及前端位置信息由从前端位置图像获取部55输入的前端位置图像数据81生成与患者9的对应部位的表面形状对应的投影图像数据24(参考图19、图20)。

并且，与上述第1实施方式相同，第3实施方式的投影图像生成部28以基于投影图像数据24的投影图像重叠投影到患者9的对应部位的方式确定投影图像数据24在显示用光学元件42上的显示位置以及大小。然后，投影图像生成部28将投影图像数据24输出至前述元件驱动器43。

另外，在将腹腔镜65的模型图像与前端位置图像数据81合成的情况下，如上述第1实施方式的图9中说明，也可以以投影图像内的腹腔镜65的前端位置与实际的患者9体内的前端位置一致的方式，通过投影图像生成部28生成投影图像数据24，并确定投影图像数据24在显示用光学元件42上的显示位置以及大小。

图19是用于对基于第3实施方式的投影图像数据24的投影图像投影到患者9的情况进行说明的说明图。图20(a)、图20(b)是用于对基于第3实施方式的投影图像数据24的投影图像投影到患者9的状态进行说明的说明图。在此，图20(a)表示腹腔镜65的前端位置位于“肠”的情况，图20(b)表示腹腔镜65的前端位置位于“肝”的情况。

如图19所示，若通过显示用光学元件42显示投影图像数据24，则从led光源44射出的白色光通过显示用光学元件42调制，基于投影图像数据24的投影图像的像光投影到患者9的对应部位(图中用点线框表示)。由此，如图20(a)、图20(b)所示，在患者9的对应部位上投影出基于投影图像数据24的投影图像，并通过该投影图像显示患者9体内的腹腔镜65的前端位置。

反复进行通过距离图像生成部53的距离图像数据23的生成、通过位置信息获取部72的前端位置信息的获取、通过前端位置图像生成部73的前端位置图像数据81的生成以及通过前端位置图像获取部55的前端位置图像数据81的获取，并与这些相应地还反复进行通过投影图像生成部28的新的投影图像数据24的生成。其结果，投影到患者9的对应部位的投影图像被更新。由此，例如在腹腔镜65的前端位置从“肠”移动到“肝”的情况下，如图20(a)、图20(b)所示，投影到患者9的投影图像的位置从与“肠”对应的对应部位向与“肝”对应的对应部位移动，并且投影图像也从“肠”的图像切换成“肝”的图像。

[第3实施方式的手术辅助系统的作用]

关于第3实施方式的手术辅助系统的作用、即投影图像的投影处理的流程，与上述第2实施方式的图13所示的流程基本相同。其中，在第3实施方式的步骤s5的处理中，位置信息获取部72根据腹腔镜65的陀螺仪传感器76以及加速度传感器77的测量信号获取插入到患者9体内的腹腔镜65的前端位置。并且，在第3实施方式的步骤s5a、s5b的处理中，前端位置图像生成部73根据从位置信息获取部72获取到的前端位置信息参考存储器27内的内部结构信息79生成前端位置图像数据81。

[第3实施方式的效果]

如以上，在第3实施方式的手术辅助系统中，由于根据患者9的距离图像数据23和表示患者9体内的腹腔镜65的前端位置的前端位置信息，由前端位置图像数据81生成与患者9的对应部位的表面形状对应的投影图像数据24，并将投影图像数据24的像光投影到患者9的对应部位，因此也能够获得与上述各实施方式相同的效果。

并且，由于根据腹腔镜65的陀螺仪传感器76以及加速度传感器77的测量信号获取插入到患者9体内的腹腔镜65的前端位置，因此即使在患者9的体内(体腔内)自由移动腹腔镜65的前端位置的情况下，也能够获取插入到患者9体内的腹腔镜65的前端位置。

[第4实施方式的手术辅助系统]

接下来，对第4实施方式的手术辅助系统进行说明。上述第3实施方式的手术辅助系统的pm装置70的位置信息获取部72根据腹腔镜65的陀螺仪传感器76以及加速度传感器77的测量信号获取插入到患者9体内的腹腔镜65的前端位置。与此相对，在第4实施方式中，利用通过腹腔镜65拍摄到的患者9体内的摄像图像数据83(参考图21)获取插入到患者9体内的腹腔镜65的前端位置。

图21是表示第4实施方式的手术辅助系统的pm装置85的结构的框图。如图21所示，在第4实施方式的pm装置85中，代替第3实施方式的位置信息获取部72，控制部26作为位置信息获取部86发挥功能，除此以外的结构与上述第3实施方式的pm装置70基本相同。因此，对在功能或结构上与上述第3实施方式相同的部分标注相同的符号而省略其说明。

位置信息获取部86以与第3实施方式的位置信息获取部72不同的方法获取插入到患者9的体内(体腔内)的腹腔镜65的前端位置。该位置信息获取部86经由输入i/f29以一定的时间间隔获取通过腹腔镜65的摄像部75拍摄到的患者9体内的摄像图像数据83。并且，位置信息获取部86以与第3实施方式的位置信息获取部72相同的方法获取向患者9的体内插入腹腔镜65的插入位置ps(参考图22)。

图22是用于对通过第4实施方式的位置信息获取部86获取患者9体内的腹腔镜65的前端位置的处理进行说明的说明图。如图22所示，位置信息获取部86根据从摄像部75经由输入i/f29以一定的时间间隔输入的连续的摄像图像数据83获取表示从插入位置ps插入腹腔镜65的前端的插入路径(移动路径)的插入路径信息88。即，第4实施方式的位置信息获取部86作为本发明的插入路径信息获取部86a发挥功能。

具体而言，插入路径信息获取部86a利用公知的slam(simultaneouslocalizationandmapping，即时定位与地图构建)技术根据从摄像部75输入的连续的摄像图像数据83对从插入位置ps插入腹腔镜65的前端的插入路径进行映射处理。例如，插入路径信息获取部86a从连续的摄像图像数据83中提取各个特征点(容易建立图像数据之间的对应关联的拐点等)，求出连续的摄像图像数据83中的各特征点的轨迹，由此对腹腔镜65的前端的插入路径进行映射处理。由此，获取来自插入位置ps的腹腔镜65的前端的插入路径信息88。

插入路径信息88成为表示腹腔镜65的前端从插入位置ps移动的移动方向以及移动量(向哪个方向移动了多少)的信息。从而，位置信息获取部86能够根据插入路径信息获取部86a所获取到的插入路径信息88获取插入到患者9体内的腹腔镜65的前端位置，并将表示该前端位置的前端位置信息输出至前端位置图像生成部73以及投影图像生成部28。

另外，由于进行获取前端位置信息以后的处理的结构与上述第3实施方式的pm装置70基本相同，因此省略具体的说明。

[第4实施方式的手术辅助系统的作用]

与第3实施方式相同，关于第4实施方式的手术辅助系统的作用、即投影图像的投影处理的流程，也与上述第2实施方式的图13所示的流程基本相同。其中，在第4实施方式的步骤s5的处理中，位置信息获取部86根据被腹腔镜65的摄像部75拍摄到的摄像图像数据83和插入路径信息获取部86a所获取到的插入路径信息88获取插入到患者9体内的腹腔镜65的前端位置。

[第4实施方式的效果]

如以上，在第4实施方式的手术辅助系统中，由于根据患者9的距离图像数据23和表示患者9体内的腹腔镜65的前端位置的前端位置信息，由前端位置图像数据81生成与患者9的对应部位的表面形状对应的投影图像数据24，并将投影图像数据24的像光投影到患者9的对应部位，因此也能够获得与上述各实施方式相同的效果。

并且，由于根据通过腹腔镜65连续拍摄到的摄像图像数据83求出来自插入位置ps的插入路径信息88，由此获取腹腔镜65的前端位置，因此与上述第3实施方式相同，即使在患者9的体内(体腔内)自由移动腹腔镜65的前端位置的情况下，也能够获取插入到患者9体内的腹腔镜65的前端位置。

[第5实施方式的手术辅助系统(pm装置)]

接下来，对本发明的第5实施方式的手术辅助系统进行说明。上述各实施方式的手术辅助系统的pm装置为了获取距离图像数据23而具备led光源32。与此相对，在第5实施方式中，从照射不同波长的脉冲光(测量光)的多个led光源中，利用在距离图像传感器38中接收的脉冲光的强度(受光量)较高的led光源向患者9进行脉冲光的照射。

图23是表示第5实施方式的手术辅助系统的pm装置90的结构的框图。如图23所示，第5实施方式的pm装置90具备照射不同波长的脉冲光的led光源32a、32b(相当于本发明的光源单元)，并且控制部26除了作为距离图像生成部53等发挥功能以外，还作为光源控制部91发挥功能，除此以外的结构与上述各实施方式的pm装置基本相同。因此，对在功能或结构上与上述各实施方式相同的部分标注相同的符号而省略其说明。

与上述各实施方式的led光源32相同，led光源32a、32b的驱动通过光源驱动器33控制，与从定时信号发生器31输入的定时信号同步而发出固定脉冲宽度的脉冲光。

光源控制部91控制光源驱动器33而控制从led光源32a、32b照射脉冲光。该光源控制部91还作为切换控制部92发挥功能。

切换控制部92在通过距离图像生成部53生成距离图像数据23之前(例如，启动pm装置90时等)，控制从led光源32a、32b依次照射脉冲光，由此切换向患者9照射脉冲光的led光源。由此，切换从pm装置90照射至患者9的脉冲光的波长。

通过这种照射至患者9的脉冲光的波长的切换，第5实施方式的距离图像传感器38经由成像透镜36按每一波长接收被患者9反射的脉冲光。在此，患者9的体表面(照射面)反射脉冲光的反射率根据患者9穿戴的衣服的材质和色彩、患者9的肌肤的颜色以及对患者9射入脉冲光的射入角度等并按脉冲光的每一波长不同。因此，被患者9反射的脉冲光的强度按其每一波长不同。

与led光源32a、32b的每个脉冲光的发光同步，通过从定时信号发生器31输入的定时信号控制第5实施方式的距离图像传感器38的曝光期间。如上所述，在距离图像传感器38的各受光元件中蓄积有与在曝光期间射入的脉冲光的光量对应的电荷。从而，在曝光期间射入的脉冲光的射入光量、即被患者9反射的脉冲光的强度越高，距离图像传感器38的曝光量则越多。从该距离图像传感器38按脉冲光的每一波长读出与被患者9反射的脉冲光的射入光量(强度)相应的受光信号，各个波长的受光信号通过ad转换器39转换成数字信号之后，经由接口电路40输入至光源控制部91。

光源控制部91根据脉冲光的每一波长的数字信号对距离图像传感器38按每一波长接收的脉冲光的强度进行比较。然后，光源控制部91判定射出距离图像传感器38按每一波长接收的脉冲光中强度最高的波长的脉冲光的led光源是led光源32a、32b中的哪一个。接下来，光源控制部91将射出强度最高的波长的脉冲光的led光源确定为射出用于生成距离图像数据23的脉冲光的led光源，并控制光源驱动器33从确定了的led光源射出脉冲光。

在光源控制部91的控制下，从射出强度最高的波长的脉冲光的led光源对患者9照射脉冲光的情况下，第5实施方式的距离图像生成部53根据从距离图像传感器38经由ad转换器39以及接口电路40输入的数字信号进行距离图像数据23的生成。

另外，由于进行生成距离图像数据23以后的处理的结构与上述各实施方式的pm装置基本相同，因此省略具体的说明。

[第5实施方式的手术辅助系统的作用]

接下来，利用图24对第5实施方式的手术辅助系统的作用、即led光源的确定处理的流程进行说明。图24是表示射出用于生成距离图像数据23的脉冲光的led光源的确定处理的流程的流程图。

若启动pm装置90，则控制部26的光源控制部91的切换控制部92从led光源32a、32b中选择最初射出脉冲光的led光源(步骤s11)。在此，假设选择了led光源32a。接下来，光源控制部91控制光源驱动器33，开始驱动led光源32a。由此，led光源32a与从定时信号发生器31输入的定时信号同步而射出脉冲光。然后，从led光源32a射出的脉冲光通过投影透镜35向患者9照射(步骤s12)。

向患者9照射的脉冲光被患者9的体表面反射并射入到成像透镜36，并通过该成像透镜36成像于距离图像传感器38。由此，在距离图像传感器38中接收被患者9反射的脉冲光(步骤s13)。然后，从距离图像传感器38读出与被患者9反射的脉冲光的射入光量相应的受光信号，该受光信号通过ad转换器39转换成数字信号之后，经接口电路40输入至光源控制部91。

接下来，光源控制部91的切换控制部92控制光源驱动器33，停止led光源32a的驱动，并且开始驱动led光源32b。即，切换控制部92将对患者9照射脉冲光的led光源从led光源32a切换为led光源32b(在步骤s14中为是、步骤s15)。

在切换为led光源32b之后，反复执行上述步骤s12以及步骤s13的处理。由此，向患者9照射led光源32b的脉冲光，并且从距离图像传感器38读出与被患者9反射的脉冲光的射入光量相应的受光信号。然后，该受光信号通过ad转换器39转换成数字信号之后，经接口电路40输入至光源控制部91。

在本例中，由于使用不同波长的led光源32a、32b，因此光源控制部91根据脉冲光的每一波长的数字信号对距离图像传感器38按每一波长接收的脉冲光的强度进行比较(在步骤s14中为否、步骤s16)。然后，光源控制部91判定射出距离图像传感器38按每一波长接收的脉冲光中强度最高的波长的脉冲光的led光源，并将该led光源确定为射出用于生成距离图像数据23的脉冲光的led光源(步骤s17)。然后，光源控制部91控制光源驱动器33从确定了的led光源射出脉冲光(步骤s18)。

由于在此以后的处理与上述图10或图13所示的步骤s3以后的处理基本相同，因此在此省略具体的说明。

[第5实施方式的效果]

如以上，在第5实施方式的手术辅助系统的pm装置90中，由于从照射不同波长的脉冲光的led光源32a、32b中使用在距离图像传感器38中接收的脉冲光的强度(受光量)高的led光源对患者9进行脉冲光的照射，因此能够提高根据距离图像数据23判定与患者9之间的距离的精度和判定患者9的形状的精度。

＜第5实施方式的变形例＞

在上述第5实施方式的pm装置90设置有照射不同波长的脉冲光的led光源32a、32b，但是也可以设置有波长不同的3个以上的led光源。在该情况下，从各led光源中使用在距离图像传感器38中接收的脉冲光的强度最高的led光源对患者9进行脉冲光的照射。

在上述第5实施方式中，对照射脉冲光的led光源进行切换，但是也可以通过在例如从led光源射出的脉冲光的光路上选择性地配置使不同波长的光透射的多个滤波器，来切换对患者9照射的脉冲光的波长。

[第6实施方式的手术辅助系统(pm装置)]

接下来，对本发明的第6实施方式的手术辅助系统进行说明。在上述各实施方式的pm装置中，通过距离图像生成部53生成患者9的整体范围(包括大致整体范围)的距离图像数据23，但是在第6实施方式的手术辅助系统的pm装置100(参考图25)中，按照投影到患者9的投影图像的投影范围ap进行距离图像数据23的生成范围at的设定(参考图26)。

图25是表示第6实施方式的手术辅助系统的pm装置100的结构的框图。如图25所示，第6实施方式的pm装置100在存储器27内存储有焦距信息102，并且控制部26除了作为距离图像生成部53等发挥功能以外，还作为投影范围获取部104和距离图像生成控制部105发挥功能，除此以外的结构与上述第3实施方式的pm装置70基本相同。因此，对在功能或结构上与上述第3实施方式相同的部分标注相同的符号而省略其说明。

焦距信息102是表示投影透镜46(参考图2)的焦距的信息。在本例中，由于pm装置100与患者9之间的距离基本固定(包括大致固定)，因此关于投影透镜46的焦距，也预先按照pm装置100与患者9之间的距离规定。

投影范围获取部104根据从存储器27读出的焦距信息102、距离图像生成部53在之前生成的距离图像数据23所表示的与患者9之间的距离以及投影图像生成部28所生成的投影图像数据24(包括投影图像数据24在显示用光学元件42上的显示位置以及大小)获取从pm装置100投影到患者9的投影图像的投影范围ap(参考图26)。然后，投影范围获取部104将获取到的投影范围ap输出至距离图像生成控制部105。

距离图像生成控制部105控制距离图像生成部53，设定距离图像生成部53进行距离图像数据23的生成的生成范围at(参考图26)。

图26(a)、图26(b)是用于对通过距离图像生成控制部105设定距离图像数据23的生成范围at的情况进行说明的说明图。如图26(a)、图26(b)所示，距离图像生成控制部105与投影范围获取部104所获取到的投影范围ap对应地进行距离图像数据23的生成范围at的设定。该生成范围at设定成比投影范围ap大预先规定的大小。然后，距离图像生成控制部105将与所设定的生成范围at相关的信息输出至距离图像生成部53。

第6实施方式的距离图像生成部53根据数字信号进行距离图像数据23的生成，该数字信号是在从距离图像传感器38读出且经由ad转换器39以及接口电路40等输入至距离图像生成部53的数字信号中与生成范围at对应的数字信号。由此，无需生成患者9的整体范围的距离图像数据23，因此能够减少距离图像数据23的生成处理所需的运算量。

另外，在成像透镜36(参考图2)具有变焦功能的情况下，在进行距离图像数据23的生成时，也可以通过控制部26控制透镜驱动器37，进行依据生成范围at改变视角的变焦动作。在该情况下，距离图像生成部53根据数字信号进行距离图像数据23的生成，该数字信号从距离图像传感器38读出且经由ad转换器39以及接口电路40等输入至距离图像生成部53。由此，能够提高距离图像数据23的分辨率，从而能够提高与患者9之间的距离的检测精度和患者9的表面形状的凹凸的检测精度。

并且，在进行变焦动作的情况下，也可以在pm装置100设置平摇俯仰机构和平摇俯仰控制部，该平摇俯仰控制部根据通过距离图像生成控制部105设定生成范围at的设定结果以使pm装置100(成像透镜36)指向生成范围at的方向的方式驱动平摇俯仰机构。

另外，由于除了距离图像数据23的生成处理所涉及的结构以外，与上述第3实施方式的pm装置70基本相同，因此省略具体的说明。

[第6实施方式的效果]

如以上，在第6实施方式的手术辅助系统的pm装置100中，由于与投影到患者9的投影图像的投影范围ap对应地设定距离图像生成部53进行距离图像数据23的生成的生成范围at，因此无需生成患者9的整体范围的距离图像数据23，而能够减少距离图像数据23的生成处理所需的运算量。

另外，在距离图像生成控制部105设定生成范围at时，由于在进行了依据生成范围at改变视角的变焦动作的情况下能够提高距离图像数据23的分辨率，因此能够提高与患者9之间的距离的检测精度和患者9的表面形状的凹凸的检测精度。

＜第6实施方式的变形例＞

在上述第6实施方式中，对在上述第3实施方式的结构的基础上组合了以下结构的例子进行了说明，即，该结构是按照投影到患者9的投影图像的投影范围ap进行距离图像数据23的生成范围at的设定的结构，但是也可以将进行该生成范围at的设定的结构与其他上述各实施方式的结构进行组合。

[其他]

在上述第1实施方式中，作为透射图像数据22举出x射线图像数据的例子进行了说明，但是也可以使用mri图像数据或ct图像数据等患者9的对应部位的各种透射图像。

在上述第1实施方式以及第2实施方式中，作为沿患者9体内的已知的路径插入的医疗仪器举出导管12的例子进行了说明，但是在将上消化道内窥镜或下消化道内窥镜插入到患者9体内的情况下，也能够适用本发明。并且，在上述第3实施方式以后，作为医疗仪器举出腹腔镜65的例子进行了说明，但是只要是插入到患者9体内的医疗仪器，则无特别限定。

在上述各实施方式的pm装置中，进行所谓的tof(timeofflight，飞行时间测量)形式的距离图像数据23的获取，但是也可以进行所谓的图案照射(projector-camera，投影仪-相机)方式的距离图像数据23的获取，该tof形式的距离图像数据23的获取是指，从距离图像传感器38读出表示与被患者9反射并射入到距离图像传感器38的脉冲光的飞行时间对应的距离信息的受光信号，并根据所读出的受光信号生成距离图像数据23。

在上述各实施方式中，投影图像生成部28与控制部26分体地设置，但是也可以使控制部26作为投影图像生成部28发挥功能。并且，在上述各实施方式中，以距离图像生成功能与投影图像的投影功能一体化的pm装置为例进行了说明，但是也可以使距离图像生成功能与投影功能分体化。

在上述各实施方式中，作为受检体举出人(患者9)的例子进行了说明，但是在将医疗仪器插入到人以外的动物等各种受检体内的情况下，也能够适用本发明。

符号说明

10-手术辅助系统，12-导管，18-透射图像生成部，19-送入量传感器，20、60、70、85、90、100-投影映射装置，22-透射图像数据，23-距离图像数据，24-投影图像数据，26-控制部，28-投影图像生成部，32-led光源，35-投影透镜，36-成像透镜，38-距离图像传感器，42-显示用光学元件，44-led光源，46-投影透镜，50、79-内部结构信息，51-插入路径信息，53-距离图像生成部，54、72、86-位置信息获取部，55-前端位置图像获取部，62、73-前端位置图像生成部，64、81-前端位置图像数据，65-腹腔镜，75-摄像部，76-陀螺仪传感器，77-加速度传感器，83-摄像图像数据，91-光源控制部，92-切换控制部，104-投影范围获取部，105-距离图像生成控制部。