内窥镜图像处理装置的制作方法

专利名称：内窥镜图像处理装置的制作方法
技术领域：
本发明涉及内窥镜图像处理装置，尤其涉及对在插入被检体内的内 窥镜中伴随时间的经过而拍摄的被摄体的像所对应的图像的显示状态进 行控制的内窥镜图像处理装置。
背景技术：
包括内窥镜等而构成的内窥镜系统以往被广泛应用于工业领域和医 疗领域等。尤其医疗领域的内窥镜系统主要用在活体内的各种器官的观 察等用途上。并且，作为在前述用途中使用的内窥镜系统，例如有专利 文献1中提出的电子内窥镜系统。
专利文献1的电子内窥镜系统构成为具有拍摄单元，其利用配设 在内窥镜前端部的拍摄元件拍摄被检者的体内；位置检测单元，其检测 所述内窥镜前端部的位置信息；记录单元，其在预定的定时记录通过所 述拍摄单元所拍摄的图像，作为与拍摄时通过所述位置检测单元检测的 所述位置信息相关联的静态图像；显示单元，其显示记录在所述记录单 元中的所述静态图像和与该静态图像相关联的位置信息，而且将通过所 述拍摄单元拍摄的图像与通过所述位置检测单元检测的所述位置信息一 起显示为动态图像。因此，专利文献l的电子内窥镜系统根据前述结构， 可以确定内窥镜拍摄的图像的对应部位。
另一方面，在使用内窥镜进行的各种观察中，尤其在观察大肠时， 例如将来有可能实现下述观察方法在护士或技师等辅助人员将内窥镜 插入大肠最深处即回盲部后，医师一面抽拔内窥镜一面进行病变部位的 观察。目前，如果是熟练的医师，则多采用以下观察方法首先该医师 亲自把内窥镜插入所述回盲部，然后该医师亲自一面抽拔该内窥镜一面 进行仔细观察和治疗等。[专利文献1]日本特开2006—223850号公报
在采用前述观察方法时，医师需要加大注意力，例如以便做到在抽 拔内窥镜时不会漏看内窥镜插入时所确认的病变部位。因此，在前述观 察方法中，减轻医师负担并且可以防止漏看内窥镜插入时所确认的病变 部位这样的有效方法的实现成为课题。
另一方面，专利文献1的电子内窥镜系统具有用于将拍摄图像时的 内窥镜前端部的位置信息与该图像关联起来的结构，但不具有可以防止 在采用前述观察方法时可能产生的病变部位的漏看的结构，例如不具有 能够在抽拔内窥镜时显示内窥镜插入时所确认的病变部位的相关信息的 结构。换言之，专利文献1的电子内窥镜系统不具有能够解决在前述观 察方法中产生的前述问题的结构。

发明内容
本发明就是鉴于上述情况而完成的，其目的在于，提供一种内窥镜 图像处理装置，在抽拔内窥镜时显示在插入内窥镜时获取的病变部位的 相关信息，由此与以往相比可以提高使用内窥镜的观察效率。
本发明的第1方式的内窥镜图像处理装置的特征在于，该内窥镜图 像处理装置具有图像获取部，其获取与在插入被检体内的内窥镜中伴
随时间经过而拍摄的被摄体的像对应的图像；病变部位检测部，其每当 获取所述图像时检测所述图像内的病变部位；显示所述图像的显示部； 以及图像显示控制部，其根据所述病变部位检测部的检测结果，对所述 图像获取部获取的图像中、至少包括被所述病变部位检测部检测到病变 部位的图像即病变部位图像的多幅图像的显示状态进行控制。
本发明的第2方式的内窥镜图像处理装置的特征在于，在所述第1 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制使 所述显示部显示在所述图像获取部获取所述病变部位图像的定时前后的 预定期间的图像。
本发明的第3方式的内窥镜图像处理装置的特征在于，在所述第1
方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制使所述图像获取部获取的由从所述内窥镜的插入开始时的图像到插入结束 时的图像的多幅图像构成的、按照时间顺序的一系列图像中的所述病变 部位图像作为静态图像来进行显示，并把所述病变部位图像以外的图像 作为动态图像来进行再现。
本发明的第4方式的内窥镜图像处理装置的特征在于，在所述第3 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制以 比所述内窥镜的拍摄速度更快的速度把所述病变部位图像以外的图像作 为动态图像来进行再现。
本发明的第5方式的内窥镜图像处理装置的特征在于，在所述第1 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制使 所述图像获取部获取的由从所述内窥镜的插入结束时的图像到插入开始 时的图像的多幅图像构成的、按照时间逆序的一系列图像中的所述病变 部位图像作为静态图像来进行显示，并把所述病变部位图像以外的图像 作为动态图像来进行逆向再现。
本发明的第6方式的内窥镜图像处理装置的特征在于，在所述第5 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制以 比所述内窥镜的拍摄速度更快的速度把所述病变部位图像以外的图像作 为动态图像来进行逆向再现。
本发明的第7方式的内窥镜图像处理装置的特征在于，在所述第1 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制把 所述图像获取部获取的由从所述内窥镜的插入开始时的图像到插入结束 时的图像的多幅图像构成的一系列图像中的所述病变部位图像、和在时 间上位于所述病变部位图像之前和/或之后的预定幅数的图像，作为动态 图像来进行再现。
本发明的第8方式的内窥镜图像处理装置的特征在于，在所述第1 方式的内窥镜图像处理装置中，所述图像显示控制部进行以下控制把 所述图像获取部获取的由从所述内窥镜的插入开始时的图像到插入结束 时的图像的多幅图像构成的一系列图像中的所述病变部位图像、和在时 间上位于所述病变部位图像之前和/或之后的预定幅数的图像，作为动态图像来进行逆向再现。
本发明的第9方式的内窥镜图像处理装置的特征在于，在所述第l 第8方式中任一方式的内窥镜图像处理装置中，该内窥镜图像处理装置 还具有插入状态信息获取部，该插入状态信息获取部从内窥镜插入状态 检测装置获取表示插入所述被检体内的内窥镜的插入状态的插入状态数 据，并把所述图像获取部获取所述病变部位图像的定时的该插入状态数 据所对应的所述内窥镜的插入状态的相关信息，与所述病变部位图像一 并输出到所述显示部。
本发明的第IO方式的内窥镜图像处理装置的特征在于，在所述第9 方式的内窥镜图像处理装置中，所述内窥镜的插入状态的相关信息包括 所述内窥镜的插入长度、所述内窥镜插入后的经过时间和所述内窥镜的 插入形状中的至少一个。
根据本发明的内窥镜图像处理装置，在抽拔内窥镜时显示在插入内 窥镜时获取的病变部位的相关信息，由此与以往相比可以提高使用内窥 镜的观察效率。


图1是表示本发明的实施方式涉及的使用图像处理装置的活体观测 系统的主要部分的结构的一例的图。
图2是表示在图1的内窥镜插入状态检测装置中被检测的、设于图 1的内窥镜的插入部中的源线圈的坐标的图。
图3是表示在检测到具有隆起形状的病变部位时，图1的图像处理 装置进行的处理的一部分的流程图。
图4是表示在检测到具有隆起形状的病变部位时，图1的图像处理 装置紧接着图3的处理而进行的处理的流程图。
图5是表示利用图1的图像处理装置推测的三维模型的一例的图。
图6是表示在图5的三维模型中，作为用于检测具有隆起形状的病 变部位的处理对象的体素组所在区域的一例的图。
图7是表示在检测到病变部位时，在图1的图像处理装置具有的显示屏上显示的图像等的一例的图。
图8是表示在图1的图像处理装置具有的显示屏上显示的内窥镜图 像的显示方法的一例的图。
图9是表示在图1的图像处理装置具有的显示屏上显示的内窥镜图
像的显示方法的、与图8不同的示例的图。
符号说明
1活体观测系统；2内窥镜装置；3内窥镜插入状态检测装置；4图 像处理装置；6内窥镜；8视频处理器；21插入状态分析装置；25 PC; 28显示屏；101插入状态信息；102插入形状图像；103内窥镜图像。
具体实施例方式
以下，参照

本发明的实施方式。图1 图9涉及本发明的
实施方式。图1是表示本发明的实施方式涉及的使用图像处理装置的活
体观测系统的主要部分的结构的一例的图。图2是表示在图1的内窥镜
插入状态检测装置中被检测的、设于图1的内窥镜的插入部中的源线圈
的坐标的图。图3是表示在检测到具有隆起形状的病变部位时，图1的 图像处理装置进行的处理的一部分的流程图。图4是表示在检测到具有 隆起形状的病变部位时，图1的图像处理装置紧接着图3的处理而进行 的处理的流程图。图5是表示利用图1的图像处理装置推测的三维模型 的一例的图。图6是表示在图5的三维模型中，作为用于检测具有隆起 形状的病变部位的处理对象的体素组所在区域的一例的图。图7是表示 在检测到病变部位时，在图1的图像处理装置具有的显示屏上显示的图 像等的一例的图。图8是表示在图1的图像处理装置具有的显示屏上显 示的内窥镜图像的显示方法的一例的图。图9是表示在图1的图像处理 装置具有的显示屏上显示的内窥镜图像的显示方法的、与图8不同的示 例的图。
活体观测系统1如图1所示，其构成为具有内窥镜装置2，其可 以利用内窥镜6观察被检者的内部；内窥镜插入状态检测装置3，其检测 被插入该被检者内部的内窥镜6的插入状态，并且把该插入状态作为插入状态数据输出；以及图像处理装置4，其进行对应从内窥镜插入状态检 测装置3输出的插入状态数据的各种处理。
内窥镜装置2构成为具有内窥镜6，其可以插入存在于被检者内 部的大肠等中，并且拍摄该被检者内部的被摄体，并作为拍摄信号输出； 光源装置7，其向内窥镜6提供用于照明该被摄体的照明光；视频处理器 8，其对从内窥镜6输出的拍摄信号进行信号处理，并作为影像信号输出； 以及监视器9，其根据从视频处理器8输出的影像信号，显示通过内窥镜 6拍摄的被摄体的像作为内窥镜图像。
内窥镜6具有可以插入被检者内部的细长插入部11和设于插入部11 后端的操作部12。在插入部11的内部插通着光导13，其一端侧配置在 插入部11的前端部14，同时另一端侧可以连接在光源装置7上。由此， 从光源装置7提供的照明光通过光导13从设于插入部11的前端部14的 未图示的照明窗射出。
另外，在插入部11的前端部14的后端侧设有可以自由弯曲地构成 的未图示的弯曲部。并且，所述未图示的弯曲部可以根据设于操作部12 上的未图示的弯曲操作把手等的操作而弯曲。
在前端部14上，在与未图示的照明窗相邻设置的未图示的观察窗上 安装有物镜15。并且，在物镜15的成像位置配置有由电荷耦合元件(简 称为CCD)等构成的拍摄元件16的拍摄面。
拍摄元件16通过信号线与视频处理器8连接，拍摄通过物镜15成 像的被摄体的像，并作为拍摄信号输出给视频处理器8。
视频处理器8进行用于根据从拍摄元件16输出的拍摄信号生成影像 信号的信号处理。并且，视频处理器8把通过所述信号处理生成的影像 信号例如RGB信号输出给监视器9。并且，在监视器9的显示面上显示 在拍摄元件16中拍摄的被摄体的像，作为内窥镜图像。
另外，光源装置7例如在提供由R (红)、G (绿)、B (蓝)构成的 面顺序的照明光时，把与提供各种光的期间同步的同步信号输出给视频 处理器8。此时，视频处理器8与从光源装置7输出的所述同步信号同步 地进行信号处理。在内窥镜6的操作部12上，除所述未图示的弯曲操作把手外，还设 有可以进行释放指示等的指示的未图示的开关。
并且，在内窥镜6的插入部11的内部，在长度方向上具有预定间隔
地配置多个源线圈Q)、 C,.....Cm-,(简称为Q) Cm-,)。并且，源线
圈Co Cm-,根据从内窥镜插入状态检测装置3输出的驱动信号，在各自 的周围产生磁场。
并且，在源线圈C。 CM—,中产生的磁场，被内窥镜插入状态检测装 置3具有的内置了多个读出线圈的读出线圈单元19检测到。
内窥镜插入状态检测装置3构成为具有读出线圈单元19，其检测 在设于内窥镜6中的源线圈C。 CM—,中产生的磁场；插入状态分析装置 21，其可以根据由读出线圈单元19检测的磁场的检测信号，分析包括插 入部11的形状推测在内的插入部11的插入状态；以及显示器22，其显 示由插入状态分析装置21推测的插入部11的形状。
读出线圈单元19配置在患者躺卧的床的周边部等处，检测源线圈 C。 CM—，产生的磁场，把所检测的该磁场作为检测信号输出给插入状态 分析装置21。
插入状态分析装置21根据检测信号，进行源线圈C。 CM—,的各个 位置坐标数据的计算，并且根据所计算的该位置坐标数据推测插入部11 的插入形状。并且，插入状态分析装置21生成所推测的插入部11的插 入形状的影像信号，并把所生成的影像信号例如RGB信号输出给显示器 22。由此，在显示器22的显示画面上图像显示插入部11的插入形状。 另外，插入状态分析装置21在进行基于内窥镜6的观察的过程中，连续 生成插入部11的插入形状的相关信息、插入部11的插入长度、插入部 11插入后的经过时间和形状显示属性等插入状态数据，并通过通信端口 21a输出给图像处理装置4。
并且，本实施方式的内窥镜插入状态检测装置3，通过在未图示的 操作面板等上进行指示和输入，对在通过插入状态分析装置21的形状检 测处理而生成，然后显示在显示器22上的插入形状的图像的旋转角和放 大縮小比率等形状显示属性进行变更。另外，视频处理器8具有未图示的操作面板，用于输入例如患者姓 名、出生年月日、性别、年龄、患者代码和检查日期时间等信息即检査 信息。并且，在所述未图示的操作面板中输入的检查信息被叠加在通过
视频处理器8生成的影像信号上，并输出给监视器9，并且还通过通信端 口 8a发送给图像处理装置4。
作为内窥镜图像处理装置的图像处理装置4具有个人计算机(以 下简称为PC) 25，其根据从内窥镜插入状态检测装置3输出的插入状态 数据和从视频处理器8输出的检查信息，进行各种处理；鼠标26和键盘 27，其可以对PC 25进行各种指示和输入；以及显示屏28，其可以显示 通过PC 25的所述各种处理生成的图像和信息等。
PC 25具有通信端口 25a，其获取从内窥镜插入状态检测装置3的 插入状态分析装置21的通信端口 21a输出的插入状态数据；通信端口 25b，其获取从所述内窥镜装置2的视频处理器8的通信端口 8a输出的 检查信息；动态图像输入板25c，其把通过视频处理器8生成的动态图像 的影像信号转换为预定的压縮图像数据；进行各种信号处理的CPU31; 处理程序存储部32，其存储有在CPU 31的该各种信号处理中使用的处 理程序；存储器33，其存储通过CPU 31处理后的数据等；硬盘(以下 简称为HDD) 34，其存储通过CPU 31处理后的图像数据等。并且，PC 25 具有的各个部分通过总线35相互连接。
图像处理装置4的动态图像输入板25c被输入例如具有预定的帧频 (30帧/秒)的Y/C信号，作为在视频处理器8中生成的动态图像的影像 信号。并且，动态图像输入板25c使用例如MJPEG形式等预定的压縮形 式，把所述动态图像的影像信号转换为压縮动态图像数据，并且把该压 縮动态图像数据输出给HDD34等。
另外，在通信端口 25a中获取的插入状态数据和在通信端口 25b中 获取的检查信息，例如被输出给存储器33，由此保存在PC25内。
显示屏28具有例如和触摸屏相同的功能，可以显示通过PC25的各 种处理生成的图像和信息等，并且可以把针对所显示的图像的输入内容 信号化并输出给PC 25。在此，说明在内窥镜插入状态检测装置3生成插入状态数据时进行 的处理。
内窥镜插入状态检测装置3的插入状态分析装置21根据从内窥镜6 的拍摄元件16输出1帧的拍摄信号的定时，生成包括内置于内窥镜6的 插入部11中的M个源线圈C。 Cm-,的三维坐标的插入状态数据。并且， 插入状态分析装置21把所述插入状态数据输出给图像处理装置4，同时 根据所述插入状态数据生成插入部ll的插入形状的图像，把该插入形状 的图像输出给显示器22。
另外，第j帧(其中，j = 0、 1、 2...)中从插入部11的前端侧起第 i个(其中，i二o、 1、 ...、 M—l)源线圈Ci的三维坐标，如图2所示被 表示为(XjJ、 Y一、 Z"。
包括由该内窥镜插入状态检测装置3检测的源线圈C。 CM—,的坐标 系数据的插入状态数据，构成为与各个帧相关的帧数据(即，第0帧数 据、第1帧数据、...)，并依次发送给图像处理装置4。并且，各个帧数 据构成为包括插入状态数据的生成时间、显示属性、附属信息和源线圈 的(三维)坐标等数据。
并且，线圈坐标数据是分别表示依次配置在插入部11的前端侧到基 端侧(操作部12侧)的源线圈C。 CM—t的三维坐标的数据。另外，内 窥镜插入状态检测装置3的检测范围外的源线圈的三维坐标，例如被设 定为可以得知在检测范围外的预定的坐标值(例如(0、 0、 O))。
下面，说明本实施方式的活体观测系统l的作用。
在护士或技师等辅助人员把内窥镜6的插入部11从被检体的肛门侧 插入体腔内时，利用设于插入部11的前端部14的拍摄元件16拍摄存在 于该体腔内的被摄体。通过拍摄元件16拍摄的被摄体的像随着时间经过 而被拍摄，并作为拍摄信号输出，在通过视频处理器8进行信号处理并 转换为影像信号后，输出给监视器9。由此，在监视器9上显示通过拍摄 元件16拍摄的被摄体的像，作为内窥镜图像。
内窥镜插入状态检测装置3在读出线圈单元19中检测从各个源线圈 Co CM—i发生的磁场，并且在插入状态分析装置21中根据对应该磁场而输出的检测信号推测插入部11的插入形状。由此，在显示器22上显示 在插入状态分析装置21中推测的插入部11的插入形状。
并且，在视频处理器8中生成的影像信号通过通信端口 8a和25b输 出给CPU31。
具有作为图像获取部和病变部位检测部的功能的CPU31，根据所输 入的影像信号和写入处理程序存储部32中的处理程序，获取通过内窥镜 6拍摄的被摄体的像所对应的图像，并且每当获取该图像时，进行用于检 测该图像内的病变部位的处理。
在此，说明为了在通过内窥镜6拍摄的被摄体的像中检测具有隆起 形状的病变部位，CPU31进行的处理的一例。另外，以后叙述的用于检 测病变部位的处理，针对从视频处理器8输出的影像信号中的各个帧的 图像进行。
首先，CPU31根据所输入的影像信号，抽出通过内窥镜6拍摄的被 摄体的像中包含的所有边缘部并将其细线化，计算被细线化的该所有边 缘部中的一个边缘部E的长度L(图3中的步骤S1、步骤S2和步骤S3)。 另外，CPU 31判定一个边缘部E的长度L是否比阈值thLl长、并且比 阈值thL2短(图3中的步骤S4)。
并且，CPU 31在检测到一个边缘部E的长度L为预定的阈值thLl 以下的长度、或者在阈值thL2以上时，不把该一个边缘部E视为病变引 起的边缘部，进行后述的图3中的步骤S11所示的处理。CPU31在检测 到一个边缘部E的长度L比阈值thLl长而且比阈值thL2短时，利用控 制点Cn (n=l、 2.....N) N等分该一个边缘部E (图3中的步骤S5)。
另外，CPU31获取从一个边缘部E的中点Cc引出的法线NCc，并 且获取从各个控制点Cn引出的N条法线NCn(图3中的步骤S6)。然后， CPU 31检测N条法线NCn中与法线NCc相交的法线条数Na(图3中的 步骤S7)。
并且，CPU 31进行N条法线NCn中与法线NCc相交的法线条数 Na是否多于阈值tha的判断(图3中的步骤S8)。并且，CPU31在检测 到与法线NCc相交的法线条数Na多于阈值tha时，把一个边缘部E中包含的像素组ip判断为候选病变部位的边缘部中包含的像素组，把该像素
组ip具有的各个像素中的变量edge(i)的值设为ON(图3中的步骤S9)。 另外，CPU 31在检测到与法线NCc相交的法线条数Na在阈值tha以下 时，把一个边缘部E中包含的像素组ip判断为不是病变引起的边缘部中 包含的像素组，把该像素组ip具有的各个像素中的变量edge (i)的值设 为OFF (图3中的步骤SIO)。
然后，CPU31判断是否己对所抽出的全部边缘部结束处理(图3中 的步骤Sll)。并且，CPU31在检测到没有结束对所抽出的全部边缘部的 处理时，对其他的一个边缘部实施前述的从图3中的步骤S3到步骤S10 的处理。并且，CPU31在检测到己结束对所抽出的全部边缘部的处理时， 结束用于抽出二维图像中的边缘部的一系列处理。
CPU 31把作为通过对所抽出的全部边缘部进行以上叙述的一系列 处理所得到的处理结果的、像素组ip中的变量edge (i)的值，暂时存储 在存储器33中。
并且，CPU31根据从视频处理器8输出的影像信号的亮度信息等， 例如进行几何学转换等处理，由此获取推测通过内窥镜6拍摄的被摄体 的像的三维模型时需要的图像数据。换言之，CPU31例如通过几何学转 换等处理，生成对应二维图像中的各个像素的体素，并且获取该体素作 为用于推测三维模型的图像数据。即，像素组ip通过前述处理被转换为 体素组ib。
CPU 31通过前述处理，获得包括变量edge (i)为ON的体素组ib 的平面即边界平面的数据，作为用于推测通过内窥镜6拍摄的被摄体的 像的三维模型的图像数据。由此，通过内窥镜6拍摄的被摄体的像，例 如在把z轴方向作为利用内窥镜6观察时的视野方向时，被推测为具有 图5所示形状的三维模型。
然后，CPU31根据所述边界平面的数据，抽出z坐标为最大的一个 体素，作为变量edge (i)为ON的体素组ib中位于内窥镜6的视野方向 的最里侧的预定的一个体素，并把该一个体素的z坐标设定为Maxz (图 4中的步骤S21)。并且，CPU31检测z坐标小于Maxz的体素组rb，作为用于推测通 过内窥镜6拍摄的被摄体的像的三维模型的图像数据而获得的全部体素 中、相比所述一个体素的位置位于内窥镜6的视野方向跟前侧的体素(图 4中的步骤S22)。另外，所述体素组rb例如是由位于图6所示区域内的
R个体素构成的体素组。
另外，CPU 31把变量a设定为1后，抽出体素组rb具有的R个体 素中的一个体素即Ba (a=l、 2、…、R—1、 R)，并且计算Shapelndex 值SBa和Curvedness值CBa，作为该一个体素Ba的形状特征量(图4 中的步骤S23、步骤S24和步骤S25)。
另外，前述的Shapelndex值和Curvedness值例如可以使用与US Patent Application Publication No.20030223627记载的方法相同的方法计 算。因此，在本实施方式中，省略说明一个体素Ba的Shapelndex值和 Curvedness值的计算方法。
并且，CPU 31进行Shapelndex值SBa与预先设定的Shapelndex值 的阈值Sth (例如0.9)的比较，并且进行Curvedness值CBa与预先设定 的Curvedness值的阈值Cth (例如0.2)的比较(图4中的步骤S26)。换 言之，CPU31通过进行前述处理，进行抽出三维模型被推测为凸型形状 的体素组的处理，作为用于检测通过内窥镜6拍摄的被摄体的像是否是 具有隆起形状的病变部位的处理。
并且，CPU 31在检测到Shapelndex值SBa大于阈值Sth、而且 Curvedness值CBa大于阈值Cth时，把一个体素Ba判断为构成具有隆起 形状的病变部位的一部分的体素，把该一个体素Ba的变量ryuuki (Ba) 的值设为ON (图4中的步骤S27)。
并且，CPU 31在检测到Shapelndex值SBa为阈值Sth以下、或者 Curvedness值CBa为阈值Cth以下时，判断一个体素Ba不是构成具有隆 起形状的病变部位的一部分的体素，把该一个体素Ba的变量ryuuki (Ba) 的值设为OFF (图4中的步骤S28)。
然后，CPU31进行是否已对R个体素全部进行前述处理的判定，即， 进行是否是变量a二R的判定(图4中的步骤S29)。
15并且，CPU31在检测到不是a二R时，进行向变量i加1的处理(图 4中的步骤S30)，然后再次进行前述的从图4中的步骤S24 步骤S29 所示的处理。
并且，CPU31在检测到a二R时(图4中的步骤S29)，结束用于检 测通过内窥镜6拍摄的被摄体的像的三维模型中的隆起形状的一系列处 理。
然后，CPU 31把作为通过对R个体素全部进行以上叙述的一系列处 理而得到的处理结果的ryukki (Ba)的值，暂时存储在存储器33中。
并且，CPU31根据ryukki (Ba)的值为ON的各个体素的位置，检 测位于与该各个体素的位置对应的位置的二维图像上的各个像素。
CPU31对从视频处理器8输出的影像信号中的各个帧的图像实施以 上叙述的一系列处理，由此检测通过内窥镜6拍摄的被摄体的像中包含 的息肉等具有隆起形状的病变部位。
另外，具有作为图像显示控制部和插入状态信息获取部的功能的 CPU31进行以下控制根据从视频处理器8输出的影像信号、基于前述 一系列处理的病变部位的检测结果、通过通信端口 21a和25a输入的插 入状态数据，获取例如检测到病变部位的场景图像、检测到病变部位时 的插入部11的插入形状、检测到病变部位时的插入部11的插入长度、 以及从插入部11被插入到获取该图像的经过时间的各个信息，并彼此相 关联地存储在HDD 34中，并且在预定的定时从HDD 34读入该各个信息 并输出给显示屏28。 CPU 31通过进行前述控制，在显示屏28上一并显 示例如图7所示的至少包括前述的插入长度和经过时间的插入状态信息 101、表示检测到病变部位时的插入部11的插入形状的插入形状图像102、 和检测到病变部位的场景的内窥镜图像103。另外，插入状态信息101中 包含的各个信息和插入形状图像102 (如图7所示)不限于全部显示在显 示屏28上，例如也可以显示至少一个。
并且，前述预定的定时例如也可以是在插入部11被插入时刚刚检测 到病变部位后的定时，还可以是在插入部11的前端部14到达大肠内的 回盲部后，设于内窥镜6的未图示的插入结束按钮被按下的定时。并且，显示于显示屏28的内容不限于图7所示内容，例如在检测到 多个病变部位时，也可以首先只一览显示内窥镜图像103的縮略图像， 然后对所选择的一幅图像进行图7所示的显示。另外，所述一览显示的 显示顺序例如是基于检测到病变部位的定时、插入长度和经过时间中至 少任一方的顺序。
根据以上叙述的作用，医师可以在辅助人员结束插入部11的插入之 前，确认有无病变部位、病变部位的个数及病变部位的大致位置。另外， 根据以上叙述的作用，医师可以在抽拔插入部ll时一面参照显示于显示 屏28上的内窥镜图像103， 一面进行观察。
另外，在本实施方式中，图像处理装置4还可以具有以下结构，艮口， 可以在插入部11插入时标识所发现的病变部位的图像的结构，以及在抽 拔插入部11时，在前端部14接近对应于具有该标识的图像的位置时进 行通知的结构。
并且，显示于显示屏28上的内窥镜图像103不限于只显示检测到病 变部位的场景的静态图像，例如图8所示，也可以通过CPU31的控制， 把以检测到病变部位的场景的静态图像Ic的获取定时为基准的前后t秒 的图像，作为动态图像连续显示。
具体地讲，例如，作为图像显示控制部的CPU31可以进行以下控制 使显示屏28连续显示(再现或逆向再现)从插入部11插入时获取的图 像L到In的N幅图像中的所述静态图像Ic、和在时间上位于所述静态图 像Ic的获取定时之前和/或之后的t秒的图像即预定幅数的图像，作为动 态图像。
并且，显示于显示屏28上的内窥镜图像103不限于只显示检测到病 变部位的场景的静态图像，例如也可以通过CPU31的控制，简要再现从 插入部11插入时获取的图像I,到In的N幅图像，作为动态图像。
所述简要再现例如利用以下方法实现，即，包括从图像I到I。的N 幅图像的、按照时间顺序的一系列动态图像中被检测到病变部位的场景 图像，作为暂时停止图像(静态图像)显示在显示屏28 (的显示有内窥 镜图像103的部分)上，关于除此之外的图像，以快速再现的方式显示在显示屏28 (的显示有内窥镜图像103的部分)上。并且，如图9所示， 作为从图像L到In的N幅图像中例如被检测到病变部位的场景图像，在 获取了图像Ii、图像Im和图像Ii+2各幅图像时，通过CPU31的控制， 从插入部11的插入开始时(的图像I,)到插入结束时(的图像In)的一 系列动态图像中的该各幅图像，作为暂时停止图像(静态图像)显示在 显示屏28 (的显示有内窥镜图像103的部分)上，关于该各幅图像之外 的图像，以快速再现的方式显示在显示屏28 (的显示有内窥镜图像103 的部分)上。另外，所述快速再现的速度例如是比内窥镜6的拍摄元件 16的拍摄速度快的速度。
另外，显示在显示屏28上的内窥镜图像103不限于只显示检测到病 变部位的场景的静态图像，例如也可以通过CPU31的控制，作为动态图 像，逆向简要再现从插入部11插入时获取的图像I,到In的N幅图像。
所述逆向简要再现例如利用以下方法实现，即，包括从图像In到乙 的N幅图像的、按照时间逆序的一系列动态图像中被检测到病变部位的 场景的图像，作为暂时停止图像(静态图像)显示在显示屏28 (的显示 有内窥镜图像103的部分)上，关于除此之外的图像，以快速再现的方 式显示在显示屏28 (的显示有内窥镜图像103的部分)上。并且，如图 9所示，作为从图像L到In的N幅图像中例如被检测到病变部位的场景 的图像，在获取了图像Ii、图像Im和图像Ii+2各幅图像时，通过CPU31 的控制，从插入部ll的插入结束时(的图像I》到插入开始时(的图像 I。的一系列动态图像中的该各幅图像，作为暂时停止图像(静态图像) 显示在显示屏28 (的显示有内窥镜图像103的部分)上，关于该各幅图 像之外的图像，以快速逆向再现的方式显示在显示屏28 (的显示有内窥 镜图像103的部分)上。另外，所述快速逆向再现的速度例如是比内窥 镜6的拍摄元件16的拍摄速度快的速度。
如上所述，本实施方式涉及的图像处理装置4 (具有该图像处理装 置4而构成的活体观测系统1)具有以下结构，S卩，可以在抽拔插入部 11时(或者在此之前的定时)，使显示屏28显示在插入部11插入时获取 的被检测到病变部位的场景的图像及信息。由此，本实施方式涉及的图像处理装置4 (具有该图像处理装置4而构成的活体观测系统1)，与以 往相比，可以提高使用内窥镜的观察效率。并且，前述效果在采用由不 同的人进行内窥镜的插入及抽拔的观察方法时尤其显著。
并且，本实施方式涉及的图像处理装置4 (具有该图像处理装置4
而构成的活体观测系统1)，例如在使内窥镜往返于所期望部位的附近进 行观察的情况下，也可以发挥前述效果。
另外，本实施方式涉及的图像处理装置4 (具有该图像处理装置4 而构成的活体观测系统1)，具有在检测病变部位时可以通过图像处理检 测息肉等具有隆起形状的病变部位的结构，但不限于此，例如也可以具 有以下结构，即，内窥镜6的操作者根据检测到病变部位的定时按下未 图示的病变检测按钮等，由此对CPU31进行指示，使其识别该病变部位 的存在。
并且，本发明不限于上述实施方式，当然可以在不脱离本发明宗旨 的范围内进行各种变形和应用。
权利要求
1.一种内窥镜图像处理装置，其特征在于，该内窥镜图像处理装置具有图像获取部，其获取与在插入被检体内的内窥镜中伴随时间经过而拍摄的被摄体的像对应的图像；病变部位检测部，其每当获取所述图像时检测所述图像内的病变部位；显示所述图像的显示部；以及图像显示控制部，其根据所述病变部位检测部的检测结果，对所述图像获取部获取的图像中、至少包括被所述病变部位检测部检测到病变部位的图像即病变部位图像的多幅图像的显示状态进行控制。
2. 根据权利要求l所述的内窥镜图像处理装置，其特征在于，所述 图像显示控制部进行以下控制使所述显示部显示在所述图像获取部获取所述病变部位图像的定时前后的预定期间的图像。
3. 根据权利要求l所述的内窥镜图像处理装置，其特征在于，所述图像显示控制部进行以下控制使所述图像获取部获取的由从所述内窥 镜的插入开始时的图像到插入结束时的图像的多幅图像构成的、按照时 间顺序的一系列图像中的所述病变部位图像作为静态图像来进行显示， 并把所述病变部位图像以外的图像作为动态图像来进行再现。
4. 根据权利要求3所述的内窥镜图像处理装置，其特征在于，所述图像显示控制部进行以下控制以比所述内窥镜的拍摄速度更快的速度 把所述病变部位图像以外的图像作为动态图像来进行再现。
5. 根据权利要求l所述的内窥镜图像处理装置，其特征在于，所述图像显示控制部进行以下控制使所述图像获取部获取的由从所述内窥 镜的插入结束时的图像到插入开始时的图像的多幅图像构成的、按照时 间逆序的一系列图像中的所述病变部位图像作为静态图像来进行显示， 并把所述病变部位图像以外的图像作为动态图像来进行逆向再现。
6. 根据权利要求5所述的内窥镜图像处理装置，其特征在于，所述图像显示控制部进行以下控制以比所述内窥镜的拍摄速度更快的速度 把所述病变部位图像以外的图像作为动态图像来进行逆向再现。
7.根据权利要求l所述的内窥镜图像处理装置，其特征在于，所述 图像显示控制部进行以下控制把所述图像获取部获取的由从所述内窥 镜的插入开始时的图像到插入结束时的图像的多幅图像构成的一系列图 像中的所述病变部位图像、和在时间上位于所述病变部位图像之前和/或 之后的预定幅数的图像，作为动态图像来进行再现。
8.根据权利要求1所述的内窥镜图像处理装置，其特征在于，所 述图像显示控制部进行以下控制把所述图像获取部获取的由从所述内 窥镜的插入开始时的图像到插入结束时的图像的多幅图像构成的一系列 图像中的所述病变部位图像、和在时间上位于所述病变部位图像之前和/ 或之后的预定幅数的图像，作为动态图像来进行逆向再现。
9. 根据权利要求1 8中任一项所述的内窥镜图像处理装置，其特 征在于，该内窥镜图像处理装置还具有插入状态信息获取部，该插入状 态信息获取部从内窥镜插入状态检测装置获取表示插入所述被检体内的 内窥镜的插入状态的插入状态数据，并把所述图像获取部获取所述病变 部位图像的定时的该插入状态数据所对应的所述内窥镜的插入状态的相 关信息，与所述病变部位图像一并输出到所述显示部。
10. 根据权利要求9所述的内窥镜图像处理装置，其特征在于，所 述内窥镜的插入状态的相关信息包括所述内窥镜的插入长度、所述内窥 镜插入后的经过时间和所述内窥镜的插入形状中的至少一个。
全文摘要
本发明提供一种与以往相比可以提高使用内窥镜的观察效率的内窥镜图像处理装置。本发明的内窥镜图像处理装置的特征在于，具有图像获取部，其获取与在插入被检体内的内窥镜中伴随时间经过而拍摄的被摄体的像对应的图像；病变部位检测部，其每当获取所述图像时检测所述图像内的病变部位；显示所述图像的显示部；图像显示控制部，其根据所述病变部位检测部的检测结果，对所述图像获取部获取的图像中至少包括被所述病变部位检测部检测到病变部位的图像即病变部位图像的多幅图像的显示状态进行控制。
文档编号G06T1/00GK101317749SQ200810108920
公开日2008年12月10日 申请日期2008年6月6日 优先权日2007年6月6日
发明者西村博一 申请人:奥林巴斯医疗株式会社