专利名称：图像处理装置、图像处理程序以及图像处理方法
技术领域：
本发明涉及一种显示图像的图像处理装置、图像处理程序以及图像处理方法。
背景技术：
近年来，作为对生物体内进行摄影的手段，提出了一种从作为被检体的患者的口
中吞服而被导入到被检体内部的吞服型的胶囊型内窥镜。在从患者的口中吞服胶囊型内窥
镜直到自然排出为止的期间，该胶囊型内窥镜拍摄数万张例如食道、胃、小肠、大肠等生物
体内图像。医生或护士等观察图像来进行诊断的人(下面称为诊察者)将所拍摄的生物体
内图像取入到具备图像显示功能的图像处理装置来进行生物体内图像的观察。 例如在以往，已知一种根据操作人员等的指示来按时间序列顺序地依次显示生物
体内图像的图像处理装置(参照专利文献1)。诊察者对依次显示于该图像处理装置的生物
体内图像进行观察，在出现了诊察被检体所需的图像的情况下，对操作人员进行指示，操作
人员关注诊察者进行指示时的图像的再现时间，使与所关注的再现时间对应的图像的显示
停止。然后，诊察者注视显示停止的图像来进行观察。 专利文献1 :日本特开2006-330376号公报 专利文献2 :日本特开2006-280792号公报 专利文献3 :日本特开2006-288879号公报 非专利文献1 :CG-ARTS協会、亍"< -夕^画像処理、P202、2004年7月22日
非专利文献2 :CG-ARTS協会、亍"< -夕^画像処理、P181、2004年7月22日
发明内容
制脾船迪、nl题 在以往的图像处理装置中，诊察者等观察者对想要注视的图像，即与所期望的特征信息对应的图像进行视觉识别来对操作人员进行指示，到操作人员确认再现时间并使图像停止为止产生时间差，为了再次显示与所期望的特征信息对应的图像需要倒回图像等操作。另外，在存在操作人员的情况下，以往的图像处理装置有效，但是在诊察者一个人进行操作的情况下，难以在视觉识别与所期望的特征信息对应的图像的同时确认与该图像对应的再现时间。 并且，在以往的图像处理装置中，诊察者等观察者实际上对依次显示的生物体内图像等图像进行视觉识别，来判断各图像是否是具有所期望的特征信息的图像，而没有提出过如下图像处理装置支持各图像是否是与所期望的特征信息对应的图像的判断，并高效率地显示与所期望的特征信息对应的图像。 本发明是鉴于上述问题而完成的，其目的在于提供一种图像处理装置、图像处理程序以及图像处理方法，能够在观察者的指示下跳过一系列图像中的与所期望的特征信息对应的图像以外的图像的显示，并能够高效率地显示与所期望的特征信息对应的图像。
肝碰l、口扁勺錄
为了解决上述问题并达到目的，本发明所涉及的图像处理装置的特征在于，具备 图像存储单元，其存储图像；图像显示单元，其依次显示各图像；特征信息存储单元，其存 储各图像的特征信息；特征信息显示单元，其显示上述特征信息；跳过指标接收单元，其接 收跳过指标，该跳过指标由上述各图像的特征信息之间的关系决定，是跳过上述图像在上 述图像显示单元中的显示的指标；跳过指示接收单元，其接收跳过要显示于上述图像显示 单元的图像的指示；以及图像显示控制单元，其进行如下的控制在上述跳过指示接收单 元接收到跳过图像的指示的情况下，基于上述跳过指标，根据上述特征信息跳过要显示于 上述图像显示单元的图像。 另外，本发明所涉及的图像处理程序用于从存储图像的存储部读出各图像并依次 显示于显示部，该图像处理程序的特征在于，使计算机执行以下过程特征信息存储过程， 将上述图像存储单元所存储的各图像的特征信息存储到特征信息存储单元；特征信息显示 过程，显示上述特征信息；跳过指标接收过程，接收跳过指标，该跳过指标由上述各图像的 特征信息之间的关系决定，是跳过上述图像在上述图像显示单元中的显示的指标；跳过指 示接收过程，接收跳过要显示于上述图像显示单元的图像的指示；以及图像显示控制过程， 进行如下的控制在上述跳过指示接收单元接收到跳过图像的指示的情况下，基于上述跳 过指标，根据上述特征信息来跳过要显示于上述图像显示单元的图像。 另外，本发明所涉及的图像处理方法用于从存储图像的图像存储单元读出各图像
并依次显示于图像显示单元，该图像处理方法的特征在于，包括以下步骤特征信息存储步
骤，将上述图像存储单元所存储的各图像的特征信息存储到特征信息存储单元；特征信息
显示步骤，显示上述特征信息；跳过指标接收步骤，接收跳过指标，该跳过指标由上述各图
像的特征信息之间的关系决定，是跳过图像在上述图像显示单元中的显示的指标；跳过指
示接收步骤，接收跳过要显示于上述图像显示单元的图像的指示；以及图像显示控制步骤，
进行如下的控制在上述跳过指示接收单元接收到跳过图像的指示的情况下，基于上述跳
过指标，根据上述特征信息来跳过要显示于上述图像显示单元的图像。 发明的效果 根据本发明所涉及的图像处理装置，基于由图像的特征信息之间的关系决定的跳 过指标，在接收了观察者的跳过指示时，根据图像的特征信息跳过图像的显示，因此对于一 系列图像中的根据图像以及特征信息判断为观察者不需要观察的图像区间，能够跳过与所 期望的特征信息对应的图像以外的图像的显示，同时能够可靠地观察与所期望的特征信息 对应的图像。
图1是表示本发明的实施方式1所涉及的被检体内信息获取系统的概要结构的 图。 图2是表示本发明的实施方式1所涉及的图像处理装置的结构的框图。
图3是表示图2所示的显示部的显示画面的一例的图。
图4是图3所示的特征信息曲线图显示部的放大图。 图5是表示图2所示的图像处理装置所进行的一系列生物体内图像的显示处理的 过程的流程图。
5
图6是表示本发明的实施方式2所涉及的图像处理装置的结构的框图。
图7是表示图6所示的显示部的显示画面的一例的图。
图8是图7所示的特征信息曲线图显示部的放大图。 图9是表示图6所示的图像处理装置所进行的一系列生物体内图像的显示处理的
过程的流程图。 附图标记说明 1 :被检体；2 :胶囊型内窥镜；3 :接收装置；4 :记录介质；5、6 :图像处理装置；10、 20 :控制部;11 :卡接口 (I/F) ;12、22 :存储部;13、23 :显示部;14、24 :输入部;101、201 : 特征信息算出部；102 :图像类似度算出部；103 :对象外组织存在比例算出部；111、2H :显 示控制部；112、212 :图像显示控制部；113、213 :特征信息显示控制部；121 :图像信息存 储部；122、222 :特征信息存储部；123 :图像类似度存储部；124 :对象外组织存在比例存储 部；131 :图像显示部；132、232 :特征信息显示部；141、241 :跳过指标接收部；142 :跳过指 示接收部；203 :病变存在概率算出部；224 :病变存在概率存储部；W1、 W2 :诊断窗口 ；F 1 : 图像显示部；F2 :图像ID信息显示部；F3 :顺序播放按钮；F4 :逆序播放按钮；F5 :顺序跳 过按钮；F6 :逆序跳过按钮；F7、 F15 :特征信息曲线图显示部；F8 :图像类似度变化线；F9 : 对象外组织存在比例变化线；FIO :图像类似度跳过指标；Fll :再现位置；F12 :顺序跳过位 置；F13 :逆序跳过位置；F14 :图像类似度跳过指标(变更前)；F16 :病变存在概率变化线； F17 :病变存在概率跳过指标。
具体实施例方式
下面，参照附图来说明本发明所涉及的图像处理装置、图像处理程序以及图像处 理方法的较佳实施方式。此外，本发明不限定于该实施方式。
(实施方式l) 图1是例示具有本发明的实施方式1所涉及的图像处理装置的被检体内信息获取 系统的结构的示意图。如图l所示，本被检体内信息获取系统由如下部件等构成胶囊型内 窥镜2，其拍摄被检体1内部的生物体内图像；接收装置3，其接收从胶囊型内窥镜2无线发 送的生物体内图像的图像信息；以及图像处理装置5，其基于由接收装置3接收到的图像信 息对由胶囊型内窥镜2拍摄的生物体内图像进行处理。使用记录介质4来进行接收装置3 与图像处理装置5之间的图像信息的传送。 胶囊型内窥镜2被导入到被检体1的内部，具有沿时间序列依次拍摄被检体1内 的图像的摄像功能和将包含所拍摄的图像的无线信号发送到外部的无线通信功能。由被检 体1吞服胶囊型内窥镜2，该胶囊型内窥镜2通过胃肠管的蠕动在生物体内前进，同时以规 定间隔、例如以0. 5秒为间隔顺次拍摄被检体1内的图像，通过规定的电波将上述被检体1 内的图像顺次发送给接收装置3。 接收装置3将所接收到的图像以及拍摄时间等信息作为图像信息顺次记录到记 录介质4中，其中，上述拍摄时间表示胶囊型内窥镜2被导入到被检体1内之后直到拍摄到 各图像为止的时间。利用Compact Flash(注册商标)等可携带的记录介质来实现记录介 质4。记录介质4对接收装置3和图像处理装置5可安装拆卸，具有对两者插入安装时能够 输出信息以及记录信息的结构。
6
图像处理装置5具有以下的图像显示功能取入由接收装置3记录到记录介质4 的图像信息，按每个规定显示时间逐一依次显示(下面记为"再现")被检体1的生物体内 图像。诊察者使图像处理装置5再现显示生物体内图像来观察(检查)被检体l内的生物 体内、例如食道、胃、小肠以及大肠等。图像处理装置5具有工作站那样的结构，具体地说， 如图2所示，具备控制部10、卡接口 (I/F) 11、存储部12、显示部13以及输入部14。
利用CPU等实现控制部10，控制由图像处理装置5的各结构部进行的各种处理，并 且控制各结构部之间的信息的输入输出。控制部10具备对图像信息进行处理来算出各图 像的特征信息的特征信息算出部101以及控制显示部13中的显示处理的显示控制部111。
特征信息算出部101具备图像类似度算出部102和对象外组织存在比例算出部 103，算出各图像的图像类似度和对象外组织存在比例作为特征信息。图像类似度算出部 102算出图像类似度，该图像类似度表示一系列生物体内图像中的规定的图像之间例如在 时间序列上连续的图像之间的图像的类似度。另外，对象外组织存在比例算出部103算出 对象外组织存在比例，该对象外组织存在比例表示作为器官组织的粘膜表面、绒毛以外的 组织例如粪便、泡沫等在图像区域上占据的比例，其中，上述器官组织是诊察者的观察对 象。此外，控制部10也可以通过卡I/F 11或输入部14获取由诊察者或另外的图像处理装 置算出的特征信息。在这种情况下，不需要特征信息算出部101。 显示控制部111进行各种信息的显示控制，并且根据跳过指标决定要跳过显示的 图像，即跳过对象图像。此外，跳过图像的显示意味着在按时间序列的顺序或时间序列的逆 序显示一系列生物体内图像的过程中，通过不显示规定的图像或者以高速显示规定的图像 来跳过规定的图像地进行显示。另外，显示控制部111具备图像显示控制部112和特征信 息显示控制部113。在存在再现指示的输入的情况下，图像显示控制部112将一系列生物体 内图像再现显示于显示部13，并且在存在跳过图像的显示的指示，即跳过指示的输入的情 况下，图像显示控制部112进行控制来将跳过对象图像的显示跳过，该跳过对象图像是由 显示控制部111基于跳过指标而决定。另外，特征信息显示控制部113进行控制来将特征 信息显示于显示部13。 记录介质4可安装和拆卸地插入安装于卡I/F 11，该卡I/F 11读出记录介质4所 存储的图像信息以及图像ID信息，并且将这些信息传输给控制部IO。另外，卡I/F 11将由 控制部10指示写入的信息，例如图像ID信息等写入到记录介质4。此外，作为图像ID信 息，例如列举出被检体1的姓名、性别、出生年月日以及图像ID等。 利用RAM、 EEPROM或者硬盘等能够存储和读出信息的信息记录介质来实现存储部 12，保存由控制部10指示写入的信息，并将由控制部10指示读出的信息输入到控制部10。 存储部12具有图像信息存储部121，其将一系列生物体内图像的图像信息与对应于一系 列生物体内图像的图像ID信息一起进行存储；以及特征信息存储部122，其存储图像信息 存储部121所存储的各图像的特征信息。此外，特征信息存储部122具备存储各图像的图 像类似度的图像类似度存储部123以及存储各图像的对象外组织存在比例的对象外组织 存在比例存储部124。 利用CRT显示器或液晶显示器等各种显示器来实现显示部13，显示由显示控制部 lll指示显示的各种信息。显示部13特别具备显示生物体内图像的图像显示部131以及显 示特征信息的特征信息显示部132，来显示观察/诊断被检体1的生物体内所需的各种信息。 利用键盘和鼠标等来实现输入部14，通过诊察者的输入操作来将各种信息输入到 控制部10。另外，输入部14通过显示于显示部13的GUI (Graphical User Interface :图形 用户界面)输入各种信息。此外，输入部14具备跳过指标接收部141，其接收作为决定跳 过图像的指标的跳过指标的输入；以及跳过指示接收部142，其接收对图像显示控制部112 的跳过指示的输入。 具有以上各部的图像处理装置所具备的CPU从存储部12读出并执行用于实现本 实施方式的图像处理装置所进行的处理的图像处理程序。还能够将该图像处理程序记录到 软盘、CD-R0M、 DVD-R0M、闪存等计算机能够读取的记录介质中来广泛流通。因而，本实施方 式所涉及的图像处理装置也可以具备能够读取上述各种记录介质中的任一个的辅助存储 装置。 接着，参照图3说明显示部13的显示画面的具体例。图3是表示作为显示画面的 一例的诊断窗口 Wl的图。诊断窗口 Wl具备再现显示生物体内图像的图像显示部F1、显示 图像ID信息的图像ID信息显示部F2、顺序播放按钮F3和逆序播放按钮F4、顺序跳过按钮 F5和逆序跳过按钮F6以及特征信息曲线图显示部F7。此外，图像显示部F 1表示图像显 示部131的具体方式，特征信息曲线图显示部F7表示特征信息显示部132的具体方式。
诊断窗口 Wl是GUI画面，诊察者通过使用输入部14的未图示的鼠标点击顺序播 放按钮F3或逆序播放按钮F4进行选择，来将一系列生物体内图像的再现指示输入到显示 控制部111。此外，在选择了顺序播放按钮F3的情况下，图像显示控制部112按拍摄各图像 的时间序列的顺序，按每个规定显示时间逐一地显示各图像，在选择了逆序播放按钮F4的 情况下，图像显示控制部112按拍摄各图像的时间序列的相反顺序再现显示各图像。另外， 在对图像进行再现显示的期间，所选择的按钮变化为未图示的再现停止按钮。诊察者通过 选择该再现停止按钮来将再现停止指示输入到显示控制部111。 并且，诊察者能够通过选择顺序跳过按钮F5或逆序跳过按钮F6来跳过规定的图 像的显示。顺序跳过按钮F5或逆序跳过按钮F6以及未图示的鼠标表示跳过指示接收部142 的具体方式。此外，在选择了顺序跳过按钮F5的情况下，图像显示控制部112基于跳过指 标，沿拍摄的时间序列方向跳过图像的显示，该图像为从图像显示部F1所显示的图像起到 由跳过对象排除的图像为止的图像。另外，在选择了逆序跳过按钮F6的情况下，图像显示 控制部112沿拍摄的时间序列的逆序方向跳过图像的显示，该图像为从图像显示部F l所 显示的图像起到由跳过对象排除的图像为止的图像。 在特征信息曲线图显示部F7中，基于特征信息显示控制部113的控制，显示按时 间序列从整个一系列生物体内图像中确定各图像的信息与各图像的特征信息之间的关系 的曲线图。例如，如图4所示，在特征信息曲线图显示部F7中，取拍摄时间为横轴，取各图 像的图像类似度和对象外组织存在比例为纵轴，来显示图像类似度变化线F8和对象外组 织存在比例变化线F9，其中，上述图像类似度变化线F 8表示拍摄时间与图像类似度之间 的关系，上述对象外组织存在比例变化线F9表示拍摄时间与对象外组织存在比例之间的 关系。 此外，按时间序列确定各图像的信息不限定于拍摄时间，例如也可以是再现时间 或者图像编号等，上述再现时间表示在再现显示一系列生物体内图像时从再现开始到显示各图像为止的时间，上述图像编号为按拍摄顺序对各图像附加的编号。 另外，在特征信息曲线图显示部F7中，图像类似度跳过指标F10作为跳过指标被 显示为与横轴平行的轴。显示控制部111将图像类似度高于图像类似度跳过指标FIO的图 像决定为跳过对象图像。例如，在图像类似度在时间序列上连续较高的位置，连续显示图像 内容类似的图像。在这种情况下，诊察者只要观察图像类似度较高的图像中的一部分就能 够掌握这些图像中所拍摄的生物体内的状态，因此能够跳过图像类似度较高的其它图像的 显示。 其中，图像类似度发生变化的主要原因不仅仅是所拍摄的生物体内位置的变化、 病变组织的出现，还列举出非观察对象的组织的出现、胶囊型内窥镜2的微妙的位置变化 或器官组织的变形等。例如，在拍摄时刻^图像类似度急剧下降，而同时对象外组织存在比 例上升。因此，诊察者能够判断为图像类似度急剧下降的主要原因是拍摄到对象外组织，而 不是所拍摄的生物体内位置发生变化等。因而，诊察者在判断为不需要观察与拍摄时间^ 对应的图像的情况下，能够通过将图像类似度跳过指标F10设定为低于与拍摄时间^对应 的图像类似度来跳过该图像的显示。 作为具体操作，诊察者通过使用未图示的鼠标等例如向纵轴下方向拖动图像类似 度跳过指标F14，在图像类似度跳过指标10的位置释放，来将图像类似度跳过指标设定为 低于与拍摄时间^对应的图像的图像类似度。图像类似度跳过指标FIO和未图示的鼠标 等表示跳过指标接收部141的具体方式。这样，诊察者对当前显示于图像显示部F1的图像 与各图像的特征信息进行比较，设定图像类似度跳过指标来决定跳过显示的图像，其中，上 述图像类似度跳过指标是设为跳过对象的图像的图像类似度的阈值。 此外，特征信息曲线图显示部F7上的再现位置Fll是平行于纵轴的轴，在作为横 轴的拍摄时间轴上移动，是表示与当前显示于图像显示部F1的图像对应的拍摄时间的标 识。特征信息显示控制部113进行控制来根据当前显示于图像显示部F1的图像使再现位 置F11移动。 另外，顺序跳过位置F12是表示在当前时刻选择了顺序跳过按钮F5的情况下，与 接着当前所显示的图像显示于图像显示部F1的图像即跳过目的地图像对应的拍摄时间的 标识。如图4所示，从再现位置F11起在拍摄的时间序列的顺序方向，图像类似度第一次为 图像类似度跳过指标FIO以下的图像是与顺序跳过位置F12对应的图像。另一方面，逆序 跳过位置F13是表示在当前时刻选择了逆序跳过按钮F6的情况下与跳过目的地图像对应 的拍摄时间的标识。如图4所示，从再现位置F11起在拍摄的时间序列的逆序方向，图像类 似度第一次为图像类似度跳过指标FIO以下的图像是与逆序跳过位置F13对应的图像。顺 序跳过位置F12和逆序跳过位置F13与再现位置Fll同样地是平行于纵轴的轴，基于特征 信息显示控制部113的控制在拍摄时间轴方向上进行移动。 接着，参照图5，说明在显示由胶囊型内窥镜2拍摄的一系列生物体内图像时由控 制部10的各部进行的处理过程。首先，控制部10获取一系列生物体内图像的图像信息，存 储到图像信息存储部121 (步骤S101)。接着，由图像类似度算出部102算出各图像的图像 类似度，并且由对象外组织存在比例算出部103算出各图像的对象外组织存在比例，存储 到特征信息存储部122的各部(步骤S102)。之后，显示控制部111获取一系列生物体内 图像的图像信息、图像类似度以及对象外组织存在比例等，将它们显示于显示部13的各部(步骤S103)。此时，图像显示控制部112将一系列生物体内图像中的例如最初拍摄的图像显示于图像显示部Fl，特征信息显示控制部113显示与图像显示部Fl所显示的图像对应的再现位置Fll。另外，显示控制部111将图像ID信息与图像等一起显示于显示部13。此外，在该时刻，诊察者能够掌握一系列生物体内图像的特征信息的变化的推移。
之后，显示控制部111将在时间序列上接着当前所显示的图像的下一个图像类似度为图像类似度跳过指标以下的图像决定为跳过目的地图像(步骤S104)。此外，显示控制部111使用诊察者所设定的图像类似度跳过指标或者显示控制部自动设定的图像类似度跳过指标来决定跳过目的地图像。接着，特征信息显示控制部113显示与跳过目的地图像对应的顺序跳过位置F12和逆序跳过位置F13 (步骤S105)。 之后，显示控制部111判断是否存在跳过指示的输入(步骤S106)。在存在跳过指示的输入的情况下(步骤S106 :"是")，图像显示控制部112将跳过目的地图像显示于图象显示部F1，进入步骤S110的处理(步骤S107)。另一方面，在不存在跳过指示的输入的情况下(步骤S106:"否")，显示控制部111判断是否存在一系列生物体内图像的再现指示的输入(步骤S108)。在存在再现指示的输入的情况下(步骤S108 :"是")，图像显示控制部112将当前显示于图象显示部F1的图像的时间序列上的下一个图像显示于图象显示部Fl (步骤S109)。之后，特征信息显示控制部113显示与图象显示部Fl所显示的图像对应的再现位置Fll(步骤SllO)。此外，在不存在再现指示的输入的情况下(步骤S108:"否")，显示控制部111不对图像和再现位置进行更新而进入步骤Slll的处理。
显示控制部111判断是否如接收了图像的显示结束指示的情况、或者再现位置Fll到达了再现的时间序列方向的端头的情况那样满足图像显示停止的条件(步骤Slll)。在未满足显示停止条件的期间，显示控制部111重复步骤S104 S110的处理(步骤Slll :"否")。另一方面，在判断为满足了显示停止条件的情况下，显示控制部lll停止图像的显示(步骤Slll :"是")。 此外，在步骤S102的处理中，图像类似度算出部102使用例如非专利文献1所记载的归一化互相关法来算出连续拍摄的两个图像之间的图像类似度。在-1以上1以下的范围内算出图像类似度，将两个图像完全一致的情况下的图像类似度设为最大值1。此外，图像类似度的算出方法不限于归一化互相关法，例如也可以是专利文献2所记载的使用了运动矢量的算出方法等。 并且，在步骤S102的处理中，对象外组织存在比例算出部103例如如专利文献3所记载的那样，将各图像的图像区域分割成规定数量，算出每个区域的由色调信息和纹理信息组成的多个特征量，使用该特征量确定各区域中所拍摄的组织，从而算出各图像的对象外组织存在比例。 另外，在步骤S103 S111的处理中，显示控制部lll在再现显示图像的过程中和停止显示的过程中都随时通过输入部14从顺序播放按钮F3和逆序播放按钮F4、顺序跳过按钮F5和逆序跳过按钮F6接收各个指示。另外，显示控制部111在步骤S103 S111的处理中也随时接收图像类似度跳过指标FIO的变更。 这样，在本实施方式一中，诊察者能够在掌握当前所显示的图像和各图像的图像类似度以及对象外组织存在比例的同时随时设定跳过指标，从而在掌握当前时刻输入了跳过指示的情况下成为跳过目的地图像和成为跳过对象的图像的基础上输入跳过指示。因装置5，诊察者能够确认图像与特征信息的对应来跳过与所期望的特征信息对应的图像以外的图像的显示，同时使与所期望的特征信息对应的图像进行显示。另外，根据图像处理装置5，由于跳过与所期望的特征信息对应的图像以外的图像的显示，因此能够縮短一系列生物体内图像的观察时间，并且，由于可靠地显示与所期望的特征信息对应的图像，因此能够减轻图像的倒回和复查等工作负担。 此外，在本实施方式一中，在存在跳过指示的输入的情况下，设为将跳过对象图像跳过来显示跳过目的地图像，但是也可以从在再现的时间序列上在跳过目的地图像的规定张数之前的图像起再现显示图像。在这种情况下，在进行跳过指示之后，不会突然显示跳过目的地图像，因此能够防止漏看与所期望的特征信息对应的图像。 另外，在本实施方式一中，也可以在存在跳过指示的输入的情况下，使图像显示部131高速地依次显示跳过对象图像，其中，上述跳过对象图像是从在输入跳过指示的时刻进行当前显示的图像到跳过目的地图像之间的一系列图像。在这种情况下，诊察者能够确认在跳过对象图像中是否不存在与所期望的特征信息对应的图像，因此能够在縮短生物体内图像的观察时间的同时防止漏看诊察所需的图像。 另外，特征信息不限定于图像类似度和对象外组织存在比例，并且也可以仅是图像类似度和对象外组织存在比例中的任一个。在仅使用对象外组织存在比例作为特征信息的情况下，将成为跳过对象的图像的对象外组织存在比例的阈值设定为跳过指标。在这种情况下，对象外组织存在比例高于该阈值的图像为跳过对象图像。这是由于对象外组织存在比例较高的图像是非观察对象的组织在图像区域上占据的比例较大而难以观察到观察对象的组织的图像。诊察者对当前显示的图像与各图像的对象外组织存在比例进行比较，判断将拍摄到哪种程度的对象外组织的图像设为跳过对象图像并设定跳过指标。
(实施方式二 ) 另外，在实施方式一中，将图像类似度和对象外组织存在比例作为一系列生物体内图像的特征信息进行显示，根据图像类似度跳过指标决定成为跳过对象的图像，但是在本实施方式二中，将图像类似度和病变存在概率作为特征信息进行显示，除了使用图像类似度跳过指标以外，还使用病变存在概率跳过指标来决定成为跳过对象的图像，该病变存在概率跳过指标是基于病变存在概率来决定跳过对象图像的指标。 在实施方式二中，具备图像处理装置6以代替实施方式一所示的被检体内信息获取系统中的图像处理装置5(未图示)。图6是表示图像处理装置6的结构的框图。如图6所示，图像处理装置6具备控制部20、存储部22、显示部23以及输入部24以代替图像处理装置5所具备的控制部10、存储部12、显示部13以及输入部14。此外，图像处理装置6的其它结构与图像处理装置5相同，对同一结构部分附加同一附图标记。
控制部20具备特征信息算出部201和显示控制部211。特征信息算出部201除了具备图像类似度算出部102以外，还具备病变存在概率算出部203。病变存在概率算出部203算出各图像中存在病变区域的概率即病变存在概率。另外，显示控制部211进行各种信息的显示控制，并且基于跳过指标决定跳过对象图像。此外，显示控制部211具备图像显示控制部212和特征信息显示控制部213。在存在图像的再现指示的输入的情况下，图像显示控制部212进行控制来再现显示一系列生物体内图像，并且在存在跳过指示的输入的情况下，进行控制来将跳过对象图像的显示跳过。特征信息显示控制部213进行控制来显
11示作为特征信息的图像类似度和病变存在概率等。 存储部22除了具备图像信息存储部121以外，还具备特征信息存储部222，该特征信息存储部222具有图像类似度存储部123以及存储各图像的病变存在概率的病变存在概率存储部224。显示部23除了具备图象显示部131以外，还具备显示图像类似度和病变存在概率等的特征信息显示部232。并且，输入部24除了具备跳过指示接收部142以外，还具备接收图像类似度跳过指标和病变存在概率跳过指标的跳过指标接收部241。
图7是表示显示部23的显示画面的一例的图。如图7所示，诊断窗口 W2显示特征信息曲线图显示部F15以代替诊断窗口 W1所显示的特征信息曲线图显示部F7。特征信息曲线图显示部F15表示特征信息显示部232的具体方式。此外，诊断窗口 W2所显示的其它结构与诊断窗口 Wl相同，对同一结构附加同一附图标记。 如图8所示，在特征信息曲线图显示部F15中显示病变存在概率变化线F16以代替对象外组织存在比例变化线F9，并且显示病变存在概率跳过指标F17。其它结构与特征信息曲线图显示部F7相同，对同一结构附加同一附图标记。 不论图像类似度的大小如何，拍摄到病变区域的概率较高的图像是诊察者所期望观察的图像。因而，诊察者在参照病变存在概率变化线F16而掌握一系列生物体内图像的各图像的病变存在概率的基础上，判断将病变存在概率高到哪种程度的图像从跳过对象中排除。即，诊察者将病变存在概率跳过指标设定为作为跳过对象的图像的病变存在概率的阈值。 作为具体操作，与图像类似度跳过指标的输入同样地，诊察者使用输入部24的鼠标(未图示)在纵轴方向上拖动显示为与横轴平行的轴的病变存在概率跳过指标F17，通过在表示所期望的病变存在概率的位置释放病变存在概率跳过指标F17，来将病变存在概率跳过指标输入到显示控制部211。此外，图像类似度跳过指标F10、病变存在概率跳过指标F17以及未图示的鼠标表示跳过指标接收部241的具体方式。 显示控制部211将图像类似度高于图像类似度跳过指标F10，并且病变存在概率低于病变存在概率跳过指标F17的图像设为跳过对象的图像。换言之，显示控制部211根据
图像类似度和病变存在概率中的任一个，将被跳过对象排除的图像设为跳过目的地图像。
例如，如图8所示，关于与顺序跳过位置F12对应的图像，从再现位置Fll起在拍摄的时间序列的顺序方向，病变存在概率第一次为病变存在概率跳过指标F17以上，因此是成为跳过目的地图像的图像。在这种情况下，在再现位置Fll与顺序跳过位置F12之间不存在图像类似度为图像类似度跳过指标FIO以下的图像。另一方面，关于与逆序跳过位置F13对应的图像，从再现位置F11起在拍摄的时间序列的逆序方向，图像类似度第一次为图像类似度跳过指标FIO以下，因此是成为跳过目的地图像的图像。在这种情况下，在再现位置Fll与逆序跳过位置F13之间不存在病变存在概率为病变存在概率跳过指标F17以上的图像。 接着，参照图9，说明在显示由胶囊型内窥镜2拍摄的一系列生物体内图像时由控制部20的各部进行的处理过程。首先，与实施方式一同样地，控制部20获取一系列生物体内图像，存储到图像信息存储部121 (步骤S201)。接着，由图像类似度算出部102算出各图像的图像类似度，并且由病变存在概率算出部203算出各图像的病变存在概率，存储到特征信息存储部222的各部(步骤S202)。之后，显示控制部211获取一系列生物体内图像的图像信息、图像类似度以及病变存在概率等，并将它们显示于显示部23的各部(步骤S203)。此时，图像显示控制部212将一系列生物体内图像中的例如最初拍摄的图像显示于图像显示部F1，特征信息显示控制部213显示与图像显示部F1所显示的图像对应的再现位置Fll。另外，显示控制部211将图像ID信息与图像等一起显示于显示部23。此外，在该时刻，诊察者能够掌握一系列生物体内图像的特征信息的变化的推移。
之后，显示控制部211将在时间序列上接着当前所显示的图像的下一个图像类似度为图像类似度跳过指标以下的图像决定为跳过目的地图像候补(步骤S204)。接着，显示控制部211将在时间序列上接着当前所显示的图像的下一个病变存在概率为病变存在概率跳过指标以上的图像决定为跳过目的地图像候补(步骤S205)。之后，显示控制部211将跳过目的地图像候补中的、在拍摄的时间序列的顺序方向或逆序方向的各方向上在时间序列上较为接近于当前显示图像的图像决定为跳过目的地图像(步骤S206)。特征信息显示控制部213显示与跳过目的地图像对应的顺序跳过位置F12和逆序跳过位置F13 (步骤S207)。 之后，显示一系列生物体内图像的处理过程与实施方式一的处理过程的步骤S106 S111相同(步骤S208 S213)。即，在存在跳过指示的输入的情况下(步骤S208 :"是")，图像显示控制部212将跳过目的地图像显示于图象显示部Fl (步骤S209)。另外，在不存在跳过指示的输入(步骤S208 :"否")，并存在再现指示的输入的情况下(步骤S210 :"是")，图像显示控制部212将当前显示于图象显示部F 1的图像的时间序列上的下一个图像显示于图象显示部Fl (步骤S211)。接着，特征信息显示控制部213显示与图像显示部Fl所显示的图像对应的再现位置Fll (步骤S212)。在步骤S212之后，或者，在步骤S210中不存在再现指示的输入的情况下(步骤S210 :"否")，显示控制部211直到满足图像的显示停止条件为止重复步骤S204 S212的处理(步骤S213)。显示控制部211与显示控制部111同样地，在步骤S203 S213的处理中随时接收再现指示、跳过指示以及跳过指标的变更。 此外，在步骤S202中，病变存在概率算出部203通过以下的处理算出各图像的病变存在概率。首先，病变存在概率算出部203在进行步骤S202的处理之前预先获取拍摄病变和正常的体内器官组织而得到的图像的特征量。具体地说，病变存在概率算出部203按出血、粘膜褪色等每个病变种类获取从多个采样图像中抽取出的病变区域的特征量作为病变区域的教师数据。另外，病变存在概率算出部203获取从多个采样图像中抽取出的正常区域的特征量作为正常的体内器官组织区域(下面，记述为正常区域)的教师数据。在此，将特征量设为各图像区域内的像素的RGB值(下面，将RGB值合记为像素值)。并且，病变存在概率算出部203在病变区域的情况下将每个病变种类设为一组，并且在正常区域的情况下将像素值的分布较近的区域设为同一组，获取每组的平均像素值和像素值协方差。
之后，作为步骤S202的处理，病变存在概率算出部203将教师数据的各组特征量的分布设为正态分布，使用各组的平均像素值、像素值协方差以及下式(1)算出一系列生物体内图像的各图像的各像素属于各个组的概率。
[数l]
<formula>formula see original document page 14</formula>
此外，在式(1)中，k表示各组的编号，P k表示平均像素值，E k表示像素值协方差，x表示各像素的像素值，n表示维数，t表示转置。在使用x二 (RVal、GVal、BVal)的情况下，n = 3。 病变存在概率算出部203判断各像素属于各个组的概率p(klx)中的最高概率所属的组。病变存在概率算出部203对各图像中的设为属于病变组的像素进行非专利文献2所示的标示处理，对属于同一病变组的每个像素进行区域区分，制作病变区域。病变存在概率算出部203对各图像中的每个病变区域算出各像素属于该病变组的概率的平均值(下面，病变区域概率)。之后，病变存在概率算出部203将各图像中所存在的病变区域中的最高病变区域概率设为该图像的病变存在概率。此外，特征量不限于RGB值，也可以使用颜色比、形状特征量或者它们的组合。 这样，在本实施方式二中，诊察者除了掌握图像类似度以外还能够掌握病变存在
概率，并且能够设定图像类似度和病变存在概率的跳过指标。因而，根据图像处理装置6，诊
察者能够从图像类似度和病变存在概率两个方面决定跳过对象的图像，因此能够在跳过所
期望的图像以外的图像的显示的同时更可靠地显示所期望的图像来进行观察。 此外，在本实施方式二中，也与实施方式一同样地，在存在跳过指示的输入的情况
下，可以在再现的时间序列上从跳过目的地图像的规定张数之前的图像起再现显示图像，
或者也可以在高速地显示跳过对象图像之后显示跳过目的地图像。 另外，在本实施方式二中，设为将图像类似度和病变存在概率作为图像的特征信息进行显示并对其各自设定跳过指标，但是也可以仅将任一个作为图像的特征信息进行显示，仅设定与所显示的特征信息对应的跳过指标来决定跳过对象图像。 另外，在实施方式一、二中，显示了拍摄到作为观察对象区域的病变区域的概率，但是不限于此，作为其它例子，也可以显示拍摄到粘膜区域等作为观察者所关注的区域的观察对象区域的概率。
产业上的可利用性 如上所述，本发明所涉及的图像处理装置、图像处理程序以及图像处理方法适用于显示对生物体内进行摄影而得到的生物体内图像的情况。
权利要求
一种图像处理装置，其特征在于，具备图像存储单元，其存储图像；图像显示单元，其依次显示各图像；特征信息存储单元，其存储各图像的特征信息；特征信息显示单元，其显示上述特征信息；跳过指标接收单元，其接收跳过指标，该跳过指标由上述各图像的特征信息之间的关系决定，是跳过上述图像在上述图像显示单元中的显示的指标；跳过指示接收单元，其接收跳过要显示于上述图像显示单元的图像的指示；以及图像显示控制单元，其进行如下的控制在上述跳过指示接收单元接收到跳过图像的指示的情况下，基于上述跳过指标，根据上述特征信息来跳过要显示于上述图像显示单元的图像。
2. 根据权利要求l所述的图像处理装置，其特征在于， 上述跳过指标接收单元接收上述特征信息的阈值作为上述跳过指标， 上述特征信息显示单元显示上述跳过指标。
3. 根据权利要求1或2所述的图像处理装置，其特征在于，上述特征信息显示单元显示标识，该标识表示基于上述跳过指标而决定的跳过目的地 图像相对于整个一系列上述图像的在时间序列上的位置。
4. 根据权利要求1 3中的任一项所述的图像处理装置，其特征在于， 上述图像显示控制单元进行如下控制在接收了跳过图像显示的指示的情况下，使上述图像显示单元从时间序列上在上述跳过目的地图像之前的规定张数的图像起依次进行 显示。
5. 根据权利要求1 4中的任一项所述的图像处理装置，其特征在于，上述图像显示控制单元进行如下控制在接收了跳过图像显示的指示的情况下，使上 述图像显示单元高速地依次显示从在接收到该指示的时刻显示于上述图像显示单元的图 像起到跳过目的地图像为止的一系列上述图像。
6. 根据权利要求1 5中的任一项所述的图像处理装置，其特征在于，上述特征信息显示单元将如下信息中的至少一个作为上述特征信息进行显示上述图 像中的在时间序列上大致连续的图像的类似度；各图像中拍摄到观察对象区域的概率；在 各图像中观察对象以外的物体所占据的比例。
7. 根据权利要求1 6中的任一项所述的图像处理装置，其特征在于， 上述特征信息显示单元与再现时间、拍摄时间和图像编号中的至少一个相对应地显示上述特征信息，其中，上述再现时间是依次显示一系列上述图像时的时间，上述拍摄时间是 拍摄到各图像时的时间，上述图像编号是按拍摄顺序对各图像附加的编号。
8. 根据权利要求1 7中的任一项所述的图像处理装置，其特征在于， 上述特征信息显示单元显示标识，该标识表示当前显示于上述图像显示单元的图像相对于整个一系列上述图像在时间序列上的位置。
9. 根据权利要求6所述的图像处理装置，其特征在于， 上述观察对象区域是病变区域。
10. 根据权利要求1 9中的任一项所述的图像处理装置，其特征在于，上述图像是拍摄生物体内得到的生物体内图像。
11. 一种图像处理程序，用于从存储图像的存储部读出各图像并依次显示于显示部，该 图像处理程序的特征在于，使计算机执行以下过程特征信息存储过程，将上述图像存储单元所存储的各图像的特征信息存储到特征信息 存储单元；特征信息显示过程，显示上述特征信息；跳过指标接收过程，接收跳过指标，该跳过指标由上述各图像的特征信息之间的关系决定，是跳过上述图像在上述图像显示单元中的显示的指标；跳过指示接收过程，接收跳过要显示于上述图像显示单元的图像的指示；以及 图像显示控制过程，进行如下的控制在上述跳过指示接收单元接收到跳过图像的指示的情况下，基于上述跳过指标，根据上述特征信息来跳过要显示于上述图像显示单元的图像。
12. —种图像处理方法，用于从存储图像的图像存储单元读出各图像并依次显示于图 像显示单元，该图像处理方法的特征在于，包括以下步骤特征信息存储步骤，将上述图像存储单元所存储的各图像的特征信息存储到特征信息 存储单元；特征信息显示步骤，显示上述特征信息；跳过指标接收步骤，接收跳过指标，该跳过指标由上述各图像的特征信息之间的关系决定，是跳过上述图像在上述图像显示单元中的显示的指标；跳过指示接收步骤，接收跳过要显示于上述图像显示单元的图像的指示；以及 图像显示控制步骤，进行如下的控制在上述跳过指示接收单元接收到跳过图像的指示的情况下，基于上述跳过指标，根据上述特征信息来跳过要显示于上述图像显示单元的图像。
全文摘要
一种图像处理装置，具备图像信息存储部(121)，其存储图像；图像显示部(131)，其依次显示各图像；特征信息存储部(122)，其存储各图像的特征信息；特征信息显示部(132)，其显示特征信息；跳过指标接收部(141)，其接收跳过指标，该跳过指标是跳过图像在图像显示部(131)中的显示的指标；跳过指示接收部(142)，其接收跳过图像在图像显示部(131)中的显示的指示；以及图像显示控制部(112)，其进行如下的控制在接收到进行跳过的指示的情况下，基于跳过指标，根据上述特征信息跳过要显示于图像显示部(131)的图像。
文档编号A61B1/00GK101784224SQ200880104098
公开日2010年7月21日 申请日期2008年6月4日 优先权日2007年8月23日
发明者松田岳博 申请人:奥林巴斯株式会社