专利名称：图像处理装置、图像处理程序以及图像处理方法
技术领域：
本发明涉及一种依次显示多个图像、特别是拍摄胃肠管内得到的体腔内图像的图
像处理装置、图像处理程序以及图像处理方法。
背景技术：
近年来，在内窥镜的领域中，提出了一种从作为被检体的患者的口中吞服而被导入到被检体内部的吞服型的胶囊型内窥镜。在从患者的口中吞服胶囊型内窥镜直到自然排出为止的期间，该胶囊型内窥镜拍摄数万张例如食道、胃、小肠、大肠等体腔内图像。医生或护士等进行诊察/观察的人(下面称为诊察者)必须观察该庞大张数的体腔内图像。
因此为了降低诊察者的负担，以往开发了如下一种图像处理装置算出图像之间的运动矢量，使用该运动矢量判断图像之间的类似度，根据该类似度设定各图像的显示速率，由此縮短体腔内图像的浏览时间(参照专利文献1)。
专利文献1 :日本特开2006-280792号公报
专利文献2 :日本特开2005-192880号公报 非专利文献:CG-ARTS協会、亍"< -夕^画像処理、P202、2004年7月22日
发明内容
制脾船迪、nl题 但是，胶囊型内窥镜一边通过蠕动运动进行移动一边拍摄图像，因此诊察者无法预测一系列体腔内图像中的图像中拍摄内容变化较大的位置或基本没有发生变化的位置是怎样产生的，无法预测图像之间的类似度。因而，在以往的图像处理装置中，诊察者无法预测各图像的显示时间或显示速率，而必须配合各图像的显示时间等的变化来观察一系列体腔内图像。 本发明是鉴于上述而完成的，其目的在于提供一种在根据按每个图像设定的显示时间或显示速率依次显示一系列图像的情况下能够在显示各图像之前把握各图像的显示时间等的图像处理装置、图像处理程序以及图像处理方法。
肝碰l、口扁勺錄 为了解决上述问题并达到目的，本发明所涉及的图像处理装置的特征在于，具备图像存储单元，其存储一系列图像；显示时间信息存储单元，其存储各图像的显示时间信息；图像显示单元，其按照上述显示时间信息依次显示各图像；显示时间信息显示单元，其至少显示上述显示时间信息中的在时间序列上在上述图像显示单元所显示的图像之后进行显示的图像的上述显示时间信息；以及显示控制单元，其进行如下控制根据上述图像存储单元所存储的图像以及上述显示时间信息存储单元所存储的上述显示时间信息，将图像显示于上述图像显示单元，同时将上述显示时间信息显示于上述显示时间信息显示单元。 另外，本发明所涉及的图像处理程序的特征在于，使计算机执行以下过程存储过
4程，存储显示时间信息，该显示时间信息决定存储一系列图像的图像存储单元所存储的各图像的显示时间；以及显示控制过程，在显示控制过程中进行如下控制按照上述显示时间信息将上述图像存储单元所存储的各图像依次显示于图像显示单元，同时，根据上述显示时间信息存储单元所存储的上述显示时间信息，至少将上述显示时间信息中的在时间序列上在上述图像显示单元所显示的图像之后进行显示的图像的上述显示时间信息显示于显示时间信息显示单元。 另外，本发明所涉及的图像处理方法的特征在于，包括以下步骤存储步骤，存储
显示时间信息，该显示时间信息决定存储一系列图像的图像存储单元所存储的各图像的显
示时间；以及显示控制步骤，在显示控制步骤中进行如下控制按照上述显示时间信息将
上述图像存储单元所存储的各图像依次显示于图像显示单元，同时，根据上述显示时间信
息存储单元所存储的上述显示时间信息，至少将上述显示时间信息中的在时间序列上在上
述图像显示单元所显示的图像之后进行显示的图像的上述显示时间信息显示于显示时间
信息显示单元。 发明的效果 本发明所涉及的图像处理装置的显示控制单元使图像显示单元按照显示时间信息依次显示一系列图像，同时至少将在时间序列上在图像显示单元所显示的图像之后进行显示的图像的显示时间信息显示于显示时间信息显示单元，因此起到如下的效果诊察者在显示各图像之前把握各图像的显示时间等，从而能够配合显示时间的变化观察各图像，同时减少图像的漏看等，从而降低复查图像等的负担。
图1是表示本发明的实施方式1所涉及的被检体内信息获取系统的概要结构的图。 图2是表示本发明的实施方式1所涉及的图像处理装置的结构的框图。
图3是表示图2所示的显示部的显示画面的一例的图。 图4是表示图2所示的图像处理装置所进行的一系列体腔内图像的再现显示处理的过程的流程图。 图5是表示图2所示的显示部的显示画面的一例的图。 图6是表示本发明的实施方式2所涉及的图像处理装置的结构的框图。 图7是表示图6所示的显示部的显示画面的一例的图。 图8是表示图6所示的图像处理装置所进行的一系列体腔内图像的再现显示处理的过程的流程图。 图9是表示本发明的实施方式3所涉及的图像处理装置的结构的框图。
图10是表示图9所示的显示部的显示画面的一例的图。
附图标记说明 1 :被检体；2 :胶囊型内窥镜；3 :接收装置；4 :记录介质；5、6、7 :图像处理装置；10、20、30 :控制部;11 :输入部；12 :卡I/F ;13、23、33 :存储部；14、 24、 34 :显示部；110、210、310 :图像处理部;111 :显示时间信息算出部;120、220、320 :显示控制部;121、321 :图像显示控制部；122、322 :显示时间信息显示控制部；123 :显示范围切换部；131 :图像信息存储部；132 :显示时间信息存储部；141 :图像显示部；142、342 :显示时间信息显示部；212 :平均颜色算出部；213 :病变信息算出部；224 :颜色条显示控制部；225 :病变条显示控制部；233 :平均颜色存储部；234 :病变信息存储部；243 :颜色条显示部；244 :病变条显示部；312 :显示时间信息变更部；333 :变更存储部；W1 :诊察/诊断窗口 ；W2、 W3、 W4、 W5 :信息显示窗口 ；F1 :图像显示部；F2 :图像ID信息显示部；F3 :顺序播放按钮；F4 :逆序播放按钮；F5、F8、F11、F14 :显示时间曲线图显示部；F6、 F9 :再现位置；F7、F10 :显示范围切换按钮；F12 :颜色条显示部；F13 :病变条显示部；F15、F16 :信息变更按钮；F17 :变更保存按钮。
具体实施例方式
下面，参照附图来详细说明本发明所涉及的图像处理装置、图像处理程序以及图像处理方法的较佳实施方式。此外，本发明并不限定于该实施方式。
(实施方式1) 图1是例示具有作为本发明的实施方式1的图像处理装置的被检体内信息获取系统的结构例的示意图。如图l所示，该被检体内信息获取系统由如下部件等构成胶囊型内窥镜2，其拍摄被检体1内部的体腔内图像；接收装置3，其接收从胶囊型内窥镜2无线发送的体腔内图像的图像信息；以及图像处理装置5，其根据由接收装置3接收到的图像信息对由胶囊型内窥镜2拍摄的体腔内图像进行处理。使用记录介质4来进行接收装置3与图像处理装置5之间的图像信息的传送。 胶囊型内窥镜2被导入到被检体1的内部，具有沿时间序列依次拍摄该被检体1内的图像的摄像功能和将包含所拍摄的图像的无线信号发送到外部的无线通信功能。由被检体1吞服胶囊型内窥镜2，该胶囊型内窥镜2 —边通过消化管的蠕动在体腔内前进，一边以规定间隔、例如以0. 5秒为间隔顺次拍摄被检体1内的图像，通过规定的电波将上述被检体1内的图像顺次发送给接收装置3。 接收装置3将所接收到的图像以及各图像的拍摄时间等信息作为图像信息顺次记录到记录介质4中。利用CompactFlash(注册商标)等可携带的记录介质来实现记录介质4。记录介质4对接收装置3和图像处理装置5可安装拆卸，具有对两者插入安装时能够输出信息以及记录信息的结构。 图像处理装置5具有取入由接收装置3存储到记录介质4中的图像信息、根据拍摄顺序依次显示(下面称为再现显示)被检体l的体腔内图像的图像显示功能。诊察者使图像处理装置5再现显示体腔内图像来观察(检查)被检体l内的部位、例如食道、胃、小肠以及大肠等。图像处理装置5具有工作站那样的结构，具体地说，如图2所示，具备控制部10、输入部11、卡接口 (I/F) 12、存储部13以及显示部14。 控制部IO对由图像处理装置5的各结构部进行的各种处理进行控制，同时控制各结构部之间的信息的输入输出。控制部IO特别具备处理图像信息的图像处理部110以及控制显示部14的显示处理的显示控制部120。 图像处理部110特别具备显示时间信息算出部111 ，该显示时间信息算出部111对图像信息进行处理，算出决定各图像的显示时间的显示时间信息。另外，显示控制部120具备图像显示控制部121，其进行控制来根据图像信息以及显示时间信息将各图像再现显示于显示部14 ;以及显示时间信息显示控制部122，其进行控制来显示各图像的显示时间信息。 利用键盘和鼠标等来实现输入部ll，通过诊察者的输入操作来将各种信息输入到控制部10。 记录介质4可安装和拆卸地插入安装到卡I/F 12，卡I/F 12读出记录介质4所存储的图像信息以及图像ID信息，同时将这些信息传输给控制部IO。另外，卡I/F 12将由控制部10指示写入的信息、例如图像ID信息等写入到记录介质4。此外，关于图像ID等信息，例如列举出被检体1的姓名、性别、出生年月日以及图像ID等。 利用RAM、 EEPR0M或者硬盘等能够存储和读出信息的信息记录介质来实现存储部13，保存由控制部10指示写入的信息，并将由控制部10指示读出的信息输入到控制部10。存储部13具有图像信息存储部131，其将一系列体腔内图像的图像信息与对应于一系列体腔内图像的图像ID信息一起进行存储；以及显示时间信息存储部132，其存储图像信息存储部131所存储的各体腔内图像的显示时间信息。 利用CRT显示器或液晶显示器等各种显示器来实现显示部14，显示由显示控制部120指示显示的各种信息。显示部14特别具备显示体腔内图像的图像显示部141以及显示显示时间信息的显示时间信息显示部142，来显示进行被检体1的体腔内观察/诊断所需的各种信息。 具有以上各部分的图像处理装置所具备的CPU从存储部13读出并执行用于实现本实施方式的图像处理装置所进行的处理的图像处理程序。还能够将该图像处理程序记录到软盘、CD-ROM、 DVD-ROM、闪存等计算机能够读取的记录介质中来广泛流通。因而，本实施方式所涉及的图像处理装置也可以具备能够读取上述各种记录介质中的任一个的辅助存储装置。 在此，参照图3来说明显示部14的显示画面的具体例。图3是表示作为显示画面的一例的诊察/诊断窗口 Wl以及信息显示窗口 W2的图。诊察/诊断窗口 Wl具备再现显示体腔内图像的图像显示部F1、显示图像ID信息的图像ID信息显示部F2、顺序播放按钮F3以及逆序播放按钮F4。信息显示窗口 W2具备显示时间曲线图显示部F5以及显示范围切换按钮F7。此外，图像显示部F1表示图像显示部141的具体方式，显示时间曲线图显示部F5表示显示时间信息显示部142的具体方式。 在图像显示部F1中，基于图像显示控制部121的控制，根据预先算出的显示时间信息再现显示作为再现对象的一系列体腔内图像的各图像。在显示时间曲线图显示部F5中，基于显示时间信息显示控制部122的控制，显示表示按时间序列从整个一系列体腔内图像中确定各图像的信息与各图像的显示时间信息之间的关系的曲线图(下面称为显示时间曲线图)。例如，如图3所示，显示时间曲线图取从开始体腔内图像的再现时起直到显示各图像为止的时间、即再现时间为横轴，取各图像的显示时间为纵轴，来表示再现时间与显示时间之间的关系。 此外，按时间序列确定各图像的信息不限定于再现时间，例如也可以是拍摄到各
图像的时间即拍摄时间、按拍摄顺序附加给各图像的编号即图像编号。另外，显示时间信息
不限定于显示时间，也可以是表示每单位时间所显示的图像(帧)的张数的显示速率、决定
各图像的相对显示时间的值、或者决定各图像的显示时间或显示速率的系数。 并且，在显示时间曲线图显示部F5中，基于显示时间信息显示控制部122的控制，
7显示有再现位置F6，该再现位置F6是标示图像显示部Fl当前显示的图像相对于整个一系列体腔内图像的、在时间序列上的位置的标识。具体地说，再现位置F6是与作为纵轴的显示时间轴平行的轴，在作为横轴的再现时间轴方向上移动，表示与图像显示部F1当前显示的图像对应的再现时间。此外，在诊察者使用输入部11的鼠标拖动再现位置F6等来在显示时间曲线图上强制性地移动再现位置F6的情况下，图像显示控制部121将与移动后的再现位置F6所表示的再现时间对应的体腔内图像显示于图像显示部Fl。此外，代替再现位置F6，也可以通过在与图像显示部Fl所显示的图像对应的再现时间的前后改变曲线图的色彩等来表示再现位置。 另外，诊察/诊断窗口 Wl是GUI (Graphical User Interface :图形用户界面)画面，诊察者通过使用输入部11的鼠标点击顺序播放按钮F3或逆序播放按钮F4等进行选择，来将图像的再现指示输入到显示控制部120。在对图像进行再现显示的期间，所选择的按钮变化为未图示的再现停止按钮。诊察者通过选择该再现停止按钮来将再现的停止指示输入到显示控制部120。此外，在选择了顺序播放按钮F3的情况下，图像显示控制部121按拍摄各图像的时间序列顺序地再现显示一系列体腔内图像，在选择了逆序播放按钮F4的情况下，图像显示控制部121以拍摄各图像的时间序列的相反顺序再现显示一系列体腔内图像。 接着，参照图4说明控制部10将一系列体腔内图像再现显示于显示部14时的处理过程。首先，图像处理部110通过卡I/F 12从记录介质4获取一系列体腔内图像的图像信息，存储到图像信息存储部131(步骤S101)。之后，显示时间信息算出部lll对图像信息进行处理来算出各图像的显示时间信息，存储到显示时间信息存储部132 (步骤S102)。之后，显示控制部120获取图像信息、显示时间信息以及图像ID信息等诊察者对被检体1进行诊断所需的信息(步骤S103)。接着，显示控制部120的各部分将图像、显示时间信息以及图像ID信息等显示于显示部14(步骤S104)。此时，图像显示控制部121将体腔内图像中的例如最初拍摄的图像显示于图像显示部Fl 。此外，在该时刻，诊察者能够把握再现一系列体腔内图像所需的时间、即总再现时间和随着再现时间经过各图像的显示时间的变化的推移。 之后，显示控制部120判断是否接受了再现开始指示的输入(步骤S105)。在接受了再现开始指示的输入的情况下(步骤S105 :"是")，图像显示控制部121算出图像显示部141当前显示的图像的下一个要显示图像的图像编号(步骤S106)。之后，图像显示控制部121根据与所算出的图像编号对应的图像的显示时间信息将该图像显示于图像显示部141(步骤S107)。显示时间信息显示控制部122将与图像显示部141当前显示的图像相应的显示时间信息显示于显示时间信息显示部142 (步骤S108)。具体地说，显示时间信息显示控制部122使再现位置F6移动到与图像显示部Fl所显示的图像对应的位置、即与当前的再现时间对应的位置。在输出图像的再现指示的期间(步骤S109:"否")，显示控制部120重复步骤S106 S108的处理。另一方面，在如接受了图像的再现停止指示的情况或到达了再现时间序列方向的端头的情况那样满足了再现停止条件的情况下(步骤S109 :"是")，显示控制部120停止图像的再现显示处理。这样，图像处理装置5对由胶囊型内窥镜2拍摄的一系列体腔内图像进行再现显示，同时显示要进行再现显示的各图像的显示时间信息以及显示时间变化的推移。
此外，在步骤S102中，显示时间信息算出部lll根据图像信息算出各图像的显示时间信息。在本实施方式1中，说明显示时间信息算出部111算出显示时间作为显示时间信息的情况。首先，显示时间信息算出部111使用例如非专利文献1所记载的归一化互相关来算出连续拍摄的两个图像之间的图像类似度。在-1以上l以下的范围内算出图像类似度，将两个图像完全一致的情况的图像类似度设为最大值1。此外，图像类似度的算出方法不限于归一化互相关，例如也可以是专利文献1所记载的使用了运动矢量的算出方法等。
之后，显示时间信息算出部111使用图像类似度以及下式(1)算出作为再现对象的一系列体腔内图像的所有图像的显示时间。此外，i表示图像编号，在式(1)中，1\表示图像编号i的图像的显示时间，Ri表示图像编号i的图像的图像类似度，maxTime表示预先设定的显示时间的最大值，minTime表示预先设定的显示时间的最小值。
[式1]7 = (max Time — min Time ) x
丄- &) + min Time .........(1)
、22 J 此外，不限于由显示时间信息算出部111算出的显示时间信息，图像处理部110也可以将由其他诊察者或其它图像处理装置算出的显示时间信息存储到显示时间信息存储部132。 另外，显示时间信息显示控制部122除了对显示整个一系列体腔内图像的显示时间信息进行控制以外，还进行如下的控制仅显示附近图像的显示时间信息，该附近图像为以图像显示部F1当前显示的图像为基准而在规定时间内显示过的图像或要显示的图像。显示时间信息显示控制部122具备显示范围切换部123，该显示范围切换部123进行切换这些显示的控制。 图5是表示显示附近图像的显示时间信息的情况下的显示画面的具体例。如图5所示，在信息显示窗口 W3中，显示有显示时间曲线图显示部F8以代替显示时间曲线图显示部F5。显示时间曲线图显示部F8将再现位置F9始终设在横轴、即再现时间轴方向的中央，以再现位置F9为基准在前后规定的再现时间的范围内显示显示时间曲线图。此外，在显示时间曲线图显示部F8中，也可以是以图像显示部F1所显示的图像为基准，显示在时间序列上在其前后进行显示的规定张数的显示时间。 在仅显示附近图像的显示时间曲线图的情况下，显示时间信息显示控制部122在步骤S108的处理中对再现时间轴上的刻度进行更新使得与图像显示部F1所显示的图像对应，使显示时间曲线图配合再现时间轴的更新进行移动。因而，在显示时间曲线图显示部F8中，始终以图像显示部F1所显示的图像为基准，显示在时间序列中处于规定的范围内的图像的显示时间。 另外，如图3所示，在信息显示窗口 W2中显示有显示范围切换按钮F7。当由诊察者选择显示范围切换按钮F7时，显示范围切换部123进行如下控制显示信息显示窗口 W3来代替信息显示窗口 W2。在这种情况下，显示时间曲线图的显示区域縮小，因此能够有效使用显示画面。例如，图像显示部F1的显示区域不受压制，因此能够较大地显示体腔内图像。另外，在这种情况下，应显示的显示时间信息量减少，因此能够详细显示当前所显示的图像和其附近图像的显示时间信息。 另一方面，如图5所示，在信息显示窗口W3中显示有显示范围切换按钮F10。当由诊察者选择显示范围切换按钮F10时，显示范围切换部123进行如下控制显示信息显示窗 口 W2来代替信息显示窗口 W3。诊察者能够在想要获知较大范围内显示时间的推移的情况 下参照信息显示窗口 W2、在想要获知各图像的显示时间的详情的情况下参照信息显示窗口 W3等配合状况来选择显示时间曲线图。 这样，根据图像处理装置5，诊察者能够在显示各图像之前把握显示时间信息，因 此能够配合显示时间来观察各图像。并且，根据图像处理装置5，诊察者能够对显示时间发 生急剧变化的位置等有心理准备，因此减少图像的漏看，从而减轻与此相伴的图像的复查 等工作负担。 此外，在本实施方式1中，设为对于图像显示部F1当前显示的图像，将在时间序列 上在其前后进行显示的图像的显示时间信息显示于显示时间信息显示部142，但是只要至 少显示在时间序列上在图像显示部141当前显示的图像之后进行显示的图像的显示时间 信息即可。诊察者只要能够至少把握在此以后进行显示的图像的显示时间，就能够配合显 示时间来观察各图像。 [OOSO](实施方式2) 接着，说明实施方式2。在实施方式1中，设为在再现显示图像的同时仅显示显示 时间信息，但是在实施方式2中，设为还显示各图像的平均颜色以及与图像中拍摄到的病 变区域有关的信息。 在实施方式2中，具备图像处理装置6以代替在实施方式1中示出的被检体内信 息获取系统的图像处理装置5(未图示)。图6是表示图像处理装置6的结构的框图。如图 6所示，图像处理装置6具备控制部20、存储部23以及显示部24以代替图像处理装置5所 具备的控制部10、存储部13以及显示部14。控制部20具备图像处理部210和显示控制部 220。图像处理部210除了具备显示时间信息算出部111以外，还具备平均颜色算出部212 和病变信息算出部213，显示控制部220除了具备显示控制部110的结构以外，还具备颜色 条显示控制部224和病变条显示控制部225。存储部23除了具备存储部13的结构以外，还 具备平均颜色存储部233和病变信息存储部234。显示部24除了具备显示部14的结构以 外，还具备颜色条显示部243和病变条显示部244。其它结构与实施方式l所示的被检体内 信息获取系统以及图像处理装置5相同，对同一结构部分附加同一附图标记。
平均颜色算出部212对图像信息存储部131所存储的图像信息进行处理，算出各 图像的平均颜色，将该平均颜色的信息存储到平均颜色存储部233。另外，病变信息算出部 213判断在各图像中是否拍摄到了病变区域，对拍摄到病变区域的图像，根据病变种类分配 规定的标签，并且对未拍摄到病变的图像分配与分配给拍摄到病变区域的图像的标签不同 的规定的标签，将这些信息作为病变信息存储到病变信息存储部234。此外，病变信息算出 部213例如是专利文献2所公开的那样，将图像中的各像素或平均化后的像素映射到基于 该颜色信息的特征空间中，在聚类分析之后确定正常部聚类和异常部聚类，将属于异常部 聚类的像素区域作为病变区域检出之后，对各图像分配规定的标签。 颜色条显示控制部224进行如下控制根据与平均颜色存储部233所存储的各图 像的平均颜色有关的信息来制作颜色条并显示于颜色条显示部243。颜色条是将一系列体 腔内图像所包含的各图像的平均颜色依次配置在与各图像对应的位置处的带状的显示区 域。胃肠管的每个脏器的粘膜表面的颜色不同，因此诊察者能够根据颜色条显示部243上的平均颜色的推移来辨别各图像中所拍摄的脏器。 病变条显示控制部225进行如下控制根据病变信息存储部234所存储的病变信息来制作病变条并显示于病变条显示部244。病变条是将与由病变信息算出部213分配给各图像的标签相应的颜色依次配置在与各图像对应的位置处的带状的显示区域。诊察者能够根据病变条显示部244的颜色的推移来辨别拍摄到病变区域的图像以及病变的种类。
图7是表示显示部24的显示画面的具体例的图。图像处理装置6显示诊察/诊断窗口 Wl，同时显示信息显示窗口 W4以代替信息显示窗口 W2。在信息显示窗口 W4中显示有显示时间曲线图显示部F11、颜色条显示部F12、病变条显示部F13以及显示范围切换按钮F7。此外，在显示时间曲线图显示部Fll中，显示有与显示时间曲线图显示部F5所显示的显示时间曲线图同样的显示时间曲线图。 颜色条显示部F12表示颜色条显示部243的具体方式，是与显示时间曲线图的再现时间轴平行的、依次配置了与再现时间对应的图像的平均颜色的带状显示区域。另外，病变条显示部F13表示病变条显示部244的具体方式，是与显示时间曲线图的再现时间轴平行的、依次配置了由病变信息算出部213分配给与再现时间对应的图像的颜色的带状显示区域。 接着，参照图8说明控制部20将一系列体腔内图像再现显示于显示部24时的处理过程。首先，图像处理部210通过卡I/F 12从记录介质4获取一系列体腔内图像的图像信息，存储到图像信息存储部131 (步骤S201)。之后，平均颜色算出部212算出各图像的平均颜色，存储到平均颜色存储部233 (步骤S202)。接着，病变信息算出部213算出各图像的病变信息，存储到病变信息存储部234(步骤S203)。接下来，显示时间信息算出部111算出各图像的显示时间信息，存储到显示时间信息存储部132(步骤S204)。之后，显示控制部220获取图像信息、显示时间信息、平均颜色的信息、病变信息以及图像ID信息等诊察者对被检体1进行诊察所需的信息(步骤S205)。显示控制部220的各部分将图像、显示时间信息、颜色条、病变条以及图像ID信息等显示于显示部24的各部分(步骤S206)。此外，在该时刻，诊察者能够把握总再现时间以及显示时间的变化的推移，同时能够把握各图像的平均颜色的推移以及与被判断为拍摄到病变区域的图像和病变的种类有关的信息。
之后，显示控制部220的各部分进行与显示控制部120的各部分所进行的步骤S105 S109的处理同样的处理(步骤S207 S211) 。 S卩，在接受了再现开始的指示的输入的情况下(步骤S207 :"是")，图像显示控制部121算出图像显示部141要显示的图像的图像编号(步骤S208)。根据显示时间信息显示与图像编号对应的图像(步骤S209)。显示时间信息显示控制部122显示与图像显示部141当前显示的图像相应的显示时间信息(步骤S210)。显示控制部220直到满足再现停止条件为止重复步骤S207 S210的处理，在满足了再现停止条件的情况下停止图像的再现(步骤S211)。 此外，虽未进行图示，但是在信息显示窗口 W4中对附近图像显示显示时间曲线图的情况下，颜色条显示控制部224以及病变条显示控制部225进行如下控制显示与显示时间曲线图所显示的再现时间相应的颜色条和病变条。 这样，根据图像处理装置6，观察者能够在显示各图像之前把握各图像的显示时间信息，同时把握各图像的色调变化的推移以及与被判断为拍摄到病变区域的图像有关的信息，因此能够在观察图像时预先判断应该注意的图像，从而不漏看地进行观察。另外，通过
11减少图像的漏看来减轻与此相伴的图像的复查等工作负担。 此外，本实施方式2所涉及的图像处理装置也可以仅显示颜色条和病变条中的任一个。(实施方式3) 接着，说明实施方式3。在实施方式1、2中，设为在再现显示一系列体腔内图像的同时显示各图像的显示时间信息等，但是在本实施方式3中，还能够变更显示时间信息。
在实施方式3中，具备图像处理装置7以代替在实施方式1中示出的被检体内信息获取系统的图像处理装置5。图9是表示实施方式3所涉及的图像处理装置7的结构的框图。如图9所示，图像处理装置7具备控制部30、存储部33、显示部34以代替图像处理装置5所具备的控制部10、存储部13、显示部14。控制部30具备图像处理部310和显示部控制部320。图像处理部310除了具备显示时间信息算出部111以外，还具备显示时间信息变更部312，显示控制部320具备图像显示控制部321和显示时间信息显示控制部322。此外，显示时间信息显示控制部322与显示时间信息显示控制部122同样地具备显示范围切换部123。存储部33除了具备存储部13的结构以外，还具备变更存储部333。显示部34除了具备图像显示部141以外，还具备显示时间信息显示部342。其它结构与实施方式l所示的被检体内信息获取系统以及图像处理装置5相同，对同一结构部分附加同一附图标记。
显示时间信息变更部312根据通过输入部11从诊察者处获取的与显示时间信息的变更有关的信息来变更显示时间信息，存储到变更存储部333。在对显示时间信息进行了变更的情况下，图像显示控制部321根据变更后的显示时间信息对一系列体腔内图像进行再现显示，显示时间信息显示控制部322显示变更后的显示时间信息。
例如由诊察者通过GUI画面输入与显示时间信息的变更有关的信息。参照图10说明使用了 GUI画面的显示时间信息的变更的一例。图10是表示显示部34的显示画面的具体方式的图。图像处理装置7显示诊察/诊断窗口 Wl，同时显示信息显示窗口 W5以代替信息显示窗口 W2。在信息显示窗口 W5中显示有显示时间曲线图显示部F14、信息变更按钮F15、F16、变更保存按钮F17以及显示范围切换按钮F7。此外，在变更显示时间信息之前，在显示时间曲线图显示部F14中显示有与显示时间曲线图显示部F5所显示的显示时间曲线图同样的显示时间曲线图。 当诊察者利用显示画面上的指针点击信息变更按钮F15或信息变更按钮F16时，指针变化为与信息变更按钮F15或信息变更按钮F16的图标相同的形状。诊察者使形状发生了变化的指针移动到显示时间曲线图上的与想要变更显示时间的图像对应的位置进行点击，并在显示时间轴方向拖动指针。此时，如图IO所示，显示时间曲线图(实线)与指针的移动一起发生变形。此外，以虚线显示变更前的显示时间曲线图。之后，显示时间曲线图被固定在诊察者释放指针的位置，显示时间信息被变更。这样，诊察者将与显示时间信息的变更有关的信息输入到控制部30。 此外，在选择了信息变更按钮F15之后输入了与显示时间信息的变更有关的信息的情况下，显示时间信息变更部312以与显示时间曲线图上的被点击的位置对应的图像为基准，对时间序列上其前后规定张数的图像的显示时间进行变更。另一方面，在选择了信息变更按钮F16之后输入了与显示时间信息的变更有关的信息的情况下，显示时间信息变更部312仅对与显示时间曲线图上的被点击的位置对应的一个图像的显示时间进行变更。
例如，在诊察者选择了信息变更按钮F15之后，在输入了指示将图像编号k的图像 变更显示时间v的情况下，显示时间信息变更部312使用下式(2)来变更从图像编号k-m 到图像编号k+m的图像的显示时间。此外，m是预先设定的规定张数，在式(2)中，j表示图 像编号，Tj表示图像编号j的图像的修改前的显示时间，T/表示图像编号j的图像的修改 后的显示时间。
[式2] 此外，变更由诊察者选择的图像及其附近图像的显示时间信息的方法不限于使用
式(2)的方法，也可以是在显示时间曲线图上将与图像编号m-k、k、m+k的图像对应的点设
为控制点，以样条曲线绘制曲线图等来变更显示时间曲线图、变更显示时间信息。 在诊察者输入了与显示时间信息的变更有关的信息之后选择了变更保存按钮F17
的情况下，图像处理部310进行将变更后的显示时间信息存储到变更存储部333的处理。此
外，也可以设为当开始一系列体腔内图像的再现显示时，能够由观察者通过未图示的显示
画面来选择是根据变更前的显示时间信息来再现显示体腔内图像，还是根据变更后的显示
时间信息来再现显示体腔内图像。由此，诊察者在再次再现显示同一图像的情况下也能够
根据事先变更过的显示时间信息再现显示图像。 这样，根据图像处理装置7，诊察者能够配合诊察者自身变更各图像的显示时间信 息，因此能够易于观察一系列体腔内图像。并且，诊察者通过变更显示时间而能够防止图像 的漏看，因此减轻伴随图像的漏看的图像的复查等工作负担。 此外，图像处理装置7基于图像处理装置5而增加了显示时间信息变更部312和 变更存储部333，但是也可以构成为基于图像处理装置6而具备这些结构。在这种情况下， 与实施方式2同样地将颜色条和病变条与显示时间信息一起显示于显示画面，因此诊察者 能够根据这些信息准确地变更各图像的显示时间。 另外，本发明所涉及的图像处理装置不限于由胶囊型内窥镜2拍摄的体腔内图
像，能够用于其它再现显示一系列图像的处理。
产业上的可利用性 如上所述，本发明所涉及的图像处理装置、图像处理程序以及图像处理方法适用 于依次显示多个图像、特别是拍摄胃肠管内得到的体腔内图像的情况。
1权利要求
一种图像处理装置，其特征在于，具备图像存储单元，其存储一系列图像；显示时间信息存储单元，其存储决定各图像的显示时间的显示时间信息；图像显示单元，其按照上述显示时间信息依次显示各图像；显示时间信息显示单元，其至少显示上述显示时间信息中的在时间序列上在上述图像显示单元所显示的图像之后进行显示的图像的上述显示时间信息；以及显示控制单元，其进行如下控制根据上述图像存储单元所存储的图像以及上述显示时间信息存储单元所存储的上述显示时间信息，将图像显示于上述图像显示单元，同时将上述显示时间信息显示于上述显示时间信息显示单元。
2. 根据权利要求l所述的图像处理装置，其特征在于，上述显示控制单元进行如下控制将标示当前显示于上述图像显示单元的图像在时间 序列上的位置的标识显示于上述显示时间信息显示单元。
3. 根据权利要求1或2所述的图像处理装置，其特征在于，上述显示控制单元进行控制来显示如下信息中的至少一个作为上述显示时间信息在 上述图像显示单元中显示各图像的时间即上述显示时间；决定上述显示时间的系数；在上 述图像显示单元中进行显示的速度即显示速率；以及决定各图像的相对显示时间的值。
4. 根据权利要求1 3中的任一项所述的图像处理装置，其特征在于， 上述显示控制单元进行如下控制显示作为显示对象的一系列图像的全部图像的上述显示时间信息。
5. 根据权利要求1 3中的任一项所述的图像处理装置，其特征在于， 上述显示控制单元进行如下控制显示附近图像的上述显示时间信息，该附近图像是以作为显示对象的一系列图像中的显示于上述图像显示单元的图像为基准的、在时间序列 上在其前后进行显示的规定张数的图像或者在时间序列上在其前后的规定时间以内进行 显示的图像。
6 根据权利要求1 3中的任一项所述的图像处理装置，其特征在于， 上述显示控制单元具有进行如下控制的功能显示作为显示对象的一系列图像的全部图像的上述显示时间信息；显示附近图像的上述显示时间信息，该附近图像是以作为显示 对象的一系列图像中的显示于上述图像显示单元的图像为基准的、在时间序列上在其前后 进行显示的规定张数的图像或者在时间序列上在其前后的规定时间以内进行显示的图像，该显示控制单元具备显示范围切换单元，该显示范围切换单元将上述显示时间信息显 示单元所显示的上述显示时间信息切换为全部图像的上述显示时间信息和上述附近图像 的上述显示时间信息中的任一个，该显示控制单元进行如下控制显示被上述显示范围切换单元切换为全部图像的上述 显示时间信息和上述附近图像的上述显示时间信息中的任一个的上述显示时间信息。
7. 根据权利要求1 6中的任一项所述的图像处理装置，其特征在于， 上述显示控制单元进行如下控制与再现时间、拍摄时间或者图像编号中的至少一个相对应地显示上述显示时间信息，其中，上述再现时间是依次显示一系列图像的时间，上述 拍摄时间是拍摄到各图像时的时间，上述图像编号是按拍摄顺序对各图像附加的编号。
8. 根据权利要求1 7中的任一项所述的图像处理装置，其特征在于，上述图像存储单元存储拍摄生物体内得到的一系列体腔内图像。
9. 根据权利要求8所述的图像处理装置，其特征在于，上述显示控制单元进行如下控制在上述显示时间信息显示单元上与上述显示时间信 息一起显示表示一系列上述体腔内图像的色调的推移的信息以及表示各体腔内图像中有 无病变的信息中的至少任一个。
10. 根据权利要求1 9中的任一项所述的图像处理装置，其特征在于， 具备显示时间信息变更单元，该显示时间信息变更单元获取对上述显示时间信息进行变更的信息，来变更上述显示时间信息，上述显示控制单元进行如下控制根据由上述显示时间信息变更单元变更后的上述显 示时间信息来显示各图像。
11. 根据权利要求io所述的图像处理装置，其特征在于，具备变更存储单元，该变更存储单元存储由上述显示时间变更单元变更后的上述显示 时间信息。
12. —种图像处理程序，其特征在于，使计算机执行以下过程存储过程，存储显示时间信息，该显示时间信息决定存储一系列图像的图像存储单元 所存储的各图像的显示时间；以及显示控制过程，在显示控制过程中进行如下控制按照上述显示时间信息将上述图像 存储单元所存储的各图像依次显示于图像显示单元，同时，根据上述显示时间信息存储单 元所存储的上述显示时间信息，至少将上述显示时间信息中的在时间序列上在上述图像显 示单元所显示的图像之后进行显示的图像的上述显示时间信息显示于显示时间信息显示 单元。
13. —种图像处理方法，其特征在于，包括以下步骤存储步骤，存储显示时间信息，该显示时间信息决定存储一系列图像的图像存储单元 所存储的各图像的显示时间；以及显示控制步骤，在显示控制步骤中进行如下控制按照上述显示时间信息将上述图像 存储单元所存储的各图像依次显示于图像显示单元，并且，根据上述显示时间信息存储单 元所存储的上述显示时间信息，至少将上述显示时间信息中的在时间序列上在上述图像显 示单元所显示的图像之后进行显示的图像的上述显示时间信息显示于显示时间信息显示 单元。
全文摘要
显示控制部(120)具有图像显示控制部(121)和显示时间信息显示控制部(122)。图像显示控制部(121)根据图像信息存储部(131)所存储的一系列体腔内图像的图像信息以及显示时间信息存储部(132)所存储的显示时间信息将一系列体腔内图像依次显示于图像显示部(141)。显示时间信息显示控制部(122)至少将在时间序列上在图像显示部(141)所显示的图像之后进行显示的图像的显示时间信息显示于显示时间信息显示部(142)。
文档编号A61B1/00GK101778591SQ200880102978
公开日2010年7月14日 申请日期2008年6月4日 优先权日2007年8月10日
发明者松田岳博 申请人:奥林巴斯株式会社