图像显示装置、图像显示方法及图像显示程序的制作方法

专利名称：图像显示装置、图像显示方法及图像显示程序的制作方法
技术领域：
本发明例如涉及一种图像显示装置、图像显示方法及图像显示程序。
背景技术：
近年来，在内窥镜中，出现了吞服型胶嚢内窥镜。在该胶嚢 内窺镜中，设置有摄像功能和无线功能。胶嚢内窥镜是如下的结 构，即为了观察(检查)，在从患者口中吞服后到从人体中自然排 出为止的观察期间，依次拍摄胃、小肠等脏器(参照日本特开平 11 一 225996号z^才艮)。在该观察期间，由胶囊内窥镜在体内拍摄的图像数据依次利 用无线通信发送到外部，并存储到存储器中。患者通过携带具备 该无线通信功能和存储器功能的接收机，患者在吞服胶嚢内窥镜 后到排出为止的观察期间，可自由行动。在观察后，可由医生或 者护士，根据存储在存储器中的图像数据，使脏器图像显示在显 示器上进行诊断。目前，作为这种胶嚢内窥镜，有以色列的Given Imaging公 司的M2A(注册商标)和日本的抹式会社7 —少工7的NORIKA (注册商标)，已经进入实用化阶_艮。但是，在上述的胶嚢内窺镜中，与通常的内窥镜不同，由于 在被检查者吞服后到自然排出为止的期间拍摄各脏器，因此，观
察(检查)时间达到例如10小时以上的长时间。因此，按时间序 列拍摄的图像张数庞大。在诊察等阶段中，对于提高从长时间拍摄的庞大图像中检索 所希望图像的检索性、和可容易识别显示图像是由整个摄像时间 中的哪个时刻拍摄的、是哪个脏器的图像等的显示画面，并没有 特别考虑。本发明的目的在于，提供一种图像显示装置、图像显示方法 及图像显示程序，能够提高对体内拍摄的图像的检索性，并且， 能够容易地识别显示图像是哪个脏器的图像
发明内容
为了解决上述问题从而达到目的，本发明的特征在于，具备 输入单元，输入由体内摄像装置按时间序列拍摄的图像数据；刻 度显示控制单元，进行控制以显示表示由前述输入单元输入的按 时间序列拍摄的图像数据的整个摄像期间的刻度；颜色信息检测 单元，检测由前述输入单元输入的图像数据的一个画面的颜色信 息；颜色显示控制单元，进行控制以将与由前述颜色信息检测单 元冲全测的颜色信息对应的颜色，显示在前述刻度上的时间上对应 的位置上；图像显示控制单元，进行控制以显示与由前述输入单 元输入的图像数据对应的图像；图像指定单元，指定由前述图像 显示控制单元进行了显示控制的图像；和指标显示控制单元，进 行控制以在前述刻度上显示指标，该指标表示与由前述图像指定 单元指定的图像摄像时刻对应的位置。另外，在本发明中，其特征在于，前述颜色信息检测单元具 备平均颜色检测单元，该平均颜色检测单元根据由前述输入单元 输入的图像数据的 一个画面的颜色信息，检测与平均颜色相关的 颜色信息。
另外，本发明的特征在于，还具备指定图像显示控制单元， 该指定图像显示控制单元进行控制以显示由前述图像指定单元指 定的图像，前述指标显示控制单元以及前述指定图像显示控制单 元进行关联显示，该关联显示表示显示在前述刻度上的指标和显 示的指定图像之间的关联。
另外，本发明的特征在于，脏器辨别单元，根据由前述颜色信息检测单元检测的颜色信息辨别脏器；脏器名显示控制单元， 进行控制以将由前述脏器辨别单元辨别的脏器名与前述刻度对应 进行显示。另外，在本发明中，其特征在于，前述脏器辨别单元还具备 变色边缘检测单元，该变色边缘检测单元才艮据由前述颜色信息抬二 测单元检测的颜色信息进行变色边缘的检测。
另外，本发明的特征在于，包含输入步骤，输入由体内摄 像装置按时间序列拍摄的图像数据；刻度显示控制步骤，进行控 制以显示表示由前述输入步骤输入的按时间序列拍摄的图像数据 的整个摄像期间的刻度；颜色信息检测步骤，检测由前述输入步 骤输入的图像数据的 一 个画面的颜色信息；颜色显示控制步骤， 进行控制以将与由前述颜色信息检测步骤检测的颜色信息对应的 颜色，显示在前述刻度上的时间上对应的位置上；图像显示控制 步骤，进行控制以显示与由前述输入步骤输入的图像数据对应的 图像；图像指定步骤，指定由前述图像显示控制步骤进行了显示 控制的图像；指标显示控制步骤，进行控制以在前述刻度上显示 与由前述图像指定步骤指定的图像的摄像时刻对应的位置。
另外，本发明的特征在于，前述颜色信息检测步骤包含平均 颜色检测步骤，该平均颜色检测步骤根据由前述输入步骤输入的 图像数据的 一个画面的颜色信息，检测与平均颜色相关的颜色信 息。 另外，本发明的特征在于，还包含指定图像显示控制步骤， 该指定图像显示控制步骤进行控制以显示由前述图像指定步骤指 定的图像，前述指标显示控制步骤以及前述指定图像显示控制步 骤进行关联显示，该关联显示表示显示在前述刻度上的指标和显 示的指定图像之间的关联。另外，本发明的特征在于，还包含脏器辨别步骤，根据由前述颜色信息#r测步骤测的颜色信息来辨别脏器；脏器名显示 控制步骤，进行控制以将由前述脏器辨别步骤辨别的脏器名与前 述刻度对应进4于显示。另外，本发明的特征在于，前述脏器辨别步骤还包含变色边 缘检测步骤，该变色边缘检测步骤根据由前述颜色信息检测步骤 检测的颜色信息进行变色边缘的检测。另外，本发明提供一种图像显示装置，其特征在于，具备 取得单元，其取得由体内摄像装置拍摄的多个图像；条显示单元， 其显示对由前述多个图像构成的图像的流进行描绘的条；以及指 标显示单元，其显示与前述条相对应地表示范围的指标，使得关 于前述多个图像形成至少一个组。另外，本发明提供一种图像显示方法，其特征在于，包括 取得步骤，取得由体内摄像装置拍摄的多个图像；条显示步骤， 显示对由前述多个图像构成的图像的流进行描绘的条；以及指标 显示步骤，显示与前述条相对应地表示范围的指标，使得对于前 述多个图像形成至少一个组。


图1是表示与本实施方式有关的胶嚢内窥镜内部结构的概要图。图2是根据本实施方式的胶嚢内窥镜系统的概要图。
图3是表示根据本实施方式的胶嚢内窺镜系统内部的一个结 构例的框图。图4是表示与根据本实施方式的观察流程有关的画面变迁的 一个例子的图。图5是表示与根据本实施方式的观察流程有关的画面变迁的 一个例子的图。图6是表示与根据本实施方式的观察流程有关的画面变迁的 一个例子的图。图7是说明与根据本实施方式的诊察流程有关的画面变迁的 一个例子的图。图8是说明与根据本实施方式的诊察流程有关的画面变迁的 一个例子的图。图9是说明根据本实施方式的平均颜色条显示用动作的流程图。图10是表示与根据本实施方式一个变形例的诊察处理有关 的显示画面的一个例子的图。图ll是说明根据本实施方式一个变形例的脏器名自动辨别原 理的图。图12是说明根据本实施方式一个变形例的脏器名辨别处理 的流程图。图13是说明图11的变形例的应用例的图。 图14是说明与根据本实施方式的诊察流程有关的画面变迁 的一个例子的图。图15是说明根据本实施方式的用于显示指定图像的摄影时 间的动作的流程图。
具体实施例方式
下面参照附图，详细叙述与本发明有关的最佳实施方式。 首先，对于在本发明的一个实施方式中使用的胶嚢内窥镜， 参照图l说明全体结构。图1是表示与本实施方式有关的胶嚢内 窥镜的内部结构的概要图。如图1所示，胶嚢内窥镜10由以下部分构成可拍摄体腔内图像的摄像部111、照射体腔内部的照明部 112a、 112b、向它们-提供电力的电源部13、在内部至少配设了上 述摄像部111、上述照明部112以及上述电源部13的胶嚢壳体14。在此，与本实施方式有关的胶嚢壳体14由顶端盖部120和胶 嚢体部122构成，该顶端盖部120覆盖上述摄像部111以及上述 照明部112a、 112b,该胶嚢体部122通过该顶端盖部120和密 封构件121设置成水密状态、并且在内部配设了摄像部111等， 根据需要也可以将后端盖部123与胶嚢体部122分体设置。此外， 在本实施方式中，后端盖部123与胶嚢体部;陂设置成为一体，成 为平坦形状，但是其形状并未被限定，例如也可以设为圆顶形状。另夕卜，顶端盖部120也可以明确分成使来自照明部112a、112b 的照明光L透过的照明用窗部120a和拍摄照明范围的摄像用窗 部120b。此外，在本实施方式中，顶端盖部120其全体透明，照 明用窗部120a和l聂像用窗部120b的区域部分重叠。上述摄像部lll被设置在摄像基板124上，是由固体摄像元 件125和成像透镜126构成。其中，固体摄像元件125对根据来 自照明部112a、 112b的照明光L而照射的范围进行拍摄，例如 由CCD构成，成像透镜126由将被摄体的像成像在该固体摄像元 件125上的固定透镜126a以及可动透镜126b构成，通过利用将 固定透镜126a固定的固定框128a以及固定可动透镜126b的可 动框128b的焦点调整部128，进行清晰的成像。此外，在本发明 中，作为摄像部111,并不限定于上述CCD,例如也可以使用 CMOS等摄像装置。
另外，上述照明部112a、 112b ^皮设置在照明基板130上， 例如由发光二才及管(LED)构成，并且，以构成揚j象部111的成 像透镜126为中心，在其周围配设了多个照明部112a、 112b (在 本实施方式中，作为一个例子是4个)。此外，在本发明中，作为 照明部112a、 112b,并不限定于上述LED，也可以使用其他照 明装置。另外，上述电源部13，被设置在设置有内部开关131的电源 基板132上，例如使用了纽扣型电池作为电源133。此外，在本 发明中，作为上述电池例如使用了氧化银电池，但是在本发明中 并不限定于此，例如也可以使用充电式电池、发电式电池等。另外，作为上述内部开关131,例如使用了可利用磁铁彼此 间的相斥作用来进行接通动作的开关，但是本发明并不限定于此， 也可以例举出其他的开关装置。另外，在本实施方式中，除了上述各部分以外，在无线基板 141上设置有由用于与外部进行无线通信的天线等构成的无线部 142,根据需要进行与外部的通信。另外，在摄像基板124上设置有用于处理或者控制上述各部 分的信号处理/控制部143,执行胶嚢内窥镜10中的各种处理。在此，上述信号处理/控制部143包括以下功能等，并进行各 种信号处理/控制，所述功能为影像信号处理功能的一部分、进 行影像信号和同步信号的混合、误差修正符号的附加等的发送用 信号生成功能、例如变换到PSK(相移键控)、MSK(最小频移 键控)、GMSK (高斯最小频移键控)、QMSK(正交最小频移键 控)、ASK (幅移键控)、AM (调幅)、FM (调频)方式的调制功 能、根据开关的接通/断开来控制电源供给的电源供给控制功能、 控制LED驱动电路等驱动电路、摄像张数的时序产生器(TG) 功能、存储设定拍摄张数的参数等诸多数据的存储功能等。
在此，上述影像信号处理功能例如包含图像数据校正(例如白平衡(WB )校正、y校正、颜色处理、AGC等)、根据情况还 包含相关双采样或模拟/数字变换(ADC)、调光功能(AE)等处理。
此外，在胶嚢内窥镜10内部中，除了上述无线部142以外， 例如也可以适当配设各种传感器等信息收集装置、排出药剂的药 剂排出装置、切除/回收体腔组织的组织回收装置等。
接着，对于根据本实施方式的胶嚢内窥镜系统，使用图2进 行说明。图2是根据本实施方式的胶囊内窥镜系统的概要图。当 使用上述胶嚢内窥镜IO进行检查时，使用如图2所示的胶嚢内窥 镜系统来进行。
根据本实施方式的胶嚢内窥镜系统，例如，如图2所示，由 以下部分构成胶嚢内窺镜10及其包装50、穿在患者即被检查 者2上的夹克3、自由装卸于夹克3的接收机4、工作站5、 CF (快闪(CompactFlash)(注册商标))存储器读写器6、标签打 印机7、数据库8以及网络9。
在夹克3中设置有捕捉从胶嚢内窥镜10的无线部142发送的 摄像图像电波的天线31、 32、 33以及34,设置成能够在与接收 机4之间无线地或者通过电缆有线地进行通信。此外，天线数并 不特别限定为4个，也可以是多个，由此，可以4艮好地接收与伴 随胶嚢内窥镜10移动的位置对应的电波。
在接收机4中，设置有从夹克3直接以电波接收摄像图像时 使用的天线41、显示观察(检查)所需信息的显示部42以及输 入观察(检查)所需信息的输入部43。另外，接收机4能够可装 卸地安装存储所接收的摄像图像数据的CF存储器44。并且，在 接收机4中，设置有携带时也能够提供电源的电源部45以及进行 观察(检查)所需处理的信号处理/控制部46。作为电源部45，
例如可例举出干电池、锂离子二次电池、4臬氢电池等，也可以是 充电式电5也。
工作站5具有医生或者护士根据由胶嚢内窺镜IO拍摄的患者 体内的脏器等的图像而进行诊断用的处理功能。虽然没有图示， 但该工作站5具有接收机4、 CF存储器读写器6、标签打印机7 和分别可通信连接的接口 ，进行CF存储器44的读/写、病历簿打 印等。
另外，工作站5具有用于连接网络9的通信功能，通过该网 络9将患者的诊察结果等存储到数据库8中。并且，工作站5具 有显示部51,从接收机4输入患者体内的摄像图像数据，并在显 示部51上显示脏器等的图像。
如图2所示，在开始检查前，从包装50取出胶嚢内窥镜10， 被检查者2从口中吞服该胶嚢内窥镜10，从而，通过食道，利用 消化管腔的蠕动在体腔内前进，依次拍摄体腔内的像。
并且，根据需要或者随时关于摄像结果通过无线部142输出 摄像图像的电波，并由夹克3的各天线31、 32、 33、 34捕捉该 电波。来自接收电波强度高的天线的信号被发送到体外的接收机4中。
在接收机4中，依次接收的拍摄图像数据被存储在CF存储 器44中。此外，该接收机4不与胶嚢内窺镜10的摄像开始同步， 而是通过输入部43的操作来控制接收开始和接收结束。另外，作 为拍摄图像数据，也可以是为了动态地显示而以多帧/秒进行拍摄 的静止图像数据，也可以是通常的动态图像数据。
当结束通过胶嚢内窥镜IO对被检查者2的观察(检查)时， 存储在CF存储器44中的摄影图像数据通过电缆传输到工作站5 中。在工作站5中，被传输过来的摄像图像数据，按患者分别对 应存储。 这样，由胶嚢内窥镜10拍摄、并由接收机4存储的体腔内的
摄像图像数据，由工作站5的显示部51进行图像显示。由此，可
对包含超声波探测器、内窥镜等无法到达的体深部(小肠等)在 内的、人体消化管的全部，进行生理学研究上有用的数据获得和 病变诊断。
接着，对于上述胶嚢内窥镜系统的处理系统，使用图3进行 说明。图3是表示根据本实施方式的胶嚢内窥镜系统内部的一个 结构例的框图。在此，只以各单元的主要结构为例进行说明。
胶嚢内窥镜IO，如已经在图1中说明的那样，具有如下的结 构，即利用由照明部112a及112b构成的光源112照射的照明光 的反射，由摄像部111拍摄体内被摄体(脏器等)，并利用无线信 号将该拍摄图像从无线部142发送。
夹克3具有如下结构，即在4个天线31、 32、 33、 34上连 接选择器35,并在该选择器35上连接了连接用于与接收机4连 接的电缆的I/F36。该夹克3由4个天线31、 32、 33、 34来接收 从胶嚢内窥镜IO发送的无线信号，并由选择器35根据电波强度 选择接收信号，通过I/F36传输到接收机4中。在该夹克3中， 没有设置大容量存储器，通过天线31、 32、 33、 34接收的摄像 图像依次传输到后级的接收机4中。
接收机4的内部结构具有通过电缆与夹克3的I/F36进行通 信用的I/F40、根据预先准备的程序控制接收机全体的CPU46、 与安装的CF存储器44之间进行数据通信的CF存储器I/F47、 与工作站5之间通过电缆进行通信的I/F48。
接收机4在通过胶嚢内窥镜10观察体内期间中，为了确保可 依次从夹克3侧接收摄像图像的状态，始终安装在被检查者2上。 从而，在观察期间中，从夹克3依次接收拍摄的图像，该接收图 像通过CF存储器1/F47依次存储到CF存储器44中。在该观察
期间中，接收机4与工作站5成为非连接状态，被检查者2不被 拘束于医院等，可以自由移动。
CF存储器读写器6的内部结构具有根据预先准备的程序来控 制读写器全体的CPU61、与安装的CF存储器44之间进行数据 通信的CF存储器I/F62、与工作站5之间通过电缆进行通信的 I/F63。
CF存储器读写器6，安装有CF存储器44,并且通过I/F63 连接到工作站5上，对CF存储器44进行根据本实施方式的诊断 用的摄像信息的格式化，或从CF存储器44读出已存储的摄像图 像数据并传输到工作站5中。在此，摄像图像数据是JPEG等形 式。
这样，在本实施方式中，可任意选择是从接收机4对工作站5 直接传输摄像图像数据、或是从接收机4将CF存储器44移到 CF存储器读写器6上而对工作站5传输摄像图像数据。
工作站5具有如下的结构，即进行根据本实施方式的脏器图 像等显示的显示部51、管理通过电缆与接收机4的I/F48之间的 通信或者管理通过电缆与CF存储器读写器6的I/F63之间的通 信的I/F52、存储各种处理中使用的数据的大容量存储器53、根 据预先准备的程序控制工作站5全体的CPU54、输入各种操作的 输入部55、分别连接到标签打印机7、经由网络9的数据库8或 其他打印机上而用于进行各种输出处理的输出部56等。
观察期间结束，接收机4可通信地连接在工作站5上时，存 储在CF存储器44中的摄像图像数据从接收机4传输到工作站5, 并存储在存储器53中。在工作站5中，在诊断时显示根据本实施 方式的胶嚢内窥镜10的摄像图像的显示、后述的平均颜色滑块的 显示、胶嚢内窥镜10的轨迹等。诊断结果从打印机作为病历簿输 出，或者按患者存储到数据库8中。
接着，对根据本实施方式的具体流程进行说明。图4、图5 以及图6是表示与根据本实施方式的观察流程有关的画面变迁的
一个例子的图，图7以及图8是说明与^^据本实施方式的"^察流 程有关的画面变迁的一个例子的图，并且，图9是说明根据本实 施方式的平均颜色条显示用的动作的流程图。此外，设用于平均 颜色滑块显示的程序的存储方法是从CD - ROM等存储介质直接 安装，或者从网络等外部下载后安装，存储到工作站5的存储器 53中。
首先，医生(或者护士)，使用工作站5以及CF读写器6, 进行CF存储器44的格式化。此时，在工作站5的显示部51上， 作为观察前的流程，显示提示将CF存储器44插入到CF存储器 读写器6中，并将该CF存储器读写器6连接到工作站5上(图 4(A))的画面。由医生进行"下一步"的菜单操作时，处理转移到下 面的向导画面显示。此时，由医生根据上述向导完成准备。此外， 当该准备不完全，并以该状态进行了"下一步"的菜单操作时，也可 以显示CF存储器未插入或者CF存储器读写器未连接等消息。
在接着的向导画面中，显示了提示输入诊察信息以及患者信 息的向导画面(图4(B))。作为诊察信息，例如有医院名、胶嚢给 药医师(护士 )名、胶嚢投入日期时间、胶嚢编号、接收机编号 的输入项目。另外，作为患者信息，有患者ID、患者名、患者性 别、患者年龄、患者出生年月日的输入项目。当完成向各种输入 项目的输入操作，并进行"下一步"菜单操作时，显示输入项目的确
认画面(图5(A))。此外，可由"返回"的菜单#:作移到前一画面。
在接着的向导画面中(图5(A)),显示有由前面画面输入的项 目的确认，因此，当通过医生的操作再次进行"下一步"菜单操作时， 认为输入信息没有问题，显示画面再次移到下一画面(图5(B))。 此时，在CF存储器44中被写入输入项目信息。另外，当进行了
"返回"菜单操作时，可修正前次输入的项目。
在接着的向导画面中(图5(B))，显示有CF存储器44的拔 出指示、将根据输入项目打印所需识别信息的标签粘贴在接收机4和CF存储器44上的指示、以及将CF存储器44插入到接收机4 的指示的消息。并且，根据医生的操作，进行"完成"菜单操作时， 完成了向被检查者的胶嚢内窥镜10给药前的准备。
并且，完成向被检查者2的胶嚢内窺镜10的给药后，开始体 内观察，并通过接收机4的操作开始向CF存储器44存储摄像图 像数据。观察期间期满，向CF存储器44的存储结束时，医生将 再次从工作站5接受指导。
首先，显示从接收机4取出CF存储器44,并插入到CF存 储器读写器6的向导画面(图6(A))。根据以上消息进行准备后， 由医生进行"下一步"的菜单操作时，显示画面移到下一个画面(图 6(B))。
在接着的向导画面中(图6(B))，从该存储器中读出、显示存 储在CF存储器44中的诊断信息和患者信息。该显示的内容信息、 即由观测得到的信息(摄像图像数据等)，将被工作站5取得。
由此完成信息的取得后，由医生进行"下一步"的菜单操作时， 进行从CF存储器44取得数据的处理，当完成数据的取得处理时， 显示指示从CF存储器44取得数据完成、将CF存储器44从CF 存储器读写器6取出、诊察开始的向导画面(图6(C))。并且，由 医生进行"完成"菜单操作时，完成与观察流程有关的 一 系列向导。
此外，在 一 系列的画面变迁中，有取消、帮助的图标，各医 生可任意地进行选择操作。当操作了取消时，当前为止的输入被 初始化。
在诊察处理的阶段中，首先一览显示保存在工作站5的存储 器53中的各患者的诊察信息以及患者信息(图7)。由此，医生
例如可用光标选择操作对哪个患者进行诊察。对于选择状态，进 行翻转显示等即可。在光标的选择状态下进行"诊察"菜单操作时， 决定诊察对象的患者。此外，对于已经诊察完的患者，如图7，在 一览显示中添加"完成"就可容易地识别有无诊察。
由此，决定作为诊察对象的患者时，如图8所示，显示诊察
处理画面。在该诊察显示画面中，显示有诊察所需的信息。501、 502分别表示相应患者的患者信息、诊察信息，503表示显示摄像 图像中的一张的图像显示栏。504A表示对于医生关心的图像，列 出通过操作利用软件的检验按钮CHK的任意地检验(选择)的摄 像图像的检验图像显示栏。
505表示将显示在图像显示栏503上的摄像图像的摄像位置 (体内位置)以3D ( 3維)显示的3D位置显示栏，506表示用 于进行使摄像图像显示在图像显示栏503上的重放操作的重放操 作栏，507表示对于从接收机的接收开始时刻到接收结束时刻的 摄像图像，按时间序列以对应脏器的平均颜色进行颜色区分的平 均颜色条。该平均颜色条507起着表示观察期间的经过时间的刻 度的作用。在显示画面中，除此之外还显示有"帮助"、"返回"、"取 消"、"诊察结束打印病历簿"各菜单。
平均颜色条507利用脏器不同而颜色不同的特性，从摄像图 像的各帧中求出平均颜色，并按时间序列配色。从而，在平均颜 色条507中，对应各脏器的区间，胶嚢内窥镜IO移动时的摄像图 像的平均颜色变为大致均匀。即使在同 一脏器内移动时摄像的图 像中包含有噪音，也能够通过对每帧求出一个画面的平均颜色， 得到每个脏器大致均匀的配色。
在该平均颜色条507中，滑块S能够在时间轴方向上移动地 显示。该滑块S起到将显示在图像显示栏503中的摄像图像位置 用位置表示在平均颜色条507上的指标的作用。从而，根据重放
操作栏506的操作，进行滑块S的移动显示控制。平均颜色条507中的滑块S的移动和显示在图像显示栏503 中的摄像图像的切换同步联动。即，在重放操作栏506中，对以 下按钮进行显示控制利用用于操作沿时间序列方向的重力文正方 向的软件的帧重放按钮、重放按钮及高速重放(高重)按钮、和 利用用于沿时间序列方向操作重放反方向的软件的帧反重放按 钮、反重放按钮及高速反重放(高反)按钮。在该重放操作栏506 中，还对停止按钮进行显示控制。由医生通过输入部55的操作例如用未图示的鼠标点击了重 放按钮时，在图4象显示栏503中以重i文正方向4妄时间序列显示才艮 据摄像图像数据的图像。另外，当点击了帧重放按钮时，以重放 正方向显示其次的图像，当点击了高速重放按4丑时，以重放正方 向利用重放按钮的重放而高速地重放显示图像。如果正在重放或 者正在高速重放时点击停止按钮，则以显示被点击时的图像的状 态，停止显示图像的切换。另外，由医生通过输入部55的#:作例如用未图示的鼠标点击 了反重放按钮时，在图像显示栏503中对于时间序列方向按重》文 反方向显示根据摄像图像数据的图像。另外，当点击了帧反重放 按钮时，以重放正方向显示前一个图像，当点击了高速反重放按 钮时，以重放反方向利用反重放按钮的重放而高速地重放显示图 像。如果正在反重放或者正在高速反重放时点击停止按钮，则以 显示被点击时的图像的状态而停止显示图像的切换。另外，在图像显示栏503中重放或者反重放图像时，当发现 了如出血部位等患部时等，可根据医生的裁定与其他图像相区别 而选出检验图像。这样，想要检验时，需要由医生操作检验按钮 CHK。被检验的图像，作为缩略图像追加显示在检验图像显示栏 504A中。由于检验图像显示栏504A中有显示区域的制约，因此，
能够进行预先决定的张数为止的图像显示。在本实施方式中，例 如，如图8所示，能够进行5张图像为止的显示，对于除此之外 的检验图像，可由滚动操作来切换显示图像。在此，平均颜色条507可由与脏器的种类对应的平均颜色而 区分，因此，医生可参照平均颜色条507直观地将显示图像迅速 移到与所希望的脏器有关的摄像图像的位置上。此时，使用未图 示的鼠标移动操作平均颜色条507的滑块S即可。在平均颜色条 507上移动操作滑块S时，在图像显示栏503中，执行可跟随该 移动顺序切换到由滑块S表示的位置的图像的处理。在本实施方式中，当医生从显示图像发现了出血部位时，可 对每个摄像图像赋予作为出血部位的标志。此时，虽然未图示， 但是可以在显示在当前图像显示栏503中的状态下显示子菜单， 通过手动进4亍出血部位的标记设定即可。由此，例如，如图8所 示，可如出血部位V1、 V2那样与平均颜色条507的位置对应进 行显示。另外，也能够通过图像处理自动抽出出血部位，此时，操作 508所示的出血部位自动检索按钮即可。通过该出血部位自动枱r 索按钮508的操作，既可以对显示在当前图像显示栏503的图像 进行，也可以对全部图像进行出血部位抽出。通过自动检索发现 了出血部位时，与手动时相同，对应每个图像赋予标记即可。医生的诊察可以通过"诊察结束打印病历簿"的菜单操作来结 束。诊察结果成为病历簿从工作站5通过未图示的打印机，或者 经由数据库8被打印。在平均颜色条507的显示中，如图9进行处理。即，由图7 所示的 一 览显示决定诊察对象的患者时，对应该患者的摄像信息 文件被指定。并且，从存储器53读出一帧的图像文件并打开(步 骤S1),测定以帧为单位的摄像图像的平均颜色(步骤S2)。
测定平均颜色，并得到平均颜色数据时，该第一帧的平均颜 色数据被存储到存储器53中(步骤S3)。并且，已经处理的图像 文件被关闭，按时间序列排列的下一个图像文件被读出、打开，之后，反复执行同样的处理(步骤5的"否"路径)。对诊察对象患者的全部摄像信息求出平均颜色时(步骤S5), 使用存储在存储器53中的平均颜色数据，如图8所示显示控制平 均颜色条507 (步骤S6 )。这样，完成平均颜色条507的显示。 此时，滑块S的初始位置设为平均颜色条507的左端(开始位置)， 但是并不限定于此。另外，包含摄像图像数据等的摄像信息成为庞大的信息量， 因此，也可以无需打开所有的图像文件并对全帧求出平均颜色， 高效率地在间除数帧的同时求出平均颜色。另外，在本实施方式 中，将求出的平均颜色显示在平均颜色条507上，但并不限定于 此，将与该平均颜色对应的颜色显示在平均颜色条507上即可。如上所说明，根据本实施方式，显示了表示由胶嚢内窥镜(体 内摄像装置)按时间序列拍摄的输入图像数据的整个摄像期间的 刻度，显示能够在该刻度上移动的滑块，显示与刻度上的滑块移 动进行联动而与滑块位置对应的摄像时刻的图像，将与输入图像 数据的 一 个画面的平均颜色信息对应的颜色显示在刻度上的时间 上对应的位置上，因此，根据摄像部位区分颜色，并由该区分颜 色后的颜色能够容易地判断体内脏器。由此，提高了图像检索性， 并且，能够容易识别显示图像是哪个脏器的图像。然后，在上述实施方式中，将排列在平均颜色条上的平均颜 色作为指标识别脏器位置，但本发明并不限定于此，如以下所说 明的变形例那样，也可以具有使脏器名对应于平均颜色而显示的 追加功能。乂人而，以下所说明的变形例与前述结构以及功能相同， 因此，只-说明追加部分。 在此，图10是表示与根据本实施方式一个变形例的诊察处理 有关的显示画面的一个例子的图，图11是说明根据本实施方式一 个变形例的脏器名自动辨别原理的图，并且，图12是说明根据本 实施方式一个变形例的脏器名自动辨别原理的流程图。在图10中，脏器名与平均颜色条507的各平均颜色对应显示。 在平均颜色条507中，以胶囊内窥镜IO在体内以时间序列摄像的 顺序，平均颜色按食道、胃、小肠、大肠的顺序排列。从而，在 平均颜色条507中，与各脏器的平均颜色对应，以食道、胃、小 肠、大肠的顺序显示脏器名509。并且，自动辨別脏器名时自动辨别脏器范围。经过时间中的 各摄像图像的红色水平、蓝色水平具有如图ll所示的特性。实际 图像包含着噪音成分，因此，对具有该特性的红色、蓝色水平在 时间轴方向上施加低通滤波(LPF)处理来去除噪音。并且，抽 出对LPF处理后的时间轴方向的红色、蓝色的各水平共同具有的 边缘部位(变色边缘)。在图11的例中，由上述抽出的变色边缘，是①、②、③三处。 从而，根据变色边缘①、②、③的时间轴方向的位置，进行如下的 自动判别，即最初的变色边缘①是从食道向胃的移动部位，②是 从胃向小肠的移动部位，并且，③是从小肠向大肠的移动部位。 此时的脏器名位次是根据被胶嚢内窥镜10摄像的脏器的时间轴 方向排列的。在此，作为根据以上原理的处理，首先算出红色水平、蓝色 水平(步骤S21),对红色水平、蓝色水平分别施加时间轴方向的 LPF处理(步骤S22),根据进行变色边缘①、②、③的检测(步 骤S23)。并且，根据变色边缘①、②、③的时间位置进行脏器范 围的自动辨别，与平均颜色条507的各平均颜色对应来显示脏器 名(步骤S24)。
这样，对表示由胶嚢内窥镜按时间序列拍摄的输入图像数据 的整个摄像期间的刻度进行显示，显示在该刻度上能够移动的滑 块，显示与刻度上的滑块移动进行联动而与滑块位置对应的摄像 时刻的图像，根据输入图像数据的 一 个画面的颜色信息来辨别脏 器，对应刻度显示脏器名，因此，能够根据显示的脏器名容易地 判断体内的脏器。由此，提高图像的检索性，并且，能够容易地 识别显示图像是哪个脏器的图像。然后，在上述变形例中，根据变色边缘自动辨別平均颜色条 上的脏器范围，但是本发明并不限定于此，也可以在胶嚢内窥镜 10中设置pH传感器，并使用测定的pH值使脏器范围的确定更正确。此时，在观察期间中，由pH传感器测定pH值，对于该 pH值也与摄像图像同样按时间序列测定，并存储在接收机4中。 此时，在各帧(图像文件)中使摄像图像和pH值共存等来使其 相关联进行存储。在此，图13是说明图11的变形例的应用例的图。在追加了 该pH值的自动辨别中，如图13所示，利用胃是酸性这一点，比 较酸性部位和变色边缘①、②，从而辨别胃的部位，能够进一步 提高辨别精度。接着，对前述实施方式中的病历簿制作进行说明。图14是说 明与根据本实施方式的诊察流程有关的画面变迁的 一 个例子的 图，图15是说明根据本实施方式的指定图像的摄影时间显示用的 动作的流程图。医生的诊察可以由"诊察结束打印病历簿，，的菜单操 作来结束，但是还可以移到病历簿制作流程。处理从图8的显示画面移到图14的显示画面时，进行医生的 评语记入和表示各检验图像在平均颜色条507上对应哪个经过时 间的标i己显示。即，在图14中，504B表示检验图像显示栏，采用比前述检 验图像显示栏504A大的区域，并设置在画面下段。另外，作为 与检验图像显示栏504A不同的点，向各摄像图像赋予编码① ⑩ 进行显示。该检验图像显示栏504B具有与检验图像显示栏504A 相同的功能。510表示输入医生意见(评语)进行显示的评语插入栏。在 该评语插入栏510中，医生的诊断结果作为评语被插入。511表 示摄影时间显示标记，该摄影时间显示标记对于显示在检验图像 显示栏504B中的对象检验图像，分别在平均颜色条507上作为 标记显示是哪个经过时间时的摄像图像。作为该摄影时间显示标 记，显示作为在平均颜色条507上指示检验图像的摄像时刻的指 标的向下箭头、和为使明确与检验图像的对应关系而赋予检验图 像的上述编号，该上述编号表示与检验图像关联的关联显示。在图14中，作为例子举出了 IO张检验图像。该例中，在平 均颜色条507上，按照食道、胃、小肠、大肠的顺序按时间序列 对平均颜色进行了颜色区分。从而，由脏器名509的各脏器范围 可知，在食道范围中存在检验图像的标记①，在胃范围中存在检 验图像的标记②、③以及④。另外，在小肠范围中存在检验图像的 标记⑤、⑥、⑦、⑧、 以及 。从而，根据图14的例子，可确认在食道、胃、小肠上分别存 在医生检验的图像，并且，与各检验图像被摄影时的时间对应而 显示配置了标记，因此，医生能够容易地确认检验图像是在各脏 器的哪处摄影的图像。此外，在图14中，在显示脏器名的平均颜 色条507上显示摄影时间显示标记，但是也可以如图8那样显示 在没有显示脏器名的平均颜色条上。另外，在图14中，作为摄影 时间显示标记，显示了表示与检验图像的关联的关联显示(编号)， 但是，也可以是表示摄像时刻的位置的指标(向下箭头)。对于以上的标记显示，使用图15说明其处理。在检验图像即
指定图像的摄影时间显示中，首先从存储器53取得指定图像的文件制作日期时间(步骤S31)，算出从摄影开始日期时间起的经过 时间(步骤S32)。并且，在与平均颜色条507上的经过时间对应 的地方，以平均颜色条507的刻度，控制如图14所示的标记显示 (步骤S33)。之后，当操作了病历簿打印时，执行用于打印病历 簿的输出。如上所说明，根据本实施方式，显示了表示由胶嚢内窥镜(体 内摄像装置)按时间序列拍摄的输入图像数据的整个摄像期间的 刻度，将与输入图像数据的 一 个画面的平均颜色信息对应的颜色 显示在刻度上的时间上对应的位置上，显示与输入图像数据对应 的图像，在刻度上显示表示与被指定的图像的摄像时刻对应的位 置的指标，因此，能够在视觉上容易地识别指定图像在哪个时间 带上有多少等。另外，可根据按摄像部位区分颜色的颜色，容易 地判断脏器，因此可容易地识别指定图像在哪个脏器的哪处较多。
另外，显示表示由胶嚢内窥镜按时间序列拍摄的图像数据的 整个摄像期间的刻度，根据输入图像数据的 一 个画面的颜色信息 来辨别脏器，使该被辨别的脏器名与刻度对应进行显示，显示与 输入图像数据对应的图像，在刻度上显示表示与被指定的图像的 摄像时刻对应的位置的指标，因此，能够根据显示的脏器名而容 易地判断体内的脏器。由此，能够容易地识别指定图像在哪个脏 器的哪处较多。如上所说明，根据该发明，显示表示由体内摄像装置按时间 序列拍摄的输入图像数据的整个摄像期间的刻度，将与输入图像 数据的 一个画面的平均颜色信息对应的颜色显示在与刻度上的时 间对应的位置上，显示与输入图像数据对应的图像，在刻度上显 示表示与被指定图像的摄像时刻对应的位置的指标，因此，具有 如下效果，能够在视觉上容易地识别指定图像在哪个时间带上有
多少等，并且，可根据按摄像部位而区分颜色的颜色容易地判断 脏器，因此，能够容易地识别指定图像在哪个脏器的哪处较多。另外，根据该发明，显示表示由体内摄像装置按时间序列拍 摄的图像数据的整个摄像期间的刻度，根据输入图像数据的 一 个 画面的颜色信息来辨别脏器，使该被辨别的脏器名与刻度对应进 行显示，显示与输入图像数据对应的图像，在刻度上显示了表示 与被指定图像的摄像时刻对应的位置的指标，因此，具有如下效 果，能够根据显示的脏器名容易地判断体内的脏器，由此，能够 容易地识别指定图像在哪个脏器的哪处较多。工业上的可利用性如上所述，与本发明有关的图像显示装置、图像显示方法以 及图像显示程序，适用于对使用胶嚢型内窥镜等按时间序列拍摄 体内得到的庞大图像进行检索的系统。
权利要求
1.一种图像显示装置，其特征在于，具备取得单元，其取得由体内摄像装置拍摄的多个图像；条显示单元，其显示对由前述多个图像构成的图像的流进行描绘的条；以及指标显示单元，其显示与前述条相对应地表示范围的指标，使得关于前述多个图像形成至少一个组。
2. 根据权利要求1所述的图像显示装置，其特征在于， 前述条显示单元具备分析单元，其对于包含在前述流中的图像内的至少几个图像 检测颜色信息并进行分析；要点生成单元，其根据前述分析单元的分析结果，对于包含 在前述流中的图像内的至少几个图像生成其内容的要点；以及要点显示单元，其与包含有生成了前述要点的图像的位置相 对应地显示检测出前述颜色信息的图像的要点，前述指标显示单元与由前述条显示单元显示的前述图像的要 点相对应地显示前述指标。
3. 根据权利要求1或2所述的图像显示装置，其特征在于， 前述指标显示单元显示与前述条相对应地表示范围的指标，使得将前述条分割为多个组。
4. 根据权利要求3所述的图像显示装置，其特征在于，前述分析单元检测前述颜色信息的特性发生变化的变化点， 前述指标显示单元将前述变化点作为前述组的边界而进行分组。
5. 根据权利要求1所述的图像显示装置，其特征在于，前述条显示单元显示作为刻度的条，其中所述刻度表示取得 前述多个图像的整个摄像期间。
6. 根据权利要求4或5所述的图像显示装置，其特征在于， 具备脏器辨别单元，该脏器辨别单元根据基于前述分析单元 的分析结果的分组处理来辨别脏器，前述指标显示单元对与由前述脏器辨别单元辨别的脏器对应 的组显示指标。
7. 根据权利要求6所述的图像显示装置，其特征在于，前述指标显示单元使由前述脏器辨别单元辨别的脏器名与前 述条相对应地进4于显示。
8. 根据权利要求6所述的图像显示装置，其特征在于，前述脏器辨别单元采纳与前述图像关联而得到的生物体信 息，来辨别脏器。
9. 根据权利要求7所述的图像显示装置，其特征在于，前述脏器辨别单元采纳与前述图像关联而得到的生物体信 息，来辨别脏器。
10. 根据权利要求1所述的图像显示装置，其特征在于， 前述指标被显示在报告作成画面上。
11. 一种图像显示方法，其特征在于，包括 取得步骤，取得由体内摄像装置拍摄的多个图像； 条显示步骤，显示对由前述多个图像构成的图像的流进行描绘的条；以及指标显示步骤，显示与前述条相对应地表示范围的指标，使 得对于前述多个图像形成至少一个组。
12. 根据权利要求11所述的图像显示方法，其特征在于， 前述条显示步骤具备分析步骤，对于包含在前述流中的图像内的至少几个图像检 测颜色信息并进行分析；要点生成步骤，根据前述分析步骤的分析结果，对于包含在 前述流中的图像内的至少几个图像生成其内容的要点；以及 要点显示步骤，与包含有生成了前述要点的图像的位置相对 应地显示检测出前述颜色信息的图像的要点，在前述指标显示步骤中与通过前述条显示步骤显示的前述图 像的要点相对应地显示前述指标。
13. 根据权利要求11或12所述的图像显示方法，其特征在于，在前述指标显示步骤中显示与前述条相对应地表示范围的指 标，使得将前述条分割为多个组。
14. 根据权利要求11所述的图像显示方法，其特征在于， 在前述分析步骤中检测前述颜色信息的特性发生变化的变化点，在前述指标显示步骤中将前述变化点作为前述组的边界而进行分组。
15. 根据权利要求11所述的图像显示方法，其特征在于， 在前述条显示步骤中显示作为刻度的条，其中，所述刻度表示取得了前述多个图像的整个摄像期间。
16. 根据权利要求14或15所述的图像显示方法，其特征在于，具备脏器辨别步骤，在该脏器辨别步骤中根据基于前述分析 步骤的分析结果来辨别脏器，在前述指标显示步骤中对与通过前述脏器辨别步骤辨别的脏 器对应的组显示前述指标。
17. 根据权利要求16所述的图像显示方法，其特征在于， 在前述指标显示步骤中使通过前述脏器辨别步骤辨别的脏器名与前述条相对应地进行显示。
18. 根据权利要求16所述的图像显示方法，其特征在于， 在前述脏器辨别步骤中采纳与前述图像关联而得到的生物体 信息，来辨别脏器。
19. 根据权利要求17所述的图像显示方法，其特征在于， 在前述脏器辨别步骤中采纳与前述图像关联而得到的生物体信息，来辨别脏器。
20. 根据权利要求11所述的图像显示方法，其特征在于， 前述指标被显示在报告作成画面上。
全文摘要
提供一种图像显示装置、图像显示方法及图像显示程序。显示表示由胶囊内窥镜按时间序列拍摄的图像的整个摄像期间的平均颜色条(507)。将全部摄像图像中被检验的图像，一览显示在检验图像显示栏(504B)中，算出各检验图像对应于摄像期间中的哪个时间，用平均颜色条(507)的刻度，在该平均颜色条(507)上以与各检验图像对应的编号进行标记显示。由此，提高拍摄体内所得的图像的检索性，并且，可容易地识别显示图像是哪个脏器的图像。
文档编号H04L1/00GK101133936SQ20071014566
公开日2008年3月5日 申请日期2004年4月21日 优先权日2003年4月25日
发明者本多武道, 药袋哲夫 申请人:奥林巴斯株式会社