图像处理装置和图像处理程序的制作方法

专利名称：图像处理装置和图像处理程序的制作方法
技术领域：
本发明涉及依次显示时间序列图像的图像处理装置和图像处理程序。
背景技术：
近年，在内窥镜领域中，提出了吞入型的胶囊型内窥镜，该胶囊型内窥镜构成为将 拍摄被检体内部的图像的摄像功能、和无线发送由摄像部所拍摄的图像数据的发送功能等 收容在胶囊形状的壳体内。该胶囊型内窥镜为了检查，在从作为被检体的患者的口被吞入 并被导入到被检体内部直到被自然排出的期间内，随着其蠕动运动而在体内的例如食道、 胃、小肠、大肠等脏器内部移动。并且，在体内移动中，以例如2 4(帧/秒)依次拍摄体 内的图像，将所拍摄的图像数据无线发送到体外的接收装置。由该胶囊型内窥镜所拍摄且 由体外的接收装置接收到的被检体内部的图像在诊断用的工作站等中按时间序列顺序依 次显示，由医师等观察者确认。该胶囊型内窥镜拍摄膨大张数的图像。因此，在诊断用的工作站等中，根据在时间 序列上靠近的图像间的类似度来检测图像间的变化，在变化急剧的情况下，使显示时间变 长，在变化缓慢的情况下，使显示时间变短来调整各图像的显示时间，从而减轻施加给观察 者进行图像观察的负担。作为这种技术，公知有这样的技术在图像内设定多个像素区域， 求出在时间序列上连续的图像间的各像素区域的运动矢量，从而判定图像的类似度。例如， 公知有这样方法根据求出的各运动矢量的方向是否一致来判定图像间的类似度，跳过类 似度高的图像的显示或者进行高速显示(参照专利文献1)。专利文献1 日本特开2006-280792号公报然而，胶囊型内窥镜在被检体内的移动方向不是恒定，当朝右方滑动(平行移动) 的胶囊型内窥镜将其滑动方向变为左方、或者进行了后退移动的胶囊型内窥镜落入内部而 进行了前进移动时，在改变其方向的同时进行移动。因此，所拍摄的图像的运动方向也变 化。在该图像的运动方向的变化方面，期望的是想要以慢于其他图像的显示速度观察。这 是因为，特别是在长时间的时间序列图像的观察中，当图像的运动方向急剧变化时，对该变 化的识别延迟，有可能发生漏看重要信息的事态。并且，因此，观察者进行追溯到之前以重 新观察图像来确认是否未漏看等的作业，具有观察效率下降的问题。

发明内容
本发明是鉴于上述情况而作成的，本发明的目的是提供一种可实现在显示时间序 列图像的情况下防止观察者漏看显示内容、并可提高观察效率的图像处理装置和图像处理 程序。为了解决上述问题、达到目的，本发明涉及的图像处理装置依次显示时间序列图 像，其特征在于，该图像处理装置具有运动方向变化图像提取单元，其检测构成所述时间 序列图像的图像间的运动，根据该检测出的图像间的运动来提取运动方向变化的图像；以 及显示速度控制单元，其将由所述运动方向变化图像提取单元提取出的图像和该图像的邻近图像的显示速度控制成与其他图像的显示速度相比相对较低。并且，本发明涉及的图像处理程序，其特征在于，该图像处理程序使具有依次显示 时间序列图像的显示部的计算机执行运动方向变化图像提取步骤，其检测构成所述时间 序列图像的图像间的运动，根据该检测出的图像间的运动来提取运动方向变化的图像；以 及显示速度控制步骤，其将由所述运动方向变化图像提取步骤提取出的图像和该图像的邻 近图像的显示速度控制成与其他图像的显示速度相比相对较低。根据本发明涉及的图像处理装置，可将运动方向变化的图像及其邻近图像的显示 速度控制成与其他图像的显示速度相比相对较低，因而可防止发生观察者漏看显示内容的 事态。因此，可效率良好地把握时间序列图像的内容，可取得提高观察效率的效果。


图1是示出包含实施方式1中的图像处理装置的图像处理系统的整体结构的概略 示意图。图2是说明实施方式1中的图像处理装置的功能结构的框图。图3是示出实施方式1中的图像处理装置进行的处理步骤的流程图。图4是用于说明运动矢量计算方法的图。图5是用于说明运动矢量计算方法的图。图6是说明匹配的图。图7是示出运动模式分类处理的详细处理步骤的流程图。图8是示出图像I (η)的一例的图。图9是示出图像I (η)的一例的图。图10是示出图像I (η)的一例的图。图11是示出图像I (η)的一例的图。图12是说明旋转方向判定方法的图。图13是说明旋转方向判定方法的图。图14是示出变形例中的图像处理装置的处理步骤的流程图。图15是说明变形例中的运动方向变化图像的提取处理的图。图16是说明实施方式2中的图像处理装置的功能结构的框图。图17是示出实施方式2中的图像处理装置进行的处理步骤的流程图。图18是说明分组处理的图。图19是示出分组处理的详细处理步骤的流程图。图20是说明运动方向变化的判定方法的图。图21是说明运动方向变化的判定方法的图。图22是说明运动方向变化的判定方法的图。标号说明10 胶囊型内窥镜；30 接收装置；Al An 接收用天线；50 可移动记录介质； 70，70b 图像处理装置；710 外部接口 720 输入部；730 显示部；740，740b 存储部； 741，741b 图像处理程序；750, 750b 运算部；751，751b 运动方向变化图像提取部；752 运动矢量计算部；753 块分割部；754 运动模式分类部；755，758 ；运动方向变化判定部；756 分组部；757 组判定部；760 控制部；761 图像显示控制部；763 显示速度控制部； 1 被检体。
具体实施例方式以下，参照附图详细说明用于实施本发明的最佳方式。另外，本发明不受该实施方 式的限定。并且，在附图记载中，对相同部分附上相同标号来表示。(实施方式1)图1是示出包含实施方式1中的图像处理装置70的图像处理系统的整体结构的 概略示意图。另外，在实施方式1中，说明对由在体内管腔内移动的胶囊型内窥镜所拍摄的 时间序列图像进行处理并显示的情况。如图1所示，图像处理系统具有以下等胶囊型内窥 镜10，其拍摄被检体1的体内管腔内的图像；接收装置30，其接收从胶囊型内窥镜10无线 发送的图像数据；以及图像处理装置70，其对由接收装置30接收到的图像进行图像处理。 关于接收装置30和图像处理装置70之间的图像数据的交换，可使用例如可移动型的记录 介质(可移动记录介质)50。胶囊型内窥镜10具备摄像功能和无线功能、对摄像部位进行照明的照明功能等， 例如为了检查而从人或动物等被检体1的口中被吞入并被导入到被检体1内部。然后，在被 自然排出之前的期间，以预定的摄像速率依次拍摄并取得食道、胃、小肠、大肠等的内部的 图像，将其无线发送到体外。在由该胶囊型内窥镜10拍摄的图像内，反映有粘膜、在体腔内 浮游的内容物、泡等，并且有时反映出病变等重要部位。并且，体内的胶囊型内窥镜10的通 过速度不是恒定，所拍摄的时间序列图像也是各种各样，如大幅变化的图像连续或者类似 的图像连续。另外，由胶囊型内窥镜10拍摄的管腔内图像是在各像素位置处具有与R(红 色)、G(绿色)、B(蓝色)的各颜色分量对应的像素级(像素值)的彩色图像。接收装置30具有多个接收用天线Al An，接收经由各接收用天线Al An从胶 囊型内窥镜10无线发送的图像数据。该接收装置30构成为可自由拆装可移动记录介质 50，将接收到的图像数据依次保存到可移动记录介质50内。这样，接收装置30将由胶囊型 内窥镜10所拍摄的被检体1内部的图像按时间序列顺序存储在可移动记录介质50内。接收用天线Al An例如由环形天线构成，如图1所示，分散配置在被检体1的体 表上的预定位置。具体地说，例如分散配置在与被检体1内的胶囊型内窥镜10的通过路径 对应的体表上的位置。另外，接收用天线Al An也可以分散配置在被检体1身穿的夹克 上。在该情况下，由于被检体1穿着该夹克，因而接收用天线Al An配置在与被检体1内 的胶囊型内窥镜10的通过路径对应的被检体1的体表上的预定位置。并且，接收用天线相 对于被检体1只要配置1个以上即可，对该数量不作限定。图像处理装置70由工作站或个人计算机等通用计算机来实现，并构成为可自由 拆装可移动记录介质50。该图像处理装置70取得保存在可移动记录介质50内的时间序列 图像，并将所取得的时间序列图像依次显示在IXD或ELD等显示器上。图2是说明实施方式1中的图像处理装置70的功能构成的框图。在实施方式1 中，图像处理装置70具有外部接口 710，输入部720，显示部730，存储部740，运算部750， 以及控制图像处理装置70整体动作的控制部760。外部接口 710用于取得由胶囊型内窥镜10拍摄且由接收装置30接收到的时间序
6列图像的图像数据，例如以可自由拆装的方式安装可移动记录介质50，由读出保存在该可 移动记录介质50内的图像数据的读出装置构成。由该外部接口 710所读取的时间序列图 像的图像数据被保持在存储部740，由运算部750处理，在控制部760的控制下依次显示在 显示部730上。另外，由胶囊型内窥镜10所拍摄的时间序列图像的取得不限定于使用可移 动记录介质50的结构。例如，可以构成为，另行设置服务器来取代可移动记录介质5，并将 时间序列图像预先保存在该服务器内。在该情况下，通过用于与服务器连接的通信装置等 构成外部接口。并且，可以经由该外部接口与服务器进行数据通信，取得时间序列图像。或 者，可以构成为，将由胶囊型内窥镜10所拍摄的时间序列图像预先保存在存储部740内，从 存储部740中读出而取得时间序列图像。输入部720例如由键盘、鼠标、触摸面板、各种开关等来实现，将所输入的指示信 息输出到控制部760。显示部730由IXD或ELD等显示装置来实现，通过控制部760的控 制，显示包含时间序列图像的显示画面在内的各种画面。存储部740由可更新存储的快闪存储器等ROM和RAM这样的各种IC存储器、内 置或用数据通信端子连接的硬盘、CD-ROM等信息存储介质及其读取装置等来实现，存储部 740存储有图像处理装置70的动作所涉及的程序、用于实现图像处理装置70所具有的各 种功能的程序、这些程序的执行所涉及的数据等。并且，存储有用于对时间序列图像进行处 理并将其依次显示在显示部730上的图像处理程序741。运算部750处理由胶囊型内窥镜10所拍摄的时间序列图像，并进行用于检测连续 的图像间的运动方向变化的各种运算处理。该运算部750包含作为运动方向变化图像提取 单元的运动方向变化图像提取部751，该运动方向变化图像提取部751检测连续的图像间 的运动并提取其运动方向变化的图像(以下称为“运动方向变化图像”)。该运动方向变化 图像提取部751由以下构成作为运动矢量计算单元的运动矢量计算部752，其针对每个块 计算图像间的运动矢量；作为运动模式判定单元的运动模式分类部754，其根据图像间的 运动矢量的方向对运动模式进行分类；以及运动方向变化判定部755，其判定图像间的运 动方向的变化。并且，运动矢量计算部752具有将图像块分割(区域分割)成多个块的作 为块分割单元的块分割部753。控制部760由CPU等硬件来实现。该控制部760根据经由外部接口 710取得的时 间序列图像的图像数据、从输入部720输入的操作信号、存储在存储部740内的程序和数据 等，对构成图像处理装置70的各部分进行指示和数据传送等，统一控制图像处理装置70整 体的动作。并且，控制部760包含图像显示控制部761，其进行将构成时间序列图像的各 图像依次显示在显示部730上的控制；以及作为显示速度控制单元的显示速度控制部763， 其将由运算部750的运动方向变化图像提取部751所提取的运动方向变化图像及其邻近图 像的显示速度控制得比其他图像的显示速度相对较低。下面，参照图3所示的流程图来说明实施方式1的图像处理装置70进行的处理步 骤。另外，这里说明的处理是通过由图像处理装置70的各部分按照存储在存储部740内的 图像处理程序741进行工作来实现的。如图3所示，在实施方式1的图像处理装置70中，首先运算部750使用于识别处理 对象的图像的时间序列顺序的图像编号η初始化(步骤al)。然后，运算部750从经由外部 接口 710取得且存储在存储部740内的时间序列图像中取得图像编号为n-1的图像I(n_l)和图像编号为η的图像I (η)(步骤a3)。接下来，块分割部753将图像I (n-1)、I (η)的各图像数据的像素空间块分割成多 个块(像素区域)(步骤a5)。各块的尺寸和数量等可以预先设定，也可以构成为能通过用 户操作等进行设定和变更，然而通过该块分割，将各块均等地配置在像素空间上。例如，将 图像I (n-1)、I (η)的各图像数据的像素空间块分割成4X4的16个块。然后，运动矢量计算部752按每个对应的块计算图像I (n-1)、I (η)间的运动矢量 (步骤a7)。例如，运动矢量计算部752使用图像I (n-1)、Ι (η)的G分量的归一化互相关来 计算运动矢量。使用G分量是为了使RGB分量中的G分量的灵敏度最好，容易产生亮度分 量的差。图4、图5是用于说明运动矢量计算方法的图，图4示出图像I (n-1)的像素空间， 图5示出图像I(n)的像素空间。这里，图4的图像I (n-1)的像素空间通过图3的步骤a5 的处理被块分割成16个块110。并且，图5的图像I (η)的像素空间也同样地被块分割成 16个块120。在计算运动矢量时，运动矢量计算部752以块为单位进行图像I (n-1)中的模 板区域111与图像I (η)中的匹配区域121之间的对应。S卩，首先如图4所示，运动矢量计算部752将模板区域111设定在图像Ι(η_1)的 各块Iio内。例如，在各块110的中央设定以其中心作为中心坐标(Xi，Yi)的区域、且比各 块110小的尺寸(tx，ty)的区域来作为模板区域111。i是模板区域编号，这里由于块110 的数量是16个，因而i = 1 16。然后，运动矢量计算部752使用图像I (n-1)的各块110的模板区域111的像素数 据，在图像I(n)的对应块120内进行利用归一化互相关的匹配。图6是说明匹配的图，示 出使用模板区域Illa的像素数据在图像I (η)中的对应块120a内检测匹配区域121a的状 况。在该匹配中，从块120a中检索与模板区域Illa最类似的区域，求出其归一化互相关值。 然后，检测与模板区域Illa最匹配的、即归一化互相关值高的区域作为匹配区域121a。这 里，将检测出的匹配区域121a的中心坐标设定为(xa，ya)。a是匹配区域编号，这里由于块 120a的数量是16个，因而a = 1 16。更具体地说，运动矢量计算部752使用模板区域和匹配区域的G分量的方差值来 进行匹配，根据下式(1)计算归一化互相关值E。f(n,x,y)是图像编号η的图像数据。[算式1]
t Y (f(u-l，i+p，yi+q)- (n~l>)(f(ivxa + p,ya+q)—
V tx
E=2 2^^
Σ (η -1,3d + p,yi q) (η -I 2 ^ ^(f(n,xa + p,ya + q)-f(n))2
…⑴如上所述，如图5所示，运动矢量计算部752针对各块120分别进行匹配，检测匹 配区域121。然后，运动矢量计算部752在图像I (n-1)的各块110的模板区域111和图像I (η)
8的对应块120内的匹配区域121之间计算中心坐标(Xi，yi)、(xa，yb)的变化作为运动矢量。 所获得的匹配结果的数据被保持在存储部740内。具体地说，与各模板区域编号相对应地 存储有所获得的匹配区域的中心坐标和其归一化互相关值E、运动矢量等。在计算出运动矢量后，如图3所示，接下来运动模式分类部754执行运动模式分类 处理以对图像I (η)的运动模式进行分类(步骤a9)。该图像I (η)的运动模式的分类是通 过根据图像I (η-1)、Ι (η)间的运动矢量将运动模式分类为“平行移动上”、“平行移动左上”、 “平行移动左”、“平行移动左下”、“平行移动下”、“平行移动右下”、“平行移动右”、“平行移动 右上”、“前进移动”、“后退移动”、“左旋转移动”、“右旋转移动”、“其他”中的任一种来进行 的。图7是示出运动模式分类处理的详细处理步骤的流程图。即，首先运动模式分类部754将在图3的步骤a7中进行的匹配的结果获得的归一 化互相关值E作为图像I (n-1)、I (η)间的运动矢量的可靠度，对于可靠度低的运动矢量，认 为匹配失败，进行将其从在运动模式分类中使用的运动矢量中排除的处理(步骤a911)。接 下来，运动模式分类部754判定是否对运动模式进行分类。例如，排除了可靠度低的运动矢 量的结果是，在运动模式分类中能使用的运动矢量数量是运动矢量的总数的一半以下(在 实施方式1中是8个以下)的情况下，运动模式分类部754判定为不进行运动矢量分类(步 骤a913 :否)，转移到步骤油27，将图像1(11)的运动模式分类为“其他”。这是因为匹配失 败数量多，即使进行运动模式分类，结果也认为不能获得可靠度。图8是示出图像I(n)的一例的图，在图8中示出在与图像I(n-l)之间所设定的 运动模式的分类中能使用的运动矢量131。例如，当在时间序列前后胶囊型内窥镜10的摄 像位置大幅变化、且图像的观察方法大幅变化时，匹配结果获得的归一化互相关值E降低。 因此，如图8所示的图像I(n)那样，产生很多被判定为运动矢量的可靠度低的部位133。在 这样的情况下，运动模式被分类为“其他”。另外，在运动模式分类中能使用的运动矢量是半 数以下的情况下，将运动模式分类为“其他”，然而无需是半数以下，也可以适当设定阈值。另一方面，在进行运动模式分类的情况下(步骤a913 是)，运动模式分类部754 进行将图像I(n)的运动模式分类为“平行移动”的处理(平行移动分类处理)(步骤a915)。 在运动模式是“平行移动”的情况下，图像I (n-1)、I (η)间的运动矢量全部具有相同方向。 因此，在各运动矢量的方向朝向大致相同方向的情况下，运动模式分类部754将图像I (η) 的运动模式分类为“平行移动”。具体地说，运动模式分类部754求出各运动矢量的方向的 方差，在所获得的方差值小于预定阈值的情况下，将运动模式分类为“平行移动”。图9是示出图像I (η)的一例的图，在图9中示出在与图像I (η_1)之间所设定的运 动模式的分类中能使用的运动矢量141。如图9所示的图像I (η)那样，在各运动矢量141 朝向大致相同方向的情况下，运动模式被分类为“平行移动”。在将运动模式分类为“平行移 动”的情况下，运动模式分类部754接下来求出各运动矢量的方向的平均，并分类为“上”、 “左上”、“左”、“左下”、“下”、“右下”、“右”、“右上”中的任一方。由此，被分类为“平行移动” 的图像Ι(η)的运动模式进一步被分类为移动方向各自不同的“平行移动上”、“平行移动左 上”、“平行移动左”、“平行移动左下”、“平行移动下”、“平行移动右下”、“平行移动右”、“平行 移动右上”中的任一方。接下来，如图7所示，判定图像I (η)的运动模式是否被分类为“平行移动”，在被分 类为“平行移动”的情况下(步骤a917:是)，结束本处理，回到图3的步骤a9。另一方面，在未被分类为“平行移动”的情况下(步骤a917 否)，运动模式分类部754进行将图像I (η) 的运动模式分类为“前进移动”或“后退移动”的处理(前进/后退移动分类处理)(步骤 a919)。图10是示出图像I (η)的一例的图，在图10中示出在与图像I (η_1)之间所设定 的运动模式的分类中能使用的运动矢量151。在“前进移动”或“后退移动”的分类中，如图 10中虚线所示，运动模式分类部754分别设定沿着各运动矢量151的直线153，在所设定的 直线153彼此相交的位置上设定采样点155。然后，在所设定的采样点155例如集中在预先 设定的预定尺寸的坐标范围内的情况下，运动模式分类部754将运动模式分类为“前进移 动”或“后退移动”。例如，在图像Ι(η)上扫描，检索包含有预定的基准采样点数量以上的 采样点的坐标范围157，在检索到的情况下，分类为“前进移动”或“后退移动”。作为基准 采样点数量，例如可适当设定采样点总数的半数以上等。然后，在分类为“前进移动，，或“后退移动，，的情况下，运动模式分类部754针对检 索出的坐标范围内的各采样点的例如平均位置，在各运动矢量的方向朝向平均位置的方向 的情况下，分类为“前进移动”，在各运动矢量的方向朝向相反方向的情况下，分类为“后退 移动”。例如，在图10的例子中，各运动矢量151朝向与采样点155集中的坐标范围157相 反的方向，被分类为“后退移动”。另外，即便实际上胶囊型内窥镜10的位置没有移动，然而 在消化道的粘膜由于蠕动运动而收缩、并获得了胶囊型内窥镜10前进或后退的图像的情 况下，也被分类为“前进移动”或“后退移动”。接下来，如图7所示，判定图像I (η)的运动模式是否被分类为“前进移动”或“后 退移动”，在被分类为“前进移动”或“后退移动”的情况下(步骤a921 是)，结束本处理， 回到图3的步骤a9。另一方面，在未被分类为“前进移动”或“后退移动”的情况下(步骤 a921 否)，运动模式分类部754进行将图像I(n)的运动模式分类为“旋转移动”的处理(旋 转移动分类处理)(步骤a923)。图11是示出图像I (η)的一例的图，在图11中示出在与图像I (η_1)之间所设定 的运动模式的分类中能使用的运动矢量161。在“旋转移动”的分类中，如图11中虚线所 示，运动模式分类部754分别设定与各运动矢量161垂直的直线163，在所设定的直线163 彼此相交的位置上设定采样点165。然后，在所设定的采样点165集中在例如预先设定的预 定尺寸的坐标范围内的情况下，运动模式分类部754将运动模式分类为“旋转移动”。例如， 在图像I (η)上扫描以检索包含有预定的基准采样点数量以上的采样点的坐标范围167，在 检索到的情况下，分类为“旋转移动”。作为基准采样点数量，例如可适当设定采样点总数的 半数以上等。然后，在分类为“旋转移动”的情况下，运动模式分类部754接下来将检索出的坐 标范围内的各采样点的例如平均位置设定为旋转中心位置。然后，运动模式分类部754针 对各运动矢量，分别计算将其起点和终点分别与旋转中心位置连接得到的各直线所形成的 角度，根据求出的角度是正值还是负值来将旋转方向分类为“左”和“右”中的某一个。图 12、图13是说明旋转方向的判定方法的图。如图12所示，在使旋转中心位置171与运动矢 量173的起点175连接得到的直线、和使旋转中心位置171与运动矢量173的终点177连 接得到的直线所形成的角度θ是正值的情况下，将旋转方向设定为“左”。另一方面，如图 13所示，在使旋转中心位置181与运动矢量183的起点185连接得到的直线、和使旋转中心
10位置181与运动矢量183的终点187连接得到的直线所形成的角度θ是负值的情况下，将 旋转方向设定为“右”。由此，被分类为“旋转移动”的图像I (η)的运动矢量进一步被分类 为旋转方向分别不同的“左旋转移动”、“右旋转移动”中的某一方。接下来，如图7所示，判定图像Ι(η)的运动模式是否被分类为“旋转移动”，在被 分类为“旋转移动”的情况下(步骤a925:是)，结束本处理，回到图3的步骤a9。另一方 面，在未被分类为“旋转移动”的情况下(步骤a925 否)，运动模式分类部754转移到步骤 a927，将图像I(n)的运动模式分类为“其他”。即，在图像I(n)中的各运动矢量的方向没有 规则性，而且图像I (η-1)、Ι (η)间的运动模式未被分类为“平行移动”、“前进移动”、“后退移 动”、“旋转移动”中的任一方的情况下，运动模式分类部754在步骤a927中将图像I (η)的 运动模式分类为“其他”，回到图3的步骤a9。通过该运动模式分类处理所分类的图像I (η) 的运动模式被保持到存储部740。如图3所示，在执行了运动模式分类处理后，运算部750使图像编号η增加而设定 为η = n+1 (步骤all)，根据n值是否与构成时间序列图像的图像总数N —致，判定有无接 下来成为处理对象的图像。在不是η = N的情况下(步骤al3 否)，回到步骤a3。另一方 面，在η = N的情况下(步骤al3 是)，运算部750再次使图像编号η初始化(步骤al5)。 然后，运动方向变化判定部755从存储部740中读出并取得图像I (η-1)、Ι (η)的运动模式。 然后，运动方向变化判定部755对所取得的运动模式进行比较，判定运动方向的变化(步骤 al7)。在运动方向未变化的情况下(步骤al9 否)，转移到步骤a23。另一方面，在运动方向已变化的情况下(步骤al9 是)，运动方向变化图像提取部 751提取图像I(n)作为运动方向变化图像(步骤a21)，转移到步骤a23。具体地说，在图像 I (n-1) ,1 (η)的运动模式不同的情况下，运动方向变化判定部755判定其类似度。然后，运 动方向变化判定部755在运动模式类似的情况下，判定为运动方向未变化；在运动模式不 类似的情况下，判定为运动方向已变化。例如，将“平行移动上”和“平行移动左上”、“平行 移动左上”和“平行移动左”、“平行移动左”和“平行移动左下”、“平行移动左下”和“平行移 动下”、“平行移动下”和“平行移动右下”、“平行移动右下”和“平行移动右”、“平行移动右” 和“平行移动右上”、“平行移动右上”和“平行移动上”预先定义为分别类似的类似移动图 形，在图像I (n-1)、I (η)的运动模式的组合与任一类似运动模式一致的情况下，判定为运 动方向未变化。提取出的运动方向变化图像的数据(图像编号)被保持到存储部740。然后，在步骤a23中，运算部750使图像编号η增加而设定为η = n+1，接着根据η 值是否与构成时间序列图像的图像总数N—致，判定有无接下来成为处理对象的图像。在 不是η = N的情况下(步骤a25 否)，回到步骤al7。另一方面，在η = N的情况下(步骤 a25 是)，接下来图像显示控制部761进行将构成时间序列图像的各图像按时间序列顺序 依次显示的控制，然而此时，显示速度控制部763将以在步骤a21中提取出的运动方向变化 图像为中心在前后连续的预定数量的图像设定为邻近图像，进行使运动方向变化图像和邻 近图像的显示速度比其他图像的显示速度相对低的控制(步骤a27)。如以上说明那样，根据实施方式1，可根据构成时间序列图像的图像间的运动矢量 对各图像的运动模式进行分类，可根据该运动模式提取运动方向已变化的图像。然后，在依 次显示时间序列图像时，可进行使运动方向已变化的图像及其邻近图像的显示速度比其他 图像的显示速度相对低的控制，因而在观察时间序列图像时，观察者能以比其他图像慢的显示速度观察运动方向变化的图像。并且，作为观察者，在观察时显示速度不慢的情况下， 还具有能预测图像运动方向变化的效果。这样，可防止发生观察者漏看显示内容的事态。因 此，可效率良好地掌握时间序列图像的内容，可取得提高观察效率的效果。另外，在实施方式1中，说明了提取运动方向已变化的图像作为运动方向变化图 像的情况，然而在相同运动模式的图像连续了预定数量之后，图像的运动方向已变化的情 况下，可以提取该运动方向已变化的图像作为运动方向变化图像。图14是示出本变形例中 的图像处理装置的处理步骤的流程图。另外，对于在实施方式1中与图3所示说明的处理 步骤相同的处理步骤，附上相同标号。如图14所示，在本变形例的图像处理装置中，运动方向变化判定部在步骤al7中 对图像I(n-l)、I(n)的运动模式进行比较并判定运动方向变化的结果是运动方向已变化 的情况下(步骤al9:是)，接下来从图像I(n-l)追溯，判定与图像I (n_l)为相同运动模 式的图像是否连续了预定数量(步骤b20)。这里，作为预定数量，预先设定了 2以上的值， 其既可以是固定值，也可以构成为能通过用户操作等来变更设定。然后，在未连续的情况下 (步骤b20 否)，转移到步骤a23。另一方面，在连续的情况下(步骤b20 是)，转移到步 骤a21，运动方向变化图像提取部提取图像I(n)作为运动方向变化图像，之后转移到步骤
3,23 ο图15是说明本变形例中的运动方向变化图像的提取处理的图，示出从图15中的 内侧向近前侧连续的时间序列图像。如图15所示，在运动模式是“前进移动”的预定数量 以上的图像连续到图像I (n-1)之后，在图像I(n)中运动模式变化为“平行移动右”的情况 下，图像I (η)作为运动方向变化图像而被提取。然后在该情况下，图像I (η)和前后连续的 预定数量的图像的显示速度减速。根据本变形例，在连续了相同运动模式的图像之后运动 方向已变化的情况下，能以比其他图像慢的显示速度观察该变化的图像。因此，可防止对图 像运动方向的急剧变化的识别延迟、以及伴随识别延迟而漏看重要信息的事态。(实施方式2)下面说明实施方式2。图16是说明实施方式2中的图像处理装置70b的功能结 构的框图。另外，对于与实施方式1中说明的结构相同的结构，附上相同标号。在实施方式 2中，图像处理装置70b具有外部接口 710，输入部720，显示部730，存储部740b，运算部 750b,以及控制图像处理装置70b整体动作的控制部760。在存储部740b内存储有图像处 理程序741b。并且，运算部750b包含运动方向变化图像提取部751b，运动方向变化图像提取部 751b由以下构成具有块分割部753的运动矢量计算部752 ；运动模式分类部754 ；作为分 组单元的分组部756 ；作为组判定单元的组判定部757 ；以及运动方向变化判定部758。分组 部756对被判定为运动模式相同的、在时间序列上连续的图像群进行分组。组判定部757判 定所分组的邻接组是否是由预定的基准图像数量以上的图像构成的组。在本实施方式中， 作为基准图像数量，预先设定了应用于在时间序列上为前面的邻接组的基准前图像数量、 和应用于在时间序列上为后面的邻接组的基准后图像数量。运动方向变化判定部758判定 组之间的运动方向的变化。然后，运动方向变化图像提取部751b在由运动方向变化判定部 758判定为运动方向已变化的组内提取出在时间序列上为开头的图像作为运动方向变化图 像。
12
图17是示出实施方式2中的图像处理装置70b进行的处理步骤的流程图。另外， 这里说明的处理是通过由图像处理装置70b的各部分按照存储在存储部740b内的图像处 理程序741b进行动作来实现的。并且，对于与在实施方式1中图3所示说明的处理步骤相 同的处理步骤，附上相同标号。如图17所示，在实施方式2的图像处理装置70b中，在步骤al3中判定为η = N 的情况下(步骤al3:是)，接下来分组部756执行分组处理(步骤cl5)。图18是说明分 组处理的图，图18示出了将图18中的最内侧设定为开头(图像编号1)的图像I(I)朝向 近前侧连续的时间序列图像。在分组处理中，对被判定为运动模式相同的在时间序列上连 续的图像群进行分组。在图18的例子中，运动模式被分类为“平行移动右”的图像I(I) K4)的图像群被分组为组G(l)。并且，在组G(I)后面，图像模式被分类为“平行移动左上” 的4张图像被分组为组G (2)；在组G (2)后面，图像模式被分类为“平行移动右”的3张图像 被分组为组G(3)；在组G(3)后面，连续着图像模式被分类为“右旋转移动”且被分组为组 G (4)的图像。图19是示出分组处理的详细处理步骤的流程图。在分组处理中，分组部756首 先使图像编号η再次初始化(步骤dl)，将图像I(n-l)登记在开头的组内(步骤d3)。接 下来，分组部756从存储部740b中读出并取得在图17的步骤a9中所分类的图像I (n_l)、 I(n)的运动模式(步骤d5)。然后，分组部756对所取得的运动模式进行比较，在运动模式 相同的情况下(步骤d7:是)，将图像I(n)追加登记到已登记了图像I (n-1)的组内(步骤 d9)。另一方面，在运动模式不同的情况下(步骤d7:否)，分组部756重新生成组并登记图 像I (η)(步骤dll)。然后，分组部756使图像编号η增加而设定为η = η+1 (步骤dl3)，根 据η值是否与构成时间序列图像的图像总数N—致，判定有无接下来成为处理对象的图像。 在不是η = N的情况下(步骤dl5:否)，回到步骤d5。另一方面，在η = N的情况下(步 骤dl5 是)，从开头的组依次对各组赋予序列号(步骤dl7)，回到图17的步骤cl5。分组 后的各组的数据(组信息)由存储部740b保持。具体地说，与赋予给各组的序列号对应起 来存储组内的最末尾的图像编号、其运动模式(构成组的图像的运动模式)等。然后，如图17所示，在执行了分组处理后，接下来组判定部757使用于识别处理对 象的组的组编号m初始化(步骤cl7)。然后，组判定部757从存储部740b中读出并取得组 G (m-1)、G (m)的组信息(步骤cl9)。接下来，组判定部757判定构成组G(m-l)的图像数量是否是基准前图像数量以 上。构成组G(m-l)的图像数量例如是通过从组G(m-l)内的最末尾的图像编号减去组 G(m-2)内的最末尾的图像编号来求出的。然后，在为基准前图像数量以上的情况下(步骤 c21 是)，组判定部757接下来判定构成组G (m)的图像数量是否为基准后图像数量以上。 构成组G(m)的图像数量例如是通过从组G (m)内的最末尾的图像编号减去组G (m_l)内的 最末尾的图像编号来求出的。这里，对于基准前图像数量和基准后图像数量，分别预先设定 了 1以上的值。基准前图像数量和基准后图像数量的各值既可以是固定值，也可以构成为 能通过用户操作等来变更设计。然后，在为基准后图像数量以上的情况下(步骤c23 是)，组判定部757对组 G(m-l)、G(m)的运动模式进行比较，判定运动方向的变化(步骤c24)。然后，如图17所示， 在运动方向未变化的情况下(步骤c25:否)，转移到步骤c27。另外，此时，在组G(m-l)、G(m)的运动模式是“其他”的情况下，可以不进行后面的步骤c26的处理而转移到步骤c27。 另一方面，在运动方向已变化的情况下(步骤c25 是)，运动方向变化图像提取部751b提 取组G(m)内的在时间序列上为开头的图像作为运动方向变化图像(步骤c26)，转移到步骤 c27。图20 图22是说明运动方向变化的判定方法。在本判定方法中，将运动模式中 的“平行移动”、“旋转移动”、“前进移动”、“后退移动”、“其他”设定为母模式。然后，将“平 行移动上”、“平行移动左上”、“平行移动左”、“平行移动左下”、“平行移动下”、“平行移动右 下”、“平行移动右”、“平行移动右上”设定为相对于母模式“平行移动”而言的子模式。并且， 将“左旋转移动”、“右旋转移动”设定为相对于母模式“旋转移动”而言的子模式。例如，如 图20所示，在组G (m-1)、G (m)的运动模式的母模式是“平行移动”和“旋转移动”而不同的 情况下，判定为运动方向已变化。因此，在显示时间序列图像时，组G(m)内的在时间序列上 为开头的图像191和前后连续的预定数量的图像的显示速度减速。另一方面，在组G(m-l)、 G (m)的运动模式的母模式是“平行移动”、且运动模式的变化是运动方向的变化的情况下， 判定子模式的运动方向是否类似。例如，预先将“上”和“左上”、“左上”和“左”、“左”和“左下”、“左下”和“下”、“下”
和“右下”、“右下”和“右”、“右”和“右上”、“右上”和“上”定义为类似的运动方向。然后，如 图21所示，在组G(m-l)、G(m)的运动模式的子模式是“平行移动右”和“平行移动左上”、且 运动方向不类似的情况下，判定为运动方向已变化。因此，在显示时间序列图像时，组G(m) 内的在时间序列上为开头的图像193和前后连续的预定数量的图像的显示速度减速。与此 相对，如图22所示，在组G (m-1)、G (m)的运动模式的子模式是“平行移动右”和“平行移动 右上”、且运动方向类似的情况下，判定为运动方向未变化。因此，在显示时间序列图像时， 组G(m)内的在时间序列上为开头的图像195和前后连续的预定数量的图像的显示速度不 减速。然后，组判定部757使组编号m增加而设定为m = m+1 (步骤c27)，根据m值是否 与组总数M—致，判定然后成为处理对象的组的有无。在不是m = M的情况下(步骤C29: 否)，回到步骤cl9。另一方面，在m = M的情况下(步骤c29 是)，接下来转移到步骤a27， 图像显示控制部761进行将构成时间序列图像的各图像按时间序列顺序依次显示的控制， 然而此时，显示速度控制部763进行使在步骤c26中提取出的运动方向变化图像以及与该 运动方向变化图像前后连续的预定数量的图像的显示速度与其他图像的显示速度相比相 对较低的控制。如以上说明那样，根据实施方式2，可取得与实施方式1相同的效果。并且，可对 构成时间序列图像的各图像中、被判定为运动模式相同的在时间序列上连续的图像群进行 分组，并以组为单位判定运动方向的变化。并且，不仅是运动方向的变化，而且能够以相同 的运动模式在运动模式变化的前后是否连续了预定数量作为条件，提取出运动方向变化图像。另外，在上述实施方式中，说明了显示由胶囊型内窥镜10拍摄到的被摄体1内部 的图像的情况，然而不限于此，只要是在依次显示由多个图像构成的时间序列图像的情况 下，就能同样应用。产业上的可利用性
14
如上所述，本发明的图像处理装置和图像处理程序对于防止在显示时间序列图像 的情况下观察者漏看显示内容、以及效率良好地进行观察是有用的。
权利要求
一种图像处理装置，该图像处理装置依次显示时间序列图像，其特征在于，该图像处理装置具有运动方向变化图像提取单元，其检测构成所述时间序列图像的图像间的运动，根据该检测出的图像间的运动来提取运动方向变化的图像；以及显示速度控制单元，其将由所述运动方向变化图像提取单元提取出的图像和该图像的邻近图像的显示速度控制成与其他图像的显示速度相比相对较低。
2.根据权利要求1所述的图像处理装置，其特征在于，所述显示速度控制单元使作为 所述邻近图像的以由所述运动方向变化图像提取单元提取出的图像为中心在前后连续的 预定数量的图像的显示速度与其他图像的显示速度相比相对较低。
3.根据权利要求1或2所述的图像处理装置，其特征在于，所述运动方向变化图像提取 单元根据构成所述时间序列图像的图像间的运动矢量来提取所述运动方向变化的图像。
4.根据权利要求3所述的图像处理装置，其特征在于，所述图像处理装置具有块分割单元，其将所述图像分割成多个块；以及运动矢量计算单元，其针对由所述块分割单元所分割的每个块计算所述运动矢量。
5.根据权利要求4所述的图像处理装置，其特征在于，所述运动方向变化图像提取单 元具有运动模式判定单元，该运动模式判定单元根据由所述运动矢量计算单元计算出的运 动矢量来判定运动模式，所述运动方向变化图像提取单元根据由所述运动模式判定单元判 定出的运动模式来提取所述运动方向变化的图像。
6.根据权利要求5所述的图像处理装置，其特征在于，所述运动模式判定单元根据由 所述运动矢量计算单元计算出的运动矢量的方向来判定所述运动模式。
7.根据权利要求5或6所述的图像处理装置，其特征在于，所述运动模式判定单元将所 述运动模式分类为不同移动方向的平行移动、旋转移动、前进移动、后退移动以及其他中的 任一方，所述运动方向变化图像提取单元提取由所述运动模式判定单元所分类的运动模式已 变化的图像。
8.根据权利要求7所述的图像处理装置，其特征在于，在所述运动模式的变化是平行 移动的移动方向的变化、且该变化的移动方向类似的情况下，所述运动方向变化图像提取 单元不提取所述运动模式发生变化的图像。
9.根据权利要求5 8中任一项所述的图像处理装置，其特征在于，在所述时间序列图 像中相同运动模式的图像连续了预定数量之后，图像的运动模式发生变化的情况下，所述 运动方向变化图像提取单元提取该运动模式发生变化的图像。
10.根据权利要求5 8中任一项所述的图像处理装置，其特征在于，在所述时间序列 图像中一个运动模式的图像连续了预定数量之后，与所述一个运动模式不同的另一运动模 式的图像连续了预定数量的情况下，所述运动方向变化图像提取单元提取运动模式变化为 所述另一运动模式的图像。
11.根据权利要求5 8中任一项所述的图像处理装置，其特征在于，所述运动方向变 化图像提取单元具有分组单元，其对被判定为运动模式相同的在时间序列上连续的图像群进行分组；以及组判定单元，其判定由所述分组单元所分组的邻接的组是否是分别由预先设定的基准图像数量以上的图像构成的组，所述运动方向变化图像提取单元根据由所述组判定单元判定为由所述基准图像数量 以上的图像构成的邻接的各组的运动模式，提取运动方向发生变化的组中在时间序列上为 开头的图像。
12.根据权利要求11所述的图像处理装置，其特征在于，预先设定了应用于在时间序 列上为前面的组的基准前图像数量、和应用于在时间序列上为后面的组的基准后图像数 量，作为所述基准图像数量，所述组判定单元在所述邻接的组中，对于在时间序列上为前面的组判定是否是由所述 基准前图像数量以上的图像构成的组，对于在时间序列上为后面的组判定是否是由所述基 准后图像数量以上的图像构成的组。
13.一种图像处理程序，其特征在于，该图像处理程序使具有依次显示时间序列图像的 显示部的计算机执行如下步骤运动方向变化图像提取步骤，检测构成所述时间序列图像的图像间的运动，根据该检 测出的图像间的运动来提取运动方向变化的图像；以及显示速度控制步骤，将通过所述运动方向变化图像提取步骤提取出的图像和该图像的 邻近图像的显示速度控制成与其他图像的显示速度相比相对较低。
全文摘要
在一实施方式涉及的图像处理装置中，运动方向变化判定部(755)判定图像间的运动方向的变化。运动方向变化图像提取部(751)提取被判定为运动方向已变化的图像。然后，图像显示控制部(761)进行按时间序列顺序依次显示构成时间序列图像的各图像的控制，而此时，显示速度控制部(763)进行使由运动方向变化图像提取部(751)提取出的图像以及与该图像前后连续的预定数量的图像的显示速度比其他图像的显示速度相对低的控制。
文档编号A61B1/04GK101945610SQ20088012693
公开日2011年1月12日 申请日期2008年11月19日 优先权日2008年2月19日
发明者河野隆志 申请人:奥林巴斯株式会社