图像处理装置以及图像处理方法

专利名称：图像处理装置以及图像处理方法
技术领域：
本发明涉及从通过按照时间序列取得的多个图像构成的时间序列图像中提取摘要(digest)图像组的图像处理装置以及图像处理方法。
背景技术：
公知有如下的技术从运动图像、或者连续拍摄的静止图像列这样的时间序列图 像中，提取例如场景变化的位置等有用的图像作为摘要图像组。如果提示所提取的摘要图 像组，则用户能够在短时间内掌握时间序列图像的整体内容而不用阅览时间序列图像中所 包含的所有图像，能够简单地得到期望的场景或图像。作为摘要图像组的提取方法，一般熟知有以下的方法计算相邻的图像间的变化 量，根据所计算的变化量提取变化较大的图像。例如，在日本特开2006-41794号公报中，通 过将相邻的图像间(帧间)的变化量与预定的阈值进行比较，提取在帧间产生了阈值以上 的变化的变化点。例如在处理长时间的时间序列图像的情况等时，有图像间的变化较小的状态长期 持续的情况。在这种图像间的变化平缓的时间序列区间中，相邻的图像间的变化比较小，却 能产生在其开头和后方图像不相同的情况。但是，如日本特开2006-41794号公报那样，在 根据相邻的图像间的变化量提取摘要图像组的方法中，不能考虑前述那样的时间序列区间 中的变化来提取摘要图像组。

发明内容
本发明一个方式涉及的图像处理装置从由按照时间序列取得的多个图像构成的 时间序列图像中提取摘要图像组，其特征在于，上述图像处理装置具有图像间变化量计算 部，其对构成所述时间序列图像的每个图像，计算与时间序列顺序邻近的邻近图像间的变 化量来作为图像间变化量；一次摘要图像组提取部，其根据所述图像间变化量，从所述时间 序列图像中提取一次摘要图像组；区间变化量计算部，其计算由构成所述一次摘要图像组 的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组 提取部，其根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图 像组。本发明的另一个方式涉及的图像处理方法，其从由按照时间序列取得的多个图像 构成的时间序列图像中提取摘要图像组，其特征在于，上述图像处理方法包括图像间变化 量计算步骤，对构成所述时间序列图像的每个图像，计算其与时间序列顺序邻近的邻近图 像之间的变化量作为图像间变化量；一次摘要图像组提取步骤，根据所述图像间变化量，从 所述时间序列图像中提取一次摘要图像组；区间变化量计算步骤，计算由构成所述一次摘 要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及摘 要图像组提取步骤，根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提 取摘要图像组。
—并参照附图来阅读如下的本发明的详细说明，可进一步对如上所述内容以及本发明的其他目的、特征、优点和技术上及产业上的意义加深理解。


图1是表示包含图像处理装置的图像处理系统的整体构成的概略示意图。图2是说明实施方式1的图像处理装置的功能构成的框图。图3是表示实施方式1的图像处理装置进行的处理步骤的整体流程图。图4是表示构成时间序列图像的各图像的图像间变化量的一个例子的图。图5是表示一次摘要图像组提取处理的详细处理步骤的流程图。图6是表示相对于图4所示的各图像的图像间变化量的排序处理结果的图。图7是说明区间变化量的计算原理的说明图。图8是说明区间变化量的计算原理的说明图。图9是说明区间变化量的计算原理的说明图。图10是表示区间变化量计算处理的详细处理步骤的流程图。图11是表示通过依照图6所示的排序处理结果所提取的一次摘要图像组划分的 各时间序列区间的区间变化量的一个例子的图。图12是表示摘要图像组提取处理的详细处理步骤的流程图。图13是结合图4或图6所示的各图像的图像间变化量和图11所示的各时间序列 区间的区间变化量进行的排序处理结果的图。图14是说明实施方式2的图像处理装置的功能构成的框图。图15是表示实施方式2的图像处理装置进行的处理步骤的整体流程图。图16是表示使用了实施方式的计算机系统的构成的系统构成图。图17是表示图16的计算机系统中的主体部的构成的框图。
具体实施例方式下面，参照附图，以处理时间序列图像的图像处理装置为例说明用于实施本发明 的最佳方式，处理时间序列图像是由胶囊内窥镜一边在消化管体内管腔内移动一边连续拍 摄到的。并且，本发明不限于该实施方式。另外，在各附图的描述中，对相同部分标以同一 符号进行表示。首先，对实施方式1进行说明。图1是表示包含实施方式1的图像处理装置的图 像处理系统的整体构成的概略示意图。如图1所示，图像处理系统由胶囊内窥镜3、接收装 置5和图像处理装置10等构成。胶囊内窥镜3对被检体1内部的图像进行拍摄。接收装 置5接收从胶囊内窥镜3无线发送的图像。图像处理装置10根据通过接收装置5接收的 图像，对通过胶囊内窥镜3拍摄到的图像进行处理并显示。对于接收装置5与图像处理装 置10之间的图像数据传递，可使用例如移动式记录介质(可移动记录介质)7。胶囊内窥镜3具有摄像功能和无线功能等，从被检体1的口部饮入从而导入被检 体1内部，一边在体内管腔内移动一边依次拍摄图像。然后，将拍摄到的图像无线发送到体 外。在通过胶囊内窥镜3拍摄的图像中，显现有粘膜，或在体腔内浮游的内容物、泡等，并且 有时显现病变等重要场所。此处，通过胶囊内窥镜3拍摄的图像的张数用摄像速率(大约2 4帧/秒)X胶囊内窥镜的体内停留时间(大约8小时=8X60X60秒)来概略示出， 为几万张以上。并且，通过胶囊内窥镜3拍摄的管腔内图像是在图像内的各像素上具有与 R(红)、G(绿)、B(蓝)各波长分量对应的像素值的彩色图像。接收装置5具有接收用天线Al An，该接收用天线Al An分散配置在与被检体1内的胶囊内窥镜3的通过路径对应的体表上的位置上。而且，接收装置5经由各接收 用天线Al An接收从胶囊内窥镜3无线发送来的图像数据。该接收装置5构成为能自由 拆装可移动记录介质7，将接收到的图像数据依次保存在可移动记录介质7内。这样，由胶 囊内窥镜3拍摄的被检体1内部的图像就会通过接收装置5按照时间序列顺序存储在可移 动记录介质7内，从而保存为时间序列图像。图像处理装置10用于由医生等观察、诊断通过胶囊内窥镜3拍摄的图像，通过工 作站或个人计算机等通用计算机来实现。该图像处理装置10构成为能自由拆装可移动记 录介质7，对保存在可移动记录介质7内的时间序列图像进行处理，在例如LCD或EL显示器 等显示器上适当进行显示。图2是说明实施方式1的图像处理装置10的功能构成的框图。在本实施方式1 中，图像处理装置10具有外部接口部11、操作部12、显示部13、记录部14、运算部15以及 控制图像处理装置10整体的动作的控制部16。 外部接口部11用于取得由胶囊内窥镜3拍摄且通过接收装置5接收的图像数据， 拆装自如地安装例如可移动记录介质7，由读取保存在该可移动记录介质7中的时间序列 图像的图像数据的读出装置构成。经由该外部接口部11从可移动记录介质7读取的图像数 据被记录到记录部14中，由运算部15处理，并在控制部60的控制下显示在显示部13上。 此外，通过胶囊内窥镜3拍摄的图像数据的取得不限于使用可移动记录介质7的构成。例 如，还可以构成为代替可移动记录介质7而另外设置服务器，将通过胶囊内窥镜3拍摄的时 间序列图像的图像数据预先保存在该服务器内。这种情况下，通过用于与服务器连接的通 信装置等来构成外部接口部11。此外，也可以经由该外部接口部11与服务器进行数据通 信，从而取得图像数据。或者，还可以构成为在记录部14内预先保存通过胶囊内窥镜3拍 摄的时间序列图像的图像数据，从记录部14进行读取来取得图像数据。操作部12例如通过键盘、鼠标、触摸面板和各种开关等实现，并将操作信号输出 到控制部16。显示部13通过IXD、EL显示器等显示装置来实现，在控制部16的控制下，显 示包含由胶囊内窥镜3拍摄的图像的显示画面在内的各种画面。记录部14通过能更新记录的闪速存储器等ROM或RAM这样的各种IC存储器、内 置的或通过数据通信端子来连接的硬盘、CD-ROM等信息记录介质及其读取装置等来实现。 该记录部14记录有程序以及在该程序执行中所使用的数据等，该程序用于使图像处理装 置10进行动作、实现该图像处理装置10具备的各种功能。例如，在记录部14中，将经由外 部接口部11取入的时间序列图像的图像数据，与用于识别其时间序列顺序的图像编号对 应起来进行记录。另外，在记录部14中，记录有用于从时间序列图像中提取摘要图像组的 图像处理程序141。运算部15对通过胶囊内窥镜3拍摄的时间序列图像进行处理，进行用于提取摘要 图像组的各种运算处理。该运算部15具有图像间变化量计算部151、一次摘要图像组提取 部152、区间变化量计算部154和摘要图像组提取部155。图像间变化量计算部151计算构成时间序列图像的图像间的变化量(以下，称作“图像间变化量”)。一次摘要图像组提取部 152根据图像间变化量所表示的变化的大小，从构成时间序列图像的图像中提取设为一次 摘要图像组的图像。该一次摘要图像组提取部152具有作为第二排序处理部的排序处理部 153，其按照图像间变化量的大小的顺序来排序图像间变化量。区间变化量计算部154对通 过构成一次摘要图像组的图像划分的时间序列图像在各时间序列区间上的变化量(以下， 称作“区间变化量”)进行计算。摘要图像组提取部155根据图像间变化量和所述区间变化 量所表示的变化的大小，从时间序列图像中提取作为摘要图像组的图像。该摘要图像组提 取部155具有作为第一排序处理部的排序处理部156，其按照图像间变化量和区间变化量 的大小的顺序来排序图像间变化量和区间变化量。控制部16通过CPU等硬件来实现。该控制部16根据经由外部接口部11取得的图像数据或从操作部12输入的操作信号、记录在记录部14中的程序和数据等，对构成图像 处理装置10的各部分进行指示和数据转送等，统一控制图像处理装置10整体的动作。图3是表示实施方式1的图像处理装置10进行的处理步骤的整体流程图。此处 所说明的处理是通过运算部15执行存储在记录部14中的图像处理程序141来实现的。如图3所示，首先，运算部15取得处理对象范围内的时间序列图像(步骤al)。通 过此处的处理，运算部15经由外部接口部11从可移动记录介质7进行读取，读取并取得记 录在记录部14中的处理对象范围内的时间序列图像。此时，可以将从时间序列图像的开头 到最末尾的整个范围设为处理对象范围，也可以将一部分范围设为处理对象范围。该处理 对象范围能够依照例如用户操作适当进行设定。接着，图像间变化量计算部151计算构成时间序列图像的图像间的变化量(图像 间变化量)(步骤a3)。此处，图像间变化量是表示与时间序列顺序邻近的邻近图像之间的 变化量的值，使用例如图像间的相关值(相似度)。具体而言，图像间变化量计算部151将 在步骤al中取得的构成时间序列图像的各图像依次设为关注图像，将时间序列顺序为例 如紧前面的图像作为邻近图像来计算与该邻近图像之间的相关值，将该相关值作为关注图 像的图像间变化量。作为相关值的计算方法，例如作为对线性的亮度的变化(图像的亮度值和对比度 的线性变化)没有影响的方法，能够使用已经公知的归一化互相关(参考=CG-ARTS协会， r ^ ” 9 >画像処理，204P，正規化相互相関(数字图像处理，第204页，归一化互相关) (NCC))。具体而言，依照下式(1)来计算图像数据I、T的归一化互相关(NCC)。其中，在下
<formula>formula see original document page 6</formula>
归一化互相关的相关值取-ι. 00 1. 00间的值，该值越接近-ι. 00表示变化越 大，越接近1.00表示变化越小。此外，关于时间序列顺序为最初的图像，没有时间序列顺序 在前的图像，因此将图像间变化量设为预先设定的固定值(例如，-1.00)。图4是表示由20张图像构成的时间序列图像的各图像的图像间变化量的一个例子的图，与分配给各图像的 图像编号一起示出。如图4所示，按照每个图像计算出的图像间变化量的数据，与其图像编 号对应地记录在记录部14中。另外，此处示出了计算使用了归一化互相关的相关值作为表示图像间的变化的值 的方法，但是不限于此。例如，在亮度的变化造成的影响较少的图像的情况下，也可以使用 图像间一致时的值为0，且图像间越是不同越能够得到较大值的差异度。作为该差异度，例 如能够列举SSD(对应的像素分量之差的平方和)或SAD(对应的像素分量之差的绝对值 和)等(参考CG-ARTS协会，r 4 ”夕 > 画像処理，203P，類似度(数字图像处理，第203 页，相似度))。接着，如图3所示，一次摘要图像组提取部152执行一次摘要图像组提取处理，根 据图像间变化量，从时间序列图像中提取一次摘要图像组(步骤a5)。图5是表示一次摘要 图像组提取处理的详细处理步骤的流程图。在一次摘要图像组提取处理中，首先，一次摘要图像组提取部152的排序处理部 153按变化的大小对在图3的步骤a3中计算的各图像的图像间变化量进行排序处理(步 骤bl)。图6是表示相对于图4所示的各图 像的图像间变化量的排序处理结果的图。如 上所述，在实施方式1中，计算各图像的图像间变化量来作为归一化互相关的相关值，该值 取-1.00 1.00间的值，越接近-1.00变化越大。在此处的排序处理中，如图6所示，按照 负值从大到小的顺序进行排序。接着，如图5所示，一次摘要图像组提取部152依照图像间变化量的排序处理结 果，按照变化从大到小的顺序提取预定张数M的图像作为一次摘要图像组(步骤b3)。例 如，在将预定张数M设为5张时，在图6的例子中，提取图像编号为{1，5，17，2，19}的5张 图像作为一次摘要图像组。此时，针对所提取的各图像标上一次摘要编号。具体而言，针对 各图像，按照其图像编号从小到大的顺序分配连续编号来设为一次摘要编号。此外，提取为 一次摘要图像组的图像的张数M可以预先设定为固定值，也可以根据时间序列图像的张数 进行设定。或者，还可以依照例如用户的操作输入等外部输入而可变地设定。如果提取出 了一次摘要图像组，则返回图3的步骤a5，之后转移到步骤a7。即，在步骤a7中，区间变化量计算部154执行区间变化量计算处理，按照由构成一 次摘要图像组的图像所划分的时间序列图像的每个时间序列区间来计算区间变化量。在该区间变化量计算处理中，区间变化量计算部154将构成一次摘要图像组的各 图像依次设为关注一次摘要图像。并且，区间变化量计算部154计算一次摘要编号为关注 一次摘要图像的前一个的图像(一次摘要前图像)、和图像编号为关注一次摘要图像的前 一个(时间序列顺序为前一个)的图像(区间后方图像)间的变化，作为由一次摘要前图 像和关注一次摘要图像所划分的时间序列区间中的区间变化量。此处，参照图7 图9，对区间变化量的计算原理进行说明。在图7 图9中，分别 将横轴设为图4或图6所示的20张时间序列图像的时间序列顺序(图像编号)，将纵轴设 为图像特征量(例如平均亮度)，将构成时间序列图像的图像间的变化绘成曲线图来示出。 此外，在各图7 图9中，将依照图6所示的排序处理结果提取为一次摘要图像组的图像编 号为{1，5，17，2，19}的各图像与其一次摘要编号{1，2，3，4，5} —起示出。此处，在图7 图9中，将各图像的图像特征量设为平均亮度，将其变化绘成曲线图，而该倾角越大则图像间变化量越大(在实施方式1中所计算出的值接近-1.0)。如上所述，一次摘要图像组由以下的图像构成，S卩根据在与时间序列顺序在紧前 面的图像之间所计算出的变化的大小(图像间变化量)，从变化较大的图像开始依次提取 的预定张数(此处为5张)的图像。即，如图7所示，构成一次摘要图像组的图像编号为{1， 5,17,2,19}的各图像是与紧前面的图像之间的变化较大的图像。此处，例如，着眼于用构成 一次摘要图像组的图像编号为5和图像编号为17的各图像所划分的时间序列区间。在该 时间序列区间中，在从开头的图像编号为5的图像到图像编号为16的图像之间，图像间逐 渐变化。并且，图像编号为16的图像和最末尾的图像编号为17的图像之间的变化较大，根 据这之间的图像间变化量的大小，提取图像编号为17的图像来作为一次摘要图像组。但是，在这种图像间的变化较平缓的时间序列区间中，当变化较小的状态长期持续时，有时时间序列区间整体上变化较大。S卩，在所着眼的从图像编号为5到图像编号为16 的时间序列区间中，时间序列顺序邻近(此处为相邻)的图像间的变化量比较小，但是图像 编号为5的图像和图像编号为16的图像之间的变化非常大，时间序列区间整体上的图像的 变化较大。在实施方式1中，为了加入这种变化来得到摘要图像组，计算由构成一次摘要图 像组的各图像所划分的每个时间序列区间的变化来作为区间变化量。例如，如图8所示，在将一次摘要编号为4或/图像编号为17的图像设为关注一 次摘要图像的情况下，取得一次摘要编号为关注一次摘要图像的前一个的一次摘要编号为 3或/图像编号为5的图像作为一次摘要前图像。此外，取得图像编号为关注一次摘要图像 的前一个的图像编号为16的图像来作为区间后方图像。并且，计算所取得的一次摘要前图 像和区间后方图像之间的变化来作为该时间序列区间(关注一次摘要图像和一次摘要前 图像之间的时间序列区间)的区间变化量。S卩，如图9所示，关于一次摘要编号为3或/图像编号为5的图像，计算一次摘要 前图像(一次摘要编号为2或/图像编号为2)和区间后方图像(图像编号为4)之间的变 化Dl来作为区间变化量。对于一次摘要编号为4或/图像编号为17的图像，计算一次摘要 前图像(一次摘要编号为3或/图像编号为5)和区间后方图像(图像编号为16)之间的 变化D2来作为区间变化量。对于一次摘要编号为5或/图像编号为19的图像，计算一次 摘要前图像(一次摘要编号为4或/图像编号为17)和区间后方图像(图像编号为18)之 间的变化D3来作为区间变化量。此外，在所取得的区间后方图像的时间序列顺序(图像编 号)比一次摘要前图像的时间序列顺序(图像编号)靠后的情况下，计算区间变化量。即， 对于图9所示的一次摘要编号为2或/图像编号为2的图像，一次摘要编号为前一个的图 像(一次摘要编号为1或/图像编号为1)和时间序列顺序(图像编号)为前一个的图像 (图像编号为1)相同，因此不进行区间变化量的计算。图10是表示区间变化量计算处理的详细处理步骤的流程图。在实际的区间变化 量计算处理中，区间变化量计算部154首先初始化表示关注一次摘要图像的符号i (步骤 cl)。此处，关注一次摘要图像从一次摘要编号为第2个的图像开始依次进行选择，将初始 值设为2来初始化i。这是因为在一次摘要编号为第1个的图像中不存在一次摘要前图像。 接着，区间变化量计算部154从一次摘要图像组中提取一次摘要编号为i的图像来作为关 注一次摘要图像(步骤c3)。接着，区间变化量计算部154从一次摘要图像组中取得一次摘要编号为关注一次摘要图像的前一个、即一次摘要编号为i-Ι的一次摘要前图像(步骤C5)。此外，区间变化 量计算部154取得图像编号为关注一次摘要图像的前一个的区间后方图像(步骤c7)。接着，区间变化量计算部154判定区间后方图像的时间序列顺序(图像编号)是 否比一次摘要前图像的时间序列顺序(图像编号)靠后，在靠后的情况下(步骤c9 是)， 进行步骤cll的处理。即，在步骤cll中，区间变化量计算部154计算一次摘要前图像和区 间后方图像间的变化量来作为区间变化量。此处，区间变化量是表示由构成一次摘要图像组的各图像所划分的时间序列区间 的变化的值，具体而言，相当于一次摘要前图像和区间后方图像之间的变化量。该区间变化 量与图像间变化量同样地，能够使用例如归一化互相关的图像间的相关值(相似度)，但是 也可以使用差异度等其他值。接着，区间变化量计算部154判定一次摘要编号i是否在预定张数M以下，从而判定此次处理的关注一次摘要图像是否为构成一次摘要图像组的最后的图像。在为预定张数 M以下、即此次处理的关注一次摘要图像并非最后的图像的情况下(步骤cl3:是)，增加符 号i来进行更新(步骤cl5)，对于下一个关注一次摘要图像，进行步骤c3 cl3的处理。 另一方面，在处理了构成一次摘要图像组的最后的图像的情况下(步骤cl3 否)，返回图3 的步骤a7，之后转移到步骤a9。图11是表示通过依照图6所示的排序处理结果提取为一次摘要图像组的图像编 号为{1，5，17，2，19}的各图像所划分的各时间序列区间的区间变化量的一个例子的图，将 对应的一次摘要图像编号和区间后方图像的图像编号一起示出。所计算出的区间变化量的 数据至少与其区间后方图像的图像编号对应起来记录在记录部14中，在以后的处理中，将 按照每个时间序列区间计算出的区间变化量作为与其区间后方图像相关的变化量进行处 理。此外，此处，作为区间后方图像，取得时间序列顺序为关注一次摘要图像的前一个 的图像，但是不限于前一个。具体而言，还可以取得时间序列顺序为关注一次摘要图像的前 η个的图像作为区间后方图像。并且，此时可以将η的值预先设定为固定值，还可以依照例 如用户的操作输入等外部输入来可变地设定。然后，如图3所示，在步骤a9中，摘要图像组提取部155执行摘要图像组提取处 理，根据图像间变化量和区间变化量，从时间序列图像中提取摘要图像组。图12是表示摘 要图像组提取处理的详细处理步骤的流程图。在摘要图像组提取处理中，首先，摘要图像组提取部155的排序处理部156结合在 图3的步骤a3中所计算的各图像的图像间变化量和在步骤a7中的每个时间序列区间的各 区间后方图像的区间变化量，按变化的大小进行排序处理(步骤dl)。图13是表示结合图 4或图6所示的各图像的图像间变化量和图11所示的各时间序列区间的区间变化量进行的 排序处理结果的图。此外，此处示出了结合各图像的图像间变化量和每个时间序列区间的各区间后方 图像的区间变化量进行排序的例子。与此相对，在后级的步骤d3中作为摘要图像组而提取 的图像的张数N为一次摘要图像组的张数M以下的情况下，也可以结合一次摘要图像组的 各图像的图像间变化量(在参照图6说明的例子中，是图像编号为{1，5，17，2，19}的各图 像的图像间变化量)、和图11所示的每个时间序列区间的图像编号为{4，16，18}的各区间后方图像的区间变化量，排序处理这些图像。这是因为对于没有作为一次摘要图像组被提 取的变化较小的图像，进行没有必要排序处理。由此，能够削减作为排序处理对象的数据数 量，能够缩短处理时间。此外，如图12所示，摘要图像组提取部155依照图像间变化量和区间变化量的排 序处理结果，按照变化从大到小的顺序提取预定张数N的图像作为摘要图像组(步骤d3)。 例如，将预定张数N设为5张。此时，如参照图6所说明的那样，提取了图像编号为{1，5， 17,2,19}的各图像作为一次摘要图像组，与此对应，提取了图像编号为{1，5，17，2，16}的 各图像作为摘要图像组。这是因为将图像编号为16的图像作为区间后方图像而计算出的 区间变化量(图像编号为5和16的各图像间的变化)，比针对图像编号为19的图像所计算 出的图像间变化量(图像编号为18和19的各图像间的变化)大。此外，此处使每个时间序列区间的区间变化量与区间后方图像对应起来，因此排 序处理的结果是，作为与区间后方图像相关的变化量，其图像间变化量和区间变化量重复 地存在。例如，在图13中，如果着眼于图像编号“16”，则包含基于区间变化量的记录R1、和 基于图像间变化量的记录R3。因此，在以预定张数N提取的摘要图像组中包含这些重复的 图像编号的变化量的情况下，采用值较大的变化量。即，例如，在依照图13所示的排序处理 结果设N= 10来提取摘要图像组的情况下，图像编号“4”、“16”重复。因此，分别针对各个 图像编号采用变化量较大的值，针对图像编号“4”采用记录R5的图像间变化量，针对图像 编号“16”采用记录Rl的区间变化量。并且，从排序处理结果中去除图像编号为“4”的区 间变化量(记录R7)和图像编号为“16”的图像间变化量(记录R3)，之后提取10个作为摘 要图像组。此外，可以将作为摘要图像组来提取的图像的张数N预先设定为固定值，也可以 根据时间序列图像的张数进行设定。或者，还可以依照用户的操作输入等外部输入来可变 地设定。如果提取出了摘要图像组，则返回图3的步骤a9，之后转移到步骤all。S卩，在步骤all中，运算部15输出摘要图像组。例如，运算部15将作为摘要图像 组提取的各图像依次输出到显示部13上进行显示。接着，结束图像处理装置10中的运算 部15的处理。如以上所说明的那样，根据实施方式1，能够对构成时间序列图像的每个图像计算 其与相邻的图像间的变化量(图像间变化量)，并根据所计算的图像间变化量提取一次摘 要图像组。此外，能够对通过构成一次摘要图像组的各图像所划分的时间序列图像的每个 时间序列区间计算区间变化量，加入该区间变化量来提取最终的摘要图像组。由此，考虑到 了图像间的变化平缓的时间序列区间中的变化，从而能够适当地提取摘要图像组。例如，在 本实施方式1的例子中，能够从胶囊内窥镜3所拍摄的庞大张数的时间序列图像中适当提 取摘要图像组，从而实现了医生等观察者的观察效率的提高。 具体而言，将构成一次摘要图像组的各图像依次设为关注一次摘要图像。此外，作 为区间变化量，能够计算相对于一次摘要图像组中的关注一次摘要图像而言时间序列顺序 为前一个的一次摘要前图像、和相对于时间序列图像中的关注一次摘要图像而言时间序列 顺序为前一个的区间后方图像之间的变化量。由此，能够将区间变化量较大的区间后方图 像提取为摘要图像组。由此，能够将图像间的变化较小的状态长期持续的结果是图像在其 时间序列区间的开头和后方不同而整体上变化较大的时间序列区间的区间后方图像提取为摘要图像组。此外，对于通过根据图像间变化量提取出的一次摘要图像组所划分的时间序列图 像的各时间序列区间的区间变化量，只要计算相对于关注一次摘要图像的一次摘要前图像 和区间后方图像之间的变化量即可。因此，能够简单进行计算而不需要复杂的处理，能够减 轻处理负荷。接着，对实施方式2进行说明。图14是说明实施方式2的图像处理装置IOb的功 能构成的框图。此外，针对与在实施方式1中说明的构成相同的构成标以同一符号。如图 14所示，图像处理装置IOb具有外部接口部11、操作部12、显示部13、记录部14b、运算部 15b以及控制图像处理装置IOb整体的动作的控制部16。在记录部14b中，记录有用于从时间序列图像中提取摘要图像组的图像处理程序 141b。此外，运算部15b包含图像间变化量计算部151、一次摘要图像组提取部152b、区 间变化量计算部154和摘要图像组提取部155b。在实施方式2中，一次摘要图像组提取部 152b对图像间变化量进行阈值处理来提取一次摘要图像组。此外，摘要图像组提取部155b 结合图像间变化量和区间变化量来进行阈值处理，来提取摘要图像组。即，实施方式2的图像处理装置IOb在以下方面与实施方式1的图像处理装置10 不同在一次摘要图像组提取部152b和摘要图像组提取部155b中，没有分别具有排序处理 部。图15是表示实施方式2的图像处理装置IOb进行的处理步骤的整体流程图。此 处说明的处理通过运算部15b执行存储在记录部14b中的图像处理程序141b来实现。此 夕卜，在图15中，对与实施方式1相同的处理步骤，标以同一符号。在实施方式2中，如图15所示，在步骤a3中由图像间变化量计算部151计算出 各图像的图像间变化量后，一次摘要图像组提取部152b对各图像的图像间变化量进行阈 值处理，提取图像间变化量超过预先设定的预定阈值的图像来作为一次摘要图像组(步骤 e5)。此外，在此处的处理中所使用的阈值可以预先设定为固定值，也可以依照例如用户的 操作输入等外部输入来可变地设定。接着，区间变化量计算部154与实施方式1同样地执行区间变化量计算处理(参 照图10)，对通过构成一次摘要图像组的图像所划分的时间序列图像的每个时间序列区间 计算区间变化量(步骤a7)。接着，摘要图像组提取部155b分别对各图像的图像间变化量和每个时间序列区 间的各区间后方图像的区间变化量进行阈值处理，提取图像间变化量或区间变化量超过预 先设定的阈值的图像来作为摘要图像组(步骤e9)。此外，在此处的处理中所使用的阈值可 以是与在步骤e5中使用的阈值相同的值，也可以是不同的值。此外，该阈值可以预先设定 为固定值，也可以依照例如用户的操作输入等外部输入来可变地设定。之后，运算部15b输出摘要图像组(步骤all)，结束图像处理装置IOb的运算部 15b中的处理。根据以上所说明的实施方式2，能够通过对图像间变化量进行阈值处理来提取一 次摘要图像组，并且通过对图像间变化量和区间变化量进行阈值处理来提取最终的摘要图 像组，能够起到与实施方式1相同的效果。此外，在实施方式2中所说明的阈值处理与在实施方式1中所说明的排序处理相比，处理负荷比较低，因此还具有能够降低处理负荷的效^ O此外，在上述各实施方式中，对从通过胶囊内窥镜3拍摄的时间序列图像中提取 摘要图像组的情况进行了说明，但是成为处理对象的图像不限于用胶囊内窥镜3拍摄的图 像。即，同样能够适用于从运动图像、或者连续拍摄的静止图像列这样的连续的时间序列图 像中提取摘要图像组的情况。此外，上述实施方式1的图像处理装置10和实施方式2的图像处理装置IOb能 够通过由个人计算机或工作站等计算机系统执行预先准备的程序来实现。下面，针对以下 的计算机系统进行说明该计算机系统具有与在各实施方式1、2中所说明的图像处理装置 IOUOb同样的功能，执行图像处理程序141、141b。图16是表示使用了实施方式的计算机系统200的构成的系统构成图，图17是表 示该计算机系统200中的主体部210的构成的框图。如图16所示，计算机系统200具有主 体部210、和用于根据来自主体部210的指示在显示画面221上显示图像等信息的显示器 220。此外，计算机系统200具有用于向该计算机系统200输入各种信息的键盘230、和用于 指定显示器220的显示画面221上的任意位置的鼠标240。此外，如图17所示，该计算机系统200中的主体部210具有CPU211、RAM 212,ROM 213、硬盘驱动器(HDD) 214、收纳⑶-ROM 260的⑶-ROM驱动器215、可拆装地连接USB存储 器270的USB接口 216、显示器220、连接键盘230和鼠标240的I/O接口 217、以及用于与 局域网或广域网(LAN/WAN)附连接的LAN接口 218。此外，在该计算机系统200中，连接有用于与因特网等公众线路N3连接的调制解 调器250，并且经由LAN接口 218以及局域网或广域网Ni，连接有其他的计算机系统的个人 计算机(PC) 281、服务器282和打印机283等。此外，该计算机系统200通过读取存储在预定的存储介质中的图像处理程序(例 如实施方式1的图像处理程序141或实施方式2的图像处理程序141b)并执行来实现图像 处理装置。此处，所谓预定的存储介质，除了⑶-ROM 260和USB存储器270以外，还包含存 储可由计算机系统200读取的图像处理程序的所有存储介质，例如以下的在发送程序时短 期保持程序的“通信介质”介质等包含MO光盘或DVD光盘、软盘(FD)、光磁盘和IC卡等 的“可移动用的物理介质”；设置在计算机系统200内外的HDD 214或RAM 212,ROM 213等 “固定用的物理介质”；以及如经由调制解调器250连接的公众线路N3、或连接其他的计算机 系统(PC) 281或服务器282的局域网或广域网附等。S卩，图像处理程序为可通过计算机读取地存储在“可移动用的物理介质”、“固定用 的物理介质”、“通信介质”等记录介质中的程序，计算机系统200通过从这种存储介质中读 取图像处理程序并执行来实现图像处理装置。此外，图像处理程序不限于通过计算机系统 200来执行，在其他的计算机系统(PC) 281或服务器282执行图像处理程序的情况下、或它 们协作地执行图像处理程序的情况下，也同样能够使用本发明。根据本发明，能够对构成时间序列图像的每个图像计算其与邻近图像间的变化 量，根据图像间变化量从时间序列图像中提取一次摘要图像组。此外，能够对由构成一次 摘要图像组的各图像所划分的时间序列图像的每个时间序列区间计算该时间序列区间中 的区间变化量，由此能够根据图像间变化量和区间变化量从时间序列图像中提取摘要图像组。因此，能够考虑到由图像间变化量表示的图像间的图像变化和由区间变化量表示的时间序列区间整体上的图像变化来提取摘要图像组，能够从时间序列图像中适当提取摘要图像组。
权利要求
一种图像处理装置，其从由按照时间序列取得的多个图像构成的时间序列图像中提取摘要图像组，其特征在于，该图像处理装置具有图像间变化量计算部，其对构成所述时间序列图像的每个图像，计算与时间序列顺序邻近的邻近图像之间的变化量来作为图像间变化量；一次摘要图像组提取部，其根据所述图像间变化量，从所述时间序列图像中提取一次摘要图像组；区间变化量计算部，其计算由构成所述一次摘要图像组的各图像所划分的所述时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组提取部，其根据所述图像间变化量和所述区间变化量，从所述时间序列图像中提取摘要图像组。
2.根据权利要求1所述的图像处理装置，其特征在于，所述区间变化量计算部依次选 择构成所述一次摘要图像组的图像来作为关注一次摘要图像，通过对所述一次摘要图像组 中的时间序列顺序为所述关注一次摘要图像的前一个的一次摘要前图像、和所述时间序列 图像中的时间序列顺序为所述关注一次摘要图像的预定数量之前的区间后方图像之间的 变化量进行计算，由此对每个所述区间后方图像计算所述区间变化量。
3.根据权利要求1所述的图像处理装置，其特征在于，所述摘要图像组提取部具有结 合所述图像间变化量和所述区间变化量并按照变化的大小顺序来进行排序的第一排序处 理部，依照所述第一排序处理部的排序处理结果，从所述时间序列图像中提取所述图像间 变化量或所述区间变化量较大的预定张数的图像来作为所述摘要图像组。
4.根据权利要求1所述的图像处理装置，其特征在于，所述摘要图像组提取部将所述 图像间变化量或所述区间变化量为预定的阈值以上的图像作为所述摘要图像组。
5.根据权利要求2所述的图像处理装置，其特征在于，所述区间后方图像为时间序列 顺序比所述一次摘要前图像靠后的图像。
6.根据权利要求1所述的图像处理装置，其特征在于，所述一次摘要图像组提取部具 有按照变化的大小顺序来对所述图像间变化量进行排序的第二排序处理部，依照所述第二 排序处理部的排序处理结果，从所述时间序列图像中提取所述图像间变化量的变化较大的 预定张数的图像来作为所述一次摘要图像组。
7.根据权利要求1所述的图像处理装置，其特征在于，所述一次摘要图像组提取部将 所述图像间变化量为预定的阈值以上的图像作为所述一次摘要图像组。
8.一种图像处理方法，其从由按照时间序列取得的多个图像构成的时间序列图像中提 取摘要图像组，其特征在于，该图像处理方法包括图像间变化量计算步骤，对构成所述时间序列图像的每个图像，计算其与时间序列顺 序邻近的邻近图像间的变化量来作为图像间变化量；一次摘要图像组提取步骤，根据所述图像间变化量，从所述时间序列图像中提取一次 摘要图像组；区间变化量计算步骤，计算由构成所述一次摘要图像组的各图像所划分的所述时间序 列图像的各时间序列区间中的区间变化量；以及摘要图像组提取步骤，根据所述图像间变化量和所述区间变化量，从所述时间序列图 像中提取摘要图像组。
全文摘要
本发明提供一种图像处理装置以及图像处理方法。图像处理装置(10)具有图像间变化量计算部(151)，其对由按照时间序列取得的多个图像构成的时间序列图像的每个图像，计算与时间序列顺序邻近的邻近图像之间的变化量来作为图像间变化量；一次摘要图像组提取部(152)，其根据图像间变化量，从时间序列图像中提取一次摘要图像组；区间变化量计算部(154)，其计算由构成一次摘要图像组的各图像所划分的时间序列图像的各时间序列区间中的区间变化量；以及摘要图像组提取部(155)，其根据图像间变化量和区间变化量，从时间序列图像中提取摘要图像组。
文档编号G06T7/20GK101800846SQ201010112940
公开日2010年8月11日 申请日期2010年2月3日 优先权日2009年2月4日
发明者河野隆志 申请人:奥林巴斯株式会社