专利名称：图像处理装置、图像处理程序以及图像处理方法
技术领域：
本发明涉及图像处理装置、图像处理程序以及图像处理方法，尤其涉及从沿着时间序列拍摄被检体的管腔内等而得到的时间序列图像组中选择应关注的代表图像组并输出的图像处理装置、图像处理程序以及图像处理方法。
背景技术：
一直以来，出现了拍摄被摄体的图像的数字照相机或数字摄像机等各种形式的电子摄像装置。电子摄像装置能够沿着时间序列连续拍摄被摄体图像，沿着时间序列连续拍摄的被摄体的图像组(以下称作时间序列图像组)能够通过显示到液晶显示器等显示装置上依次进行观察。尤其是，在近年来的医疗领域中，提出了能够沿着时间序列依次拍摄患者等被检体的体内图像的胶囊内窥镜。胶囊内窥镜是在能够由被检体咽下的小型胶囊型壳体内部具有摄像功能和无线通信功能等的医疗设备。胶囊内窥镜在从被检体口中被吞下后，通过蠕动运动等在消化管内部移动，并且以预定的摄像速率沿着时间序列依次拍摄消化管内的图像(以下称作体内图像)，并将所得到的体内图像依次无线发送到被检体外部的接收装置。 被检体内部的胶囊内窥镜在将体内图像组发送到接收装置后，最终被排出到被检体外部。 另外，由胶囊内窥镜拍摄的体内图像组是时间序列图像组的一例。此处，由胶囊内窥镜拍摄的体内图像组的图像张数一般为几万张以上的巨大数量。例如，胶囊内窥镜在从由被检体口服摄取到与粪便等一起被排出到体外的体内停留期间(大约8 10个小时)内，以2 4帧/秒的摄像速率按照时间序列顺序连续拍摄体内图像。现有技术文献专利文献专利文献1日本特开2005-192880号公报专利文献2日本特开2005-236993号公报
发明概要发明要解决的课题本发明的目的在于提供一种能够减轻观察者观察沿着时间序列拍摄的时间序列图像组的负担的图像处理装置、图像处理程序以及图像处理方法。用于解决课题的手段为了达到上述目的，本发明的某个方式的图像处理装置具有关注区域检测部，其检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理部，其计算表示所述关注区域的特征的特征量；区域分类部，其根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算部，其计算表示每个所述区域组的特征的组特征量；区域选择部，其根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域；以及代表图像输出部，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。另外，所谓时间序列图像的时间序列位置，表示时间序列图像组内的各时间序列图像在时间序列上的位置，即与拍摄各时间序列图像的定时相关的信息。与该定时相关的信息可以是从构成沿着时间序列拍摄出的时间序列图像组的时间序列图像中的起始时间序列图像起经过的时间信息(秒、分钟、小时等)，也可以是进行拍摄的时刻本身(几点几分几秒)的信息。在任意一个信息的情况下，沿着时间序列拍摄出的各时间序列图像都能够根据这些信息在时间序列上进行配置。此外，关注区域是指对于观察者而言观察的必要性高的待关注的区域，如果沿着时间序列拍摄出的时间序列图像组例如是拍摄体内而得到的体内图像组，则可列举粘膜区域或病变区域作为该关注区域的例子。另一方面，对于观察者而言观察的必要性低的区域与非关注区域相当，如果沿着时间序列拍摄出的时间序列图像组例如是拍摄体内而得到的体内图像组，则可列举气泡或大便等区域作为该非关注区域的例子。此外，本发明的其他方式的图像处理程序使计算机执行以下过程关注区域检测过程，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理过程，计算表示所述关注区域的特征的特征量；区域分类过程，根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算过程，计算表示每个所述区域组的特征的组特征量；区域选择过程，根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域； 以及代表图像输出过程，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。此外，本发明的其他方式的图像处理方法包含以下步骤关注区域检测步骤，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理步骤，计算表示所述关注区域的特征的特征量；区域分类步骤，根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置将所述关注区域分类到任意一个区域组；组特征量计算步骤，计算表示每个所述区域组的特征的组特征量；区域选择步骤，根据所述组特征量，从所述区域组中选择代表属于所述区域组的所述关注区域的1个以上的代表区域；以及代表图像输出步骤，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。发明的效果根据本发明的图像处理装置、图像处理程序以及图像处理方法，能够起到减轻观察者观察沿着时间序列拍摄出的时间序列图像组的负担的效果。
图1是示意性示出具有本发明实施方式1的图像处理装置的图像显示系统的一个结构例的框图。图2是例示本发明实施方式1的图像处理装置的处理过程的流程图。图3是例示体内图像组所包含的各关注区域的分类处理的处理过程的流程图。图4是示出体内图像组内所包含的关注区域的特征点的特征空间内的分布状态的一个具体例的示意图。图5是示出将特征空间内的各特征点分类为特征点群后的状态的示意图。图6是示出将在时间序列上相邻或相同的特征点所属的多个特征点群合并为同一群的状态的示意图。图7是例示各关注区域组的代表区域选择处理的处理过程的流程图。图8是示出表示来自关注区域组的代表区域的选择数与关注区域组的组特征量之间的关系的函数的一个具体例的示意图。图9是说明从关注区域组选择与组特征量对应的选择数的代表区域的状态的示意图。图10是示意性示出具有本发明实施方式2的图像处理装置的图像显示系统的一个结构例的框图。图11是例示实施方式2中的各关注区域组的代表区域选择处理的处理过程的流程图。图12是用于具体说明实施方式2中的代表区域选择处理的示意图。
具体实施例方式以下，根据附图详细说明本发明的图像处理装置、图像处理程序以及图像处理方法的实施方式。另外，以下，例示被检体内部的胶囊内窥镜按照时间序列顺序拍摄的体内图像组，作为沿着时间序列拍摄的时间序列图像组的一例，对从该体内图像组中输出包含待观察的关注区域的体内图像作为代表图像的图像处理装置、图像处理程序以及图像处理方法进行说明，但是本发明不被本实施方式限定。(实施方式1)图1是示意性示出具有本发明实施方式1的图像处理装置的图像显示系统的一个结构例的框图。如图1所示，本实施方式1的图像显示系统100具有图像输入装置1，其输入被检体的体内图像组；图像处理装置2，其进行用于从由图像输入装置1输入的体内图像组中输出包含关注区域的1帧以上的体内图像的各种图像处理；以及显示装置3，其对由图像处理装置2输出的1帧以上的体内图像进行显示。图像输入装置1是用于将被检体的体内图像组输入到图像处理装置2的装置。具体而言，图像输入装置1例如是能够拆装可移动型的记录介质的数据输入接口。图像输入装置1可拆装地插装有保存了由胶囊内窥镜等拍摄的被检体的体内图像组的记录介质，并将从该记录介质取入的体内图像组输入到图像处理装置2。图像处理装置2进行用于从由图像输入装置1输入的体内图像组中提取包含关注区域的体内图像的各种图像处理。具体而言，图像处理装置2从图像输入装置1取得被检体的体内图像组，并对该所取得的体内图像组所包含的各体内图像进行图像处理，从而从该体内图像组中提取1帧以上的包含关注区域的体内图像。图像处理装置2向显示装置3 输出1帧以上的包含关注区域的体内图像，作为代表该体内图像组内的各体内图像的代表图像。另外，关于图像处理装置2的详细结构将后述。此处，在本实施方式1中，被检体的体内图像组所包含的关注区域是待由医生或护士等观察者观察的关注的体内区域(体内部位)，例如是消化管内部的病变区域、粘膜区域、医疗处置后的活体组织区域等。显示装置3作为显示输出1帧以上的体内图像组中的包含关注区域的体内图像的用户接口发挥功能。具体而言，显示装置3使用CRT显示器或液晶显示器等期望的显示器实现。显示装置3取得图像处理装置2从体内图像组中提取出的1帧以上的代表图像，并显示该所取得的1帧以上的代表图像。另外，显示装置3显示的代表图像是拍摄被检体内部的病变区域等关注区域后的体内图像，观察者能够通过观察所显示的代表图像，检查被检体的消化管内部。接着，对本发明实施方式1的图像处理装置2的结构进行详细说明。如图1所示， 本实施方式1的图像处理装置2具有运算部10，其对体内图像组内的各体内图像进行运算处理等；输入部20，其输入图像处理所需的设定信息等各种信息；存储部30，其存储体内图像等各种数据；以及控制部40，其控制图像处理装置2的各构成部分。运算部10对通过图像输入装置1输入的体内图像组内的各体内图像进行各种运算处理。具体而言，运算部10具有关注区域检测部11，其检测体内图像组所包含的关注区域；特征量计算部12，其计算关注区域检测部11检测到的关注区域的特征量；以及区域分类部13，其根据特征量计算部12计算出的特征量、和包含关注区域的体内图像的时间序列位置对关注区域进行分类。并且，运算部10具有组特征量计算部14，其计算由区域分类部13分类的关注区域所属的区域组的特征量(以下称作组特征量)；区域选择部15，其选择代表属于区域组的关注区域的1个以上的代表区域；以及代表图像输出部16，其输出包含区域选择部15选择的代表区域的1个以上的代表图像。关注区域检测部11检测体内图像组所包含的关注区域。具体而言，关注区域检测部11从图像输入装置1取得总数为N张的体内图像组PG，并按照时间序列顺序对该所取得的体内图像组PG的各体内图像P (j)赋予帧编号j (1彡j彡N)。关注区域检测部11根据各体内图像P(j)的颜色信息等特征量，从各体内图像P(j)检测病变区域等关注区域A(j， t)。关注区域检测部11将关注区域A(j，t)的检测结果和体内图像组PG发送到特征量计算部12。另外，t是识别1帧体内图像P(j)所包含的1个以上的关注区域A(j，t)的索引 (标识符)。特征量计算部12作为计算特征量的计算处理部发挥功能，该特征量表示关注区域检测部11从各体内图像P(j)检测到的关注区域A(j，t)的特征。具体而言，特征量计算部12具有像素值转换部12a，其将属于各关注区域A(j，t)的像素的像素值转换为期望的颜色空间的值；以及平均值计算部12b，其计算通过像素值转换部1 转换后的各关注区域 A(j，t)的像素值的平均值。像素值转换部1 按照关注区域检测部11从体内图像组PG中检测到的每个关注区域，将属于关注区域A(j，t)的像素的值、例如红绿蓝(RGB)的颜色空间的值转换为 L*a*b*空间的值。平均值计算部12b计算像素值转换部1 转换输出后的L*a*b*空间的值的平均值作为关注区域A(j，t)的特征量、例如颜色特征量。这样计算出的关注区域A(j， t)的特征量与体内图像组PG—起被发送到区域分类部13。区域分类部13根据特征量计算部12计算出的关注区域A(j，t)的特征量、和包含关注区域检测部11检测到的关注区域A(j，t)的体内图像P(j)的时间序列位置，将关注区域A(j，t)分类到任意一个区域组。具体而言，区域分类部13具有相邻状况判定部13a，其判定各关注区域A(j，t)的时间序列的相邻状况；以及相似度判定部13b，其判定表示关注区域A(j，t)彼此的特征量相似性的相似度。相邻状况判定部13a判定关注区域检测部11从体内图像组PG中检测到的多个关注区域A(j，t)在时间序列上是否相邻。另外，相邻状况判定部13a判定出的关注区域A(j， t)的时间序列相邻状况表示由关注区域A(j，t)的特征量坐标轴和时间序列的坐标轴形成的特征空间内的关注区域A(j，t)的时间序列分布状态。相似度判定部1 判定表示特征量计算部12计算出的多个关注区域A(j，t)彼此的特征量(例如颜色特征量)相似性的相似度。另外，相似度判定部1 判定的关注区域 A(j，t)彼此的相似度表示上述特征空间内的关注区域A(j，t)的特征量分布状态。此处，区域分类部13根据上述关注区域A(j，t)的时间序列的相邻状况判定结果， 掌握特征空间内的关注区域A(j，t)的时间序列分布状态。此外，区域分类部13根据上述关注区域A(j，t)彼此的相似度判定结果，掌握特征空间内的关注区域A(j，t)的特征量分布状态。区域分类部13根据所掌握的关注区域A(j，t)的特征量分布状态和时间序列的分布状态，将关注区域A(j，t)分类到任意一个区域组。由此，区域分类部13将特征空间内的特征量分布收敛在预定阈值范围内并且在时间序列上为相邻或相同状态的关注区域A(j， t)彼此分类为同一区域组。区域分类部13将关注区域A(j，t)的组分类结果和体内图像组PG发送到组特征量计算部14。组特征量计算部14计算组特征量，该组特征量表示区域分类部13所分类的关注区域A(j，t)的每个区域组的特征。具体而言，组特征量计算部14从区域分类部13取得体内图像组PG，并按照该所取得的体内图像组PG内的关注区域A(j，t)所属的每个区域组， 计算属于各区域组的关注区域A(j，t)的特征空间内的特征量方差。接着，组特征量计算部 14根据计算出的每个区域组的特征量的方差计算结果，计算各区域组的组特征量。此处，关注区域A(j，t)的特征空间内的特征量方差是基于由平均值计算部12b计算出的关注区域A(j，t)的颜色特征量、即属于关注区域A(j，t)的L*a*b*空间值的平均值的方差。组特征量计算部14通过按照每个区域组对上述关注区域A(j，t)的特征量方差进行合计，计算每个区域组的组特征量。组特征量计算部14将组特征量的计算结果和体内图像组PG发送到区域选择部15。区域选择部15根据组特征量计算部14计算出的组特征量，从区域组中选择代表关注区域A(j，t)的1个以上的代表区域。具体而言，区域选择部15具有选择数确定部 15a，其确定每个区域组的代表区域的选择数；细分类处理部15b，其将区域组所包含的多个关注区域A(j，t)细分类为与选择数相同数量的相似组；重心计算部15c，其按照细分类后的每个相似组计算重心；以及最近区域选择部15d，其按照每个相似组选择最接近重心的关注区域。选择数确定部1 具有函数部15e。函数部1 预先保持表示代表区域的选择数与组特征量之间的关系的函数，在输入了组特征量的情况下，根据所输入的组特征量和预先保持的函数，按照每个区域组计算概要率。此处，函数部1 计算出的概要率是确定选择属于一个区域组的关注区域A(j，t)的百分之几的值。另外，函数部1 保持的函数可以预先在函数部1 中设定，也可以由控制部40根据从输入部20输入的函数信息在函数部15e 中设定。
具体而言，选择数确定部1 通过将函数部1 按照每个区域组计算出的概要率和区域组内的关注区域A(j，t)的总数相乘，并对该相乘结果的小数点以下进行四舍五入， 确定每个区域组的代表区域的选择数。细分类处理部1 按照体内图像组PG中的每个区域组，将区域组内的多个关注区域A(j，t)细分类为特征进一步相似的相似组。具体而言，细分类处理部1 根据该体内图像组PG中的各区域组所包含的多个关注区域A(j，t)的特征相似度，将每个区域组的关注区域A(j，t)细分类为与选择数确定部15a的选择数相同数量的相似组。此处，作为关注区域A(j，t)的特征相似度，例如可列举上述平均值计算部12b计算出的各关注区域A(j，t)的颜色特征量的相似度。在关注区域A(j，t)的特征相似度为颜色特征量的相似度时，细分类处理部1 细分类后的各相似组内的关注区域A(j，t)彼此变为颜色特征量比比细分类处理前的区域组内的关注区域A(j，t)彼此更相似的关注区域彼此。重心计算部15c按照每个相似组计算由细分类处理部1 细分类后的相似组所包含的多个关注区域A(j，t)的特征量的重心。此处，相似组内的关注区域A(j，t)的特征量重心是基于同一相似组所包含的多个关注区域A(j，t)的特征量平均值和时间序列位置的特征空间内的坐标点。另外，作为关注区域A(j，t)的特征量平均值，例如可列举平均值计算部12b计算出的颜色特征量的平均值。最近区域选择部15d从上述相似组所包含的多个关注区域A(j，t)中，选择与重心计算部15c计算出的特征量重心最接近的关注区域。具体而言，最近区域选择部15d按照每个相似组，选择与特征空间内的特征量重心的欧几里得距离最小的特征量的关注区域A (j， t)。即，最近区域选择部15d按照每个相似组，选择与上述特征量重心最接近的特征空间内坐标点所对应的关注区域A(j，t)。具有上述结构的区域选择部15通过将最近区域选择部15d按照细分类处理部15b 细分类的每个相似组选择的关注区域A(j，t)设为代表区域，从体内图像组PG内，按照每个区域组选择与选择数确定部1 确定的选择数相同数量的代表区域。区域选择部15将每个区域组的代表区域选择结果和体内图像组PG发送到代表图像输出部16。另外，区域选择部15通过对选择数为小于1的值的区域组，将该选择数设为“ 1”，从该区域组中选择至少一个关注区域A(j，t)。代表图像输出部16输出体内图像组PG中的包含代表区域的1个以上的代表图像。具体而言，代表图像输出部16取得进行了上述代表区域选择处理的体内图像组PG，并从该所取得的代表图像组PG中，提取包含由区域选择部15选择的代表区域的体内图像。代表图像输出部16将1帧以上的包含所提取的代表区域的体内图像作为输出对象(例如显示对象)的代表图像输出到显示装置3。另外，代表图像输出部16在体内图像组PG中包含多个代表区域的情况下，将包含这多个代表区域中的各个代表区域的多个体内图像组即代表图像组输出到显示装置3。如上所述，由代表图像输出部16输出的1帧以上的代表图像作为观察对象的体内图像显示在显示装置3上。输入部20使用被例示为例如键盘和鼠标的输入设备等实现。输入部20与医生或护士等观察者(用户)的输入操作对应，向图像处理装置2的控制部40输入各种信息。另夕卜，作为由输入部20输入到控制部40的各种信息，例如可列举对控制部40指示图像处理装置2的动作开始或动作结束等的指示信息；在上述函数部15e中设定的函数信息；以及图像处理装置2进行的图像处理所需的各种参数等。存储部30使用RAM、EEPR0M、闪存或硬盘等可改写地保存信息的各种存储介质来实现。存储部30对控制部40指示存储的各种信息进行存储，并将控制部40指示从所存储的各种信息中读出的信息发送到控制部40。另外，作为存储部30存储的各种信息，例如可列举通过输入部20输入的输入信息、通过图像输入装置1输入的体内图像组PG、和图像处理装置2的各构成部分的处理结果等。控制部40对作为图像处理装置2的构成部分的运算部10、输入部20和存储部30 的各动作进行控制，并且对这些各构成部分之间的信号输入输出进行控制。尤其是，在运算部10的控制中，控制部40对作为该运算部10的构成部分的关注区域检测部11、特征量计算部12、区域分类部13、组特征量计算部14、区域选择部15和代表图像输出部16的各动作进行控制，并且对这些各构成部分之间的信号输入输出进行控制。具体而言，控制部40使用存储处理程序的存储部和执行该存储部内的处理程序的计算机来实现。控制部40根据由输入部20输入的指示信息控制存储部30的动作，或者控制运算部10的各构成部分的处理和动作定时等。此外，控制部40控制运算部10以对由图像输入装置1输入的体内图像组PG进行处理并将该体内图像组PG中的1帧以上的代表图像输出到显示装置3，并且控制存储部30以存储体内图像组PG。控制部40根据由输入部20输入的指示信息等，适当读出存储部30内的体内图像组PG的各体内图像P (j)，并将所读出的体内图像P (j)发送到运算部10。接着，对本发明实施方式1的图像处理装置2的动作进行说明。图2是例示本发明实施方式1的图像处理装置的处理过程的流程图。该实施方式1的图像处理装置2执行图2所示的处理过程，并将从图像输入装置1取得的被检体的体内图像组PG所包含的1帧以上的代表图像(以下称作代表体内图像)输出到显示装置3。S卩，如图2所示，图像处理装置2首先从图像输入装置1取得被检体的体内图像组 PG (步骤S101)。在该步骤SlOl中，控制部40控制运算部10的关注区域检测部11，以执行由图像输入装置1输入的体内图像组PG的取得处理。关注区域检测部11根据控制部40 的控制，从图像输入装置1取得被检体的体内图像组PG，并按照时间序列顺序对该所取得的体内图像组PG(总数N张)的各体内图像P(j)赋予帧编号j(l彡j彡N)。另外，体内图像组PG所包含的各体内图像P (j)是在各像素中具有分别与R(红)G(绿)B (蓝)对应的像素值的彩色图像。接着，图像处理装置2检测体内图像组PG所包含的关注区域A(j，t)(步骤S102)。 在该步骤S102中，控制部40控制关注区域检测部11，以执行通过上述步骤SlOl的处理过程取得的体内图像组PG内的关注区域A(j，t)的检测处理。关注区域检测部11基于控制部40的控制，根据体内图像组PG内的各体内图像P (j)的颜色信息等检测病变区域等关注区域 A(j，t)。具体而言，关注区域检测部11首先将体内图像组PG内的各体内图像P(j)分别区域分割为预定数量的像素区域并计算各像素区域的颜色等特征量。接着，关注区域检测部11对将颜色等特征量设为坐标轴的特征空间内的各像素区域的数据点进行分群。之后，关注区域检测部11根据特征空间内的各数据点的群的重心位置等信息，识别由体内图像 P(J)内的关注区域的各像素的数据点构成的群，并将与所识别的群对应的像素区域设为体内图像p(j)内的关注区域A(j，t)。此处，所谓分群，是指根据特征量的相似性将特征空间内的数据分布分类为被称作群的集合的处理。另外，关注区域检测部11进行例如k-means法(参照CG-ARTS协会 “数字图像处理”P. 231)等公知的分群，检测体内图像组PG内所包含的病变区域等关注区域 A(j，t)。另外，在本实施方式1中，关注区域检测部11根据特征空间内的特征量的分布状态检测病变区域等关注区域A(j，t)，但是关注区域检测部11对关注区域A(j，t)的检测方法由于检测对象的关注区域A(j，t)而不同。因此，只要是能够从体内图像组PG中检测到关注区域A(j，t)的方法，则关注区域检测部11也可以使用上述分群以外的方法检测体内图像组PG内的关注区域A(j，t)。之后，图像处理装置2计算体内图像组PG所包含的各关注区域A(j，t)的特征量 (步骤S103)。在该步骤S103中，控制部40控制特征量计算部12，以执行通过上述步骤S102 的处理过程检测到的各关注区域A(j，t)的特征量计算处理。特征量计算部12根据控制部 40的控制，计算作为体内图像组PG内的各关注区域A(j，t)的特征量一例的颜色特征量。具体而言，像素值转换部1 按照关注区域检测部11从体内图像组PG中检测到的每个关注区域A (j，t)，将属于关注区域A (j，t)的RGB颜色空间的值转换为L*a*b*空间的值，即亮度指数L和感知色度a、b各值。接着，平均值计算部12b计算像素值转换部12a 按照每个关注区域A (j，t)转换输出的亮度指数L和感知色度a、b各值的平均值，即平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)作为各关注区域A(j，t)的颜色特征量。特征量计算部12如上所述，计算将亮度指数L和感知色度a、b等3个颜色特征量以及时间序列作为坐标轴的4轴的特征空间(以下称作Lab-时间序列特征空间)内的关注区域A(j，t)的颜色特征量。此处，特征量计算部12计算出的关注区域A(j，t)的颜色特征量是Lab-时间序列特征空间的颜色特征量轴的坐标分量。另外，如上所述，上述平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)中的 j是赋予给体内图像组PG内的各体内图像P (j)的帧编号j。另一方面，t是识别体内图像组PG内的1帧图像P(j)所包含的1个以上的关注区域A(j，t)的索引。接着，图像处理装置2对体内图像组PG内的各关注区域A(j，t)进行分类(步骤 S104)。在该步骤S104中，控制部40控制区域分类部13，以执行通过上述步骤S102的处理过程检测到的各关注区域A(j，t)的分类处理。区域分类部13基于控制部40的控制，根据通过上述步骤S103的处理过程计算出的各关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的各体内图像P(j)的时间序列位置，将体内图像组PG内的各关注区域A(j，t) 分类到任意一个区域组。具体而言，相邻状况判定部13a判定体内图像组PG所包含的关注区域A(j，t)的时间序列的相邻状况。即，相邻状况判定部13a按照与Lab-时间序列特征空间内的各特征点对应的每个关注区域A(j，t)，判定各特征点在时间序列上是否相邻。另一方面，相似度判定部1 判定在步骤S103中由平均值计算部12b计算出的多个关注区域A(j，t)彼此的颜色特征量的相似度。即，相似度判定部Hb判定Lab-时间序列特征空间内的各特征点彼此的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的相似度。区域分类部13根据如上所述那样由相邻状况判定部13a所判定的关注区域A(j， t)的时间序列的相邻状况和由相似度判定部1 所判定的关注区域A(j，t)彼此的颜色特征量的相似度，将体内图像组PG内的关注区域A(j，t)分类为1个以上的区域组。由此，区域分类部13将分布在Lab-时间序列特征空间内的特征点分类为1个以上的特征点群。另外，Lab-时间序列特征空间内的特征点是根据关注区域A(j，t)的颜色特征量和时间序列位置确定的坐标点。另一方面，特征点群是分布在Lab-时间序列特征空间内的特征点的组，包含1个以上的特征点。在步骤S104中，区域分类部13当然将Lab-时间序列特征空间内的包含多个特征点的组视作特征点群，将Lab-时间序列特征空间内的单一特征点也视作一个特征点所属的特征点群。接着，图像处理装置2计算该体内图像组PG内的各关注区域组的组特征量(步骤
5105)。在该步骤S105中，控制部40控制组特征量计算部14，以按照通过上述步骤S104的处理过程分类出的关注区域A(j，t)的每个区域组执行组特征量的计算处理。具体而言，组特征量计算部14根据控制部40的控制，按照关注区域A(j，t)的每个区域组，计算表示区域组的特征的组特征量。即，组特征量计算部14首先按照体内图像组PG内所包含的每个关注区域A(j，t)，计算关注区域A(j，t)的颜色特征量的方差。接着， 组特征量计算部14通过按照每个区域组对属于区域组的各关注区域A(j，t)的颜色特征量进行合计，由此计算体内图像组PG内的各区域组的组特征量。更具体而言，组特征量计算部14计算Lab-时间序列特征空间内的各特征点的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差，并按照每个特征点群对计算出的平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差进行合计。由此，组特征量计算部14计算体内图像组PG内的每个特征点群的组特征量、即各区域组的组特征量。接着，图像处理装置2选择体内图像组PG内的各关注区域组的代表区域(步骤
5106)。在该步骤S105中，控制部40控制区域选择部15，以按照通过上述步骤S104的处理过程分类出的关注区域A(j，t)的每个区域组执行代表区域的选择处理。具体而言，区域选择部15基于控制部40的控制，根据上述组特征量计算部14计算出的各区域组的组特征量，按照每个区域组从属于区域组的关注区域A(j，t)中选择1个以上的代表区域。之后，图像处理装置2将体内图像组PG中的包含代表区域的1帧以上的代表体内图像输出到显示装置3 (步骤S107)，并结束本处理。在该步骤S107中，控制部40控制代表图像输出部16，以执行包含通过上述步骤S106的处理过程选择出的代表区域的代表体内图像的输出处理。具体而言，代表图像输出部16根据控制部40的控制，从体内图像组PG中，提取1 帧以上的包含区域选择部15在上述步骤S106中选择出的代表区域的代表体内图像，并将提取出的1帧以上的代表体内图像输出到显示装置3。即，代表图像输出部16在体内图像组PG内所包含的代表体内图像仅为1帧的情况下，将该1帧的代表体内图像输出到显示装置3，在体内图像组PG内包含多帧代表体内图像的情况下，将这多帧的代表体内图像输出到显示装置3。另外，代表图像输出部16输出到显示装置3的代表体内图像可以包含单个关注区域A (j，1)，也可以包含多个关注区域A (j，t) (t彡2)。
接着，对上述步骤S104中的各关注区域的分类处理进行详细说明。图3是例示体内图像组所包含的各关注区域的分类处理的处理过程的流程图。图4是示出体内图像组内所包含的关注区域的特征点的特征空间内的分布状态的一个具体例的示意图。图5是示出将特征空间内的各特征点分类为特征点群后的状态的示意图。图6是示出将在时间序列上相邻或相同的特征点所属的多个特征点群合并为同一群的状态的示意图。另夕卜，图4 6所示的特征空间为Lab-时间序列特征空间。在图4 6中，为了简化本发明的说明，将关注区域A(j，t)具有的平均亮度指数L(j，t)和平均感知色度a(j， t)、b(j，t)作为颜色特征量集中到一个轴上表示。如上所述，图像处理装置2的区域分类部13根据控制部40的控制执行步骤S104 中的各关注区域A(j，t)的分类处理。具体而言，如图3所示，区域分类部13首先进行体内图像组PG所包含的各关注区域A(j，t)的特征点的初始设定处理(步骤S201)。在该步骤S201中，区域分类部13根据上述特征量计算部12计算出的各关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的各体内图像P(j)的时间序列位置，在 Lab-时间序列特征空间内生成(绘制)与体内图像组PG内的各关注区域A(j，t)的特征对应的各特征点。具体而言，区域分类部13在体内图像组PG内的体内图像P (j)中包含总数为Tm 的关注区域A(j，t)的情况下，根据关注区域A(j，t)的时间序列信息和颜色特征量，在 Lab-时间序列特征空间内绘制关注区域A(j，t)的特征点C(m)。另外，特征点C(m)中的m 是识别在Lab-时间序列特征空间内绘制的特征点的索引。即，在总数为Tm的关注区域A (j， t)中，索引m为1以上、Tm以下。另一方面，关注区域A(j，t)的时间序列信息是表示体内图像组PG中的体内图像P(j)的时间序列位置的信息，与体内图像P(j)的帧编号j对应。 此外，关注区域A(j，t)的颜色特征量是平均值计算部12b计算出的平均亮度指数L(j，t) 和平均感知色度a (j，t)、b (j，t)。此处，区域分类部13首先将索引m设定为“1”，根据特征点C(I)的颜色特征量和时间序列信息设定特征点C(I)的坐标，在Lab-时间序列特征空间内生成特征点C(l)。之后，关于剩余的特征点CO) C(Tm)，也与特征点C(I)的情况同样地根据颜色特征量和时间序列信息依次设定坐标，在Lab-时间序列特征空间内生成特征点C(2) C(Tm)。在该时亥IJ，区域分类部13通过将分布在Lab-时间序列特征空间内的各特征点C(I) C(Tm)分别视作一个特征点群，生成与检测到的关注区域A(j，t)相同数量的特征点群组。接着，区域分类部13将所生成的特征点群组的总数设定为Tk，并将识别该特征点群组内的各特征点群CG (k)的索引k(l彡k彡Tk)设定为“1”。接着，区域分类部13将构成特征点群CG(k)的关注区域A(j，t)的颜色特征量、即平均亮度指数L(j，t)和平均感知色 ^a(j,t),b(j,t)代入特征点群CG (k)的平均亮度指数L (k)和平均感知色度a(k)、b(k) (颜色特征量的代入处理)。此处，平均亮度指数L(k)和平均感知色度a(k)、b(k)是属于特征点群CG(k)的所有关注区域A(j，t)的颜色特征量的平均值。但是，在该阶段，在各特征点群CG(k)中仅包含1个关注区域A(j，t)、即1个特征点C(m)。因此，将属于各特征点群CG(k)的关注区域 A(j，t)的亮度指数L(j，t)和感知色度a(j，t)、b(j，t)代入平均亮度指数L(k)和平均感知色度&(10、13(10。
之后，区域分类部13对索引k进行增加处理，并判定索引k是否在总数Tk以下。 区域分类部13在判定为索引k在总数Tk以下的情况下，进行上述颜色特征量的代入处理以后的处理过程，在判定为索引k不在总数Tk以下的情况下，结束步骤S201的处理过程。下面，参照图4更具体说明步骤S201的处理过程。如图4所示，在体内图像组PG 内的体内图像P (1)、P⑵、P (3)、P (4)、P (6)、P (7)中分别包含关注区域A (1，1)、A (2，1)、 A (3，1)、A(4，1)、A(6，1)、A(7，1)的情况下，区域分类部13在Lab-时间序列特征空间内首先生成具有坐标的特征点C(I)，该坐标基于体内图像P(I)内的关注区域A(l，l)的时间序列信息和颜色特征量。接着，区域分类部13在Lab-时间序列特征空间内，依次生成具有基于体内图像H2)内关注区域AO，l)的时间序列信息和颜色特征量的坐标的特征点以2)、 到具有基于体内图像P(7)内关注区域A(7，l)的时间序列信息和颜色特征量的坐标的特征点C(6)。其结果，在图4所示的Lab-时间序列特征空间内，绘制与关注区域的总数Tm(= 6)相同数量的6个特征点C(I) C (6)。接着，区域分类部13将这6个特征点C(I) C (6)分别视作特征点群，将各特征点C(I) C (6)的各颜色特征量代入各特征点群的颜色特征量、即平均亮度指数L (k)和平均感知色度3(10、13(10。另外，体内图像组PG内的体内图像P(5)不包含关注区域，因此在Lab-时间序列特征空间内，没有绘制与体内图像P(5)对应的特征点。该情况对于剩余的体内图像P(8) P(N)也同样如此。另一方面，在执行上述步骤S201后，区域分类部13判定Lab-时间序列特征空间内的特征点群的总数是否为1以下(步骤S2(^)。在该步骤S202中，区域分类部13对存在于Lab-时间序列特征空间内的特征点群的数量进行合计，并判定该合计的特征点群的总数是否为1以下。在该步骤S202中的判定处理的结果是特征点群的总数为1以下的情况下(步骤 S202,是)，区域分类部13结束本处理并返回图2所示的步骤S104的处理过程。另一方面， 在步骤S202的判定处理结果是特征点群的总数不为1以下的情况下(步骤S202，否)，区域分类部13在存在于Lab-时间序列特征空间内的多个特征点群中选择变为最小色差的特征点群的组合(步骤S203)。在步骤S203中，区域分类部13如上述步骤S201的处理过程那样从在Lab-时间序列特征空间内设定的多个特征点群CG(k)中依次提取不同索引kl、k2(l彡kl < k2彡Tk) 的特征点群CG(kl)、CG(k2)，并根据下式(1)依次计算提取出的两个特征点群CG(kl)、 CG(k2)的颜色特征量的差即色差ΔΕ。式1M - ^(L(kl)-L(k2)f +(a{kl)-a{k2))2 +{b(k\)-b{k2)f...⑴此处，在该式(1)中，平均亮度指数L(kl)和平均感知色度a(kl)、b(kl)是特征点群CG(kl)的颜色特征量，平均亮度指数L (M)和平均感知色度a(k2)、b(l^)是特征点群 CG (k2)的颜色特征量。具体而言，区域分类部13首先将索引kl的初始值设定为“1”并且将索引k2的初始值设定为“2”，并根据式(1)，计算特征点群06&1)丄6&2)的色差ΔΕ。接着，区域分类部13判定索引k2是否小于特征点群的总数Tk，在小于总数Tk的情况下，依次重复上述色差ΔΕ的计算处理和索引k2的增加处理。之后，区域分类部13在索引k2为特征点群的总数Tk以上的情况下，判定索引kl 是否小于从特征点群的总数Tk减去“1”后的减法运算值(Tk-Ι)。区域分类部13在索引 kl小于减法运算值(Tk-I)的情况下，对索引kl进行增加处理，将索引k2设定为对索引kl 加上“1”后的值(kl+Ι)，并重复上述色差ΔΕ的计算处理。另一方面，区域分类部13在索引kl为减法运算值(Tk-I)以上的情况下，对在该步骤S203中计算出的所有色差ΔE进行排序处理。区域分类部13根据该排序处理结果， 选择具有这些全部色差ΔΕ中的最小色差AEmin的特征点群CG (kl)、CG (k2)的组合。另外，色差ΔΕ与关注区域A(j，t)彼此的颜色特征量的相似度相当，伴随关注区域A(j，t)彼此的颜色特征量的相似度增加而减少，伴随关注区域A(j，t)彼此的颜色特征量的相似度减少而增加。下面，参照图4更具体说明步骤S202的处理过程。如图4所示，在仅一个特征点属于一个特征点群的初始状态的情况下，区域分类部13首先将特征点群CG(kl)的索引kl 设定为特征点C(I)的索引(=1)，并将特征点群CG(k2)的索引k2设定为特征点C (2)的索引(=2)。接着，区域分类部13计算属于特征点群CG(kl)的特征点C(I)和属于特征点群 CG(k2)的特征点C(2)的色差ΔΕ。接着，区域分类部13判定索引k2是否为特征点群的总数Tk以下，在为总数Tk以下的情况下，对索引k2进行增加处理，计算特征点C(I)和属于特征点群CG(M)的特征点CC3)的色差ΔΕ。之后，区域分类部13依次重复索引k2的增加处理和色差ΔΕ的计算处理，直到该索引k2到达总数Tk为止。另一方面，区域分类部13在索引k2超过了总数Tk的情况下，对索引kl进行增加处理，并且将索引k2置换为kl+Ι的值。并且，区域分类部13计算属于该增加处理后的特征点群CG(kl)的特征点C(2)和属于特征点群CG(k2)的特征点C(3)的色差ΔΕ。之后，区域分类部13依次重复索引kl、k2的增加处理和色差ΔE的计算处理，直到索引kl到达从总数Tk减去“1”后的值为止。之后，区域分类部13针对可从Lab-时间序列特征空间内提取的两个特征点群 CG(kl),CG(k2)的所有组合，执行上述处理，并计算两个特征点群CG (kl)、CG (M)的所有组合的各色差ΔΕ。如上所述，区域分类部13关于图4所示的Lab-时间序列特征空间内的6个特征点群即特征点C(I) C(6)，依次计算特征点C(I)、C(2)的色差ΔΕ1，特征点C(I)、C(3)的色差Δ E2，特征点C(l)、C (4)的色差Δ Ε3，特征点C(l)、C (5)的色差AE44_iAC(l)、 C(6)的色差ΔΕ5。接着，区域分类部13依次计算特征点以2)、CC3)的色差ΔΕ6，特征点 C (2), C (4)的色差ΔΕ7，特征点以2)、以5)的色差Δ E8，特征点C O)、C (6)的色差ΔΕ9。 此外，区域分类部13依次计算特征点C(3)、C(4)的色差ΔΕ10，特征点C(3)、C(5)的色差 ΔΕ11，特征点C(3)、C(6)的色差ΔΕ12。并且，区域分类部13依次计算特征点以4)、C(5) 的色差ΔΕ13，特征点C(4)、C(6)的色差ΔΕ14，之后计算特征点C(5)、C(6)的色差ΔΕ15。如上所述那样完成特征点群CG (kl)、CG (k2)的所有组合的色差ΔΕ的计算后，区域分类部13对计算出的所有色差ΔΕ彼此进行比较处理，并对这些所有的色差ΔΕ进行排序处理。接着，区域分类部13根据该排序处理结果，从这些全部的色差ΔΕ中求出最小色差ΔΕπ η。并且，区域分类部13从Lab-时间序列特征空间内的所有特征点群的组合中，选择与该最小色差Δ Emin对应的特征点群CG (kl)、CG (k2)的组合。具体而言，如图4所示，在特征点C(1)、C(4)的色差ΔΕ3为最小值的情况下，区域分类部13从计算出的所有色差AEl ΔΕ15中将色差ΔE3确定为最小色差AEmin，并从作为特征点群的特征点C(I) C (6)的所有组合中，选择与该色差ΔΕ3对应的特征点群的组合、即特征点C(l)、C (4)。另一方面，在执行上述步骤S203后，区域分类部13判定所选择的特征点群 CG(kl)、CG(k2)的组合的色差ΔΕ是否为预定阈值以下(步骤S204)。在步骤S204中，如果是紧接着上述步骤S203之后，则区域分类部13对与Lab-时间序列特征空间内的颜色特征量相关的阈值和仅一个特征点所属的特征点群的组合的最小色差AEmin进行比较处理，如果是紧接着后述步骤S209之后，则区域分类部13对在步骤S209的处理过程中选择出的特征点群的组合的最小色差AEmin和该阈值进行比较处理。区域分类部13在该最小色差AEmin不在阈值以下的情况下(步骤S204，否)，结束本处理并返回图2所示的步骤S104的处理过程。另外，上述色差AEmin的阈值优选根据色差ΔΕ的单位制、例如确定与人感觉到的色差对应的值的范围的NBS (National Bureau of Mandards 美国国家标准局)单位制设定，具体而言，设定为人能够看到并感觉到明显色差程度的值(=3. 0)。该阈值可以是预先保持在区域分类部13中的值，也可以是通过控制部40根据来自输入部20的输入信息可更新地设定的值。另一方面，区域分类部13在步骤S204中特征点群的组合的色差即最小色差 AEmin为阈值以下的情况下(步骤S204，是)，从该特征点群的组合中，选择在Lab-时间序列特征空间内属于相互不同的特征点群并且在时间序列上最近的特征点的组合(步骤 S205)。在步骤S205中，区域分类部13首先从通过步骤S204的处理过程判定为阈值以下的最小色差ΔΕπ η的特征点群的组合中，设定属于一方的特征点群的特征点C(tl)和属于另一方的特征点群的特征点C (t2)。此处，tl是识别属于一方的特征点群的特征点的索引，并且也是识别与该一方的特征点群对应的区域组内的关注区域的索引。同样，t2是识别属于另一方的特征点群的特征点的索引，并且也是识别与该另一方的特征点群对应的区域组内的关注区域的索引。区域分类部13设定属于一方的特征点群的特征点的索引tl的数值范围 (l^tl ^ Ql)、和属于另一方的特征点群的特征点的索引t2的数值范围(1彡t2彡Q2)。 另外，Ql是索引tl的最大值，表示与该一方的特征点群对应的关注区域的总数。另一方面， Q2是索引t2的最大值，表示与该另一方的特征点群对应的关注区域的总数。此处，区域分类部13当然将Lab-时间序列特征空间内的包含多个特征点的组视作特征点群，将Lab-时间序列特征空间内的单一特征点也视作一个特征点所属的特征点群。另外，与上述特征点对应的关注区域是关注区域检测部11在图2所示的步骤S102 中检测到的病变区域等关注区域A(j，t)，在图4中，关注区域A(l，1)、A(2，1)、A(3，1)、AG， 1)、A(6，1)、A(7，1)符合。
接着，区域分类部13计算通过索引tl识别的关注区域与通过索引t2识别的关注区域在时间序列方向上的距离D。具体而言，区域分类部13将索引tl、t2均设定为“1”，并计算与索引tl = 1的关注区域对应的一方特征点群内的特征点C(tl)和与索引t2 = 1的关注区域对应的另一方特征点群内的特征点C(U)在时间序列方向上的欧几里得距离作为距离D。接着，区域分类部13判定索引tl是否小于总数Ql，在小于总数Ql的情况下，对索引tl进行增加处理，并计算通过增加处理后的索引tl识别的关注区域与通过索引t2识别的关注区域在时间序列方向上的距离D。之后，区域分类部13依次重复索引tl的增加处理和距离D的计算处理，直到索引tl到达总数Ql为止。另一方面，区域分类部13在索引tl为总数Ql以上的情况下，判定属于另一方的特征点群的特征点的索引t2是否小于总数Q2。区域分类部13在索引t2小于总数Q2的情况下，将索引tl设定为初始值(=1)，并且对该索引t2进行增加处理，计算通过增加处理后的索引t2识别的关注区域与通过索引tl识别的关注区域在时间序列方向上的距离D。 之后，区域分类部13依次重复索引t2的增加处理和距离D的计算处理，直到该索引t2到达总数Q2为止。通过如上述那样重复进行索引tl、t2的增加处理和距离D的计算处理，区域分类部13完成属于一方的特征点群的特征点C(tl)和属于另一方的特征点群的特征点C(t2) 在时间序列方向上的距离D的计算、即两特征点群中的各关注区域在时间序列方向上的距离D的计算。之后，区域分类部13对计算出的所有距离D进行排序处理，并根据该排序处理结果，求出所有距离D中的最小值即距离Dmin。此处，与距离Dmin对应的特征点的组合是在Lab-时间序列特征空间内在时间序列上最近的特征点的组合。即，区域分类部13选择与距离Dmin对应的特征点的组合，作为在Lab-时间序列特征空间内属于相互不同的特征点群并且在时间序列上最近的特征点的组合。区域分类部13通过这种特征点的组合选择处理，选择属于相互不同的特征点群并且在时间序列上最近的关注区域的组合。另一方面，在执行上述步骤S205后，区域分类部13判定通过步骤S205的处理过程选择出的特征点的组合内的各特征点在时间序列上是否相邻或相同(步骤S206)。在步骤S206中，相邻状况判定部13a根据通过步骤S205的处理过程选择出的特征点的组合在时间序列上的距离D，判定与该选择出的组合内的各特征点对应的各关注区域的时间序列的相邻状况。即，相邻状况判定部13a根据时间序列的距离D，判定该选择出的组合内的各特征点是否在时间序列上处于相邻状态或相同状态。相邻状况判定部13a在步骤S206中判定为组合内的特征点在时间序列上处于相邻状态或相同状态的情况下(步骤S206，是)，区域分类部13将在时间序列上处于相邻状态或相同状态的各特征点所属的特征点群的组合合并为同一群(步骤S207)。具体而言，在步骤S207中，区域分类部13首先将作为在时间序列上处于相邻状态或相同状态的组合的两个特征点分别所属的两个特征点群CG(kl)、CG(k2)的索引kl、k2中的较小一方设为最小索引ka、将较大一方设为最大索引1Λ。接着，区域分类部13将最小索引ka重新设定为识别合并处理后的特征点群的索弓丨，从而生成合并了在时间序列上处于相邻状态或相同状态的两个特征点分别所属的两个特征点群内的所有特征点后的新的特征点群CG(ka)。之后，区域分类部13根据属于特征点群CG(ka)的各特征点的颜色特征量，计算作为特征点群CG(ka)的颜色特征量的平均亮度指数L(ka)和平均感知色度a(ka)、b (ka)。 详细地说，区域分类部13计算特征点群CG(ka)内的各特征点的平均亮度指数的平均值作为平均亮度指数L (ka)，计算各特征点的平均感知色度的平均值作为平均亮度指数a (ka)、 b(ka)ο在该时刻，通过最大索引1Λ识别的特征点群没有被合并到该新的特征点群 CG(ka)从而不存在于Lab-时间序列特征空间内。在该状态下，区域分类部13对存在于 Lab-时间序列特征空间内的所有特征点群中的、通过最大索引1Λ以上的索引识别的剩余特征点群的各索引k进行增加处理。具体而言，区域分类部13首先对假定的索引ki分配最大的索引1Λ。接着，区域分类部13判定该分配处理后的索引ki( = kb)是否小于特征点群的总数Tk，如果索引ki小于总数Tk，则对该索引ki进行增加处理。接着，区域分类部13对通过增加处理后的索引 ki ( = kb+Ι)表示的特征点群CG(k)的索引进行减少处理(变更为k-Ι)。之后，区域分类部13重复这种索引ki的增加处理和索引k的减少处理，直到索引ki到达总数Tk以上为止。另一方面，区域分类部13在索引ki不小于总数Tk的情况下，结束上述对索引ki的增加处理和对索引k的减少处理。此处，Lab-时间序列特征空间内的当前时刻的特征点群的总数Tk由于上述特征点群的合并处理减少一个。因此，区域分类部13在索引ki不小于总数Tk的情况下，从特征点群的合并处理前的总数Tk减去“ 1 ”，并将该减法运算处理后的总数Tk更新为Lab-时间序列特征空间内的当前时刻的特征点群的总数。在步骤S207的处理过程结束后，区域分类部13返回上述步骤S202，并重复该步骤 S202以后的处理过程。另一方面，区域分类部13在通过上述步骤S206中的相邻状况判定部13a的处理判定为特征点的组合的时间序列状况不是相邻状态或相同状态中的任意一种的情况下(步骤S206，否)，判定是否针对Lab-时间序列特征空间内的所有特征点群的组合完成了时间序列状况的判定处理(步骤S208)。在步骤S208中，区域分类部13根据步骤S206中的时间序列状况的判定处理完毕的特征点群的索引等，判定是否完成了对所有特征点群的组合的时间序列状况的判定处理。区域分类部13在判定为完成了对所有特征点群的组合的时间序列状况的判定处理的情况下(步骤S208，是)，结束本处理并返回图2所示的步骤S104的处理过程。另一方面，区域分类部13在步骤S208中判定为没有完成对所有特征点群的组合的时间序列状况的判定处理的情况下(步骤S208，否)，选择在上述步骤S205中选择出的当前特征点群的组合的色差△ E其次小的特征点群的组合(步骤S209)。之后，区域分类部 13返回上述步骤S204，并重复该步骤S204以后的处理过程。在步骤S209中，区域分类部13从通过上述步骤S203的处理过程计算出的所有色差ΔΕ中，选择当前特征点群组合的色差ΔΕ(当前的最小色差AEmin)的其次小的值的色差ΔΕ作为最小色差AEmin。接着，区域分类部13从Lab-时间序列特征空间内的所有特征点群中，选择具有该所选择的最小色差ΔEmin的特征点群的组合。此处，区域分类部13通过适当重复执行上述步骤S201 S209的处理过程，将Lab-时间序列特征空间内的所有特征点分类为基于时间序列和颜色特征量各信息的特征点群。由此，区域分类部13将关注区域检测部11从体内图像组PG中检测到的所有关注区域A(j，t)分类到与特征点群对应的任意一个区域组。即，区域分类部13基于特征量计算部12计算出的关注区域A(j，t)的颜色特征量、和包含关注区域A(j，t)的体内图像P(j) 的时间序列位置，将关注区域A(j，t)分类到任意一个区域组。另一方面，在区域分类部13适当重复执行上述步骤S201 S209的处理过程后， 如上所述，组特征量计算部14在图2所示的步骤S105中，按照关注区域A(j，t)的每个区域组，计算组特征量。具体而言，组特征量计算部14按照Lab-时间序列特征空间内的每个特征点群，计算特征点群的重心L(k)、a(k)、b(k)。接着，组特征量计算部14使用计算出的每个特征点群的重心L(k)、a(k)、b(k)，按照每个特征点群计算属于同一特征点群的关注区域A(j，t) 的颜色特征量即平均亮度指数L(j，t)和平均感知色度a(j，t)、b(j，t)的方差。组特征量计算部14按照每个特征点群，根据下式( 计算同一特征点群中的平均亮度指数L(j，t) 和平均感知色度a(j，t)、b(j，t)的方差的合计值Sum(k)。组特征量计算部14这样计算出的合计值Sum(k)是关注区域A(j，t)的每个区域组的组特征量。式2
权利要求
1.一种图像处理装置，其特征在于，该图像处理装置具有关注区域检测部，其检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域； 计算处理部，其计算表示所述关注区域的特征的特征量；区域分类部，其根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；组特征量计算部，其计算表示每个所述区域组的特征的组特征量； 区域选择部，其根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及代表图像输出部，其输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
2.根据权利要求1所述的图像处理装置，其特征在于，所述区域分类部根据表示检测到的所述关注区域彼此的特征量相似性的相似度和包含检测到的所述关注区域的各个时间序列图像的时间序列位置之间的关系，将检测到的所述关注区域分类到任意一个区域组。
3.根据权利要求2所述的图像处理装置，其特征在于， 所述区域分类部具有相邻状况判定部，其判定所述关注区域检测部检测到的多个所述关注区域在时间序列上是否相邻；以及相似度判定部，其判定所述计算处理部计算出的多个所述关注区域的特征量的相似度，所述区域分类部根据所述相邻状况判定部所判定的多个所述关注区域的相邻状况和所述相似度判定部所判定的多个所述关注区域的特征量的相似度，将多个所述关注区域分类到任意一个区域组。
4.根据权利要求3所述的图像处理装置，其特征在于，所述相邻状况判定部判定从多个所述区域组分别选择出的不同区域组的各关注区域在时间序列上是否处于相邻状态或相同状态，所述区域分类部在所述不同区域组的各关注区域在时间序列上处于相邻状态或相同状态的情况下，将多个所述区域组合并为同一区域组。
5.根据权利要求1所述的图像处理装置，其特征在于， 所述关注区域的特征量是颜色特征量。
6.根据权利要求5所述的图像处理装置，其特征在于， 所述计算处理部具有像素值转换部，其将属于所述关注区域的像素的值转换为L*a*b*空间的值；以及平均值计算部，其计算所述像素值转换部转换输出的L*a*b*空间的值的平均值作为所述关注区域的颜色特征量。
7.根据权利要求1所述的图像处理装置，其特征在于，所述组特征量计算部计算由所述关注区域的特征量的坐标轴和时间序列的坐标轴形成的特征空间内的所述关注区域的特征量方差，并根据该计算出的所述方差计算所述区域组的组特征量。
8.根据权利要求1所述的图像处理装置，其特征在于，所述区域选择部具有根据所述组特征量确定所述代表区域的选择数的选择数确定部， 所述区域选择部从所述区域组中选择与所述选择数相同数量的所述代表区域。
9.根据权利要求8所述的图像处理装置，其特征在于，所述选择数确定部具有函数部，该函数部设定表示所述组特征量与所述选择数之间的关系的函数，所述选择数确定部根据所述函数部设定的所述函数确定所述选择数。
10.根据权利要求8所述的图像处理装置，其特征在于，所述区域选择部具有细分类处理部，该细分类处理部根据所述区域组所包含的多个所述关注区域的特征量，将多个所述关注区域细分类为与所述选择数相同数量的相似组，所述区域选择部通过按照每个相似组选择一个关注区域，选择与所述选择数相同数量的所述代表区域。
11.根据权利要求10所述的图像处理装置，其特征在于，所述区域选择部具有重心计算部，其按照每个所述相似组计算所述相似组所包含的多个所述关注区域的特征量的重心；以及最近区域选择部，其从所述相似组所包含的多个所述关注区域中，选择与所述重心最近的关注区域，所述区域选择部按照每个所述相似组选择所述最近的关注区域作为所述代表区域。
12.根据权利要求8所述的图像处理装置，其特征在于，所述区域选择部与所述选择数对应地计算在时间序列方向上对多个所述关注区域的特征量分布进行等间隔分割的时间序列坐标，并从多个所述关注区域中，选择与所述选择数相同数量的最接近所述时间序列坐标的关注区域，作为所述代表区域。
13.根据权利要求1所述的图像处理装置，其特征在于，所述时间序列图像组是沿着时间序列拍摄被检体的消化管内部而得到的的体内图像组。
14.根据权利要求13所述的图像处理装置，其特征在于，所述关注区域是被检体内部的病变区域或粘膜区域。
15.一种图像处理程序，其特征在于，该图像处理程序使计算机执行以下过程关注区域检测过程，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理过程，计算表示所述关注区域的特征的特征量；区域分类过程，根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；组特征量计算过程，计算表示每个所述区域组的特征的组特征量；区域选择过程，根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及代表图像输出过程，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
16.一种图像处理方法，其特征在于，该图像处理方法包含关注区域检测步骤，检测沿着时间序列拍摄出的时间序列图像组所包含的关注区域；计算处理步骤，计算表示所述关注区域的特征的特征量；区域分类步骤，根据所述关注区域的特征量和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组；组特征量计算步骤，计算表示每个所述区域组的特征的组特征量； 区域选择步骤，根据所述组特征量，从所述区域组中选择1个以上的代表区域，该1个以上的代表区域代表属于所述区域组的所述关注区域；以及代表图像输出步骤，输出所述时间序列图像组中的包含所述代表区域的1个以上的代表图像。
全文摘要
本发明的目的在于能够减轻观察者观察沿着时间序列拍摄出的时间序列图像组的负担。在本发明的某个实施方式的图像处理装置(2)中，关注区域检测部(11)检测时间序列顺序的体内图像组内的关注区域。特征量计算部(12)计算表示所述关注区域的特征的特征量。区域分类部(13)根据所述关注区域的特征量、和包含所述关注区域的时间序列图像的时间序列位置，将所述关注区域分类到任意一个区域组。组特征量计算部(14)计算表示每个所述区域组的特征的组特征量。区域选择部(15)根据所述组特征量，选择所述区域组的代表区域。代表图像输出部(16)输出所述时间序列图像组中的包含所述代表区域的代表图像。
文档编号A61B1/04GK102469925SQ201080028989
公开日2012年5月23日 申请日期2010年7月15日 优先权日2009年7月23日
发明者弘田昌士 申请人:奥林巴斯株式会社