专利名称：图像处理装置及图像处理方法
技术领域：
本发明涉及从按照时间序列顺序拍摄的一系列的图像中检测对该一系列的图像进行了摘要的扼要图像的图像处理装置及图像处理方法。
背景技术：
在使用了导入到被检体内而对管腔内进行拍摄的胶囊内窥镜的检查中，例如以2 4帧/秒的拍摄帧率历经8小时左右来进行拍摄。因此，通过I次的检查，能够得到按照时间序列顺序拍摄的大量(数万张以上)的图像。在这些图像中，由于胶囊内窥镜在I个地方停留片刻等而持续进行拍摄，因此有时会包含相同的拍摄对象被拍入到多张图像中的冗余场景。因此，为了高效地诊断一系列的图像，检测表示这些图像的扼要(精华)的扼要图像就显得非常重要。作为与扼要图像的检测有关的技术，例如在国际公开第2008/041401号中公开有如下所述的内容:在从连续的图像序列中提取图像的图像处理装置中，计算沿着时间序列连续的图像间的变化量，将按照变化量从大到小的顺序的预定张数的图像作为包含应检测的场景的图像从上述图像序列中提取出。但是，由于这样的扼要图像是在医疗诊断中使用，因此不能漏掉信息，要求能够全面把握包含在一系列的图像中的信息的高涵盖性。关于该点，在以往的扼要图像的检测技术中，未考虑到扼要图像的涵盖性。
发明内容
本发明是鉴于上述问题而完成，其目的在于，提供图像处理装置及图像处理方法，其能够从按照时间序列 顺序拍摄的一系列的图像中检测涵盖性高的扼要图像。本发明的一方式的图像处理装置，具有:对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少I个连结区域；连结区域特征量计算部，其计算所述连结区域的特征量；扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及扼要图像检测部，其根据所述扼要指标值来检测扼要图像。本发明的其他方式的图像处理方法，其中，该图像处理方法包括如下所述的步骤:在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，从而设定至少丨个连结区域的对应区域连结步骤；计算所述连结区域的特征量的连结区域特征量计算步骤；根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值的扼要指标值计算步骤；以及根据所述扼要指标值来检测扼要图像的扼要图像检测步骤。如果对照附图阅读以下本发明的详细说明，则能够进一步理解上述的内容、本发明的其他目的、特征、优点以及技术性且产业性意义。
图1是示出本发明的实施方式I的图像处理装置的结构的框图。图2是示出图1所示的图像处理装置执行的处理的流程图。图3是示出图2所示的将拍入同一对象的像素连结起来的处理的流程图。图4是示出连续的像素间的像素对应信息的一例的表。图5是示出连结区域标记信息的一例的表。图6是示出在按时间序列连续的图像中，作为标记处理的结果被连结的像素的区域的模型图。图7是示出对于图6所示的各连结区域计算了特征量的结果的模型图。图8是示出扼要指标值与时间序列图像的汇集的关系的模型图。图9是说明能够通过重复处理检测涵盖性高的扼要图像的理由的图。图10是示出变型例I的重复控制部的结构的框图。图11是示出变型例I的图像处理装置执行的处理的流程图。图12是示出实施方式2的运算部的结构的框图。图13是示出实施方式2中的计算各连结区域的特征量的处理的流程图。图14是示出实施方式3的运算部的结构的框图。图15是示出实施方式3的图像处理装置执行的处理的流程图。图16是示出对图15所示的各图像内的区域计算基于视觉辨认性的优先级的处理的流程图。图17是示出对比较对象区域的面积进行比较的例子的模型图。图18是示出变型例2的扼要指标值计算部的结构的框图。
具体实施例方式以下，参照附图对本发明的实施方式的图像处理装置及图像处理方法进行说明。另外，本发明不限定于这些实施方式。另外，在各附图的记载中，对相同部分附上相同的标号来不出。在以下的实施方式中，作为一例，说明针对通过胶囊内窥镜等医用观察装置按照时间序列顺序对被检体的管腔内进行拍摄而获取的一系列的管腔内图像的处理。另外，在以下的实施方式中，实施图像处理的图像例如是在各像素位置上具有对于R(红)、G(绿)、B(蓝)的各色成分的像素级(像素值)的彩色图像。另外，本发明不限定于管腔内图像，还可以广泛应用于从通过其他的一般的图像获取装置获取的一系列的图像中检测扼要图像的情况。另外在以下的本发明的实施方式中，所谓“连续”是指利用标记等将多个区域或多个像素设定为至少一个组。另外“连结区域”是指在按照时间序列顺序拍摄的一系列的图像间由拍入同一对象的区域构成的组。实施方式I图1是示出本发明的实施方式I的图像处理装置的结构的框图。图1所示的图像处理装置I具有:控制部10，其控制图像处理装置I全体的动作；图像获取部20，其获取与由胶囊内窥镜等医用观察装置按照时间序列顺序拍摄的一系列的图像(以下，也称为时间序列图像)对应的图像数据；输入部30，其接受从外部输入的输入信号；显示部40，其进行各种显示；记录部50，其存储由图像获取部20获取的图像数据和各种程序；以及运算部100，其对图像数据执行预定的图像处理。控制部10是通过CPU等硬件来实现的，通过读入存储在记录部50中的各种程序，根据从图像获取部20输入的图像数据和从输入部30输入的操作信号等，进行针对构成图像处理装置I的各部分的指示和数据的传送等，总括地控制图像处理装置I全体的动作。图像获取部20根据包含医用观察装置的系统的方式来适当构成。例如，医用观察装置为胶囊内窥镜，当在与医用观察装置之间的图像数据的交接中使用便携式记录介质时，该记录介质以可拆卸的方式安装在图像获取部20中，图像获取部20由读取所保存的管腔内图像的图像数据的读出装置来构成。另外，在设置预先保存有由医用观察装置拍摄的管腔内图像的图像数据的服务器时，图像获取部20由与服务器连接的通信装置等构成，通过与服务器进行数据通信来获取管腔内图像的图像数据。或者，也可以由从内窥镜等医用观察装置通过电缆输入图像信号的接口装置等来构成图像获取部20。输入部30例如由键盘和鼠标、触控面板、各种开关等输入设备来实现，将所接受的输入信号输出到控制部10。显示部40通过IXD、EL显示器等显示装置来实现，在控制部10的控制下，显示包含管腔内图像在内的各种画面。记录部50通过可更新记录的闪存等称为ROM或RAM的各种IC存储器、内置或通过数据通信端子连接的硬盘、或者CD-ROM等信息记录介质及其读取装置等来实现。记录部50除了存储由图像获取部20获取的管腔内图像的图像数据以外，还存储用于使图像处理装置I动作并且使图像处理装置I执行各种功能的程序、和在该程序的执行中使用的数据等。具体地讲，记录部50存储用于执行从时间序列图像中检测扼要图像的处理的图像处理程序51。运算部100通过CPU等硬件来实现，通过读入图像处理程序51来对与时间序列图像对应的图像数据实施图像处理，进行用于从时间序列图像中检测扼要图像的各种运算处理。接着，对运算部100的详细结构进行说明。如图1所示，运算部100具有:对应区域连结部110，其通过在一系列的时间序列图像间将拍入同一对象的区域连结起来，设定至少I个连结区域；连结区域特征量计算部120，其计算各连结区域的特征量；扼要指标值计算部130，其根据上述特征量计算扼要指标值；扼要图像检测部140，其根据扼要指标值检测扼要图像；以及重复控制部150，其控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。另外，当在上述时间序列图像中拍入有多个对象时，能够设定多个连结区域。对应区域连结部110具有区域对应部111，该区域对应部111在时间序列上连续的图像间进行包含在各图像内的区域的对应，根据该对应的结果，在各图像内及图像之间将拍入有同一对象的区域连结起来。更详细地说，区域对应部111包含计算在时间序列上连续的图像间的光流的光流计算部111a，根据光流进行图像间的区域的对应。连结区域特征量计算部120具有连结区域体积计算部121，该连结区域体积计算部121计算包含在各连结区域内的像素数的总和，即连结区域体积，将该连结区域体积作为特征量。扼要指标值计算部130计算的扼要指标值与在时间序列图像中拍入的对象在时间序列图像内的各图像中汇集的程度对应。扼要指标值计算部130具有特征量和计算部131，该特征量和计算部131针对每个图像计算包含在各图像内的各连结区域的特征量的总和，将该特征量的总和作为扼要指标值。重复控制部150具有扼要图像张数计算部151，该扼要图像张数计算部151计算检测出的扼要图像的张数，重复控制部150根据扼要图像的张数，控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。接着，对图像处理装置I执行的处理进行说明。图2是示出图像处理装置I执行的处理的流程图。首先，在步骤SlOl中，图像获取部20获取按时间序列对被检体的管腔内进行拍摄得到的一系列的管腔内图像(以下，简单称为图像)并存储在记录部50中。运算部100依次从记录部50读入要实施图像处理的图像。在接下来的步骤S102中，对应区域连结部110跨越多个图像将拍入了同一对象的
像素连结起来。图3是示出将拍入了同一对象的像素连结起来的处理(步骤S102)的详情的流程图。首先,在步骤Slll中,光流计算部Illa计算在时间序列上连续的图像间的光流。此处，光流是指在不同的时间拍摄的2张图像间进行相同对象的对应，将其移动量作为向量数据来表现。在实施方 式I中，对于管腔内图像的像素值内的G成分，也可以使用公知的光流计算法(更详细地说，块匹配法或梯度法)来计算光流(参考=CG-ARTS协会，数字图像处理，第243 245页))。或者，也可以使用Lucas-Kanade跟踪(参考:B.D.Lucasand T.Kanade, “An Iterative Image Registration Technique with an Applicationto Stereo Vision, ，，Proceedings of the7th International Joint Conference onArtificial Intelligence, pages674_679, 1981)等公知技术来计算光流。此处，使用G成分是因为，由于G成分接近血液的吸光带，因此能很好地表现病变、粘膜、内容物的边界等管腔内图像的构造信息。当然，也可以代替G成分，而使用像素值的其他颜色成分(R成分或B成分)，或通过公知的转换由像素值2次地计算出的值，具体地讲是亮度、色差(YCbCr转换)、色相、饱和度、明度(HSI转换)、色比等。在接下来的步骤S112中，区域对应部111根据光流进行连续的图像间的像素的对应。详细地讲，进行如下所述的处理。即，区域对应部111根据光流，相对于时间序列中的前面图像内的像素坐标(Xttl, yt(l)(此处，Xttl及^为自然数)，求出时间序列中的后面图像内的对应的坐标(xtl，ytl)(此处，xtl及ytl为实数)，并且相对于时间序列中的后面图像内的像素坐标(xtl’，ytl’)(此处，xtl’，ytl’为自然数)，求出时间序列中的前面图像内的对应的坐标(^。’^ /^此处^^^^为实数)。并且，确定在时间序列的前后的图像内彼此对应的像素，制作连续的图像间的像素对应信息。此时，在与一方的图像内的多个像素对应的另一方的图像内的坐标(实数)集中在I个像素坐标(自然数)附近的情况下，区域对应部111将坐标相对于该像素坐标更近的一方的图像内的预定数量的像素与该像素坐标对应起来。并且，关于除此以外的像素，认为其是虽然被拍入到一方图像中，但是没有被拍入到另一方图像中的对象部分的像素，不取对应关系。另外，被对应起来的坐标彼此不一定I对I是因为有时根据胶囊内窥镜与拍摄对象(例如粘膜表面等)的距离和角度而使得图像扩大或缩小。另外，检测时间序列的顺方向(与前面图像的像素对应的后面图像的坐标)及逆方向(与后面图像的像素对应的前面图像的坐标)双方的对应关系是为了进一步提高对应坐标的可靠性。另外，在实施方式I中，也可以仅检测时间序列的顺方向或逆方向一方的对应关系。图4是示出连续的图像间的像素对应信息的一例的表。该像素对应信息示出在时间序列中的前面图像In及后面图像In+1(n=0，l，2，...)中分别包含的像素彼此的对应关系。另外，P(x，y)示出各 图像内的坐标(x，y)的像素。在该像素对应信息中，在相邻的列中，记载于相邻行中的像素彼此(例如，图像Itl的像素P (0，I)与图像IJ^P(0，I)及P(0，2))表示相互对应的像素。另外，在相邻的列中相邻行的一方为空白时，表示不存在对应的像素。在接下来的步骤SI 13中，对应区域连结部110进行标记以使对应的像素彼此成为相同的标记。更详细地说，首先，对应区域连结部110根据像素对应信息，对对应的所有像素设定对某像素设定的标记值。接着，对未设定标记值的像素设定新的标记值，进行与上述相同的处理。通过依次重复进行这样的处理，对所有的像素进行标记。而且，对应区域连结部110将设定了相同标记值的像素的集合作为拍入了相同对象的像素的连结区域。图5是示出基于图4所示的像素对应信息的标记结果(连结区域标记信息)的一例的表。在图5中，在与各像素P(x，y)连续的冒号之后示出的数值表示对该像素P(x，y)设定的标记值。另外，图6是示出在时间序列上连续的4张图像Itl I3中，作为标记处理的结果而连结的像素的区域的模型图。在图6中，模拟地利用I维的像素列来表示分别包含在各图像10 I3中的像素P。。 PQ7、P1Q P17、P2Q P27、P3Q P37。在这些像素内，通过线段连结的像素彼此(例如，像素Ptll与像素Pltl)为构成I个连结区域的像素。另外，在步骤Slll S113中，虽然说明了以I个像素为单位执行处理(像素的对应处理及连结处理)的情况，但是也可以以集合了多个像素的小区域为单位来执行同样的处理。此时，根据边缘强度等预先将各图像分割为小区域。作为图像的分割方法，能够利用将边缘强度的山脊作为边界的方法(例如参照国际公开第2006/080239号)、分水岭(watershed)算法(参考:Luc Vincent and Pierre Soille, “Watersheds inDigital Spaces:An Efficient Algorithm Based on Immersion Simulations，，，IEEETransactions on Pattern Analysis and Machine Intelligence, Vol.13, N0.6, pp.583-598, Junel991)等。之后,处理回到主程序。在步骤S103中，连结区域特征量计算部120计算各连结区域的特征量。更详细地说，连结区域体积计算部121计算包含在各连结区域内的像素数的总和作为连结区域体积。连结区域特征量计算部120将该连结区域体积作为各连结区域的特征量来使用。图7是示出对图6所示的各连结区域计算了特征量的结果的模型图。图7所示的圆形记号内的数值表示各连结区域(包含通过配置有圆形记号的线段连结的像素的连结区域)的特征量(在本实施方式I中为连结区域体积)。例如，包含图像Itl的像素Pci7、图像I1的像素P14、以及图像I2的像素P2q及P21的连结区域的体积(像素数)成为“4”。在接下来的步骤S104中，扼要指标值计算部130根据连结区域的特征量来计算各图像的扼要指标值。更详细地说，特征量和计算部131对每个图像计算包含在各图像内的连结区域的特征量的总和。该连结区域的特征量的总和作为扼要指标值来使用。具体地讲，图像In的扼要指标值E (In)通过下式⑴来给出。E(In) = XF(Li)- (I)在式⑴中，右边表示包含在图像In中的设定了标记值i的连结区域Li的特征量F(Li)(在实施方式I中为连结区域体积)的总和。因此，在图5所示的图像Itl I3的情况下，扼要指标值E(In)通过下式来给出。E (10) =F (L1) +F (L2) +F (L3) +F (L5) +...
E (I1) =F (L1) +F (L2) +F (L4) +F (L5) +...
E (I2) =F (L1) +F (L2) +F (L4) +…E (I3) =F (L2) +F (L4) +F (L6) +...
这在图7所示的模型图中，相当于获取包含在各图像Itl-13中的连结区域的特征量(圆形记号内的数值)的总和。即，如下所示。E (10) =1+2+2+3+3+4=15E (I1) =2+2+3+3+4+3+3=24E(I2) =4+3+3+4 +2+3=19E (I3) =4+3+2+3+1+1=14在步骤S105中，扼要图像检测部140检测扼要指标值最大的I张图像作为扼要图像。这是因为，可以认为通过上述计算法得到的扼要指标值越大的图像是在时间序列图像中拍到的对象更多地汇集的图像。例如，从图7所示的图像Itl I3内，检测扼要指标值E(In)在4个图像内为最大(24)的图像^作为扼要图像。图8是示出扼要指标值与时间序列图像的汇集关系的模型图。在图8中，对包含在图像I1内的像素、及与这些像素对应的其他图像WI3内的像素进行阴影显示。在该模型图中，当关注各像素的对应关系时，可知图像I1内的像素与图像Itl及I2的大半部分像素对应。即，图像I1包含在图像Itl及I2中拍入的对象的大半部分，可以说最多地汇集了在这些时间序列的图像Itl I3中拍入的对象。因此，从图8所示的模型图也可以确认扼要指标值最大的图像(图像I1)为最适合的扼要图像这一点。在步骤S106中，重复控制部150的扼要图像张数计算部151计算检测完成的扼要图像张数(检测张数)。在接下来的步骤S107中，重复控制部150判定扼要图像张数是否达到预定值。作为该预定值，用户能够预先设定期望的张数。在没有达到预定值时(步骤S107:否)，重复控制部150将包含在已检测过的扼要图像内的与连结区域对应的对象视为已经检测出的对象，将包含在该扼要图像内的连结区域的特征量设定为零(步骤S108)。之后，处理回到步骤S104。此时，重复执行扼要指标值计算部130及扼要图像检测部140中的对于未检测对象的处理(步骤S104，S105 )。此处，参照图9说明通过这样的重复处理，能够检测出对于在时间序列图像中拍入的对象而言涵盖性高的扼要图像的理由。在图9中，包含在被检测为扼要图像的图像I1内的连结区域的特征量被设定为零。另外，对于与图像I1内的像素对应的所有的像素、即拍入了汇集在扼要图像中的对象的像素进行阴影显示。由此，可知期望作为下次应该检测的扼要图像的是较多地拍入了还未涵盖的对象的图像13。通过重复后的步骤S104的处理，作为各图像In(n=0，2，3)的扼要指标值E (In)，计算由此，判定为下次应该检测的扼要图像为扼要指标值E(In)的值最大(7)的图像13(重复后的步骤S105)。这与图9的模型图所示的概念也一致。通过进一步重复进行这样的处理，从而能够检测出对于在时间序列图像中拍入的对象而言涵盖性高的扼要图像。另一方面，在步骤S107中，在扼要图像张数达到预定值时(步骤S107:是)，处理转移到步骤S109。此时，运算部100将扼要图像的检测结果输出到显示部40，并且记录在记录部50中。之后，图像处理装置I中的处理结束。如以上说明，根据实施方式1，由于求出在时间序列图像中将拍入了同一对象的区域连结而成的连结区域，根据包含在各图像内的连结区域的体积的总和，依次检测汇集了在时间序列图像中拍入的对象的扼要图像，因此能够检测对于诊断对象而言涵盖性高的扼要图像。另外，在上述实施方式I中，虽然通过重复控制部150重复执行扼要指标值计算部130及扼要图像检测部140中的处理，但是通过扼要指标值计算部130及扼要图像检测部140中的至少I次处理，也能 够检测涵盖性高的扼要图像。变型例I接着，参照图10对实施方式I的变型例I进行说明。变型例I的图像处理装置代替图1所示的重复控制部150，具有重复控制部160，该重复控制部160具有涵盖率计算部161。涵盖率计算部161计算在通过已经检测出的扼要图像涵盖的时间序列图像中拍入的对象的涵盖率。重复控制部160根据该涵盖率，控制扼要指标值计算部130及扼要图像检测部140中的处理的重复。图11是示出变型例I的图像处理装置执行的处理的流程图。其中，步骤SlOl S105、S108、S109中的处理与实施方式I相同。在接着步骤S105的步骤S126中，涵盖率计算部161使用下式(2)来计算已检测出的扼要图像的涵盖率Ck。
在扼要图像内存在的连结区域的特征量的总和 R—全部连结区域的特征量的总和}例如，在图8中，在检测出图像I1作为扼要图像时，图像I1的涵盖率CR(I1)为如下所示。Ce (I1) =24/32=0.75另外，在图9中，在接着图像I1而检测图像I3作为扼要图像时，图像I1及I3的涵盖率CJI1, I3)为如下所示。
CkG1, I3) = (24+7)/32=0.96875在步骤S127中，重复控制部160判定这样计算出的涵盖率Ck是否为预定值以上。作为该涵盖率，用户能够预先设定期望的值。在涵盖率小于预定值时(步骤S127:否)，重复控制部160将包含在已检测出的扼要图像内的连结区域的特征量设定为零(步骤S108)，之后，处理回到步骤S104。此时，重复执行扼要指标值计算部130及扼要图像检测部140中的处理(步骤S104，S105 )。另一方面，在涵盖率成为预定值以上时(步骤S127:是)，处理转移到步骤S109。如以上说明，根据变型例1，由于检测扼要图像并且计算已检测出的扼要图像的涵盖率，执行与涵盖率相应的处理的重复控制，因此能够检测出成为预定涵盖率以上的涵盖率的扼要图像。实施方式2接着，对本发明的实施方式2进行说明。图12是示出实施方式2的图像处理装置具备的运算部的结构的框图。另外，关于实施方式2的图像处理装置的运算部以外的结构及动作，与图1所示的结构及动作相同。图12所示的运算部200代替图1所示的连结区域特征量计算部120，而具有连结区域特征量计算部210，该连结区域特征量计算部210具有连结区域重要度计算部211。关于其他的各部分的结构及动作，与实施方式I相同。连结区域重要度计算部211包含区域判定部211a，该区域判定部211a进行将一系列的时间序列图像的各图像内的区域例如应分类为与诊断中的重要度相应的类别的判定，根据该判定结果，计算各连结区域的重要度。连结区域特征量计算部210将所计算的重要度作为连结区域的特征量来使用。更详细地说，区域判定部211a判定各图像内的区域为应检测的区域(检测对象区域)、应检查区域(检查对象区域)、及不需要检查的区域(非检查对象区域)中的哪一个。具体地讲，病变部相当于应检测的区域，粘膜区域相当于应检查的区域，非粘膜区域相当于不需要检查的区域。接着，对实施方式2的图像处理装置执行的处理进行说明。本实施方式2的图像处理装置执行的处理在整体上与图2所示的处理相同，计算各连结区域的特征量的处理(步骤3103)与实施方式I不同。图13是示出连结区域特征量计算部210执行的计算各连结区域的特征量的处理的流程图。在通过对应区域连结部110将拍入了同一对象的像素连结起来之后(图2的步骤S102)，区域判定部211a根据各像素的颜色信息，判定各像素为病变、粘膜、非粘膜中的哪一个类别(步骤S201)。另外，作为根据色信息判定管腔内图像的像素的类别(病变、粘膜、非粘膜等)的方法，可以使用公知的各种方法。作为一例，可以例举如下所述的方法:根据管腔内图像内的各像素的特定波长成分(例如R成分)的值对管腔内图像进行层次分类，从而对该图像进行区域分割，计算各区域内的各像素的像素特征量(例如，像素的R、G、B成分的值，根据这些成分2次地计算的亮度、色差、色相、饱和度、明度、色比等值)而对像素特征量的分布进行聚类，通过将各聚类与预定的聚类判別基准进行比较，从而判别病变部聚类，将属于该病变部聚类的像素确定为病变像素(参照日本特开2010-113616号公报)。
在接下来的步骤S202中，连结区域重要度计算部211按照每种类别对各像素加权。该权重以病变像素的权重最高，按照粘膜像素、非粘膜像素的顺序权重降低的方式来设定。这是因为，在扼要图像中应涵盖的像素的重要度从高到低的顺序为病变像素、粘膜像素、非粘膜像素。作为具体例，对病变像素设定了权重2，对粘膜像素设定了权重1，对非粘膜像素设定了权重O。而且，在步骤S203中，连结区域重要度计算部211计算包含在各连结区域中的像素的权重的总和作为连结区域重要度。该连结区域重要度作为计算各图像的扼要指标值(步骤S104)时的特征量来使用。之后，处理回到主程序。如以上说明，根据实施方式2，由于考虑基于各图像内的像素所属的区域(检测对象区域、检查对象区域、非检查对象区域)的判別结果的重要度，因此能够检测出对于在时间序列图像中拍入的重要诊断对象而言涵盖性高的扼要图像。另外，在实施方式2中，虽然通过I个像素单位的处理来进行了像素的判別，但是也可以以汇聚了多个像素的小区域为单位来进行同样的处理。实施方式3接着，对本发明的实施方式3进行说明。图14是示出实施方式3的图像处理装置具备的运算部的结构的框图。另外，关于实施方式3的图像处理装置的运算部以外的结构及动作，与图1所示的结构及动作相同。图14所示的运算部300相对于图1所示的运算部100，还具有区域优先级计算部310，另外，代替图1所示的扼要指标值计算部130而具有扼要指标值计算部320。关于其他的各部分的结构及动作，与实施方式I相同。区域优先级计算部310对于一系列的时间序列图像的各图像内的区域，计算基于视觉辨认性的扼要图像检测的优先级。更详细地说，区域优先级计算部310具有对应区域比较部311，该对应区域比较部311在彼此不同的图像间，比较属于同一连结区域的区域，根据对应区域比较部311的比较结果来计算上述优先级。扼要指标值计算部320根据通过区域优先级计算部310计算的优先级、和通过连结区域特征量计算部120计算的区域特征量来计算扼要指标值。图15是示出实施方式3的图像处理装置执行的处理的流程图。其中，关于步骤SlOl S103及S105 S109中的处理，与实施方式I相同。在接着步骤S103的步骤S301中，区域优先级计算部310对各图像内的区域计算基于视觉辨认性的优先级。图16是示出计算基于视觉辨认性的优先级(步骤S301)的处理的详情的流程图。首先，在步骤S311中，对应区域比较部311在彼此不同的图像间，比较包含在同一连结区域中的区域(以下，称为比较对象区域)的面积。图17是示出对比较对象区域的面积进行比较的例子的模型图。在图17中，关注包含在彼此不同的图像Itl I2中的I个连结区域，对包含在该连结区域中的比较对象区域(像素)进行阴影显示。如图17所示，各图像Itl-12中的比较对象区域的面积(像素数)S(In)分别为S(Ici)=US(I1)=US(I2)=Zc当对这些面积S(In)进行归一化以使比较对象区域的最大面积成为I时，被归一化后的值(以下，称为面积指标值)s’ (In)成为S’ (10)=0.5、S’ (I1)=0.5、s’ (I2)=10可以说该面积指标值越接近1，则同一对象被拍得越大，视觉辨认性越良好。对应区域比较部311通过将所有的连结区域作为对象来进行如上所述的面积指标值的计算，从而在各图像内，获取包含在同一连结区域中的每个区域的面积指标值。在接下来的步骤S312中，对应区域比较部311在彼此不同的图像间比较各图像内的比较对象区域的位置。此处，可以说比较对象区域越接近图像的中心，则视觉辨认性越好。因此，对应区域比较部311根据比较对象区域的重心坐标(Xg，yg)和图像的中心坐标(Xc^y。)，使用下式(3)，计算比较对象区域越接近图像的中心，值越接近I的位置指标值。
权利要求
1.一种图像处理装置，其具有: 对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少I个连结区域； 连结区域特征量计算部，其计算所述连结区域的特征量； 扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及 扼要图像检测部，其根据所述扼要指标值来检测扼要图像。
2.根据权利要求1所述的图像处理装置，其中， 所述对应区域连结部具有区域对应部，该区域对应部在所述一系列的图像之内，在按照时间序列连续的多个图像之间进行包含在各图像内的所述区域的对应， 所述对应区域连结部根据所述区域 对应部的对应结果，将拍入了所述同一对象的区域连结起来。
3.根据权利要求2所述的图像处理装置，其中， 所述区域对应部具有光流计算部，该光流计算部计算按照时间序列连续的多个图像之间的光流， 所述区域对应部根据所述光流进行包含在所述各图像内的所述区域的对应。
4.根据权利要求1所述的图像处理装置，其中， 所述连结区域特征量计算部具有连结区域体积计算部，该连结区域体积计算部计算包含在各连结区域内的像素数的总和即连结区域体积。
5.根据权利要求1所述的图像处理装置，其中， 所述连结区域特征量计算部具有连结区域重要度计算部，该连结区域重要度计算部计算各连结区域的重要度。
6.根据权利要求5所述的图像处理装置，其中， 所述连结区域重要度计算部具有区域判定部，该区域判定部判定所述各图像内的区域为应检测的区域、应检查的区域及不需要检查的区域中的哪一个， 所述连结区域重要度计算部根据所述区域判定部的判定结果来计算所述重要度。
7.根据权利要求6所述的图像处理装置，其中， 所述连结区域重要度计算部将所述应检测的区域的重要度设定为比所述应检查的区域的重要度高、且将所述应检查的区域的重要度设定为比所述不需要检查的区域的重要度高来计算所述重要度。
8.根据权利要求1所述的图像处理装置，其中， 所述扼要指标值计算部具有特征量和计算部，该特征量和计算部对每个图像计算包含在所述各图像内的连结区域的特征量的总和。
9.根据权利要求1所述的图像处理装置，其中， 所述扼要图像检测部检测所述一系列的图像之内所述扼要指标值最大的图像作为所述扼要图像。
10.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具有重复控制部，该重复控制部将包含在所述扼要图像内的连结区域视作已经检测出的对象，控制所述扼要指标值计算部及所述扼要图像检测部中的对于未检测的对象的处理的重复。
11.根据权利要求10所述的图像处理装置，其中， 所述重复控制部将在所检测出的扼要图像内存在的连结区域的特征量设定为零，来控制所述处理的重复。
12.根据权利要求10所述的图像处理装置，其中， 所述重复控制部具有扼要图像张数计算部，该扼要图像张数计算部计算所检测出的扼要图像的张数， 所述重复控制部根据所述扼要图像的张数来控制所述处理的重复。
13.根据权利要求10所述的图像处理装置，其中， 所述重复控制部具有涵盖率计算部，该涵盖率计算部计算由已经检测出的扼要图像所涵盖的被拍入到所述一系列的图像中的对象的涵盖率， 所述重复控制部根据所述涵盖率来控制所述处理的重复。
14.根据权利要求13所述的图像处理装置，其中， 所述涵盖率计算部根据在所述已经检测出的扼要图像内存在的连结区域的特征量的总和、和所有的连结区域的特征量的总和，计算所述涵盖率。
15.根据权利要求1所述的图像处理装置，其中， 所述图像处理装置还具有区域优先级计算部，该区域优先级计算部对于所述各图像内的所述区域，计算基于视觉辨认性的扼要图像检测的优先级， 所述扼要指标值计算部根据所述优先级及所述连结区域的特征量计算所述扼要指标值。
16.根据权利要求15所述的图像处理装置，其中， 所述区域优先级计算部具有对应区域比较部，该对应区域比较部在彼此不同的图像之间比较属于同一连结区域的区域， 所述区域优先级计算部根据所述对应区域比较部的比较结果来计算所述优先级。
17.根据权利要求16所述的图像处理装置，其中， 所述对应区域比较部比较所述区域的面积。
18.根据权利要求16所述的图像处理装置，其中， 所述对应区域比较部比较所述彼此不同的图像各自中的所述区域的位置。
19.根据权利要求16所述的图像处理装置，其中， 所述对应区域比较部比较所述区域的噪音量。
20.根据权利要求16所述的图像处理装置，其中， 所述对应区域比较部比较所述区域的分辨率。
21.根据权利要求16所述的图像处理装置，其中， 所述对应区域比较部比较所述区域的亮度。
22.根据权利要求15所述的图像处理装置，其中， 所述扼要指标值计算部具有加权优先级平均计算部，该加权优先级平均计算部通过对于针对所述各图像内的所述区域所计算的所述优先级，进行与包含该区域的连结区域的特征量对应的加权，从而计算所述区域的加权优先级，对每个图像计算所述加权优先级的平均值。
23.一种图像处理方法，其中，该图像处理方法包括如下所述的步骤: 在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，从而设定至少I个连结区域的对应区域连结步骤； 计算所述连结区域的特征量的连结区域特征量计算步骤； 根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值的扼要指标值计算步骤；以及根据所述扼要指标值来检测扼要图像的扼要图像检测步骤。
全文摘要
本发明提供图像处理装置及图像处理方法，该图像处理装置具有对应区域连结部，其通过在按照时间序列顺序拍摄的一系列的图像之间将拍入了同一对象的区域连结起来，来设定至少1个连结区域；连结区域特征量计算部，其计算所述连结区域的特征量；扼要指标值计算部，其根据所述特征量，计算与在所述一系列的图像中被拍入的对象在所述一系列的图像内的各图像中汇集的程度对应的扼要指标值；以及扼要图像检测部，其根据所述扼要指标值来检测扼要图像。
文档编号G06T7/00GK103177437SQ201210262749
公开日2013年6月26日 申请日期2012年7月26日 优先权日2011年7月29日
发明者神田大和 申请人:奥林巴斯株式会社