专利名称：图像处理设备、图像处理方法和图像处理程序的制作方法
技术领域：
本发明涉及用于从部分地包括对象物体的图像的图像中检测对象物体的图像处理设备、图像处理方法和图像处理程序。
背景技术：
近年来，正在研究用于从包括背景和对象物体的图像(例如，通过拍摄在制备的载玻片上的样本获得的图像)检测包括对象物体的区域的技术。如果可以从图像没有疏漏地检测包括对象物体的区域，可以仅在检测的图像区域上进行图像处理，这在减少操作量、 处理时间等方面是有利的。例如，日本专利申请公开第2008-93172号(第W066]段，图3 ；在下文中，被称为专利文件1)公开了使用在区域检测中的相邻像素中的像素值的改变量的“图像处理设备”。在专利文件1中公开的图像处理设备计算在同一图像内的特定像素和周围像素的像素值改变量并且计算在该周围像素中是否存在偏差。然后，该图像处理设备根据考虑周围像素的偏差的周围像素的像素值改变量，检测相比于周围的像素存在像素值改变的区域。
发明内容
然而，通过如专利文件1中所公开的检测方法，在对象物体的亮度与背景的亮度接近，即，对象物体的图像是模糊的情形中，设备通过提取对象物体的亮度与背景的亮度之间的差检测对象物体可能是困难的。在这种情形中，可能需要用户微细地调节检测参数。此外，在整个图像的亮度均勻的情形中，能够有利于检测对象物体的参数可能集中在很小的范围内，使得用户难以调节该参数。对于上述情况，需要能够准确地从背景中检测出对象物体的图像处理设备、图像处理方法和图像处理程序。根据本发明的实施方式，提供了一种图像处理设备，其包括边缘检测处理部、细分区域设定部、指标值计算部和对象物体判定部。该边缘检测处理部被配置成对检测对象图像进行边缘检测处理来生成边缘图像， 其中要从该检测对象图像中检测对象物体。该细分区域设定部被配置成将边缘图像分割成多个细分区域。该指标值计算部被配置成为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。该对象物体判定部被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。通过边缘检测处理部对检测对象图像进行边缘检测处理，包括在检测对象图像中的像素之间的亮度梯度被强调，并且像素被二值化为边缘像素和非边缘像素。因此，即使在细分区域中存在微小的亮度梯度，该亮度也被反应在由指标值计算部计算的边缘成分指标值上，因此对象物体判定部可将细分区域判定为对象物体存在的细分区域。因此，即使在对象物体和背景之间具有小亮度差的图像的情况下，包括对象物体的细分区域也可被精确地检测。该边缘检测处理部可以在边缘检测处理中使用检测对象图像的亮度梯度。在标准图像处理中的边缘检测处理中，不检测作为边缘的微小亮度梯度的检测参数被用于调节。然而，在本发明中，由于边缘检测处理部检测微小亮度梯度作为边缘，所以即使具有与背景相比小的亮度差的对象物体影响边缘成分指标值，使得对象物体可通过对象物体检测部检测。该边缘检测处理部可根据定义被检测为边缘的亮度梯度水平的检测参数进行边缘检测处理，该检测参数由用户指示。根据本发明，通过用户指示边缘检测处理部使用将即使微小的亮度梯度检测为边缘的检测参数，对象物体检测部检测可检测与背景相比具有较小亮度差的对象物体。该边缘检测处理部可使用坎尼算法(Canny algorithm)作为边缘检测处理的算法。该坎尼算法是根据相邻像素上的信息将难以确定的像素确定为边缘像素和非边缘像素中的一个的算法，并且使用该算法比使用其他算法可更明确地提取边缘像素。换言之，通过边缘检测处理部在边缘检测处理中使用坎尼算法，对象可被精确地检测。根据本发明的另一实施方式，提供了一种图像处理方法，包括由边缘检测处理部对检测对象图像进行边缘检测处理来生成边缘图像，其中要从该检测图像中检测对象物体。该细分区域设定部将边缘图像分割成多个细分区域。该指标值计算部为该多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。该对象物体判定部根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。根据本发明的另一个实施方式，提供一种图像处理程序，该图像处理程序使得计算机具有边缘检测处理部、细分区域设定部、指标值计算部和对象物体判定部的功能。该边缘检测处理部被配置成对检测对象图像进行边缘检测处理来生成边缘图像， 其中要从该检测对象图像中检测对象物体。该细分区域设定部被配置成将边缘图像分割成多个细分区域。该指标值计算部被配置成为该多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。该对象物体判定部被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。根据本发明的实施方式，可提供可从背景中准确检测出对象物体的图像处理设备、图像处理方法和图像处理程序。本发明的这些和其他目标，特征和优点将通过本发明的最佳模式实施方式的以下详细描述变得更显而易见，如附图所示。
图1是示出根据本发明的实施方式的图像处理设备的结构的框图；图2是示出根据本发明的实施方式的图像处理设备的操作的流程图；图3是根据本发明的实施方式的图像处理设备的原始图像采集部采集的原始图像的实例；图4是根据本发明的实施方式的图像处理设备的检测对象图像选择部选择的检测对象图像的实例；图5是根据本发明的实施方式的图像处理设备的边缘检测处理部生成的边缘图像的实例；图6是根据本发明的实施方式的图像处理设备的细分区域设定部在其中设定细分区域的边缘图像的实例；图7是在其中显示根据本发明的实施方式的图像处理设备的对象物体判定部判定的检测区域的边缘图像的实例；图8是在其中显示根据本发明的实施方式的图像处理设备的对象物体判定部判定的检测区域的检测对象图像的实例；图9是根据本发明的实施方式的图像处理设备的检测结果输出部输出的检测区域存在分布图的实例；图10是示出根据本发明的实施方式的图像处理设备的边缘检测处理的细节的流程图；图11是用于说明根据本发明的实施方式的图像处理设备的边缘检测处理的梯度计算的示图；图12是用于说明在根据本发明的实施方式的图像处理设备的边缘检测处理中的边缘细化(thinning)处理的示图；图13A至图13D是示出使用边缘参数的边缘图像的影响的概念图；图14是示出图13A至图13D中所示的每个图像的边缘参数的表；图15是示出实施方式和比较例之间的处理差异的示图；图16A和图16B是示出实施方式和比较例的检测结果的实例的示图；图17A和图17B是示出根据实施方式和比较例的每个细分区域的标准差的实例的示图；图18A至图18C是示出根据比较例调节判定参数的结果的示图；图19A至图19C是示出根据该实施方式调节判定参数的结果的示图；图20A至图20C是示出根据该实施方式调节判定参数的结果的示图；图21A至图21C是示出根据该实施方式调节判定参数的结果的示图；图22是用于比较基于根据该实施方式和比较例的判定参数的检测区域的变化的示图；图23A和图2 是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例；图24A和图24B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例；图25A和图25B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例；图26A和图26B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例；以及图27A和图27B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例。
具体实施例方式在下文中，将参照附图描述本发明的实施方式。(图像处理设备的结构)图1是示出根据本发明的实施方式的图像处理设备1的结构的框图。如图所示，图像处理设备1包括运算处理部2、用户接口(在下文中称为用户 IF) 3、内存4、网络接口(在下文中称为网络IF) 6和存储器17，这些经由内部总线5相互连接。用户IF 3连接内部总线5和外部设备。诸如键盘和鼠标的输入操作部7和用于显示图像的显示部8连接至用户IF 3。内存4例如是ROM(只读存储器)和RAM(随机存取存储器)并且存储要处理的图像数据、程序等。网络IF 6连接外部网络和内部总线5。能够拍摄图像的图像拍摄系统9连接至网络IF 6。在该实施方式中，通过图像拍摄系统9获取图像，并且经由网络IF 6和内部总线5将获取的图像存储在存储器17中。运算处理部2是例如微处理器并且执行稍后描述的运算处理。运算处理部2在功能上包括原始图像采集部10、检测对象图像选择部11、边缘检测处理部12、细分区域设定部13、指标值计算部14、对象物体判定部15和检测结果输出部16的模块。通过存储在运算处理部2内部或外部的程序实现这些模块。(关于模块)原始图像采集部10采集存储在存储器17中的“原始图像”并将它存储在内存4 中。检测对象图像选择部11从原始图像中选择将成为检测对象的“检测对象图像”。边缘检测处理部12对检测对象图像进行“边缘检测处理”并且生成边缘图像。细分区域设定部 13在边缘图像中设定“细分区域”。指标值计算部14计算表示包括在每个细分区域中的边缘成分的量的“边缘成分指标值”。对象物体判定部15根据边缘成分指标值判定每个细分区域是否包括对象物体的图像。判定结果输出部16例如以文本图的形式输出对象物体判定部15的判定结果。(图像处理设备的操作)将描述图像处理设备1的操作。该实施方式的图像处理设备1在已经通过图像拍摄系统9获得并且存储在存储器 17中的“原始图像”上进行图像处理以检测存在对象物体的图像的区域。示意地，原始图像采集部10从存储器17采集原始图像，并且检测对象图像选择部11 一旦接收用户指令的输入就选择“检测对象图像”。接着，边缘检测处理部12对检测对象图像进行边缘检测处理并且生成“边缘图像”。接着，细分区域设定部13在边缘图像中设定“细分区域”，并且指标值计算部14为每个细分区域计算边缘成分指标值(在该情况中为亮度值的标准差)。对象物体判定部15根据边缘成分指标值判定每个细分区域是否包括对象物体的图像，并且判定结果输出部16输出判定结果。图2是示出图像处理设备1的操作的流程图。图2逐步示出图像处理设备1的操作(在下文中，标记为M)。当用户输入开始处理的指令时，原始图像采集部10经由用户IF 3采集原始图像 (St 101)。图3示出了原始图像的实例。这里，将通过拍摄放置在制备的载玻片上的病理组织(对象物体)获得的图像用作原始图像。应当注意，尽管图3中所示的照片是黑白图像，但该图像可以是彩色图像。例如，可将通过拍摄已经过苏木精-伊红染色(HE染色)的样本得到的图像用作原始图像。此外，原始图像采集部10可采集已经经过稍后描述的“颜色变换处理”的图像作为原始图像。接着，对象图像选择部11从原始图像中选择“检测对象图像”(在下文中称为“剪裁图像”)(St 102)。如图3所示，当在原始图像中存在明显不存在对象物体的区域时(在图3中的制备的载玻片外部的区域)，图像处理设备1对除该区域之外的检测对象图像进行检测处理。图4示出了从原始图像选择的剪裁图像。作为具体的选择操作，当用户指定点ρ (坐标lx，Iy)、宽度w和高度h时，检测对象图像选择部11选择4个坐标(lx, ly)、(lx+w, ly)、(lx, ly+h)和(lw+w, ly+h)包围的区域选择为剪裁图像。此外，当在原始图像中不存在要排除的区域时，图像处理设备1选择整个原始图像作为剪裁图像。应当注意，图像处理设备1可以生成不同于原始图像的图像作为剪裁图像，或处理原始图像中假想指定的区域作为剪裁图像。再参照图2，边缘检测处理部12对剪裁图像进行边缘检测处理并且生成边缘图像 (St 103)。图5示出了从图4中所示的剪裁图像生成的边缘图像的实例。如图5所示，边缘图像是像素被二值化成与剪裁图像的边缘对应的像素(这里，边缘指亮度值的边界并且没有必要指物体的轮廓)(用白色示出)和除此之外的像素(用黑色示出)的图像。稍后将给出边缘检测处理的细节。接下来，细分区域设定部13在边缘图像中设定“细分区域”(St 104)。图6示出了在其中设定细分区域的边缘图像的实例。在图中被白线分割的区域是细分区域。如图所示，细分区域是通过在纵向和横向方向上将边缘图像分割成多个区域获得的区域。细分区域的尺寸都是相同的，并且用户可根据分辨率指定尺寸。再参照图2，指标值计算部14为每个细分区域计算“边缘成分指标值”(St 105)。 边缘成分指标值是表示多少个与边缘对应的像素包括在每个细分区域中的指标值。作为指标值，可使用像素值(亮度)的标准差，在细分区域中与边缘对应的像素的含有率等。应当注意，在该实施方式中，将给出关于像素值(亮度)的标准差用作指标值的情况的描述。接着，对象物体判定部15判定对象物体存在/不存在(St 106)。对象物体判定部 15将每个细分区域的边缘成分指标值与用户指定的用于判定的参数(在下文中，称为判定参数)比较。边缘成分指标值等于或大于判定参数的细分区域被判定为存在对象物体的细分区域(在下文中称为检测区域)，并且边缘成分指标值小于判定参数的细分区域被判定为不存在对象物体的细分区域(在下文中称为非检测区域)。尽管稍后将给出细节，但此时，通过用户调节判定参数，对象物体被判定为存在的区域变动。图7示出了显示检测区域的边缘图像。在图中，只有检测区域被示为被白线分割的区域。图8示出了显示检测区域的剪裁图像。如图所示，在剪裁图像中，存在对象物体的区域被判定为检测区域，并且不存在对象物体的区域被判定为非检测区域。再参照图2，判定结果输出部16输出步骤106的检测结果(St 107)。如图9所示， 判定结果输出部16制作将检测区域表示为1并且将非检测区域表示为0的存在分布图，并且输出该分布图。如上所述，存在对象物体的区域和不存在对象物体的区域在剪裁图中都被检测到。通过使用检测结果，可将区域缩小至存在对象物体的区域，使得在那些区域上可进行更具体的图像分析等。(边缘检测处理的细节)将描述边缘检测处理的细节(上述步骤10 。图10是具体示出边缘检测处理的流程图。在该实施方式的边缘检测处理中使用坎尼算法(Canny algorithm)。应当注意，可使用其他的算法进行边缘检测处理。首先，边缘检测处理部12将剪裁图像变换成灰度图像(St 201)。在图4所示的剪裁图像本来为彩色图像但被变换成灰度图像，这是必要的步骤。可通过下面的表达式进行灰度变换。Y = -0. 299R+0. 587G+0. 114B (表达式 1)Y 像素值，R 红色成分，G 绿色成分，B 蓝色成分接着，边缘检测处理部12对灰度图像进行图像平滑处理(St 202)。边缘检测处理部12为平滑化将滤波器(具体地，高斯滤波器)应用至灰度裁剪图像并且生成噪声抑制图像。结果，可抑制在稍后描述的梯度计算中产生的“混乱”。接下来，边缘检测处理部12进行“梯度计算”(St 203)。梯度计算用于计算在特定的像素和相邻像素之间的亮度值的程度差。在下面的描述中，将描述在梯度计算中的具体计算方法。当在步骤202中平滑化的剪裁图像的特定像素(坐标(a，b))的亮度值表示为f (a，b)时，使用下面所示的表达式[公式1]计算所有像素的梯度矢量。边缘检测处理部12将梯度矢量存储作为与像素坐标有关的梯度图(gradient map)。[公式1]
^yv ,、 ( (a, b)Vf(a, b) = jy^ J, ^v'
^ ox dy J梯度矢量是表示在特定像素和相邻像素之间亮度值的程度差的物理量。基于[公式2]中所示的梯度矢量的χ成分的值和[公式3]中所示的梯度矢量的y成分的值，通过 [公式4]中所示的表达式可计算梯度矢量的方向Θ。[公式2]
_ ▽/ )=
V ox J[公式 3][公式 4]
8
权利要求
1.一种图像处理设备，所述图像处理设备包括边缘检测处理部，被配置成通过对检测对象图像进行边缘检测处理来生成边缘图像， 其中要从所述检测对象图像中检测对象物体；细分区域设定部，被配置成将所述边缘图像分割成多个细分区域； 指标值计算部，被配置成为所述多个细分区域中的每个计算边缘成分指标值，所述边缘成分指标值表示包括在每个细分区域中的边缘成分的量；以及对象物体判定部，被配置成根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
2.根据权利要求1所述的图像处理设备，其中，所述边缘检测处理部在所述边缘检测处理中使用所述检测对象图像的亮度梯度。
3.根据权利要求2所述的图像处理设备，其中，所述边缘检测处理部根据定义作为边缘而检测出的亮度梯度水平的检测参数进行所述边缘检测处理，所述检测参数由用户指示。
4.根据权利要求3所述的图像处理设备，其中，所述边缘成分指标值是包括在每个细分区域中的像素的亮度的标准差。
5.根据权利要求4所述的图像处理设备，其中，所述边缘检测处理部使用坎尼算法作为所述边缘检测处理的算法。
6.一种图像处理方法，包括由边缘检测处理部通过对检测对象图像进行边缘检测处理来生成边缘图像，其中要从所述检测对象图像中检测对象物体；由细分区域设定部将所述边缘图像分割成多个细分区域；由指标值计算部为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值；以及由对象物体判定部根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
7.一种图像处理程序，使得计算机具有以下功能边缘检测处理部，被配置成通过对检测对象图像进行边缘检测处理来生成边缘图像， 其中要从所述检测对象图像中检测对象物体；细分区域设定部，被配置成将所述边缘图像分割成多个细分区域；指标值计算部，被配置成为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值；以及对象物体判定部，被配置成根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
全文摘要
本发明提供了图像处理设备、图像处理方法和图像处理程序。该图像处理设备包括边缘检测处理部，被配置成通过对检测对象图像进行边缘检测处理来产生边缘图像，其中要从该检测对象图像中检测对象物体；细分区域设定部，被配置成将边缘图像分割成多个细分区域；指标值计算部，被配置成为多个细分区域中的每个计算边缘成分指标值，该边缘成分指标值表示包括在每个细分区域中的边缘成分的量；以及对象物体判定部，被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。
文档编号G06T7/00GK102393959SQ20111016803
公开日2012年3月28日 申请日期2011年6月21日 优先权日2010年6月28日
发明者木岛公一朗, 福士岳步 申请人:索尼公司