图像处理设备、图像处理方法和图像处理系统与流程

本发明涉及图像处理设备、图像处理方法和图像处理系统。

背景技术：

日本未经审查的专利申请公开No.2014-64835公开了一种具有以下构造的图像处理设备。图像获得单元从X射线计算机断层扫描(CT)设备得到多个CT图像，并且产生三维图像。低分辨率图像产生单元对三维图像执行多分辨率变换，并且产生低分辨率图像。第一提取单元通过使用图形切割方法从低分辨率图像中提取诸如肝脏区域的特定区域。轮廓区域设置单元在三维图像上设置从低分辨率图像中提取的肝脏区域的轮廓，并且在三维图像上设置包括肝脏区域的轮廓的轮廓区域。第二提取单元从轮廓区域中提取肝脏区域的轮廓，并且还从三维图像中提取肝脏区域。

在图像处理中，用户分割他们指定为要经受图像处理的区域的指定区域。

技术实现要素：

因此，本发明的目的是提供图像处理设备、图像处理方法和图像处理系统，该图像处理设备、图像处理方法和图像处理系统可使得能够以比在没有取消针对其中曾经被检测到指定区域的区域的指定区域的情况下进行指定区域分割的精度更高的精度进行指定区域分割，并且可使得能够以比通过重新设置其中曾经被检测到指定区域的区域的整体并且通过使用关于新接受的代表位置的位置信息再次检测区域进行指定区域分割有所提高的处理速度进行指定区域分割。

根据本发明的第一方面，提供了一种图像处理设备，该图像处理设备包括位置信息获得单元和区域检测单元。位置信息获得单元获得指示图像中的一个或更多个指定区域的代表位置的位置信息。区域检测单元从所述位置信息检测所述一个或更多个指定区域。所述区域检测单元取消针对所述图像的预定部分内的像素的所述一个或更多个指定区域的设置，并且基于从所述图像上的还没有被取消所述一个或更多个指定区域的设置的像素之中选择的参考像素，针对所述预定部分内的像素再次检测所述一个或更多个指定区域。

根据本发明的第二方面，在根据第一方面的图像处理设备中，所述预定部分是检测到的指定区域的边界部分。

根据本发明的第三方面，在根据第一方面的图像处理设备中，所述区域检测单元包括第一区域检测单元和第二区域检测单元，所述第一区域检测单元从所述位置信息检测所述一个或更多个指定区域，所述第二区域检测单元取消在被放大后的所述指定区域的边界部分中的所述一个或更多个指定区域的设置。

根据本发明的第四方面，在根据第一方面的图像处理设备中，所述位置信息获得单元获得指示所述一个或更多个指定区域的额外位置的额外位置信息，所述区域检测单元取消针对所述图像的预定部分内的所述额外位置信息指示的所述额外位置处的像素的相邻像素的所述一个或更多个指定区域的设置。

根据本发明的第五方面，在根据第一方面的图像处理设备中，所述位置信息获得单元还获得用于擦除所述位置信息的至少部分的擦除信息，所述区域检测单元从所述位置信息检测所述一个或更多个指定区域，所述位置信息的所述至少部分已使用所述擦除信息擦除。

根据本发明的第六方面，根据第一方面的图像处理设备还包括图像大小改变单元，所述图像大小改变单元改变用户用来指明指定区域的图像的图像大小并且按照所述图像改变后的图像大小来改变位置信息。所述区域检测单元按照改变后的所述位置信息来检测所述一个或更多个指定区域。

根据本发明的第七方面，提供了一种图像处理设备，该图像处理设备包括位置信息获得单元、第一区域检测单元、指定区域放大单元和第二区域检测单元。位置信息获得单元获得指示图像中的一个或更多个指定区域的代表位置的位置信息。第一区域检测单元从所述位置信息检测所述一个或更多个指定区域。指定区域放大单元放大检测到的指定区域。第二区域检测单元基于从属于所述图像中的除了放大后的所述指定区域的边界部分外的区域的像素之中选择的参考像素，在所述边界部分内再次检测所述一个或更多个指定区域。

根据本发明的第八方面，根据第七方面的图像处理设备还包括图像大小改变单元，所述图像大小改变单元改变用户用来指明指定区域的图像的图像大小并且按照所述图像改变后的图像大小来改变位置信息。所述第一区域检测单元按照改变后的所述位置信息来检测所述一个或更多个指定区域。

根据本发明的第九方面，在根据第七方面的图像处理设备中，所述图像大小改变单元将用户用来指明指定区域的图像和所述位置信息相互分开，并且单独地改变所述图像和所述位置信息。

根据本发明的第十方面，在根据第七方面至第九方面中任一项所述的图像处理设备中，所述第二区域检测单元应用过滤器，所述过滤器用于取消所述一个或更多个指定区域的设置，使得所述过滤器以被所述指定区域放大单元放大的指定区域的边界上的像素为中心，并且所述第二区域检测单元使用还没有被取消所述一个或更多个指定区域的设置的像素作为参考像素，针对被取消所述一个或更多个指定区域的设置的像素再次检测所述一个或更多个指定区域。

根据本发明的第十一方面，在根据第七方面至第十方面中任一项所述的图像处理设备中，所述第二区域检测单元包括范围设置单元和确定单元。范围设置单元设置第一范围或改变第二范围。所述第一范围是针对从属于各放大后的所述指定区域的像素之中选择的参考像素设置的并且是针对被确定在或不在所述一个或更多个指定区域中的对应一个中的第一目标像素的范围。所述第二范围是针对作为被选择的目标像素的第二目标像素设置的并且是包括所述参考像素的范围，所述参考像素是用于确定所述第二目标像素被包括在哪个指定区域中的像素。确定单元确定所述第一目标像素或所述第二目标像素属于哪个指定区域。

根据本发明的第十二方面，在根据第七方面至第十一方面中任一项所述的图像处理设备中，所述第一区域检测单元包括范围设置单元和确定单元。所述范围设置单元设置第一范围或改变第二范围。所述第一范围是针对从属于所述一个或更多个指定区域中的每个的像素之中选择的参考像素设置的并且是针对被确定在或不在所述一个或更多个指定区域中的对应一个中的第一目标像素的范围。所述第二范围是针对作为被选择的目标像素的第二目标像素设置的并且是包括所述参考像素的范围，所述参考像素是用于确定所述第二目标像素被包括在哪个指定区域中的像素。所述确定单元确定所述第一目标像素或所述第二目标像素属于哪个指定区域。

根据本发明的第十三方面，在根据第七方面至第十二方面中任一项所述的图像处理设备中，所述位置信息获得单元获得指示所述一个或更多个指定区域的额外位置的额外位置信息，所述第一区域检测单元按照所述额外位置信息检测所述一个或更多个指定区域。

根据第十四方面，提供了一种图像处理方法，该图像处理方法包括：获得指示图像中的一个或更多个指定区域的代表位置的位置信息；从所述位置信息检测所述一个或更多个指定区域。所述检测包括取消针对所述图像的预定部分内的像素的所述一个或更多个指定区域的设置，并且基于从所述图像上的还没有被取消所述一个或更多个指定区域的设置的像素之中选择的参考像素，针对所述预定部分内的像素再次检测所述一个或更多个指定区域。

根据第十五方面，提供了一种图像处理系统，该图像处理系统包括显示装置、图像处理设备和输入装置。所述显示装置显示图像。所述图像处理设备对关于所述显示装置上显示的图像的图像信息执行图像处理。所述输入装置将来自用户的指令输入到所述图像处理设备，以执行图像处理。所述图像处理设备包括位置信息获得单元和区域检测单元。所述位置信息获得单元获得指示所述图像中的一个或更多个指定区域的代表位置的位置信息。所述区域检测单元从所述位置信息检测所述一个或更多个指定区域。所述区域检测单元取消针对所述图像的预定部分内的像素的所述一个或更多个指定区域的设置，并且基于从所述图像上的还没有被取消所述一个或更多个指定区域的设置的像素之中选择的参考像素，针对所述预定部分内的像素再次检测所述一个或更多个指定区域。

根据本发明的第一方面，可以提供一种图像处理设备，该图像处理设备能够以比在没有取消针对其中曾经被检测到指定区域的区域的指定区域的情况下进行指定区域分割的精度更高的精度进行指定区域分割，并且能够以比通过重新设置其中被检测到一次指定区域的区域的整体并且通过使用关于新接受的代表位置的位置信息再次检测区域进行指定区域分割有所提高的处理速度进行指定区域分割。

根据本发明的第二方面，可以针对有可能出现分割精度降低的部分实现高分割精度。

根据本发明的第三方面，可以以提高的处理速度来分割指定区域，即使使用的是高分辨率图像。

根据本发明的第四方面，可以以高分割精度使用额外位置信息分割指定区域。

根据本发明的第五方面，用户能够校正位置信息。

根据本发明的第六方面，可以选择分割指定区域时对应的图像大小。

根据本发明的第七方面，可以提供一种图像处理设备，该图像处理设备能够以比在没有取消针对其中曾经被检测到指定区域的区域的指定区域的情况下进行指定区域分割的精度更高的精度进行指定区域分割，并且能够以比通过重新设置其中被检测到一次指定区域的区域的整体并且通过使用关于新接受的代表位置的位置信息再次检测区域进行指定区域分割有所提高的处理速度进行指定区域分割。

根据本发明的第八方面，即使用户用来指明指定区域的图像、第一区域检测单元在其中分割指定区域的图像、第二区域检测单元在其中分割指定区域的图像具有不同大小，也可以执行处理。

根据本发明的第九方面，可以实现位置信息精度的进一步提高。

根据本发明的第十方面，可容易地取消指定区域的设置。

根据本发明的第十一方面，第二区域检测单元能够更快速地执行分割指定区域的处理。

根据本发明的第十二方面，第一区域检测单元能够更快速地执行分割指定区域的处理。

根据本发明的第十三方面，可以以高分割精度使用额外位置信息来分割指定区域。

根据本发明的第十四方面，可以提供一种图像处理方法，该图像处理方法能够以比在没有取消针对其中曾经被检测到指定区域的区域的指定区域的情况下进行指定区域分割的精度更高的精度进行指定区域分割，并且能够以比通过重新设置其中被检测到一次指定区域的区域的整体并且通过使用关于新接受的代表位置的位置信息再次检测区域进行指定区域分割有所提高的处理速度进行指定区域分割。

根据本发明的第十五方面，可以提供一种图像处理系统，该图像处理系统可容易地执行图像处理。

附图说明

将基于下面的附图详细描述本发明的示例性实施方式，其中：

图1示出根据本发明的示例性实施方式的图像处理系统的示例构造；

图2是示出根据第一、第三和第四示例性实施方式的图像处理设备的示例功能构造的框图；

图3A和图3B示出用于指明指定区域的示例用户交互方法；

图4A和图4B示出通过使用区域扩张方法分别在图3A和图3B中示出的图像中分割的指定区域；

图5A至图5C示出指定区域放大单元执行的处理；

图6A和图6B示出其中第二区域检测单元重新设置标签的处理；

图7A和图7B示出重新设置标签之前和之后之间的比较；

图8A至图8E示出其中第二区域检测单元再次检测指定区域的处理；

图9A和图9B示出当用户选择指定区域时显示装置的显示屏上显示的示例画面；

图10示出当将执行图像处理时显示装置的显示屏上显示的示例画面；

图11A至图11C示出相关技术的区域扩张方法；

图12是示出根据第一示例性实施方式的第一区域检测单元的示例功能构造的框图；

图13A示出其中将分割指定区域的原始图像；

图13B示出参考像素；

图14示出第一范围；

图15示出基于图14中示出的第一范围内的目标像素的欧氏距离进行判断的结果；

图16A和图16B示出用于确定影响程度的方法；

图17示出使用基于图14中示出的第一范围内的目标像素的强度的方法进行判断的结果；

图18A至图18H示出基于第一示例中的强度使用区域扩张方法标记像素的处理的示例；

图19A至图19H示出在第二示例中使用区域扩张方法标记像素的处理的示例；

图20A和图20B示出行列的次序被颠倒的情况；

图21是示出第一示例和第二示例中的第一区域检测单元的操作的流程图；

图22示出第三示例中的通过像素选择单元选择的目标像素和通过范围设置单元设置的第二范围；

图23示出根据第一示例性实施方式的判断的结果；

图24A至图24H示出使用第四示例中的区域扩张方法标记像素的处理的示例；

图25是示出第三示例和第四示例中的第一区域检测单元的操作的流程图；

图26是示出第五示例中的第一区域检测单元的操作的流程图；

图27A和图27B是示出用于增强原始图像可视性的视网膜皮层(retinex)处理的概念图；

图28是示出根据第二示例性实施方式的图像处理设备的示例功能构造的框图；

图29A至图29C示出第二示例性实施方式中使用的三个大小的图像；

图30A至图30C示出将图29A中示出的编辑图像分解成图像和位置信息图像；

图31是描绘最近邻映射的图像；

图32是描绘使用线性插值的插值处理的图像；

图33A和图33B示出代表种子的曲线的一部分的线性插值；

图34A和图34B分别示出阈值处理之前的图像和阈值处理之后的图像；

图35示出固定种子和可变种子；

图36示出缩小图像和缩小位置信息图像的组合；

图37示出根据第三示例性实施方式的图3B中示出的图像中给出三个种子的情况；

图38A至图38C示出使用区域扩张方法在图37中示出的图像中分割指定区域；

图39A至图39C示出根据第三示例性实施方式的指定区域放大单元执行的处理；

图40A和图40B示出根据第三示例性实施方式的第二区域检测单元再次检测指定区域的处理；

图41A至图41E示出根据第四示例性实施方式的将额外种子用于分割指定区域的情况；

图42A至图42C示出额外种子的校正；

图43示出使用多个额外种子的情况；

图44A和图44B示出用于设置其中给出额外种子的区域的方法；

图45示出设置的区域包括给出的种子的情况；

图46A和图46B示出根据第四示例性实施方式的将经受指定区域分割的图像范围；

图47示出图像处理设备的硬件构造。

具体实施方式

下文中，将参照附图详细地描述本发明的示例性实施方式。

在参照附图提供详细描述之前，现在将讨论本发明的背景。以不同方式对彩色图像执行质量调节。例如，调节整个彩色图像的质量并且调节彩色图像中的各区域的质量。彩色图像一般被表现为颜色空间的颜色分量(诸如，红绿蓝(RGB)、L*a*b*等的亮度和色度分量、或色调饱和度值(HSV)等的亮度、色调和饱和度分量)。图像质量控制的典型示例包括控制颜色分量的直方图、控制亮度对比度、控制亮度直方图、控制亮度的带宽、控制色调和控制饱和度。另外，近来重点集中在关于可视性的图像质量控制(诸如，视网膜皮层处理)。基于颜色或亮度的带宽控制图像质量(特别地，只调节特定区域的图像质量)包含分割特定区域的处理。

近来普遍使用的信息和通信技术(ICT)装置造成图像处理操作的范围扩大。因此，存在如上所述用于图像操纵和图像编辑的各种可想到的方法。诸如平板终端的ICT装置的优点在于，它们是通过触摸面板等进行直观操作的，这种ICT装置的特征是使用户交互性增强的图像操纵和图像编辑的能力。

此外，近来在诸如设计领域和医疗领域的各种领域中进行图像分割的处理常常是以高分辨率图像为目标。例如，在设计领域中，高分辨率图像有时被用于调节分割区域的颜色、改变分割区域的纹理、和其它操作。在其它时间，后期处理可能需要打印高分辨率图像。在这种情况下，向高分辨率图像应用屏蔽(区域的分割)一般会是必要的。

按照上述情形，在本文中公开的示例性实施方式中，使用具有以下构造的图像处理系统1来分割特定区域并且调节图像质量。

对整体图像处理系统的描述

图1示出根据示例性实施方式的图像处理系统1的示例构造。

如图1中所示，根据示例性实施方式的图像处理系统1包括图像处理设备10、显示装置20和输入装置30。图像处理设备10对关于显示装置20上显示的图像的图像信息执行图像处理。显示装置20接收图像处理设备10创建的图像信息，并且基于图像信息显示图像。用户操作输入装置30将各种信息输入到图像处理设备10。

图像处理设备10是例如通用个人计算机(PC)。图像处理设备10致使在操作系统(OS)的管理下运行各种应用软件。因此，执行诸如创建图像信息的操作。

显示装置20在显示屏21上显示图像。显示装置20被实现为具有使用加色混色显示图像的功能的装置(诸如，PC液晶显示器、液晶TV监视器、或投影仪)。因此，显示装置20的方法不限于液晶方法。在图1中示出的示例中，显示屏21位于显示装置20的顶部。另选地，例如，可使用投影仪作为显示装置20。在这种情况下，显示屏21可以是位置远离显示装置20的屏幕。

输入装置30由键盘、鼠标和任何其它合适组件构成。输入装置30可用于启用或禁用用于图像处理的应用软件，或者用户可使用输入装置30将指令输入图像处理设备10，以在用户将要执行以下将详细描述的图像处理时执行图像处理。

图像处理设备10和显示装置20经由数字视频接口(DVI)彼此连接。可使用替代DVI的任何其它方法(诸如，HDMI(注册商标)(高清晰度多媒体接口)或DisplayPort连接)。

图像处理设备10和输入装置30经由例如通用串行总线(USB)彼此连接。可使用替代USB的任何其它方法(诸如，电气和电子工程师协会(IEEE)1394或RS-232C连接)。

在具有上述构造的图像处理系统1中，首先，在显示装置20上显示原始图像即图像处理之前的图像。当用户使用输入装置30将执行图像处理的指令输入图像处理设备10时，图像处理设备10对关于原始图像的图像信息执行图像处理。图像处理的结果被反映在显示装置20上显示的图像中，经受图像处理的图像被重新渲染并且显示在显示装置20上。这样可使用户在观看显示装置20上的图像的同时能够交互性执行图像处理，从而导致图像处理更直观并且更容易操作。

注意的是，根据示例性实施方式的图像处理系统1的构造不限于图1中示出的构造。例如，平板终端可被作为图像处理系统1的示例。平板终端具有触摸面板，图像显示在触摸面板上并且用户通过触摸面板输入指令。也就是说，触摸面板用作显示装置20和输入装置30。触摸监测器还可用作显示装置20和输入装置30的一体装置。触摸监测器具有用作显示装置20的显示屏21的触摸面板。在这种情况下，通过图像处理设备10创建图像信息，在触摸监测器上显示基于图像信息的图像。通过操作触摸监测器(诸如，触摸触摸监测器)，用户输入用于执行图像处理的指令。

第一示例性实施方式

现在，将描述图像处理设备10。首先，将描述第一示例性实施方式。

对图像处理设备的描述

图2是示出根据第一示例性实施方式的图像处理设备10的示例功能构造的框图。在图2中，选择性示出图像处理设备10的各种功能之中的与这个示例性实施方式相关的功能。

如图2中所示，根据这个示例性实施方式的图像处理设备10包括图像信息获得单元11、用户指令接受单元12、第一区域检测单元13、指定区域放大单元14、第二区域检测单元15、区域切换单元16、图像处理单元17和图像信息输出单元18。

图像信息获得单元11获得关于将经受图像处理的图像的图像信息。也就是说，图像信息获得单元11获得关于图像处理之前的原始图像的图像信息。通过例如用于在显示装置20上显示的RGB形式的视频数据(RGB数据)表现图像信息。

在这个示例性实施方式中，图像信息获得单元11获得关于两个图像的图像信息。图像中的一个是用户想要实际执行图像处理的具有高分辨率的正使用的图像G'。在这个示例性实施方式中，正使用的图像G'最终被分割成指定区域。另一个图像是具有比正使用的图像G'低的分辨率的图像G。例如，图像G是正使用的图像G'的大小缩小版本。低分辨率图像G显示在显示装置20上，以使例如用户指令接受单元12、区域切换单元16和图像处理单元17接受用户给出的指令，以下将对此进行详细描述。进一步使用图像G，以使第一区域检测单元13分割指定区域。

用户指令接受单元12是位置信息获得单元的示例，并且接受用户给出的用于图像处理的指令，指令是通过输入装置30输入的。

具体地，用户指令接受单元12接受用于在显示装置20上显示的图像G中指明用户指定为特定图像区域的指定区域的指令作为用户指令信息。举例来说，特定图像区域是用户对其执行图像处理的图像区域。实际上，在这个示例性实施方式中，用户指令接受单元12获得用户输入的、指示指定区域的代表位置的位置信息作为用户指令信息。

如以下详细描述的，用户指令接受单元12接受用于从指定区域之中选择用户实际上对其执行图像处理的指定区域的指令作为用户指令信息。用户指令接受单元12还接受与用户对所选择指定区域执行的图像处理的细节(诸如，处理项和处理量)相关的指令作为用户指令信息。以下将是细节。

这个示例性实施方式采用下述用于指明指定区域的用户交互方法。

图3A和图3B示出用于指明指定区域的示例用户交互方法。

在图3A中，显示装置20的显示屏21上显示的图像是示出前景中的人和人后方的背景的照片的图像G。在图3A中，此外，用户选择前景中的人头部的头发部分和非头发部分作为指定区域。也就是说，存在两个指定区域。在下文中，代表头发部分的指定区域可被称为“第一指定区域”，代表非头发部分的指定区域可被称为“第二指定区域”。

另外，在图3B中，显示装置20的显示屏21上显示的图像是示出前景中的人和人后方的背景的照片的图像G。在图3B中，此外，用户选择前景中的人面部部分和非面部部分作为指定区域。也就是说，存在两个指定区域。在下文中，代表面部部分的指定区域可被称为“第一指定区域”，代表非面部部分的指定区域可被称为“第二指定区域”。

用户在相应指定区域中的每个中绘制代表路径。可通过输入装置30输入路径。具体地讲，如果输入装置30是鼠标，则用户操作鼠标并且通过在显示装置20的显示屏21上显示的图像G上进行拖拽来绘制路径。如果输入装置30是触摸面板，则用户通过用他们的手指或诸如触摸笔的任何工具通过扫动在图像G上移来移去，绘制路径。用户可绘制点而非路径。用户给出指示代表各指定区域(诸如，头发部分)的位置的信息可以是足够的。换句话讲，用户可输入指示指定区域的代表位置的位置信息。在下文中，路径、点等可被称为“种子”。

在图3A中示出的示例中，在头发部分和非头发部分中绘制种子。头发部分和非头发部分中的种子可在下文中分别被称为“种子1”和“种子2”。在图3B中示出的示例中，在面部部分和非面部部分中绘制种子。面部部分和非面部部分中的种子可在下文中分别被称为“种子1”和“种子2”。

第一区域检测单元13按照用户指令接受单元12接受的用户指令信息，检测显示装置20上显示的图像G中的指定区域。实际上，第一区域检测单元13执行从显示装置20上显示的图像中分割指定区域的处理。

为了基于关于种子的信息分割指定区域，首先，第一区域检测单元13为其中绘制种子的部分中的像素分派标签。在图3A中示出的示例中，与头发部分中绘制的路径(种子1)对应的像素被分派“标签1”，与非头发部分中绘制的路径(种子2)对应的像素被分派“标签2”。

在图3B中示出的示例中，与面部部分中绘制的路径(种子1)对应的像素被分派“标签1”，与非面部部分中绘制的路径(种子2)对应的像素被分派“标签2”。在这个示例性实施方式中，分派标签被称为“标记”。

然后，按照被标记为种子的像素(下文中，被称为“种子像素”)的像素值和种子像素的相邻像素的像素值彼此多么接近，组合或不组合种子像素和相邻像素。具体地，如以下详细描述的，如果像素值彼此接近，则组合这两个像素，并且如果像素值彼此远离，则不组合这两个像素。重复地执行这个操作，以扩大区域。通过上述区域扩张方法，分割指定区域。

图4A和图4B示出通过使用区域扩张方法分别在图3A和图3B中示出的图像G中分割的指定区域。

在图4A中，通过使用区域扩张方法，在图3A中示出的图像G中分割“第一指定区域(S1)”和“第二指定区域(S2)”。

在图4B中，通过使用区域扩张方法，在图3B中示出的图像G中分割“第一指定区域(S1)”和“第二指定区域(S2)”。

下面，分割了指定区域的图4A和图4B中示出的图像中的每个可被称为分割图像Gb。

上述方法允许用户更直观地且更容易地分割指定区域，即便指定区域具有复杂形状。这里，在低分辨率图像G中分割指定区域。相比之下，这个示例性实施方式可使得通过以下处理在正使用的高分辨率图像G'中能够分割指定区域。

指定区域放大单元14放大第一区域检测单元13检测到的指定区域。

图5A至图5C示出指定区域放大单元14执行的处理。

在图5A至图5C中，放大图4B中示出的指定区域。类似于图4B，图5A示出分割图像Gb，在分割图像Gb中，分割了“第一指定区域(S1)”和“第二指定区域(S2)”作为指定区域。

图5B示出通过放大分割图像Gb获得的放大分割图像Gz。放大分割图像Gz由放大的指定区域构成。指定区域放大单元14放大分割图像Gb，直到分割图像Gb的大小变成等于正使用的图像G'的大小。也就是说，指定区域放大单元14按照正使用的图像G'的大小来放大分割图像Gb。

如图5B中所示，放大之后的放大分割图像Gz的大小等于正使用的图像G'。然而，由于仅仅通过放大低分辨率分割图像Gb来产生放大后的分割图像Gz，因此在“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界处存在显著锯齿或凹凸不平的边缘。

图5C是“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界的放大视图。在图5C中，用实线指示正使用的图像G'中的两个指定区域的实际边界。如图5C中所示，“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界偏离实际边界。这里，仅仅通过放大分割图像Gb来产生放大后的分割图像Gz。然而，即使使用任何其它的更高精度放大方法，也将出现这种偏离。

第二区域检测单元15在指定区域放大单元14放大的指定区域的边界部分中再次检测指定区域。也就是说，第二区域检测单元15再次执行在图5B和图5C中示出的“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界部分中检测指定区域的处理。使用正使用的高分辨率图像G'，选择性对边界部分执行这个处理，而不对任何其它部分执行这个处理，使得“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界匹配实际边界。下文中，将描述第二区域检测单元15执行的特定处理。

首先，第二区域检测单元15重新设置放大后的分割图像Gz中的“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界部分中的标签。也就是说，分派给“第一指定区域(S1)”中包括的像素的“标签1”和分派给“第二指定区域(S2)”中包括的像素的“标签2”被重新设置。

在这个示例性实施方式中，第二区域检测单元15对放大后的分割图像Gz的像素之中的被分配标签的像素应用用于重新设置标签的过滤器，该像素被分派的标签不同于相邻像素被分派的标签。

图6A和图6B示出其中第二区域检测单元15重新设置标签的处理。

图6A示出用于重新设置标签的过滤器。过滤器被设置成以被分派标签的像素为中心，该像素被分派的标签不同于相邻像素被分派的标签。在图6A中，示出被设置成以表现为中心像素的像素为中心的过滤器。被分派给中心像素的标签可以是“标签1”或“标签2”。可按照正使用的图像G'的大小，确定过滤器的大小。例如，如果正使用的图像G'的大小是图像G的大小的十倍，则可使用10个像素×10个像素的过滤器。

在图6B中，使用上述过滤器重新设置了标签。如图6B中所示，重新设置图6A中示出的“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界部分中的标签。这里，用区域S0代表针对“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界的范围。另外，用“标签0”代表标签被重新设置成的标签。换句话讲，区域S0中的像素被分派“标签0”。

图7A和图7B示出重新设置标签之前和之后之间的比较。

图7A示出在重新设置标签之前的图像，即，如图5B中所示的放大后的分割图像Gz。图7B示出在重新设置标签之后的图像，该图像表现为标签重新设置的图像Gr。在标签重新设置的图像Gr中，如图7B中所示，“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界部分中的标签被重新设置，从而导致获得区域S0。

然后，第二区域检测单元15再次检测区域S0内的指定区域。第二区域检测单元15通过以上在描述第一区域检测单元13时描述的区域扩张方法来分割指定区域。在第一区域检测单元13在整个低分辨率图像G中分割指定区域时，第二区域检测单元15使用正使用的图像G'并且选择性在边界部分中或在区域S0中分割指定区域。也就是说，被分派给图7B中的“第一指定区域(S1)”和“第二指定区域(S2)”中包括的像素(即，标签没有被重新设置的像素)的标签是固定标签，保持“标签1”或“标签2”不变。相比之下，区域S0中包括的被分派“标签0”的像素被第二区域检测单元15重新分派“标签1”或“标签2”。

图8A至图8E示出其中第二区域检测单元15再次检测区域S0内的指定区域的处理。

在图8A至图8E中，从上到下顺序地进行对指定区域的检测。类似于图7B，图8A示出在第二区域检测单元15检测到指定区域之前的标签重新设置图像Gr。图8E示出在第二区域检测单元15检测到指定区域之后获得的最终分割图像Gbe。如图8E中看到的，区域S0被再次分割成“第一指定区域(S1)”和“第二指定区域(S2)”，区域S0消失。图8B至图8D示出从图8A中示出的状态到图8E中示出的状态的处理的进程。

在图8E中示出的状态下，“第一指定区域(S1)”和“第二指定区域(S2)”之间的边界基本上匹配图5C中示出的实际边界，基本上没有出现图5B和图5C中示出的锯齿，从而导致边界变得更平滑。

以上述方式，第二区域检测单元15应用用于取消指定区域的设置的过滤器，使得过滤器以指定区域放大单元14放大的指定区域的边界中的像素为中心，并且再次检测指定区域中的被取消指定区域的设置的像素。

返回参照图2，区域切换单元16在多个指定区域之间进行切换。也就是说，如果存在多个指定区域，则用户选择用户想要对其执行图像调节的指定区域，并且区域切换单元16相应切换指定区域。

图9A和图9B示出当用户选择指定区域时在显示装置20的显示屏21上显示的示例画面。

在图9A和图9B中示出的示例中，在显示屏21的左部中显示其中被选择指定区域的图像G，在显示屏21的右部中显示用于选择“区域1”或“区域2”的单选按钮212a和212b。“区域1”对应于“第一指定区域(S1)”，“区域2”对应于“第二指定区域(S2)”。当用户通过使用输入装置30选择单选按钮212a或212b时，切换指定区域。

在图9A中，选择单选按钮212a并且选择“第一指定区域(S1)”即面部部分的图像区域作为指定区域。当用户选择单选按钮212b时，如图9B中所示，指定区域切换成“第二指定区域(S2)”即非面部部分的图像区域。

实际上，通过用户指令接受单元12获得以上参照图9A和图9B描述的操作的结果作为用户指令信息，通过区域切换单元16切换指定区域。

图像处理单元17实际上对所选择的指定区域执行图像处理。

图10示出当将执行图像处理时显示装置20的显示屏21上显示的示例画面。

这里，举例来说，就色调、饱和度和亮度方面，调节所选择的指定区域。在图示示例中，在显示屏21的左上部分中显示已经被选择指定区域的图像G，在显示屏21的右上部分中显示用于选择“区域1”或“区域2”的单选按钮212a和212b。在图示示例中，选择单选按钮212a并且选择“第一指定区域(S1)”即面部部分的图像区域作为指定区域。操作单选按钮212a和212b，以能够以与图9A和图9B中示出的方式类似的方式在指定区域之间进行切换。

在显示屏21的下部中，还显示滑控条213a和滑动器213b。滑控条213a用于调节“色调”、“饱和度”和“亮度”。各滑动器213b被构造成能按照输入装置30的操作沿着对应的一个滑控条213a左右滑动地移动。滑动器213b在初始状态下位于滑控条213a的中心，并且滑动器213b当位于滑控条213a中心时指示调节“色调”、“饱和度”和“亮度”之前的状态。

当用户使用输入装置30并且将用于“色调”、“饱和度”和“亮度”的滑动器213b中的任一个沿着对应的一个滑控条213a在图10中左右滑动时，对所选择的指定区域执行图像处理，显示屏21上显示的图像G也相应变化。当用户将滑动器213b中的一个在图10中向右滑动时，执行用于增大“色调”、“饱和度”和“亮度”中的对应一个的图像处理。当用户将滑动器213b中的一个在图10中向左滑动时，执行用于减小“色调”、“饱和度”和“亮度”中的对应一个的图像处理。

返回参照图2，图像信息输出单元18输出以上述方式经受图像处理的图像信息。经受图像处理的图像信息被发送到显示装置20。然后，在显示装置20上显示基于图像信息的图像G。注意的是，显示装置20上显示的图像G用于向用户呈现图像处理结果，而通过区域切换单元16和图像处理单元17实际上对正使用的较高分辨率图像G'执行图像处理。可通过例如减小正使用的图像G'的大小，创建关于图像G的图像信息。

对第一区域检测单元和第二区域检测单元的描述

接下来，将更详细地描述第一区域检测单元13和第二区域检测单元15使用区域扩张方法分割指定区域的方法。

首先，将描述相关技术的区域扩张方法。

图11A至图11C示出相关技术的区域扩张方法。

图11A示出由垂直方向上的3个像素和水平方向上的3个像素(即，9个像素(3×3＝9))的区域组成的原始图像。原始图像由两个图像区域构成。在图11A中，使用具有不同颜色强度的像素表现这两个图像区域。假设各图像区域中包括的像素具有彼此接近的像素值。

如图11B中示出的，第二行第一列的像素被分派种子1，第一行第三列的像素被分派种子2。

现在，考虑第二行第二列的像素即图像中心的像素(下文中，被称为“中心像素”)是属于包括被分派种子1的像素的指定区域还是属于包括被分派种子2的像素的指定区域。这里，在中心像素的像素值和中心像素的八个相邻像素中包括的种子像素的像素值之间进行比较。如果这两个像素值彼此接近，则确定中心像素被包括在包括该种子像素的指定区域中。在图示示例中，两个种子像素(即，被分派种子1的像素和被分派种子2的像素)被包括在这八个相邻像素中。由于相比于被分派种子2的像素的像素值，中心像素的像素值更接近被分派种子1的像素的像素值，因此经判断，中心像素属于包括被分派种子1的像素的指定区域。

然后，如图11C中所示，中心像素属于包括被分派种子1的像素的区域。中心像素此时被作为新种子操纵。在这种情况下，种子像素被用“标签1”标记，该标签与被分派种子1的像素的标签相同。

在相关技术的区域扩张方法中，选择与种子像素相邻的像素作为目标像素(在上述示例中，中心像素)，判断其是在对应指定区域中还是不在对应指定区域中，将目标像素的像素值与目标像素的八个相邻像素中包括的种子像素的像素值进行比较。目标像素被认为属于包括像素值接近目标像素的像素值的种子像素的区域，并且被标记。重复地执行上述操作，以扩大该区域。

相关技术的区域扩张方法的典型示例包括以下文章：V.Vezhnevets和V.Konouchine:"Grow-Cut"-Interactive Multi-label N-D Image Segmentation",Proc.Graphicon.pp 150-156(2005)。

在相关技术的区域扩张方法中，如上所述，聚焦于目标像素，将目标像素的像素值与目标像素的八个相邻像素之中的种子像素的像素值进行比较，以确定目标像素所属的指定区域。也就是说，相关技术的区域扩张方法是所谓的“被动型”方法，在该方法中，目标像素在受这八个相邻像素影响时变化。

然而，相关技术的区域扩张方法涉及逐一选择像素作为目标像素并且标记这些像素，从而导致处理速度有可能放缓。另一个问题在于，在例如包括复杂区域的部分中，分割精度有可能减小。

在这个示例性实施方式中，因此，第一区域检测单元13和第二区域检测单元15具有用于解决以上问题的下列构造。由于第一区域检测单元13和第二区域检测单元15具有类似构造，将举例来说描述第一区域检测单元13。

图12是示出根据这个示例性实施方式的第一区域检测单元13的示例功能构造的框图。

如图12中所示，根据这个示例性实施方式的第一区域检测单元13包括像素选择单元131、范围设置单元132、判断单元133、特性改变单元134和收敛判断单元135。

下面，将使用第一示例至第四示例描述图12中示出的第一区域检测单元13。

第一示例(在“主动型”和“同步型”的情况下)

首先，将描述第一区域检测单元13的第一示例。

在第一示例中，第一区域检测单元13选择参考像素。从属于指定区域的像素之中，选择参考像素。术语“属于指定区域的像素”是指例如用户指定的代表位置中包括的像素，也就是说，上述的种子像素。术语“属于指定区域的像素”用于还包括使用区域扩张方法新标记的像素。

这里，像素选择单元131从属于指定区域的像素之中选择一个像素作为参考像素。

图13A示出其中将分割指定区域的原始图像。如图13A中所示，原始图像由垂直方向上的9个像素和水平方向上的7个像素(即，63个像素(9×7＝63))的区域组成。如图13A中所示，原始图像包括图像区域R1和图像区域R2。图像区域R1中包括的像素具有彼此接近的像素值，图像区域R2中包括的像素具有彼此接近的像素值。如以下描述的，分割出图像区域R1和图像区域R2作为指定区域。

为了简化图示，如图13B中所示，用户指定两个代表位置，每个代表位置在图像区域R1和图像区域R2中的一个中。用单个像素指定代表位置中的每个，并且像素选择单元131选择其作为参考像素。在图13B中，用种子1和种子2代表参考像素。

具有种子1和种子2的像素中的每个被标记并且具有以下将详细描述的强度。这里，分别用标签1和标签2标记具有种子1和种子2的像素并且这些像素具有均被设置成初始值1的强度。

范围设置单元132设置第一范围。第一范围被设置用于参考像素，并且覆盖被确定在或不在参考像素所属指定区域中的目标像素(第一目标像素)。

图14示出第一范围。

如图14中所示，分别在图像区域R1和图像区域R2中，选择作为参考像素的具有种子1和种子2的像素。另外，分别以具有种子1和种子2的像素为中心的、垂直方向上的5个像素和水平方向上的5个像素的范围被设置为第一范围。在图14中，第一范围被显示为用粗线框限定的范围。

在这个示例性实施方式中，第一范围是可变的，并且可按照处理的进程减小，以下将对此进行详细描述。

判断单元133是确定单元的示例，并且确定第一范围内的目标像素(第一目标像素)属于哪个指定区域。

判断单元133将包括在第一范围内的25个像素之中的除了具有种子1或种子2的像素之外的24个像素中的每个设置为要被判断在或不在对应指定区域中的目标像素(第一目标像素)。然后，判断单元133判断目标像素中的每个是被包括在具有种子1的像素所属的指定区域(第一指定区域)还是被包括在具有种子2的像素所属的指定区域(第二指定区域)。

在这种情况下，可基于像素值的接近程度进行判断。

具体地，为了方便起见，第一范围内包括的24个像素被分派编号，并且假设用P_i代表第i个(其中，i是1至24的整数)目标像素，如果颜色数据是RGB数据，则可用P_i＝(R_i,G_i,B_i)代表像素P_i的颜色数据。另外，假设用P₀代表具有种子1或种子2的参考像素，可用P₀＝(R₀,G₀,B₀)代表参考像素P₀的颜色数据。为了测量像素值的接近程度，考虑用以下等式给出的RGB值之间的欧氏距离d_i。

$d_i=\sqrt{{(R_i-R_o)}^2+{(G_i-G_o)}^2+{(B_i-B_o)}^2}---\left(1\right)$

如果欧氏距离d_i小于或等于预定阈值，则判断单元133判断目标像素属于第一指定区域或第二指定区域。也就是说，如果欧氏距离d_i小于或等于预定阈值，则认为参考像素P₀的像素值和目标像素P_i的像素值彼此接近。在这种情况下，判断单元133确定参考像素P₀和目标像素P_i属于同一指定区域。

在一些情况下，具有种子1和种子2的像素二者的欧氏距离d_i可小于或等于阈值。在这些情况下，判断单元133确定目标像素属于具有种子1和种子2的像素中的欧氏距离d_i较小的那个所属的指定区域。

图15示出基于图14中示出的第一范围内的目标像素的欧氏距离d_i进行判断的结果。

在图15中，判断颜色与具有种子1的像素的颜色相同的黑色像素属于指定区域1，判断具有与具有种子2的像素的(对角线)阴影相同的(对角线)阴影的像素属于指定区域2。判断白色像素并不属于指定区域1和2中的任一个。

以上述方式操作判断单元133提供了允许自动扩展给定种子的效果。在这个示例性实施方式中，例如，判断单元133可仅对于首次执行上述操作。另选地，判断单元133可对于最初几次执行上述操作。在这种情况下，对于后续次数，判断单元133可使用上述“强度”进行判断。注意的是，判断单元133可从首次使用下述“强度”进行判断。

在上述示例中，在颜色数据是RGB数据的背景下进行描述。这不旨在是限制，可使用任何其它颜色空间中的颜色数据(诸如，L*a*b*数据、YCbCr数据、HSV数据或图像处理工具箱(IPT)数据)。并非可使用所有颜色分量。例如，当使用HSV数据作为颜色数据时，可只使用H值和S值。

在一些情况下，可使用任何其它颜色空间中的颜色数据来应对指定区域的分割失败。例如，考虑使用在以下等式(2)中给出的利用YCbCr值的欧氏距离d_i^w，而非等式(1)给出的RGB值的欧氏距离d_i。当用P_i＝(Y_i、Cb_i、Cr_i)代表目标像素的颜色数据并且用P₀＝(Y₀、Cb₀、Cr₀)代表参考像素的颜色数据时，等式(2)提供欧氏距离d_i^w。另外，等式(2)给出的欧氏距离d_i^w是使用加权因子W_Y、W_Cb、W_Cr的加权欧氏距离。当例如指定区域之间的亮度差大而色度差小时，等式(2)生效。也就是说，加权因子W_Y减小，使亮度分量Y对欧氏距离d_i^w的贡献减小。这导致色度分量对欧氏距离d_i^w的贡献相对增大。结果，其间的亮度差大而色度差小的指定区域的分割精度可提高。

$d_i^w=\sqrt{w_Y{(Y_i-Y_o)}^2+w_{Cb}{({\mathrm{Cb}}_i-{\mathrm{Cb}}_o)}^2+w_{Cr}{({\mathrm{Cr}}_i-{\mathrm{Cr}}_o)}^2}---\left(2\right)$

待使用的颜色数据不限于具有三个分量的颜色数据。例如，可使用n维颜色空间并且可考虑n个颜色分量的欧氏距离d_i^w。

例如，等式(3)使用颜色分量X₁、X₂、…、和X_n。当用P_i＝(X_1i、X_2i、…、X_ni)代表目标像素的颜色数据并且用P₀＝(X₁₀、X₂₀、…、X_n0)代表参考像素的颜色数据时，等式(3)提供欧氏距离d_i^w。等式(3)给出的欧氏距离d_i^w也是使用加权因子W_X1、X_X2、…、和X_Xn的加权欧式距离。在这种情况下，使这n个颜色分量之中的很好地表现出指定区域的特性的颜色分量的加权因子相对大于其它加权因子，从而使指定区域的分割精度提高。

$d_i^w=\sqrt{w_{X1}{(X_{1i}-X_{1o})}^2+w_{X2}{(X_{2i}-X_{2o})}^2+\mathrm{...}+w_{Xn}{(X_{ni}-X_{no})}^2}---\left(3\right)$

特性改变单元134在第一范围内改变赋予目标像素(第一目标像素)的特征。

如本文中使用的术语“特征”是指赋予目标像素的标签和强度。

如上所述，标签指示目标像素属于哪个指定区域，属于指定区域1的像素被分派“标签1”，而属于指定区域2的像素被分派“标签2”。由于具有种子1的像素具有标签1并且具有种子2的像素具有标签2，因此用标签1标记被判断单元133确定属于指定区域1的像素(在图15中，黑色像素)。用标签2标记被判断单元133确定属于指定区域2的像素(在图15中，具有(对角线)阴影的像素)。

强度是属于与被分派的标签对应的指定区域的像素的强度，并且指示某个像素会有多大可能属于与被分派的标签对应的指定区域。强度越高，像素会属于对应于标签的指定区域的可能性越大。强度越低，像素会属于对应于标签的指定区域的可能性越小。按以下方式确定强度。

首先，用户首次指定的代表位置处包括的像素的强度被设置为1作为初始值。也就是说，区域扩张之前的具有种子1或种子2的像素具有强度1。未标记的像素具有强度0。

现在，考虑给定强度的像素对相邻像素的影响程度。

图16A和图16B示出用于确定影响程度的方法。在图16A和图16B中，水平轴代表欧氏距离d_i并且垂直轴代表影响程度。

欧氏距离d_i是给定强度的像素的像素值与该像素的相邻像素的像素值之间的欧氏距离d_i。例如，如图16A中所示，定义非线性单调递减函数，通过单调递减函数相对于欧氏距离d_i确定的值被定义为影响程度。

也就是说，欧氏距离d_i越小，影响程度越高，而欧氏距离d_i越大，影响程度越低。

单调递减函数不限于图16A中示出的单调递减函数，可使用任何形状的单调递减函数。因此，可使用图16B中示出的线性单调递减函数。另选地，可使用具有欧氏距离d_i的特定范围内的线性分区和其它范围内的非线性分区的分段线性单调递减函数。

通过将参考像素的强度乘以影响程度，得到被判断属于指定区域的像素的强度。例如，参考像素具有强度1并且参考像素对与参考像素左边相邻的目标像素的影响程度是0.9。在这种情况下，当判断目标像素属于对应的指定区域时，用1×0.9＝0.9给出被赋予目标像素的强度。例如，参考像素具有强度1并且参考像素对与参考像素左边相邻两个像素的目标像素的影响程度是0.8。在这种情况下，当判断目标像素属于对应的指定区域时，用1×0.8＝0.8给出被赋予目标像素的强度。

使用上述的计算方法，判断单元133可使用被赋予第一范围内的目标像素(第一目标像素)的强度进行判断。如果目标像素没有标签，则判断单元133判断目标像素被包括在参考像素所属的指定区域中。如果目标像素具有针对不同指定区域的标签，则判断单元133判断目标像素被包括在具有较高强度的参考像素所属的指定区域中。在前一种情况下，分派与参考像素的标签相同的标签。在后一种情况下，分派与具有特性之中的较高强度的参考像素的标签相同的标签。在这种方法中，像素一旦被标记某个标签，可具有变成其它标签的标签。

例如，已用某个标签标记目标像素(第一目标像素)。如果被分派不同标签的参考像素具有强度u_i和影响程度w_ij，则用u_j＝w_iju_i给出施加到目标像素(第一目标像素)上的强度u_j。然后，将目标像素(第一目标像素)的当前强度与强度u_j进行比较。如果强度u_j高于目标像素(第一目标像素)的强度，则目标像素(第一目标像素)具有变成不同标签的标签。如果强度u_j等于或低于目标像素(第一目标像素)的强度，则目标像素(第一目标像素)不具有变成不同标签的标签，使得当前标签得以保持。

图17示出使用基于图14中示出的第一范围内的目标像素的强度的方法进行判断的结果。

在图14中，具有种子1和种子2的像素的第一范围部分重叠。第一范围没有重叠的部分中(也就是说，具有种子1和种子2的像素没有彼此干扰的部分中)的未标记像素都被标记与具有种子1和种子2的像素中用作参考像素的对应一个相同的标签。另一方面，具有种子1和种子2的像素的第一范围重叠的部分中(也就是说，具有种子1和种子2的像素彼此干扰的部分中)的像素均被标记标签中具有较高强度的标签。结果，得到图17中示出的带标签像素。

图18A至图18H示出基于强度使用区域扩张方法标记像素的进程的示例。

图18A示出在这种情况下设置的第一范围。也就是说，选择具有种子1和种子2的像素，它们分别是图像区域R1和图像区域R2中的参考像素。另外，以具有种子1和种子2的像素为中心的垂直方向上的3个像素和水平方向上的3个像素的范围被设置为第一范围。在图18A中，用粗线框显示第一范围。

图18B示出具有种子1和种子2的像素的第一范围内的目标像素的判断结果。由于具有种子1和种子2的像素的第一范围没有重叠，因此各第一范围内的目标像素都被标记与对应参考像素(即，具有种子1或种子2的像素)的标签相同的标签。

图18C示出通过进一步区域扩张进行更新的结果。如图17中所示，具有种子1和种子2的像素的第一范围没有重叠的部分中的像素都被标记与具有种子1和种子2的像素中用作参考像素的对应一个的标签相同的标签。另外，具有种子1和种子2的像素的第一范围重叠的部分中的像素均被标记标签中具有较高强度的标签。

另外，甚至已被标记某个标签的目标像素也被标记具有目标像素的当前强度和参考像素施加的强度中的较高那个的标签。另外，为目标像素赋予较高强度。也就是说，目标像素的标签和强度改变。

带标签的目标像素此时被选择作为新的参考像素，并且以图18D至图18H中示出的方式顺序更新区域。最终，如图18H中所示，分割了第一指定区域和第二指定区域。

在上述示例中，在颜色数据是RGB数据的背景下进行描述。这不旨在是限制，可使用任何其它颜色空间中的颜色数据(诸如，L*a*b*数据、YCbCr数据、或HSV数据)。并非可使用所有颜色分量。例如，当使用HSV数据作为颜色数据时，可只使用H值和S值。

以上述方式，如果判断目标像素属于指定区域，则特性改变单元134改变目标像素的标签和强度。

实际上，关于标签、强度和影响程度的信息作为各像素的信息被存储在下述的主存储器92(参见图47)等中。在必要时从主存储器92读取该信息，并且当标签、强度和/或影响程度改变时更新该信息。这样可提高第一区域检测单元13的处理速度。

重复地执行上述像素选择单元131、范围设置单元132、判断单元133和特性改变单元134的处理，直到实现收敛。也就是说，如参照图15描述的，选择被新判断属于指定区域1或指定区域2的像素作为新的参考像素，并且进一步判断第一范围内的另一个目标像素属于指定区域1还是指定区域2。重复地执行这个处理以进行区域更新操作，从而使得经受特性改变(诸如，标记)的区域能够顺序地扩大。因此，分割指定区域1和指定区域2。在这种方法(区域扩张方法)中，标记有某个标签的像素也可具有变成不同标签的标签。

收敛判断单元135判断上述处理序列是否收敛。

收敛判断单元135在例如不再存在其标签将改变的像素时判断一系列处理发生收敛。另选地，预先可确定最大更新次数，收敛判断单元135可在达到最大更新次数时判断一系列处理发生收敛。

在上述的第一示例中的区域扩张方法中，将被判断在或不在指定区域中的目标像素属于第一范围并且是与用作参考像素的具有种子1或种子2的像素不同的像素。然后，将目标像素的像素值与参考像素的像素值进行比较，确定目标像素所属的指定区域。也就是说，第一示例中的区域扩张方法是所谓的“主动型”方法，在该方法中，目标像素在受参考像素影响时改变。

在这种区域扩张方法中，此外，暂时存储就在区域扩张之前的整个图像的标签和强度。判断单元133判断使用从各指定区域内选择的参考像素设置的第一范围内的目标像素属于哪个指定区域，并且执行区域扩张。在进行判断之后，特性改变单元134改变存储的标签和强度。改变后的标签和强度被作为就在进一步区域扩张之前的整个图像的标签和强度存储，并且执行进一步的区域扩张。在这种情况下，整个图像的标签和强度一起改变。也就是说，第一示例中的区域扩张方法是所谓的“同步型”区域扩张方法。

在这种区域扩张方法中，此外，可固定或改变第一范围。第一范围可改变，以按照更新次数而减小。具体地，例如，初始地将第一范围设置得大，之后，如果更新次数大于或等于某个指定值，则减小第一范围。可设置多个指定值并且可逐步减小第一范围。也就是说，在初始阶段中将第一范围设置得大可导致处理速度增加。此后，当更新进行到一定程度时将第一范围设置得小会导致指定区域的分离精度进一步提高。也就是说，同时能实现处理速度的提高和指定区域分割精度的提高。

第二示例(在“主动型”和“异步型”的情况下)

接下来，将描述第一区域检测单元13的第二示例。

图19A至图19H示出在第二示例中使用区域扩张方法标记像素的进程的示例。

类似于图18A，图19A示出在这种情况下设置的第一范围。

在这个示例性实施方式中，如图19B中所示，首先，判断单元133从设置在第二行第二列的具有种子2的像素开始，判断第一范围内的目标像素属于哪个指定区域。然后，如图19C和图19D中所示，判断单元133在将参考像素在图19C和图19D中向右移位一个像素的同时判断第一范围内的目标像素属于哪个指定区域。这个判断可基于例如如上所述的使用等式(1)至(3)的像素值的接近程度。另外，如图18A至图18H中一样，这个判断可使用基于强度的方法。

在将直至图19C和图19D中的右端的各像素作为目标像素进行判断之后，判断单元133将参考像素移位至第三行，并且在以类似方式将参考像素在图19C和图19D中向右移位一个像素的同时判断第一范围内的目标像素属于哪个指定区域。在将直至图19C和图19D中的右端的各像素作为目标像素进行判断之后，判断单元133进一步将参考像素移位至下一行。以与图19E至图19G示出的方式重复地执行这个操作，并且执行该操作，直到参考像素移向图19E至图19G中的右下端。换句话讲，判断单元133可在移位参考像素的同时进行判断，以逐个像素地扫描图像。

在已经到达右下端并且参考像素变得不再能移动之后，判断单元133在与上述方向相反的方向上移位参考像素，并且执行类似处理，直到参考像素移向左上端。因此，实现参考像素的单次往复移动。随后重复参考像素的这个往复移动，直到实现收敛。

换句话讲，如图20A和图20B中所示，通过颠倒行列的次序，执行类似处理。另外，当达到末端位置(在这种情况下，右下端或左上端)时，参考像素进一步移位，使得在反向方向上扫描图像。

在图示的示例中，在单个起始点的背景下进行描述。可设置并且单独移位多个起始点。另外，可选择图像中的任何像素作为起始点。

最终，如图19H中所示，分割了第一指定区域和第二指定区域。

这种区域扩张方法可提供比参考图18A至图18H描述的方法更高的收敛速度和更高的处理速度。当达到末端位置时，参考像素进一步移位，使得在反向方向上扫描图像，从而允许不太可能出现收敛慢的部分，导致收敛速度提高。

在第二示例中，除了判断单元133外的组件(即，像素选择单元131、范围设置单元132、特性改变单元134和收敛判断单元135)的操作类似于第一示例中的操作。另外，第一范围可固定或改变。第一范围可改变，按照更新次数而减小。

在这种区域扩张方法中，每当所选择的参考像素移位一个像素时，判断单元133判断第一范围内的目标像素属于哪个指定区域，并且执行区域扩张。也就是说，以预定次序选择单个参考像素，并且目标像素(第一目标像素)经受一次针对所选择的参考像素的判断。重复这个判断。在进行判断之后，特性改变单元134改变存储的标签和强度。在这种情况下，整个图像的标签和强度没有一起改变，只有每当参考像素移位一个像素时确定的第一范围内的目标像素(第一目标像素)将经受标签和强度改变。因此，第二示例中的区域扩张方法是所谓的“异步型”区域扩张方法。

接下来，将描述第一示例和第二示例中的第一区域检测单元13的操作。

图21是示出第一示例和第二示例中的第一区域检测单元13的操作的流程图。

下面，将参照图12和图21描述第一区域检测单元13的操作。

首先，像素选择单元131选择要从属于指定区域的像素之中选择的参考像素(步骤S101)。在图13B中示出的示例中，像素选择单元131选择具有种子1和种子2的像素作为参考像素。

然后，范围设置单元132针对要被确定在或不在对应于参考像素的指定区域中的目标像素(第一目标像素)设置第一范围(步骤S102)。在图13B中示出的示例中，范围设置单元132将以具有种子1和种子2的像素为中心的垂直方向上的5个像素和水平方向上的5个像素的范围设置为第一范围。

然后，判断单元133判断第一范围内的目标像素属于哪个指定区域(步骤S103)。在这种情况下，判断单元133判断目标像素属于指定区域彼此干扰的部分中具有较高强度的指定区域。另选地，判断单元133可使用像素值的欧氏距离d_i进行上述判断，并且可扩大指定区域。

另外，特性改变单元134改变被判断单元133判断属于任一个指定区域的目标像素的特性(步骤S104)。具体地，特性改变单元134标记此目标像素，并且还向目标像素赋予强度。

然后，收敛判断单元135判断这系列处理是否收敛(步骤S105)。当如上所述不再有像素的标签改变或者达到预定最大更新次数时，收敛判断单元135会判断一系列处理收敛。

如果收敛判断单元135判断一系列处理收敛(步骤S105中的“是”)，则指定区域分割处理结束。

另一方面，如果收敛判断单元135判断一系列处理没有收敛(步骤S105中的“否”)，处理返回到步骤S101。在这种情况下，像素选择单元131选择的参考像素改变。

第三示例(在“被动型”和“同步型”的情况下)

接下来，将描述第一区域检测单元13的第三示例。

在第三示例中，像素选择单元131选择要被判断在或不在指定区域中的一个目标像素。范围设置单元132改变第二范围。第二范围是针对所选择的目标像素(第二目标像素)设置的，并且是包括用于判断所选择的目标像素被包括在哪个指定区域的参考像素的范围。

图22示出通过像素选择单元131选择的目标像素和通过范围设置单元132设置的第二范围。

在图22中，以与图13B中示出的方式类似的方式，将参考像素设置为图13A中示出的原始图像中的种子1和种子2。选择用T1指代的一个像素作为目标像素(第二目标像素)。另外，以目标像素T1为中心的垂直方向上的5个像素和水平方向上的5个像素的范围被设置为第二范围。在图22中，用粗线框显示第二范围。

判断单元133判断目标像素T属于哪个指定区域。判断单元133判断目标像素T1是属于具有种子1的像素所属的指定区域(第一指定区域)还是属于具有种子2的像素所属的指定区域(第二指定区域)。

例如，判断单元133判断目标像素T1的像素值更靠近包括在第二范围内的用作参考像素的具有种子1和种子2的像素的像素值中的哪个，从而判断目标像素T1是属于第一指定区域还是属于第二指定区域。也就是说，判断单元133按照目标像素T1的像素值与参考像素中的每个的像素值的接近程度来判断目标像素T1。

另选地，判断单元133可使用基于强度的方法来进行上述判断。在这种情况下，判断单元133按照包括在第二范围内的参考像素的强度，判断目标像素T1(第二目标像素)属于哪个指定区域。

图23示出根据这个示例性实施方式的判断的结果。

在图23中，相比于具有种子1的像素的像素值，目标像素T1的像素值更接近具有种子2的像素的像素值，因此，判断目标像素T1属于第二指定区域。

特性改变单元134和收敛判断单元135的操作与第一示例中的操作类似。

另外，在这个示例性实施方式中，重复地执行像素选择单元131、范围设置单元132、判断单元133和特性改变单元134的处理，直到实现收敛。重复地执行这个处理以进行区域更新操作，从而使得经受特性改变(诸如，标记)的区域能够顺序地扩大。因此，分割指定区域1和指定区域2。第二范围是可变的并且可按照更新次数顺序地减小。

具体地，初始地将第二范围设置得大，之后，如果更新次数大于或等于某个指定值，则减小第二范围。可设置多个指定值并且可逐步减小第二范围。也就是说，在初始阶段中将第二范围设置得大，使得参考像素更有可能存在于第二范围内，从而导致更有效率的判断。另外，当更新进行到一定程度时将第二范围设置得小会导致指定区域的分离精度提高。

根据这个示例性实施方式的区域扩张方法聚焦于目标像素T1，将目标像素T1的像素值与第二范围内的参考像素(具有种子1或种子2的像素)的像素值进行比较，以确定目标像素T1所属的指定区域。也就是说，第三示例中的区域扩张方法是所谓的“被动型”方法，在该方法中，目标像素T1在受第二范围内的参考像素影响时改变。

另外，在被动型方法中，用特定标签标记的像素可具有变成不同标签的标签。

这种方法与参照图11A至图11C描述的相关技术的区域扩张方法类似。在相关技术的区域扩张方法中，目标像素T1受与目标像素T1相邻的八个固定相邻像素影响。相比之下，第三示例中的区域扩张方法的特征在于，第二范围是可变的。第二范围的大小增大可使得能够进行更有效率的判断，如上所述。另一方面，八个固定相邻像素将不太可能包括参考像素，从而降低判断效率。

在这种区域扩张方法中，此外，暂时存储就在区域扩张之前的整个图像的标签和强度。判断单元133判断所选择的目标像素T1属于哪个指定区域，并且执行区域扩张。在进行判断之后，特性改变单元134改变存储的标签和强度。改变后的标签和强度被作为就在进一步区域扩张之前的整个图像的标签和强度存储，并且执行进一步的区域扩张。也就是说，第三示例中的区域扩张方法是所谓的“同步型”。

另外，减小第二范围的大小会进一步提高指定区域的分离精度。在这个示例性实施方式中，因此，第二范围改变，以按照更新次数减小。

第四示例(在“被动型”和“异步型”的情况下)

上述的区域扩张方法是与第一示例中的“同步型”类似的“同步型”。另选地，可使用与第二示例中的“异步型”的区域扩张方法类似的“异步型”的区域扩张方法。下面，将描述“被动型”和“异步型”的区域扩张方法作为第四示例。

图24A至图24H示出使用第四示例中的区域扩张方法标记像素的进程的示例。

在图24A中，与参照图18A和图19A描述的内容类似地，在图13A中示出的原始图像中设置图13B中示出的用作参考像素的具有种子1和种子2的像素。

图24B示出在这种情况下设置的第二范围。在这个示例性实施方式中，如图24B中所示，判断单元133使用第一行第一列的像素作为起始点进行判断，并且初始地将像素设置为目标像素T1。然后，判断单元133判断目标像素T1属于哪个指定区域。然后，如图24C和图24D中所示，判断单元133在目标像素T1在图24C和图24D中向右移位一个像素的同时，判断目标像素T1属于哪个指定区域。这个判断是基于强度，并且与第一示例至第三示例中的判断类似。

在针对作为目标像素T1的直至图24C和图24D中的右端的各像素进行判断之后，判断单元133将目标像素T1向第二行移位，并且以与上述方式类似的方式，在目标像素T1在图24C和图24D中向右移位一个像素的同时，判断目标像素T1属于哪个指定区域。在针对直至图24C和图24D中的右端的像素进行判断之后，判断单元133进一步将目标像素T1向下一行移位。以与图24E至图24G中示出的方式重复地执行这个操作，并且执行该操作，直到目标像素T移到图24E至图24G中的右下端。

在已经到达右下端并且目标像素T1变得不再能移动之后，判断单元133在与上述方向相反的方向上移位目标像素T1，并且执行类似的处理，直到目标像素T1移到左上端。因此，实现目标像素T1的单次往复移动。随后重复目标像素T1的这个往复移动，直到实现收敛。

在图示的示例中，在单个起始点的背景下进行描述。另选地，如第三示例中描述的，可设置多个起始点并且单独移位这多个点。另外，可选择图像中的任何像素作为起始点。

最终，如图24H中所示，分割第一指定区域和第二指定区域。

这种区域扩张方法还可提供更高的收敛速度并且更高的处理速度。当到达末端位置时，目标像素T1进一步移位，使得在相反方向上扫描图像，从而允许不太可能出现具有慢收敛的部分，导致收敛速度增加。

第二范围可以固定或改变。第二范围可改变，以按照更新次数而减小大小。

在这种区域扩张方法中，此外，每当所选择的目标像素T1移位一个像素时，判断单元133判断目标像素T1属于哪个指定区域，并且执行区域扩张。也就是说，以预定次序选择单个目标像素T1(第二目标像素)，所选择的目标像素T1(第二目标像素)经受一次判断。重复进行这个判断。在进行判断之后，特性改变单元134改变存储的标签和强度。也就是说，每当目标像素T1(第二目标像素)移位一个像素时，只有目标像素T1将经受标签和强度的改变。上述的区域扩张方法是“异步型”。

接下来，将描述第三示例和第四示例中的第一区域检测单元13的操作。

图25是示出第三示例和第四示例中的第一区域检测单元13的操作的流程图。

下面，将参照图12和图25描述第一区域检测单元13的操作。

首先，像素选择单元131选择目标像素(第二目标像素)(步骤S201)。在图22中示出的示例中，像素选择单元131选择目标像素T1。

然后，范围设置单元132设置第二范围，即对针对目标像素T1的判断有影响的像素的影响范围(步骤S202)。在图22中示出的示例中，范围设置单元132将以目标像素T1为中心的垂直方向上的5个像素和水平方向上的5个像素的范围设置为第二范围。

然后，判断单元133判断目标像素T1属于哪个指定区域(步骤S203)。在上述示例中，判断单元133按照目标像素T1的像素值与具有种子1和种子2的像素的像素值中的每个的接近程度并且按照目标像素T1、具有种子1的像素和具有种子2的像素的强度进行判断。

如果判断单元133确定目标像素T1属于指定区域中的任一个，则特性改变单元134改变特性(步骤S204)。具体地，特性改变单元134标记目标像素T1，并且还向目标像素T1赋予强度。

然后，收敛判断单元135判断这系列处理是否收敛(步骤S205)。当如上所述将不再有像素的标签改变或者达到预定最大更新次数时，收敛判断单元135会判断一系列处理收敛。

如果收敛判断单元135判断一系列处理收敛(步骤S205中的“是”)，则指定区域分割处理结束。

另一方面，如果收敛判断单元135判断一系列处理没有收敛(步骤S205中的“否”)，处理返回到步骤S201。在这种情况下，像素选择单元131选择的目标像素(第二目标像素)改变。

第五示例

接下来，将描述第一区域检测单元13的第五示例。

第五示例既采用第一示例和第二示例中描述的“主动型”区域扩张方法又采用第三示例和第四示例中描述的“被动型”区域扩张方法。也就是说，在第五示例中，在更新期间切换“主动型”区域扩张方法和“被动型”区域扩张方法的同时，执行区域扩张。

每当执行更新时，范围设置单元132选择要使用“主动型”区域扩张方法和“被动型”区域扩张方法中的哪个。如果选择“主动型”区域扩张方法，则范围设置单元132设置第一范围。然后，判断单元133判断第一范围内的目标像素属于哪个指定区域。如果选择“被动型”区域扩张方法，则范围设置单元132设置第二范围。然后，判断单元133判断目标像素属于哪个指定区域。也就是说，判断单元133在设置第一范围和设置第二范围之间进行至少一次切换的同时进行判断。

切换方法不限于任何特定的切换方法。例如，可交替地使用“主动型”和“被动型”区域扩张方法。另选地，可初始地使用“主动型”区域扩张方法达对应于预定更新次数的次数，然后可使用“被动型”区域扩张方法，直到该处理结束。相反地，可初始地使用“被动型”区域扩张方法达对应于预定更新次数的次数，然后可使用“主动型”区域扩张方法，直到该处理结束。可使用第一示例或第二示例中的“主动型”区域扩张方法。

因此，既采用“主动型”又采用“被动型”的区域扩张方法也使得能够分割指定区域1和指定区域2。

在这个示例性实施方式中，要设置的第一范围或第二范围可以是固定的或可变的。第一范围和第二范围可按照更新次数顺序地减小。另外，可使用第一示例中的“同步型”和第二示例中的“异步型”中的任一个。

接下来，将描述第五示例中的第一区域检测单元13的操作。

图26是示出第五示例中的第一区域检测单元13的操作的流程图。

下面，将参照图12和图26描述第一区域检测单元13的操作。

首先，像素选择单元131选择要使用“主动型”和“被动型”中的哪个(步骤S301)。

如果像素选择单元131选择“主动型”(步骤S302中的“是”)，则像素选择单元131选择要从属于指定区域的像素之中选择的参考像素(步骤S303)。

然后，范围设置单元132针对要被确定在或不在对应于参考像素的指定区域中的目标像素(第一目标像素)设置第一范围(步骤S304)。

然后，判断单元133判断第一范围内的目标像素属于哪个指定区域(步骤S305).

另一方面，如果像素选择单元131选择“被动型”(步骤S302中的“否”)，则像素选择单元131选择目标像素T1(第二目标像素)(步骤S306)。

然后，范围设置单元132设置第二范围，即对针对目标像素T1的判断有影响的像素的影响范围(步骤S307)。

然后，判断单元133确定目标像素T1属于哪个指定区域(步骤S308)。

然后，特性改变单元134改变第一范围内的目标像素或被判断单元133判断属于指定区域中的任一个的目标像素T1的特性(步骤S309)。

然后，收敛判断单元135判断这一系列处理是否收敛(步骤S310)。

如果收敛判断单元135判断一系列处理收敛(步骤S310中的“是”)，则指定区域分割处理结束。

另一方面，如果收敛判断单元135判断一系列处理没有收敛(步骤S310中的“否”)，则处理返回到步骤S301。在这种情况下，通过像素选择单元131选择的参考像素或目标像素(第二目标像素)改变。

以上详细描述的第一区域检测单元13的构造可使得，相比于使用相关技术的方法，使用区域扩张方法能够更快速分割指定区域。

如果通过图像信息获得单元11获得的图像的可视性低，则可预先执行视网膜皮层处理等以增强可视性。

假设用I(x,y)代表图像上的像素位置(x,y)处的像素的像素值(亮度值)并且用I'(x,y)代表可视性增强的图像上的对应像素的像素值，视网膜皮层处理可如下地能够增强可视性：

I'(x,y)＝αR(x,y)+(1-α)I(x,y)

其中，α是强调反射率的参数并且R(x,y)指代估计的反射率分量。在视网膜皮层模型中，反射率分量的强调可使得可视性能够增强。在这个示例性实施方式中，可使用用到视网膜皮层模型的任何现有方法来计算估计的反射率分量R(x,y)。在给定0≤α≤1的情况下，当α＝0时，代表原始图像，当α＝1时，代表反射率图像(具有最大可视性)。参数α可由用户进行调节，或者可与按照图像暗度的值关联。

图27A和图27B是示出用于增强原始图像可视性的视网膜皮层处理的概念图。

图27A示出原始图像，图27B示出经受视网膜皮层处理的图像。以此方式，可视性的增强可进一步提高指定区域的分割精度。

第二示例性实施方式

接下来，将描述根据第二示例性实施方式的图像处理设备10。

对图像处理设备的描述

图28是示出根据第二示例性实施方式的图像处理设备10的示例功能构造的框图。

如图28中所示，根据这个示例性实施方式的图像处理设备10包括图像信息获得单元11、用户指令接受单元12、图像大小改变单元19、第一区域检测单元13、指定区域放大单元14、第二区域检测单元15、区域切换单元16、图像处理单元17和图像信息输出单元18。也就是说，根据这个示例性实施方式的图像处理设备10具有图2中示出的根据第一示例性实施方式的图像处理设备10还包括图像大小改变单元19的构造。

例如，在如图3A和图3B中所示使用曲线输入指定区域中的种子的情况下，存在供用户编辑的最佳大小。另一方面，可能期望的是，用于编辑的大小不同于用于指定区域分割的大小，因为第一区域检测单元13执行分割指定区域的处理时的大小可取决于图像处理设备10的处理能力等。还存在第二区域检测单元15最终分割指定区域时正使用的图像G'的大小。也就是说，存在三个大小的图像。

图29A至图29C示出这个示例性实施方式中使用的三个大小的图像。

图29A示出显示装置20上显示的编辑图像，用户通过显示装置20在指定区域中输入种子。用图像G代表编辑图像。图像G与第一示例性实施方式中的图像G相同。图像G包括参照图3A和图3B描述的“种子1”和“种子2”。

图29B示出第一区域检测单元13在其中执行分割指定区域的处理的图像。用图像G”代表该图像。如图29B中所示，图像G”具有比图像G小的大小和低的分辨率。这样可提高通过第一区域检测单元13分割指定区域的处理速度。

图29C示出第二区域检测单元15最终在其上分割指定区域的正使用的图像G'。正使用的图像G'与第一示例性实施方式中的正使用的图像G'相同。如第一示例性实施方式中一样，正使用的图像G'具有比图像G大的大小和高的分辨率。

在这个示例性实施方式中，通过减小图像G的大小来创建图像G”。在这种情况下，用户给出的种子的大小也减小。在这个示例性实施方式中，通过图像大小改变单元19执行这个处理。图像大小改变单元19改变用户用来指明指定区域的图像G的图像大小，并且还按照其图像大小改变的图像G的大小来改变种子。注意的是，仅仅图像G的大小的减小可造成关于种子的位置信息有损。也就是说，期望的是，关于给定种子的位置信息以及关于图像G的位置信息得以保持。下面，将描述图像大小改变大小19执行的处理。

首先，图像大小改变单元19将图29A中示出的编辑图像分解成图像G和位置信息图像Gp。位置信息图像Gp是指示种子的图像。

图30A至图30C示出将图29A中示出的编辑图像分解成图像G和位置信息图像Gp。

图30A示出图29A中示出的编辑图像，编辑图像被分解成图30B中示出的图像G和图30C中示出的位置信息图像Gp。

然后，图像G和位置信息图像Gp的大小减小。重点放在位置信息图像Gp的大小减小。位置信息图像Gp由线段构成，种子可根据大小减小方法而不见。在这个示例性实施方式中，为了解决这个问题，位置信息图像Gp经受最近邻映射。当用(i,j)代表位置信息图像Gp上的各像素的位置时，可使用以下的等式(4)执行映射，用(y,x)代表像素映射之后的各像素的位置，用r代表大小改变速率，用P代表大小改变之前的各像素的像素值，用p代表大小改变之后的各像素的像素值。在图31中示出描绘根据等式(4)的最近邻映射的图像。

p(y,x)＝P(i/r,j/r) (4)

由于(y,x)指示像素的位置，因此通过例如向着最近的整数进行四舍五入，将(y,x)的值均转换成整数。每个种子指示标志(ON或OFF)。因此，例如，如果用红色显示具有种子1的像素，则像素用(R,G,B)＝(255,0,0)来代表，因此被视为在具有标签1的区域中。如果用蓝色显示具有种子2的像素，则像素用(R,G,B)＝(0,0,255)来代表，因此被视为在具有标签2的区域中。使用等式(4)的映射是在没有插值的情况下进行直接映射，从而导致图像大小快速减小，而作为标志(ON或OFF)的种子的性质没有受损。然而，由于通过向着最近整数进行四舍五入来确定种子位置，因此位置的精度会降低。

为了进一步提高种子位置的精度，可使用诸如线性插值的最近邻插值处理。在使用线性插值的插值处理中，通过以下的等式(5)确定转换之后获得的像素值中的每个。在图32中示出描绘使用根据等式(5)的线性插值的插值处理的图像。

p(y,x)＝(1-t)((1-s)P(i,j)+s P(i+1,j))+t((1-s)P(i,j+1)+s P(i+1,j+1))(5)

使用线性插值的插值处理与最近邻映射的不同之处在于，在不进行四舍五入的情况下使用相邻像素的像素值为目标像素的像素值赋予权重。

图33A和图33B示出代表种子的曲线的一部分的线性插值。图33A示出线性插值之前的图像，图33B示出线性插值之后的图像。

使用线性插值的插值处理可保持种子位置的精度。在这种情况下，除了种子像素外的像素的像素值被视为是通过(R,G,B)＝(0,0,0)给出的。例如，针对种子1，在插值处理之后，用(R,G,B)＝(0<R≤255,0,0)给出种子像素的像素值，而在插值处理之前，用(R,G,B)＝(255,0,0)给出种子像素的像素值。在图33A和图33B中，用黑色显示用(R,G,B)＝(0,0,0)给出其像素值的像素，用白色显示用(R,G,B)＝(255,0,0)给出其像素值的像素，用(对角线)阴影显示用(R,G,B)＝(0<R<255,0,0)给出其像素值的像素。

用(R,G,B)＝(0<R<255,0,0)给出其像素值的像素经受阈值处理，以被分割成种子像素和非种子像素。在这个示例性实施方式中，设置阈值θ，并且执行处理，使得例如如果R>θ则将R设置成等于255(R＝255)，否则，将R设置成等于零(R＝0)。可将阈值θ设置成例如128的值。

图34A和图34B示出阈值处理之前的图像和阈值处理之后的图像。类似于图33B，图34A示出阈值处理之前的图像。图34B示出阈值处理之后的图像。因此，如图34B中所示，位置信息图像Gp即代表种子的图像的大小可精确地减小。

另选地，用(R,G,B)＝(0<R<255,0,0)给出其像素值的像素可被分割成固定种子和可变种子。如本文中使用的，术语“固定种子”是指在分割指定区域期间其标签没有改变的像素，术语“可变种子”是指在分割指定区域期间其标签可改变的像素。可变种子就标签改变而言与未标记像素相同，但不同于未标记像素，可变种子是具有标签和标签强度的初始值的点。

例如，如图35中一样，图34A中示出的像素中的每个被处理，以被分割成固定种子(如果R>θ)或可变种子(如果0<R≤θ)。值θ可被设置成例如128的值。

虽然在一种种子类型的背景下提供了以上描述，但可按类似方式使用两种或更多种类型的种子。

然后，如图36中所示，组合图像G”(即图像G的大小减小版本)和大小减小位置信息图像Gps。然后，第一区域检测单元13分割指定区域。也就是说，第一区域检测单元13基于改变后的种子，检测指定区域。

如上所述，在第二示例性实施方式中，图像大小改变单元19具有以下特征：将大小适于供用户编辑的编辑图像分解成待编辑图像G和指示种子位置的位置信息图像Gp，并且将图像G和位置信息图像Gp的大小减小成适于图像处理的大小。换句话讲，图像大小改变单元19将用户用来指明指定区域的编辑图像和位置信息相互分开，并且分别改变编辑图像和位置信息。

图28中示出的图像信息获得单元11、用户指令接受单元12、第一区域检测单元13、指定区域放大单元14、第二区域检测单元15、区域切换单元16、图像处理单元17和图像信息输出单元18与第一示例性实施方式中的那些类似。注意的是，第一区域检测单元13使用图像G”即图像G的大小减小版本替代图像G。

第三示例性实施方式

接下来，将描述根据第三示例性实施方式的图像处理设备10。在第三示例性实施方式中，示出图像处理设备10的示例功能构造的框图与图2中示出的框图类似。

在第一示例性实施方式中，使用两个指定区域。在第三示例性实施方式中，使用三个指定区域。

图37示出图3B中示出的图像G中提供三个种子的情况。

在图37中，在头发部分、面部部分和除了头发部分和面部部分外的部分中分别绘制“种子1”、“种子2”和“种子3”。

第一区域检测单元13将“标签1”分派给对应于“种子1”的像素，将“标签2”分派给对应于“种子2”的像素，并且将“标签3”分派给对应于“种子3”的像素，并且使用区域扩张方法执行从图像G内分割指定区域的处理。

图38A至图38C示出使用区域扩张方法在图37中示出的图像G中分割指定区域。

图38A示出其上绘制路径作为种子的图37中示出的图像G。

然后，如图38B中所示，各个区域从被绘制为种子的路径被扩大成指定区域。然后，如图38C中所示，最终分割三个指定区域(即，“第一指定区域(S1)”、“第二指定区域(S2)”和“第三指定区域(S3)”)作为指定区域。

图39A至图39C示出根据这个示例性实施方式的指定区域放大单元14执行的处理，该处理对应于图5A和图5B中示出的根据第一示例性实施方式的处理。

也就是说，指定区域放大单元14放大图39A中示出的分割图像Gb，其中，分割指定区域以产生图39B中示出的放大后的分割图像Gz。

图39C示出根据这个示例性实施方式的第二区域检测单元15执行的处理。

也就是说，第二区域检测单元15重新设置“第一指定区域(S1)”、“第二指定区域(S2)”和“第三指定区域(S3)”的边界部分中的标签以得到区域S0，并且产生标签重新设置后的图像Gr。

图40A和图40B示出根据这个示例性实施方式的第二区域检测单元15在区域S0内再次检测指定区域的处理。

类似于图39C，图40A示出在第二区域检测单元15检测指定区域之前的标签重新设置后的图像Gr。然后，第二区域检测单元15在区域S0内再次检测指定区域。结果，如图40B中所示，再次分割“第一指定区域(S1)”、“第二指定区域(S2)”和“第三指定区域(S3)”，从而导致区域S0消失并且得到最终分割图像Gbe。

后续处理与第一示例性实施方式中的后续处理类似。

相关技术的曲线图切割方法使得能够分割仅仅两个指定区域。相比之下，根据这个示例性实施方式的图像处理设备10使得能够分割三个指定区域。注意的是，根据这个示例性实施方式的图像处理设备10可分割不止三个指定区域。

第四示例性实施方式

接下来，将描述根据第四示例性实施方式的图像处理设备10。在第四示例性实施方式中，示出图像处理设备10的示例功能构造的框图与图2中示出的框图类似。

在第四示例性实施方式中，如果第一区域检测单元13无法分割指定区域，则使用额外种子再次分割指定区域。

图41A至图41E示出将额外种子用于分割指定区域的情况。

类似于图3B，图41A示出其中用户在面部部分中绘制种子1并且在非面部部分中绘制种子2的图像G。

在图41B中，第一区域检测单元13将图像G分割成“第一指定区域(S1)”和“第二指定区域(S2)”。图41B示出第一区域检测单元13无法在被图41B中的虚线圆环绕的区域内分割指定区域的情况。也就是说，应该被分割成“第二指定区域(S2)”的部分已经被分割成“第一指定区域(S1)”。应该被分派“标签1”的此部分已经被分派“标签2”。

在这种情况下，如图41C中所示，用户在这个部分上给出额外种子2，这表明这个部分在“第二指定区域(S2)”中。也就是说，用户给出额外位置信息。通过用户指令接受单元12获得额外位置信息。

响应于给出的额外种子2，第一区域检测单元13重新设置分派给围绕由额外位置信息指示的位置设置的每个像素的“标签1”或“标签2”。也就是说，取消了这个部分中的指定区域的设置。仍然保持剩余部分中的标签；“标签1”或“标签2”被原样保持。

在图41D中，被分派给额外种子2和相邻像素的标签已经被重新设置。在图41D中，用区域S0指示已经被重新设置标签的那部分。换句话讲，区域S0中的像素被分派“标签0”。如图41D中所示，区域S0被设置为例如矩形区域。

后续处理与第一示例性实施方式中的后续处理类似。如图41E中所示，分割“第一指定区域(S1)”和“第二指定区域(S2)”。如图41E中所示，由于使用额外种子2的影响，图像G被精确分割成“第一指定区域(S1)”即面部部分和“第二指定区域(S2)”即非面部部分。

图42A至图42C示出额外种子的校正。

在图42A中，用户绘制额外种子2。额外种子2被绘制成突出到图41B中用虚线圆环绕的区域内的应该是“第一指定区域(S1)”的部分中。

在这种情况下，用户能够校正曾经被绘制的额外种子2。具体地，种子2被局部擦除并且其突出部分被删除。实际上，如图42B中所示，以与当用户绘制种子时的方式类似的方式，用户绘制用于擦除不必要种子部分的路径。通过用户指令接受单元12获得用户用于擦除种子的信息(擦除信息)。这样使得能够选择性擦除额外种子2的至少一部分。图42C示出其中擦除了额外种子2的突出部分的图像。

在后续处理中，第一区域检测单元13按照额外种子2检测指定区域，额外种子2的至少部分已使用擦除信息擦除。也就是说，第一区域检测单元13以图41D和图41E中示出的方式，分割指定区域。

在上述示例中，使用单个额外种子。可使用多个额外种子。

图43示出使用多个额外种子的情况。

在图43中，使用各自用于种子1和种子2中的一个的额外种子。在图43中，用额外种子1和额外种子2代表种子。分别针对额外种子1和额外种子2设置矩形区域S0。可使用用于种子1的多个额外种子并且可使用用于种子2的多个额外种子。

在上述示例中，区域S0中的每个被设置为矩形区域。然而，区域S0不限于这种形状。

图44A和图44B示出用于设置其中给出额外种子的区域S0的方法。

在图44A中，区域S0被设置成具有用于额外种子的矩形形状，这类似于上述情况。在图44B中，区域S0被设置成具有用于额外种子的弯曲形状。弯曲形状具有特定宽度并且环绕额外种子。

另选地，设置的区域S0可包括已给出的种子。在这种情况下，用于之前给出的种子的标签没有被重新设置，而是被原样保持。

图45示出设置的区域S0包括已给出的种子的情况。

在这种情况下，针对额外种子设置的矩形区域S0包括已给出的种子1。由于对应于种子1的部分显然被包括在“第一指定区域(S1)”中，因此用于这个部分的标签被保持为“标签1”。用于矩形区域S0中的剩余部分的标签被重新设置，从而导致获得区域S0。

在第四示例性实施方式中，并非所有图像经受图41D中的指定区域分割。

图46A和图46B示出根据第四示例性实施方式的将经受指定区域分割的图像范围。

图46A示出图41D中示出的状态下的图像，其中已设置了区域S0。如图46B中所示，可能足够的是，比设置的区域S0大预定宽度的矩形区域被设置并且在该矩形区域内分割指定区域。在这种情况下，“第一指定区域(S1)”中的像素可被作为种子1处理并且“第二指定区域(S2)”中的像素可被作为种子2处理。

在上述的第一示例性实施方式至第四示例性实施方式的图像处理设备10中，第一区域检测单元13和第二区域检测单元15二者使用上述的第一示例至第四示例中的区域扩张方法中的任一个来分割指定区域。可能不一定采用这些方法。诸如Grow-Cut(扩张切割)方法的相关技术的区域扩张方法可提供足够的处理速度。注意的是，如上所述，第一示例至第四示例中的方法可确保更快速地分割指定区域。

虽然图像信息获得单元11获得关于两种类型的图像(即，图像G和正使用的图像G')的图像信息，但图像信息获得单元11可获得关于正使用的图像G'的图像信息并且可减小正使用的图像G'的大小以创建图像G。

上述图像处理设备10首先基于低分辨率图像G或图像G”的整体来分割指定区域。由于图像G或图像G”是低分辨率图像，因此可更快速地分割指定区域，即使整个图像G将经受指定区域分割。指定区域被放大，直到图像G的大小与正使用的图像G'的大小匹配，并且在之前检测到的指定区域的边界部分内再次检测指定区域。由于对边界部分选择性执行分割处理，因此相对小的区域将经受分割处理。指定区域的分割没有涉及再次给出种子并且基于从针对其的指定区域设置还没有取消的像素之中选择的参考像素。因此，即使使用正使用的高分辨率图像G'，也可提高指定区域的分割精度并且也可实现处理速度的提高。另外，上述的第一示例至第四示例中的区域扩张方法可提供处理速度的进一步提高。在第四示例性实施方式中，当给出额外种子时，额外种子和额外种子的相邻像素经受上述的处理。另外，在这种情况下，可进一步提高指定区域的分割精度并且可实现处理速度的提高。

上述的图像处理设备10执行的处理可被实现为包括位置信息获得步骤和区域检测步骤的图像处理方法，位置信息获得步骤获得指示图像中的一个或更多个指定区域的代表位置的位置信息，区域检测步骤从位置信息检测一个或更多个指定区域，区域检测步骤包括取消针对图像预定部分内的像素的一个或更多个指定区域的设置，并且基于从还没有被取消一个或更多个指定区域的设置的图像上的像素之中选择的参考像素，针对预定部分内的像素再次检测一个或更多个指定区域。

图像处理设备的示例硬件构造

接下来，将描述图像处理设备10的硬件构造。

图47示出图像处理设备10的硬件构造。

如上所述，能用个人计算机等实现图像处理设备10。如图47中所示，图像处理设备10包括用作算术单元的中央处理单元(CPU)91和均用作存储器的主存储器92和硬盘驱动器(HDD)93。CPU 91执行诸如操作系统(OS)和应用软件的各种程序。主存储器92是存储各种程序和用于执行这些程序的数据等的存储区，HDD 93是存储用于各种程序的输入数据和来自各种程序的输出数据等的存储区。

图像处理设备10还包括用于与外部装置执行通信的通信接口(I/F)94。

对程序的描述

根据上述示例性实施方式的图像处理设备10执行的处理被准备为例如应用软件等的程序。

因此，根据本文中公开的示例性实施方式的图像处理设备10执行的处理可被实现为致使计算机实现位置信息获得功能和区域检测功能的程序，位置信息获得功能用于获得指示图像中的一个或更多个指定区域的代表位置的位置信息，区域检测功能用于从位置信息检测一个或更多个指定区域，区域检测功能取消针对图像预定部分内的像素进行的一个或更多个指定区域设置并且基于从还没有被取消一个或更多个指定区域的设置的图像上的像素之中的参考像素，针对预定部分内的像素再次检测一个或更多个指定区域。

实现本发明中公开的示例性实施方式的程序可通过通信单元来提供，或者可被存储在诸如光盘只读存储器(CD-ROM)的记录介质中并且被提供。

虽然已经描述了示例性实施方式，但本发明的技术范围不限于上述示例性实施方式中描述的范围。根据随附权利要求书，应该清楚，以上示例性实施方式的各种变化形式或修改形式还落入本发明的技术范围内。

以上对本发明的示例性实施方式的描述是出于例证和描述的目的提供的。不旨在是排他性的或者将本发明限于公开的精确形式。显而易见，本领域的熟练技术人员将清楚许多修改形式和变形形式。选择描述这些实施方式是为了最佳地说明本发明的原理及其实践应用，从而使本领域的其他技术人员能够理解本发明的各种实施方式并且当适于预料的特定使用时其具有各种修改形式。本发明的范围旨在由随附权利要求书及其等同物限定。