图像处理设备、方法及程序的制作方法
【技术领域】
[0001] 本技术涉及图像处理设备、方法以及记录在非暂态计算机可读介质上的程序，并 且具体涉及其中实现了如下图形用户界面（GUI)的图像处理设备、方法以及在非暂态计算 机可读介质上记录的程序：在该GUI中易于从图像剪切包括用户所期望的对象的对象图 像。
【背景技术】
[0002] 作为从图像提取对象的技术，实际上已经提出并且实际使用了一种被称为图形切 割法的方法（参考NPL 1)。
[0003] 在图形切割法中，首先，根据前景对象图像和背景图像这两种类型的图像的颜色 分布或像素颜色的梯度来计算构成要剪切的前景对象图像的区域的边界，其中前景对象图 像包括基于用户输入的信息期望剪切的对象。另外，通过沿着所计算的边界剪切图像提取 期望剪切的前景对象图像。
[0004] 引用列表
[0005] 非专利文献
[0006] NPL 1 ：C.Rother? V. Kolmogorov? A.Blake.GrabCut interactive Foreground Extraction Using Iterated Graph Cuts. ACM transactions on Graphics (SIGGRAPH，04)，2004。
【发明内容】
[0007] 技术问题
[0008] 然而，在使用NPL 1中描述的图形切割的方法中，对于不太了解与图像处理有关 的技术的普通用户而言，指定包括期望从图像剪切的对象的区域的操作通常是困难的，并 且无法准确地指定包括该对象的区域。
[0009] 另外，已经假定了指定包括对象的区域的图形用户界面（GUI)在许多情况下使用 通过鼠标进行操作的指示器，相应地，难以在用于笔型或平板计算机等中的触控面板型输 入单元中准确地指定包括对象的区域。
[0010] 作为结果，因为难以在所有情况下准确地指定包括对象的区域，所以存在无法容 易且适当地提取包括对象的前景对象图像的情况。
[0011] 期望提供一种图像处理设备，其中，通过使用直观操作方法使得准确且容易地指 定期望被剪切的对象，可以准确地从输入图像剪切包括对象的前景对象图像。
[0012] 问题的解决方案
[0013] 根据本公开内容的一种实施方式的图像处理设备包括：输入单元，其关于输入图 像输入用于指定与期望剪切的对象的边界的标记线；以及对象图像提取单元，其从输入图 像提取由基于标记线所指定的对象形成的对象图像，其中，输入单元还关于由对象图像提 取单元提取的对象图像输入指定与对象的边界的标记线，并且对象图像提取单元基于关于 由对象图像提取单元提取的对象图像而输入的标记线来从对象图像提取由所指定的对象 形成的对象图像。
[0014] 对象提取单元可以：获得关于与对象图像相对应的对象区域的信息；获得由下述 像素值形成的a mat图像，该像素值表示对象区域的外围部分中除对象区域以外的区域的 像素值的前景分量的混合比；以及提取下述图像作为对象图像，在该图像中，由关于对象区 域的信息指定的像素值乘以基于a mat图像变成前景分量的混合比。
[0015] 输入单元可以包括粗捕捉模式，在粗捕捉模式下，关于输入图像指定对象的边界 的标记线指定整个对象，并且在粗捕捉模式下，对象提取单元在标记线不是闭合曲线时通 过连接尖端部分和结束部分来构成闭合曲线，并且通过将输入图像的闭合曲线的内部设置 为包括对象的前景以及将除了闭合曲线以外的区域设置为背景来提取对象图像。
[0016] 对象提取单元可以通过下述方式从输入图像或对象图像提取对象图像：设置未处 理区域，未处理区域在由标记线构成的闭合曲线中并且由在构成通过输入单元输入的标记 线的每个像素中的第一预定半径形成；以及基于关于未处理区域、表示前景的图像区域和 表示背景的像素区域这三个区域的信息，使用图形切割将未处理区域中的像素分配至表示 前景的区域和表示背景的区域中的任意区域。
[0017] 输入单元可以包括：背景模式，其中指定与对象的边界的局部标记线在对象被设 置为前景时被输入作为指定背景的背景标记；以及前景模式，其中局部标记线被输入作为 关于对象图像指定前景的前景标记，其中，当输入单元为背景模式时，对象图像提取单元通 过设置未处理区域并且通过基于关于未处理区域、表示背景的区域和表示前景的区域这三 个区域的信息使用图形切割法将未处理区域中的像素分配至表示前景的区域和表示背景 的区域中的任意区域来提取对象图像，未处理区域是通过在构成标记线的每个像素是指定 背景的像素值的假定下由构成标记线的每个像素中的第二预定半径形成的，并且其中，当 输入单元为前景模式时，对象图像提取单元通过设置未处理区域并且通过基于关于未处理 区域、表示背景的区域和表示前景的区域这三个区域的信息使用图形切割法将未处理区域 中的像素分配至表示前景的区域和表示背景的区域中的任意区域来提取对象图像，未处理 区域是通过在构成标记线的每个像素是指定前景的像素值的假定下由构成标记线的每个 像素中的第二预定半径形成的。
[0018] 背景模式中的未处理区域和前景模式中的未处理区域可以是下述矩形区域：该矩 形区域标记由构成局部标记线的每个像素的第二预定半径形成的区域。
[0019] a mat图像中的每个像素的前景分量的混合比a可以是从1中减去下述比率而得 到的比率：前景的最短距离与前景的最短距离和背景的最短距离之和的比率。
[0020] 前景颜色可以是将最近前景颜色加至下述值得到的颜色：该值是图像颜色和基层 颜色的相减结果乘以混合比a而得到的。
[0021] 根据本公开内容的另一实施方式的图像处理方法包括：关于输入图像输入用于指 定与期望剪切的对象的边界的标记线；以及从输入图像提取由基于标记线指定的对象形成 的对象图像，其中在输入中，还输入关于通过对对象图像的提取而提取的对象图像指定与 对象的边界的标记线，以及，在对对象图像的提取中，基于关于通过对对象图像的提取而提 取的对象图像所输入的标记线，从对象图像中提取由所指定的对象形成的对象图像。
[0022] 根据本公开内容的又一实施方式的程序，其使计算机执行以下处理：关于输入图 像输入用于指定与期望剪切的对象的边界的标记线；以及从输入图像提取由基于标记线指 定的对象形成的对象图像，其中在输入中，还输入关于通过对对象图像的提取而提取的对 象图像指定与对象的边界的标记线，以及，在对对象图像的提取中，基于关于通过对对象图 像的提取而提取的对象图像所输入的标记线，从对象图像中提取由所指定的对象形成的对 象图像。
[0023] 根据本技术的实施方式，关于输入图像输入用于指定与期望剪切的对象的边界的 标记线，从输入图像提取由基于标记线指定的对象形成的对象图像，关于所提取的对象图 像还输入指定与对象的边界的标记线，以及基于关于所提取的对象图像所输入的标记线从 对象图像提取由所指定的对象形成的对象图像。
[0024] 在另一种实施方式中，一种装置包括：模式确定电路，被配置成从至少第一模式 和第二模式中确定输入模式；输入电路，被配置成接收基于用户输入的信号；以及图像处 理电路，被配置成基于第一模式下第一线的用户输入来确定图像的包括期望图像区域的子 集，并且基于第二模式下在图像的子集上的第二线的用户输入来确定期望图像区域。
[0025] 根据本技术的实施方式的图像处理设备可以是独立设备，并且可以是执行图像处 理的块。
[0026] 本发明的有益效果
[0027] 根据本技术的实施方式，通过使得能够准确且容易地指定包括期望从输入图像剪 切的对象的区域，可以使用简单的方法适当地提取期望从输入图像剪切的前景对象图像。
【附图说明】
[0028] [图1]图1为示出应用本技术的图像处理系统的实施方式的配置示例的图；
[0029] [图2]图2为示出图1中的图像处理系统中的输入单元的外部配置的图；
[0030] [图3]图3为描述图像剪切处理的流程图；
[0031] [图4]图4为示出粗捕捉模式的处理的图；
[0032] [图5]图5为描述粗捕捉模式的处理的流程图；
[0033] [图6]图6为描述粗捕捉模式的处理的图；
[0034] [图7]图7为描述剪切图像生成处理的流程图；
[0035] [图8]图8为描述图形切割的图；
[0036] [图9]图9为描述a mat处理的流程图；
[0037] [图10]图10为描述BG模式校正处理的流程图；
[0038] [图11]图11为描述BG模式校正处理的图；
[0039] [图12]图12为描述BG模式校正处理中的更新区域的图；
[0040][图13]图13为描述异常处理的图；
[0041] [图14]图14为描述FG模式校正处理的流程图；
[0042] [图15]图15为描述根据标记线的任意两个点之间的距离来设置预定距离r的示 例的图；
[0043] [图16]图16为描述图像剪切处理的另一流程图；以及