对象边界提取方法和对象边界提取设备的制作方法

对象边界提取方法和对象边界提取设备的制作方法
【专利摘要】本发明公开了一种对象边界提取方法和对象边界提取设备。根据本发明的对象边界提取方法包括：获得用于描绘对象的边界的多个控制点；接收用户对于所述多个控制点中的一个控制点的修正；更新与被修正的控制点相关的控制点；以及连接经过修正和更新处理后的所述多个控制点，以得到所述对象的边界。
【专利说明】对象边界提取方法和对象边界提取设备

【技术领域】
[0001] 本发明一般地涉及图像处理。具体而言，本发明涉及一种能够从图像中提取对象 的边界的方法和设备。

【背景技术】
[0002] 近年来，图像处理技术得到了迅猛的发展。图像处理的一个常见问题是如何从图 像中提取对象。提取对象的必要步骤是找到对象的边界。因此，如何从图像中提取对象的 边界对于与对象相关的图像处理至关重要。
[0003] 在传统的技术中，存在多种提取对象边界的方法。例如，全自动提取方法，其例如 通过分析图像的特征来提取对象边界。这种方法由于全部依靠算法本身，所以效果较为一 般，并且受到具体对象及其所处图像的影响。例如，在包含书以及按压书两侧的手指的扫描 图像中，希望提取手指的边界以去掉手指。由于手指的颜色为淡黄色或白色，与书的纸张颜 色相近，所以提取出的对象(手指）的边界显然不会特别理想。
[0004] 另一种传统方法是由用户首先点击一下对象所在的区域，然后算法自动产生一个 包含点击位置的候选对象区域，再由用户手工调整候选对象区域的边界。这种方法的候选 对象区域产生过程与上面的传统方法类似，因而精度不高，只是在此基础之上增加了用户 的调整步骤。然而，用户的调整精度受输入设备和显示设备的限制，并且这个用户调整步骤 往往需要用户反复地调整对象边界上的很多点，增大了用户的负担。
[0005] 还有一种传统方法是由用户纯手工地绘制和调整对象的边界。例如，绕对象一周 设定多个锚点，以表明对象的边界。这种方法同样精度较低、用户负担重。
[0006] 与完全依赖机器自动识别边界相比，用户的介入显然能够显著提高对象边界提取 结果的正确性。然而，传统的涉及用户的技术又增大了用户的负担，并且精度较大地受到输 入设备和显示设备的限制。
[0007] 因此，期望一种对象边界提取方法和设备，其能够允许用户介入以显著提高结果 的可靠性，又能不增大用户的负担，并且基本不受输入设备和显示设备的限制。


【发明内容】

[0008] 在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本 理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的 关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概 念，以此作为稍后论述的更详细描述的前序。
[0009] 本发明的目的是针对现有技术的上述问题，提出了一种能够借助于用户的少量操 作而在不增大用户负担的情况下显著提高对象边界提取结果可靠性的对象边界提取方法 和对象边界提取设备。根据本发明的对象边界提取方法和对象边界提取设备基本不受输入 设备和显示设备的限制，能够自动地根据用户的调整操作适应性地调整相关边界，改善用 户体验。
[0010] 为了实现上述目的，根据本发明的一个方面，提供了一种对象边界提取方法，其包 括：获得用于描绘对象的边界的多个控制点；接收用户对于所述多个控制点中的一个控制 点的修正；更新与被修正的控制点相关的控制点；以及连接经过修正和更新处理后的所述 多个控制点，以得到所述对象的边界。
[0011] 根据本发明的另一个方面，提供了一种对象边界提取设备，其包括：初始控制点获 得装置，被配置为获得用于描绘对象的边界的多个控制点；用户修正接收装置，被配置为接 收用户对于所述多个控制点中的一个控制点的修正；控制点更新装置，被配置为更新与被 修正的控制点相关的控制点；以及边界形成装置，被配置为连接经过修正和更新处理后的 所述多个控制点，以得到所述对象的边界。
[0012] 另外，根据本发明的另一方面，还提供了 一种存储介质。所述存储介质包括机器可 读的程序代码，当在信息处理设备上执行所述程序代码时，所述程序代码使得所述信息处 理设备执行根据本发明的上述方法。
[0013] 此外，根据本发明的再一方面，还提供了 一种程序产品。所述程序产品包括机器可 执行的指令，当在信息处理设备上执行所述指令时，所述指令使得所述信息处理设备执行 根据本发明的上述方法。

【专利附图】

【附图说明】
[0014] 参照下面结合附图对本发明实施例的说明，会更加容易地理解本发明的以上和其 它目的、特点和优点。附图中的部件只是为了示出本发明的原理。在附图中，相同的或类似 的技术特征或部件将采用相同或类似的附图标记来表示。附图中：
[0015] 图1示出了根据本发明实施例的对象边界提取方法的流程图；
[0016] 图2示出了图1中的步骤S3的具体流程图；
[0017] 图3A和图3B示出了包括作为对象的手指的一部分的扫描图像；
[0018] 图4示出了图2中的步骤S32的具体流程图；
[0019] 图5示出了根据本发明实施例的对象边界提取设备的结构方框图；以及
[0020] 图6示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。

【具体实施方式】
[0021] 在下文中将结合附图对本发明的示范性实施例进行详细描述。为了清楚和简明起 见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际 实施方式的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标， 例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的 不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益 于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
[0022] 在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中 仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明 关系不大的其他细节。另外，还需要指出的是，在本发明的一个附图或一种实施方式中描述 的元素和特征可以与一个或更多个其它附图或实施方式中示出的元素和特征相结合。
[0023] 本发明基于如下的思想：允许用户对候选对象边界进行修正操作，并根据用户的 修正历史数据对相关的边界进行自动调整，使得用户动一点而改一段，从而减少了用户的 反复修正操作，降低了用户的负担，改善了用户体验。同时，用户的修正指明了边界调整的 方向，提高了边界提取结果的可靠性。由于用户不必反复修正边界，所以较小地受到输入设 备和显示设备的限制。
[0024] 下面将参照图1描述根据本发明的实施例的对象边界提取方法的流程。
[0025] 图1示出了根据本发明实施例的对象边界提取方法的流程图。如图1所示，根据 本发明的对象边界提取方法，包括如下步骤：获得用于描绘对象的边界的多个控制点（步骤 S1);接收用户对于所述多个控制点中的一个控制点的修正(步骤S2);更新与被修正的控制 点相关的控制点（步骤S3);以及连接经过修正和更新处理后的所述多个控制点，以得到所 述对象的边界(步骤S4)。
[0026] 下面对本发明的对象边界提取方法的各个步骤做具体说明。
[0027] 在步骤S1中，获得用于描绘对象的边界的多个控制点。
[0028] 本发明侧重于借助用户的少量修正操作来调整对象的边界。因此，本发明的第一 步是获得已有的候选对象边界或表征已有候选对象边界的控制点。
[0029] 已有的候选对象边界可以是任何对象边界提取方法和对象边界提取设备的输出 结果，例如本发明【背景技术】中介绍的传统方法的初步边界提取结果和最终边界提取结果， 或者之前执行的本发明的方法的输出结果。本发明可以针对任何已有的对象边界进行用户 修正和自动调整。
[0030] 控制点用于描绘对象的边界。少量控制点即可描绘简单对象的边界。足够数量的 控制点能够描绘复杂对象的边界。对象的边界可以由控制点表征，因此，本发明以控制点为 单位对对象的边界进行修正和调整。
[0031] 步骤S1可以通过如下两种方式实施。
[0032] 方式一：获取对象的已有的边界，并对该已有的边界进行采样以得到多个控制点。 [0033] 优选地，对已有的边界进行均匀采样。采样频率以描绘对象边界所需为准。
[0034] 方式二：接收用于描绘对象的边界的已有的多个控制点。
[0035] 此方式针对前级对象提取方法的输出以控制点表示的情况。
[0036] 在步骤S2中，接收用户对于步骤S1中获得的多个控制点中的一个控制点的修正。
[0037] 用户对于多个控制点中的一个控制点的修正例如是调整该控制点的位置。用户可 通过例如鼠标、触摸板等输入设备进行修正。
[0038] 与机器相比，用户显然更智能。因此，用户对控制点的修正表明了对于这个具体控 制点的一个准确的修正结果，对与这个控制点相关的其它控制点指明了调整的方向。
[0039] 因此，在本发明中，假设了这样的前提：用户对控制点的修正都是正确的。并且在 后续的自动调整中应避免对用户已直接修正过的控制点进行自动调整，因为用户手工修正 的结果应被保留为最后的结果。因此，除非用户再次手工修正该控制点，否则不会自动调整 该控制点的位置。
[0040] 在步骤S3中，更新与被修正的控制点相关的控制点。
[0041] 图2示出了图1中的步骤S3的具体流程图。
[0042] 如上所述，期望根据用户对控制点的修正，自动地调整相关的控制点，以减少用户 的操作负担，改善用户体验，同时避免对用户手工修正的控制点进行自动调整。因此，在步 骤S3中，首先确定待更新的控制点。
[0043] 在步骤S31中，确定与被用户手工修正的控制点相关的待更新的控制点。
[0044] 图3A和图3B示出了包括作为对象的手指的一部分的扫描图像。图3A中示出的 情形中，穿过控制点CP[0]和CP[5]的坚直线是书的边缘，坚直线右侧为书的图像，坚直线 的左侧为不包含书的图像，控制点CP [0]、CP [1]、CP [2]、CP [3]、CP [4]和CP [5]以顺时针的 顺序排序，连接控制点CP [0]至CP [5]的曲线内的区域为手指的一部分所在的区域，控制点 CP[0]至CP[5]为步骤S1中获得的控制点。图3B中示出的情形与图3A中示出的情形类似， 穿过控制点CP[0]和CP[5]的坚直线是书的边缘，坚直线左侧为书的图像，坚直线的右侧 为不包含书的图像，控制点CP [0]、CP [1]、CP [2]、CP [3]、CP [4]和CP [5]以逆时针的顺序排 序，连接控制点CP[0]至CP[5]的曲线内的区域为手指的一部分所在的区域，控制点CP[0] 至CP[5]为步骤S1中获得的控制点。应注意，图3A和图3B示出的情形中，多个控制点形 成非闭合的曲线。
[0045] 对于多个控制点形成一条非闭合曲线的情况，按如下原则选取与被修正的控制点 相关的待更新的控制点：
[0046] 1.待更新的控制点不能是被用户手工修正过的控制点。
[0047] 2.待更新的控制点沿着非闭合曲线连续排列，其两侧的控制点中的一侧的控制点 是此次用户修正的控制点，另一侧的控制点是用户过去手工修正过的控制点或非闭合曲线 的端部处的控制点。
[0048] 3.待更新的控制点是满足上述原则1和2的最多数目的控制点。
[0049] 设置上述原则1是为了防止下面的情形。即用户首先手工修正点A，导致自动调整 点B，然后用户手工修正点B，导致自动调整点A。结果点A和点B都没有被修改好。
[0050] 遵照上述原则1-3,可以以如下方式选取待更新的控制点：以此次被修正的控制 点作为起点，沿着非闭合曲线，朝相反的两个方向（即图3A或图3B中顺时针和逆时针)，分 别寻找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为 终点，所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点 作为所述待更新的控制点两侧的控制点。
[0051] 例如，在图3A中，用户第一次手工修正了控制点CP[2]的位置，则一方面从控制点 CP[2]出发，以逆时针的顺序，沿着非闭合曲线，寻找到控制点CP[1]，由于控制点CP[1]未 被用户手工修正过，因此，可以作为待更新的控制点。为获得最大数目的待更新的控制点， 继续以逆时针顺序寻找到控制点CP[0]。控制点CP[0]为非闭合曲线的端部处的控制点，因 此，此方向待更新的控制点已全部找到，即控制点CP[1]，其两侧的控制点为控制点CP[0] 和控制点CP[2]。另一方面，从控制点CP[2]出发，以顺时针的顺序，沿着非闭合曲线，寻 找到控制点CP[3]、CP[4]作为待更新的控制点，其两侧的控制点为控制点CP[2]和控制点 CP[5]。图3B中的情形类似。
[0052] 根据本发明的方法，在步骤S2中接收用户对于控制点CP[2]的修正，在步骤S31 中，确定需要更新控制点CP[1]、以及CP[3]和CP[4]的位置，并在步骤S32中，自动更新控 制点CP[1]、以及CP[3]和CP[4]的位置。
[0053] 假设用户又修正了控制点CP[3]。则在步骤S31中，从控制点CP[3]出发，沿非闭 合曲线，逆时针寻找到控制点CP[2]。由于控制点CP[2]已经被用户修正过，所以此方向的 寻找结束，并未找到待更新的控制点。在另一方向上，即从控制点CP[3]出发，沿非闭合曲 线，顺时针寻找到控制点CP[4]作为待更新的控制点，其两侧的控制点为控制点CP[3]和控 制点CP[5]。因此，在步骤S32中，将对控制点CP[4]进行更新。
[0054] 对于多个控制点形成一条闭合曲线的情况，按如下原则选取与被修正的控制点相 关的待更新的控制点：
[0055] 1.待更新的控制点不能是被用户手工修正过的控制点。
[0056] 2.待更新的控制点沿着闭合曲线连续排列，其两侧的控制点中的一侧的控制点是 此次用户修正的控制点，另一侧的控制点是用户过去手工修正过的控制点或此次用户修正 的控制点。
[0057] 3.待更新的控制点是满足上述原则1和2的最多数目的控制点。
[0058] 4.沿着闭合曲线朝两个方向找到的两组待更新的控制点不能有重合的控制点。
[0059] 遵照上述原则1-4,可以以如下方式选取待更新的控制点：以被修正的控制点作 为起点，沿着所述闭合曲线，朝相反的两个方向，分别寻找与所述被修正的控制点之间的控 制点均未被用户修正过且个数最多的控制点作为终点，并且所述起点与朝两个方向找到的 两个终点之间的所述闭合曲线的两个区段彼此不重合，所述起点和所述终点之间的控制点 作为所述待更新的控制点，所述起点和所述终点作为所述待更新的控制点两侧的控制点。
[0060] 此处应注意，起点和终点可以重合，即起点和终点均为此次被修正的控制点。这种 情况出现于用户首次进行手工修正的时候。在此情况下，一个方向上寻找到的待更新的控 制点不存在，另一个方向上寻找到的待更新的控制点为闭合曲线上除了被修正的控制点之 外的所有控制点。
[0061] 以图3六为例，假设控制点〇卩[0]、〇?[1]、〇?[2]、〇?[3]、〇?[4]和〇卩[5]围绕出一 条闭合的曲线，曲线内的区域包括作为对象的手指。用户第一次手工修正了控制点CP[2] 的位置，则一方面从控制点CP[2]出发，以逆时针的顺序，沿着闭合曲线，寻找到控制点 CP[1]，由于控制点CP[1]未被用户手工修正过，因此，可以作为待更新的控制点。为获得最 大数目的待更新的控制点，继续以逆时针顺序寻找到控制点CP [0]、CP [5]、CP [4]、CP [3]， 直至找到控制点CP[2]，控制点CP[2]为此次用户修正的控制点，因此，待更新的控制点是 CP[1]、CP[0]、CP[5]、CP[4]、CP[3]，其两侧的控制点均为控制点CP[2]。另一方面从控制点 CP[2]出发，以顺时针的顺序，沿着闭合曲线，同样将一直找到控制点CP[2]。这种情况下， 考虑到上述原则4,即沿着闭合曲线朝两个方向找到的两组待更新的控制点不能有重合的 控制点。所以以顺时针顺序没有找到待更新的控制点。
[0062] 本领域技术人员能够理解，作为一种特殊情况，即在多个控制点构成闭合曲线，且 用户第一次修正一个控制点的情况下，也可以仅保留上述原则1、2、4,并在原则2中不限制 另一侧的控制点。此时，沿两个方向找到的两组待更新的控制点连续且不重合，两组待更新 的控制点的总和是多个控制点中除了用户手工修正的控制点以及分开两组待更新的控制 点的控制点之外的所有控制点。两组待更新的控制点的边界，即分开两组待更新的控制点 的控制点可以被灵活选择，如被选择为使得两组待更新的控制点的个数尽量接近。这样，两 组待更新的控制点的两侧的控制点为用户手工修正的控制点和分开两组待更新的控制点 的控制点。
[0063] 假设用户又修正了控制点CP[4]。则在步骤S31中，从控制点CP[4]出发，沿闭合 曲线，逆时针寻找到控制点CP[3]。由于控制点CP[2]已经被用户修正过，所以此方向的寻 找结束，待更新的控制点仅为CP [3]，其两侧的控制点为控制点CP [4]和控制点CP [2]。在另 一方向上，即从控制点CP[4]出发，沿闭合曲线，顺时针寻找到控制点CP[5]、CP[0]、CP[1] 作为待更新的控制点，其两侧的控制点为控制点CP[4]和控制点CP[2]。因此，在步骤S32 中，将对控制点CP[3]进行更新，并对控制点CP[5]、CP[0]、CP[1]进行更新。
[0064] 在步骤S32中，基于待更新的控制点两侧的控制点以及所述待更新的控制点所在 区域的图像特征，调整所述待更新的控制点的位置。
[0065] 待更新的控制点两侧的控制点限定了待更新的控制点的起止范围，待更新的控制 点所在区域的图像特征给出了位置调整的依据。因此，可以基于这两个因素来对待更新的 控制点的位置进行调整。
[0066] 图像特征可以包括：梯度特征、颜色特征、纹理特征中的至少一种。本发明不限于 上述三种特征，任何适当的图像特征均可在此被利用。
[0067] 在下文中，以边界追踪为例，介绍基于以上两个因素调整待更新的控制点的位置 的方式，但本发明不限于此。
[0068] 图4示出了图2中的步骤S32的具体流程图。
[0069] 如图4所示，在步骤S321中，基于所述待更新的控制点两侧的控制点以及所述待 更新的控制点所在区域的图像特征，进行边界追踪，以得到局部边界曲线。
[0070] 边界追踪可以基于适当的图像特征。下面简介基于梯度的边界追踪。
[0071] 基于梯度的边界追踪是指对于给定图像中的两个端点，在与该图像对应的梯度图 中，基于梯度值，找到连接两个端点的边界曲线，使得该边界曲线在梯度图中的梯度值总体 最大。
[0072] 相应地，在步骤S321采用基于梯度的边界追踪的情况下，在与对象所在的图像对 应的梯度图中，基于梯度值，获得连接所述待更新的控制点两侧的控制点的局部边界曲线， 使得所述局部边界曲线的梯度值总体最大。
[0073] 为了更有效地执行边界追踪，针对基于梯度特征的边界追踪方法，可以做出进一 步的改进。即，在所选取的图像特征为梯度特征的情况下，在步骤S3,即更新步骤之前，增强 对象边界区域的梯度，或者增强对象区域内的梯度和/或削弱对象区域外的梯度；并且在 步骤S321中，进行基于梯度的边界追踪。
[0074] 由步骤S1中获得的初始的所述多个控制点描绘出第一边界或者由被用户手工修 正的控制点和所述初始的多个控制点中的其余控制点描绘出第一边界，将第一边界向外侧 扩展得到第二边界，将第一边界向内侧收缩得到第三边界。
[0075] 对象边界区域可以是第一边界的邻域扩大后的区域，也可以是第二边界和第三边 界中间的带状区域。对象区域是第一边界以内的区域，优选是第二边界以内的区域。
[0076] 针对采用基于梯度特征的边界追踪的情况，通过增强对象区域内的梯度和/或削 弱对象区域外的梯度或者增强对象边界区域的梯度，有助于提高边界追踪的准确性。
[0077] 这里，第一边界被设计为由步骤S1中获得的初始的所述多个控制点描绘的初始 边界是为了保证基于梯度的处理不会由于前级处理基于除梯度外的特征而得到比初始边 界更差的结果。在步骤S1中获得的多个控制点是从前级处理获得的，而前级处理所基于 的图像特征未知。假设其基于除梯度外的特征，如颜色特征，则初始边界可能是对于颜色特 征来说较为合适的，本发明的梯度增强和削弱仍以初始边界为界，则可以在前级的结果上 进行更好的调整。如果梯度增强和削弱以别的边界为界，则可能最终得出不如初始边界的 结果。此处的例外是如果用户手工修正了控制点，相应地将初始边界调整为由被用户手工 修正的控制点和初始的所述多个控制点中的其余控制点描绘的边界，则由于假设用户是对 的，所以可以以这个更正确的边界为界，进行梯度的增强和削弱。因此，第一边界也可以是 由被用户手工修正的控制点和所述多个控制点中的其余控制点描绘的边界。
[0078] 在步骤S322中，对所述局部边界曲线进行采样，以得到更新后的控制点。优选地， 对所述局部边界曲线进行均匀采样。
[0079] 应注意，采样后所得到的控制点的个数与待更新的控制点的个数相同。也就是说， 此处的"更新"意在指示控制点的位置有所改变，而并不增加新的控制点或减少已有的控制 点。
[0080] 如果例如在上述边界追踪过程后的采样中，增加了控制点，则增加的控制点使得 最终的边界曲线更接近于步骤S321中获得的局部边界曲线。然后，边界追踪算法并不一定 十分准确，如果将边界追踪算法得到的局部边界曲线直接作为最终的边界曲线，或通过增 加控制点使得最终的边界曲线在局部更接近于边界追踪算法得到的局部边界曲线，则可能 会使得最终的边界提取结果变差。
[0081] 因此，在步骤S322中，对局部边界曲线进行采样，以得到更新后的控制点，使得更 新后的控制点既通过被更新而更好地符合对象所在区域的图像特征，即更可能准确地反映 实际的边界，又通过采样避免受到边界追踪算法的可能不准确的不利影响。
[0082] 在步骤S4中，连接经过修正和更新处理后的上述多个控制点，以得到对象的边 界。
[0083] 应注意，在步骤S4中被连接的多个控制点包括用户手工修正的控制点、在步骤 S3中被自动更新的控制点、以及没有被用户手工修正也没有被自动更新的控制点（如有的 话)。也就是说，如前所述，本发明并不增加或减少控制点，而是仅手工修正和自动更新控制 点的位置。在步骤S4中连接的是在步骤S1中获得的那些控制点，只是这些控制点经过了 修正和更新处理，导致这些控制点中的至少部分控制点的位置有所改变。并且经过修正和 更新处理的这些控制点中可能包括没有被修正也没有被更新的控制点。例如，假设在步骤 S1中获得的多个控制点形成一条非闭合的曲线，并且在非闭合曲线的端部处的两个控制点 均未被用户手工修正过，那么这两个控制点在上述更新处理中，仅有可能作为待更新的控 制点的一侧的终点，也即边界追踪的端点，因而不会作为待更新的控制点被自动更新。
[0084] 该连接步骤可采用插值的方式实施。即对经过修正和更新处理后的所述多个控制 点进行插值，以得到代表对象的边界的曲线。
[0085] 插值技术为本领域技术人员所熟知，在此不再详述。简言之，从若干离散的点出 发，通过插值得到这些离散的点以内或以外的点，这些离散的点和所得到的点构成了曲线。
[0086] 下面介绍对现有插值技术的改进。
[0087] 假设X坐标和Y坐标表征多个控制点的位置。通常可以基于X坐标和Y坐标进行 插值。但是，如图3A和3B所示，由于一个X坐标可能对应于多个Y坐标，所以插值的正确 性可能受到影响。
[0088] 可以设置与X坐标和Y坐标均不同的Η坐标，使得一个Η坐标仅对应于一个X坐 标和一个Y坐标。一个X坐标或Y坐标可以对应于一个或多个Η坐标。作为示例，Η坐标 可以是如1-Ν的自然数或控制点的序号。
[0089] 首先基于X坐标和Η坐标，对所述多个控制点进行第一插值。然后基于Υ坐标和 Η坐标，对所述多个控制点进行第二插值。最后，根据通过所述第一插值获得的X坐标和通 过所述第二插值获得的Υ坐标，得到代表所述对象的边界的曲线。
[0090] 这样，通过引入了 Η坐标，并且基于X坐标和Η坐标与Υ坐标和Η坐标分别进行插 值，获得正确的构成对象边界曲线的点的X坐标和Υ坐标。
[0091] 应注意：在步骤S2中限定了接收用户对于所述多个控制点中的一个控制点的修 正。实际操作中，用户可能先后对多个控制点进行手工修正。对于每一次的用户修正，均执 行一次本发明的方法，使得每次用户修正后都能自动地调整相关的其它控制点的位置。即， 本发明的方法可重复执行。
[0092] 下面，将参照图5描述根据本发明实施例的对象边界提取设备。
[0093] 图5示出了根据本发明实施例的对象边界提取设备的结构方框图。如图5所示， 根据本发明的对象边界提取设备500包括：初始控制点获得装置51，被配置为获得用于描 绘对象的边界的多个控制点；用户修正接收装置52,被配置为接收用户对于所述多个控制 点中的一个控制点的修正；控制点更新装置53,被配置为更新与被修正的控制点相关的控 制点；以及边界形成装置54,被配置为连接经过修正和更新处理后的所述多个控制点，以 得到所述对象的边界。
[0094] 在一个具体实施例中，初始控制点获得装置51被进一步配置为：获取所述对象的 已有的边界，并对该已有的边界进行采样以得到所述多个控制点；或者获取用于描绘所述 对象的边界的已有的多个控制点。
[0095] 在一个具体实施例中，所述用户对于所述多个控制点中的一个控制点的修正包括 调整该控制点的位置。
[0096] 在一个具体实施例中，控制点更新装置53包括：确定单元，被配置为确定与所述 被修正的控制点相关的待更新的控制点；以及调整单元，被配置为基于所述待更新的控制 点两侧的控制点以及所述待更新的控制点所在区域的图像特征，调整所述待更新的控制点 的位置。
[0097] 在一个具体实施例中，确定单元被进一步配置为：对于所述多个控制点形成一条 非闭合曲线的情况，以所述被修正的控制点作为起点，沿着所述非闭合曲线，朝相反的两个 方向，分别寻找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制 点作为终点，所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所 述终点作为所述待更新的控制点两侧的控制点；对于所述多个控制点形成一条闭合曲线的 情况，以所述被修正的控制点作为起点，沿着所述闭合曲线，朝相反的两个方向，分别寻找 与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终点，并 且所述起点与朝两个方向找到的两个终点之间的所述闭合曲线的两个区段彼此不重合，所 述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作为所述 待更新的控制点两侧的控制点。
[0098] 在一个具体实施例中，图像特征包括：梯度特征、颜色特征、纹理特征中的至少一 种。
[0099] 在一个具体实施例中，调整单元包括：边界追踪单元，被配置为基于所述待更新的 控制点两侧的控制点以及所述待更新的控制点所在区域的图像特征，进行边界追踪，以得 到局部边界曲线；以及局部采样单元，被配置为对所述局部边界曲线进行采样，以得到更新 后的控制点。
[0100] 在一个具体实施例中，图像特征包括所述梯度特征；对象边界提取设备还包括： 梯度调整单元，被配置为增强对象边界区域的梯度，或者增强对象区域内的梯度和/或削 弱所述对象区域外的梯度；并且边界追踪单元被进一步配置为进行基于梯度的边界追踪。 [0101] 在一个具体实施例中，边界追踪单元被进一步配置为：在与所述对象所在的图像 对应的梯度图中，基于梯度值，获得连接所述待更新的控制点两侧的控制点的局部边界曲 线，使得所述局部边界曲线的梯度值总体最大。
[0102] 在一个具体实施例中，边界形成装置54被进一步配置为：对经过修正和更新处理 后的所述多个控制点进行插值，以得到代表所述对象的边界的曲线。
[0103] 在一个具体实施例中，边界形成装置54被进一步配置为：基于表征所述多个控制 点的位置的X坐标和Y坐标，进行所述插值。
[0104] 在一个具体实施例中，边界形成装置54被进一步配置为：基于所述X坐标和与所 述X坐标和Y坐标均不同的Η坐标，对所述多个控制点进行第一插值；基于所述Y坐标和所 述Η坐标，对所述多个控制点进行第二插值；以及根据通过所述第一插值获得的X坐标和通 过所述第二插值获得的Υ坐标，得到所述代表所述对象的边界的曲线，其中所述Η坐标被设 置成一个Η坐标仅对应于一个X坐标和一个Υ坐标。
[0105] 由于在根据本发明的对象边界提取设备500中所包括的初始控制点获得装置51、 用户修正接收装置52、控制点更新装置53、以及边界形成装置54中的处理分别与上面描述 的对象边界提取方法的步骤S1-S4中的处理类似，因此为了简洁起见，在此省略这些模块 的详细描述。
[0106] 此外，这里尚需指出的是，上述设备中各个组成模块、单元可以通过软件、固件、硬 件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在 此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的 计算机(例如图6所示的通用计算机600)安装构成该软件的程序，该计算机在安装有各种 程序时，能够执行各种功能等。
[0107] 图6示出了可用于实施根据本发明实施例的方法和设备的计算机的示意性框图。
[0108] 在图6中，中央处理单元（CPU)601根据只读存储器（ROM)602中存储的程序或从 存储部分608加载到随机存取存储器（RAM)603的程序执行各种处理。在RAM603中，还根 据需要存储当CPU601执行各种处理等等时所需的数据。CPU60UR0M602和RAM603经由总 线604彼此连接。输入/输出接口 605也连接到总线604。
[0109] 下述部件连接到输入/输出接口 605 :输入部分606 (包括键盘、鼠标等等)、输出 部分607 (包括显示器，比如阴极射线管（CRT)、液晶显示器（IXD)等，和扬声器等)、存储部 分608 (包括硬盘等)、通信部分609 (包括网络接口卡比如LAN卡、调制解调器等)。通信部 分609经由网络比如因特网执行通信处理。根据需要，驱动器610也可连接到输入/输出 接口 605。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装 在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分608中。
[oho] 在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆 卸介质611安装构成软件的程序。
[0111] 本领域的技术人员应当理解，这种存储介质不局限于图6所示的其中存储有程 序、与设备相分离地分发以向用户提供程序的可拆卸介质611。可拆卸介质611的例子 包含磁盘（包含软盘（注册商标））、光盘（包含光盘只读存储器（⑶-ROM)和数字通用盘 (DVD))、磁光盘(包含迷你盘（MD)(注册商标））和半导体存储器。或者，存储介质可以是 R0M602、存储部分608中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分 发给用户。
[0112] 本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机 器读取并执行时，可执行上述根据本发明实施例的方法。
[0113] 相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包 括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等 等。
[0114] 在上面对本发明具体实施例的描述中，针对一种实施方式描述和/或示出的特征 可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征 相组合，或替代其它实施方式中的特征。
[0115] 应该强调，术语"包括/包含"在本文使用时指特征、要素、步骤或组件的存在，但 并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
[0116] 此外，本发明的方法不限于按照说明书中描述的时间顺序来执行，也可以按照其 他的时间顺序地、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本发 明的技术范围构成限制。
[0117] 尽管上面已经通过对本发明的具体实施例的描述对本发明进行了披露，但是，应 该理解，上述的所有实施例和示例均是示例性的，而非限制性的。本领域的技术人员可在所 附权利要求的精神和范围内设计对本发明的各种修改、改进或者等同物。这些修改、改进或 者等同物也应当被认为包括在本发明的保护范围内。
[0118] 舰
[0119] 1. 一种对象边界提取方法，包括：
[0120] 获得用于描绘对象的边界的多个控制点；
[0121] 接收用户对于所述多个控制点中的一个控制点的修正；
[0122] 更新与被修正的控制点相关的控制点；以及
[0123] 连接经过修正和更新处理后的所述多个控制点，以得到所述对象的边界。
[0124] 2.如附记1所述的方法，其中所述获得用于描绘对象的边界的多个控制点包括：
[0125] 获取所述对象的已有的边界，并对该已有的边界进行采样以得到所述多个控制 点；或者
[0126] 获取用于描绘所述对象的边界的已有的多个控制点。
[0127] 3.如附记1所述的方法，其中所述更新与被修正的控制点相关的控制点包括：
[0128] 确定与所述被修正的控制点相关的待更新的控制点；
[0129] 基于所述待更新的控制点两侧的控制点以及所述待更新的控制点所在区域的图 像特征，调整所述待更新的控制点的位置。
[0130] 4.如附记3所述的方法，其中所述确定待更新的控制点包括：
[0131] 对于所述多个控制点形成一条非闭合曲线的情况，
[0132] 以所述被修正的控制点作为起点，沿着所述非闭合曲线，朝相反的两个方向，分别 寻找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终 点，所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作 为所述待更新的控制点两侧的控制点；
[0133] 对于所述多个控制点形成一条闭合曲线的情况，
[0134] 以所述被修正的控制点作为起点，沿着所述闭合曲线，朝相反的两个方向，分别寻 找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终点， 并且所述起点与朝两个方向找到的两个终点之间的所述闭合曲线的两个区段彼此不重合， 所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作为所 述待更新的控制点两侧的控制点。
[0135] 5.如附记3所述的方法，其中所述图像特征包括：梯度特征、颜色特征、纹理特征 中的至少一种。
[0136] 6.如附记3所述的方法，其中所述调整所述待更新的控制点的位置包括：
[0137] 基于所述待更新的控制点两侧的控制点以及所述待更新的控制点所在区域的图 像特征，进行边界追踪，以得到局部边界曲线；
[0138] 对所述局部边界曲线进行采样，以得到更新后的控制点。
[0139] 7.如附记6所述的方法，其中
[0140] 所述图像特征包括梯度特征；
[0141] 在所述更新步骤之前，所述方法还包括：增强对象边界区域的梯度，或者增强对象 区域内的梯度和/或削弱所述对象区域外的梯度；并且
[0142] 在所述调整步骤中，进行基于梯度的边界追踪。
[0143] 8.如附记7所述的对象边界提取方法，其中所述基于梯度的边界追踪包括：
[0144] 在与所述对象所在的图像对应的梯度图中，基于梯度值，获得连接所述待更新的 控制点两侧的控制点的局部边界曲线，使得所述局部边界曲线的梯度值总体最大。
[0145] 9.如附记1所述的方法，其中所述连接步骤包括：
[0146] 对经过修正和更新处理后的所述多个控制点进行插值，以得到代表所述对象的边 界的曲线。
[0147] 10.如附记9所述的方法，其中所述插值步骤包括：
[0148] 基于与表征所述多个控制点的位置的所述X坐标和Y坐标均不同的Η坐标和所述 X坐标，对所述多个控制点进行第一插值；
[0149] 基于所述Υ坐标和所述Η坐标，对所述多个控制点进行第二插值；
[0150] 根据通过所述第一插值获得的X坐标和通过所述第二插值获得的Υ坐标，得到所 述代表所述对象的边界的曲线；
[0151] 其中所述Η坐标被设置成一个Η坐标仅对应于一个X坐标和一个Υ坐标。
[0152] 11. -种对象边界提取设备，包括：
[0153] 初始控制点获得装置，被配置为获得用于描绘对象的边界的多个控制点；
[0154] 用户修正接收装置，被配置为接收用户对于所述多个控制点中的一个控制点的修 正；
[0155] 控制点更新装置，被配置为更新与被修正的控制点相关的控制点；以及
[0156] 边界形成装置，被配置为连接经过修正和更新处理后的所述多个控制点，以得到 所述对象的边界。
[0157] 12.如附记11所述的对象边界提取设备，其中所述初始控制点获得装置被进一步 配置为：
[0158] 获取所述对象的已有的边界，并对该已有的边界进行采样以得到所述多个控制 点；或者
[0159] 获取用于描绘所述对象的边界的已有的多个控制点。
[0160] 13.如附记11所述的对象边界提取设备，其中所述控制点更新装置包括：
[0161] 确定单元，被配置为确定与所述被修正的控制点相关的待更新的控制点；
[0162] 调整单元，被配置为基于所述待更新的控制点两侧的控制点以及所述待更新的控 制点所在区域的图像特征，调整所述待更新的控制点的位置。
[0163] 14.如附记13所述的对象边界提取设备，其中所述确定单元被进一步配置为：
[0164] 对于所述多个控制点形成一条非闭合曲线的情况，
[0165] 以所述被修正的控制点作为起点，沿着所述非闭合曲线，朝相反的两个方向，分别 寻找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终 点，所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作 为所述待更新的控制点两侧的控制点；
[0166] 对于所述多个控制点形成一条闭合曲线的情况，
[0167] 以所述被修正的控制点作为起点，沿着所述闭合曲线，朝相反的两个方向，分别寻 找与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终点， 并且所述起点与朝两个方向找到的两个终点之间的所述闭合曲线的两个区段彼此不重合， 所述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作为所 述待更新的控制点两侧的控制点。
[0168] 15.如附记13所述的对象边界提取设备，其中所述图像特征包括：梯度特征、颜色 特征、纹理特征中的至少一种。
[0169] 16.如附记13所述的对象边界提取设备，其中所述调整单元包括：
[0170] 边界追踪单元，被配置为基于所述待更新的控制点两侧的控制点以及所述待更新 的控制点所在区域的图像特征，进行边界追踪，以得到局部边界曲线；
[0171] 局部采样单元，被配置为对所述局部边界曲线进行采样，以得到更新后的控制点。
[0172] 17.如附记16所述的对象边界提取设备，其中
[0173] 所述图像特征包括梯度特征；
[0174] 所述设备还包括：梯度调整单元，被配置为增强对象边界区域的梯度，或者增强对 象区域内的梯度和/或削弱所述对象区域外的梯度；并且
[0175] 所述边界追踪单元被进一步配置为进行基于梯度的边界追踪。
[0176] 18.如附记17所述的对象边界提取设备，其中所述边界追踪单元被进一步配置 为：
[0177] 在与所述对象所在的图像对应的梯度图中，基于梯度值，获得连接所述待更新的 控制点两侧的控制点的局部边界曲线，使得所述局部边界曲线的梯度值总体最大。
[0178] 19.如附记11所述的对象边界提取设备，其中所述边界形成装置被进一步配置 为：
[0179] 对经过修正和更新处理后的所述多个控制点进行插值，以得到代表所述对象的边 界的曲线。
[0180] 20.如附记19所述的对象边界提取设备，其中所述边界形成装置被进一步配置 为：
[0181] 基于与表征所述多个控制点的位置的X坐标和Y坐标所述X坐标和Y坐标均不同 的Η坐标和所述X坐标，对所述多个控制点进行第一插值；
[0182] 基于所述Υ坐标和所述Η坐标，对所述多个控制点进行第二插值；
[0183] 根据通过所述第一插值获得的X坐标和通过所述第二插值获得的Υ坐标，得到所 述代表所述对象的边界的曲线；
[0184] 其中所述Η坐标被设置成一个Η坐标仅对应于一个X坐标和一个Υ坐标。
【权利要求】
1. 一种对象边界提取方法，包括： 获得用于描绘对象的边界的多个控制点； 接收用户对于所述多个控制点中的一个控制点的修正； 更新与被修正的控制点相关的控制点；以及 连接经过修正和更新处理后的所述多个控制点，以得到所述对象的边界。
2. 如权利要求1所述的方法，其中所述获得用于描绘对象的边界的多个控制点包括： 获取所述对象的已有的边界，并对该已有的边界进行采样以得到所述多个控制点；或 者 获取用于描绘所述对象的边界的已有的多个控制点。
3. 如权利要求1所述的方法，其中所述更新与被修正的控制点相关的控制点包括： 确定与所述被修正的控制点相关的待更新的控制点； 基于所述待更新的控制点两侧的控制点以及所述待更新的控制点所在区域的图像特 征，调整所述待更新的控制点的位置。
4. 如权利要求3所述的方法，其中所述确定待更新的控制点包括： 对于所述多个控制点形成一条非闭合曲线的情况， 以所述被修正的控制点作为起点，沿着所述非闭合曲线，朝相反的两个方向，分别寻找 与所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终点，所 述起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作为所述 待更新的控制点两侧的控制点； 对于所述多个控制点形成一条闭合曲线的情况， 以所述被修正的控制点作为起点，沿着所述闭合曲线，朝相反的两个方向，分别寻找与 所述被修正的控制点之间的控制点均未被用户修正过且个数最多的控制点作为终点，并且 所述起点与朝两个方向找到的两个终点之间的所述闭合曲线的两个区段彼此不重合，所述 起点和所述终点之间的控制点作为所述待更新的控制点，所述起点和所述终点作为所述待 更新的控制点两侧的控制点。
5. 如权利要求3所述的方法，其中所述图像特征包括：梯度特征、颜色特征、纹理特征 中的至少一种。
6. 如权利要求3所述的方法，其中所述调整所述待更新的控制点的位置包括： 基于所述待更新的控制点两侧的控制点以及所述待更新的控制点所在区域的图像特 征，进行边界追踪，以得到局部边界曲线； 对所述局部边界曲线进行采样，以得到更新后的控制点。
7. 如权利要求6所述的方法，其中 所述图像特征包括梯度特征； 在所述更新步骤之前，所述方法还包括： 增强对象边界区域的梯度，或者 增强对象区域内的梯度和/或削弱所述对象区域外的梯度；并且在所述调整步骤中， 进行基于梯度的边界追踪。
8. 如权利要求1所述的方法，其中所述连接步骤包括： 对经过修正和更新处理后的所述多个控制点进行插值，以得到代表所述对象的边界的 曲线。
9. 如权利要求8所述的方法，其中所述插值步骤包括： 基于与表征所述多个控制点的位置的所述X坐标和Y坐标均不同的Η坐标和所述X坐 标，对所述多个控制点进行第一插值； 基于所述Υ坐标和所述Η坐标，对所述多个控制点进行第二插值； 根据通过所述第一插值获得的X坐标和通过所述第二插值获得的Υ坐标，得到所述代 表所述对象的边界的曲线； 其中所述Η坐标被设置成一个Η坐标仅对应于一个X坐标和一个Υ坐标。
10. -种对象边界提取设备，包括： 初始控制点获得装置，被配置为获得用于描绘对象的边界的多个控制点； 用户修正接收装置，被配置为接收用户对于所述多个控制点中的一个控制点的修正； 控制点更新装置，被配置为更新与被修正的控制点相关的控制点；以及 边界形成装置，被配置为连接经过修正和更新处理后的所述多个控制点，以得到所述 对象的边界。
【文档编号】G06K9/46GK104112137SQ201310141765
【公开日】2014年10月22日 申请日期:2013年4月22日 优先权日:2013年4月22日
【发明者】潘攀, 何源, 孙俊, 直井聪 申请人:富士通株式会社