专利名称：数字图像分段方法及装置的制作方法
技术领域：
本发明涉及一种图像分段方法，尤其涉及一种用于将数字图像分段成多个目标以进行基于目标的图像处理数字图像分段方法。另外，本发明还涉及一种跟踪通过上述方法分段的图像中的一个区的方法，并涉及一种实现图像分段方法的数字图像分段装置。
基于目标数字图像处理的基础是图像分段。但是，尚未见到有提供满意的实时结果的图像分段方法的报道。
为了解决上述问题，本发明的一个目的是提供一种数字图像分段方法，用于将数字图像高速地分段成多个目标，以进行基于目标的图像处理。
本发明的另一目的是提供一种高速地跟踪图像区域的方法，其中该图像由上述方法进行分段。
本发明的又一目的是提供一种用于实现图像分段方法的数字图像分段装置。
因此，为了实现第一个目的，本发明提供一种数字图像分段方法，该方法包括下列步骤(a)在多个数字图像帧中设定一个任意帧作为I帧，而将其他帧作为P帧；(b)将I帧分段成多个区域；和(c)通过采用分段的I帧区域相对于各P帧的一运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动的I帧区域设定为分段的P帧区域，从而对P帧进行分段。
最好，在步骤(a)之前，该数字图像分段方法包括如下步骤(p-a-1)将所接收到的图像流组合成多个连续的帧组，并且在步骤(a)在每个组中将一个任意帧设定为I帧，而将其他帧作为P帧。
最好，步骤(c)包括下列子步骤执行仿射(affine)匹配方法，用于将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域；获得表示相对于I帧区域的P帧仿射匹配区域偏移量的运动向量；及，将分段的I帧区域相对于P帧移动该运动向量，并将移动过的I帧区域设定为P帧区域。
最好，该数字图像分段方法在步骤(c)之后还包括下列子步骤(d)确定经处理过的分段的I帧区域是否为最后一个；及(e)如果在步骤(d)确定该分段的I帧区域不是最后一个，则返回到步骤(c)，其中根据I帧的分段来对各P帧进行顺序分段。
为了实现第二个目的，本发明提供一种跟踪由数字图像分段方法分段的图像中的区域的方法，该跟踪方法包括下列步骤采用仿射运动补偿方法来跟踪各I帧区域，该仿射补偿方法用于将一个组中的一个I帧区域相对于另一组中的一个I帧移动预定偏移量，并将另一组中与第一I帧区域的差异最小的I帧区域设定为仿射匹配区域；和采用对各组中各I帧的运动预测，跟踪通过对各P帧分段而形成的各P帧区域。
为了实现第三个目的，本发明提供了一种数字图像分段装置，该装置包括分组单元，用于将一个图像流分组成多个连续的帧组，并将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧；I帧分段单元，用于将所接收到的I帧分段，并输出分段的I帧，和顺序输出分段的I帧区域；仿射匹配单元，用于通过采用所接收到的分段的I帧区域相对于P帧的运动预测获得运动向量；P帧分段单元，用于接受各P帧和该运动向量，并通过将分段的I帧区域移动该运动向量，来对各P帧分段。
通过参照附图对本发明优选实施例的详细描述，本发明的上述目的和优点将变得更加清楚，附图中
图1是表示本发明数字图像分段方法的基本步骤的流程图；图2是表示本发明数字图像分段方法中的帧分组步骤的示意图；图3是表示本发明数字图像分段方法中的I帧设定步骤的示意图；图4是表示根据本发明用于采用由数字图像分段方法分段的I帧的一个区域对P帧进行分段的处理的示意图；图5是表示根据本发明用于由数字图像分段方法分段的各图像组中的区域的处理的示意图；和图6是表示本发明数字图像分段装置的结构的框图。
参照图1，在本发明的数字图像分段方法中，首先，在步骤102，将一图像流分组成多个连续的帧组。图2是用于解释本发明数字图像分段方法中帧分组步骤的示意图。亦即，在分组步骤102中，将多个帧分组成多个连续的帧组，从而形成第一、第二、第三和第四组G0、G1、G2和G3。在MPEG编码情况下，可将13个帧形成为一个例如为“IBBPBBPBBPBBI”的组。
在步骤104，将每个组中的一个任意帧设定为I帧，而将其他的帧设定为P帧。图3表示其中在步骤104设定了I帧和各P帧的一个组的示例。该I帧可被任意设定，或被设定为参照MPEG-2标准的数字图像帧管理信息确定的内帧(intra frame)。在每个组中，未被设定为I帧的其他帧被设定为P帧。
在步骤122，该I帧被分段为多个区域。在分段步骤122中，可采用为本领域内的普通技术人员所熟知的各种分段方法。
在步骤124，从分段的I帧的各区域中选择一个区域。在步骤14，通过所选区域相对于一P帧的运动预测，提取一运动向量，并将所选区域移动该运动向量，并将其设定为一分段的P帧区域，从而将该P帧分段。P帧分段步骤14包括3个子步骤。在第一步骤142，执行仿射匹配，其中将所选I帧区域相对于P帧移动预定偏移量，并将与所选I帧区域的差异最小的P帧区域设定为仿射匹配区域。在第二步骤144，获得运动向量，该运动向量表示仿射匹配P帧区域相对于所选I帧区域的偏移量。在第三步骤146，在该P帧中，通过将分段的I帧区域移动该运动向量，来确定P帧区域。图4的示意图表示根据本发明采用由数字图像分段方法分段的I帧的一个区域对P帧进行分段的处理。下面将参照图4来详细描述用于将P帧分段的处理。首先，在分段的I帧区域中设定一区域(Si)。定义另一区域(Si′)，该区域(Si′)与区域(Si)偏移某一偏移量，并对应于区域Si，然后，计算区域Si′和Si之间的差值。这里，可根据是否为黑白图像或彩色图像，而采用不同的方法来执行差值计算。例如在黑白图像的情况下，可计算亮度的差值。例如在彩色图像的情况下，可计算亮度和色度的差值。例如，对所有坐标执行这种计算，并对计算结果进行求和。将给出的I帧区域移动预定偏移量，并将与所设定的I帧区域差异最小的一P帧区域设定为仿射匹配区域。将区域(Si)和其与区域(Si)的差异最小区域(Si′)之间的方向和距离设定为运动向量MV。将该I帧分段的区域移动该运动向量(MV)，并将其设定为分段的P帧区域(Si′)。这种处理是在P帧上对I帧区域的运动预测，并可被理解为类似于MPEG-2运动预测。
根据本发明，在P帧分段步骤14之后，在步骤182，确定分段的I帧区域是否为最后的区域。如果在步骤182确定该分段的I帧区域不是最后一个，则在步骤184选择下一个区域，并且处理过程返回到P帧分段步骤14。从而，相对于所有分段的I帧区域，将各P帧顺序地分段。以这种方式，对I帧的分段应用于P帧分段上，而不必对每个帧执行传统的耗时的分段处理。
可通过根据本发明的对分段的数字图像的区域跟踪方法，来对由上述方法分段的图像组进行快速区域跟踪。图5表示采用本发明的区域跟踪方法进行的区域跟踪处理。根据本发明区域跟踪方法的一实施例，通过仿射运动补偿来执行相对于I帧的区域跟踪，在该仿射运动补偿中，在由上述方法分段的各图像组之间，将一个分段的I帧区域相对于另一个I帧移动一预定的偏移量，从而将与原始区域的差异最小的区域设定为仿射匹配区域。这里，最好采用纹理和尺寸特性两者来防止区域的误选择。已通过空间分段处理来完成每个组中的区域跟踪。因此，在每个组中，可对I帧执行运动预测，从而可实现对分段的P帧区域的跟踪。在上述本发明的区域跟踪方法中，不是对所有区域执行跟踪，而是对每个目标执行跟踪，从而可实现快捷的区域跟踪。
本发明的数字图像分段方法和分段的数字图像区域跟踪方法可被编写成可由计算机执行的程序。另外，这些方法可在运行从各计算机中使用的介质读出的程序的一般的通用数字计算机中实现。该介质可以是诸如软盘或硬盘的磁记录介质、诸如CD-ROM或DVD的光记录介质、或者是用于经因特网(Internet)发送的载波的介质。另外，本发明技术领域内的普通编程人员能够很容易得出这些函数程序、代码和代码段。
本发明的图像分段方法也可实现为一装置。该装置可被用作在诸如数字照相机或数字摄录机的数字图像处理装置中用于对图像进行编辑的图像搜索装置。
图6是表示本发明数字图像分段装置结构的框图。参照图6，本发明的图像分段装置包括分组单元60、I帧分段单元62、仿射匹配单元64、和P帧分段单元66。
分组单元60接收一图像流，将该图像流分组成多个连续的帧组，并在每个组中将一任意帧设定为I帧，而将其他帧设定为P帧。I帧分段单元62接收I帧，将该I帧分段成多个区域，并顺序地输出分段的I帧区域(Ri)。仿射匹配单元64接收I帧区域(Ri)和P帧，并通过执行基于仿射匹配方法的运动预测来输出一运动向量MV。在该仿射匹配方法中，一个分段的I帧区域相对于另一个I帧移动预定的偏移量，并将另一I帧上的与原始区域的差异最小的区域设定为仿射匹配区域，如参照图4所述的。P帧分段单元66接收P帧和运动向量，将分段的I帧区域移动对应于运动向量MC的距离，并将该P帧分段。
在上述本发明的数字图像分段方法和装置中，将对I帧的分段应用于P帧分段上，而不必执行耗费大量时间的对所有帧的传统分段处理。因此，可执行快速的分段。
另外，在本发明的分段的数字图像区域跟踪方法中，不是对每个区域执行跟踪，而是对每个目标执行跟踪。因此，能够执行对各区域的快捷的跟踪。
权利要求
1.一种数字图像分段方法，包括下列步骤(a)在多个数字图像帧中设定一个任意帧作为I帧，而将其他帧作为P帧；(b)将I帧分段成多个区域；和(c)通过采用分段的I帧区域相对于各P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段。
2.如权利要求1所述的数字图像分段方法，在步骤(a)之前，该数字图像分段方法包括如下步骤(p-a-1)将所接收到的图像流组合成多个连续的帧组，并且在步骤(a)在每个组中将一个任意帧设定为I帧，而将其他帧作为P帧。
3.如权利要求1或2所述的数字图像分段方法，其中，步骤(c)包括下列子步骤执行仿射(affine)匹配方法，用于将分段的I帧区域相对于P帧区域移动一预定偏移量，并将其每个与各I帧区域的差异最小的各P帧区域设定为仿射匹配区域；获得表示P帧仿射匹配区域相对于I帧区域的偏移量的运动向量；及将分段的I帧区域相对于P帧移动该运动向量，并将移动过的I帧区域设定为各P帧区域。
4.如权利要求1或2所述的数字图像分段方法，其中，在步骤(c)之后还包括下列子步骤(d)确定经处理过的分段的I帧区域是否为最后一个；及(e)如果在步骤(d)确定该分段的I帧区域不是最后一个，则返回到步骤(c)，其中根据I帧的分段来对各P帧进行顺序分段。
5.一种跟踪由数字图像分段方法分段的图像的区域的方法，其中，该数字图像分段方法包括下列步骤将一个图像流分组成多个连续的帧组，将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧，将I帧分段成多个区域，并且，通过采用分段的I帧区域相对于P帧的运动预测获得运动向量，将分段的I帧区域移动该运动向量，并将移动过的I帧区域设定为分段的P帧区域，从而对各P帧进行分段，该跟踪方法包括下列步骤采用仿射运动补偿方法来跟踪各I帧区域，该仿射补偿方法用于将一个组中的一个I帧区域相对于另一组中的一个I帧移动一预定偏移量，并将该另一组中与第一I帧区域的差异最小的I帧区域设定为仿射匹配区域；和采用对各组中各I帧的运动预测，跟踪通过对各P帧分段而形成的各P帧区域。
6.一种数字图像分段装置，包括分组单元，用于将一个图像流分组成多个连续的帧组，并将每个组中的一个任意帧设定为I帧，而将其他帧设定为P帧；I帧分段单元，用于将所接收到的I帧分段，并输出分段的I帧，和顺序输出分段的I帧区域；仿射匹配单元，用于通过采用所接收到的采用分段的I帧区域相对于各P帧的运动预测来获得运动向量；和P帧分段单元，用于接受各P帧和该运动向量，并通过将分段的I帧区域移动该运动向量，来对各P帧分段。
全文摘要
一种数字图像分段方法和装置。该方法包括下列步骤:在多个数字图像帧中设定一个任意帧作为I帧,而将其他帧作为P帧;将I帧分段成多个区域;和通过采用分段的I帧区域相对于各P帧的运动预测获得运动向量,将分段的I帧区域移动该运动向量,并将移动过的I帧区域设定为分段的P帧区域,从而对各P帧进行分段。因此,将对I帧的分段应用于对P帧的分段,不必执行耗费大量时间的对所有帧的传统分段处理。因此,可执行快速的分段。
文档编号H04N7/36GK1278688SQ0010477
公开日2001年1月3日 申请日期2000年3月28日 优先权日1999年6月17日
发明者申铉枓, 崔良林, B·S·曼朱纳思, 邓忆宁 申请人:三星电子株式会社, 加利福尼亚大学董事会