前后景分割的方法及设备的制造方法
【技术领域】
[0001] 本发明实施例涉及图像处理领域，并且更具体地，涉及一种前后景分割的方法及 设备。
【背景技术】
[0002] 随着移动设备的发展，诸如移动电话，平板电脑等已经可用于视频通话。而用户在 使用过程中，出于保护隐私的考虑或者出于美观的角度，想要在视频通话过程中实时替换 背景。
[0003] 或者，在对已有的视频进行处理的过程中，出于美观的考虑，也有对视频的背景进 行替换的需求。
[0004] 前后景分割是视频处理过程中的一个重要环节，而现有的前后景分割的方法计算 复杂，导致耗时长，并且分割效率低。
【发明内容】
[0005] 本发明实施例提供一种前后景分割的方法，该方法计算简单，能够实时进行。
[0006] 第一方面，提供了一种前后景分割的方法，所述方法包括：基于第t_l帧图像的前 景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数；根据所 述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前景区域。
[0007] 结合第一方面，在第一方面的第一种可能的实现方式中，所述方法还包括：将满 足第二条件的第二图像作为第1帧图像的背景图像，所述第二条件为所述第二图像的色 调-饱和度-亮度值HSV空间的亮度值V通道的方差小于第一阈值，且所述第二图像的HSV 空间的色调H通道的方差小于第二阈值；采用人脸检测与聚类方法或者分水岭方法，确定 所述第1帧图像的前景区域。
[0008] 结合第一方面或者第一方面的第一种可能的实现方式，在第一方面的第二种可能 的实现方式中，所述基于第t_l帧图像的前景区域，采用块匹配方法，确定第t帧图像的第 一区域，包括：将所述第t帧图像分成m个图像块，m为大于2的正整数；确定所述第t帧图 像的m个图像块中的第i个图像块在所述第t-1帧图像中的匹配块，其中，i为不大于m的 正整数；当所述匹配块中包括属于所述第t-1帧图像的前景区域的像素时，确定所述第t帧 图像的m个图像块中的第i个图像块属于所述第t帧图像的第一区域。
[0009] 结合第一方面的第二种可能的实现方式，在第一方面的第三种可能的实现方式 中，所述根据所述第t帧图像的第一区域中满足第一条件的像素，确定所述第t帧图像的前 景区域，包括：确定所述第t-1帧图像中除前景区域之外的区域为所述t-1帧图像的背景区 域；确定所述第t帧图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算所 述第t-1帧图像的前景区域的历史累计颜色直方图，以及所述第t-1帧图像的背景区域的 历史累计颜色直方图；计算所述第t帧图像的第一区域的颜色直方图，以及所述第t帧图像 的第二区域的颜色直方图；计算所述第t帧图像的第一区域中的每一个图像块的颜色直方 图；根据所述第t-1帧图像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区 域的历史累计颜色直方图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第 二区域的颜色直方图和所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定 第一条件；在所述第t帧图像的第一区域中，确定满足所述第一条件的像素的集合组成的 区域为所述第t帧图像的前景区域。
[0010] 结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实 现方式中，所述第一条件为：卑其中，巧i+M， A=?产+/?/《1，#为所述第1帧图像的前景区域的颜色直方图，巧为所述第t帧图 像的第一区域的颜色直方图，为所述第t-1帧图像的前景区域的历史累计颜色直方图， 疗为所述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧 图像除所述第1帧图像的前景区域之外的区域，#为所述第t帧图像的第二区域的颜色直 方图，为所述第t-1帧图像的背景区域的历史累计颜色直方图，为所述第t帧图像 的第一区域中的像素所在的图像块的颜色直方图，a，0Y，入为不大于1的非负数，且a +3 + Y = 1。
[0011] 结合第一方面或者上述第一方面的任一种可能的实现方式，在第一方面的第五种 可能的实现方式中，所述方法还包括：确定第一图像，所述第一图像用于作为所述第t帧图 像的背景图像；将所述第t帧图像的前景区域和所述第一图像进行合成。
[0012] 第二方面，提供了一种前后景分割的设备，所述设备包括：第一确定单元，用于基 于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于 1的正整数；第二确定单元，用于根据所述第一确定单元确定的所述第t帧图像的第一区域 中满足第一条件的像素，确定所述第t帧图像的前景区域。
[0013] 结合第二方面，在第二方面的第一种可能的实现方式中，所述设备还包括第三确 定单元和第四确定单元：所述第三确定单元，用于将满足第二条件的第二图像作为第1帧 图像的背景图像，所述第二条件为所述第二图像的色调-饱和度-亮度值HSV空间的亮度 值V通道的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二 阈值；所述第四确定单元，用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧 图像的前景区域。
[0014] 结合第二方面或者第二方面的第一种可能的实现方式，在第二方面的第二种可能 的实现方式中，所述第一确定单元，包括：分割子单元，用于将所述第t帧图像分成m个图像 块，m为大于2的正整数；第一确定子单元，用于确定所述分割子单元分成的所述第t帧图 像的m个图像块中的第i个图像块，在所述第t-1帧图像中的匹配块，其中，i为不大于m的 正整数；第二确定子单元，用于当所述第一确定子单元确定的所述匹配块中包括属于所述 第t-1帧图像的前景区域的像素时，确定所述第t帧图像的m个图像块中的第i个图像块 属于所述第t帧图像的第一区域。
[0015] 结合第二方面的第二种可能的实现方式，在第二方面的第三种可能的实现方式 中，所述第二确定单元，包括：第三确定子单元，用于确定所述第t-1帧图像中除前景区域 之外的区域为所述t-1帧图像的背景区域，并确定所述第一确定单元确定的所述第t帧 图像中除第一区域之外的区域为所述第t帧图像的第二区域；计算子单元，用于计算所述 第t-1帧图像的前景区域的历史累计颜色直方图，计算所述第三确定子单元确定的所述第 t-1帧图像的背景区域的历史累计颜色直方图，计算所述第一确定单元确定的所述第t帧 图像的第一区域的颜色直方图，计算所述第三确定子单元确定的所述第t帧图像的第二区 域的颜色直方图，并计算所述第一确定单元确定的所述第t帧图像的第一区域中的每一个 图像块的颜色直方图；第四确定子单元，用于根据所述计算子单元计算的所述第t-1帧图 像的前景区域的历史累计颜色直方图、所述第t-1帧图像的背景区域的历史累计颜色直方 图、所述第t帧图像的第一区域的颜色直方图、所述第t帧图像的第二区域的颜色直方图和 所述第t帧图像的第一区域中的每一个图像块的颜色直方图，确定第一条件；第五确定子 单元，用于在所述第一确定单元确定的所述第t帧图像的第一区域中，确定满足所述第四 确定子单元确定的所述第一条件的像素的集合组成的区域为所述第t帧图像的前景区域。
[0016]结合第二方面的第三种可能的实现方式，在第二方面的第四种可能的实 现方式中，所述第一条件为：，其中，巧+(n)0;，戶X+对-1+M， 芎=<+辦g为第i帧图像的前景区域的颜色直方图，；> 为所述第t帧图像的第 一区域的颜色直方图，为所述第t-i帧图像的前景区域的历史累计颜色直方图，g为所 述第1帧图像的背景区域的颜色直方图，所述第1帧图像的背景区域为所述第1帧图像除 所述第1帧图像的前景区域之外的区域，< 为所述第t帧图像的第二区域的颜色直方图， iT为所述第t-i帧图像的背景区域的历史累计颜色直方图，认为所述第t帧图像的第一 区域中的像素所在的图像块的颜色直方图，a, 0，Y，入为不大于1的非负数，且a+@ +Y =1。
[0017]结合第二方面或者上述第二方面的任一种可能的实现方式，在第二方面的第五种 可能的实现方式中，所述设备还包括：第五确定单元，用于确定第一图像，所述第一图像用 于作为所述第t帧图像的背景图像；合成单元，用于将所述第二确定单元确定的所述第t帧 图像的前景区域和所述第五确定单元确定的所述第一图像进行合成。
[0018] 本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的 每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前 后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可 以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
【附图说明】
[0019] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中 所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图 获得其他的附图。
[0020] 图1是本发明实施例的前后景分割的方法的流程图。
[0021] 图2是本发明实施例的第二图像的一例示意图。
[0022] 图3是本发明实施例的初始帧的前后景分割的一例效果图。
[0023] 图4是本发明实施例的初始帧的前后景分割的另一例效果图。
[0024] 图5是本发明实施例的前后景分割的方法的示意性效果图。
[0025] 图6是本发明实施例的视频处理的方法