所示的方法是在前后景分割过程中，对第t帧图像的时域处理。
[0062] 本发明实施例的前后景分割过程中，在图1所示的方法之后，还可以包括空域处 理。具体地，可对步骤102所确定的第t帧图像的前景区域的边缘进行平滑，在此基础上再 分别进行腐蚀和膨胀，并进一步进行分水岭分割，以确定第t帧图像的前景图像。
[0063] 具体地，在对第t帧图像的前景区域的边缘进行平滑之后，可先进行适当的腐蚀， 腐蚀后的图像可理解为是收缩了的第t帧图像的前景区域，随后对该腐蚀后的图像进行边 缘检测，可得到该腐蚀后的图像的边缘，并且该腐蚀后的图像的边缘位于第t帧图像的前 景区域内，位于该腐蚀后的图像的边缘的像素可以作为后续分水岭分割的前景像素。
[0064]再对第t帧图像的前景区域的边缘进行平滑之后的图像，进行适当的膨胀，膨胀 后的图像可理解为是放大了的第t帧图像的前景区域，随后对该膨胀后的图像进行边缘检 测，可得到该膨胀后的图像的边缘，并且该膨胀后的图像的边缘位于第t帧图像的背景区 域内，位于该膨胀后的图像的边缘的像素可以作为后续分水岭分割的背景像素。
[0065] 随后，可基于上述腐蚀后的图像的边缘的像素和膨胀后的图像的边缘的像素，进 行分水岭分割，从而确定第t帧图像的前景图像。
[0066] 若视频处理的过程是对视频的背景作替换，即将视频中的背景替换为新的背景生 成新的视频，那么在该图1所示的前后景分割之后，将分割后的步骤102所确定的前景区域 与新的背景图像进行合成。
[0067]例如，对于第t帧图像来说，将如图5 (c)的第t帧图像的前景区域，与第一图像 进行合成。合成之后的新的图像如图5 (d)所示。
[0068] 具体地，可通过图像合成算法将第t帧图像的前景区域和第一图像进行合成。例 如，该图像合成算法可以是Alpha通道。具体地，可首先对第t帧图像的前景区域进行适当 的腐蚀，再对腐蚀后的图像的边缘作高斯平滑，并将该高斯平滑的结果作为Alpha通道值。 进一步地可利用Alpha通道融合第t帧图像的前景区域与第一图像，这样，便可将第t帧图 像的背景替换后的新的图像。
[0069]应注意，本发明实施例中，背景替换可以是在时域处理之后，将第t帧图像的前景 区域与第一图像进行合成。这样，该图像合成的速度较快，计算时间短。可以在视频进行过 程中进行实时地背景替换。
[0070] 或者，背景替换也可以是在空域处理之后，将第t帧图像的前景图像与第一图像 进行合成。这样，该图像合成的图像质量较高，并且该计算时间也较短。可以在视频进行过 程中进行实时地高质量的背景替换。
[0071] 本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的 每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前 后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可 以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
[0072] 图6是本发明实施例的视频处理的方法的流程图。该视频处理是对视频进行过程 中的背景进行实时替换。图6所示的流程图包括：
[0073] 201，确定第一图像和确定第二图像。
[0074] 具体地，第一图像为在视频过程中进行背景替换所需的新的背景的图像。第二图 像为在视频过程中设备所拍摄的真实的背景的图像，或者也可以说是在视频过程中进行背 景替换的旧的背景的图像。
[0075] 在视频开始之前，可将期望参与视频的对端所看到的背景的图像，确定为第一图 像。并通过场景判断确定第二图像。具体地，可通过纹理判断和颜色判断确定第二图像。
[0076] 例如，若进行视频的设备为移动电话，可在视频开始之前，移动电话采集第一场 景。若该第一场景的HSV空间的V通道的方差小于第一阈值，且第一场景的HSV空间的H通 道的方差小于第二阈值，可确定该第一场景为第二图像。若该第一场景的HSV空间的V通 道的方差不小于第一阈值，或第一场景的HSV空间的H通道的方差不小于第二阈值，进行视 频的移动电话的用户可手持移动电话更换场景至第二场景，重新确定该第二场景是否可用 于第二图像。其中，第一阈值和第二阈值是预设的。该步骤201可参见前述图2的描述。
[0077] 该步骤201也可以理解为是在视频开始之前，选择新旧背景图像。
[0078] 202,确定第1帧图像的前景区域和第1帧图像的背景区域。
[0079] 具体地，将步骤201所确定的第二图像作为视频的第1帧图像的背景图像并开始 视频的过程。
[0080] 步骤202也可称为初始帧的前后景分割。具体地，可通过人脸检测与聚类方法确 定第1帧图像的前景区域。或者，可通过分水岭方法确定第1帧图像的前景区域。
[0081] 例如，若进行视频的设备为移动电话，进行视频的移动电话的用户，可在第1帧图 像的前景区域和第1帧图像的背景区域的分界处的两侧，手动地划两道，这两道所在的像 素可分别作为后续分水岭算法的前景像素和背景像素，这样便可采用分水岭算法将第1帧 图像的前景区域和第1帧图像的背景区域实现分割，从而确定第1帧图像的前景区域。具 体地，可参见前述图3和图4的描述。
[0082] 203,将第1帧图像的前景区域和第一图像进行合成。
[0083] 具体地，可采用Alpha通道融合，将第1帧图像的前景区域和第一图像进行合成。
[0084] 首先令t=2，执行步骤204。
[0085] 204,采用块匹配算法，确定第t帧图像的第一区域。
[0086] 具体地，本发明实施例中的步骤204,可参见图1中的步骤101，为避免重复，这里 不再赘述。
[0087] 205,确定第t帧图像的前景区域。
[0088] 具体地，本发明实施例中的步骤205,可参见图1中步骤102,为避免重复，这里不 再赘述。
[0089] 206,根据第t帧图像的前景区域确定第t帧图像的前景图像。
[0090] 具体地，本发明实施例中的步骤206,可参见前述关于空域分割的描述，为避免重 复，这里不再赘述。
[0091] 207,将第t帧图像的前景图像和第一图像进行合成。
[0092] 具体地，可采用Alpha通道融合，将第t帧图像的前景图像和第一图像进行合成。
[0093] 这样，便完成了对第t帧图像的背景替换。
[0094] 208,t增加1，继续执行步骤204。
[0095] 209,背景替换之后的视频图像。
[0096] 这样，通过对视频的每一帧图像的前后景分割和图像合成之后，能够得到进行背 景替换之后的视频图像。
[0097]可理解，参与视频的对端所看到的视频的背景图像为第一图像。
[0098]本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的 每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割，进而能够将每一帧图像 的背景区域替换为新的图像，实现视频过程中的背景替换。并且，本发明实施例中前后景分 割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可以适用 于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
[0099]应注意，这里所说的移动摄像头可以是在视频过程中，参与视频的用户在运动，例 如可以是转动。或者也可以是在视频过程中，参与视频的用户手持设备在运动，例如，可以 是用户手持设备在走动，也可以是用户手持设备并将设备进行转动，等等。本发明对此不作 限定。
[0100]同时，本发明实施例中的前后景分割方法的稳定性高，不会由于视频中前景突然 消失与出现而出现误分割。
[0101]另外，本发明实施例也可以应用于对背景中强光源的情况。也就是说，即使视频的 原背景中有强光源，也可以实现前后景分割。如图7所示。图7(a)所示的视频的第t帧图 像的原背景中有强光源，采用本发明实施例的如图6所示的背景替换的方法之后，图7 (b) 为背景替换之后的第t帧图像。
[0102]图8是本发明一个实施例的前后景分割的设备的框图。图8所示的设备300包括 第一确定单元301和第二确定单元302。
[0103]第一确定单元301，用于基于第t-1帧图像的前景区域，采用块匹配方法，确定第t帧图像的第一区域，其中，t为大于1的正整数。
[0104]第二确定单元302,用于根据第一确定单元301确定的所述第t帧图像的第一区域 中满足第一条件的像素，确定所述第t帧图像的前景区域。
[0105]本发明实施例中，基于学习策略，利用块匹配方法和颜色直方图，能够确定视频的 每一帧图像的前景区域，实现对视频的每一帧图像的前后景分割。并且，本发明实施例中前 后景分割的算法比较简单，运行时间短，能够在视频过程中实时进行。同时，该方法不仅可 以适用于固定摄像头时的视频过程，也可以应用于移动摄像头所进行的视频过程。
[0106]可选地，作为一个实施例，图8所示的设备300还可包括：第三确定单元303和第 四确定单元304。第三确定单元303用于将满足第二条件的第二图像作为第1帧图像的背 景图像，所述第二条件为所述第二图像的色调-饱和度_亮度值HSV空间的亮度值V通道 的方差小于第一阈值，且所述第二图像的HSV空间的色调H通道的方差小于第二阈值。第 四确定单元304用于采用人脸检测与聚类方法或者分水岭方法，确定所述第1帧图像的前 景区域。