一种基于全局期望最大算法的手势分割方法及系统的制作方法
【技术领域】
[0001] 本发明属于人机交互图像信息处理技术领域，更具体地，涉及一种基于全局期望 最大算法的手势分割方法及系统。
【背景技术】
[0002] 基于图像信息的生物特征识别是近年来计算机视觉研究中的一个热点，其中，针 对人类生物特征的识别不可避免地成为了主要研究内容，进一步地，手势识别研究是人类 生物特征识别的重要研究内容，它主要从图像数据中分割、跟踪和识别出不同的手势，并对 其加以描述和理解。手势识别技术源于数字图像处理与机器学习算法的研究，而手势分割 是手势识别研究流水线的基础和先导，对最终的手势识别结果有决定性影响。
[0003] 手势分割是指把属于手势的像素点与不属于手势的像素点区分开来，手势分割的 重要性在于把属于手势的像素点传递给手势跟踪和识别阶段，保证后续研究的收敛性。为 了实现手势分割，首先需要选择一个合适的颜色空间对颜色进行建模，目前常用的颜色空 间包括RGB、归一化RGB、HSV、YCrCb、YUV等。由于要尽可能地避免环境光照和阴影的不利 影响，使手势分割具备一定的鲁棒性，在颜色空间的选择上一般遵循一个通用的原则，即能 把色度和亮度较好地分离开来的颜色空间更有利于基于肤色的分割研究。
[0004] 颜色空间确定之后，还需要进一步确定肤色在该颜色空间中的分布情况，即在颜 色空间中对肤色进行建模。一般使用高斯概率密度函数估计像素点为肤色点的概率，以海 量图像集合为训练数据，且每个图像中标注出了肤色像素点和非肤色像素点。具体的模型 训练过程为在某个特定的颜色空间中标注出每个肤色像素点所在的位置，如果肤色像素点 足够多的话，就可以最终得到一个近似高斯分布的肤色直方图，从而进一步得到高斯分布 的均值和方差等参数，从而成功建立肤色的高斯模型。对于肤色的高斯模型而言，对其输入 任意像素点，输出为该像素点肤色点的可能性。对高斯模型中的各个参数的求解，多采用期 望最大（ExpectationMaximization,EM)算法。EM算法是求参数极大似然估计的一种迭代 优化策略，它能从非完整数据集中对参数进行极大似然估计，是一种简单实用的学习算法。
[0005] 但是在传统的计算机视觉领域手势分割问题中，仍凸显出很多问题，如分割易受 干扰、EM算法难以获得全局最优解等，由于实际环境背景的复杂性，再考虑到背景可能发生 光照、阴影等变化，除了背景外还存在类肤色物体的干扰，比如当人脸和手势同时出现在图 像中时，通过肤色很难将二者区分开来，因而很可能出现误判。
【发明内容】
[0006] 针对现有技术的以上缺陷或改进需求，本发明提供了一种基于全局期望最大算法 的手势分割方法及系统，以建立全局最优EM算法为切入点，以融合深度数据为手段，采用 全局极大值搜索等方法，建立3D-S空间模型，进而生成可比较的数学描述，实现两种模型 融合的基础，为不同模态数据之间的融合提供一种新的依据。
[0007] 为实现上述目的，按照本发明的一个方面，提供了一种基于全局期望最大算法的 手势分割方法，其特征在于，包括如下步骤：
[0008] (1)在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型；
[0009] (2)将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像 的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；
[0010] (3)根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空 间中各点及其肤色相似度组成的四维空间模型；
[0011] 所述四维空间模型以四维空间超曲面表示如下：
[0013] 其中，hh，x2,x3)表示三维空间中坐标为（χ^x2,x3)的点的肤色相似度，叉2和 x3分别为三维空间中的点在三个维度上的坐标，a。、a2、a3、a4、ajPa6均为已知系数；
[0014] ⑷将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效 果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照 梯度上升的方向得到各子空间的四维空间超曲面的极大值；
[0015] (5)将步骤⑷得到的各子空间的四维空间超曲面的极大值作为初值，分别进行 EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。
[0016] 优选地，所述步骤（4)中，损失函数为： 降法，根据如下递推公式调整A的值：A=A-λ▽AJ(A)，使J㈧取得最小值J㈧_，利用J(A)min对应的A值确定子空间的四维空间超曲面，其中，A= (a。aia2a3a4a5a6)T，s(1)表 示子空间中第i个点的实际肤色相似度，表示X。由超曲面拟合计算得到的肤色 相似度，m为子空间中点的个数，VA表示A的梯度，λ为步长。
[0017] 优选地，所述步骤（1)中，肤色的高斯模型如下：
[0018] pc(x) =aCrg(x,μ&, 5Cr) +acbg(x,μcb,δcb),
[0019] 其中，ρ?表示像素点为肤色点的概率，a&表示Cr分量在颜色空间中所占的比 重，acb表示Cb分量在颜色空间中所占的比重，X为Cr、Cb二维空间中的坐标点，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)为X点在Cr分量中的肤色 相似度高斯模型，g(x，yeb，Seb)为X点在Cb分量中的肤色相似度高斯模型。
[0020] 按照本发明的另一方面，提供了一种基于全局期望最大算法的手势分割系统，其 特征在于，包括：
[0021] 第一模块，用于在YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模 型；
[0022] 第二模块，用于将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到 待分割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率；
[0023] 第三模块，用于根据待分割图像的深度信息及其中所有像素点的肤色相似度，得 至岫三维空间中各点及其肤色相似度组成的四维空间模型；
[0024]所述四维空间模型以四维空间超曲面表示如下：
[0026] 其中，h(Xdx2,x3)表示三维空间中坐标为（Xdx2,x3)的点的肤色相似度，X。义2和 x3分别为三维空间中的点在三个维度上的坐标，a。、a2、a3、a4、ajPa6均为已知系数；
[0027] 第四模块，用于将四维空间模型划分为多个子空间，在每个子空间中，构建评价超 曲面拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲 面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值；
[0028] 第五模块，用于将第四模块得到的各子空间的四维空间超曲面的极大值作为初 值，分别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势 分割结果。
[0029] 总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下有益效 果：
[0030] (1)针对手势图像易受光照和类肤色物体影响导致分割不尽如人意的问题，在图 像数据的基础上融合深度数据，建立3D-S空间模型，较传统的基于肤色模型的手势分割算 法增强了判断的依据。
[0031] (2)引入全局极大搜索算法，避免了在EM迭代过程中进行全局搜索，极大地降低 了计算量。
[0032] (3)EM算法在迭代之前的初值并非是随机选择的，而是经过了全局极大搜索后的 结果，既能有效降低EM算法的迭代次数，又能弥补EM算法无法确定全局最优的缺点，实现 EM算法结果的全局最优。
【附图说明】
[0033]图1是本发明实施例的基于全局期望最大算法的手势分割方法流程图。
【具体实施方式】
[0034] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要 彼此之间未构成冲突就可以相互组合。
[0035] 如图1所示，本发明实施例的基于全局期望最大算法的手势分割方法包括如下步 骤：
[0036] (1)利用中国科学院计算技术研究所多媒体计算课题组的MCG-Skin数据集，在 YCrCb颜色空间中基于Cr分量和Cb分量，建立肤色的高斯模型如下：
[0037] pc (x) =aCrg(χ,μCr,δCr) +αcbg(χ,μcb,δcb),
[0038] 其中，ρ?表示像素点为肤色点的概率，α&表示Cr分量在颜色空间中所占的比 重，acb表示Cb分量在颜色空间中所占的比重，χ为Cr、Cb二维空间中的坐标点，μ&表示 Cr分量上高斯分布的方差，δ&表不Cr分量上高斯分布的均值，μ^表不^^分量上高斯分 布的方差，3?表不Cb分量上高斯分布的均值，g(x,μ&，δ&)为χ点在Cr分量中的肤色 相似度