高斯模型，g(x，μeb，Sa)为χ点在Cb分量中的肤色相似度高斯模型。
[0039]具体地，根据不同颜色空间对肤色的表达，不同模型对肤色的不同建模方式，研究 每一类模型在实际场景中的适用性，从而形成肤色模型基于颜色空间的表达。
[0040] (2)将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像 的所有像素点为肤色点的概率，即肤色相似度。
[0041] (3)根据待分割图像的深度信息（即目标到摄像头的距离）及其中所有像素点的 肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维3D-S空间模型。
[0042] 3D-S空间模型以四维空间超曲面表示如下：
[0043] h(x},x2tx3) -α0+α,χ, +α2χ{+α3χ2 +α4χ; +α5χ^+abx^?
[0044] 其中，h(Xuχ2,χ3)表示三维空间中坐标为（χ^χ2,χ3)的点χ3[^肤色相似度，χρΧ；； 和义3分别为x3[)在三个维度上的坐标，a。、a。a2、a3、a4、&5和a6均为已知系数。
[0045]h(Xl，x2,x3)以矩阵形式表示为：
[0046]h(x〇x2,x3)=ATX，
[0047]其中，
[0048] (4)将四维3D-S空间模型划分为多个子空间，在每个子空间中，构建评价超曲面
，利用梯度下降法，根据如下递推公式调 整A的值:A=A-λ▽AJ(A)，使J(A)取得最小值J(A)_，利用J(A)_对应的A值确定子 空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大 值ΘΘ2,Θ3, · ··，θn。
[0049] 其中，s(1)表示子空间中第i个点4的实际肤色相似度，办(〇表示xg由超曲面 拟合计算得到的肤色相似度，m为子空间中点的个数，VA表示Α的梯度，λ为步长，Θ第t个子空间的极大值，t= 1，2,. . .，η，η为子空间的个数。
[0050] 在本发明的一个实施例中，每个子空间包含128*128*128*128个点。
[0051] (5)将步骤⑷得到的各子空间的四维空间超曲面的极大值作为初值，分别进行 ΕΜ算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。
[0052] 进一步包括如下步骤：
[0053] (5-1)令子空间的序号t= 1;
[0054] (5_2)E步：对第t个子空间的极大值Θt进行迭代计算：
[0055]
[0056] 其中，x(1)为子空间中的点；z(1)为子空间中的点X(1)所属的分类，ρ(ζ(1) |χ(1);Θt) 为条件概率，表示x(1)在参数Θt这个条件时，属于分类的概率，这也是1(2?)的含义；
[0057] (5-3)Μ步：计算迭代后的Θ为：
[0059]
，若t<η，则令t=t+Ι，返回步 骤（5-3)，若t= =n，则说明所有子空间的极大值均执行完毕，将αα2,α3, ...，αn中最 大者对应的子空间的四维空间超曲面的初始极大值作为手势分割的全局最优值。
[0060]SKIG数据集由Sheffield大学使用微软Kinect传感器采集，包括10类共2160个 手势图像序列，其中1080个是RGB图像序列，1080个是深度图像序列。将未标注的SKIG数 据集作为输入，利用上述手势分割算法得到手势分割的全局最优值，将其与人工标注SKIG 数据集得到的手势图形数据集合进行比较，其中，手势图形数据集合包括：每个样本手势的 RGB图像序列和深度图像序列，每帧图像中包含手势的最小矩形和该最小矩形的中心点，手 势运动轨迹，以及手势识别结果。结果表明，本方法具有较高的可用性和准确性。
[0061] 本发明的手势分割方法通过建立肤色的高斯模型，利用全局最优EM算法等技术 手段，找到手势分割的全局最优值，以该最优值作为输出。本发明基于已有的工作，实现手 势分割算法，并扩展手势图形数据集合进一步验证算法的可用性，最终通过实际场景来检 验模型、算法的可用性和准确性。
[0062] 本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以 限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含 在本发明的保护范围之内。
【主权项】
1. 一种基于全局期望最大算法的手势分割方法，其特征在于，包括如下步骤： (1) 在Y化Cb颜色空间中基于化分量和Cb分量，建立肤色的高斯模型； (2) 将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所 有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率； (3) 根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由Ξ维空间中 各点及其肤色相似度组成的四维空间模型； 所述四维空间模型W四维空间超曲面表示如下：其中，h(Xi，X2，X3)表示；维空间中坐标为（Xi，X2，X3)的点的肤色相似度，Xl、X2和X3分 别为Ξ维空间中的点在Ξ个维度上的坐标，a。、曰1、曰2、曰3、曰4、曰5和a6均为已知系数； (4) 将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的 损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照梯度 上升的方向得到各子空间的四维空间超曲面的极大值； (5) 将步骤（4)得到的各子空间的四维空间超曲面的极大值作为初值，分别进行EM算 法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割结果。2. 如权利要求1所述的基于全局期望最大算法的手势分割方法，其特征在于，所述步 骤（4)中，损失函数为：利用梯度下降法，根据如下递推公式 调整A的值：A=A-入▽J(A)，使J(A)取得最小值J(A)mi。，利用J(A)mm对应的A值确定子 空间的四维空间超曲面，其中，A=(曰。曰1曰2曰3曰4曰5ae)T，sW表示子空间中第i个点龙缓 的实际肤色相似度，&(x茲)表示端;由超曲面拟合计算得到的肤色相似度，m为子空间中点 的个数，▽A表示A的梯度，λ为步长。3. 如权利要求1或2所述的基于全局期望最大算法的手势分割方法，其特征在于，所述 步骤（1)中，肤色的高斯模型如下： Pc (X)=曰&g (X，μC"δ化)+曰化g (X，μ化，δ化)， 其中，表示像素点为肤色点的概率，αct表示化分量在颜色空间中所占的比重，αC康示Cb分量在颜色空间中所占的比重，X为化、Cb二维空间中的坐标点，μcf表示化 分量上高斯分布的方差，δ&表示化分量上高斯分布的均值，μcb表示Cb分量上高斯分布 的方差，5cb表示Cb分量上高斯分布的均值，g(x，μcf，δJ为X点在化分量中的肤色相 似度高斯模型，g(x，μcb，δJ为X点在Cb分量中的肤色相似度高斯模型。4. 一种基于全局期望最大算法的手势分割系统，其特征在于，包括： 第一模块，用于在Y化Cb颜色空间中基于化分量和Cb分量，建立肤色的高斯模型； 第二模块，用于将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分 割图像的所有像素点的肤色相似度，其中，肤色相似度是指像素点为肤色点的概率； 第Ξ模块，用于根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由Ξ维空间中各点及其肤色相似度组成的四维空间模型； 所述四维空间模型W四维空间超曲面表示如下：其中，h(Xi，X2，X3)表示；维空间中坐标为（Xi，X2，X3)的点的肤色相似度，Xl、X2和X3分 别为Ξ维空间中的点在Ξ个维度上的坐标，a。、曰1、曰2、曰3、曰4、曰5和a6均为已知系数； 第四模块，用于将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面 拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最 后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值； 第五模块，用于将第四模块得到的各子空间的四维空间超曲面的极大值作为初值，分 别进行EM算法迭代，将期望最大的子空间的四维空间超曲面的初始极大值作为手势分割 结果。
【专利摘要】本发明公开了一种基于全局期望最大算法的手势分割方法及系统。包括：建立肤色的高斯模型；将待分割图像的所有像素点的像素值代入肤色的高斯模型，得到待分割图像的所有像素点的肤色相似度；根据待分割图像的深度信息及其中所有像素点的肤色相似度，得到由三维空间中各点及其肤色相似度组成的四维空间模型；将四维空间模型划分为多个子空间，在每个子空间中，构建评价超曲面拟合效果的损失函数，利用梯度下降法使损失函数最小，得到子空间的四维空间超曲面，最后按照梯度上升的方向得到各子空间的四维空间超曲面的极大值；本发明能生成可比较的数学描述，实现两种模型融合的基础，为不同模态数据之间的融合提供一种新的依据。
【IPC分类】G06K9/62, G06T7/00, G06K9/46, G06K9/00
【公开号】CN105405143
【申请号】CN201510779971
【发明人】张凯, 陈矛, 刘三女牙, 杨宗凯
【申请人】华中师范大学
【公开日】2016年3月16日
【申请日】2015年11月13日