估计深度图像中重叠的多个人体对象的姿态的设备和方法
【技术领域】
[0001] 本申请涉及一种图像处理设备和方法，更具体地讲，涉及一种用于估计深度图像 中重叠的多个人体对象的姿态的设备和方法。
【背景技术】
[0002] 随着计算机视觉技术的发展，人们可针对真实3D空间或虚拟3D空间中显示的对 象进行交互操作。在进行这种交互操作时，需要对所述显示的对象进行自然的非接触式遥 控。此时，人体本身（例如，头部、手部/手指/臂、躯干或整个身体）可用作进行控制的实 体，从而通过身体部位在真实场景中的各种动作对显示的对象进行操作。在这种情况下，可 利用深度相机拍摄现场图像或视频，基于深度图像数据估计出人体的姿态，借此分析出用 户的意图，从而不需要借助于鼠标、键盘、操纵杆或触摸屏等也能够操纵在虚拟3D空间或 真实3D空间中显示的对象。此外，在许多其它的应用场景下也需要识别人体的姿态。
[0003] 现有的研究主要集中于对一个场景中的单个用户或相互分开的多个用户的姿态 进行识别，并且现有的姿态识别策略也大多是针对这种状况而设计的。然而，实际上在一个 场景中可能存在彼此重叠的多个用户（例如，肢体接触的多个用户，或肢体未接触但在拍摄 的图像中呈现为彼此遮挡的多个用户），在这种情况下，如何识别这样的用户的姿态已成为 新的问题。
【发明内容】
[0004] 根据本发明的一方面，提供了一种用于估计深度图像中重叠的多个人体对象的姿 态的设备，所述设备包括：对象提取单元，被配置为从深度图像提取重叠的多个人体对象的 图像区域，并确定所述多个人体对象是可分离的重叠人体对象还是不可分离的重叠人体对 象；部位分类单元，被配置为基于对象提取单元的确定结果，确定所述多个人体对象的图像 区域中的每个像素所属的人体部位；部位假定单元，被配置为基于部位分类单元的确定结 果，针对所述多个人体对象产生各个人体部位的部位假定；姿态确定单元，被配置为将所述 部位假定组装成至少一种姿态假定，并基于预设评价规则对每种姿态假定进行评价以确定 每个人体对象的姿态。
[0005] 所述对象提取单元还可被配置为：当所述多个人体对象是可分离的重叠人体对象 时，将可分离的重叠人体对象的图像区域分割为被遮挡的后方人体对象的图像区域和遮挡 了后方人体对象的前方人体对象的图像区域。所述部位分类单元可包括第一分类器和第二 分类器，可使用多个包含重叠的人体对象的深度图像来预先建立和训练所述第一分类器， 并可使用多个包括非重叠的人体对象的深度图像来预先建立和训练所述第二分类器。可对 可分离的重叠人体对象中的前方人体对象的图像区域应用第二分类器来确定所述前方人 体对象的图像区域中的每个像素所属的人体部位，并可对可分离的重叠人体对象中的后方 人体对象的图像区域应用第一分类器来确定被遮挡的后方人体对象的图像区域中的每个 像素所属的人体部位。
[0006] 当所述多个人体对象是不可分离的重叠人体对象时，所述部位分类单元可对不可 分离的重叠人体对象的图像区域应用第一分类器来确定不可分离的重叠人体对象的图像 区域中的每个像素所属的人体部位。
[0007] 所述部位假定单元可包括：软分割模块，被配置为对不可分离的重叠人体对象的 图像区域进行分割，以确定可疑区域和不可分离的重叠人体对象中的每个人体对象的确定 区域，并在所述不可分离的重叠人体对象中确定被遮挡的后方人体对象和遮挡了后方人体 对象的前方人体对象；部位再分类模块，被配置为对包括可疑区域和所述前方人体对象的 确定区域的组合图像区域应用第二分类器，以再次确定所述组合图像区域中的每个像素所 属的人体部位；部位假定模块，被配置为针对不可分离的重叠人体对象，基于部位分类单元 的确定结果和部位再分类模块的确定结果来产生各个人体部位的部位假定。所述确定区域 指可确定其所归属的人体对象的区域，所述可疑区域是无法确定其所归属的人体对象的区 域。
[0008] 所述软分割模块可包括：重叠程度确定模块，被配置为确定不可分离的重叠人体 对象的躯干部位是否重叠；第一分割模块，被配置为将躯干部位不重叠的多个人体对象的 图像区域分割为可疑区域和针对每个人体对象的确定区域；第二分割模块，被配置为将躯 干部位重叠的多个人体对象的图像区域分割为可疑区域和针对每个人体对象的确定区域。 [0009]所述重叠程度确定模块可基于通过部位分类单元的确定结果而确定的多个人体 对象的特定部位之间的距离，来确定不可分离的重叠人体对象的躯干部位是否重叠。
[0010] 所述第一分割模块可通过以下步骤来确定可疑区域和针对每个人体对象的确定 区域：确定可疑区域的搜索范围；找出搜索范围周围的所有可疑区域；通过深度对比或基 于像素标记的结果来减少可疑区域的数量；基于可疑区域的分布来确定针对每个人体对象 的确定区域。
[0011] 所述第二分割模块可通过以下步骤来确定可疑区域和针对每个人体对象的确定 区域：确定躯干像素；将躯干像素划分给每个人体对象；基于划分给每个人体对象的躯干 像素，通过深度增长来确定每个人体对象的确定区域；将多个对象之间的未被确定为确定 区域的图像区域确定为可疑区域。
[0012] 如果对象提取单元提取的重叠的多个人体对象是不可分离的重叠人体对象，则所 述姿态确定单元可通过以下步骤来确定每个人体对象的姿态假定：使用部位假定单元产生 的部位假定，针对每个人体对象分别产生每个人体对象的姿态假定并对每个人体对象的每 个姿态假定进行评价；基于每个人体对象的多个姿态假定，产生重叠的多个人体对象的姿 态假定的多种组合，并确定每种姿态假定组合的评价；对产生的所有姿态假定组合的评价 进行排序，并将评价最高的姿态假定组合中的每个人体对象的姿态假定确定为每个人体对 象的最终姿态。
[0013] 根据本发明的另一方面，提供了一种用于估计深度图像中重叠的多个人体对象的 姿态的方法，所述方法包括:A)从深度图像提取重叠的多个人体对象的图像区域，并确定 所述多个人体对象是可分离的重叠人体对象还是不可分离的重叠人体对象；B)基于步骤 A)的确定结果，确定所述多个人体对象的图像区域中的每个像素所属的人体部位；C)基于 步骤B)的确定结果，针对所述多个人体对象产生各个人体部位的部位假定；D)将所述部位 假定组装成至少一种姿态假定，并基于预设评价规则对每种姿态假定进行评价以确定每个 人体对象的姿态。
[0014] 步骤A)还可包括：当所述多个人体对象是可分离的重叠人体对象时，将可分离的 重叠人体对象的图像区域分割为被遮挡的后方人体对象的图像区域和遮挡了后方人体对 象的前方人体对象的图像区域。在步骤B)中可对可分离的重叠人体对象中的前方人体对 象的图像区域应用第二分类器来确定所述前方人体对象的图像区域中的每个像素所属的 人体部位，并可对可分离的重叠人体对象中的后方人体对象的图像区域应用第一分类器来 确定被遮挡的后方人体对象的图像区域中的每个像素所属的人体部位。可使用多个包含重 叠的人体对象的深度图像来预先建立和训练所述第一分类器，并可使用多个包括非重叠的 人体对象的深度图像来预先建立和训练所述第二分类器。
[0015] 当所述多个人体对象是不可分离的重叠人体对象时,可对不可分离的重叠人体对 象的图像区域应用第一分类器来确定不可分离的重叠人体对象的图像区域中的每个像素 所属的人体部位。
[0016] 当所述多个人体对象是不可分离的重叠人体对象时，步骤C)可包括：C1)对不可 分离的重叠人体对象的图像区域进行分割，以确定可疑区域和不可分离的重叠人体对象中 的每个人体对象的确定区域，并在所述不可分离的重叠人体对象中确定被遮挡的后方人体 对象和遮挡了后方人体对象的前方人体对象；C2)对包括可疑区域和所述前方人体对象的 确定区域的组合图像区域应用第二分类器，以再次确定所述组合图像区域中的每个像素所 属的人体部位；C3)基于步骤B)的确定结果和步骤C2)的确定结果来针对不可分离的重叠 人体对象产生各个人体部位的部位假定。所述确定区域是指可确定其所归属的人体对象的 区域，所述可疑区域是无法确定其所归属的人体对象的区域。
[0017] 步骤C1)可包括：确定不可分离的重叠人体对象的躯干部位是否重叠；将躯干部 位不重叠的多个人体对象的图像区域分割为可疑区域和针对每个人体对象的确定区域，或 将躯干部位重叠的多个人体对象的图像区域分割为可疑区域和针对每个人体对象的确定 区域。
[0018] 可基于通过步骤B)的确定结果而确定的多个人体对象的特定部位之间的距离，来 确定不可分离的重叠人体对象的躯干部位是否重叠。
[0019] 将躯干部位不重叠的多个人体对象的图像区域分割为可疑区域和针对每个人体 对象的确定区域的步骤块包括：确定可疑区域的搜索范围；找出搜索范围周围的所有可疑 区域；通过深度对比或基于像素标记的结果来减少可疑区域的数量；基于可疑区域的分布 来确定针对每个人体对象的确定区域。
[0020] 将躯干部位重叠的多个人体对象的图像区域分割为可疑区域和针对每个人体对 象的确定区域的步骤可包括：确定躯干像素；将躯干像素划分给每个人体对象；基于划分 给每个人体对象的躯干像素，通过深度增长来确定每个人体对象的确定区域；将多个对象 之间的未被确定为确定区域的图像区域确定为可疑区域。
[0021] 如果步骤A)中提取的重叠的多个人体对象是不可分离的重叠人体对象，则步骤 D)可包括：D1)使用步骤C)中产生的部位假定，针对每个人体对象分别产生每个人体对象 的姿态假定并对每个人体对象的每个姿态假定进行评价；D2)基于每个人体对象的多个姿 态假定，产生重叠的多个人体对象的姿态假定的多种组合，并确定每种姿态假定组合的评 价；D3)对产生的所有姿态假定组合的评价进行排序，并将评价最高的姿态假定组合中的 每个人体对象的姿态假定确定为每个人体对象的最终姿态。
[0022] 有益效果
[0023] 通过本发明的方案，能够准确地从包括重叠的多个人体对象的深度图像中识别出 每个人体对象的姿态。
【附图说明】
[0024] 通过下面结合附图对本发明的示例性实施例进行的详细描述，本发明的上述和其 他目的和特点将会变得更加清楚，其中：
[0025] 图1是示出根据本发明示例性实施例的人体姿态估计系统的框图；
[0026] 图2是示出根据本发明示例性实施例的用于估计深度图像中重叠的多个人体对 象的姿态的设备的逻辑框图；
[0027] 图3是示出根据本发明的示例性实施例的部位假定单元的框图；
[0028] 图4是示出根据本发明的示例性实施例的软分割模块的框图；
[0029] 图5是根据本发明的示例性实施例的对躯干部位不重叠的多个人体对象的图像 区域进行分割的操作的流程图；
[0030] 图6是示出根据本发明的示例性实施例的对重叠的人体对象的图像区域进行分 割的示例示意图；
[0031] 图7是根据本发明的示例性实施例的对躯干部位重叠的多个人体对象的图像区 域进行分割的操作的流程图；
[0032] 图8是示出根据本发明的另一示例性实施例的对重叠的人体对象的图像区域进 行分割的示例示意图；
[0033] 图9是根据本发明的示例性实施例的由姿态确定单元确定的可分离的重叠人体 对象中的前方人体对象和被遮挡的后方人体对象；
[0034] 图10是根据本发明的示例性实施例的由姿态确定单元确定不可分离的重叠人体 对象中的每个人体对象的姿态的方法的流程图；
[0035] 图11是示出根据本发明的示例性实施例的用于估计深度图像中