重叠的多个人体 对象的姿态的方法的流程图；
[0036] 图12是示出根据本发明的示例性实施例的用于估计深度图像中重叠的多个人体 对象的姿态的方法详细流程图。
【具体实施方式】
[0037] 提供以下参照附图进行的描述以帮助全面理解由权利要求及其等同物限定的本 发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示 例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下， 可对这里描述的实施例进行各种改变和修改。在附图中，相同的附图标号将被理解为是指 相同的部件。此外，为了清楚和简明，可省略已知功能和构造的描述。
[0038]图1是示出根据本发明示例性实施例的人体姿态估计系统100的框图。参照图1， 所述系统1〇〇包括输入接口装置110、姿态估计装置120、显示接口装置130、网络接口装置 140以及应用接口 150。
[0039] 输入接口装置110可从例如深度相机、彩色相机等接收输入图像(如深度图像、彩 色图像等)。
[0040] 姿态估计装置120可使用从输入接口装置110接收的图像来确定所述图像中的人 体对象的姿态。
[0041] 显示接口装置130可将来自输入接口装置110的输入图像、来自姿态估计装置120 的人体姿态流数据、以及其他图像处理结果(可包括，但不限于，姿态/骨架数据、当前的运 动速度、加速度、人体部位及骨架尺寸等）提供给显示器以进行显示。
[0042] 网络接口装置140可通过局域网、互联网或无线网络发送从姿态估计装置120输 出的数据，并且接收相关数据。
[0043] 应用接口 150可将从姿态估计装置120接收姿态流数据提供给所连接的应用（例 如，用于人机交互的应用），使得所述应用可基于接收的数据来识别用户意图，并且向用户 提供相关反馈。例如，所述应用可通过对姿态估计装置120估计的多个图像中的人体对象 的姿态的变化进行识别和分析，确定用户的运动情况，从而识别用户意图。
[0044] 在本发明的实施例中，所述系统100可集成到嵌入式系统中，以提供自动的姿态 估计功能。
[0045] 图2是示出根据本发明示例性实施例的用于估计深度图像中重叠的多个人体对 象的姿态的设备200的逻辑框图。所述设备200可实现为图1中的姿态估计装置120或姿 态估计装置120的一部分。
[0046] 如图2所示，根据本发明的示例性实施例的用于估计深度图像中的重叠的人体对 象的姿态的设备200包括：对象提取单元210、部位分类单元220、部位假定单元230以及姿 态确定单元240。
[0047] 对象提取单元210可用于从深度图像提取重叠的多个人体对象（S卩，通过相机拍 摄到的多个人，这些人中的部分人的某些身体部位在所述图像中被其他人遮挡）的图像区 域（以下，简称为人体对象区域)，并确定所述多个人体对象是可分离的重叠人体对象还是 不可分离的重叠人体对象。
[0048] 具体地讲，例如，对于深度图像中彼此重叠的两个人体对象，如果一个人体对象的 图像区域中的像素深度值与另一人体对象的图像区域中的像素深度值相差较大，则可容易 地通过深度对比来将这两个人体对象在所述深度图像中分离开，即，所述两个人体对象是 可分离的重叠人体对象。在这种情况下，对象提取单元210可将可分离的重叠人体对象的 图像区域分割为被遮挡的后方人体对象（即，深度图像中被其他人体对象遮挡了部分身体 部位的人体对象）的图像区域(仅包括未被遮挡的部分）和遮挡了后方人体对象的前方人体 对象（即，深度图像中未受其他人体对象遮挡且覆盖了被遮挡的后方人体对象的部分身体 部位的人体对象)的图像区域，以在后续处理过程中分别进行处理。尽管以上以包括两个人 体对象的可分离重叠人体对象进行了说明，但本发明不限于此，所述可分离的重叠人体对 象可包括更多个人体对象，在这种情况下，可提取出一个前方人体对象和多个被遮挡的后 方人体对象。
[0049]然而，如果在以上示例中，所述两个人体对象的图像区域中的像素的深度值彼此 相似，则难以通过深度对比来将这两个人体对象在所述深度图像中分离开，即，所述两个人 体对象是不可分离的重叠人体对象。稍后将结合可分离的重叠人体对象和不可分离的重叠 人体对象来解释根据本发明的实施例的各个部件的操作。
[0050]在本发明的实施例中，对象提取单元210可使用诸如背景去除、前景提取等方法 中的一种或多种来从深度图像提取重叠的多个人体对象的图像区域。然而，应理解，本发明 不限于此，还可使用本领域已知的各种其他方法来从深度图像提取人体对象的图像区域。
[0051]此外，为了更准确的确定图像中的每个人体对象的姿态，在提取重叠的多个人体 对象的图像区域之前，所述对象提取单元210还可首先对深度图像进行噪声抑制处理。
[0052]根据本发明的实施例，部位分类单元220可依据对象提取单元210的确定结果，确 定重叠的多个人体对象的图像区域中的每个像素所属的人体部位。具体地讲，所述部位分 类单元220可包括第一分类器和第二分类器，可使用多个包含重叠的人体对象的深度图像 来预先建立和训练所述第一分类器，并可使用多个包括非重叠的人体对象（即，包括一个人 体对象或多个互不重叠的人体对象）的深度图像来预先建立和训练所述第二分类器，使得 可通过第一分类器来确定重叠的多个人体对象的图像区域中的每个像素所属的人体部位， 并通过第二分类器来确定非重叠的人体对象的图像区域中的每个像素所属的人体部位。
[0053]在本发明的实施例中，可使用像素标记（PIXLA)的方法来标记每个像素所属的部 位。具体地讲，对于存在一个人体对象或互不重叠的多个人体对象的深度图像，可根据实际 需求使用各种已知分类器算法来建立针对单个人体对象的PIXLA(以下，简称为S-PIXLA) 模型（即，第二分类器)，通过使用大量的包含非重叠的人体对象的已知深度图像(在这些深 度图像中，人体对象的图像区域中的像素属于哪个人体部位已确定）来对所述S-PIXLA模 型进行训练，使得当对包含非重叠的人体对象的未知深度图像(在所述深度图像中，人体对 象的图像区域中的像素属于哪个人体部位未确定）应用经过训练的S-PIXLA模型时（S卩，将 所述未知深度图像作为S-PIXLA模型的输入)，能够容易标记所述未知深度图像中的人体对 象的图像区域中的每个像素所属的人体部位（即，S-PIXLA模型的输出）。本领域技术人员 可以使用已知的技术实现该方法，因此为了简明，在此将不再进行详细描述。然而，应该理 解，上述方法仅是为了使本发明清楚而列出的，本发明不限于此，本领域技术人员可根据需 要来选择性地使用本领域已知的各种方法。
[0054]在本发明的实施例中，对于存在重叠的多个人体对象的深度图像，也可类似地预 先建立针对重叠的多个人体对象的PIXLA(以下，简称为M-PIXLA)模型（S卩，第一分类器)， 通过使用大量的包含重叠的多个人体对象的已知深度图像(在这些深度图像中，重叠的人 体对象的图像区域中的像素属于哪个人体部位已确定)来训练所述M-PIXLA模型，从而当对 包含重叠的多个人体对象的未知深度图像(在所述深度图像中，重叠的人体对象的图像区 域的像素属于哪个人体部位未确定）应用经过训练的M-PIXLA模型时（S卩，将所述未知深度 图像作为M-PIXLA模型的输入)，能够容易标记所述未知深度图像中重叠的人体对象的图像 区域中的每个像素所属的人体部位（即，M-PIXLA模型的输出）。
[0055] 以下将详细描述部位分类单元220的操作。
[0056]在本发明的实施例中，对于可分离的重叠人体对象，由于对象提取单元210已将 其图像区域分割为被遮挡的后方人体对象的图像区域和遮挡了后方人体对象的前方人体 对象的图像区域，并且所述前方人体对象可视为非重叠的人体对象，因此部位分类单元220 可对所述前方人体对象的图像区域应用S-PIXLA模型来确定所述前方人体对象的图像区 域中的每个像素所属的人体部位。此外，在本发明的实施例中，对于被遮挡的后方人体对 象，部位分类单元220可通过对可分离的重叠人体对象中的后方人体对象的图像区域应用M-PIXLA模型来确定被遮挡的后方人体对象的图像区域中的每个像素所属的人体部位。
[0057] 此外，在本发明的实施例中，部位分类单元220可对不可分离的重叠人体对象的 图像区域应用M-PIXLA模型来确定不可分离的重叠人体对象的图像区域中的每个像素所 属的人体部位。
[0058] 应该理解，由于通过应用分类器来标记重叠的或非重叠的人体对象的图像区域中 的每个像素所属的人体部位，因此还可获得每个像素被标记至其所属人体部位的置信度。
[0059] 尽管以上描述了通过像素标记来确定像素所属人体部位的方法，但本发明不限于 此，还可通过提取出的人体对象的图像区域的前景特征、颜色特征、形状特征等来确定人体 对象区域的全部或部分像素所属的人体部位。
[0060] 作为另一实施例，还可通过最小能量骨架扫描（MESS)来确定人体图像区域中的各 个部位，简单来说，可通过逐行扫描深度图像中的像素的深度值来确定深度变化较大的边 界像素，并连接深度连续的相邻边界像素从而将人体对象的图像区域划分为多个区域，每 个区域可分别对应于人体对象的不同部位。申请号为201210176875. 8 (人体图像解析装置 和方法）的中国专利申请中详细记载了通过对人体深度图像进行最小能量骨架扫描（MESS) 来确定人体图像区域中的各个部位的方案，因此为了简明将不再进行更详细地描述。
[0061] 优选地，在本发明的实施例中，为了更准确地标记每个像素所属的人体部位，可将 像素标记的结果与MESS扫描结果和通过上述特征确定的结果中的至少一种相结合来更准 确地确定人体对象区域的每个像素所属的人体部位及其置信度。
[0062] 部位假定单元230可基于部位分类单元的220分类结果，针对重叠的多个人体对 象产生各个人体部位的部位假定。稍后将结合图3至图8描述部位假定单元230的处理。
[0063] 姿态确定单元240可将部位假定单元230产生的部位假定组装成至少一种姿态假 定，并基于预设评价规则对每种姿态假定进行评价以确定每个人体对象的姿态。稍后将结 合图9和图10描述部位假定单元240的处理。
[0064] 图3是示出根据本发明的示例性实施例的部位假定单元230的框图。
[0065]如图3中所示，根据本发明的示例性实施例的部位假定单元230包括：软分割模块 310、部位再分类模块320和部位假定模块330。
[0066] 在本发明的实施例中，软分割模块310可用于对不可分离的重叠人体对象的图像 区域进行分割，以确定可疑区域和不可分离的重叠人体对象中的每个人体对象的确定区 域，并在所述不可分离的重叠人体对象中确定被遮挡的人体对象和遮挡了后方人体对象的 前方的人体对象。在本发明的实施例中，所述确定区域是指可确定其所归属的人体对象的 区域，所述可疑区域是指无法确定其所归属的人体对象的区域。
[0067]以下将结合图4至图8来描述软分割模块310的操作。
[0068] 图4是示出根据本发明的示例性实施例的软分割模块310的框图。
[0069]如图4所示，软分割模块310可包括：重叠程度确定模块410、第一分割模块420、 和第二分割模块430。
[0070] 在以下描述中，为了便于解释，将以深度图像中包括彼此重叠的两个人体对象的 示例进行说明。然而应该理解，当深度图像中包括