数据处理的方法和装置的制造方法

数据处理的方法和装置的制造方法
【专利摘要】本发明实施例提供一种数据处理的方法和装置，该方法包括：获取目标对象的第一重建模型；将第一重建模型划分为M个局部块；获取N个目标对象样本对齐模型，每个目标对象样本对齐模型与第一重建模型对应的姿势参数相同，且每个目标对象样本对齐模型包括M个局部块，每个目标对象样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的同一个部位，每个目标对象样本对齐模型的第i个局部块与第一重建模型的第i个局部块对齐，i为1,…,M；使用N个目标对象样本对齐模型来逼近第一重建模型，从而确定该目标对象的包括M个局部块的第二重建模型。本发明实施例提供的数据处理的方法和装置，能够有效提高模型的准确性。
【专利说明】
数据处理的方法和装置
技术领域
[0001] 本发明实施例设及数据处理领域，并且更具体地，设及一种数据处理的方法和装 置。
【背景技术】
[0002] 人体建模在计算机图形学和计算机视觉领域有很多应用，比如电影特效，3D游戏， 虚拟现实和人机交互等等。
[0003] 在当前的人体建模系统中，人体点云中存在的强噪声或漏桐被引入到重建的人体 模型中，导致人体模型的准确性较低，目前，还没有较为有效的方法来解决上述问题。

【发明内容】

[0004] 本发明实施例提供一种数据处理的方法和装置，能够有效提高模型的准确性。 阳〇化]第一方面提供了一种数据处理的方法，该方法包括：
[0006] 获取目标对象的第一重建模型；
[0007] 将该第一重建模型划分为Μ个局部块，该第一重建模型的Μ个局部块中不同的局 部块对应于该目标对象不同的部位，该不同部位用不同的部位名称表示，Μ为大于1的正整 数；
[0008] 获取Ν个目标对象样本对齐模型，每个目标对象样本对齐模型的姿势对应的姿势 参数与该第一重建模型的姿势对应的姿势参数相同，且该每个目标对象样本对齐模型包括 Μ个局部块，其中，该每个目标对象样本对齐模型的第i个局部块与该第一重建模型的第i 个局部块对应于该目标对象的用同一个部位名称所表示的部位，该每个目标对象样本对齐 模型的第i个局部块与该第一重建模型的第i个局部块对齐，N为正整数，i为1，…，Μ ;
[0009] 使用该Ν个目标对象样本对齐模型来逼近该第一重建模型，从而确定该目标对象 的包括Μ个局部块的第二重建模型，该第二重建模型的第i个局部块是由该每个目标对象 样本对齐模型的第i个局部块确定得到的，i为1，·，·，Μ。
[0010] 结合第一方面，在第一方面的第一种可能的实现方式中，使用该Ν个目标对象样 本对齐模型来逼近该第一重建模型，从而确定该目标对象的包括Μ个局部块的第二重建模 型，包括：
[0011] 根据W下公式，获取该第二重建模型： 阳012] Ki= B iCi+ μ i (i = 1, . . . , Μ)
[0013] 其中，Ki为该第二重建模型的Μ个局部块中的第i个局部块，Bi为由该Ν个目标 对象样本对齐模型的第i个局部块组成的基，μ 1为该Ν个目标对象样本对齐模型的第i个 局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：
[0014]
或
[0015] S. t. Ci> 0(i = 1，. . .，M)
[0016]
[0017] s. t. Ci> 0 (i = 1, . . . , M)
[0018] 其中，
Vi为该第一重建模型的第i个局部块，Γ为该每个目 标对象样本对齐模型的Μ个局部块中相邻的局部块的集合，（i，j) e Γ表示该每个目标对 象样本对齐模型的第j个局部块为与该每个目标对象样本对齐模型的第i个局部块相邻的 局部块，Bj为由该每个目标对象样本对齐模型的第j个局部块组成的基，B U用于表达该每 个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶点，且Bi， 为Bi的子集，μ 1,为Bi,的平均值，Β ,ι用于表达该每个目标对象样本对齐模型的第j个局 部块与第i个局部块在彼此连接处的边界顶点，Β,ι为B ,的子集，μ ,1为Β ,ι的平均值，β为 权重，λ为权重，I I I 11为L1范式，I II I 2为L2范式。
[0019] 结合第一方面或第一方面的第一种可能的实现方式，在第一方面的第二种可能的 实现方式中，该第一重建模型的Μ个局部块中相邻的局部块在彼此连接处具有共享的边界 顶点。
[0020] 结合第一方面或第一方面的第一种或第二种可能的实现方式，在第一方面的第Ξ 种可能的实现方式中，获取目标对象的第一重建模型，包括：
[0021] 获取该目标对象的目标对象点云数据；
[0022] 获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准姿势下 的标准目标对象点云数据的模型；
[0023] 确定该目标对象点云数据与该模板模型的点对应关系；
[0024] 基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对于该模 板模型的姿势变化参数；
[00巧]利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模型变形 为与该目标对象点云数据具备相同姿势的该第一重建模型。
[00%] 结合第一方面或第一方面的第一种或第二种可能的实现方式，在第一方面的第四 种可能的实现方式中，获取目标对象的第一重建模型，包括：
[0027] 获取该目标对象的目标对象点云数据；
[0028] 获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准姿势下 的标准目标对象点云数据的模型；
[0029] 确定该目标对象点云数据与该模板模型的点对应关系；
[0030] 基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对于该模 板模型的姿势变化参数；
[0031] 利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模型变形 为与该目标对象点云数据具备相同姿势的骨架变形模型，使得该骨架变形模型与该目标对 象点云数据对齐；
[0032] 基于网格变形技术对该骨架变形模型进行变形，获得该第一重建模型，使得该第 一重建模型与该目标对象点云数据的形状匹配。
[0033] 结合第一方面和第一方面的第一种至第四种可能的实现方式中的任一种可能的 实现方式，在第一方面的第五种可能的实现方式中，获取N个目标对象样本对齐模型，包 括：
[0034] 从预设的目标对象数据库中获取N个目标对象样本模型；
[0035] 基于骨架驱动变形技术，根据该第一重建模型的姿势参数，将该N个目标对象样 本模型变形为与该第一重建模型对应于相同的姿势参数的N个目标对象样本骨架变形模 型；
[0036] 将每个目标对象样本骨架变形模型划分为Μ个局部块，该每个目标对象样本骨架 变形模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的用同一个 部位名称表示的部位；
[0037] 通过对该每个目标对象样本骨架变形模型的第i个局部块进行旋转、平移和缩放 中的至少一种变换，从而获得该N个目标对象样本对齐模型，其中，每个目标对象样本对齐 模型的第i个局部块在经过该旋转、平移和缩放中的至少一种变换后与该第一重建模型的 第i个局部块对齐，i为1，2，-",Μ。
[0038] 结合第一方面和第一方面的第一种至第五种可能的实现方式中的任一种可能的 实现方式，在第一方面的第六种可能的实现方式中，该方法还包括：
[0039] 对该第二重建模型进行平滑优化处理。
[0040] 第二方面提供了一种数据处理的装置，该装置包括：
[0041] 第一获取模块，用于获取目标对象的第一重建模型；
[0042] 划分模块，用于将该获取模块获取的该第一重建模型划分为Μ个局部块，该第一 重建模型的Μ个局部块中不同的局部块对应于该目标对象不同的部位，该不同部位用不同 的部位名称表示，Μ为大于1的正整数；
[0043] 第二获取模块，用于获取Ν个目标对象样本对齐模型，每个目标对象样本对齐模 型的姿势对应的姿势参数与该第一获取模块获取的该第一重建模型的姿势对应的姿势参 数相同，且该每个目标对象样本对齐模型包括Μ个局部块，其中，该每个目标对象样本对齐 模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的用同一个部位 名称所表示的部位，该每个目标对象样本对齐模型的第i个局部块与该第一重建模型的第 i个局部块对齐，N为正整数，i为1，…，Μ ;
[0044] 确定模块，用于使用该第二获取模块获取的该Ν个目标对象样本对齐模型来逼近 该第一获取模块获取的该第一重建模型，从而确定该目标对象的包括Μ个局部块的第二重 建模型，该第二重建模型的第i个局部块是由该每个目标对象样本对齐模型的第i个局部 块确定得到的，i为1，'"，Μ。
[0045] 结合第二方面，在第二方面的第一种可能的实现方式中，该确定模块具体用于，
[0046] 根据W下公式，获取该第二重建模型：
[0047] Ki= B iCi+ μ i (i = 1, . . . , Μ)
[0048] 其中，Ki为该第二重建模型的Μ个局部块中的第i个局部块，Bi为由该Ν个目标 对象样本对齐模型的第i个局部块组成的基，μ 1为该Ν个目标对象样本对齐模型的第i个 局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：
[0053] 其中，
Vi为该第一重建模型的第i个局部块，Γ为该每个目 标对象样本对齐模型的Μ个局部块中相邻的局部块的集合，（i，j) e Γ表示该每个目标对 象样本对齐模型的第j个局部块为与该每个目标对象样本对齐模型的第i个局部块相邻的 局部块，Bj为由该每个目标对象样本对齐模型的第j个局部块组成的基，B U用于表达该每 个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶点，且Bi， 为Bi的子集，μ 1,为Bi,的平均值，Β ,ι用于表达该每个目标对象样本对齐模型的第j个局 部块与第i个局部块在彼此连接处的边界顶点，Β,ι为B ,的子集，μ ,1为Β ,ι的平均值，β为 权重，λ为权重，I I I 11为L1范式，I II I 2L2范式。
[0054] 结合第二方面或第二方面的第一种可能的实现方式，在第二方面的第二种可能的 实现方式中，该第一获取模块获取的该第一重建模型的Μ个局部块中相邻的局部块在彼此 连接处具有共享的边界顶点。
[0055] 结合第二方面或第二方面的第一种或第二种可能的实现方式，在第二方面的第Ξ 种可能的实现方式中，该第一获取模块包括：
[0056] 第一获取单元，用于获取该目标对象的目标对象点云数据；
[0057] 第二获取单元，用于获取该目标对象的模板模型，该模板模型为描述该目标对象 在预设的标准姿势下的标准目标对象点云数据的模型；
[0058] 确定单元，用于确定该第一获取单元获取的该目标对象点云数据与该第二获取单 元获取的该模板模型的点对应关系；
[0059] 估计单元，用于基于骨架驱动变形技术W及该确定单元确定的该点对应关系，估 计该第一获取单元确定的该目标对象点云数据相对于该第二获取单元确定的该模板模型 的姿势变化参数；
[0060] 第一变形单元，利用该估计单元估计的该目标对象点云数据相对于该模板模型的 姿势变化参数，将该模板模型变形为与该目标对象点云数据具备相同姿势的该第一重建模 型。
[0061] 结合第二方面或第二方面的第一种或第二种可能的实现方式，在第二方面的第四 种可能的实现方式中，该第一获取模块包括：
[0062] 第一获取单元，用于获取该目标对象的目标对象点云数据；
[0063] 第二获取单元，用于获取该目标对象的模板模型，该模板模型为描述该目标对象 在预设的标准姿势下的标准目标对象点云数据的模型；
[0064] 确定单元，用于确定该第一获取单元获取的该目标对象点云数据与该第二获取单 元获取的该模板模型的点对应关系； 阳〇化]估计单元，用于基于骨架驱动变形技术w及该确定单元确定的该点对应关系，估 计该第一获取单元确定的该目标对象点云数据相对于该第二获取单元确定的该模板模型 的姿势变化参数；
[0066] 第二变形单元，用于利用该估计单元估计的该目标对象点云数据相对于该模板模 型的姿势变化参数，将该模板模型变形为与该目标对象点云数据具备相同姿势的骨架变形 模型，使得该骨架变形模型与该目标对象点云数据对齐；
[0067] 第Ξ变形单元，用于基于网格变形技术对该第二变形单元得到的该骨架变形模型 进行变形，获得该第一重建模型，使得该第一重建模型与该目标对象点云数据的形状匹配。
[0068] 结合第二方面和第二方面的第一种至第四种可能的实现方式中的任一种可能的 实现方式，在第二方面的第五种可能的实现方式中，该第二获取模块包括：
[0069] 第Ξ获取单元，用于从预设的目标对象数据库中获取N个目标对象样本模型；
[0070] 第四变形单元，用于基于骨架驱动变形技术，根据该第一重建模型的姿势参数，将 该第Ξ获取单元获取的该N个目标对象样本模型变形为与该第一重建模型对应于相同的 姿势参数的N个目标对象样本骨架变形模型；
[0071] 划分单元，用于将该第四变形单元得到的每个目标对象样本骨架变形模型划分为 Μ个局部块，该每个目标对象样本骨架变形模型的第i个局部块与该第一重建模型的第i个 局部块对应于该目标对象的用同一个部位名称表示的部位；
[0072] 第四获取单元，用于通过对该划分单元得到的该每个目标对象样本骨架变形模型 的第i个局部块进行旋转、平移和缩放中的至少一种变换，从而获得该N个目标对象样本对 齐模型，其中，每个目标对象样本对齐模型的第i个局部块在经过该旋转、平移和缩放中的 至少一种变换后与该第一重建模型的第i个局部块对齐，i为1，2，…，M。
[0073] 结合第二方面和第二方面的第一种至第五种可能的实现方式中的任一种可能的 实现方式，在第二方面的第六种可能的实现方式中，该装置还包括：
[0074] 优化模块，用于对该第二重建模型进行平滑优化处理。
[00巧]基于上述技术方案，本发明实施例提供的数据处理的方法和装置，通过将目标对 象的第一重建模型划分为Μ个局部块，并通过利用N个目标对象样本对齐模型来逼近该第 一重建模型，来确定该目标对象的包括Μ个局部块的第二重建模型，其中该第二重建模型 的第i个局部块是由该每个目标对象样本对齐模型的第i个局部块确定得到的，通过本发 明实施例提供的方法，能够有效提高模型的准确度。
【附图说明】
[0076] 为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中 所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可W根据运些附 图获得其他的附图。
[0077] 图1示出了本发明实施例提供的数据处理的方法的示意性流程图。
[0078] 图2示出了本发明实施例设及的人体模型的示意图。
[0079] 图3示出了本发明实施例提供的数据处理的方法的示意图。
[0080] 图4示出了本发明实施例提供的数据处理的方法的另一示意图。
[0081] 图5示出了本发明实施例提供的数据处理的装置的示意性框图。
[0082] 图6示出了本发明实施例提供的数据处理的装置的另一示意性框图。
【具体实施方式】
[0083] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发 明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施 例，都属于本发明保护的范围。
[0084] 本发明实施例提出一种数据处理的方法，具体地，一种确定目标对象的重建模型 的方法，其中，该目标对象可W指人体，也可W指其他动物，或者其他动态物体。
[00化]W下，为了便于理解和说明，作为示例而非限定，W该目标对象为人体为例进行说 明。
[0086] 为了便于理解本发明实施例提供的数据处理的方案，首先介绍W下概念：
[0087] Kinect RGB-D 相机
[0088] 在大部分人体建模系统中，利用一系列的摄像机或者Ξ维扫描技术（例如激光和 结构光相机）采集深度图像数据。但是昂贵的设备，复杂而繁琐的用户交互接口，限制了运 些建模系统的应用。自从微软推出Kinect RGB-D相机，因为其价格便宜和易操作的特性， Kinect RGB-D相机被广泛应用在人体建模系统中。
[0089] 在本发明实施例提供的数据处理的方法中，采用Kinect RGB-D相机来采集人体的 深度图像数据，进而获得该人体的人体点云数据。例如在人体附件固定一个或多个Kinect RGB-D相机，同时拍摄人体的深度图像数据序列。利用同一时刻采集的深度图像数据，建立 该时刻（当前帖）的人体模型（对应于图1所示流程图中的第二重建模型），从而实现整个 时间序列的动态人体建模。
[0090] 可选地，在本发明实施例中，采用一个或多个Kinect RGB-D相机来采集人体的深 度图像数据。
[0091] 为了便于理解和描述，下文针对当前帖的人体建模过程进行描述。
[0092] 图1示出了本发明实施例提供的数据处理的方法100的示意性流程图，该方法100 包括：
[0093] S110,获取目标对象的第一重建模型；
[0094] 具体地，该第一重建模型可W是基于人体的人体点云数据而重建的用于描述该人 体点云数据的模型，其中该人体点云数据是从人体的深度图像数据中提取的数据点，下文 将在Sill中介绍该人体点云数据的提取过程。其中，该第一重建模型具体指的是预设的人 体数据库中的人体样本模型对齐到该人体的人体点云数据W后所确定的模型，运里的对齐 指的是该第一重建模型与人体点云数据具有点对齐关系，具体来说，该第一重建模型包括 的每个顶点在该人体的人体点云数据中具有对应的点，每对对应点中的两个点为最邻近的 点。
[0095] 由于人体点云数据是基于照相机所拍摄的该人体的深度图像数据所采集的数据， 因此该人体点云数据中通常包含有强噪音，因此，基于人体点云数据所得的该第一重建模 型中也包含了噪音，模型精度较差，需要对其作进一步地处理，W提高模型的精度。
[0096] S120,将该第一重建模型划分为Μ个局部块，该第一重建模型的Μ个局部块中不同 的局部块对应于该目标对象不同的部位，该不同部位用不同的部位名称表示，Μ为大于1的 正整数；
[0097] 具体地，假设该第一重建模型如图2 (a)所示的人体模型，将该模型划分为16个局 部块，其中每个局部块对应于人体不同的部位，且不同的部位用不同的部位名称来表示，如 图2(a)所示，利用一组数字序列来表示不同的局部块。
[0098] S130,获取N个目标对象样本对齐模型，每个目标对象样本对齐模型的姿势对应 的姿势参数与该第一重建模型的姿势对应的姿势参数相同，且该每个目标对象样本对齐模 型包括Μ个局部块，其中，该每个目标对象样本对齐模型的第i个局部块与该第一重建模 型的第i个局部块对应于该目标对象的用同一个部位名称所表示的部位，该每个目标对象 样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对齐，N为正整数，i为 1，一,1,其中，i为1，…，Μ指的是，i的赋值依次为1，'"，Μ。
[0099] 具体地，W该目标对象为人体为例，该目标对象样本对齐模型即人体样本对齐模 型，具体指的是预设的人体数据库中标准的人体样本模型经过一定处理后的模型。例如人 体样本模型经过姿势变换，使得姿势变化后的人体样本模型（即该人体样本对齐模型）与 该人体的第一重建模型对应的姿势参数相同，换句话说与第一重建模型具有一致的姿势。 例如，如果该人体的第一重建模型的姿势为下蹲，该人体样本对齐模型也具有下蹲的姿势， 运样有利于保证后续模型重建过程中的边界一致约束条件。
[0100] 该每个人体样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对应 于该人体的用同一个部位名称所表示的部位，指的是，假设人体的第一重建模型如图2 (a) 所示的划分为16个局部块，该人体样本对齐模型也划分为如图2(a)所示的16个局部块， 且该人体样本对齐模型的第i个局部块与第一重建模型的第i个局部块指示该人体的同一 个部位，例如该人体样本对齐模型的第i个局部块与第一重建模型的第i个局部块均对应 于如2 (a)中所示的局部块3。 阳101] 该每个人体样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对 齐，其中对齐指的是，该每个人体样本对齐模型的第i个局部块与第一重建模型的第i个局 部块之间无需经过刚性变换来使得彼此对齐，换句话说，每个人体样本对齐模型的第i个 局部块与第一重建模型的第i个局部块处于相同的坐标体系中。
[0102] S140,使用该N个目标对象样本对齐模型来逼近该第一重建模型，从而确定该目 标对象的包括Μ个局部块的第二重建模型，该第二重建模型的第i个局部块是由该每个目 标对象样本对齐模型的第i个局部块确定得到的，i为1，一,Μ，其中，i为1，…，Μ指的是， i的赋值依次为1，···，Μ。
[0103] 具体地，W该目标对象为人体为例，根据每个人体样本对齐模型的第i个局部块 的线性组合来确定该第二重建模型的第i个局部块，其中，该每个人体样本对齐模型的第i 个局部块的线性组合，是通过利用该N个人体样本对齐模型去逼近该第一重建模型的过程 中确定的，下文将结合公式（3)~（6)进行详细说明。
[0104] 因此，本发明实施例提供的数据处理的方法，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。
[01化]在本发明实施例提供的方法中，基于N个人体样本对齐模型的组合，来确定该人 体的第二重建模型，其中该N个人体样本对齐模型的组合是通过利用该N个人体样本对齐 模型来逼近该第一重建模型的途径所确定的。运样得到的该第二重建模型，不仅较高相似 度地还原该人体的第一重建模型，而且保持了人体样本模型的光滑度和准确度，从而能够 较大程度地消除该第一重建模型可能包含的噪音。因此，根据本发明实施例提供的数据处 理的方法，能够有效提高模型的准确度。 阳106] 应理解，单个人体部位相对于整个人体来说，姿势变化空间相对较小，而在本发明 实施例中，是根据每个人体样本对齐模型的第i个局部块来确定该第二重建模型的第i个 局部块的，在本发明实施例中，能够基于较小规模的人体样本数据库，获取与该第一重建模 型较大程度逼近的该第二重建模型。因此，本发明实施例提供的数据处理的方法，能够有效 提高模型的准确度，同时也能够降低对人体样本数据库中模型数量和姿态变化的要求，具 有更加广阔的应用前景。 阳107] 可选地，在本发明实施例中，S110获取目标对象的第一重建模型，包括：
[0108] S111，获取该目标对象的目标对象点云数据； 阳109] W该目标对象为人体为例，具体地，分为采集人体的深度图像和提取人体点云数 据两个步骤： 阳110] 1)采集人体的深度图像。 阳111] 下面W两个RGB-D相机为例而非限定进行描述。
[0112] 两个RGB-D相机分别固定在被拍摄人体的前面和后面，使得两个相机能够拍到整 个人体，例如位于前面和后面的相机各自距离人体大约2. 5m至3m，本发明实施例对此不作 限定。
[0113] 可W使两个相机同步采集数据，具体地，可W通过标准流程标定RGB-D相机的内 部参数和两个RGB-D相机之间的外部参数，W达到两个相机实现同步采集数据的目的。相 机标定之后，可W将两个相机在同一时刻采集的两个深度图像对齐到同一个坐标系下。
[0114] 在深度图像采集过程中，被拍摄人体可W摆出不同的姿势。
[0115] 两个相机连续拍摄一段时间后，采集到人体动态变化的两个深度图像同步序列。 阳116] 应理解，还可W采用Ξ个RGB-D相机采集深度图像数据，例如两个相机拍摄人体 上部分和下部分，另外一个从相反方向拍摄中间部分，每个Kinect的视角没有重叠区域， 避免相互红外干扰数据丢失。
[0117] 2)提取人体点云数据
[0118] (1)通过平面检测的方法，将地面检测出来，把深度图像中的地面部分删除；
[0119] (2)定义一个Ξ维包围盒，能包含整个人体，将深度图像中除该Ξ维包围盒之外的 其他部分删除；
[0120] (3)使用统计方法将地面剩余的点删除； 阳121] (4)利用上一帖的人体点云数据提取结果作为先验知识，确定当前帖中人体的像 素范围，将多余的点删除，获取到当前帖最终的人体点云数据。
[0122] 应理解，在第一帖的人体点云数据的提取过程中，没有上述步骤（4)。
[0123] S112,获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准 姿势下的标准目标对象点云数据的模型。
[0124] W该目标对象为人体为例，该预设的标准姿势指的是，标准人体站立姿势，具体 地，该预设的标准人体站立姿势指的是人体数据库中规定的标准站立姿势。
[0125] 首先获取该人体在该预设的标准人体站立姿势下的标准人体点云数据；然后将人 体数据库中的任一个人体样本模型对齐到该人体的标准人体点云数据，该人体样本模型经 过对齐步骤之后所得的模型即为该人体的模板模型。该模板模型的每个顶点在该标准人体 点云数据中均具有对应的点，且每一对对应点中的两个点为最近邻的点。 阳126] 换句话说，该模板模型是由人体数据库中的人体样本模型通过对齐到该人体的标 准人体点云数据，而变形得到的模型。获取该模板模型主要分为W下两个步骤： 阳127] 第一步，稀疏的点对应
[0128] 获取该人体在该预设的标准人体站立姿势下的标准人体点云数据；假设将人体数 据库中的样本模型A作为该模板模型的基础模型。
[0129] 向下采样样本模型A和该人体的标准人体点云数据。例如采用文献"Coherent Point Drift (Point Set Registration:Coherent Point Drift. Andriy Myronenko, etc. ΡΑΜΙ 2010."提出的对齐方法，将样本模型A初始对齐到该标准人体点云数据。具体地，例 如将标准人体点云数据或样本模型A经过平移、旋转W及缩放中的至少一种的变化，最终 使得标准人体点云数据中尽量多的数据点与样本模型A的顶点对齐，并尽量重合。
[0130] 根据初始对齐的样本模型A和标准人体点云数据，确定二者之间的对应点。例如， 针对与该标准人体点云数据对齐之后的样本模型A的顶点al，基于Ξ维距离在整个人体点 云上找一个距离最近点，作为顶点al在标准人体点云数据中的对应点pl。 阳131] 基于运些稀疏的点对应，例如（al，pi)，将样本模型A初始对齐到该标准人体点云 数据，具体地，将样本模型A经过平移、旋转W及缩放中的至少一种的变化，使之初步地对 齐到该标准人体点云数据。为了便于理解和描述，将通过上述初始对齐而变形的样本模型 A记为样本模型A'。
[0132] 第二步，稠密的点对应
[0133] 根据样本模型A'和标准人体点云数据，利用最近邻找对应点的方法，在样本模型 A'和标准人体点云数据之间，建立稠密的对应点。基于该稠密的对应点，将该样本模型A' 进一步对齐到该标准人体点云数据，具体地，将样本模型A'经过平移、旋转W及缩放中的至 少一种的变化，使之进一步对齐到标准人体点云数据。
[0134] 将样本模型A'经过上述二次对齐之后的变形模型确定为该人体的模板模型，即该 模板模型较为准确地描述了该人体在标准站立姿势下的标准人体点云数据。
[0135] 应理解，在最近邻方法建立对应点时，如果两个点之间的法向量角度小于90度并 且距离小于0.1 m，我们认为最近邻方法找到的运个对应点是合理的。使用法向量之间角度 的判断条件，为避免表面前面的点和表面后面的点之间错误的匹配。
[0136] 应理解，通过W上两步的点对应步骤，获得了与该具有标准站立姿势的标准人体 点云数据具有点对应关系的模板模型。
[0137] 应理解，上述确定模板模型的过程，可W看作为：人体数据库中的样本模型A，向 着标准站立姿势的标准人体点云数据，不断变形W尽量与该标准人体点云数据对齐的过 程，最终生成一个与标准站立姿势的人体点云相吻合的人体模型，即该模板模型。
[0138] S113,确定该目标对象点云数据与该模板模型的点对应关系； 阳139] 具体地，可W义用义用文献"Coherent化int Drift (Point Set Registration:Coherent Point Drift. An化iy Myronenko, etc. ΡΑΜΙ 2010."提出的对齐方 法，确定该人体点云数据与该模板模型的点对应关系。例如将该模板模型的顶点a2在该人 体点云数据中的对应点为p2,该对对应点（a2，p2)为最邻近点。
[0140] 例如还可W参考上一帖的第一重建模型来建立该模板模型与当前帖的人体点云 数据之间的点对应关系。 阳141] 应理解，还可W采用其他的对齐方法，确定该人体点云数据与该模板模型的点对 应关系，本发明实施例对此不作限定。
[0142] S114,基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对 于该模板模型的姿势变化参数；
[0143] S115,利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模 型变形为与该目标对象点云数据具备相同姿势的该第一重建模型。
[0144] 具体地，该骨架驱动技术采用一个骨架运动模型（Skeletal Motion Model)表 示人体的运动，基于人体每一个小部分近似刚性运动的特性，通过皮肤权重（Skinning Wei曲t)和线性融合技术化inear Blend Skinning)实现光滑的人体变形。其中，骨架 运动模型由一个网格化的人体模型和植入模型的人体骨架组成。人体骨架包含一些节点 CJoint)和骨块度one)。节点之间的连接是有序的，可W用树结构来表示。每个节点定义 一个旋转轴，连接该节点的骨块可W绕着运个节点的旋转轴进行任意旋转，其中，骨块的运 动受到由根节点到该骨块连接的节点的整个链条化inematic化ain)上所有节点的运动 的影响。模板模型中的每个顶点的运动可W由人体骨架中所有骨块的刚性运动的线性组 合表达。模板模型中的每个顶点的运动和人体骨架中每个骨块的运动之间的相关性用一 个皮肤权重（Skinning Wei曲t)来表示，具体方法请参见现有方法"Baran, etc, Automatic rigging and animation of 3d characters. SIGGRAPH 2007,page 72."。
[0145] 具体地，图2(b)示出了骨架运动模型的示意图。该骨架运动模型包括22个节点， 每个节点定义一个节点角度Θ。，即骨块绕着节点旋转轴旋转的角度。骨架运动模型的整 体刚性变换用参数.0。^表示，该骨架运动模型的骨架姿势可W由向量义务咕…，表 示，该骨架姿势的自由度为22+6 = 28。
[0146] 可选地，在本发明实施例中，根据如下公式，估计该目标对象点云数据相对于该模 板模型的姿势变化参数W及与该目标对象点云数据具备相同姿势的该第一重建模型： 阳 147]
[0148]
阳1例其中，Qi(x)为该第一重建模型的第i个顶点，q' 1为该模板模型的第i个顶点， R为该骨架驱动技术中采用的骨架模型包括的骨块的总个数，唯是该模板模型的第i个顶 点关于骨块g的运动权重，jg是该骨架模型中影响骨块g运动的节点的个数，砖(i)是影响 骨块g的第j个节点在该骨架模型中的索引，是该第j个节点的刚性变化矩 阵，C为该第一重建模型与该人体点云数据之间的对应点的集合，（Vi，Pi)为该第一重建模 型与该人体点云数据之间的对应点的集合C中的一对对应点。
[0150] 应理解，本发明实施例中的该人体点云数据相对于该模板模型的姿势变化参数对 应于公式（1)和似中的骨架姿势向量义=(坏矣卑…，0,,)。 阳151] 具体地，基于上述公式（1)和（2)的多次优化迭代，例如迭代优化8次，W使得模 板模型变形后所得的第一重建模型与当前帖的人体点云数据具有较好的对齐关系。可选 地，可W采用Levenberg-Marquar化算法进行优化迭代。
[0152] 更具体地，在上述多次优化迭代中，可W将上一帖的骨架姿势X t 1和上一帖的第 一重建模型和当前帖的人体点云数据之间的对应点作为初始迭代条件，最终得到当前帖的 骨架姿势xt。 阳153] 综上所述，通过公式（1)和（2)的多次迭代，可W估计到该人体点云数据相对于该 模板模型的姿势变化参数，即公式（1)和（2)中的骨架姿势向量X。然后将该骨架姿势向 量X带到公式（1)里边，就可W计算得到该第一重建模型中的每个顶点的坐标（对应于公 式（1)中的qi(x))，从而获得该第一重建模型。
[0154] 应理解，通过上述在S114估计的该人体点云数据相对于该模板模型的姿势变化 参数（对应于公式（1)和（2)中的骨架姿势向量句，妻命…，)，可W确定该第一重 建模型的姿势参数，具体地，将该姿势变化参数（对应于公式（1)和（2)中的骨架姿势向量 ,4^，却…，畔确定为该第一重建模型的姿势参数，即该第一重建模型的姿势参数描 述了该第一重建模型相对于该模板模型的姿势变化。
[0155] 为了更好地体现人体细节的变形，比如肢体的局部变形和细节变形，可W在基于 骨架驱动变形的基础上，进一步实现细节化的变形，使得所得的第一重建模型更加接近真 实的人体。 阳156] 可选地，在本发明实施例中，S110获取目标对象的第一重建模型，包括： 阳157] S111，获取该目标对象的目标对象点云数据；
[0158] 具体过程同上文，为了简洁，运里不再寶述。
[0159] S112,获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准 姿势下的标准目标对象点云数据的模型；
[0160] 具体过程同上文，为了简洁，运里不再寶述。 阳161] S113,确定该目标对象点云数据与该模板模型的点对应关系；
[0162] 具体过程同上文，为了简洁，运里不再寶述。
[0163] S114,基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对 于该模板模型的姿势变化参数；
[0164] S115A，利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模 型变形为与该目标对象点云数据具备相同姿势的骨架变形模型，使得该骨架变形模型与该 目标对象点云数据对齐； 阳1化]具体地，利用上述公式（1)和似的多次迭代，估计估计该人体点云数据相对于该 模板模型的姿势变化参数（对应于公式（1)和（2)中的骨架姿势向量，坏…，武) )。将公式（1)中的Qi ( X )看作该骨架变形模型的第i个顶点。
[0166] 然后将该骨架姿势向量X带到公式（1)里边，就可W计算得到该第一重建模型中 的每个顶点的坐标（对应于公式（1)中的di ( X ))，从而获得该骨架变形模型的每个顶点的 坐标（对应于公式（1)中的qi(x))，从而获得该骨架变形模型。
[0167] S115B，基于网格变形技术对该骨架变形模型进行变形，获得该第一重建模型，使 得该第一重建模型与该目标对象点云数据的形状匹配。
[0168] 具体地，为骨架变形模型的每一个顶点分配一个仿射变换Xi，将骨架变形模型的 每一个顶点变形到该顶点在人体点云中的对应点。所有顶点的变换整合在一起，得到一个 4n*3的矩阵，变形的能量函数如下，
[0169]
W
[0170] 其中，X为每个顶点的变换组成的矩阵；D是每个顶点变形之前坐标组成的矩阵；U 是人体点云的对应点坐标矩阵;W是每个对应点的权重值构成的权重矩阵，ε为该骨架变 形模型的所有边的集合，i，j是骨架变形模型上的一条边（骨架变形模型中任意两个相邻 顶点之间的连接称为一条边）的两个顶点的索引；α为光滑项权重。 阳171] 式（3)中的第一项是数据项，表示骨架变形模型上的顶点经过变形后和人体点云 数据的对应点之间的距离尽量小，式（3)中的第二项是光滑项，表示一条边上的两个顶点 的变换需要相似，使得整体的变形光滑。
[0172] 上述细节化变形过程中，光滑项权重开始设为一个较大的值，随着迭代次数逐步 减小，通过运种方式尽量减小输入数据中的强噪音给变形带来的影响。 阳173] 具体地，公式（3)所示的能量函数通过最小二乘方法求解。
[0174] 在本发明实施例中，当前帖的第一重建模型是该人体的模板模型依次经过骨架驱 动变形和细节化变形得到的，能够更好地体现人体细节的变形，比如肢体的局部变形和细 节变形，使得所得的第一重建模型更加接近真实的人体。
[0175] 在本发明实施例中，还可W采用当前现有的点对齐和变形方法，例如通过现有的 骨骼对齐、粗对齐和精对齐，获取人体点云数据的第一重建模型；或者，基于骨骼驱动变形 的方法，将上一帖的第一重建模型与当前帖的人体点云数据对齐，然后采用Laplacian变 形实现细节变形，得到当前帖的第一重建模型。
[0176] 在S120中，将该第一重建模型划分为Μ个局部块，该第一重建模型的Μ个局部块 中不同的局部块对应于该目标对象不同的部位，该不同部位用不同的部位名称表示，Μ为大 于1的正整数。
[0177] 具体地，例如图2(a)所示，假设该第一重建模型为图2(a)所示的人体模型，根据 人体骨骼和运动特性，将第一重建模型分成了 18局部块，且相邻的局部块在彼此连接处具 有的共享的边界顶点，例如右手掌9和右小臂7是共享该右手掌和右小臂的连接处的边界 顶点。运样能够避免后续模型重建过程中的相邻块之间边界不一致。可选地，该第一重建 模型可W根据骨架模型中骨块的情况划分Μ个局部。
[0178] 可选地，在本发明实施例中，该第一重建模型的Μ个局部块中相邻的局部块在彼 此连接处具有共享的边界顶点。
[0179] 具体地，假设该第一重建模型为图2(a)所示的人体模型，假设Μ个局部块中的第 i个局部块（例如右手掌9)和第j个局部块（例如右小臂7)是相邻的局部块，则右手掌9 与右小臂7的连接处（例如右手腕）的一圈边界顶点，既属于第i个局部块（右手掌9)的 顶点，也属于第j个局部块（右小臂7)的顶点。即第i个局部块（右手掌9)和第j个局 部块（右小臂7)在彼此连接处具有共享的边界顶点（即右手腕上的顶点）。
[0180] 将第一重建模型划分为Μ个局部块，且其中相邻的局部块在彼此连接处具有共享 的边界顶点，运有利于后续在局部块的重建步骤中保持边界一致性，W进一步提高模型的 准确度。 阳181] 在S130中，获取Ν个目标对象样本对齐模型，每个目标对象样本对齐模型的姿势 对应的姿势参数与该第一重建模型的姿势对应的姿势参数相同，且该每个目标对象样本对 齐模型包括Μ个局部块，其中，该每个目标对象样本对齐模型的第i个局部块与该第一重建 模型的第i个局部块对应于该目标对象的用同一个部位名称所表示的部位，该每个目标对 象样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对齐，N为正整数，i为 1，一,1,其中，i为1，…，Μ指的是，i的赋值依次为1，'"，Μ。 阳182] 其中，该人体样本对齐模型可W是系统预设置好的，也可W是实时地根据人体数 据库中的标准人体样本模型进行相关处理操作所得到，下文将详细进行描述。 阳183] 可选地，在本发明实施例中，S130获取Ν个人体样本对齐模型，包括：
[0184] S131，从预设的目标对象数据库中获取Ν个目标对象样本模型；
[01化]具体地，本发明实施例设及到的人体标准数据库，可W为包括190(即，Ν等于190) 个标准站立姿势的人体模型，其中，每个人体模型包括9999个顶点和19994个Ξ角面片。
[0186] S132,基于骨架驱动变形技术，根据该第一重建模型的姿势参数，将该Ν个目标对 象样本模型变形为与该第一重建模型对应于相同的姿势参数的Ν个目标对象样本骨架变 形模型；
[0187] 具体地，利用在骨架驱动变形过程中确定的当前帖的姿势变换参数（对应于式 (1)和（2)中确定的骨架姿势X)，将该Ν个人体样本模型变形为Ν个人体样本骨架变形模 型，该人体样本骨架变形模型与该第一重建模型（或者人体点云数据）具有一致的姿势。
[0188] S133,将每个目标对象样本骨架变形模型划分为Μ个局部块，该每个目标对象样 本骨架变形模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的用 同一个部位名称表示的部位；
[0189] 具体地，将经过姿势变化的N个人体样本骨架变形模型均划分为Μ个局部块，该Μ 个局部块中相邻的局部块在彼此连接处具有共享的边界顶点。
[0190] S134,通过对该每个目标对象样本骨架变形模型的第i个局部块进行旋转、平移 和缩放中的至少一种变换，从而获得该N个目标对象样本对齐模型，其中，每个目标对象样 本对齐模型的第i个局部块在经过该旋转、平移和缩放中的至少一种变换后与该第一重建 模型的第i个局部块对齐，i为1，2，…，Μ。
[0191] 具体地，采用现有的 Procrustes analysis 方法（例如，"D. G. Kendall, "A survey of the statistical theory of shape, "Statistical Science, vol. 4, no. 2, pp. 87 - 99, 1989.")，估计N个人体样本骨架变形模型中的每个人体样本骨架变形模型的M 个局部块中的第i个局部块到第一重建模型的第i个局部块的刚性变换参数，根据该刚性 变换参数，通过对该N个人体样本骨架变形模型中的每个人体样本骨架变形模型的第i个 局部块进行旋转、平移和缩放中的至少一种变换，将每个人体样本骨架变形模型的第i个 局部块对齐到第一重建模型的第i个局部块，从而获得该N个人体样本对齐模型。上述S134 的步骤也可记为局部块对齐步骤。
[0192] 应理解，通过S134所述的局部块对齐步骤所获取的N个人体样本对齐模型，较大 程度低消除了与第一重建模型之间的刚性变换。从而，在S140中，人体样本对齐模型能够 很好地表达第一重建模型。
[0193] 在S140中，使用该N个目标对象样本对齐模型来逼近该第一重建模型，从而确定 该目标对象的包括Μ个局部块的第二重建模型，该第二重建模型的第i个局部块是由该每 个目标对象样本对齐模型的第i个局部块确定得到的，i为1，一,Μ，具体过程如下： 阳194] 根据W下公式，获取该第二重建模型： 阳 195] Κ,= Β,ο,+ μ,(? = 1,..., Μ) (4)
[0196] 其中，Ki为该第二重建模型的Μ个局部块中的第i个局部块，Bi为由该Ν个目标 对象样本对齐模型的第i个局部块组成的基，μ 1为该Ν个目标对象样本对齐模型的第i个 局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：
阳201] S. t. Ci> 0(i = 1，. . .，M) 阳202] 其中
Vi为该第一重建模型的第i个局部块，Γ为该每个目 标对象样本对齐模型的Μ个局部块中相邻的局部块的集合，（i，j) e Γ表示该每个目标对 象样本对齐模型的第j个局部块为与该每个目标对象样本对齐模型的第i个局部块相邻的 局部块，Bj为由该每个目标对象样本对齐模型的第j个局部块组成的基，B U用于表达该每 个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶点，且Bi， 为Bi的子集，μ 1,为Bi,的平均值，Β ,ι用于表达该每个目标对象样本对齐模型的第j个局 部块与第i个局部块在彼此连接处的边界顶点，Β,ι为B ,的子集，μ ,1为Β ,ι的平均值，β为 权重，λ为权重，I I I 11为L1范式，I II I 2为L2范式。 阳203] 上述可知，式巧）中第一项表示每个人体样本对齐模型的每个局部块的线性表达 与第一重建模型的对应局部块相似，换句话说，即每个人体样本对齐模型的第i个局部块 的线性组合与该第一重建模型的第i个局部块的接近程度满足一定的预设条件，具体地， 可W根据对模型的精确度要求指标来确定该预设条件。 阳204] 应理解，单个人体部位相对于整个人体来说，姿势变化空间相对较小，因此，可W 利用较小规模的人体样本数据库，就能实现较为准确地线性表达第一重建模型中每个局部 块，从而本发明实施例能够降低对人体样本数据库中人体模型数量和姿态变化的要求，具 有更加广阔的应用前景。
[020引式妨中第二项是边界约束，表示相邻的两个局部块共享的边界顶点分别在该两 个局部块中的表达结果相近。 阳206] 具体地，假设人体样本骨架变形模型Model 1包括的Μ个局部块中第i个与第j个 局部块为相邻的局部块，即第i个与第j个局部块在彼此连接处具有共享的边界顶点G，换 句话说运些共享的边界顶点G分别在第i个与第j个局部块中的坐标（或者位置表达参数） 是相同的。通过上述S134的局部块对齐步骤，即该人体样本骨架变形模型Model 1的每个局 部块通过旋转、平移和缩放中的至少一种变换，对齐到第一重建模型的对应局部块，记经过 该局部块对齐步骤后的模型为人体样本对齐模型Model2。则在人体样本对齐模型Model2 中，其包括的Μ个局部块中的第i个与第j个局部块可能由于上述旋转、平移和缩放中的至 少一种变换，彼此不连接了，例如彼此断裂开了，则原本共享的边界顶点G在第i个局部块 中为边界顶点G1、在第j个局部块中为边界顶点G2,且边界顶点G1在第i个局部块中的坐 标（或者位置表达参数）与在第j个局部块中的坐标（或者位置表达参数）是不同的，类 似的，边界顶点G2在第i个局部块中的坐标（或者位置表达参数）与在第j个局部块中的 坐标（或者位置表达参数）也不同。该情况不利于局部块重建过程中的边界一致性。
[0207] 公式妨中的第二项就是为了解决上述问题的，公式妨中的第二项是边界约束， 表示相邻的两个局部块共享的边界顶点在分别该两个相邻局部块中的表达结果相近，换句 话说，让相邻的两个局部块共享的边界顶点在分别该两个相邻局部块中的表达结果满足一 定预设条件，其中该预设条件可W根据具体的模型精度要求具体确定。 阳20引即通过公式巧）中的第二项所表示的约束条件，有效弥补了在上述局部块对齐过 程中所产生的边界不一致的问题。
[0209] 从公式妨还可知，Bi的系数向量C韵大于零（即系数向量Ci的每一个元素都是 正的），即符合系数正约束的条件，能够提高对强噪音的鲁棒性。
[0210] 在本发明实施例中，结合公式（4)和公式巧），通过Μ个局部块的线性表达来确定 该第一重建模型的第二重建模型，能够有效提高模型的准确性，同时，也能够降低对人体样 本数据库的模型数量和模型姿势的要求，具有更加广阔的应用前景。 悦11] 除了利用公式妨确定Bi的系数向量Ci之外，还可W根据公式（6)来确定Bi的 系数向量Ci。
[0212] 与公式（5)类似，式化）中第一项表示每个人体样本对齐模型的每个局部块的线 性表达和第一重建模型的对应局部块相似；第二项是边界约束，表示相邻的两个局部块共 享的边界顶点分别在该两个局部块中的表达结果相近化的系数向量C 1均大于零，即符合 系数正约束的条件。与公式（5)不同的是，式（6)还包括第Ξ项，该第Ξ项表示线性表达系 数稀疏约束的条件（即系数向量Ci的元素等于零的尽量多）。应理解系数正约束和系数稀 疏约束，能够提局对强噪首的鲁棒性。 阳21引运部分为基于sparse coding的基本思想的基于局部块的全局重建算法。sparse coding问题可W用如下公式表示：
[0214]
口) 阳215] 可W采用Ll-minimization方法求解公式巧）
[0216] 通常提取的人体点云数据包含有噪音，因此，对应的第一重建模型中也包含噪音。 本发明实施例提供的基于局部块的人体建模方法，通过局部块的线性表达、边界一致性条 件、系数正约束条件W及系数稀疏约束条件，能够有效降低引入到人体模型中的噪音，模型 的准确性较高。
[0217] 因此，本发明实施例提供的数据处理的方法，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。
[0218] 可选地，在本发明实施例中，所有的模型的分块策略可W是基于同一个策略。例如 根据相同的分块策略将第一重建模型划分为Μ个局部块，并将目标对象样本对齐模型划分 为Μ个局部块。
[0219] 可选地，在本发明实施例中，S120根据分块策略，将第一重建模型划分为Μ个局部 块，其中Μ也可W等于1，则获取第二重建模型的过程可W为：通过Ν个人体样本对齐模型 中每个人体样本对齐模型在整个人体空间上的线性组合来表达该第一重建模型，当Ν个人 体样本对齐模型的线性组合与该第一重建模型的接近程度满足预设条件时，将对应的Ν个 人体样本对齐模型的线性组合确定为该第一重建模型的重建模型。通过上述线性组合表 达，也能够在一定程度上提高重建模型的准确度。
[0220] 可选地，在本发明实施例中，该方法还包括： 阳221] S150,对该第二重建模型进行平滑优化处理。 阳22引 具体地，例如采用文献"Kan浊an Wang, etc. A Two-Stage Rramework for 3D 化。6 民econstruction from RGBD Images. ΡΑΜΙ 2014. Volume:36,Issue:8, Pages 1493-1504." 提到的表面优化算法，对S140获取的第二重建模型进一步光滑优化处理。 阳223] 具体步骤如下：
[0224] 第二重建模型的每个Ξ角面片的Ξ个顶点和垂直Ξ角面片上的一个点，在变形前 后，可W决定一个仿射变换。第四点的坐标可W由Ξ个顶点的坐标通过W下公式计算： 悦巧]
脚
[0226] 其中，Vi，V2, 乂3为立角面片上的立个顶点。 阳227] Ξ角面片的仿射变换可W写为： 阳。引 Τν'1+d 二石1 /居 1,...4 (9)
[0229] 其中，，是变形之后的点。通过变形可W得到：
阳232] W上公式表明，Ξ角面片的仿射变换可W通过变换之后的顶点坐标线性表示。 阳233] 表面优化的能量函数：
[0234]
片〇 阳235] 其中，|T|是模板模型上的Ξ角面片个数，adj(i)是第i个Ξ角面片的相邻Ξ角面 片集合，Ci是模板模型第i个顶点在第二重建模型上的对应顶点。第一项是光滑项，表示相 邻Ξ角面片的变换需要相近。第二项是数据项，表示模板模型顶点变形之后，需要和第二重 建模型上的对应点坐标对齐。该能量函数是一个最小二乘问题，可用标准方法求解。 阳236] 因此，本发明实施例提供的数据处理的方法，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。 阳237] 应理解，上文都是针对当前帖的人体点云的第二重建模型进行描述，当整个时间 序列上的人体点云数据都经过S110至S150的处理，即得到整个时间序列上的经过平滑处 理的第二重建模型后，还可W对整个时间序列上的第二重建模型经过时序光滑处理。
[0238] 可选地，在本发明实施例中，该方法100还包括： 阳239] S160,对整个时间序列上的第二重建模型进行光滑优化处理，获取到所有帖的全 局优化模型。
[0240] 具体地，当所有帖的人体模型都重建之后，即，所有帖的第二重建模型都经过平滑 处理后，对整个时间序列上的经过平滑处理之后的第二重建模型进行光滑处理，获取到所 有帖的全局优化模型，上述过程也可称之为时序光滑（Temporal Filtering)处理。目前， 时序光滑的算法比较多，可W采用化化ick-Prescott filtering算法。 阳241] 应理解，通过对整个时间序列上作光滑优化处理，能够有效地消除了整个序列上 可能存在的抖动。 阳242] 应理解，在本发明实施例中，基于人体是articulated的假设。 阳243] 人体Ξ维建模具有深远的研究意义和广泛的商业应用价值，RGB-D相机操作简单 和价格便宜，动态人体的重建算法可应用于视频会议系统中的增强现实展示，可实时采集 并传输待展示的动态人体Ξ维模型。本发明中基于局部块的全局建模算法将人体的Ξ维姿 态用低维的sparse coding解来表示，可W应用到Ξ维人体的编码传输中：将信息量巨大 的人体的模型库提前放置于接收端，发送端只需传送sparse coding解。 阳244] 图3示出了针对一个或多个RGB-D相机同时拍摄的人体的深度数据序列，根据本 发明实施例提供的数据处理的方法的处理结果。 阳245] 如图3(a)所示，采用前后放置的两个RGB-D相机同时拍摄人体的深度数据序列， 具体地，图3 (a)示出的是两个姿势深度图像，每一行是同一个姿势的前后两个RGB-D相机 拍摄的深度图。 阳246] W图3(a)所示的两个姿势的深度图作为处理对象，根据本发明实施例提供的数 据处理的方法，处理结果如图3(b)所示，图3(b)示出了两个姿势下的重建模型，并从两个 角度显示。 阳247] 从图3中可知，根据本发明实施例提供的数据处理的方法，都能重建出真实而且 光滑的人体模型。 阳248]图4示出采用本发明实施例提供的数据处理的方法所得的人体建模结果。
[0249] 测试的序列一共有321帖，得到了一个动态的人体模型序列，图4只示出其中第 40、140、180和280帖的建模结果。其中图4(a)为彩色图像；图4(b)为深度图像；图4(c) 示出了采用本发明实施例提供的数据处理的方法所得的建模结果；图4(d)示出了采用本 发明实施例提供的数据处理的方法所得的建模结果另一个角度显示的结果。 阳巧0] 从图4中可知，在人体姿势变化很大的情况下，根据本发明实施例提供的数据处 理的方法，都能重建出真实而且光滑的人体模型。 阳巧1] 因此，本发明实施例提供的数据处理的方法，通过基于局部块的全局人体重建方 法，可W在输入的深度图中有强噪声和漏桐的情形下，较为准确地重建人体的动态Ξ维模 型，同时，在建模过程中，只需使用一个数量少、标准姿态的人体数据库，就可重建出人体形 状和姿态各种变化的人体模型，建模过程相对简单，具有更加广阔的应用前景。 阳巧2] 应理解，在本发明实施例中，采用数量越多的Kinect RGB-D相机采集人体深度 数据，最终得到的第二重建模型的准确性越高。但是本发明实施例并不严格限制Kinect RGB-D相机的数量，例如，在本发明实施例中，通过一个Kinect RGB-D相机采集深度图像数 据，也可W基于局部块的方法得到较为准确的人体模型。即本发明实施例提供的数据处理 的方法对Kinect RGB-D相机的数量没有严格的限制，建模过程的成本较低，具有较广的应 用场景。 阳253] 因此，本发明实施例提供的数据处理的方法，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。同时，在本发明实施例中，能够基于较小规模的人体样本数据库，获取与该第一 重建模型较大程度逼近的该第二重建模型。因此，本发明实施例提供的数据处理的方法， 同时也能够降低对人体样本数据库中模型数量和姿态变化的要求，具有更加广阔的应用前 景。本发明实施例提出的数据处理的方法，还可W应用到计算机图形学和视觉领域其他动 态物体的建模中。 阳254] 上文中W目标对象为人体示例，描述了本发明实施例提供的基于局部块的模型重 建的方法，应理解，该目标对象也可W动物或者其他动态物体。本领域技术人员根据上文给 出的基于人体建模的例子，显然可W进行各种等价的修改或变化，W获取到动物或者动态 物体的建模方案，运样的修改或变化也落入本发明实施例的范围内。 阳255] 基于上述技术方案，本发明实施例提供的数据处理的方法，通过将目标对象的第 一重建模型划分为Μ个局部块，并通过利用N个目标对象样本对齐模型来逼近该第一重建 模型，来确定该目标对象的包括Μ个局部块的第二重建模型，其中该第二重建模型的第i个 局部块是由该每个目标对象样本对齐模型的第i个局部块确定得到的，通过本发明实施例 提供的方法，能够有效提高模型的准确度。 阳巧6] 上文中结合图1至图4,描述了根据本发明实施例的数据处理的方法，下面将结合 图5和图6,描述根据本发明实施例的数据处理的装置。
[0257] 图5示出了根据本发明实施例的数据处理的装置200的示意性框图。如图5所示， 该装置200包括： 阳巧引第一获取模块210,用于获取目标对象的第一重建模型； 阳巧9] 具体地，该第一重建模型可W是基于该人体的人体点云数据而重建的用于描述该 人体点云数据的模型。其中，该第一重建模型具体指的是预设的人体数据库中的人体样本 模型对齐到该人体的人体点云数据W后所确定的模型，运里的对齐指的是该第一重建模型 与人体点云数据具有点对齐关系，具体来说，该第一重建模型包括的每个顶点在该人体的 人体点云数据中具有对应的点，每对对应点中的两个点为最邻近的点。
[0260] 由于人体点云数据是基于照相机所拍摄的该人体的深度图像数据所采集的数据， 因此该人体点云数据中通常包含有强噪音，因此，基于人体点云数据所得的该第一重建模 型中也包含了噪音，模型精度较差，需要对其作进一步地处理，W提高模型的精度。 阳％1] 划分模块220,用于将该获取模块获取的该第一重建模型划分为Μ个局部块，该第 一重建模型的Μ个局部块中不同的局部块对应于该目标对象不同的部位，该不同部位用不 同的部位名称表示，Μ为大于1的正整数； 阳262] 具体地，假设该第一重建模型如图2 (a)所示的人体模型，将该模型划分为16个局 部块，其中每个局部块对应于人体不同的部位，且不同的部位用不同的部位名称来表示，如 图2(a)所示，利用一组数字序列来表示不同的局部块。 阳％3] 第二获取模块230,用于获取N个目标对象样本对齐模型，每个目标对象样本对齐 模型的姿势对应的姿势参数与该第一获取模块获取的该第一重建模型的姿势对应的姿势 参数相同，且该每个目标对象样本对齐模型包括Μ个局部块，其中，该每个目标对象样本对 齐模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的用同一个部 位名称所表示的部位，该每个目标对象样本对齐模型的第i个局部块与该第一重建模型的 第i个局部块对齐，N为正整数，i为1，···，]?，其中，i为1，…，Μ指的是，i的赋值依次为 1，…，M ;
[0264] 具体地，该人体样本对齐模型指的是预设的人体数据库中标准的人体样本模型经 过一定处理后的模型。例如人体样本模型经过姿势变换，使得姿势变化后的人体样本模型 (即该人体样本对齐模型）与该人体的第一重建模型对应的姿势参数相同，换句话说与第 一重建模型具有一致的姿势。例如，如果该人体的第一重建模型的姿势为下蹲，该人体样本 对齐模型也具有下蹲的姿势，运样有利于保证后续模型重建过程中的边界一致约束条件。
[0265] 该每个人体样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对应 于该人体的用同一个部位名称所表示的部位，指的是，假设人体的第一重建模型如图2 (a) 所示的划分为16个局部块，该人体样本对齐模型也划分为如图2(a)所示的16个局部块， 且该人体样本对齐模型的第i个局部块与第一重建模型的第i个局部块指示该人体的同一 个部位，例如该人体样本对齐模型的第i个局部块与第一重建模型的第i个局部块均对应 于如2 (a)中所示的局部块3。 阳％6] 该每个人体样本对齐模型的第i个局部块与该第一重建模型的第i个局部块对 齐，其中对齐指的是，该每个人体样本对齐模型的第i个局部块与第一重建模型的第i个局 部块之间无需经过刚性变换来使得彼此对齐，换句话说，每个人体样本对齐模型的第i个 局部块与第一重建模型的第i个局部块处于相同的坐标体系中。 阳％7] 确定模块240,用于使用该第二获取模块获取的该N个目标对象样本对齐模型来 逼近该第一获取模块获取的该第一重建模型，从而确定该目标对象的包括Μ个局部块的第 二重建模型，该第二重建模型的第i个局部块是由该每个目标对象样本对齐模型的第i个 局部块确定得到的，i为1，一,1,其中，i为1，…，Μ指的是，i的赋值依次为1，·，·，Μ。
[0268] 具体地，例如，根据每个人体样本对齐模型的第i个局部块的线性组合来确定该 第二重建模型的第i个局部块，其中，该每个人体样本对齐模型的第i个局部块的线性组 合，是通过利用该N个人体样本对齐模型去逼近该第一重建模型的过程中确定的。
[0269] 因此，本发明实施例提供的数据处理的装置，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。 阳270] 可选地，在本发明实施例中，该第一获取模块获取的该第一重建模型的Μ个局部 块中相邻的局部块在彼此连接处具有共享的边界顶点。 阳271] 具体地，例如，假设Μ个局部块中的第i个局部块（例如右手掌）和第j个局部块 (例如右小臂）是相邻的局部块，则右手掌与右小臂的连接处（例如右手腕）的一圈边界顶 点，既属于第i个局部块（右手掌）的顶点，也属于第j个局部块（右小臂）的顶点。即第 i个局部块（右手掌）和第j个局部块（右小臂）在彼此连接处具有共享的边界顶点（即 右手腕上的顶点）。
[0272]该划分模块220根据分块策略，将第一重建模型划分为Μ个局部块，且其中相邻的 局部块在彼此连接处具有共享的边界顶点，运有利于后续在局部块的重建步骤中保持边界 一致性，W进一步提高模型的准确度。 阳273] 可选地，在本发明实施例中，该确定模块具体用于，
[0274] 根据W下公式，获取该第二重建模型： 阳275] Ki= B iCi+ μ i (i = 1, . . . , Μ) (4) 阳276] 其中，Ki为该第二重建模型的Μ个局部块中的第i个局部块，Bi为由该Ν个目标 对象样本对齐模型的第i个局部块组成的基，μ 1为该Ν个目标对象样本对齐模型的第i个 局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括： 阳277]
(5) 阳27引 S. t. Ci> 0(i = 1，. . .，M) 阳2巧]或 阳280]
( r 、 阳281] s. t. Ci> 0 (i = 1, . . . , Μ) 阳282] 其中
Vi为该第一重建模型的第i个局部块，Γ为该每个目 标对象样本对齐模型的Μ个局部块中相邻的局部块的集合，（i，j) e Γ表示该每个目标对 象样本对齐模型的第j个局部块为与该每个目标对象样本对齐模型的第i个局部块相邻的 局部块，Bj为由该每个目标对象样本对齐模型的第j个局部块组成的基，B U用于表达该每 个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶点，且Bi， 为Bi的子集，μ 1,为Bi,的平均值，Β ,ι用于表达该每个目标对象样本对齐模型的第j个局 部块与第i个局部块在彼此连接处的边界顶点，Β,ι为B ,的子集，μ ,1为Β ,ι的平均值，β为 权重，λ为权重，I I I 11为L1范式，I II I 2L2范式。 阳283] 上述可知，式巧）中第一项表示每个人体样本对齐模型的每个局部块的线性表达 与第一重建模型的对应局部块相似，换句话说，即每个人体样本对齐模型的第i个局部块 的线性组合与该第一重建模型的第i个局部块的接近程度满足一定的预设条件，具体地， 可W根据对模型的精确度要求指标来确定该预设条件。 阳284] 应理解，单个人体部位相对于整个人体来说，姿势变化空间相对较小，因此，可W 利用较小规模的人体样本数据库，就能实现较为准确地线性表达第一重建模型中每个局部 块，从而本发明实施例能够降低对人体样本数据库中人体模型数量和姿态变化的要求，具 有更加广阔的应用前景。
[02财式妨中第二项是边界约束，表示相邻的两个局部块共享的边界顶点分别在该两 个局部块中的表达结果相近。 阳286] 具体地，假设人体样本骨架变形模型Model 1包括的Μ个局部块中第i个与第j个 局部块为相邻的局部块，即第i个与第j个局部块在彼此连接处具有共享的边界顶点G，换 句话说运些共享的边界顶点G分别在第i个与第j个局部块中的坐标（或者位置表达参数） 是相同的。通过上述S134的局部块对齐步骤，即该人体样本骨架变形模型Model 1的每个局 部块通过旋转、平移和缩放中的至少一种变换，对齐到第一重建模型的对应局部块，记经过 该局部块对齐步骤后的模型为人体样本对齐模型Model2。则在人体样本对齐模型Model2 中，其包括的Μ个局部块中的第i个与第j个局部块可能由于上述旋转、平移和缩放中的至 少一种变换，彼此不连接了，例如彼此断裂开了，则原本共享的边界顶点G在第i个局部块 中为边界顶点G1、在第j个局部块中为边界顶点G2,且边界顶点G1在第i个局部块中的坐 标（或者位置表达参数）与在第j个局部块中的坐标（或者位置表达参数）是不同的，类 似的，边界顶点G2在第i个局部块中的坐标（或者位置表达参数）与在第j个局部块中的 坐标（或者位置表达参数）也不同。该情况不利于局部块重建过程中的边界一致性。
[0287] 公式妨中的第二项就是为了解决上述问题的，公式妨中的第二项是边界约束， 表示相邻的两个局部块共享的边界顶点在分别该两个相邻局部块中的表达结果相近，换句 话说，让相邻的两个局部块共享的边界顶点在分别该两个相邻局部块中的表达结果满足一 定预设条件，其中该预设条件可W根据具体的模型精度要求具体确定。 阳28引即通过公式巧）中的第二项所表示的约束条件，有效弥补了在上述局部块对齐过 程中所产生的边界不一致的问题。 阳2例从公式妨还可知，Bi的系数向量C韵大于零（即系数向量Ci的每一个元素都是 正的），即符合系数正约束的条件，能够提高对强噪音的鲁棒性。 阳290] 在本发明实施例中，结合公式（4)和公式巧），通过Μ个局部块的线性表达来确定 该第一重建模型的第二重建模型，能够有效提高模型的准确性，同时，也能够降低对人体样 本数据库的模型数量和模型姿势的要求，具有更加广阔的应用前景。 阳291] 除了利用公式（5)确定Bi的系数向量Ci之外，还可W根据公式（6)来确定Bi的 系数向量Ci。 阳292] 与公式（5)类似，式化）中第一项表示每个人体样本对齐模型的每个局部块的线 性表达和第一重建模型的对应局部块相似；第二项是边界约束，表示相邻的两个局部块共 享的边界顶点分别在该两个局部块中的表达结果相近化的系数向量C 1均大于零，即符合 系数正约束的条件。与公式（5)不同的是，式（6)还包括第Ξ项，该第Ξ项表示线性表达系 数稀疏约束的条件（即系数向量Ci的元素等于零的尽量多）。应理解系数正约束和系数稀 疏约束，能够提高对强噪音的鲁棒性。 阳29引运部分为基于sparse coding的基本思想的基于局部块的全局重建算法。sparse coding问题可W用如下公式表示： 悦94]
仍 阳2巧]可W采用Ll-minimization方法求解公式巧） 阳296] 通常提取的人体点云数据包含有噪音，因此，对应的第一重建模型中也包含噪音。 本发明实施例提供的基于局部块的人体建模方法，通过局部块的线性表达、边界一致性条 件、系数正约束条件W及系数稀疏约束条件，能够有效降低引入到人体模型中的噪音，模型 的准确性较高。 阳297] 可选地，在本发明实施例中，该第一获取模块210包括： 阳29引第一获取单元211，用于获取该目标对象的目标对象点云数据； 阳299] 具体地，分为采集人体的深度图像和提取人体点云数据两个步骤： 阳300] 采集人体的深度图像；2)提取人体点云数据。具体步骤同上述方法侧相关描述， 为了简洁，运里不再寶述。 阳301] 第二获取单元212,用于获取该目标对象的模板模型，该模板模型为描述该目标对 象在预设的标准姿势下的标准目标对象点云数据的模型； 阳302] 具体地，该预设的标准人体站立姿势指的是人体数据库中规定的标准站立姿势。 首先获取该人体在该预设的标准人体站立姿势下的标准人体点云数据，然后将人体数据库 中的任一个人体样本模型对齐到该人体的标准人体点云数据，该人体样本模型经过对齐之 后所得的模型即为该人体的模板模型。该模板模型的每个顶点在该标准人体点云数据中均 具有对应的点，且每一对对应点中的两个点为最近邻的点。 阳303] 换句话说，该模板模型是由人体数据库中的人体样本模型通过对齐该人体的标准 人体点云数据，而变形得到的模型。获取该模板模型主要分为W下两个步骤： 阳304] 第一步，稀疏的点对应 阳305] 确定人体数据库中的一个样本模型A,作为将要变形为模板模型的基础。 阳306]向下采样样本模型A和该人体在标准站立姿势下的标准人体点云数据。例如采用 文南犬"Coherent Point Drift (Point Set Registration:Coherent Point Drift. Andriy Myronenko, etc. ΡΑΜΙ 2010."提出的对齐方法，将样本模型A初始对齐到该标准人体点云 数据。具体地，例如将标准人体点云数据或样本模型A经过平移、旋转W及缩放中的至少一 种的变化，最终使得标准人体点云数据中尽量多的数据点与样本模型A的顶点对齐，并尽 量重合。 阳307] 根据初始对齐的样本模型A和标准人体点云数据，确定二者之间的对应点。例如， 针对与该标准人体点云数据对齐之后的样本模型A的顶点al，基于Ξ维距离在整个人体点 云上找一个距离最近点，作为顶点al在标准人体点云数据中的对应点pl。 阳30引基于运些稀疏的点对应，例如（al，pi)，将样本模型A初始对齐到该标准人体点云 数据，具体地，将样本模型A经过平移、旋转W及缩放中的至少一种的变化，使之初步地对 齐到该标准人体点云数据。为了便于理解和描述，将通过上述初始对齐而变形的样本模型 A记为样本模型A'。 阳309] 第二步，稠密的点对应
[0310] 根据样本模型A'和标准人体点云数据，利用最近邻找对应点的方法，在样本模型 A'和标准人体点云数据之间，建立稠密的对应点。基于该稠密的对应点，将该样本模型A' 进一步对齐到该标准人体点云数据，具体地，将样本模型A'经过平移、旋转W及缩放中的至 少一种的变化，使之进一步对齐到标准人体点云数据。 阳311] 将样本模型A'经过上述二次对齐之后的变形模型确定为该人体的模板模型，即该 模板模型较为准确地描述了该人体在标准站立姿势下的标准人体点云数据。
[0312] 应理解，在最近邻方法建立对应点时，如果两个点之间的法向量角度小于90度并 且距离小于0.1 m，我们认为最近邻方法找到的运个对应点是合理的。使用法向量之间角度 的判断条件，为避免表面前面的点和表面后面的点之间错误的匹配。
[0313] 应理解，通过W上两步的点对应步骤，获得了与该具有标准站立姿势的标准人体 点云数据具有点对应关系的模板模型。
[0314] 确定单元213,用于确定该第一获取单元获取的该目标对象点云数据与该第二获 取单元获取的该模板模型的点对应关系；
[031引 具体地，可W义用义用文献"Coherent化int Drift (Point Set Registration:Coherent Point Drift. An化iy Myronenko, etc. ΡΑΜΙ 2010."提出的对齐方 法，确定该人体点云数据与该模板模型的点对应关系。例如将该模板模型的顶点a2在该人 体点云数据中的对应点为p2,该对对应点（a2，p2)为最邻近点。
[0316] 例如还可W参考上一帖的第一重建模型来建立该模板模型与当前帖的人体点云 数据之间的点对应关系。
[0317] 应理解，还可W采用其他的对齐方法，确定该人体点云数据与该模板模型的点对 应关系，本发明实施例对此不作限定。
[0318] 估计单元214,用于基于骨架驱动变形技术W及该确定单元确定的该点对应关系， 估计该第一获取单元确定的该目标对象点云数据相对于该第二获取单元确定的该模板模 型的姿势变化参数；
[0319] 第一变形单元215,利用该估计单元估计的该目标对象点云数据相对于该模板模 型的姿势变化参数，将该模板模型变形为与该目标对象点云数据具备相同姿势的该第一重 建模型。 阳320] 具体地，该骨架驱动技术采用一个骨架运动模型（Skeletal Motion Model)表 示人体的运动，基于人体每一个小部分近似刚性运动的特性，通过皮肤权重（Skinning Wei曲t)和线性融合技术化inear Blend Skinning)实现光滑的人体变形。其中，骨架 运动模型由一个网格化的人体模型和植入模型的人体骨架组成。人体骨架包含一些节点 CJoint)和骨块度one)。节点之间的连接是有序的，可W用树结构来表示。每个节点定义 一个旋转轴，连接该节点的骨块可W绕着运个节点的旋转轴进行任意旋转，其中，骨块的运 动受到由根节点到该骨块连接的节点的整个链条化inematic化ain)上所有节点的运动 的影响。模板模型中的每个顶点的运动可W由人体骨架中所有骨块的刚性运动的线性组 合表达。模板模型中的每个顶点的运动和人体骨架中每个骨块的运动之间的相关性用一 个皮肤权重（Skinning Wei曲t)来表示，具体方法请参见现有方法"Baran, etc, Automatic rigging and animation of 3d characters. SIGGRAPH 2007,page 72."。 阳321] 具体地，图2(b)示出了骨架运动模型的示意图。该骨架运动模型包括22个节点， 每个节点定义一个节点角度Θ。，即骨块绕着节点旋转轴旋转的角度。骨架运动模型的整 体刚性变换用参数為f表示，该骨架运动模型的骨架姿势可W由向量义。(钱襄聲..·，钱)表 示，该骨架姿势的自由度为22+6 = 28。 阳322] 可选地，在本发明实施例中，根据如下公式，确定该第一获取单元确定的该目标对 象点云数据相对于该第二获取单元确定的该模板模型的姿势变化参数W及与该目标对象 点云数据具备相同姿势的该第一重建模型： 阳323]
[032引其中，Qi(x)为该第一重建模型的第i个顶点，q' 1为该模板模型的第i个顶点， R为该骨架驱动技术中采用的骨架模型包括的骨块的总个数，是该模板模型的第i个顶 点关于骨块g的运动权重，jg是该骨架模型中影响骨块g运动的节点的个数，是影响 骨块g的第j个节点在该骨架模型中的索引，是该第j个节点的刚性变化矩 阵，C为该第一重建模型与该人体点云数据之间的对应点的集合，（Vi，Pi)为该第一重建模 型与该人体点云数据之间的对应点的集合C中的一对对应点。 阳326] 应理解，本发明实施例中的该人体点云数据相对于该模板模型的姿势变化参数对 应于公式（1)和似中的骨架姿势向量
阳327] 具体地，基于上述公式（1)和（2)的多次优化迭代，例如迭代优化8次，W使得模 板模型变形后所得的第一重建模型与当前帖的人体点云数据具有较好的对齐关系。可选 地，可W采用Levenberg-Marquar化算法进行优化迭代。
[032引更具体地，在上述多次优化迭代中，可朗尋上一帖的骨架姿势X t嘴上一帖的第 一重建模型和当前帖的人体点云数据之间的对应点作为初始迭代条件，最终得到当前帖的 骨架姿势xt。
[0329] 综上所述，通过公式（1)和似的多次迭代，可W估计到该人体点云数据相对于该 模板模型的姿势变化参数，即公式（1)和（2)中的骨架姿势向量X。然后将该骨架姿势向 量X带到公式（1)里边，就可W计算得到该第一重建模型中的每个顶点的坐标（对应于公 式（1)中的qi(x))，从而获得该第一重建模型。 阳330] 应理解，通过上述在S114估计的该人体点云数据相对于该模板模型的姿势变化 参数（对应于公式（1)和似中的骨架姿势向量厂(白<苗缉，…，馬)），可W确定该第一重 建模型的姿势参数，具体地，将该姿势变化参数（对应于公式（1)和（2)中的骨架姿势向量
确定为该第一重建模型的姿势参数，即该第一重建模型的姿势参数描 述了该第一重建模型相对于该模板模型的姿势变化。 阳331] 了更好地体现人体细节的变形，比如肢体的局部变形和细节变形，可W在基于骨 架驱动变形的基础上，进一步实现细节化的变形，使得所得的第一重建模型更加接近真实 的人体。 阳332] 可选地，在本发明实施例中，该第一获取模块210包括： 阳333] 第一获取单元211，用于获取该目标对象的目标对象点云数据；
[0334] 第二获取单元212,用于获取该目标对象的模板模型，该模板模型为描述该目标对 象在预设的标准姿势下的标准目标对象点云数据的模型；
[0335] 确定单元213,用于确定该第一获取单元获取的该目标对象点云数据与该第二获 取单元获取的该模板模型的点对应关系； 阳336] 估计单元214,用于基于骨架驱动变形技术W及该确定单元确定的该点对应关系， 估计该第一获取单元确定的该目标对象点云数据相对于该第二获取单元确定的该模板模 型的姿势变化参数； 阳337] 第一获取单元211、第二获取单元212、确定单元213和估计单元214的具体描述 请参见上文，为了简洁，运里不再寶述。
[0338] 第二变形单元215A，用于利用该估计单元估计的该目标对象点云数据相对于该模 板模型的姿势变化参数，将该模板模型变形为与该目标对象点云数据具备相同姿势的骨架 变形模型，使得该骨架变形模型与该目标对象点云数据对齐；
[0339] 第Ξ变形单元215B，用于基于网格变形技术对该第二变形单元得到的该骨架变形 模型进行变形，获得该第一重建模型，使得该第一重建模型与该目标对象点云数据的形状 匹配。
[0340] 具体地，为骨架变形模型的每一个顶点分配一个仿射变换Xi，将骨架变形模型的 每一个顶点变形到该顶点在人体点云中的对应点。所有顶点的变换整合在一起，得到一个 4n*3的矩阵，变形的能量函数如下，
[0341]
(3) 阳342] 其中，X为每个顶点的变换组成的矩阵；D是每个顶点变形之前坐标组成的矩阵；U 是人体点云的对应点坐标矩阵;W是每个对应点的权重值构成的权重矩阵，ε为该骨架变 形模型的所有边的集合，i，j是骨架变形模型上的一条边（骨架变形模型中任意两个相邻 顶点之间的连接称为一条边）的两个顶点的索引；α为光滑项权重。 阳343] 式（3)中的第一项是数据项，表示骨架变形模型上的顶点经过变形后和人体点云 数据的对应点之间的距离尽量小，式（3)中的第二项是光滑项，表示一条边上的两个顶点 的变换需要相似，使得整体的变形光滑。
[0344] 上述细节化变形过程中，光滑项权重开始设为一个较大的值，随着迭代次数逐步 减小，通过运种方式尽量减小输入数据中的强噪音给变形带来的影响。
[0345] 具体地，公式（3)所示的能量函数通过最小二乘方法求解。 阳346] 在本发明实施例中，当前帖的第一重建模型是该人体的模板模型依次经过骨架驱 动变形和细节化变形得到的，能够更好地体现人体细节的变形，比如肢体的局部变形和细 节变形，使得所得的第一重建模型更加接近真实的人体。 阳347] 在本发明实施例中，还可W采用当前现有的点对齐和变形方法，例如通过现有的 骨骼对齐、粗对齐和精对齐，获取人体点云数据的第一重建模型；或者，基于骨骼驱动变形 的方法，将上一帖的第一重建模型与当前帖的人体点云数据对齐，然后采用Laplacian变 形实现细节变形，得到当前帖的第一重建模型。
[0348] 可选地，在本发明实施例中，该第二获取模块230包括：
[0349] 第Ξ获取单元231，用于从预设的目标对象数据库中获取N个目标对象样本模型； 阳350] 具体地，本发明实施例设及到的人体标准数据库，可W为包括190个标准站立姿 势的人体模型。即该第二获取模块获取人体标准数据库中的190(即，N等于190)个具有 标准站姿的人体模型。 阳351] 第四变形单元232,用于基于骨架驱动变形技术，根据该第一重建模型的姿势参 数，将该第Ξ获取单元获取的该N个目标对象样本模型变形为与该第一重建模型对应于相 同的姿势参数的N个目标对象样本骨架变形模型； 阳352] 具体地，利用在骨架驱动变形过程中确定的当前帖的姿势变换参数（对应于式 (1)和（2)中确定的骨架姿势X)，将该N个人体样本模型变形为N个人体样本骨架变形模 型，该人体样本骨架变形模型与该第一重建模型（或者人体点云数据）具有一致的姿势。 阳353] 划分单元233,用于将该第四变形单元得到的每个目标对象样本骨架变形模型划 分为Μ个局部块，该每个目标对象样本骨架变形模型的第i个局部块与该第一重建模型的 第i个局部块对应于该目标对象的用同一个部位名称表示的部位； 阳354] 具体地，将经过姿势变化的N个人体样本骨架变形模型均划分为Μ个局部块，该Μ 个局部块中相邻的局部块在彼此连接处具有共享的边界顶点。 阳355] 第四获取单元234,用于通过对该划分单元得到的该每个目标对象样本骨架变形 模型的第i个局部块进行旋转、平移和缩放中的至少一种变换，从而获得该Ν个目标对象样 本对齐模型，其中，每个目标对象样本对齐模型的第i个局部块在经过该旋转、平移和缩放 中的至少一种变换后与该第一重建模型的第i个局部块对齐，i为1，2,…，M。 阳356]具体地，采用现有的 Procrustes analysis 方法（例如，"D. G. Kendall, "A survey of the statistical theory of shape, "Statistical Science, vol. 4, no. 2, pp. 87 - 99, 1989.")，估计N个人体样本骨架变形模型中的每个人体样本骨架变形模型的M 个局部块中的第i个局部块到第一重建模型的第i个局部块的刚性变换参数，根据该刚性 变换参数，通过对该N个人体样本骨架变形模型中的每个人体样本骨架变形模型的第i个 局部块进行旋转、平移和缩放中的至少一种变换，将每个人体样本骨架变形模型的第i个 局部块对齐到第一重建模型的第i个局部块，从而获得该N个人体样本对齐模型。上述S134 的步骤也可记为局部块对齐步骤。 阳357] 应理解，通过S134所述的局部块对齐步骤所获取的N个人体样本对齐模型，较大 程度低消除了与第一重建模型之间的刚性变换。从而，在S140中，人体样本对齐模型能够 很好地表达第一重建模型。 阳35引可选地，在本发明实施例中，该装置还包括： 阳359] 优化模块250,用于对该第二重建模型进行平滑优化处理。
[0360] 具体地，该优化模块250用于，例如采用文献"Kan址an Wang, etc. A Two-Stage Framework for 3D Face Reconstruction from 民GBD Images. ΡΑΜΙ 2014. Volume: 36, Issue: 8, Pages 1493-1504.，，提到的表面优化算法，对S140获取的第二重建模 型进一步光滑优化处理。 阳361] 应理解，上文都是针对当前帖的人体点云的第二重建模型进行描述，当整个时间 序列上的人体点云数据都经过第一获取模块210、划分模块220、第二获取模块230、确定模 块240 W及优化模块250的处理，即得到整个时间序列上的经过平滑处理的第二重建模型 后，还可W对整个时间序列上的第二重建模型经过时序光滑处理。 阳362] 可选地，在本发明实施例中，该装置200还包括： 阳363] 全局优化模块260,用于对整个时间序列上的第二重建模型进行光滑优化处理，获 取到所有帖的全局优化模型。
[0364] 具体地，当优化模块250对所有帖的第二重建模型都经过平滑处理后，该全局 优化模块260用于，对整个时间序列上的经过平滑处理之后的第二重建模型进行光滑处 理，获取到所有帖的全局优化模型，上述过程也可称之为时序光滑（Temporal Filtering) 处理。目前，时序光滑的算法比较多，该全局优化模块260可W采用化化ick-Prescott filterin邑算法。 阳3化]应理解，通过对整个时间序列上作光滑优化处理，能够有效地消除了整个序列上 可能存在的抖动。 阳366]因此，本发明实施例提供的数据处理的装置，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。 阳367] 应理解，根据本发明实施例的数据处理的装置200中的各个模块的上述和其它操 作和/或功能分别为了实现图1至图4中的各个方法的相应流程，为了简洁，在此不再寶 述。
[0368] 上文结合图5 W目标对象为人体示例，描述了本发明实施例提供的数据处理的装 置，应理解，该目标对象也可W动物或者其他动态物体。本领域技术人员根据上文给出的基 于人体建模的例子，显然可W进行各种等价的修改或变化，W获取到动物或者动态物体的 建模方案，运样的修改或变化也落入本发明实施例的范围内。
[0369] 基于上述技术方案，本发明实施例提供的数据处理的装置，通过将目标对象的第 一重建模型划分为Μ个局部块，并通过利用N个目标对象样本对齐模型来逼近该第一重建 模型，来确定该目标对象的包括Μ个局部块的第二重建模型，其中该第二重建模型的第i个 局部块是由该每个目标对象样本对齐模型的第i个局部块确定得到的，通过本发明实施例 提供的方法，能够有效提高模型的准确度。 阳370] 如图6所示，本发明实施例还提供了一种数据处理的装置300,该装置300包括处 理器310、存储器320、总线系统330。其中，处理器310和存储器320通过总线系统330相 连，该存储器320用于存储指令，该处理器310用于执行该存储器320存储的指令，用于： 阳371] 获取目标对象的第一重建模型； 阳372] 将该第一重建模型划分为Μ个局部块，该第一重建模型的Μ个局部块中不同的局 部块对应于该目标对象不同的部位，该不同部位用不同的部位名称表示，Μ为大于1的正整 数； 阳373] 获取Ν个目标对象样本对齐模型，每个目标对象样本对齐模型的姿势对应的姿势 参数与该第一重建模型的姿势对应的姿势参数相同，且该每个目标对象样本对齐模型包括 Μ个局部块，其中，该每个目标对象样本对齐模型的第i个局部块与该第一重建模型的第i 个局部块对应于该目标对象的用同一个部位名称所表示的部位，该每个目标对象样本对齐 模型的第i个局部块与该第一重建模型的第i个局部块对齐，N为正整数，i为1，…，M，其 中，i为1，…，Μ指的是，i的赋值依次为1，…，Μ ; 阳374] 使用该Ν个目标对象样本对齐模型来逼近该第一重建模型，从而确定该目标对象 的包括Μ个局部块的第二重建模型，该第二重建模型的第i个局部块是由该每个目标对象 样本对齐模型的第i个局部块确定得到的，i为1，···，Μ，其中，i为1，…，Μ指的是，i的赋 值依次为1，'"，Μ。 阳375] 因此，本发明实施例提供的数据处理的装置，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。 阳376] 可选地，作为一个实施例，该第一重建模型的Μ个局部块中相邻的局部块在彼此 连接处具有共享的边界顶点。 阳377] 可选地，作为一个实施例，该处理器310具体用于，根据W下公式，获取该第二重 建模型： 阳37引 Ki= Β iCi+ μ i (i = 1, . . . , Μ)
[03巧]其中，Ki为该第二重建模型的Μ个局部块中的第i个局部块，Bi为由该Ν个目标 对象样本对齐模型的第i个局部块组成的基，μ 1为该Ν个目标对象样本对齐模型的第i个 局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：
阳383] s. t. Ci> 0(i = 1，. . .，M) 阳384] 其中，
Vi为该第一重建模型的第i个局部块，Γ为该每个目 标对象样本对齐模型的Μ个局部块中相邻的局部块的集合，（i，j) e Γ表示该每个目标对 象样本对齐模型的第j个局部块为与该每个目标对象样本对齐模型的第i个局部块相邻的 局部块，Bj为由该每个目标对象样本对齐模型的第j个局部块组成的基，B U用于表达该每 个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶点，且Bi， 为Bi的子集，μ 1,为Bi,的平均值，Β ,ι用于表达该每个目标对象样本对齐模型的第j个局 部块与第i个局部块在彼此连接处的边界顶点，Β,ι为B ,的子集，μ ,1为Β ,ι的平均值，β为 权重，λ为权重，I I I 11为L1范式，I II I 2为L2范式。 阳385] 可选地，作为一个实施例，该处理器310具体用于， 阳386] 获取该目标对象的目标对象点云数据； 阳387] 获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准姿势下 的标准目标对象点云数据的模型； 阳38引确定该目标对象点云数据与该模板模型的点对应关系； 阳389] 基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对于该模 板模型的姿势变化参数； 阳390] 利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模型变形 为与该目标对象点云数据具备相同姿势的该第一重建模型。 阳391] 可选地，作为一个实施例，该处理器310具体用于， 阳392] 获取该目标对象的目标对象点云数据； 阳393] 获取该目标对象的模板模型，该模板模型为描述该目标对象在预设的标准姿势下 的标准目标对象点云数据的模型； 阳394] 确定该目标对象点云数据与该模板模型的点对应关系； 阳395] 基于骨架驱动变形技术W及该点对应关系，估计该目标对象点云数据相对于该模 板模型的姿势变化参数； 阳396] 利用该目标对象点云数据相对于该模板模型的姿势变化参数，将该模板模型变形 为与该目标对象点云数据具备相同姿势的骨架变形模型，使得该骨架变形模型与该目标对 象点云数据对齐； 阳397] 基于网格变形技术对该骨架变形模型进行变形，获得该第一重建模型，使得该第 一重建模型与该目标对象点云数据的形状匹配。 阳39引可选地，作为一个实施例，该处理器310具体用于， 阳399] 从预设的目标对象数据库中获取Ν个目标对象样本模型；
[0400] 基于骨架驱动变形技术，根据该第一重建模型的姿势参数，将该N个目标对象样 本模型变形为与该第一重建模型对应于相同的姿势参数的N个目标对象样本骨架变形模 型；
[0401] 将每个目标对象样本骨架变形模型划分为Μ个局部块，该每个目标对象样本骨架 变形模型的第i个局部块与该第一重建模型的第i个局部块对应于该目标对象的用同一个 部位名称表示的部位；
[0402] 通过对该每个目标对象样本骨架变形模型的第i个局部块进行旋转、平移和缩放 中的至少一种变换，从而获得该N个目标对象样本对齐模型，其中，每个目标对象样本对齐 模型的第i个局部块在经过该旋转、平移和缩放中的至少一种变换后与该第一重建模型的 第i个局部块对齐，i为1，2，-",Μ。
[0403] 可选地，作为一个实施例，该处理器310还用于，对该第二重建模型进行平滑优化 处理。
[0404] 应理解，上文都是针对当前帖的人体点云的第二重建模型进行描述，当获取了整 个时间序列上的第二重建模型后，可选地，作为一个实施例，该处理器310还用于，对整个 时间序列上的第二重建模型进行光滑优化处理，获取到所有帖的全局优化模型。
[0405] 应理解，在本发明实施例中，该处理器310可W是中央处理单元（Central Processing化it,简称为"CPU")，该处理器310还可W是其他通用处理器、数字信号处理 器值SP)、专用集成电路（ASIC)、现成可编程口阵列（FPGA)或者其他可编程逻辑器件、分立 口或者晶体管逻辑器件、分立硬件组件等。通用处理器可W是微处理器或者该处理器也可 W是任何常规的处理器等。
[0406] 该存储器320可W包括只读存储器和随机存取存储器，并向处理器310提供指令 和数据。存储器320的一部分还可W包括非易失性随机存取存储器。例如，存储器320还 可W存储设备类型的信息。
[0407] 该总线系统330除包括数据总线之外，还可W包括电源总线、控制总线和状态信 号总线等。但是为了清楚说明起见，在图中将各种总线都标为总线系统330。
[040引在实现过程中，上述方法的各步骤可W通过处理器310中的硬件的集成逻辑电路 或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可W直接体现为硬件处 理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可W位于随机 存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领 域成熟的存储介质中。该存储介质位于存储器320,处理器310读取存储器320中的信息， 结合其硬件完成上述方法的步骤。为避免重复，运里不再详细描述。
[0409] 因此，本发明实施例提供的数据处理的装置，通过将人体的第一重建模型划分为Μ 个局部块，并通过利用Ν个人体样本对齐模型来逼近该第一重建模型，来确定该人体的包 括Μ个局部块的第二重建模型，其中该第二重建模型的第i个局部块是由该每个人体样本 对齐模型的第i个局部块确定得到的，通过本发明实施例提供的方法，能够有效提高模型 的准确度。
[0410] 应理解，根据本发明实施例的装置300可对应于本发明实施例的数据处理的装置 200,并且装置300中的各个模块的上述和其它操作和/或功能分别为了实现图1至图4中 的各个方法的相应流程，为了简洁，在此不再寶述。
[0411] 基于上述技术方案，本发明实施例提供的数据处理的装置，通过将目标对象的第 一重建模型划分为Μ个局部块，并通过利用N个目标对象样本对齐模型来逼近该第一重建 模型，来确定该目标对象的包括Μ个局部块的第二重建模型，其中该第二重建模型的第i个 局部块是由该每个目标对象样本对齐模型的第i个局部块确定得到的，通过本发明实施例 提供的方法，能够有效提高模型的准确度。
[0412] 应理解，本文中设及的第i个、第一、第二、第Ξ、第四W及各种数字编号仅为描述 方便进行的区分，并不用来限制本发明实施例的范围。例如第i个局部块只是局部块的一 个命名，并不用来限制本发明实施例的范围。
[0413] 应理解，本文中术语"和/或"，仅仅是一种描述关联对象的关联关系，表示可W存 在Ξ种关系，例如，A和/或B，可W表示：单独存在A，同时存在A和B，单独存在B运Ξ种情 况。另外，本文中字符"/"，一般表示前后关联对象是一种"或"的关系。
[0414] 应理解，在本发明的各种实施例中，上述各过程的序号的大小并不意味着执行顺 序的先后，各过程的执行顺序应W其功能和内在逻辑确定，而不应对本发明实施例的实施 过程构成任何限定。
[0415] 本领域普通技术人员可W意识到，结合本文中所公开的实施例描述的各示例的单 元及算法步骤，能够W电子硬件、或者计算机软件和电子硬件的结合来实现。运些功能究竟 W硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员 可W对每个特定的应用来使用不同方法来实现所描述的功能，但是运种实现不应认为超出 本发明的范围。
[0416] 所属领域的技术人员可W清楚地了解到，为描述的方便和简洁，上述描述的系统、 装置和单元的具体工作过程，可W参考前述方法实施例中的对应过程，在此不再寶述。
[0417] 在本申请所提供的几个实施例中，应该理解到，所掲露的系统、装置和方法，可W 通过其它的方式实现。例如，W上所描述的装置实施例仅仅是示意性的，例如，所述单元的 划分，仅仅为一种逻辑功能划分，实际实现时可W有另外的划分方式，例如多个单元或组件 可W结合或者可W集成到另一个系统，或一些特征可W忽略，或不执行。另一点，所显示或 讨论的相互之间的禪合或直接禪合或通信连接可W是通过一些接口，装置或单元的间接禪 合或通信连接，可W是电性，机械或其它的形式。
[0418] 所述作为分离部件说明的单元可W是或者也可W不是物理上分开的，作为单元显 示的部件可W是或者也可W不是物理单元，即可W位于一个地方，或者也可W分布到多个 网络单元上。可W根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目 的。
[0419] 另外，在本发明各个实施例中的各功能单元可W集成在一个处理单元中，也可W 是各个单元单独物理存在，也可W两个或两个W上单元集成在一个单元中。
[0420] 所述功能如果W软件功能单元的形式实现并作为独立的产品销售或使用时，可W 存储在一个计算机可读取存储介质中。基于运样的理解，本发明的技术方案本质上或者说 对现有技术做出贡献的部分或者该技术方案的部分可软件产品的形式体现出来，该计 算机软件产品存储在一个存储介质中，包括若干指令用W使得一台计算机设备（可W是个 人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。 而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM, ReacH3nly Memcxry)、随机存取 存储器（RAM, Random Access Memcxry)、磁碟或者光盘等各种可W存储程序代码的介质。
[0421] W上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何 熟悉本技术领域的技术人员在本发明掲露的技术范围内，可轻易想到变化或替换，都应涵 盖在本发明的保护范围之内。因此，本发明的保护范围应W所述权利要求的保护范围为准。
【主权项】
1. 一种数据处理的方法，其特征在于，包括： 获取目标对象的第一重建模型； 将所述第一重建模型划分为M个局部块，所述第一重建模型的M个局部块中不同的局 部块对应于所述目标对象不同的部位，所述不同部位用不同的部位名称表示，M为大于1的 正整数； 获取N个目标对象样本对齐模型，每个目标对象样本对齐模型的姿势对应的姿势参数 与所述第一重建模型的姿势对应的姿势参数相同，且所述每个目标对象样本对齐模型包括 M个局部块，其中，所述每个目标对象样本对齐模型的第i个局部块与所述第一重建模型的 第i个局部块对应于所述目标对象的用同一个部位名称所表示的部位，所述每个目标对象 样本对齐模型的第i个局部块与所述第一重建模型的第i个局部块对齐，N为正整数，i为 1,…，M ; 使用所述N个目标对象样本对齐模型来逼近所述第一重建模型，从而确定所述目标对 象的包括M个局部块的第二重建模型，所述第二重建模型的第i个局部块是由所述每个目 标对象样本对齐模型的第i个局部块确定得到的。2. 根据权利要求1所述的方法，其特征在于，所述使用所述N个目标对象样本对齐模型 来逼近所述第一重建模型，从而确定所述目标对象的包括M个局部块的第二重建模型，包 括： 根据W下公式，获取所述第二重建模型： Ki= B iCi+]ii(i = 1,. . . ,M) 其中，Ki为所述第二重建模型的M个局部块中的第i个局部块，Bi为由所述N个目标 对象样本对齐模型的第i个局部块组成的基，为所述N个目标对象样本对齐模型的第i 个局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：S. t. Ci> O (i = 1,...,1) 其中，C = [Cl, C2, . . .，Cm]T，Vi为所述第一重建模型的第i个局部块，r为所述每个目 标对象样本对齐模型的M个局部块中相邻的局部块的集合，（i，j) G r表示所述每个目标 对象样本对齐模型的第j个局部块为与所述每个目标对象样本对齐模型的第i个局部块相 邻的局部块，B,为由所述每个目标对象样本对齐模型的第j个局部块组成的基，B 1,用于表 达所述每个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶 点，且\，为Bi的子集，y 1,为B。的平均值，B,i用于表达所述每个目标对象样本对齐模型 的第j个局部块与第i个局部块在彼此连接处的边界顶点，B,i为B ,的子集，y ,1为B ,1的 平均值，P为权重，^为权重，I I I 11为Ll范式，I I I I 2为L2范式。3. 根据权利要求1或2所述的方法，其特征在于，所述第一重建模型的M个局部块中相 邻的局部块在彼此连接处具有共享的边界顶点。4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述获取目标对象的第一重 建模型，包括： 获取所述目标对象的目标对象点云数据； 获取所述目标对象的模板模型，所述模板模型为描述所述目标对象在预设的标准姿势 下的标准目标对象点云数据的模型； 确定所述目标对象点云数据与所述模板模型的点对应关系； 基于骨架驱动变形技术W及所述点对应关系，估计所述目标对象点云数据相对于所述 模板模型的姿势变化参数； 利用所述目标对象点云数据相对于所述模板模型的姿势变化参数，将所述模板模型变 形为与所述目标对象点云数据具备相同姿势的所述第一重建模型。5. 根据权利要求1至3中任一项所述的方法，其特征在于，所述获取目标对象的第一重 建模型，包括： 获取所述目标对象的目标对象点云数据； 获取所述目标对象的模板模型，所述模板模型为描述所述目标对象在预设的标准姿势 下的标准目标对象点云数据的模型； 确定所述目标对象点云数据与所述模板模型的点对应关系； 基于骨架驱动变形技术W及所述点对应关系，估计所述目标对象点云数据相对于所述 模板模型的姿势变化参数； 利用所述目标对象点云数据相对于所述模板模型的姿势变化参数，将所述模板模型变 形为与所述目标对象点云数据具备相同姿势的骨架变形模型，使得所述骨架变形模型与所 述目标对象点云数据对齐； 基于网格变形技术对所述骨架变形模型进行变形，获得所述第一重建模型，使得所述 第一重建模型与所述目标对象点云数据的形状匹配。6. 根据权利要求1至5所述的方法，其特征在于，所述获取N个目标对象样本对齐模 型，包括： 从预设的目标对象数据库中获取N个目标对象样本模型； 基于骨架驱动变形技术，根据所述第一重建模型的姿势参数，将所述N个目标对象样 本模型变形为与所述第一重建模型对应于相同的姿势参数的N个目标对象样本骨架变形 模型； 将每个目标对象样本骨架变形模型划分为M个局部块，所述每个目标对象样本骨架变 形模型的第i个局部块与所述第一重建模型的第i个局部块对应于所述目标对象的用同一 个部位名称表示的部位； 通过对所述每个目标对象样本骨架变形模型的第i个局部块进行旋转、平移和缩放中 的至少一种变换，从而获得所述N个目标对象样本对齐模型，其中，每个目标对象样本对齐 模型的第i个局部块在经过所述旋转、平移和缩放中的至少一种变换后与所述第一重建模 型的第i个局部块对齐，i为1，2，…，M。7. 根据权利要求1至6中任一项所述的方法，其特征在于，所述方法还包括： 对所述第二重建模型进行平滑优化处理。8. -种数据处理的装置，其特征在于，包括： 第一获取模块，用于获取目标对象的第一重建模型； 划分模块，用于将所述获取模块获取的所述第一重建模型划分为M个局部块，所述第 一重建模型的M个局部块中不同的局部块对应于所述目标对象不同的部位，所述不同部位 用不同的部位名称表示，M为大于1的正整数； 第二获取模块，用于获取N个目标对象样本对齐模型，每个目标对象样本对齐模型的 姿势对应的姿势参数与所述第一获取模块获取的所述第一重建模型的姿势对应的姿势参 数相同，且所述每个目标对象样本对齐模型包括M个局部块，其中，所述每个目标对象样本 对齐模型的第i个局部块与所述第一重建模型的第i个局部块对应于所述目标对象的用同 一个部位名称所表示的部位，所述每个目标对象样本对齐模型的第i个局部块与所述第一 重建模型的第i个局部块对齐，N为正整数，i为1，…，M ; 确定模块，用于使用所述第二获取模块获取的所述N个目标对象样本对齐模型来逼近 所述第一获取模块获取的所述第一重建模型，从而确定所述目标对象的包括M个局部块的 第二重建模型，所述第二重建模型的第i个局部块是由所述每个目标对象样本对齐模型的 第i个局部块确定得到的。9. 根据权利要求8所述的装置，其特征在于，所述确定模块具体用于， 根据W下公式，获取所述第二重建模型： Ki= B iCi+]ii(i = 1,. . . ,M) 其中，Ki为所述第二重建模型的M个局部块中的第i个局部块，Bi为由所述N个目标 对象样本对齐模型的第i个局部块组成的基，为所述N个目标对象样本对齐模型的第i 个局部块的顶点坐标的平均值，Ci是B 1的系数向量，其中，获得C 1的公式包括：其中，，Vi为所述第一重建模型的第i个局部块，r为所述每个目 标对象样本对齐模型的M个局部块中相邻的局部块的集合，（i，j) G r表示所述每个目标 对象样本对齐模型的第j个局部块为与所述每个目标对象样本对齐模型的第i个局部块相 邻的局部块，B,为由所述每个目标对象样本对齐模型的第j个局部块组成的基，B 1,用于表 达所述每个目标对象样本对齐模型的第i个局部块与第j个局部块在彼此连接处的边界顶 点，且\，为Bi的子集，y 1,为B。的平均值，B,i用于表达所述每个目标对象样本对齐模型 的第j个局部块与第i个局部块在彼此连接处的边界顶点，B,i为B ,的子集，y ,1为B ,1的 平均值，P为权重，^为权重，I I I 11为Ll范式，I I I I 2L2范式。10. 根据权利要求8或9所述的装置，其特征在于，所述第一获取模块获取的所述第一 重建模型的M个局部块中相邻的局部块在彼此连接处具有共享的边界顶点。11. 根据权利要求8至10中任一项所述的装置，其特征在于，所述第一获取模块包括： 第一获取单元，用于获取所述目标对象的目标对象点云数据； 第二获取单元，用于获取所述目标对象的模板模型，所述模板模型为描述所述目标对 象在预设的标准姿势下的标准目标对象点云数据的模型； 确定单元，用于确定所述第一获取单元获取的所述目标对象点云数据与所述第二获取 单元获取的所述模板模型的点对应关系； 估计单元，用于基于骨架驱动变形技术W及所述确定单元确定的所述点对应关系，估 计所述第一获取单元确定的所述目标对象点云数据相对于所述第二获取单元确定的所述 模板模型的姿势变化参数； 第一变形单元，利用所述估计单元估计的所述目标对象点云数据相对于所述模板模型 的姿势变化参数，将所述模板模型变形为与所述目标对象点云数据具备相同姿势的所述第 一重建模型。12. 根据权利要求8至10中任一项所述的装置，其特征在于，所述第一获取模块包括： 第一获取单元，用于获取所述目标对象的目标对象点云数据； 第二获取单元，用于获取所述目标对象的模板模型，所述模板模型为描述所述目标对 象在预设的标准姿势下的标准目标对象点云数据的模型； 确定单元，用于确定所述第一获取单元获取的所述目标对象点云数据与所述第二获取 单元获取的所述模板模型的点对应关系； 估计单元，用于基于骨架驱动变形技术W及所述确定单元确定的所述点对应关系，估 计所述第一获取单元确定的所述目标对象点云数据相对于所述第二获取单元确定的所述 模板模型的姿势变化参数； 第二变形单元，用于利用所述估计单元估计的所述目标对象点云数据相对于所述模板 模型的姿势变化参数，将所述模板模型变形为与所述目标对象点云数据具备相同姿势的骨 架变形模型，使得所述骨架变形模型与所述目标对象点云数据对齐； 第=变形单元，用于基于网格变形技术对所述第二变形单元得到的所述骨架变形模型 进行变形，获得所述第一重建模型，使得所述第一重建模型与所述目标对象点云数据的形 状匹配。13. 根据权利要求8至12所述的装置，其特征在于，所述第二获取模块包括： 第=获取单元，用于从预设的目标对象数据库中获取N个目标对象样本模型； 第四变形单元，用于基于骨架驱动变形技术，根据所述第一重建模型的姿势参数，将所 述第=获取单元获取的所述N个目标对象样本模型变形为与所述第一重建模型对应于相 同的姿势参数的N个目标对象样本骨架变形模型； 划分单元，用于将所述第四变形单元得到的每个目标对象样本骨架变形模型划分为M 个局部块，所述每个目标对象样本骨架变形模型的第i个局部块与所述第一重建模型的第 i个局部块对应于所述目标对象的用同一个部位名称表示的部位； 第四获取单元，用于通过对所述划分单元得到的所述每个目标对象样本骨架变形模型 的第i个局部块进行旋转、平移和缩放中的至少一种变换，从而获得所述N个目标对象样本 对齐模型，其中，每个目标对象样本对齐模型的第i个局部块在经过所述旋转、平移和缩放 中的至少一种变换后与所述第一重建模型的第i个局部块对齐，i为1，2，…，M。14.根据权利要求8至13中任一项所述的装置，其特征在于，所述装置还包括： 优化模块，用于对所述第二重建模型进行平滑优化处理。
【文档编号】G06T17/00GK105989625SQ201510059955
【公开日】2016年10月5日
【申请日】2015年2月4日
【发明人】陈子冲, 章国锋, 王康侃
【申请人】华为技术有限公司