手势深度信息生成方法、装置、设备和计算机可读介质与流程

1.本公开的实施例涉及计算机技术领域，具体涉及手势深度信息生成方法、装置、设备和计算机可读介质。


背景技术：

2.手势深度信息，可以表征手势图像的深度特征，对于解决手势识别、手势追踪等技术问题有重要作用。目前，在生成手势深度信息时，通常采用的方式为：通过深度摄像头或者多目摄像头采集手势深度图像以生成手势深度信息。
3.然而，发明人发现，当采用上述方式生成手势深度信息时，经常会存在如下技术问题：通过深度摄像头或者多目摄像头采集手势深度图像时，摄像头功耗较大，从而导致摄像头设备需要频繁充电，用户操作较为繁琐。
4.该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现要素：

5.本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
6.本公开的一些实施例提出了手势深度信息生成方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
7.第一方面，本公开的一些实施例提供了一种基于单目rgb摄像头的手势深度信息生成方法，该方法包括：控制相关联的单目rgb摄像头采集目标手势图像；对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集，其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应；根据上述关键点坐标信息组集，生成骨骼长度信息组；将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息；对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。
8.可选地，上述对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集，包括：将上述目标手势图像输入关键点坐标信息生成模型，得到关键点坐标信息组集。
9.可选地，上述对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息，包括：对于上述关键点坐标信息组集中的每个关键点坐标信息组，执行以下步骤：将上述手部形状参数信息和预设的初始姿态参数信息输入预设参数化模型，得到标准关键点坐标信息集；根据上述骨骼长度信息组和上述标准关键点坐标信息集，生成手腕点深度信息；根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息；将上述手部形
状参数信息和上述姿态参数信息输入上述预设参数化模型，得到手部全自由度信息；根据上述手腕点深度信息和上述手部全自由度信息，生成手势深度信息。
10.可选地，上述关键点坐标信息组集包括的每个关键点坐标信息组中的关键点坐标信息包括关键点坐标序列；以及上述根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息，包括：对于上述关键点坐标信息组中的每个关键点坐标信息，从上述关键点坐标信息包括的关键点坐标序列中选择满足预设位置条件的关键点坐标作为手掌关键点坐标，得到手掌关键点坐标集；对于上述手掌关键点坐标集中的每个手掌关键点坐标，从上述标准关键点坐标信息集中选择对应上述手掌关键点坐标的标准关键点坐标作为手掌标准关键点坐标，得到手掌标准关键点坐标集；根据上述手掌关键点坐标集和上述手掌标准关键点坐标集，生成手掌旋转信息；对于上述关键点坐标信息组中的各个关键点坐标信息包括的每个关键点坐标，执行以下步骤：将上述标准关键点坐标信息集中对应上述关键点坐标的标准关键点坐标确定为目标标准关键点坐标；根据上述关键点坐标与上述目标标准关键点坐标，生成关键点旋转信息；将上述手掌旋转信息和所生成的各个关键点旋转信息确定为姿态参数信息。
11.可选地，上述方法还包括：将所生成的各个手势深度信息输入预先训练的手势识别模型，得到手势类型；将对应上述手势类型的操作信息确定为目标操作信息；执行上述目标操作信息对应的应用操作。
12.可选地，上述关键点坐标信息生成模型是通过以下步骤训练得到的：获取样本集，其中，上述样本集中的样本包括样本手势图像，以及与样本手势图像对应的样本关键点坐标信息组集；基于上述样本集执行以下训练步骤：将上述样本集中的至少一个样本的样本手势图像分别输入至初始神经网络，得到上述至少一个样本中的每个样本对应的关键点坐标信息组集；将上述至少一个样本中的每个样本对应的关键点坐标信息组集与对应的样本关键点坐标信息组集进行比较；根据比较结果确定上述初始神经网络是否达到预设的优化目标；响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的关键点坐标信息生成模型。
13.可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的样本组成样本集，使用调整后的初始神经网络作为初始神经网络，再次执行上述训练步骤。
14.第二方面，本公开的一些实施例提供了一种基于单目rgb摄像头的手势深度信息生成装置，装置包括：控制单元，被配置成控制相关联的单目rgb摄像头采集目标手势图像；检测单元，被配置成对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集，其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应；第一生成单元，被配置成根据上述关键点坐标信息组集，生成骨骼长度信息组；输入单元，被配置成将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息；第二生成单元，被配置成对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。
15.可选地，检测单元可以进一步被配置成将上述目标手势图像输入关键点坐标信息生成模型，得到关键点坐标信息组集。
16.可选地，第二生成单元可以进一步被配置成对于上述关键点坐标信息组集中的每个关键点坐标信息组，执行以下步骤：将上述手部形状参数信息和预设的初始姿态参数信息输入预设参数化模型，得到标准关键点坐标信息集；根据上述骨骼长度信息组和上述标准关键点坐标信息集，生成手腕点深度信息；根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息；将上述手部形状参数信息和上述姿态参数信息输入上述预设参数化模型，得到手部全自由度信息；根据上述手腕点深度信息和上述手部全自由度信息，生成手势深度信息。
17.可选地，上述关键点坐标信息组集包括的每个关键点坐标信息组中的关键点坐标信息包括关键点坐标序列；第二生成单元可以进一步被配置成对于上述关键点坐标信息组中的每个关键点坐标信息，从上述关键点坐标信息包括的关键点坐标序列中选择满足预设位置条件的关键点坐标作为手掌关键点坐标，得到手掌关键点坐标集；对于上述手掌关键点坐标集中的每个手掌关键点坐标，从上述标准关键点坐标信息集中选择对应上述手掌关键点坐标的标准关键点坐标作为手掌标准关键点坐标，得到手掌标准关键点坐标集；根据上述手掌关键点坐标集和上述手掌标准关键点坐标集，生成手掌旋转信息；对于上述关键点坐标信息组中的各个关键点坐标信息包括的每个关键点坐标，执行以下步骤：将上述标准关键点坐标信息集中对应上述关键点坐标的标准关键点坐标确定为目标标准关键点坐标；根据上述关键点坐标与上述目标标准关键点坐标，生成关键点旋转信息；将上述手掌旋转信息和所生成的各个关键点旋转信息确定为姿态参数信息。
18.可选地，基于单目rgb摄像头的手势深度信息生成装置500还可以包括：手势深度信息输入单元、确定单元和执行单元。其中，手势深度信息输入单元被配置成将所生成的各个手势深度信息输入预先训练的手势识别模型，得到手势类型；确定单元被配置成将对应上述手势类型的操作信息确定为目标操作信息；执行单元被配置成执行上述目标操作信息对应的应用操作。
19.可选地，上述关键点坐标信息生成模型是通过以下步骤训练得到的：获取样本集，其中，上述样本集中的样本包括样本手势图像，以及与样本手势图像对应的样本关键点坐标信息组集；基于上述样本集执行以下训练步骤：将上述样本集中的至少一个样本的样本手势图像分别输入至初始神经网络，得到上述至少一个样本中的每个样本对应的关键点坐标信息组集；将上述至少一个样本中的每个样本对应的关键点坐标信息组集与对应的样本关键点坐标信息组集进行比较；根据比较结果确定上述初始神经网络是否达到预设的优化目标；响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的关键点坐标信息生成模型。
20.可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的样本组成样本集，使用调整后的初始神经网络作为初始神经网络，再次执行上述训练步骤。
21.第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，一个单目rgb摄像头，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器控制上述单目rgb摄像头实现上述第一方面任一实现方式所描述的方法。
22.第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机
程序，其中，计算机程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
23.本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法，可以减少摄像头设备功耗，简化用户操作。具体来说，造成摄像头设备需要频繁充电，用户操作较为繁琐的原因在于：通过深度摄像头或者多目摄像头采集手势深度图像时，摄像头功耗较大，从而导致摄像头设备需要频繁充电，用户操作较为繁琐。基于此，本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法，首先，控制相关联的单目rgb摄像头采集目标手势图像。由此，可以得到功耗较小、适用性较高的单目rgb摄像头采集的手势图像，从而可以在采集图像时，减少摄像头设备的功耗，进而可以减少用户给摄像头设备充电的操作的次数。其次，对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集。其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应。由此，可以得到每个手势区域对应的各个关节点在以手腕点为原点的相对坐标系下的各个坐标，从而可以用于预测各个关节点在相机坐标系下的三维坐标。然后，根据上述关键点坐标信息组集，生成骨骼长度信息组。由此，可以得到在以手腕点为原点的相对坐标系下的各个手部关节点之间的骨骼的长度，从而可以用于预测手部形状参数信息，且根据骨骼长度在相机坐标系下恒定的原理，得到在相机坐标系下各个手部关节点之间的骨骼的长度，进而可以用于预测各个关节点在相机坐标系下的三维坐标。之后，将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。由此，可以得到表征手部形状的手部形状参数信息，从而可以用于预测各个关节点在相机坐标系下的三维坐标。最后，对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。由此，可以得到单目rgb摄像头采集的手势图像中的手势的各个关节点在相机坐标系下的三维坐标，从而可以无需使用深度摄像头采集或者多目摄像头采集深度图像以生成手势深度信息。也因为手势深度信息是基于单目rgb摄像头采集的手势图像生成的，无需使用深度摄像头采集或者多目摄像头采集深度图像，由此，可以减少用户给摄像头设备充电的操作的次数，从而可以减少摄像头设备功耗，简化用户操作。
附图说明
24.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
25.图1是本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法的一个应用场景的示意图；
26.图2是根据本公开的基于单目rgb摄像头的手势深度信息生成方法的一些实施例的流程图；
27.图3是根据本公开的基于单目rgb摄像头的手势深度信息生成方法的又一些实施例的流程图；
28.图4是根据本公开的基于单目rgb摄像头的手势深度信息生成方法的另一些实施例的流程图；
29.图5是根据本公开的基于单目rgb摄像头的手势深度信息生成装置的一些实施例
的结构示意图；
30.图6是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
31.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
32.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
33.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
34.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
35.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
36.下面将参考附图并结合实施例来详细说明本公开。
37.图1是本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法的一个应用场景的示意图。
38.在图1的应用场景中，首先，计算设备101可以控制相关联的单目rgb摄像头102采集目标手势图像103。其次，计算设备101可以对上述目标手势图像103进行手势关键点检测，得到关键点坐标信息组集104。其中，上述关键点坐标信息组集104包括的关键点坐标信息组与上述目标手势图像103包括的手势区域对应。然后，计算设备101可以根据上述关键点坐标信息组集104，生成骨骼长度信息组105。之后，计算设备101可以将上述骨骼长度信息组105输入预先训练的手部形状参数生成模型106，得到手部形状参数信息107。对于上述关键点坐标信息组集104中的每个关键点坐标信息组，最后，计算设备101可以根据上述关键点坐标信息组104、上述手部形状参数信息107和上述骨骼长度信息组105，生成手势深度信息108。
39.需要说明的是，上述计算设备101可以是硬件，也可以是软件。当计算设备为硬件时，可以实现成多个服务器或终端设备组成的分布式集群，也可以实现成单个服务器或单个终端设备。当计算设备体现为软件时，可以安装在上述所列举的硬件设备中。其可以实现成例如用来提供分布式服务的多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。
40.应该理解，图1中的计算设备的数目仅仅是示意性的。根据实现需要，可以具有任意数目的计算设备。
41.继续参考图2，示出了根据本公开的基于单目rgb摄像头的手势深度信息生成方法的一些实施例的流程200。该基于单目rgb摄像头的手势深度信息生成方法，包括以下步骤：
42.步骤201，控制相关联的单目rgb摄像头采集目标手势图像。
43.在一些实施例中，基于单目rgb摄像头的手势深度信息生成方法的执行主体(例如
图1所示的计算设备101)可以控制相关联的单目rgb摄像头采集目标手势图像。其中，上述执行主体也可以为头戴式显示设备，则相关联的单目rgb摄像头可以设置在上述头戴式显示设备上。上述头戴式显示设备可以为ar眼镜，也可以为vr眼镜。上述执行主体还可以为手机，则相关联的单目rgb摄像头可以为手机上的摄像头。上述目标手势图像可以为待检测的包括用户的手势的图像。上述目标手势图像可以包括至少一个手势区域。上述至少一个手势区域包括的手势区域可以为显示有手部的区域。
44.步骤202，对目标手势图像进行手势关键点检测，得到关键点坐标信息组集。
45.在一些实施例中，上述执行主体可以对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集。其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应。上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域的对应关系可以为一一对应。上述关键点坐标信息组集包括的关键点坐标信息组可以表征一只手的各个关键点的各个关键点坐标。上述关键点可以为手部的关节点。每个关键点对应一个关键点坐标。一只手的各个关键点的数量可以为预先设定的数量。例如，一只手的各个关键点的数量可以为21。21个关键点可以包括每根手指的4个关节点和手腕的关节点。上述各个关键点坐标包括的关键点坐标可以为关键点在手腕坐标系下中的坐标。上述关键点坐标可以为二维坐标，也可以为三维坐标。上述手腕坐标系可以为以手腕的关节点为原点，以与手面平行的平面为x-y平面，以与手面垂直的方向为z轴的方向的三维坐标系。上述手腕坐标系也可以为以手腕的关节点为原点，以与手面平行的平面为x-y平面的二维坐标系。
46.上述关键点坐标信息组集包括的关键点坐标信息组可以包括第一关键点坐标信息和第二关键点坐标信息。上述第一关键点坐标信息可以表征手腕的关节点的坐标。上述第一关键点坐标信息可以包括但不限于以下中的至少一项：手腕点标识和第一关键点坐标。上述手腕点标识可以对手腕点唯一标识。上述手腕点可以为手腕的关节点。例如，上述手腕点标识可以为“左手腕点”，也可以为“左0”。上述第一关键点坐标可以为对应手腕点的关键点坐标。上述第二关键点坐标信息可以表征一只手上的各个手指上的各个关键点坐标。上述第二关键点坐标信息可以包括第二关键点坐标集和第二关键点标识集。上述第二关键点坐标集中的第二关键点坐标与上述第二关键点标识集包括的第二关键点标识对应。上述第二关键点标识可以对第二关键点唯一标识。上述第二关键点可以为手指上的关节点。上述第二关键点标识可以为手部类型、手指名称和位置信息的组合。上述组合方式可以为字符拼接。上述位置信息可以表征第二关键点在手指上的位置。例如，上述位置信息可以为编号。上述手部类型可以为但不限于以下中的一项：左手、右手。上述手指名称可以为手指的名称。例如，上述手指名称可以为食指。上述编号可以为对于每根手指上的各个第二关键点，从手掌到指尖的第二关键点依次进行排序的数字编号。例如，上述第二关键点标识可以为“右手食指01”。实践中，首先，上述执行主体可以将上述目标手势图像发送至服务端进行手势关键点检测以生成关键点坐标信息组集。然后，接收服务端发送的对应上述目标手势图像的关键点坐标信息组集。
47.在一些实施例的一些可选的实现方式中，上述执行主体可以将上述目标手势图像输入关键点坐标信息生成模型，得到关键点坐标信息组集。其中，上述关键点坐标信息生成模型可以表征手势图像与关键点坐标信息组集的对应关系。例如，上述关键点坐标信息生
成模型可以为以手势图像为输入，以关键点坐标信息组集为输出的分类模型。其中，上述关键点坐标信息生成模型可以将目标手势图像与预设手势图像集合中的各个预设手势图像依次进行比较。上述预设手势图像集合中的每个预设手势图像对应有预设关键点坐标信息组集。上述预设手势图像集合中的预设手势图像可以为预先设定的手势图像。上述预设关键点坐标信息组集中的预设关键点坐标信息组可以为预先设定的关键点坐标信息组。若上述预设手势图像集合中的任意预设手势图像与该目标手势图像的相似度小于预先设定的阈值，则可以将对应上述任意预设手势图像的预设关键点坐标信息组集确定为对应该目标手势图像的关键点坐标信息组集。
48.又例如，上述关键点坐标信息生成模型可以为以手势图像为输入，以关键点坐标信息组集为输出的神经网络。上述神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。
49.由此，可以在本执行主体对目标手势图像对目标手势图像进行手势关键点检测，直接得到关键点坐标信息组集。
50.可选地，上述关键点坐标信息生成模型可以是通过以下步骤训练得到的：
51.第一步，获取样本集。其中，上述样本集中的样本可以包括样本手势图像，以及与样本手势图像对应的样本关键点坐标信息组集；
52.第二步，基于上述样本集执行以下训练步骤：首先，将上述样本集中的至少一个样本的样本手势图像分别输入至初始神经网络，得到上述至少一个样本中的每个样本对应的关键点坐标信息组集。其中，上述初始神经网络可以是能够根据手势图像得到关键点坐标信息组集的各种神经网络，例如，上述初始神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。其次，将上述至少一个样本中的每个样本对应的关键点坐标信息组集与对应的样本关键点坐标信息组集进行比较。然后，根据比较结果确定上述初始神经网络是否达到预设的优化目标。作为示例，当一个样本对应的关键点坐标信息组集与对应的样本关键点坐标信息组集之间的差异小于预设差异阈值时，认为该关键点坐标信息组集准确。此时，上述优化目标可以是指上述初始神经网络生成的关键点坐标信息组集的准确率大于预设的准确率阈值。最后，响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的关键点坐标信息生成模型。
53.可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的样本组成样本集，使用调整后的初始神经网络作为初始神经网络，再次执行上述训练步骤。作为示例，可以采用反向传播算法(back propgation algorithm)和梯度下降法(例如，小批量梯度下降算法)对上述初始神经网络的网络参数进行调整。
54.需要说明的是，在服务端进行手势关键点检测以生成关键点坐标信息组集的实现方式可以与上述技术方案相同，因此，不再赘述。
55.步骤203，根据关键点坐标信息组集，生成骨骼长度信息组。
56.在一些实施例中，上述执行主体可以根据上述关键点坐标信息组集，生成骨骼长度信息组。其中，上述骨骼长度信息组包括的骨骼长度信息可以表征每根手指的相邻两个关键点之间的骨骼的长度和手腕点与每根手指在手掌处的关节点之间的长度。实践中，首先，上述执行主体可以将上述关键点坐标信息组集中的任意关键点坐标信息组确定为目标
关键点坐标信息组。然后，对于上述目标关键点坐标信息组中的第二目标关键点坐标信息，执行以下步骤：
57.第一步，将上述第二目标关键点坐标信息包括的第二目标关键点标识集中满足预设关键点标识条件的两个第二目标关键点标识确定为目标关键点标识组，得到目标关键点标识组集。其中，上述预设关键点标识条件可以为第二目标关键点标识集中的两个第二目标关键点标识为表征对应的两个第二目标关键点的位置相邻的两个第二目标关键点标识。
58.第二步，对于上述目标关键点标识组集包括的每个目标关键点标识组，将上述第二目标关键点坐标集中的对应上述目标关键点标识组的两个目标关键点坐标确定为关键点坐标对。
59.第三步，对于所确定的每个关键点坐标对，根据上述关键点坐标对所包括的两个关键点坐标，生成手指骨骼长度值。其中，上述手指骨骼长度值可以为同一手指两个相邻的关键点之间的骨骼的长度。实践中，上述执行主体可以根据欧氏距离法，确定上述关键点坐标对所包括的两个关键点坐标的距离值作为骨骼长度值。
60.第四步，将所生成的各个骨骼长度值进行组合，得到骨骼长度信息。
61.步骤204，将骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。
62.在一些实施例中，上述执行主体可以将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。其中，上述手部形状参数生成模型可以表征骨骼长度信息组与手部形状参数信息的对应关系。上述手部形状参数信息可以表征手部的形状。上述手部形状参数信息可以为10维的形状参数。上述形状参数可以为手部的形状的参数。例如，上述手部形状参数信息可以表征手部的长度、厚度等。例如，上述手部形状参数生成模型可以为以骨骼长度信息组为输入，以手部形状参数信息为输出的神经网络。上述神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。
63.作为示例，上述手部形状参数生成模型是通过以下模型训练步骤训练得到的：
64.第一步，获取骨骼样本集。其中，上述骨骼样本集中的骨骼样本包括样本骨骼长度信息组，以及与样本骨骼长度信息组对应的样本手部形状参数信息；
65.第二步，基于上述骨骼样本集执行以下训练步骤：首先，将上述骨骼样本集中的至少一个骨骼样本的样本骨骼长度信息组分别输入至初始神经网络，得到上述至少一个骨骼样本中的每个骨骼样本对应的手部形状参数信息。其中，上述初始神经网络可以是能够根据骨骼长度信息组得到手部形状参数信息的各种神经网络，例如，上述初始神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。其次，将上述至少一个骨骼样本中的每个骨骼样本对应的手部形状参数信息与对应的样本手部形状参数信息进行比较。然后，根据比较结果确定上述初始神经网络是否达到预设的优化目标。作为示例，当一个骨骼样本对应的手部形状参数信息与对应的样本手部形状参数信息之间的差异小于预设差异阈值时，认为该手部形状参数信息准确。此时，上述优化目标可以是指上述初始神经网络生成的手部形状参数信息的准确率大于预设的准确率阈值。最后，响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的手部形状参数生成模型。
66.可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的骨骼样本组成骨骼样本集，使用调
整后的初始神经网络作为初始神经网络，再次执行上述训练步骤。作为示例，可以采用反向传播算法(back propgation algorithm)和梯度下降法(例如，小批量梯度下降算法)对上述初始神经网络的网络参数进行调整。
67.又例如，上述手部形状参数生成模型可以为以骨骼长度信息组、以手部形状参数信息组为输出的分类模型。其中，上述手部形状参数生成模型可以将骨骼长度信息组与预设骨骼长度信息组集包括的各个预设骨骼长度信息组依次进行比较。上述预设骨骼长度信息组集包括的预设骨骼长度信息组可以为预先设定的骨骼长度信息组。上述预设骨骼长度信息组集包括的每个预设骨骼长度信息组对应有预设手部形状参数信息。上述预设手部形状参数信息可以为预先设定的手部形状参数信息。若上述预设骨骼长度信息组集中的任意骨骼长度信息组与该骨骼长度信息组的差值小于预先设定的阈值，则可以将上述任意骨骼长度信息组对应的预设手部形状参数信息确定为对应该目标手势图像的手部形状参数信息。
68.步骤205，对于关键点坐标信息组集中的每个关键点坐标信息组，根据关键点坐标信息组、手部形状参数信息和骨骼长度信息组，生成手势深度信息。
69.在一些实施例中，上述执行主体可以对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。其中，上述手势深度信息可以表征各个手部关键点和各个手部的网格点在相机坐标系下的位置。上述手势深度信息可以包括手部关键点坐标集和手部网格点坐标集。上述手部关键点坐标集可以包括21个手部关键点坐标。上述手部关键点坐标可以为关键点在相机坐标系下的三维坐标。上述手部网格点坐标集可以包括手部的网格点在相机坐标系下的三维坐标。上述网格点可以为构建手部网格需要的顶点。实践中，首先，上述执行主体可以对于关键点坐标信息组集中的每个关键点坐标信息组，执行以下步骤：
70.第一步，将上述手部形状参数信息和预设的初始姿态参数信息输入关键点分类模型，得到标准关键点坐标信息集和标准网格点坐标信息集。其中，上述初始姿态参数信息可以表征手部伸直时的姿态。上述标准关键点坐标信息集包括的标准关键点坐标信息可以表征关键点在上述手腕坐标系下手部伸直时的位置。上述标准关键点坐标信息集包括的标准关键点坐标信息可以包括标准关键点坐标和关键点标识。上述标准关键点坐标可以为关键点在上述手腕坐标系下手部伸直时的坐标。上述标准网格点坐标信息集包括的标准网格点坐标信息可以表征构建手部模型需要的778个网格点在上述手腕坐标系下手部伸直时的位置。上述标准网格点坐标信息集包括的标准网格点坐标信息可以包括标准网格点坐标和网格点标识。上述标准网格点坐标为网格点在上述手腕坐标系下手部伸直时的坐标。上述网格点标识可以对网格点唯一标识。例如，上述网格点标识可以为编号。上述关键点分类模型可以为以手部形状参数信息、姿态参数信息为输入，以关键点坐标信息集和网格点坐标信息集为输出的分类模型。上述关键点分类模型可以将手部形状参数信息与预设手部形状参数信息集中的各个预设手部形状参数信息依次进行比较。然后，将初始姿态参数信息与预设姿态参数信息集中的各个预设姿态参数信息依次进行比较。上述预设姿态参数信息集中的预设姿态参数信息可以为预先设定的姿态参数信息。上述预设手部形状参数信息集中的预设手部形状参数信息可以为预先设定的手部形状参数信息。上述预设手部形状参数信息集中的预设手部形状参数信息与上述预设姿态参数信息集中的预设姿态参数信息对应。上
述预设手部形状参数信息集中的预设手部形状参数信息与上述预设姿态参数信息集中的预设姿态参数信息的对应关系可以为一一对应。每组对应的预设手部形状参数信息与预设姿态参数信息对应有预设关键点坐标信息集和预设网格点坐标信息集。上述预设关键点坐标信息集包括的预设关键点坐标信息可以为预先设定的键点坐标信息。上述预设网格点坐标信息集包括的预设网格点坐标信息可以为预先设定的网格点坐标信息。若上述预设手部形状参数信息集中的任意预设手部形状参数信息和上述预设姿态参数信息集中的任意预设姿态参数信息与该手部形状参数信息和该姿态参数信息的差值均小于预先设定的阈值，则可以将对应任意预设手部形状参数信息与上述任意预设姿态参数信息对应的预设关键点坐标信息集和预设网格点坐标信息集确定为对应该手部形状参数信息和该姿态参数信息的标准关键点坐标信息集和标准网格点坐标信息集。
71.第二步，将上述关键点坐标信息组和上述标准关键点坐标信息集输入姿态信息分类模型，得到关键点姿态信息。其中，上述关键点姿态信息可以表征各个关键点和手掌的旋转角度。上述关键点姿态信息可以包括手掌旋转角度和关键点旋转角度集。上述手掌旋转角度可以为手掌的旋转角度。上述关键点旋转角度集包括的关键点旋转角度可以为关键点的旋转角度。上述输入姿态信息分类模型可以为以关键点坐标信息组和标准关键点坐标信息集为输入，以关键点姿态信息为输出的分类模型。上述输入姿态信息分类模型可以将关键点坐标信息组和标准关键点坐标信息集与预设姿态信息关系表中多组关键点坐标信息组、标准关键点坐标信息集依次进行比较。上述预设姿态信息关系表可以为上述预设姿态信息关系表可以为基于大量的关键点坐标信息组、标准关键点坐标信息集进行分析而创建的。每组关键点坐标信息组、标准关键点坐标信息集对应有预设关键点姿态信息。上述预设关键点姿态信息可以为预先设定的关键点姿态信息。若上述预设姿态信息关系表中的任意一组关键点坐标信息组和标准关键点坐标信息集与该关键点坐标信息组、该标准关键点坐标信息集的差值均小于预先设定的阈值，则可以将上述任意一组关键点坐标信息组和标准关键点坐标信息集对应的预设关键点姿态信息确定为对应该关键点坐标信息组、该标准关键点坐标信息集的关键点姿态信息。
72.第三步，将上述手部形状参数信息和上述关键点姿态信息输入上述关键点分类模型，得到目标关键点坐标信息集和目标网格点坐标信息集。
73.第四步，根据预设的手腕点深度值，对目标关键点坐标信息集包括的各个目标关键点坐标和上述目标网格点坐标信息集包括的各个目标网格点坐标进行坐标转换，得到目标手部网格点坐标集和目标手部关键点坐标集。其中，上述目标手部网格点坐标集包括的目标手部网格点坐标可以为网格点在相机坐标系下的三维坐标。上述目标手部关键点坐标集包括的目标手部关键点坐标可以为关键点在相机坐标系下的三维坐标。上述手腕点深度值可以为手腕点在相机坐标系下的坐标包括的z轴上的坐标值。
74.第五步，将上述目标手部网格点坐标集和目标手部关键点坐标集进行组合，得到手势深度信息。其中，上述组合方式可以为字符拼接。
75.本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法，可以简化用户操作。具体来说，造成摄像头设备需要频繁充电，用户操作较为繁琐的原因在于：通过深度摄像头或者多目摄像头采集手势深度图像时，摄像头功耗较大，从而导致摄像头设备需要频繁充电，用户操作较为繁琐。基于
此，本公开的一些实施例的基于单目rgb摄像头的手势深度信息生成方法，首先，控制相关联的单目rgb摄像头采集目标手势图像。由此，可以得到功耗较小、适用性较高的单目rgb摄像头采集的手势图像，从而可以在采集图像时，减少摄像头设备的功耗，进而可以减少用户给摄像头设备充电的操作的次数。其次，对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集。其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应。由此，可以得到每个手势区域对应的各个关节点在以手腕点为原点的相对坐标系下的各个坐标，从而可以用于预测各个关节点在相机坐标系下的三维坐标。然后，根据上述关键点坐标信息组集，生成骨骼长度信息组。由此，可以得到在以手腕点为原点的相对坐标系下的各个手部关节点之间的骨骼的长度，从而可以用于预测手部形状参数信息，且根据骨骼长度在相机坐标系下恒定的原理，得到在相机坐标系下各个手部关节点之间的骨骼的长度，进而可以用于预测各个关节点在相机坐标系下的三维坐标。之后，将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。由此，可以得到表征手部形状的手部形状参数信息，从而可以用于预测各个关节点在相机坐标系下的三维坐标。最后，对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。由此，可以得到单目rgb摄像头采集的手势图像中的手势的各个关节点在相机坐标系下的三维坐标，从而可以无需使用深度摄像头采集或者多目摄像头采集深度图像以生成手势深度信息。也因为手势深度信息是通过对单目rgb摄像头采集的手势图像经过一系列的算法进行处理得到的，无需使用深度摄像头采集或者多目摄像头采集深度图像，由此，可以减少用户给摄像头设备充电的操作的次数，从而可以简化用户操作。
76.进一步参考图3，其示出了基于单目rgb摄像头的手势深度信息生成方法的又一些实施例的流程300。该基于单目rgb摄像头的手势深度信息生成方法的流程300，包括以下步骤：
77.步骤301，控制相关联的单目rgb摄像头采集目标手势图像。
78.步骤302，对目标手势图像进行手势关键点检测，得到关键点坐标信息组集。
79.步骤303，根据上述关键点坐标信息组集，生成骨骼长度信息组。
80.步骤304，将骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。
81.步骤305，对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。
82.在一些实施例中，步骤301-305的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤201-205，在此不再赘述。
83.步骤306，将所生成的各个手势深度信息输入预先训练的手势识别模型，得到手势类型。
84.在一些实施例中，上述执行主体(例如图1所示的计算设备101)可以将所生成的各个手势深度信息输入预先训练的手势识别模型，得到手势类型。其中，上述手势类型可以表征手势执行的操作。上述手势类型可以为但不限于以下中的一项：点击手势、滑动手势。上述手势识别模型可以表征手势深度信息与手势类型的对应关系。例如，上述手势识别模型可以为以手势深度信息为输入，以手势类型为输出的分类模型。其中，上述手势识别模型可
以将手势深度信息与预设手势深度信息集中的各个预设手势深度信息依次进行比较。上述预设手势深度信息集中的预设手势深度信息可以为预先设定的手势深度信息。上述预设手势类型可以为预先设定的手势类型。上述预设手势深度信息集中的每个预设手势深度信息对应有预设手势类型。若上述预设手势深度信息集中的任意预设手势深度信息与该手势深度信息的差值小于预先设定的阈值，则可以将对应上述任意预设手势深度信息的预设手势类型确定为对应该手势深度信息的手势类型。
85.又例如，上述手势识别模型可以为以手势深度信息为输入，以手势类型为输出的神经网络。上述神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。
86.可选地，上述手势识别模型是通过以下手势识别步骤训练得到的：
87.第一步，获取手势样本集。其中，上述手势样本集中的手势样本包括样本手势深度信息，以及与样本手势图像对应的样本手势类型；
88.第二步，基于上述手势样本集执行以下训练步骤：首先，将上述手势样本集中的至少一个手势样本的样本手势深度信息分别输入至初始神经网络，得到上述至少一个手势样本中的每个手势样本对应的手势类型。其中，上述初始神经网络可以是能够根据手势深度信息得到手势类型的各种神经网络，例如，上述初始神经网络可以为但不限于以下中的一项：卷积神经网络、递归神经网络。其次，将上述至少一个手势样本中的每个手势样本对应的手势类型与对应的样本手势类型进行比较。然后，根据比较结果确定上述初始神经网络是否达到预设的优化目标。作为示例，当一个样本对应的手势类型与对应的样本手势类型之间的差异小于预设差异阈值时，认为该手势类型准确。此时，上述优化目标可以是指上述初始神经网络生成的手势类型的准确率大于预设的准确率阈值。最后，响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的手势识别模型。
89.可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的手势样本组成手势样本集，使用调整后的初始神经网络作为初始神经网络，再次执行上述手势识别步骤。作为示例，可以采用反向传播算法(back propgation algorithm)和梯度下降法(例如，小批量梯度下降算法)对上述初始神经网络的网络参数进行调整。
90.步骤307，将对应手势类型的操作信息确定为目标操作信息。
91.在一些实施例中，上述执行主体可以将对应上述手势类型的操作信息确定为目标操作信息。其中，上述操作信息可以为用户执行的操作的信息。例如，上述目标操作信息可以为“点击操作”。
92.步骤308，执行目标操作信息对应的应用操作。
93.在一些实施例中，上述执行主体可以执行上述目标操作信息对应的应用操作。其中，上述应用操作可以为作用于应用上的操作。上述应用操作可以包括但不限于以下中的一项：点击、滑动。
94.从图3中可以看出，与图2对应的一些实施例的描述相比，图3对应的一些实施例中的基于单目rgb摄像头的手势深度信息生成方法的流程300扩展了如何应用手势深度信息的步骤。由此，这些实施例描述的方案可以通过生成的手势深度信息，确定用户作用于应用上的操作，从而可以实现人机交互。
95.进一步参考图4，其示出了基于单目rgb摄像头的手势深度信息生成方法的另一些
实施例的流程400。该基于单目rgb摄像头的手势深度信息生成方法的流程400，包括以下步骤：
96.步骤401，控制相关联的单目rgb摄像头采集目标手势图像。
97.步骤402，对目标手势图像进行手势关键点检测，得到关键点坐标信息组集。
98.步骤403，根据上述关键点坐标信息组集，生成骨骼长度信息组。
99.步骤404，将骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息。
100.在一些实施例中，步骤401-404的具体实现及所带来的技术效果可以参考图2对应的那些实施例中的步骤201-204，在此不再赘述。
101.步骤405，对于关键点坐标信息组集中的每个关键点坐标信息组，执行以下步骤：
102.步骤4051，将手部形状参数信息和预设的初始姿态参数信息输入预设参数化模型，得到标准关键点坐标信息集。
103.在一些实施例中，上述执行主体(例如图1所示的计算设备101)可以将上述手部形状参数信息和预设的初始姿态参数信息输入预设参数化模型，得到标准关键点坐标信息集。其中，上述初始姿态参数信息可以表征手部伸直时的姿态。上述预设参数化模型可以为预先设定的参数化模型。上述预设参数化模型可以为mano模型。
104.步骤4052，根据骨骼长度信息组和标准关键点坐标信息集，生成手腕点深度信息。
105.在一些实施例中，上述执行主体可以根据上述骨骼长度信息组和上述标准关键点坐标信息集，生成手腕点深度信息。其中，上述手腕点深度信息可以表征手腕点在相机坐标系下的三维坐标。实践中，首先，上述执行主体可以从上述第二目标关键点标识集中选择满足预设手指条件的第二目标关键点标识作为中指指根关键点标识。其中，上述预设手指条件可以为第二目标关键点标识表征第二目标关键点为中指的手掌处的关节点。其次，通过欧氏距离法，确定对应上述中指指根关键点标识的第二目标关键点坐标与上述第一目标关键点坐标信息包括的第一目标关键点坐标之间的距离作为骨骼长度距离。然后，获取相机内参、中指指根关键点像素坐标和手腕点像素坐标。其中，上述中指指根关键点像素坐标可以为中指的手掌处的关节点在相机坐标系下的坐标。上述手腕点像素坐标可以为手腕点在在相机坐标系下的三维坐标。然后，通过最小二乘法对下式求解，得到手腕点在相机坐标系下对应的z坐标的值作为手腕点深度信息：
[0106][0107]
其中，l
ref
可以表示上述骨骼长度距离。k可以表示上述相机内参。zr可以表示手腕点在相机坐标系下对应的z坐标的值。ur可以表示上述中指指根关键点像素坐标中的x坐标值。vr可以表示上述中指指根关键点像素坐标中的y坐标值。r可以表示中指在手掌处的关节点。w可以表示手腕点。uw可以表示上述手腕点像素坐标中的x坐标值。vw可以表示上述手腕点像素坐标中的y坐标值。dw可以表示待求解的对应上述中指指根关键点标识的第二目标关键点坐标包括的z坐标的值。
[0108]
步骤4053，根据关键点坐标信息组和标准关键点坐标信息集，生成姿态参数信息。
[0109]
在一些实施例中，上述执行主体可以根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息。其中，上述姿态参数信息可以表征手部的姿态。实践中，上述执行主体可以将上述关键点坐标信息组和上述标准关键点坐标信息集输入上述姿态信息分类模型，得到姿态参数信息。
[0110]
在一些实施例的一些可选的实现方式中，其中，上述关键点坐标信息组集包括的每个关键点坐标信息组中的关键点坐标信息可以包括关键点坐标序列。上述关键点坐标信息组中的每个关键点坐标信息可以表征每根手指以手腕点开始，到指尖结束的各个关键点坐标。上述关键点坐标序列可以为每根手指上的各个关键点坐标以手腕点为起始点，按照从手掌到指尖的方向依次进行排序的序列。上述执行主体可以通过以下步骤，根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息：
[0111]
第一步，对于上述关键点坐标信息组中的每个关键点坐标信息，从上述关键点坐标信息包括的关键点坐标序列中选择满足预设位置条件的关键点坐标作为手掌关键点坐标，得到手掌关键点坐标集。其中，上述预设位置条件可以为关键点坐标在对应的关键点坐标序列中的排列位置为第二。
[0112]
第二步，对于上述手掌关键点坐标集中的每个手掌关键点坐标，从上述标准关键点坐标信息集中选择对应上述手掌关键点坐标的标准关键点坐标作为手掌标准关键点坐标，得到手掌标准关键点坐标集。对应上述手掌关键点坐标的标准关键点坐标可以为与上述手掌关键点坐标的关键点标识相同的标准关键点坐标。
[0113]
第三步，根据上述手掌关键点坐标集和上述手掌标准关键点坐标集，生成手掌旋转信息。其中，上述手掌旋转信息可以表征手掌的旋转角度。实践中，首先，上述执行主体可以通过最小二乘法，对上述手掌关键点坐标集和上述手掌标准关键点坐标进行求解处理，得到手掌的旋转角度作为手掌旋转信息。
[0114]
第四步，对于上述关键点坐标信息组中的各个关键点坐标信息包括的每个关键点坐标，执行以下子步骤：
[0115]
第一子步骤，将上述标准关键点坐标信息集中对应上述关键点坐标的标准关键点坐标确定为目标标准关键点坐标。其中，对应上述关键点坐标的标准关键点坐标可以为与上述关键点坐标对应的关键点相同的标准关键点对应的标准关键点坐标。
[0116]
第二子步骤，根据上述关键点坐标与上述目标标准关键点坐标，生成关键点旋转信息。其中，上述关键点旋转信息可以表征关键点的旋转角度。实践中，上述执行主体可以根据两角差的余弦公式，求解上述关键点坐标与上述目标标准关键点坐标的余弦值作为旋转角度余弦值。然后，根据反三角函数求解上述旋转角度余弦值对应的旋转角度作为关键点旋转信息。
[0117]
第五步，将上述手掌旋转信息和所生成的各个关键点旋转信息确定为姿态参数信息。实践中，上述执行主体可以将上述手掌旋转信息和所生成的各个关键点旋转信息进行组合，得到姿态参数信息。
[0118]
由此，可以通过预设参数化模型得到姿态参数信息，从而降低了计算的复杂度，缩短了计算耗费的时长。
[0119]
步骤4054，将手部形状参数信息和姿态参数信息输入预设参数化模型，得到手部
全自由度信息。
[0120]
在一些实施例中，上述执行主体可以将上述手部形状参数信息和上述姿态参数信息输入上述预设参数化模型，得到手部全自由度信息。其中，上述手部全自由度信息可以表征手部各个网格点在上述手腕坐标系下的三维坐标和各个关键点在上述手腕坐标系下的三维坐标。上述手部全自由度信息可以包括网格点坐标集和关键点坐标集。上述网格点坐标集可以为778个手部的网格点在上述手腕坐标系下的三维坐标。上述关键点坐标集可以为21个手部的关键点在上述手腕坐标系下的三维坐标。
[0121]
步骤4055，根据手腕点深度信息和手部全自由度信息，生成手势深度信息。
[0122]
在一些实施例中，上述执行主体可以根据上述手腕点深度信息和上述手部全自由度信息，生成手势深度信息。实践中，上述执行主体可以根据上述手腕点深度信息，对上述手部全自由度信息包括的网格点坐标集和关键点坐标集进行坐标转换，得到手部深度网格点坐标集和手部深度关键点坐标集。其中，上述手部深度网格点坐标集包括的手部深度网格点坐标可以为手部的网格点在相机坐标系下的三维坐标。上述手部深度关键点坐标集可以为关键点在相机坐标系下的三维坐标。
[0123]
从图4中可以看出，与图2对应的一些实施例的描述相比，图4对应的一些实施例中的基于单目rgb摄像头的手势深度信息生成方法的流程400体现了如何根据关键点坐标信息组、手部形状参数信息和骨骼长度信息组生成手势深度信息进行扩展的步骤。由此，这些实施例描述的方案可以通过预设的参数化模型得到姿态参数信息以及手部全自由度信息，且根据骨骼长度在相机坐标系下恒定的原理，得到手腕点的深度信息，从而得到单目rgb摄像头采集的目标手势图像的手势深度信息，进而可以通过计算简单的求解方案生成手势深度信息，缩短了计算时长，提高了手势深度信息生成的效率。
[0124]
进一步参考图5，作为对上述各图所示方法的实现，本公开提供了一种基于单目rgb摄像头的手势深度信息生成的一些实施例，这些装置实施例与图2所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
[0125]
如图5所示，一些实施例的基于单目rgb摄像头的手势深度信息生成装置500包括：控制单元501、检测单元502、第一生成单元503、输入单元504和第二生成单元505。其中，控制单元501被配置成控制相关联的单目rgb摄像头采集目标手势图像；检测单元502被配置成对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集，其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应；第一生成单元503被配置成根据上述关键点坐标信息组集，生成骨骼长度信息组；输入单元504被配置成将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息；第二生成单元505被配置成对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。
[0126]
可选地，检测单元502可以进一步被配置成将上述目标手势图像输入关键点坐标信息生成模型，得到关键点坐标信息组集。
[0127]
可选地，第二生成单元505可以进一步被配置成对于上述关键点坐标信息组集中的每个关键点坐标信息组，执行以下步骤：将上述手部形状参数信息和预设的初始姿态参数信息输入预设参数化模型，得到标准关键点坐标信息集；根据上述骨骼长度信息组和上
述标准关键点坐标信息集，生成手腕点深度信息；根据上述关键点坐标信息组和上述标准关键点坐标信息集，生成姿态参数信息；将上述手部形状参数信息和上述姿态参数信息输入上述预设参数化模型，得到手部全自由度信息；根据上述手腕点深度信息和上述手部全自由度信息，生成手势深度信息。
[0128]
可选地，上述关键点坐标信息组集包括的每个关键点坐标信息组中的关键点坐标信息包括关键点坐标序列；第二生成单元505可以进一步被配置成对于上述关键点坐标信息组中的每个关键点坐标信息，从上述关键点坐标信息包括的关键点坐标序列中选择满足预设位置条件的关键点坐标作为手掌关键点坐标，得到手掌关键点坐标集；对于上述手掌关键点坐标集中的每个手掌关键点坐标，从上述标准关键点坐标信息集中选择对应上述手掌关键点坐标的标准关键点坐标作为手掌标准关键点坐标，得到手掌标准关键点坐标集；根据上述手掌关键点坐标集和上述手掌标准关键点坐标集，生成手掌旋转信息；对于上述关键点坐标信息组中的各个关键点坐标信息包括的每个关键点坐标，执行以下步骤：将上述标准关键点坐标信息集中对应上述关键点坐标的标准关键点坐标确定为目标标准关键点坐标；根据上述关键点坐标与上述目标标准关键点坐标，生成关键点旋转信息；将上述手掌旋转信息和所生成的各个关键点旋转信息确定为姿态参数信息。
[0129]
可选地，基于单目rgb摄像头的手势深度信息生成装置500还可以包括：手势深度信息输入单元、确定单元和执行单元(图中未示出)。其中，手势深度信息输入单元被配置成将所生成的各个手势深度信息输入预先训练的手势识别模型，得到手势类型；确定单元被配置成将对应上述手势类型的操作信息确定为目标操作信息；执行单元被配置成执行上述目标操作信息对应的应用操作。
[0130]
可选地，上述关键点坐标信息生成模型是通过以下步骤训练得到的：获取样本集，其中，上述样本集中的样本包括样本手势图像，以及与样本手势图像对应的样本关键点坐标信息组集；基于上述样本集执行以下训练步骤：将上述样本集中的至少一个样本的样本手势图像分别输入至初始神经网络，得到上述至少一个样本中的每个样本对应的关键点坐标信息组集；将上述至少一个样本中的每个样本对应的关键点坐标信息组集与对应的样本关键点坐标信息组集进行比较；根据比较结果确定上述初始神经网络是否达到预设的优化目标；响应于确定上述初始神经网络达到上述优化目标，将上述初始神经网络作为训练完成的关键点坐标信息生成模型。
[0131]
可选地，上述训练步骤还包括：响应于确定上述初始神经网络未达到上述优化目标，调整上述初始神经网络的参数，以及使用未使用过的样本组成样本集，使用调整后的初始神经网络作为初始神经网络，再次执行上述训练步骤。
[0132]
可以理解的是，基于单目rgb摄像头的手势深度信息生成装置500中记载的诸单元与参考图2描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置500及其中包含的单元，在此不再赘述。
[0133]
下面参考图6，其示出了适于用来实现本公开的一些实施例的电子设备600(例如图1中的计算设备)的结构示意图。本公开的一些实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图6示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能
和使用范围带来任何限制。
[0134]
如图6所示，电子设备600可以包括处理装置(例如中央处理器、图形处理器等)601，其可以根据存储在只读存储器(rom)602中的程序或者从存储装置608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram 603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
[0135]
通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪、单目rgb摄像头等的输入装置606；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备600，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0136]
特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本公开的一些实施例的方法中限定的上述功能。
[0137]
需要说明的是，本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0138]
在一些实施方式中，客户端、服务器可以利用诸如http(hyper text transfer protocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“lan”)，广域网(“wan”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
[0139]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：控制相关联的单目rgb摄像头采集目标手势图像；对上述目标手势图像进行手势关键点检测，得到关键点坐标信息组集，其中，上述关键点坐标信息组集包括的关键点坐标信息组与上述目标手势图像包括的手势区域对应；根据上述关键点坐标信息组集，生成骨骼长度信息组；将上述骨骼长度信息组输入预先训练的手部形状参数生成模型，得到手部形状参数信息；对于上述关键点坐标信息组集中的每个关键点坐标信息组，根据上述关键点坐标信息组、上述手部形状参数信息和上述骨骼长度信息组，生成手势深度信息。
[0140]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0141]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0142]
描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括控制单元、检测单元、第一生成单元、输入单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，控制单元还可以被描述为“控制相关联的单目rgb摄像头采集目标手势图像的单元”。
[0143]
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
[0144]
以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的
(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。