一种手部骨节定位方法和装置与流程

1.本发明涉及图像检测技术领域，尤其涉及一种手部骨节定位方法和装置。


背景技术：

2.手部骨节定位在ar/vr、人机交互中有普遍的应用。目前主要通过深度神经网络训练输入输出的映射关系来实现对未知图像中手部骨节的定位。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
4.现有技术面临无法及时响应手指突变的问题，尤其是在握拳时突然、快速伸手指，那么总是采样到不完整的手部图像，经过几帧数据后才能采样到完整的手部图像。这就导致在视觉上，骨节定位滞后于手部的运动，从而导致手指突变响应不及时的问题。


技术实现要素：

5.有鉴于此，本发明实施例提供一种手部骨节定位方法和装置，以解决手指突变响应不及时的技术问题。
6.为实现上述目的，根据本发明实施例的一个方面，提供了一种手部骨节定位方法，包括：
7.在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置；
8.根据所述检测框在下一帧图像中裁剪出手部图像；
9.将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
10.可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，
11.所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。
12.可选地，所述中指根部所在区域为所述中指根部。
13.可选地，所述检测框的大小根据手部骨节的外接矩形框而确定。
14.可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。
15.可选地，在上一帧图像的手部骨节热力图中定位出检测框之前，还包括：
16.根据原始图像生成原始样本图像；
17.对所述原始图像进行随机扰动，从而生成扰动样本图像；
18.分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图；
19.将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。
20.可选地，根据原始图像生成原始样本图像，包括：
21.在原始图像中标记出手部骨节和检测框；
22.根据所述检测框在所述原始图像中裁剪出原始样本图像。
23.可选地，对所述原始图像进行随机扰动，从而生成扰动样本图像，包括：
24.对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框；
25.根据所述扰动框在所述原始图像中裁剪出扰动样本图像。
26.可选地，在竖直方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍；在水平方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍。
27.另外，根据本发明实施例的另一个方面，提供了一种手部骨节定位装置，包括：
28.定位模块，用于在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置；
29.裁剪模块，用于根据所述检测框在下一帧图像中裁剪出手部图像；
30.检测模块，用于将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
31.可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，
32.所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。
33.可选地，所述中指根部所在区域为所述中指根部。
34.可选地，所述检测框的大小根据手部骨节的外接矩形框而确定。
35.可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。
36.可选地，还包括训练模块，用于：
37.根据原始图像生成原始样本图像；
38.对所述原始图像进行随机扰动，从而生成扰动样本图像；
39.分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图；
40.将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。
41.可选地，所述训练模块还用于：
42.在原始图像中标记出手部骨节和检测框；
43.根据所述检测框在所述原始图像中裁剪出原始样本图像。
44.可选地，所述训练模块还用于：
45.对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框；
46.根据所述扰动框在所述原始图像中裁剪出扰动样本图像。
47.可选地，在竖直方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍；在水平方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍。
48.根据本发明实施例的另一个方面，还提供了一种电子设备，包括：
49.一个或多个处理器；
50.存储装置，用于存储一个或多个程序，
51.当所述一个或多个程序被所述一个或多个处理器执行时，所述一个或多个处理器实现上述任一实施例所述的方法。
52.根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现上述任一实施例所述的方法。
53.上述发明中的一个实施例具有如下优点或有益效果：因为采用在上一帧图像的手部骨节热力图中定位出检测框，所述检测框的中心为中指根部所在区域内的任意位置，然后根据检测框在下一帧图像中裁剪出手部图像的技术手段，所以克服了现有技术中手指突变响应不及时的技术问题。本发明实施例通过改变检测框的中心来改变从图像中裁剪出的手部图像，能够为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题；而且通过对检测框的中心进行多次随机扰动来模拟向各个方向的运动，增加手部位置偏差的训练数据，这样能很好地抑制移动中的响应滞后问题。
54.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
55.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
56.图1是根据本发明实施例的手部骨节定位方法的主要流程的示意图；
57.图2是根据本发明实施例的手部骨节热力图的示意图
58.图3是根据本发明实施例的检测框的示意图；
59.图4是根据本发明实施例的检测框和扰动框的示意图；
60.图5是根据本发明一个可参考实施例的手部骨节定位方法的主要流程的示意图；
61.图6是根据本发明实施例的手部骨节定位装置的主要模块的示意图；
62.图7是本发明实施例可以应用于其中的示例性系统架构图；
63.图8是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
64.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
65.由于手部骨节点的高自由度，往往使用高斯热图作为深度神经网络的预测目标。比如21个手部骨节点就有21个通道，每个通道是一个高斯热图；高斯热图的尺寸一般是输入图像的1/4，比如输入图像尺寸是256*256，那么预测的热力图尺寸一般为64*64。所以，以高斯热图作为预测目标对分辨率很敏感，比如64*64就比32*32的精度高。那么，从分辨率的角度考虑，在制作数据集时，应该使手部区域尽可能占据图像较大的比例。
66.针对手指突变响应不及时的技术问题，一种直观的解决方法是在采样时扩大检测框，但是这就会导致手部区域占据图像的比例变小，导致分辨率变小，从而降低了算法的精度。而且这种扩大对于手腕点是没有必要的，因为手腕点不会有伸展；同样对于其他点也没有必要扩大太多，这种方案的弊端就是减小了目标对象的分辨率，同时引入了不必要的背景信息，这会干扰定位效果。
67.为此，本发明实施例提出了另一种解决方法，该方法通过改变检测框的中心来改变从图像中裁剪出的手部图像，从而解决手指突变响应不及时的技术问题。
68.图1是根据本发明实施例的手部骨节定位方法的主要流程的示意图。作为本发明的一个实施例，如图1所示，所述手部骨节定位方法可以包括：
69.步骤101，在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置。
70.对于连续视频流中的每帧图像，可以采用预先训练的手部骨节检测模型得到每帧图像对应的手部骨节热力图，如图2所示，从而在手部骨节热力图中定位出手部骨节。为了减少检测的次数，大幅提高算法的运行速度，可以通过上一帧图像的手部位置来定位下一帧图像的手部位置。可选地，首先在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框以中指根部所在区域为中心而确定，也就是所，所述检测框的中心为中指根部所在区域内的任意位置。
71.如图3所示，“点赞”手势为例，在现有技术中，通过手部骨节的外接矩形框(实线框)的中心作为检测框的中心，而且假设框内的手指向各个伸展的速度、长度是相等的。但是实际上在靠近手腕的部分不会有伸展，在靠近小指的部分伸展速度、长度小，在靠近拇指的部分伸展距离适中，在靠近食指、中指的部分伸展速度最快、距离最长。那么，当握拳的时候突然伸食指，在小比例的检测框下，算法往往无法及时响应食指的变化，因为食指已经超出了检测框。
72.如图3所示，在本发明的实施例中，改变检测框(虚线框)的中心，不以手部骨节的外接矩形的中心为中心，而是以中指根部所在区域内的任意位置为中心，这样在舒展的手势下与之前相似，在类似握拳的手势下能为变换快、范围大的手指(比如中指、食指和无名指)附近留有足够的空间来应对变化。
73.可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。该区域中的任何位置都可以作为检测框的中心，这样能为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。
74.可选地，所述中指根部所在区域为所述中指根部，中指根部处于整个手部的中心位置，以中指根部作为检测框的中心可以为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。
75.可选地，所述检测框的大小根据手部骨节的外接矩形框而确定。如图3所示，在本发明的实施例中，检测框的大小可以根据手部骨节的外接矩形框(实线框)而确定。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。可选地，所述检测框的边长为手部骨节
的外接矩形框的边长的1.5倍。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.3倍。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.6倍。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.1倍。在这些实施例中，检测框的边长根据手部骨节的外接矩形框而确定，可以为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。
76.可选地，在步骤101之前，还包括：根据原始图像生成原始样本图像；对所述原始图像进行随机扰动，从而生成扰动样本图像；分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图；将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。对于连续视频流，可以通过跟踪上一帧图像的手部位置来定位下一帧图像的手部位置，这样能减少检测的次数，大幅提高算法的运行速度。但是，这会带来一个跟踪滞后的问题，比如手正在往右侧运动，此时通过上一帧检测框定位出目标对象图像中手部位置也偏右，如果在训练中这些数据较少时会导致定位偏差，这种偏差在多帧数据中累积，会逐渐丢失手部数据。为了解决该技术问题，本发明实施例在训练阶段，通过对检测框的中心进行随机扰动来模拟向各个方向的运动，由此增加手部位置偏差的训练数据，如图4所示，这样能很好地抑制移动中的响应滞后问题。
77.可选地，根据原始图像生成原始样本图像，包括：在原始图像中标记出手部骨节和检测框；根据所述检测框在所述原始图像中裁剪出原始样本图像。为了生成训练数，首先可以采用人工方式在原始图像中标记出各个手部骨节和检测框，其中，所述检测框的中心为中指根部所在区域内的任意位置；然后基于检测框的位置在原始图像中裁剪出原始样本图像，裁剪框可以在检测框的基础上进行一定比例的扩大，本发明实施例对此不作限制。在该实施例中，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部或者无名指根部的距离为半径所形成的区域。可选地，也可以以中指根部作为检测框的中心，这样可以更好地为变换快、范围大的手指附近留有足够的空间来应对变化。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。
78.可选地，对所述原始图像进行随机扰动，从而生成扰动样本图像，包括：对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框；根据所述扰动框在所述原始图像中裁剪出扰动样本图像。本发明实施例在训练阶段，通过对检测框的中心进行随机扰动来模拟向各个方向的运动，由此增加手部位置偏差的训练数据，这样能很好地抑制移动中的响应滞后问题。具体地，可以沿着竖直方向和水平方向进行随机扰动，然后根据随机扰动的位置在原始图像中标记出扰动框，最后基于扰动框的位置在原始图像中裁剪出扰动样本图像，裁剪框可以在扰动框的基础上进行一定比例的扩大，本发明实施例对此不作限制。需要指出的是，在本发明的实施例中，可以对检测框的中心进行多次随机扰动来模拟向各个方向的运动，从而生成多张扰动样本图像。
79.可选地，在竖直方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍；在水平方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍。可选地，随机扰动的位移量：offset＝0.2*max(w_mbr,h_mbr)，x_offset＝random(-offset,offset),y_offset＝random(-offset,
offset)；其中，w_mbr是指手部骨节最小外接矩形的宽度，h_mbr是指手部骨节最小外接矩形的高度。可选地，随机扰动的位移量：offset＝0.3*max(w_mbr,h_mbr)，x_offset＝random(-offset,offset),y_offset＝random(-offset,offset)。可选地，随机扰动的位移量：offset＝0.25*max(w_mbr,h_mbr)，x_offset＝random(-offset,offset),y_offset＝random(-offset,offset)。在这些实施例中，准确地模拟手部在各个方向的运动，而且，使得整个手部都在检测框中。
80.然后分别将每张原始样本图像和每张扰动样本图像都转换成对应的手部骨节热力图，接着将原始样本图像和扰动样本图像输入到模型(比如openpose、simplebaseline、efficientnet等)中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。
81.步骤102，根据所述检测框在下一帧图像中裁剪出手部图像。
82.在连续视频流的上一帧图像的手部骨节热力图中定位出检测框之后，将该检测框作为下一帧图像的检测框，即基于该检测框的位置在下一帧图像中裁剪出手部图像。将上一帧图像的检测框应用到下一帧图像中已经实现随机扰动了，因此在推理阶段不必增加检测框中心的随机扰动。需要指出的是，裁剪框可以在检测框的基础上进行一定比例的扩大，本发明实施例对此不作限制。
83.步骤103，将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
84.裁剪出手部图像之后，还可以对手部图像进行常规预处理，比如图像旋转、缩放等仿射变换，图像模糊，颜色增强等。然后将经过预处理的手部图像输入至预先训练的手部骨节检测模型中。经过训练后，所述手部骨节检测模型可以准确地识别出图像中的手部骨节，并将其转换成手部骨节热力图。通过手部骨节检测模型输出的手部骨节热力图就可以准确地定位出手部骨节的位置。
85.根据上面所述的各种实施例，可以看出本发明实施例通过在上一帧图像的手部骨节热力图中定位出检测框，所述检测框的中心为中指根部所在区域内的任意位置，然后根据检测框在下一帧图像中裁剪出手部图像的技术手段，解决了现有技术中手指突变响应不及时的技术问题。本发明实施例通过改变检测框的中心来改变从图像中裁剪出的手部图像，能够为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题；而且通过对检测框的中心进行多次随机扰动来模拟向各个方向的运动，增加手部位置偏差的训练数据，这样能很好地抑制移动中的响应滞后问题。
86.图5是根据本发明一个可参考实施例的手部骨节定位方法的主要流程的示意图。对基于深度学习的骨节关键点定位技术，按照开发阶段主要分为训练阶段和推理阶段，在训练阶段通过学习训练集中的数据来更新模型的权重，在推理阶段固化模型权重处理未见过的新数据。在该实施例中，步骤101-步骤506为训练阶段，步骤507-步骤509为推理阶段。
87.作为本发明的又一个实施例，如图5所示，所述手部骨节定位方法可以包括：
88.步骤501，在原始图像中标记出手部骨节和检测框。
89.可以采用人工方式在原始图像中标记出各个手部骨节和检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置，这样在类似握拳的手势下能为变换快、范围大的手指附近留有足够的空间来应对变化。
90.可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。该区域中的任何位置都可以作为检测框的中心，这样能为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。
91.可选地，所述中指根部所在区域为所述中指根部，中指根部处于整个手部的中心位置，以中指根部作为检测框的中心可以为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。
92.可选地，所述检测框的大小根据手部骨节的外接矩形框而确定，这样可以为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题。可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。
93.步骤502，根据所述检测框在所述原始图像中裁剪出原始样本图像。
94.该步骤基于检测框的位置在原始图像中裁剪出原始样本图像，裁剪框可以在检测框的基础上进行一定比例的扩大，本发明实施例对此不作限制。
95.步骤503，对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框。
96.本发明实施例通过对检测框的中心进行随机扰动来模拟向各个方向的运动，由此增加手部位置偏差的训练数据，这样能很好地抑制移动中的响应滞后问题。具体地，可以沿着竖直方向和水平方向进行随机扰动，可选地，在竖直方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍；在水平方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍。
97.步骤504，根据所述扰动框在所述原始图像中裁剪出扰动样本图像。
98.然后基于扰动框的位置在原始图像中裁剪出扰动样本图像，裁剪框可以在扰动框的基础上进行一定比例的扩大，本发明实施例对此不作限制。需要指出的是，在本发明的实施例中，可以对检测框的中心进行多次随机扰动来模拟向各个方向的运动，从而生成多张扰动样本图像。
99.步骤505，分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图。
100.分别将每张原始样本图像和每张扰动样本图像都转换成对应的手部骨节热力图。
101.步骤506，将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。
102.可选地，模型可以是openpose、simplebaseline、efficientnet等，模型经过训练后，可以准确地识别出图像中的手部骨节，并将其转换成手部骨节热力图。
103.步骤507，在上一帧图像的手部骨节热力图中定位出检测框。
104.为了减少检测的次数，大幅提高算法的运行速度，可以通过上一帧图像的手部位置来定位下一帧图像的手部位置。具体地，在手部骨节检测模型输出的上一帧图像的手部骨节热力图中定位出检测框。
105.步骤508，根据所述检测框在下一帧图像中裁剪出手部图像。
106.在连续视频流的上一帧图像的手部骨节热力图中定位出检测框之后，将该检测框作为下一帧图像的检测框，即基于该检测框的位置在下一帧图像中裁剪出手部图像。将上一帧图像的检测框应用到下一帧图像中已经实现随机扰动了，因此在推理阶段不必增加检测框中心的随机扰动。需要指出的是，裁剪框可以在检测框的基础上进行一定比例的扩大，本发明实施例对此不作限制。
107.步骤509，将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
108.裁剪出手部图像之后，还可以对手部图像进行常规预处理，比如图像旋转、缩放等仿射变换，图像模糊，颜色增强等。然后将经过预处理的手部图像输入至预先训练的手部骨节检测模型中。经过训练后，所述手部骨节检测模型可以准确地识别出图像中的手部骨节，并将其转换成手部骨节热力图。通过手部骨节检测模型输出的手部骨节热力图就可以准确地定位出手部骨节的位置。
109.另外，在本发明一个可参考实施例中手部骨节定位方法的具体实施内容，在上面所述手部骨节定位方法中已经详细说明了，故在此重复内容不再说明。
110.图6是根据本发明实施例的手部骨节定位装置的主要模块的示意图，如图6所示，所述手部骨节定位装置600包括定位模块601、裁剪模块602和检测模块603；其中，定位模块601用于在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的中心为中指根部所在区域内的任意位置；裁剪模块602用于根据所述检测框在下一帧图像中裁剪出手部图像；检测模块603用于将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
111.可选地，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到食指根部的距离为半径形成的区域；或者，所述中指根部所在区域为以所述中指根部为中心、以所述中指根部到无名指根部的距离为半径所形成的区域。
112.可选地，所述中指根部所在区域为所述中指根部。
113.可选地，所述检测框的大小根据手部骨节的外接矩形框而确定。
114.可选地，所述检测框的边长为手部骨节的外接矩形框的边长的1.2-2倍；其中，所述外接矩形框的边长为所述外接矩形框的高度或者宽度中的最大值。
115.可选地，还包括训练模块，用于：
116.根据原始图像生成原始样本图像；
117.对所述原始图像进行随机扰动，从而生成扰动样本图像；
118.分别将所述原始样本图像和所述扰动样本图像转换成对应的手部骨节热力图；
119.将所述原始样本图像和所述扰动样本图像输入到模型中，并以所述原始样本图像对应的手部骨节热力图和所述扰动样本图像对应的手部骨节热力图作为输出，训练所述模型，从而得到手部骨节检测模型。
120.可选地，所述训练模块还用于：
121.在原始图像中标记出手部骨节和检测框；
122.根据所述检测框在所述原始图像中裁剪出原始样本图像。
123.可选地，所述训练模块还用于：
124.对所述检测框的中心进行随机扰动，从而在所述原始图像中标记出扰动框；
125.根据所述扰动框在所述原始图像中裁剪出扰动样本图像。
126.可选地，在竖直方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍；在水平方向上，所述扰动框相对于所述检测框的位移量为手部骨节的外接矩形框的边长的0.05-0.5倍。
127.需要说明的是，在本发明所述手部骨节定位装置的具体实施内容，在上面所述手部骨节定位方法中已经详细说明了，故在此重复内容不再说明。
128.图7示出了可以应用本发明实施例的手部骨节定位方法或手部骨节定位装置的示例性系统架构700。
129.如图7所示，系统架构700可以包括终端设备701、702、703，网络704和服务器705。网络704用以在终端设备701、702、703和服务器705之间提供通信链路的介质。网络704可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
130.用户可以使用终端设备701、702、703通过网络704与服务器705交互，以接收或发送消息等。终端设备701、702、703上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
131.终端设备701、702、703可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
132.服务器705可以是提供各种服务的服务器，例如对用户利用终端设备701、702、703所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的物品信息查询请求等数据进行分析等处理，并将处理结果反馈给终端设备。
133.需要说明的是，本发明实施例所提供的手部骨节定位方法一般由服务器705执行，相应地，所述手部骨节定位装置一般设置在服务器705中。本发明实施例所提供的手部骨节定位方法也可以由终端设备701、702、703执行，相应地，所述手部骨节定位装置可以设置在终端设备701、702、703中。
134.应该理解，图7中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
135.下面参考图8，其示出了适于用来实现本发明实施例的终端设备的计算机系统800的结构示意图。图8示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
136.如图8所示，计算机系统800包括中央处理单元(cpu)801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。在ram 803中，还存储有系统800操作所需的各种程序和数据。cpu 801、rom 802以及ram803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
137.以下部件连接至i/o接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出
的计算机程序根据需要被安装入存储部分808。
138.特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(cpu)801执行时，执行本发明的系统中限定的上述功能。
139.需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
140.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
141.描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括定位模块、裁剪模块和检测模块，其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
142.作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，该设备实现如下方法：在上一帧图像的手部骨节热力图中定位出检测框；其中，所述检测框的
中心为中指根部所在区域内的任意位置；根据所述检测框在下一帧图像中裁剪出手部图像；将所述手部图像输入至预先训练的手部骨节检测模型中，从而输出手部骨节热力图。
143.根据本发明实施例的技术方案，因为采用在上一帧图像的手部骨节热力图中定位出检测框，所述检测框的中心为中指根部所在区域内的任意位置，然后根据检测框在下一帧图像中裁剪出手部图像的技术手段，所以克服了现有技术中手指突变响应不及时的技术问题。本发明实施例通过改变检测框的中心来改变从图像中裁剪出的手部图像，能够为变换快、范围大的手指附近留有足够的空间来应对变化，从而解决手指突变响应不及时的技术问题；而且通过对检测框的中心进行多次随机扰动来模拟向各个方向的运动，增加手部位置偏差的训练数据，这样能很好地抑制移动中的响应滞后问题。
144.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。