一种手部分割方法、装置、存储介质和设备与流程

本申请涉及图像处理领域，尤其涉及一种手部分割方法、装置、存储介质和设备。

背景技术：

如何对图像中的手部(包括左手和右手)进行准确分割，为当前市面上研究手势识别的团队和企业所重点关注的问题。目前，通常利用深度学习网络实现手部分割，然而，在保证分割结果准确的情况下，现有的深度学习网络通常需花费较长时间进行计算，令手部分割的效率显得较为低下，且对硬件资源具有较高的要求，难以适用于大多数个体和团队，适用范围过于狭隘，不利于手势识别工作的研究发展。

技术实现要素：

本申请提供了一种手部分割方法、装置、存储介质和设备，用于在确保手部分割结果准确的情况下，提高手部分割的效率。

为了实现上述目的，本申请提供了以下技术方案：

一种手部分割方法，包括：

获取用户输入的图像；

将所述图像输入至预先构建的分割网络中，得到所述分割网络的输出结果；所述输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值；所述第一数值指示所述左手识别成功的概率，所述第二数值指示所述右手识别成功的概率；

判断所述第一数值和所述第二数值是否均大于预设阈值；

在所述第一数值和所述第二数值均大于所述预设阈值的情况下，将所述左手的掩膜、以及所述右手的掩膜发送给所述用户；

在所述第一数值和所述第二数值均不大于所述预设阈值的情况下，重复执行预设步骤，对所述输出结果进行迭代处理，直至迭代处理后的所述输出结果所指示的第一数值和第二数值均大于所述预设阈值，并向所述用户发送迭代处理后的所述输出结果所包含的左手的掩膜、以及右手的掩膜；其中，所述预设步骤包括：基于所述输出结果，生成新的图像，并将所述新的图像输入至所述分割网络中，得到所述新的输出结果。

可选的，所述分割网络包括：

降采样结构，用于对所述图像进行下采样，得到下采样后的图像；

特征识别结构，用于从所述下采样后的图像中识别得到特征图像；所述特征图像包括左手特征图像和右手特征图像；

升采样结构，用于对所述左手特征图像进行上采样，得到所述左手的掩膜、以及所述左手识别成功的概率；对所述右手特征图像进行上采样，得到所述右手的掩膜、以及所述右手识别成功的概率。

可选的，所述降采样结构包括：

标准卷积层、归一化层、激活层、以及下采样层。

可选的，所述特征识别结构包括：

深度卷积层、归一化层、激活层、以及三维点云操作层。

可选的，所述升采样结构包括：

标准卷积层、归一化层、激活层、以及转置卷积层。

可选的，所述分割网络还包括：

跳跃链接结构，用于辅助所述升采样结构对所述特征图像进行上采样。

可选的，所述基于所述输出结果，生成新的图像，包括：

将所述左手的掩膜与所述第一数值进行相乘，得到第一乘积；

将所述右手的掩膜与所述第二数值进行相乘，得到第二乘积；

对所述第一乘积和所述第二乘积进行通道合并，得到新的图像。

一种手部分割装置，包括：

获取单元，用于获取用户输入的图像；

分割单元，用于将所述图像输入至预先构建的分割网络中，得到所述分割网络的输出结果；所述输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值；所述第一数值指示所述左手识别成功的概率，所述第二数值指示所述右手识别成功的概率；

判断单元，用于判断所述第一数值和所述第二数值是否均大于预设阈值；

发送单元，用于在所述第一数值和所述第二数值均大于所述预设阈值的情况下，将所述左手的掩膜、以及所述右手的掩膜发送给所述用户；

迭代单元，用于在所述第一数值和所述第二数值均不大于所述预设阈值的情况下，重复执行预设步骤，对所述输出结果进行迭代处理，直至迭代处理后的所述输出结果所指示的第一数值和第二数值均大于所述预设阈值，并向所述用户发送迭代处理后的所述输出结果所包含的左手的掩膜、以及右手的掩膜；其中，所述预设步骤包括：基于所述输出结果，生成新的图像，并将所述新的图像输入至所述分割网络中，得到新的输出结果。

一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，所述程序执行所述的手部分割方法。

一种手部分割设备，包括：处理器、存储器和总线；所述处理器与所述存储器通过所述总线连接；

所述存储器用于存储程序，所述处理器用于运行程序，其中，所述程序运行时执行所述的手部分割方法。

本申请提供的技术方案，获取用户输入的图像，将图像输入至预先构建的分割网络中，得到分割网络的输出结果。输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值。第一数值指示左手识别成功的概率，第二数值指示右手识别成功的概率。判断第一数值和第二数值是否均大于预设阈值。在第一数值和第二数值均大于预设阈值的情况下，将左手的掩膜、以及右手的掩膜发送给用户。在第一数值和第二数值均不大于预设阈值的情况下，重复执行预设步骤，对输出结果进行迭代处理，直至迭代处理后的输出结果所指示的第一数值和第二数值均大于预设阈值，并向用户发送迭代处理后的输出结果所包含的左手的掩膜、以及右手的掩膜。其中，预设步骤包括：基于输出结果，生成新的图像，并将新的图像输入至分割网络中，得到新的输出结果。通过比较第一数值、第二数值、以及预设阈值，可以规划分割网络的输出结果的迭代处理次数，即实现对手部分割的效果的指标量化(该量化指标即为预设阈值，由预设阈值规划输出结果的迭代处理次数)，避免进行多余的计算过程。可见，相较于现有技术，本申请所述方法所花费的计算时间明显得到有效减少，从而提升了手部分割的效率。此外，基于分割网络的网络结构可知，分割网络对硬件资源要求不高，能够广泛适用于绝大多数个体和团队，具有较高的适用性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请实施例提供的一种手部分割方法的示意图；

图1b为本申请实施例提供的一种分割网络的网络结构示意图；

图1c为本申请实施例提供的另一种分割网络的网络结构示意图；

图2为本申请实施例提供的另一种手部分割方法的示意图；

图3为本申请实施例提供的一种手部分割装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

如图1a所示，为本申请实施例提供的一种手部分割方法的示意图，包括如下步骤：

s101：获取用户输入的图像。

其中，图像包括但不限于为彩色图像、红外图像、以及深度图像等。

s102：将图像输入至预先构建的分割网络中，得到分割网络的输出结果。

其中，分割网络的输出结果包括第一分割结果、第二分割结果、第一数值、以及第二数值。

第一分割结果指示左手的掩膜(mask)，第二分割结果指示右手的掩膜，第一数值指示左手识别成功的概率，第二数值指示右手识别成功的概率。

在本申请实施例中，分割网络包括降采样结构、特征识别结构、升采样结构、以及跳跃链接结构。

具体的，按照图1b所示的网络结构，分割网络处理图像的流程包括：

1、图像输入至降采样结构中，得到第一结果。

需要说明的是，降采样结构的作用为：对图像进行下采样，得到下采样后的图像(即第一结果)。降采样结构包括标准卷积层(俗称为标准conv)、归一化层(俗称为bn层)、激活层(俗称为swish)、以及下采样层(俗称为pooling)。在本申请实施例中，标准卷积层的数量、以及卷积核的大小，可由技术人员根据实际情况进行设置。

2、第一结果输入至特征识别结构中，得到特征图像。

需要说明的是，特征识别结构的作用为：从下采样后的图像中识别得到特征图像。特征图像包括左手特征图像和右手特征图像，特征识别结构包括深度卷积层(俗称为depthconv)、归一化层、激活层、以及三维点云操作层(俗称为pointconv)。

3、左手特征图像经由跳跃链接结构，输入至升采样结构中，得到左手的掩膜、以及左手识别成功的概率。

4、右手特征图像经由跳跃链接结构，输入至升采样结构中，得到右手的掩膜、以及右手识别成功的概率。

需要说明的是，跳跃链接结构的作用为：辅助升采样结构对特征图像进行采样，即为了提升分割网络的训练速度。跳跃链接结构包括通道合并层(俗称为concat)、标准卷积层、以及1×1卷积层(俗称为1×1conv)。在本申请实施例中，通道合并层、标准卷积层、以及1×1卷积层各自的数量，可由技术人员根据实际情况进行设置。

升采样结构的作用为：对特征图像进行上采样(具体的，对左手特征图像进行上采样，得到左手的掩膜、以及左手识别成功的概率；对右手特征图像进行上采样，得到右手的掩膜、以及右手识别成功的概率)。升采样结构包括标准卷积层、归一化层、激活层、以及转置卷积层(俗称为transconv)。

需要强调的是，上述提及的降采样结构、特征识别结构、升采样结构、以及跳跃链接结构所组成的分割网络，还可以参见图1c所示。

s103：判断第一数值和第二数值是否均大于预设阈值。

若第一数值和第二数值均大于预设阈值，则执行s104，否则执行s105。

s104：向用户发送左手的掩膜、以及右手的掩膜。

需要说明的是，若第一数值和第二数值均大于预设阈值，则确定手部分割的效果满足预设要求，即能够确保手部分割结果的准确性。

s105：将左手的掩膜与第一数值进行相乘，得到第一乘积。

s106：将右手的掩膜与第二数值进行相乘，得到第二乘积。

其中，s105和s106为并发执行。

需要说明的是，将左右手的掩膜与数值进行相乘的具体实现原理，为本领域技术人员所熟悉的公知常识，这里不再赘述。

s107：对第一乘积和第二乘积进行通道合并，得到新的图像，并返回执行s102。

其中，通道合并的具体实现原理，为本领域技术人员所熟悉的公知常识，这里不再赘述。

需要说明的是，调用s102处理新的图像，所对应得到的新的输出结果，相较于原先的输出结果，其手部分割的效果更为优秀。

综上所述，通过比较第一数值、第二数值、以及预设阈值，可以规划分割网络的输出结果的迭代处理次数，即实现对手部分割的效果的指标量化(该量化指标即为预设阈值，由预设阈值规划输出结果的迭代处理次数)，避免进行多余的计算过程。可见，相较于现有技术，本实施例所述方法所花费的计算时间明显得到有效减少，从而提升了手部分割的效率。此外，基于分割网络的网络结构可知，分割网络对硬件资源要求不高，能够广泛适用于绝大多数个体和团队，具有较高的适用性。

需要说明的是，上述实施例提及的s105和s106，为本申请所述手部分割方法的一种可选的具体实现方式。此外，上述实施例提及的s107，也为本申请所述手部分割方法的一种可选的具体实现方式。为此，上述实施例所示的流程，可以概括为图2所示的方法。

如图2所示，为本申请实施例提供的另一种手部分割方法的示意图，包括如下步骤：

s201：获取用户输入的图像。

s202：将图像输入至预先构建的分割网络中，得到分割网络的输出结果。

其中，输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值。第一数值指示左手识别成功的概率，第二数值指示右手识别成功的概率。

s203：判断第一数值和第二数值是否均大于预设阈值。

若第一数值和第二数值均大于预设阈值，执行s204，否则执行s205。

s204：将左手的掩膜、以及右手的掩膜发送给用户。

s205：重复执行预设步骤，对输出结果进行迭代处理，直至迭代处理后的输出结果所指示的第一数值和第二数值均大于预设阈值，并向用户发送迭代处理后的输出结果所包含的左手的掩膜、以及右手的掩膜。

其中，预设步骤包括：基于输出结果，生成新的图像，并将新的图像输入至分割网络中，得到新的输出结果。

综上所述，通过比较第一数值、第二数值、以及预设阈值，可以规划分割网络的输出结果的迭代处理次数，即实现对手部分割的效果的指标量化(该量化指标即为预设阈值，由预设阈值规划输出结果的迭代处理次数)，避免进行多余的计算过程。可见，相较于现有技术，本实施例所述方法所花费的计算时间明显得到有效减少，从而提升了手部分割的效率。此外，基于分割网络的网络结构可知，分割网络对硬件资源要求不高，能够广泛适用于绝大多数个体和团队，具有较高的适用性。

与上述本申请实施例所示的手部分割方法相对应，本申请实施例还提供了一种手部分割装置。

如图3所示，为本申请实施例提供的一种手部分割装置的结构示意图，包括：

获取单元100，用于获取用户输入的图像。

分割单元200，用于将图像输入至预先构建的分割网络中，得到分割网络的输出结果。输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值。第一数值指示左手识别成功的概率，第二数值指示右手识别成功的概率。

其中，分割网络包括：降采样结构，用于对图像进行下采样，得到下采样后的图像；特征识别结构，用于从下采样后的图像中识别得到特征图像，特征图像包括左手特征图像和右手特征图像；升采样结构，用于对左手特征图像进行上采样，得到左手的掩膜、以及左手识别成功的概率，对右手特征图像进行上采样，得到右手的掩膜、以及右手识别成功的概率；跳跃链接结构，用于辅助升采样结构对特征图像进行上采样。

降采样结构包括标准卷积层、归一化层、激活层、以及下采样层。

特征识别结构包括深度卷积层、归一化层、激活层、以及三维点云操作层。

升采样结构包括标准卷积层、归一化层、激活层、以及转置卷积层。

判断单元300，用于判断第一数值和第二数值是否均大于预设阈值。

发送单元400，用于在第一数值和第二数值均大于预设阈值的情况下，将左手的掩膜、以及右手的掩膜发送给用户。

迭代单元500，用于在第一数值和第二数值均不大于预设阈值的情况下，重复执行预设步骤，对输出结果进行迭代处理，直至迭代处理后的输出结果所指示的第一数值和第二数值均大于预设阈值，并向用户发送迭代处理后的输出结果所包含的左手的掩膜、以及右手的掩膜。其中，预设步骤包括：基于输出结果，生成新的图像，并将新的图像输入至分割网络中，得到新的输出结果。

其中，迭代单元500用于基于输出结果，生成新的图像的过程包括：将左手的掩膜与第一数值进行相乘，得到第一乘积；将右手的掩膜与第二数值进行相乘，得到第二乘积；对第一乘积和第二乘积进行通道合并，得到新的图像。

综上所述，通过比较第一数值、第二数值、以及预设阈值，可以规划分割网络的输出结果的迭代处理次数，即实现对手部分割的效果的指标量化(该量化指标即为预设阈值，由预设阈值规划输出结果的迭代处理次数)，避免进行多余的计算过程。可见，相较于现有技术，本实施例所述方法所花费的计算时间明显得到有效减少，从而提升了手部分割的效率。此外，基于分割网络的网络结构可知，分割网络对硬件资源要求不高，能够广泛适用于绝大多数个体和团队，具有较高的适用性。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，程序执行上述本申请提供的手部分割方法。

本申请还提供了一种手部分割设备，包括：处理器、存储器和总线。处理器与存储器通过总线连接，存储器用于存储程序，处理器用于运行程序，其中，程序运行时执行上述本申请提供的手部分割方法，包括如下步骤：

获取用户输入的图像；

将所述图像输入至预先构建的分割网络中，得到所述分割网络的输出结果；所述输出结果包括左手的掩膜、右手的掩膜、第一数值、以及第二数值；所述第一数值指示所述左手识别成功的概率，所述第二数值指示所述右手识别成功的概率；

判断所述第一数值和所述第二数值是否均大于预设阈值；

在所述第一数值和所述第二数值均大于所述预设阈值的情况下，将所述左手的掩膜、以及所述右手的掩膜发送给所述用户；

在所述第一数值和所述第二数值均不大于所述预设阈值的情况下，重复执行预设步骤，对所述输出结果进行迭代处理，直至迭代处理后的所述输出结果所指示的第一数值和第二数值均大于所述预设阈值，并向所述用户发送迭代处理后的所述输出结果所包含的左手的掩膜、以及右手的掩膜；其中，所述预设步骤包括：基于所述输出结果，生成新的图像，并将所述新的图像输入至所述分割网络中，得到新的输出结果。

可选的，所述分割网络包括：

降采样结构，用于对所述图像进行下采样，得到下采样后的图像；

特征识别结构，用于从所述下采样后的图像中识别得到特征图像；所述特征图像包括左手特征图像和右手特征图像；

升采样结构，用于对所述左手特征图像进行上采样，得到所述左手的掩膜、以及所述左手识别成功的概率；对所述右手特征图像进行上采样，得到所述右手的掩膜、以及所述右手识别成功的概率。

可选的，所述降采样结构包括：

标准卷积层、归一化层、激活层、以及下采样层。

可选的，所述特征识别结构包括：

深度卷积层、归一化层、激活层、以及三维点云操作层。

可选的，所述升采样结构包括：

标准卷积层、归一化层、激活层、以及转置卷积层。

可选的，所述分割网络还包括：

跳跃链接结构，用于辅助所述升采样结构对所述特征图像进行上采样。

可选的，所述基于所述输出结果，生成新的图像，包括：

将所述左手的掩膜与所述第一数值进行相乘，得到第一乘积；

将所述右手的掩膜与所述第二数值进行相乘，得到第二乘积；

对所述第一乘积和所述第二乘积进行通道合并，得到新的图像。

本申请实施例方法所述的功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算设备可读取存储介质中。基于这样的理解，本申请实施例对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算设备(可以是个人计算机，服务器，移动计算设备或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。