一种手体识别方法、装置、设备及计算机可读存储介质与流程

本发明涉及图像处理技术领域，特别涉及一种手体识别方法、装置、设备及计算机可读存储介质。

背景技术：

手体识别的准确性对于需要利用手体手势，或者是手体运动轨迹识别用户操作的场景来说非常重要。但是现有的手体识别方法有一个很大的缺陷，即当背景中有与人的肤色相近的噪声物体时，手体识别方法无法将手体和这种噪声物体分离，最终导致识别结果错误。

因此，如何提高手体识别准确性使其能够区分手体和与肤色相近的噪声物体，是本领域技术人员需要解决的技术问题。

技术实现要素：

本发明的目的是提供一种手体识别方法、装置、设备及计算机可读存储介质，利用OTSU算法以及Cr值的特征值和Cb值的特征值，准确区分肤色识别图像中手体和与肤色相近的噪声物体，提高手体识别准确率。

为解决上述技术问题，本发明提供一种手体识别方法，所述方法包括：

获取背景RGB图像和实景RGB图像；

根据所述实景RGB图像，利用肤色识别算法计算得到肤色识别图像；

利用OTSU算法对所述肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；

对所述背景RGB图像和所述实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；

计算所述Cr值的特征值和所述Cb值的特征值；

选取所述Cr值的特征值和所述Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

可选的，根据所述实景RGB图像，利用肤色识别算法计算得到肤色识别图像，包括：

将所述实景RGB图像转化成实景YCrCb图像；

利用肤色识别算法对所述实景YCrCb图像进行处理，得到肤色识别图像。

可选的，对所述背景RGB图像和所述实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值，包括：

将所述背景RGB图像与所述实景RGB图像进行模糊作差处理，得到模糊作差图像；

对所述模糊作差图像进行二值化处理，得到二值化图像，并根据所述二值化图像获取目标坐标点；

获取所述目标坐标点对应所述实景RGB图像的RGB数值；

将所述RGB数值转换到YCrCb色彩空间，得到所述目标坐标点对应Cr值和Cb值。

可选的，计算所述Cr值的特征值和所述Cb值的特征值，包括：

计算所述Cr值的平均值和所述Cb值的平均值。

本发明还提供一种手体识别装置，所述装置包括：

图像获取模块，用于获取背景RGB图像和实景RGB图像；

肤色识别模块，用于根据所述实景RGB图像，利用肤色识别算法计算得到肤色识别图像；

OTSU计算模块，用于利用OTSU算法对所述肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；

目标点特征色彩提取模块，用于对所述背景RGB图像和所述实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；计算所述Cr值的特征值和所述Cb值的特征值；

手体识别模块，用于选取所述Cr值的特征值和所述Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

可选的，所述肤色识别模块，包括：

转换单元，用于将所述实景RGB图像转化成实景YCrCb图像；

肤色识别单元，用于利用肤色识别算法对所述实景YCrCb图像进行处理，得到肤色识别图像。

可选的，所述目标点特征色彩提取模块，包括：

做差单元，用于将所述背景RGB图像与所述实景RGB图像进行模糊做差处理，得到模糊做差图像；

目标点坐标获取单元，用于对所述模糊作差图像进行二值化处理，得到二值化图像，并根据所述二值化图像获取目标坐标点；

目标点特征色彩提取单元，用于获取所述目标坐标点对应所述实景RGB图像的RGB数值；将所述RGB数值转换到YCrCb色彩空间，得到所述目标坐标点对应Cr值和Cb值；计算所述Cr值的特征值和所述Cb值的特征值。

可选的，所述目标点特征色彩提取单元，包括：

目标点特征色彩提取子单元，用于计算所述Cr值的平均值和所述Cb值的平均值。

本发明还提供一种手体识别设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述所述手体识别方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述手体识别方法的步骤。

本发明所提供的一种手体识别方法，包括：获取背景RGB图像和实景RGB图像；根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像；利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；计算Cr值的特征值和Cb值的特征值；选取Cr值的特征值和Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

可见，该方法在对实景RGB图像进行肤色识别后，利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；并利用计算得到的对应该实景RGB图像的肤色Cr值的特征值和Cb值的特征值作为筛选依据，从不同CrCb区域对应的肤色识别图像选取特征值所在CrCb区域对应的肤色识别图像作为手体识别结果；因此该方法能够准确区分手体和与肤色相近的噪声物体，提高手体识别准确率；本发明还公开了一种手体识别装置、设备及计算机可读存储介质，具有上述有益效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例所提供的手体识别方法的流程图；

图2为本发明实施例所提供的实景RGB图像转化成实景YCrCb图像中Y域对应的图像；

图3为本发明实施例所提供的实景RGB图像转化成实景YCrCb图像中Cb域对应的图像；

图4为本发明实施例所提供的实景RGB图像转化成实景YCrCb图像中Cr域对应的图像；

图5为本发明实施例所提供的利用肤色识别算法计算得到肤色识别图像；

图6为本发明实施例所提供的肤色识别的CbCr阈值与OSTU中得到CbCr值对应的象限划分示意图；

图7为本发明实施例所提供的图6中1区域对应的肤色识别图像；

图8为本发明实施例所提供的图6中2区域对应的肤色识别图像；

图9为本发明实施例所提供的图6中3区域对应的肤色识别图像；

图10为本发明实施例所提供的图6中4区域对应的肤色识别图像；

图11为本发明实施例所提供的模糊做差过程的示意图；

图12为本发明实施例所提供的降噪后的二值化图像的示意图；

图13为本发明实施例所提供的手体识别装置的结构框图；

图14为本发明实施例所提供的手体识别设备的结构框图。

具体实施方式

本发明的核心是提供一种手体识别方法，利用OTSU算法以及Cr值的特征值和Cb值的特征值，准确区分肤色识别图像中手体和与肤色相近的噪声物体；本发明的另一核心是提供一种手体识别装置、设备及计算机可读存储介质。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有技术中当实景中有与人的肤色相近的噪声物体时，肤色无法将手体和这种噪声物体分离，最终导致手体识别结果错误。本实施例利用背景RGB图像和实景RGB图像提取可以区分手体和与肤色相近的噪声物体特征色彩，为后续手体识别提供识别依据；从而实现准确区分肤色识别图像中手体和与肤色相近的噪声物体，提高手提识别可靠性和准确性。具体请参考图1，图1为本发明实施例所提供的手体识别方法的流程图；该方法可以包括：

S100、获取背景RGB图像和实景RGB图像；

具体的，肤色识别是手体识别的主要方法，是基于RGB色彩域的颜色变换。因此，本实施例在进行手体识别时首先获取实景RGB图像。目前，现有技术中在进行手体识别时仅需要获取实景RGB图像即可。本实施例之所以还需要获取背景RGB图像，主要是为了利用背景RGB图像来区分手体和与肤色相近的噪声物体特征色彩，为后续手体识别提供识别依据。

本实施例并不限定获取背景RGB图像和实景RGB图像的方式，例如可以通过摄像头直接获取；也可以获取其他设备拍摄后传输过来的背景RGB图像和实景RGB图像(如背景图像RGB域以及实景图像RGB域)。进一步，本实施例也不限定背景RGB图像和实景RGB图像的尺寸大小，用户可以根据实际需求进行选择。

S110、根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像；

具体的，该步骤主要是为了对实景RGB图像进行肤色识别，得到肤色识别图像，即实景RGB图像中的手体识别结果。本实施例并不限定具体的肤色识别算法。例如利用现有技术中现有的肤色识别算法即可实现。即可选的，根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像可以包括：

将实景RGB图像转化成实景YCrCb图像；

利用肤色识别算法对实景YCrCb图像进行处理，得到肤色识别图像。

其中，YCrCb是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y为颜色的亮度(luma)成分、而Cb和Cr则为蓝色和红色的浓度偏移量成份。具体转换公式可以如下：

其中，将实景RGB图像转化成实景YCrCb图像后的结果可以参考图2-4。分别对应Y域，Cb域，Cr域。

本实施例中的肤色识别算法可以采用通用的肤色识别判别标准，肤色点的范围为：Cb＝[77 127]，Cr＝[133 173]。利用肤色识别算法对实景YCrCb图像进行处理，得到肤色识别图像可以参考图5。由于实景RGB图像中小手指有一个包装袋是与手体肤色相近的，这个包装袋作为一个噪声物体经过步骤S110中的肤色识别是不能去除的，本实施例中后续步骤的目的就是为了去除这种与手体肤色相近噪声物体。

S120、利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；

具体的，该步骤主要利用OTSU算法(即大津算法)进行噪声背景和实体的区分。其中，OSTU的基本原理是对于给定图中所有点的值，选取一个特定值，这个值必须在图中值的范围内，这个值使图中所有值分为两部分，这两部分到该点的方差最大。本实施例采用的OTSU算法是已有的算法，再次不在具体赘述。

通过OTSU算法可以得到Cb_OSTU的阈值与Cr_OSTU的阈值，根据Cb_OSTU的阈值和Cr_OSTU的阈值以及上述步骤中肤色点的标准范围可以得到肤色识别算法的CbCr阈值与OSTU中得到CbCr值之间的关系；具体可以看到构成一个类似于四个象限的划分；即可以得到对应每个象限的肤色识别图像。例如四个象限，每个象限区域(即一个CrCb区域)对应一个肤色识别图像。下面以上述图2为例说明该过程：

图2中的实景图像为例经过OSTU算法得到的阈值为Cb_OSTU：98，Cr_OSTU：146。通用的肤色识别判别标准，肤色点的范围为：Cb＝[77 127]，Cr＝[133 173]。因此请参考图6，是肤色识别的CbCr阈值与OSTU中得到CbCr值之间的关系，可以看到构成一个类似于四个象限的划分；计划分为4个象限分别为1，2，3，4。请参考图7-10，分别为1，2，3，4区域对应的肤色识别图像。

下述步骤S130至步骤S140是利用无手体时的图片信息作为背景图像信息，然后将当前得到的实时实景图像信息与背景图像信息进行做差处理，在做差结果中提取到可以区分手体和与肤色相近的噪声物体的特征色彩，通过该特征色彩可以从不同CrCb区域对应的肤色识别图像选取到去除肤色相近的噪声物体的肤色识别图像。

S130、对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；

具体的，该步骤的主要目的是为了得到实景RGB图像中手体图像对应区域的各个点对应的Cr值和Cb值。本实施例中的背景RGB图像与实景RGB图像相比区别在于背景RGB图像中没有手体。

进一步，本实施例并不限定具体的做差处理方式。例如可以是模糊做差处理等。本实施例也不限定提取做差结果中目标坐标点的对应Cr值和Cb值的具体方式。例如可以通过二值法提取做差结果中目标坐标点(即手体区域对应的坐标点)，并获取目标坐标点对应的Cr值和Cb值(例如可以通过先获取目标坐标点对应实景RGB图像中的RGB数值，在将RGB数值转化成Cr值和Cb值)。用户可以根据实际情况进行响应算法的选取。且可以根据计算过程中的实际情况添加降噪等提高准确性的过程。

可选的，对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值可以包括：

将背景RGB图像与实景RGB图像进行模糊做差处理，得到模糊作差图像；

具体的，因为相机可能存在抖动，将使实景RGB图像与背景RGB图像匹配度不是非常高。例如在图像矩阵上来看，就是背景RGB图像这点是天花板的白色，实景RGB图像这点是书包的黑色，而天花板的白色可能在实景RGB图像中变为对应点向邻近的后面的点了。具体模糊做差过程可以参考图11。

对模糊作差图像进行二值化处理，得到二值化图像，并根据二值化图像获取目标坐标点；

具体的，对模糊作差图像进行二值化处理时需要设定阈值，当C(i0，j0)<阈值时，将C(i0，j0)设置为0；>阈值时，将C(i0，j0)设置为1。本实施例并不限定具体的阈值数值，可以根据实际情况进行设置。例如阈值为20。

进一步，在根据二值化图像获取目标坐标点之前还可以包括对二值化图像进行降噪处理。以提高二值化图像的可靠性。本实施例并不限定具体的降噪处理的方式。例如可以将二值化图像采用形态学滤波，即膨胀腐蚀操作，这是一种常见的去噪方法，这里不再赘述。降噪后二值化图像可以参考图12。

其中，根据二值化图像获取目标坐标点即获取二值化图像中1区域对应的坐标点即为目标坐标点。例如图12中黑色即二值化后值为1的点的目标坐标点。

获取目标坐标点对应实景RGB图像的RGB数值；

将RGB数值转换到YCrCb色彩空间，得到目标坐标点对应Cr值和Cb值。

具体的，将二值化图像中1区域对应的目标坐标点在对应实景RGB图像的R、G、B数值取出。然后根据上述转换公式将RGB色彩空间转换为YCrCb色彩空间，得到目标坐标点对应Cr值和Cb值。其中，YCbCr颜色空间中Y代表亮度，Cb和Cr称为色度，此空间是可以用于肤色检测的空间。

S140、计算Cr值的特征值和Cb值的特征值；

本实施例的目的是为了将区分肤色识别图像中手体和与肤色相近的噪声物体，此处需要根据目标坐标点对应Cr值和Cb值确定该实景RGB图像中手体对应的Cr值和Cb值来从步骤S120中获取最接近的Cr Cb区域对应的肤色识别图像。由于目标坐标点对应Cr值和Cb值中也会存在包含噪声物体对应的应Cr值和Cb值，但是噪声物体毕竟是少数，因此可以通过计算Cr值的特征值和Cb值的特征值，来使得在确定手体肤色所属的CrCb区域更加准确。

本实施例并不对特征值进行限定限定，例如可以是中间值，平均值，目标坐标点对应Cr值和Cb值的Cr值众数以及Cb值众数等。在保证计算准确性和计算效率的情况下，优选的，计算Cr值的平均值和Cb值的平均值。例如图针对图12，计算出来的Cr值的平均值149.9306，Cb值的平均值102.4683。

S150、选取Cr值的特征值和Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

具体的，本步骤是通过Cr值的特征值和Cb值的特征值来确定所属的CrCb区域，进而选取该CrCb区域对应的肤色识别图像作为手体识别结果。例如Cr值的平均值149.9306，Cb值的平均值102.4683，因此对应图6可知其所属区域为1区域。对应选取1区域的肤色识别图像(图7)作为手体识别结果。手体点均值为Cb：102.4683；Cr：149.9306，显然在图6中1的范围，所以最终的手体检测结果对应图7，这样，通过图7也可以看到其去掉了原来肤色识别中无法去掉的与手体肤色相近的噪声物体。

本实施例中步骤S120在步骤S110之后执行，步骤S140与步骤S150在步骤S130之后执行。但是本实施例并不限定步骤S110和步骤S130的执行顺序。当然两者也可以是同时执行。其中，步骤S130和步骤S140利用实景图像与背景图像做差得到手体Cr、Cb的特征值的过程；其与步骤是基于肤色识别阈值的实景图像的手体识别，并将标识手体的Cr、Cb特征值使肤色识别无法区分的手体和噪声物体相分离。

基于上述技术方案，本发明实施例提的手体识别方法，该方法在对实景RGB图像进行肤色识别后，利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；并利用计算得到的对应该实景RGB图像的肤色Cr值的特征值和Cb值的特征值作为筛选依据，从不同CrCb区域对应的肤色识别图像选取特征值所在CrCb区域对应的肤色识别图像作为手体识别结果；因此该方法能够准确区分手体和与肤色相近的噪声物体，提高手体识别准确率。

下面对本发明实施例提供的手体识别装置、设备及计算机可读存储介质进行介绍，下文描述的手体识别装置、设备及计算机可读存储介质与上文描述的手体识别方法可相互对应参照。

请参考图13，图13为本发明实施例所提供的手体识别装置的结构框图；该装置可以包括：

图像获取模块100，用于获取背景RGB图像和实景RGB图像；

肤色识别模块200，用于根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像；

OTSU计算模块300，用于利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；

目标点特征色彩提取模块400，用于对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；计算Cr值的特征值和Cb值的特征值；

手体识别模块500，用于选取Cr值的特征值和Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

基于上述实施例，肤色识别模块200可以包括：

转换单元，用于将实景RGB图像转化成实景YCrCb图像；

肤色识别单元，用于利用肤色识别算法对实景YCrCb图像进行处理，得到肤色识别图像。

基于上述任意实施例，目标点特征色彩提取模块400可以包括：

做差单元，用于将背景RGB图像与实景RGB图像进行模糊做差处理，得到模糊做差图像；

目标点坐标获取单元，用于对模糊作差图像进行二值化处理，得到二值化图像，并根据二值化图像获取目标坐标点；

目标点特征色彩提取单元，用于获取目标坐标点对应实景RGB图像的RGB数值；将RGB数值转换到YCrCb色彩空间，得到目标坐标点对应Cr值和Cb值；计算Cr值的特征值和Cb值的特征值。

基于上述实施例，目标点特征色彩提取单元可以包括：

目标点特征色彩提取子单元，用于计算Cr值的平均值和Cb值的平均值。

需要说明的是，基于上述任意实施例，所述装置可以是基于可编程逻辑器件实现的，可编程逻辑器件包括FPGA，CPLD，单片机等。

请参考图14，图14为本发明实施例所提供的手体识别设备的结构框图；该手体识别设备可以包括：

存储器600，用于存储计算机程序；

处理器700，用于执行计算机程序时实现获取背景RGB图像和实景RGB图像；根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像；利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；计算Cr值的特征值和Cb值的特征值；选取Cr值的特征值和Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

进一步，手体识别设备可以是移动终端，例如手机等。

本发明还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现获取背景RGB图像和实景RGB图像；根据实景RGB图像，利用肤色识别算法计算得到肤色识别图像；利用OTSU算法对肤色识别图像进行处理，得到不同CrCb区域对应的肤色识别图像；对背景RGB图像和实景RGB图像做差处理，并提取做差结果中目标坐标点的对应Cr值和Cb值；计算Cr值的特征值和Cb值的特征值；选取Cr值的特征值和Cb值的特征值所在CrCb区域对应的肤色识别图像作为手体识别结果。

该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的一种手体识别方法、装置、设备及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。