基于种子区域和连通路径识别手部区域的方法及装置与流程

本发明涉及图像识别领域，具体涉及一种基于种子区域和连通路径识别手部区域的方法及装置。

背景技术：

随着软硬件相关科技的快速发展，腕式智能装置，如智能手表，智能手环等的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表，智能手环实现，大大简化用户接收和传递信息的方法。但和传统智能手机比较，腕式智能装置受限于小尺寸显示屏幕，一方面，使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作，易造成误操作，另一方面，当智能手表佩戴在一只手上时，要对其进行操作，除了唤醒，休眠等简单操作不需要另一只手操作外，其余的较为复杂的操作都有另一只手完成，无法使用单手独立对智能手表进行操作，因此，智能手表在内容显示和操作上仍存在很大的缺陷。

针对上述问题，目前有一些产品提供了基于用户手部姿势的控制方式，用户可以通过佩戴手表的手指活动来控制设备，其原理是利用手表上设置的摄像装置采集手部图像，处理器根据图像的变化确定控制内容。此类方案需要从图像中准确地识别出用户的手部区域或轮廓，即需要剔除背景和其他噪声，只根据手部区域的变化确定控制内容。

现有的图像识别方案通常是根据目标物体的形状特征，根据预设的特征参数，利用机器学习模型等手段从图像中识别出目标物体。但是这种识别方式抵抗背景干扰的能力较差，例如用户所处环境背景十分复杂时，根据形状特征很可能出现误判，由此可见现有的图像识别方案准确性较差。

技术实现要素：

本发明要解决的是现有的图像识别方案准确性较差的问题。

有鉴于此，本发明提供一种基于种子区域和连通路径识别手部区域的方法，包括：分别将待识别的手部区域中的像素的颜色值与种子区域的颜色值进行比对以得到相似度值，其中所述种子区域位于所述待识别的手部区域内；分别确定所述待识别的手部区域中的像素到所述种子区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值；根据所述像素与所述种子区域的距离、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值；根据所述概率值确定手部区域。

优选地，在所述分别将待识别的手部区域中的像素的颜色值与种子区域的颜色值进行比对以得到相似度值的步骤和所述分别确定所述待识别的手部区域中的像素到所述种子区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值的步骤之前，还包括：

在图像中确定待识别的手部区域；

从所述待识别的手部区域中剔除所述种子区域。

优选地，所述根据所述像素与所述种子区域的距离、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，包括：

确定所述像素与所述种子区域的欧几里得距离值l；

根据l、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述相似度值、所述平稳度值呈正相关关系，所述概率值与l呈负相关关系。

优选地，所述根据l、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，包括：

分别确定所述相似度值和所述平稳度值所对应的权值；

根据所述相似度值和相应的权值的乘积、所述平稳度值和相应的权值的乘积以及所述距离l确定所述概率值。

优选地，所述手部区域是利用主动轮廓线模型确定的，所述概率值作为所述主动轮廓线模型的输入值，所述主动轮廓线模型根据所述概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。

优选地，所述相似度和所述平稳度是根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和确定的。

相应地，本发明还提供一种基于种子区域和连通路径识别手部区域的装置，包括：相似度确定单元，用于分别将待识别的手部区域中的像素的颜色值与种子区域的颜色值进行比对以得到相似度值，其中所述种子区域位于所述待识别的手部区域内；平稳度确定单元，用于分别确定所述待识别的手部区域中的像素到所述种子区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值；判定单元，用于根据所述像素与所述种子区域的距离、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值；确定单元，用于根据所述概率值确定手部区域。

优选地，还包括：

识别单元，用于在所述相似度确定单元和所述平稳度确定单元进行处理之前，在图像中确定待识别的手部区域；

剔除单元，用于从所述待识别的手部区域中剔除所述种子区域。

优选地，所述判定单元包括：

距离计算单元，用于确定所述像素与所述种子区域的欧几里得距离值l；

概率确定单元，用于根据l、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述相似度值、所述平稳度值呈正相关关系，所述概率值与l呈负相关关系。

优选地，所述概率确定单元包括：

权值确定单元，用于分别确定所述相似度值和所述平稳度值所对应的权值；

概率计算单元，用于根据所述相似度值和相应的权值的乘积、所述平稳度值和相应的权值的乘积以及所述距离l确定所述概率值。

根据本发明实施例提供的基于种子区域和连通路径识别手部区域的方法及装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并且本方案根据待识别的像素与种子区域的颜色值相似度、连通路径上的像素的颜色变化平稳度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种可穿戴设备的结构示意图；

图2为图1所示设备拍摄的图像；

图3是对图2进行去色处理后的图像；

图4为本发明实施例提供的基于种子区域和连通路径识别手部区域的方法的流程图；

图5为本发明实施例提供的基于种子区域和连通路径识别手部区域的装置的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种基于种子区域和连通路径识别手部区域的方法，该方法所处理的图像是由具有摄像装置的可穿戴设备拍摄的图像，该设备如图1所示，其中摄像装置01沿佩戴者手腕向手心方向采集佩戴者手部图像。其采集到的图像如图2所示，佩戴者的手掌在图像中的整体位置是比较固定的，只是手指区域在一个固定的范围内会随着用户的运动发生变化。如图3所示，本实施例提供的方法包括如下步骤：

s1，分别将待识别的手部区域中的像素的颜色值与种子区域的颜色值进行比对以得到相似度值，其中所述种子区域位于所述待识别的手部区域内；

s2，分别确定所述待识别的手部区域中的像素到所述种子区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值。

如图2所示，其中包含种子区域11、待识别的手部区域12和第二预定区域13。关于上述三个区域的选取，可以预先设定固定的位置，只要用户正常佩戴，种子区域11必定是用户手掌的一部分，第二预定区域13必定不包括用户手掌。为了更清楚地描述本发明实施例涉及的各个区域，下面采用对图2进行去色后的图4进行说明，需要说明的是，本发明实施例需要依赖像素的颜色进行后续处理，所以图4只是为了清楚地说明所给出的图像，实际应用时不需要进行去色处理。

由于种子区域内的像素一定是手部区域内的像素，因此目标像素与其相似度越高，则表示目标像素是手部区域像素的概率越大。其中种子区域的颜色可以是其中所有像素颜色值的均值。

手部区域作为颜色相近且封闭的区域，其中的每一个像素到种子区域的最短路径上的各个像素之间的颜色变化应当是比较细微且平缓的，如果出现变化较大的情况则可能表示路径上有中断的情况，该像素可能不是手部区域内的像素。因此目标像素与种子区域的最短路径上的像素颜色变化的平稳度越高，则表示目标像素是手部区域像素的概率越大。在此步骤中，对每个像素到种子区域的路径进行分析后，均可以得到一个平稳度值。

如上所述，确定平稳度和相似度的过程是完全不同的两种计算过程，因此上述步骤s1和步骤s2的执行顺序不分先后，也可以同时执行。经过在上述步骤的处理，每个被判断的像素都对应有一个相似度值w1和一个平稳度值w2。

关于像素之间的颜色值比对，本发明实施例可以使用某一种颜色空间下的颜色值进行比对，也可以采用多种种颜色空间下的颜色值的结合进行比对，例如可以根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和来确定两个像素的相似度。

s3，根据所述像素与所述种子区域的距离、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值。即针对待识别的手部区域12中的每一个像素，利用其对应的相似度值、平稳度值和与种子区域(例如区域中心)的距离综合计算出一个概率值，该概率值越高则表示该像素是手部区域内的几率也大，反之则越小。距离与概率值呈负相关关系，即距离越远则概率值会相应降低。例如上述像素a对应距离l、相似度w1和平稳度w2，综合计算后可以得到像素a是手部区域内像素的概率为n％。对所有像素综合计算完成后，每个像素均对应一个概率值。

s4，根据概率值确定手部区域,确定方式有多种，例如可以使用最简单的方式，通过设定概率阈值与每个像素对应的概率值比对，即可筛选出所有手部区域内的像素，这些像素的总和即为手部区域。优选地，在本实施例中，可以采用一种主动轮廓线模型(也称为snake模型)来识别手部区域。具体地，上述概率值作为主动轮廓线模型的输入值，主动轮廓线模型根据各个像素对应的概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。模型上的每个点在引力和拉力作用下将运动至兴趣区域边缘，同时轮廓保持一定的曲率，具备光滑的特性。最终，每个点运动停止后，即标识出了兴趣区域(手部区域)的光滑的边缘，即得到的是连续平滑的手部区域外轮廓。

根据本发明实施例提供的基于种子区域和连通路径识别手部区域的方法，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并且本方案根据待识别的像素与种子区域的颜色值相似度、连通路径上的像素的颜色变化平稳度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

作为一个优选的实施方式，在上述步骤s1和s2之前，还可以包括如下步骤：

s01，在图像中确定待识别的手部区域。如上所述，根据图像的特点，待识别的手部区域12的位置也可以是预先标定的，例如是从图像边缘到图像1/2、3/4、4/5的区域等，具体可根据拍摄图像时的预定焦距和取景范围确定。

s02，从待识别的手部区域中剔除种子区域，由于种子区域必定是手掌的一部分，因此可以将此部分像素去除以减少计算量。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

作为一个可选的实施方式，上述步骤s2可以包括如下步骤：

s21，分别计算像素到种子区域的各个路径的代价值，代价值是根据路径上的像素点的值确定的；

s22，从各个路径中选取具有最小代价值的路径。

进一步地，上述步骤s21可以包括如下步骤：

s211，分别将路径上像素点的颜色值构建曲线；

s212，计算曲线的二阶偏导数；

s213，计算二阶偏导的方差作为代价值。

根据上述优选方案，首先可以在图像中搜索这样一条图像上路径，使得目标像素点到种子区域11的中心位置的代价最小，代价的计算可以是基于图像路径上穿过的一系列像素点的颜色值决定的，可通过如下方式计算：路径上像素点的值依次构建一条曲线，计算该曲线的二阶偏导数，统计每个点二阶偏导的方差。方差值即为代价，显然，二阶偏导代表路径上像点的变化的平稳性，偏导的方差代表了整体上路径中像点像素值的变化平稳性。

作为一个优选的实施方式，上述步骤s3可以包括如下步骤：

s31，确定像素与种子区域的欧几里得距离值l；

s32，根据l、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述相似度值、所述平稳度值呈正相关关系，所述概率值与l呈负相关关系。

上述优选方案利用欧几里得距离以及相似度值、平稳度值这三个数值来综合确定概率值，使得本方案具有较强的抗干扰能力。

如上所述，像素之间的比对情况有两种，这些比对结果的可靠性可能存在一定差异，因此还可以引入权值的概念来计算上述概率值，即上述步骤s32可以包括如下步骤：

s321，分别确定所述相似度值和所述平稳度值所对应的权值，例如上述w1、w2可以对应不同的权值；

s322，根据所述相似度值和相应的权值的乘积、所述平稳度值和相应的权值的乘积以及所述距离l确定所述概率值，相似度和平稳度所对应的权值可以是不同的也可以是相同的，具体可根据比对内容的可靠性进行设定，最终根据相似度、平稳度和二者分别对应的权值的乘积，以及上述距离值来综合确定概率值，由此进一步提高识别准确性。

本发明的另一个实施例还提供了一种基于种子区域和连通路径识别手部区域的装置，如图5所示，该装置包括：

相似度确定单元51，用于分别将待识别的手部区域中的像素的颜色值与种子区域的颜色值进行比对以得到相似度值，其中所述种子区域位于所述待识别的手部区域内；

平稳度确定单元52，用于分别确定所述待识别的手部区域中的像素到所述种子区域的最短路径以及所述最短路径上的像素颜色变化的平稳度值；

判定单元53，用于根据所述像素与所述种子区域的距离、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值；

确定单元54，用于根据所述概率值确定手部区域。

根据本发明实施例提供的基于种子区域和连通路径识别手部区域的装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并且本方案根据待识别的像素与种子区域的颜色值相似度、连通路径上的像素的颜色变化平稳度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

可选地，该装置还可以包括：

识别单元501，用于在所述相似度确定单元51和所述平稳度确定单元52进行处理之前，在图像中确定待识别的手部区域；

剔除单元502，用于从所述待识别的手部区域中剔除所述种子区域。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

可选地，判定单元52可以包括：

距离计算单元，用于确定所述像素与所述种子区域的欧几里得距离值l；

概率确定单元，用于根据l、所述相似度值和所述平稳度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述相似度值、所述平稳度值呈正相关关系，所述概率值与l呈负相关关系。

上述优选方案利用欧几里得距离以及相似度值、平稳度值这三个数值来综合确定概率值，使得本方案具有较强的抗干扰能力。

可选地，概率确定单元可以包括：

权值确定单元，用于分别确定所述相似度值和所述平稳度值所对应的权值；

概率计算单元，用于根据所述相似度值和相应的权值的乘积、所述平稳度值和相应的权值的乘积以及所述距离l确定所述概率值。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。