基于预定区域和临近像素识别手部区域的方法及装置与流程

本发明涉及图像识别领域，具体涉及一种基于预定区域和临近像素识别手部区域的方法及装置。

背景技术：

随着软硬件相关科技的快速发展，腕式智能装置，如智能手表，智能手环等的集成度越来越高，功能越来越丰富，很大比例的手机功能可以通过智能手表，智能手环实现，大大简化用户接收和传递信息的方法。但和传统智能手机比较，腕式智能装置受限于小尺寸显示屏幕，一方面，使用者在使用时无法很好地利用触屏或者按键完成相关功能的操作，易造成误操作，另一方面，当智能手表佩戴在一只手上时，要对其进行操作，除了唤醒，休眠等简单操作不需要另一只手操作外，其余的较为复杂的操作都有另一只手完成，无法使用单手独立对智能手表进行操作，因此，智能手表在内容显示和操作上仍存在很大的缺陷。

针对上述问题，目前有一些产品提供了基于用户手部姿势的控制方式，用户可以通过佩戴手表的手指活动来控制设备，其原理是利用手表上设置的摄像装置采集手部图像，处理器根据图像的变化确定控制内容。此类方案需要从图像中准确地识别出用户的手部区域或轮廓，即需要剔除背景和其他噪声，只根据手部区域的变化确定控制内容。

现有的图像识别方案通常是根据目标物体的形状特征，根据预设的特征参数，利用机器学习模型等手段从图像中识别出目标物体。但是这种识别方式抵抗背景干扰的能力较差，例如用户所处环境背景十分复杂时，根据形状特征很可能出现误判，由此可见现有的图像识别方案准确性较差。

技术实现要素：

本发明要解决的是现有的图像识别方案准确性较差的问题。

有鉴于此，本发明提供一种基于预定区域和临近像素识别手部区域的方法，包括：分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第二预定区域的颜色值进行比对以得到2个相似度值，其中所述第二预定区域与所述待识别的手部区域不重合；根据所述像素与种子区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，所述种子区域位于所述待识别的手部区域内；根据所述概率值确定手部区域。

优选地，在所述分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第二预定区域的颜色值进行比对以得到2个相似度值之前，还包括：

在图像中确定待识别的手部区域；

从所述待识别的手部区域中剔除所述种子区域。

优选地，，所述根据所述像素与所述种子区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，包括：

确定所述像素与所述种子区域的欧几里得距离值l；

根据l和所述2个相似度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述像像素的颜色值与所述像素周围像素的颜色值的相似度值呈正相关关系，所述概率值与l、所述像素的颜色值与所述第二预定区域的颜色值的相似度值呈负相关关系。

优选地，所述根据l和所述2个相似度值确定所述像素是手部区域内像素的概率值，包括：

分别确定所述2个相似度所对应的权值；

根据所述2个相似度和相应的权值的乘积以及所述距离l确定所述概率值。

优选地，所述手部区域是利用主动轮廓线模型确定的，所述概率值作为所述主动轮廓线模型的输入值，所述主动轮廓线模型根据所述概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。

优选地，所述相似度是根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和确定的相似度。

相应地，本发明还提供一种基于种子区域和临近像素识别手部区域的装置，包括：比对单元，用于分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第二预定区域的颜色值进行比对以得到2个相似度值，其中所述第二预定区域与所述待识别的手部区域不重合；判定单元，用于根据所述像素与种子区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，所述种子区域位于所述待识别的手部区域内；确定单元，用于根据所述概率值确定手部区域。

优选地，还包括：

识别单元，用于在所述比对单元进行处理之前，在图像中确定待识别的手部区域；

剔除单元，用于从所述待识别的手部区域中剔除所述种子区域。

优选地，所述判定单元包括：

距离计算单元，用于确定所述像素与所述种子区域的欧几里得距离值l；

概率确定单元，概率确定单元，用于根据l和所述2个相似度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述像像素的颜色值与所述像素周围像素的颜色值的相似度值呈正相关关系，所述概率值与l、所述像素的颜色值与所述第二预定区域的颜色值的相似度值呈负相关关系。

优选地，所述概率确定单元包括：

权值确定单元，用于分别确定所述2个相似度所对应的权值；

概率计算单元，用于根据所述2个相似度和相应的权值的乘积以及所述距离l确定所述概率值。

根据本发明实施例提供的基于预定区域和临近像素识别手部区域的方法及装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并具本方案根据待识别的像素与自身周围像素、预定区域的颜色值的相似度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一种可穿戴设备的结构示意图；

图2为图1所示设备拍摄的图像；

图3是对图2进行去色处理后的图像；

图4为本发明实施例提供的基于预定区域和临近像素识别手部区域的方法的流程图；

图5为本发明实施例提供的基于种子区域和临近像素识别手部区域的装置的结构图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。

本发明实施例提供了一种基于预定区域和临近像素识别手部区域的方法，该方法所处理的图像是由具有摄像装置的可穿戴设备拍摄的图像，该设备如图1所示，其中摄像装置01沿佩戴者手腕向手心方向采集佩戴者手部图像。其采集到的图像如图2所示，佩戴者的手掌在图像中的整体位置是比较固定的，只是手指区域在一个固定的范围内会随着用户的运动发生变化。如图3所示，本实施例提供的方法包括如下步骤：

s1，分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第二预定区域的颜色值进行比对以得到2个相似度值，其中所述第二预定区域与所述待识别的手部区域不重合；

如图2所示，其中包含种子区域11、待识别的手部区域12和第二预定区域13。关于上述三个区域的选取，可以预先设定固定的位置，只要用户正常佩戴，种子区域11必定是用户手掌的一部分，第二预定区域13必定不包括用户手掌。为了更清楚地描述本发明实施例涉及的各个区域，下面采用对图2进行去色后的图4进行说明，需要说明的是，本发明实施例需要依赖像素的颜色进行后续处理，所以图4只是为了清楚地说明所给出的图像，实际应用时不需要进行去色处理。

具体地，步骤s1可分为以下两个步骤(执行顺序不分先后)：

s11，将像素的颜色值与第二预定区域的颜色值进行比对以得到相似度w1，由于第二预定区域内的像素一定不是手部区域内的像素，而手部区域内的各个像素间的颜色相似度较高，且与背景颜色的相似度通常差别较大，因此被判断的像素与第二预定区域内的相似度越低，则表示目标像素是手部区域像素的概率越大。其中第二预定区域的颜色可以取其中所有像素颜色值的均值。

s12，将像素的颜色值与其自身周边n个相邻像素的颜色值进行比对以得到相似度w2。手部区域作为颜色相近且封闭区域，其中的每个像素与周围像素的颜色相似度应当是较高的，如果出现相差较大的情况则是处于手部边缘的像素，因此目标像素与相邻像素相似度越高，则表示目标像素是手部区域像素的概率越大。比对方式包括多种，例如将像素a与其自身周围的n个像素进行分别进行比对得到n个相似度值(例如n＝8，即像素周围8邻域)，然后计算n个相似度的均值；或者先计算n个像素的颜色均值，然后将像素a的颜色与该均值进行比对得到相似度，都是可行的。

关于像素之间的颜色值比对，本发明实施例可以使用某一种颜色空间下的颜色值进行比对，也可以采用多种种颜色空间下的颜色值的结合进行比对，例如可以根据rgb、hsv以及ycrcb空间下的颜色值的相似性指标信息的总和来确定两个像素的相似度。

在此步骤中，将待识别的手部区域12中的像素与上述2种像素进行分别进行比对后，可以得到2个相似度值。将待识别的手部区域12中的所有像素比对过后，每个像素都对应有2个相似度值。例如某一像素a与其自身周围的几个像素的相似度为w2＝90％，且该像素与第二预定区域13的颜色相似度为w1＝10％，则像素a对应w1和w2。

s2，根据所述像素与种子区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，所述种子区域位于所述待识别的手部区域内。即针对待识别的手部区域12中的每一个像素，利用其对应的相似度值，和与种子区域(例如区域中心)的距离综合计算出一个概率值，该概率值越高则表示该像素是手部区域内的几率也大，反之则越小。距离与概率值呈负相关关系，即距离越远则概率值会相应降低。例如上述像素a对应距离l、相似度w1和相似度w2，综合计算后可以得到像素a是手部区域内像素的概率为80％。对所有像素综合计算完成后，每个像素均对应一个概率值。

s3，根据概率值确定手部区域,确定方式有多种，例如可以使用最简单的方式，通过设定概率阈值与每个像素对应的概率值比对，即可筛选出所有手部区域内的像素，这些像素的总和即为手部区域。优选地，在本实施例中，可以采用一种主动轮廓线模型(也称为snake模型)来识别手部区域。具体地，上述概率值作为主动轮廓线模型的输入值，主动轮廓线模型根据各个像素对应的概率值、预定拉力参数、预定引力参数和预定初始轮廓得到手部区域。模型上的每个点在引力和拉力作用下将运动至兴趣区域边缘，同时轮廓保持一定的曲率，具备光滑的特性。最终，每个点运动停止后，即标识出了兴趣区域(手部区域)的光滑的边缘，即得到的是连续平滑的手部区域外轮廓。

根据本发明实施例提供的基于预定区域和临近像素识别手部区域的方法，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并具本方案根据待识别的像素与自身周围像素、预定区域的颜色值的相似度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

作为一个优选的实施方式，在上述步骤s1之前，还可以包括如下步骤：

s01，在图像中确定待识别的手部区域。如上所述，根据图像的特点，待识别的手部区域12的位置也可以是预先标定的，例如是从图像边缘到图像1/2、3/4、4/5的区域等，具体可根据拍摄图像时的预定焦距和取景范围确定。

s02，从待识别的手部区域中剔除种子区域，由于种子区域必定是手掌的一部分，因此可以将此部分像素去除以减少计算量。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

作为一个优选的实施方式，上述步骤s2可以包括如下步骤：

s21，确定像素与种子区域的欧几里得距离值l；

s22，根据l和所述2个相似度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述像像素的颜色值与所述像素周围像素的颜色值的相似度值呈正相关关系(即所述概率值与w2呈正相关关系)，所述概率值与l、所述像素的颜色值与所述第二预定区域的颜色值的相似度值呈负相关关系(即所述概率值与l、w1呈负相关关系)。

上述优选方案利用欧几里得距离以及两种相似度值这三个数值来综合确定概率值，使得本方案具有较强的抗干扰能力。

如上所述，像素之间的比对情况有两种，这些比对结果的可靠性可能存在一定差异，因此还可以引入权值的概念来计算上述概率值，即上述步骤s22可以包括如下步骤：

s221，分别确定所述2个相似度所对应的权值，例如上述w1、w2可以对应不同的权值，此步骤首先确定所采纳的相似度所对应的权值；

s222，根据所述2个相似度和相应的权值的乘积以及所述距离l确定所述概率值，不同的相似度所对应的权值可以是不同的也可以是相同的，具体可根据比对内容的可靠性进行设定。

上述优选方案根据多种相似度以及对应权值的乘积来综合确定概率值，由此进一步提高识别准确性。

本发明的另一个实施例还提供了一种基于种子区域和临近像素识别手部区域的装置，如图5所示，该装置包括：

比对单元51，用于分别将待识别的手部区域中每一个像素的颜色值与所述像素周围像素的颜色值、第二预定区域的颜色值进行比对以得到2个相似度值，其中所述第二预定区域与所述待识别的手部区域不重合；

判定单元52，用于根据所述像素与种子区域的距离以及所述相似度值确定所述像素是手部区域内像素的概率值，所述种子区域位于所述待识别的手部区域内；

确定单元53，用于根据所述概率值确定手部区域。

根据本发明实施例提供的基于种子区域和临近像素识别手部区域的装置，通过将待识别的手部图像中的像素的颜色值与各个位置上的像素颜色进行比对，来确定图像中的各个像素是手部区域内的像素的概率值，进而根据该概率值以及各个像素与预定区域的距离来确定手部区域，相比于现有的根据形状特征确定手部区域的方案，本发明实施例具备更高的准确性。并具本方案根据待识别的像素与自身周围像素、预定区域的颜色值的相似度以及与种子区域的距离这三个数值来综合确定上述概率值，使得本方案具备较强的抗干扰能力。

可选地，该装置还可以还包括：

识别单元501，用于在所述比对单元进行处理之前，在图像中确定待识别的手部区域；

剔除单元502，用于从所述待识别的手部区域中剔除所述种子区域。

上述优选方案在图像中确定待识别的手部区域，并从其中剔除必定是手部区域的部分，使得后续步骤可以只针对剩余的区域进行计算，由此可以减小计算量，提高识别效率。

可选地，判定单元52可以包括：

距离计算单元，用于确定所述像素与所述种子区域的欧几里得距离值l；

概率确定单元，用于根据l和所述2个相似度值确定所述像素是手部区域内像素的概率值，其中所述概率值与所述像像素的颜色值与所述像素周围像素的颜色值的相似度值呈正相关关系，所述概率值与l、所述像素的颜色值与所述第二预定区域的颜色值的相似度值呈负相关关系。

上述优选方案利用欧几里得距离以及两种相似度值这三个数值来综合确定概率值，使得本方案具有较强的抗干扰能力。

可选地，概率确定单元可以包括：

权值确定单元，用于分别确定所述2个相似度所对应的权值；

概率计算单元，用于根据所述2个相似度和相应的权值的乘积以及所述距离l确定所述概率值。

上述优选方案根据多种相似度以及对应权值的乘积来综合确定概率值，由此进一步提高识别准确性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。