手势图像处理方法及装置与流程

文档序号:14777964发布日期:2018-06-26 07:55阅读:402来源:国知局

本公开涉及图像处理领域,具体地,涉及一种手势图像处理方法及装置。



背景技术:

随着计算机技术的不断发展,手势识别已经成为人机交互的一项关键技术。目前,基于单目视觉的手势识别是从图像预处理、手势特征提取和手势识别这三个方面来进行研究的,其中,图像预处理的结果对手势识别的准确率有着重大的影响。

现有技术中的图像预处理大多是通过对原始图像进行去噪、肤色检测、手势分割等操作来得到一幅只包含有手势信息的二值化图像,却忽略了手掌大小差异和摄像头拍摄手掌角度等因素对手势识别的影响,这样会造成手势识别的准确率不高。例如:拍摄一个成年人和一个青少年同样形态的一组手势,其手势特征在面积、外围周长等特征因素上的表现明显不同,这样就会导致在进行手势识别时造成误判。



技术实现要素:

本公开的目的是针对现有技术中因忽略手掌大小差异和摄像头拍摄手掌角度等因素对手势识别的影响而导致的手势识别的准确率不高的问题,提供一种手势图像处理方法及装置。

为了实现上述目的,本公开提供一种手势图像处理方法,所述方法包括:对原始手势图像进行图像预处理,获得手势目标区域;对所述手势目标区域进行归一化处理,以获得标准化的手势图像。

可选地,所述对所述手势目标区域进行归一化处理,包括:确定所述手势目标区域的最小外接矩形;从所述最小外接矩形中识别出手掌区域对应的矩形区域;通过仿射变换,确定预先构建的空白矩形图像中的各个位置点在所述矩形区域中对应的位置点,并利用所述矩形区域中对应位置点处的像素来填充所述空白矩形图像中的位置点处的像素,其中,所述空白矩形图像具有预设的标准大小。

可选地,所述确定所述手势目标区域的最小外接矩形,包括:计算所述手势目标区域的中心点坐标,并以所述中心点为坐标原点、以水平方向为x轴、以垂直方向为y轴建立直角坐标系;以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线;沿与所述第一直线相垂直的第一方向移动所述第二直线,直到所述第二直线所覆盖的手特征点数量为零,并沿与所述第一直线相垂直的第二方向移动所述第三直线,直到所述第三直线所覆盖的手特征点数量为零,其中,所述第一方向与所述第二方向相反;以过所述坐标原点的第四直线为基准,获得与所述第四直线相平行的第五直线和第六直线,其中,所述第四直线与所述第一直线相垂直;沿与所述第四直线相垂直的第三方向移动所述第五直线,直到所述第五直线所覆盖的手特征点数量为零,并沿与所述第四直线相垂直的第四方向移动所述第六直线,直到所述第六直线所覆盖的手特征点数量为零,其中,所述第三方向与所述第四方向相反;将所述第二直线、所述第三直线、所述第五直线和所述第六直线所形成的矩形区域确定为是候选外接矩形区域;改变所述第一夹角,并返回所述以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线的步骤,直到获取到的候选外接矩形区域的数量达到预定数量为止;将所获取到的候选外接矩形区域中、面积最小的候选外接矩形区域确定为是所述最小外接矩形。

可选地,所述从所述最小外接矩形中识别出手掌区域对应的矩形区域,包括:沿所述最小外接矩形的长轴方向以预设的第一像素点宽度遍历所述最小外接矩形,确定连续目标点数最多的位置为手掌最宽处,所述目标点为所述最小外接矩形中的手特征点;从所述手掌最宽处向所述最小外接矩形的长轴的两侧方向以预设的第二像素点宽度进行遍历,确定所述目标点数逐渐减少的方向为手掌心到手掌根的方向;继续沿着所述手掌心到手掌根的方向以预设的第三像素点宽度进行遍历,确定所述目标点数的减小率首次小于预设的阈值时的位置为手掌根位置;将所述最小外接矩形中所述手掌根位置以上的区域确定为是所述手掌区域对应的矩形区域。

可选地,所述通过仿射变换,确定预先构建的空白矩形图像中的各个位置点在所述矩形区域中对应的位置点,包括:将所述矩形区域的至少三个顶点在第一坐标系中的坐标转换成在第二坐标系中的坐标,其中,所述第一坐标系以所述手势目标区域的中心点为原点,所述第二坐标系以所述矩形区域的左上顶点为原点;根据所述至少三个顶点在所述第二坐标系中的坐标、以及所述空白矩形图像中与所述至少三个顶点对应的顶点在第三坐标系中的坐标,确定仿射变换关系,其中,所述第三坐标系以所述空白矩形图像的左上顶点为原点;根据所述仿射变换关系,确定所述空白矩形图像中的各个位置点在所述矩形区域中对应的位置点。

可选地,所述对原始手势图像进行图像预处理,包括:对所述原始手势图像进行色彩空间转换,获得第一中间手势图像,其中,所述原始手势图像为RGB图像,所述第一中间手势图像为YCbCr图像;对所述第一中间手势图像进行肤色检测,并根据肤色检测结果对所述第一中间手势图像进行二值化处理,获得第二中间手势图像;对所述第二中间手势图像进行去噪处理,获得第三中间手势图像;利用连通域标记方法,从所述第三中间手势图像中识别出所述手势目标区域。

本公开还提供一种手势图像处理装置,所述装置包括:预处理模块,用于对原始手势图像进行图像预处理,获得手势目标区域;归一化模块,用于对所述手势目标区域进行归一化处理,以获得标准化的手势图像。

可选地,所述归一化模块包括:第一确定子模块,用于确定所述手势目标区域的最小外接矩形;第一识别子模块,用于从所述最小外接矩形中识别出手掌区域对应的矩形区域;处理子模块,用于通过仿射变换,确定预先构建的空白矩形图像中的各个位置点在所述矩形区域中对应的位置点,并利用所述矩形区域中对应位置点处的像素来填充所述空白矩形图像中的位置点处的像素,其中,所述空白矩形图像具有预设的标准大小。

可选地,所述第一确定子模块包括:坐标系建立子模块,用于计算所述手势目标区域的中心点坐标,并以所述中心点为坐标原点、以水平方向为x轴、以垂直方向为y轴建立直角坐标系;第一获取子模块,用于以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线;第一移动子模块,用于沿与所述第一直线相垂直的第一方向移动所述第二直线,直到所述第二直线所覆盖的手特征点数量为零,并沿与所述第一直线相垂直的第二方向移动所述第三直线,直到所述第三直线所覆盖的手特征点数量为零,其中,所述第一方向与所述第二方向相反;第二获取子模块,用于以过所述坐标原点的第四直线为基准,获得与所述第四直线相平行的第五直线和第六直线,其中,所述第四直线与所述第一直线相垂直;第二移动子模块,用于沿与所述第四直线相垂直的第三方向移动所述第五直线,直到所述第五直线所覆盖的手特征点数量为零,并沿与所述第四直线相垂直的第四方向移动所述第六直线,直到所述第六直线所覆盖的手特征点数量为零,其中,所述第三方向与所述第四方向相反;候选外接矩形区域确定子模块,用于将所述第二直线、所述第三直线、所述第五直线和所述第六直线所形成的矩形区域确定为是候选外接矩形区域;角度改变子模块,用于改变所述第一夹角,并重新触发所述第一获取子模块以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线,直到获取到的候选外接矩形区域的数量达到预定数量为止;最小外接矩形确定子模块,用于将所获取到的候选外接矩形区域中、面积最小的候选外接矩形区域确定为是所述最小外接矩形。

可选地,所述第一识别子模块包括:第二确定子模块,用于沿所述最小外接矩形的长轴方向以预设的第一像素点宽度遍历所述最小外接矩形,确定连续目标点数最多的位置为手掌最宽处,所述目标点为所述最小外接矩形中的手特征点;第三确定子模块,用于从所述手掌最宽处向所述最小外接矩形的长轴的两侧方向以预设的第二像素点宽度进行遍历,确定所述目标点数逐渐减少的方向为手掌心到手掌根的方向;第四确定子模块,用于继续沿着所述手掌心到手掌根的方向以预设的第三像素点宽度进行遍历,确定所述目标点数的减小率首次小于预设的阈值时的位置为手掌根位置;第五确定子模块,用于将所述最小外接矩形中所述手掌根位置以上的区域确定为是所述手掌区域对应的矩形区域。

可选地,所述第五确定子模块包括:转换子模块,用于将所述矩形区域的至少三个顶点在第一坐标系中的坐标转换成在第二坐标系中的坐标,其中,所述第一坐标系以所述手势目标区域的中心点为原点,所述第二坐标系以所述矩形区域的左上顶点为原点;仿射关系确定子模块,用于根据所述至少三个顶点在所述第二坐标系中的坐标、以及所述空白矩形图像中与所述至少三个顶点对应的顶点在第三坐标系中的坐标,确定仿射变换关系,其中,所述第三坐标系以所述空白矩形图像的左上顶点为原点;位置点确定子模块,用于根据所述仿射变换关系,确定所述空白矩形图像中的各个位置点在所述矩形区域中对应的位置点。

可选地,所述预处理模块包括:色彩空间转换子模块,用于对所述原始手势图像进行色彩空间转换,获得第一中间手势图像,其中,所述原始手势图像为RGB图像,所述第一中间手势图像为YCbCr图像;肤色检测及处理子模块,用于对所述第一中间手势图像进行肤色检测,并根据肤色检测结果对所述第一中间手势图像进行二值化处理,获得第二中间手势图像;去噪子模块,用于对所述第二中间手势图像进行去噪处理,获得第三中间手势图像;第二识别子模块,用于利用连通域标记方法,从所述第三中间手势图像中识别出所述手势目标区域。

通过上述技术方案,对原始手势图像进行图像预处理可以获得手势目标区域,然后对该手势目标区域进行归一化处理,使得具有差异性的手势图像在面积、方向等特征因素上得到统一,这样,可以获得标准化的手势图像。通过该标准化的手势图像进行手势识别,提升了手势识别的准确度,进而增强了手势识别系统的可靠性。

本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:

图1A是根据一示例性实施例示出的一种手势图像处理方法的流程图。

图1B是根据一示例性实施例示出的一种对原始手势图像进行图像预处理的方法的流程图。

图1C是根据一示例性实施例示出的一种手势目标区域的归一化处理方法的流程图。

图1D是根据一示例性实施例示出的一种确定手势目标区域的最小外接矩形的方法的流程图。

图1E是根据一示例性实施例示出的一种从最小外接矩形中识别出手掌区域对应的矩形区域的方法的流程图。

图1F是根据一示例性实施例示出的一种利用仿射变换来实现位置点映射的方法的流程图。

图2A至图2F是根据一示例性实施例示出的一种手势目标区域的归一化处理的图解示意图。

图3是根据一示例性实施例示出的一种手势目标区域的归一化处理的结果示意图。

图4A是根据一示例性实施例示出的一种手势图像处理装置的框图。

图4B是根据另一示例性实施例示出的一种手势图像处理装置的框图。

具体实施方式

以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。

图1A是根据一示例性实施例示出的一种手势图像处理方法的流程图。如图1A所示,该手势图像处理方法可以包括:

在步骤101中,对原始手势图像进行图像预处理,获得手势目标区域。

在本公开中,该图像预处理是进行手势识别之前的准备工作,它可以包括色彩空间转换、肤色检测、去噪和选取连通区域等步骤。如图1B所示,步骤101可以包括以下步骤。

在步骤1011中,对原始手势图像进行色彩空间转换,获得第一中间手势图像。

在本公开中,该原始手势图像可以是RGB图像,第一中间手势图像可以是YCbCr图像。由于人类肤色在颜色空间当中的聚类分布表现为一定的特性,即肤色在某些颜色空间中集中分布在某个区域中,而这些颜色空间中YCbCr颜色空间较优,同时,RGB到YCbCr的转换是线性转换,转换速率较快。因此,可以通过色彩空间转换将原始手势图像从RGB图像转换为YCbCr图像,以获得第一中间手势图像。

示例地,可以通过以下等式(1)对原始手势图像进行色彩空间转换:

其中,Y表示明亮度,也就是灰阶值,它是通过将RGB信号的特定部分叠加到一起来建立的;Cb表示RGB输入信号蓝色部分与RGB信号亮度值之间的差异;Cr表示RGB输入信号红色部分与RGB信号亮度值之间的差异;R表示RGB输入信号红色部分;G表示RGB输入信号绿色部分;B表示RGB输入信号蓝色部分。

在步骤1012中,对第一中间手势图像进行肤色检测,并根据肤色检测结果对第一中间手势图像进行二值化处理,获得第二中间手势图像。

在本公开中,该二值化处理的过程可以包括以下步骤:首先,进行肤色检测;接下来根据肤色检测结果,将检测出的肤色目标区域的值设置为1,其余的区域的值设置为0。这样,可以得到一个二值化图像,即得到第二中间手势图像。其中,肤色目标区域可以包括手势区域和一些类肤色区域。肤色检测模型可以是单高斯、混合高斯、贝叶斯模型或椭圆模型等。

在一种实施方式中,肤色检测模型可以是椭圆模型。如果将肤色信息映射到YCrCb色彩空间,则在CrCb二维空间中这些肤色像素点近似成一个椭圆分布,即可以得到一个CrCb的椭圆。因此可以通过判断坐标(Cr,Cb)是否落在椭圆内(包括边界)来确定其是否是肤色目标区域。如果坐标(Cr,Cb)落在椭圆内,则可以判断其为肤色目标区域,否则就是非肤色目标区域。

示例地,可以通过以下等式(2)所示的椭圆模型来进行肤色检测:

其中,θ表示所述椭圆相对于水平方向的倾斜弧度;(cb0,cr0)表示所述椭圆在CbCr平面上的中心点坐标;(ecx,ecy)表示所述椭圆的中心点坐标;a表示所述椭圆的长轴长度;b表示所述椭圆的短轴长度。

此外,可以通过以下等式(3)对所述第一中间手势图像进行二值化处理:

其中,D(Cb,Cr)表示肤色检测各区域的值,即如果坐标落在椭圆内,则可以判断其为肤色目标区域,设置该区域的值为1;如果坐标未落在椭圆内,则可以判断其不是肤色目标区域,设置该区域的值为0。

在步骤1013中,对第二中间手势图像进行去噪处理,获得第三中间手势图像。

在步骤1014中,利用连通域标记方法,从第三中间手势图像中识别出手势目标区域。

在本公开中,为了消除手势区域周边的噪声干扰,可以对上述步骤1012中获得的第二中间手势图像进行开运算(即先腐蚀后膨胀),通过断开狭窄的间断和消除尖细的突出物将第二中间手势图像变得光滑,得到第三中间手势图像。然后通过连通域标记法选取第三中间手势图像在一定阈值范围内的区域为手势目标局域,该手势目标区域可以是面积最大的区域。

在步骤102中,对手势目标区域进行归一化处理,以获得标准化的手势图像。

在本公开中,由于不同的手势目标区域的大小和手掌的角度可能存在差异,手势识别的准确度将受到这些差异的影响,因此可以通过归一化处理,将不同大小、方向的手势目标区域进行标准化来提升手势识别的准确率。

图1C是根据一示例性实施例示出的一种手势目标区域的归一化处理方法的流程图。如图1C所示,上述步骤102可以包括以下步骤。

在步骤1021中,确定手势目标区域的最小外接矩形。

如图1D所示,上述步骤1021可以包括以下步骤。

在步骤10211中,计算手势目标区域的中心点坐标,并以该中心点为坐标原点、以水平方向为x轴、以垂直方向为y轴建立直角坐标系。

在本公开中,该中心点坐标可以通过求取CbCr平面上的各手特征点的坐标分别在水面方向和垂直方向上的均值来确定。如图2A所示,该直角坐标系可以以该中心点为坐标原点、以水平向右的方向为x轴、以垂直向上的方向为y轴来建立。

在步骤10212中,以过坐标原点、且与直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与该第一直线相平行的第二直线和第三直线。

在步骤10213中,沿与第一直线相垂直的第一方向移动第二直线,直到该第二直线所覆盖的手特征点数量为零,并沿与第一直线相垂直的第二方向移动第三直线,直到该第三直线所覆盖的手特征点数量为零。

在本公开中,第一夹角的取值范围为0°~180°,第一方向与第二方向相反。

示例地,如图2A所示,取第一直线为直线MN,该第一直线MN与x轴正方向之间具有第一夹角α1,并以第一直线MN为基准,获得与该第一直线MN相平行的第二直线AD和第三直线BC;然后,沿着第一方向OJ平移第二直线AD、沿着第二方向OK平移第三直线BC,直到其所覆盖的手特征点数量为零时为止。这样,可以得到候选外接矩形区域的一对平行边,例如,图2A中所示的直线AD和直线BC。

在步骤10214中,以过坐标原点的第四直线为基准,获得与该第四直线相平行的第五直线和第六直线。

在步骤10215中,沿与第四直线相垂直的第三方向移动第五直线,直到该第五直线所覆盖的手特征点数量为零,并沿与第四直线相垂直的第四方向移动第六直线,直到该第六直线所覆盖的手特征点数量为零。

在本公开中,第四直线为第一直线的垂线,第三方向和第四方向相反。

示例地,如图2A所示,取与第一直线MN相垂直的第四直线JK,并以第四直线JK为基准,获得与该第四直线JK相平行的第五直线AB和第六直线CD;然后,沿着第三方向OM平移第五直线AB、沿着第四方向ON平移第六直线CD,直到其所覆盖的手特征点数量为零时为止。这样,可以得到候选外接矩形区域的另一对平行边,例如,图2A中所示的直线AB和直线CD。

在步骤10216中,将第二直线、第三直线、第五直线和第六直线所形成的矩形区域确定为是候选外接矩形区域。

示例地,如图2A所示,第二直线AD、第三直线BC、第五直线AB和第六直线CD组成的矩形ABCD即为候选外接矩形区域。

在步骤10217中,判断获取到的候选外接矩形区域的数量是否小于预定数量。

在步骤10218中,当确定获取到的候选外接矩形区域的数量小于预定数量时,改变第一夹角。

在本公开中,该预定数量可以是人为设定的值,也可以是默认的经验值。每当获取到一个候选外接矩形区域后,令候选外接矩形区域的数量加1;当获取到的候选外接矩形区域的数量小于预定数量时,可以改变第一角度的大小,并返回到步骤10212,直到获取到的候选外接矩形区域的数量不小于预定数量时,停止循环。

在一种实施方式中,第一角度可以从1°度开始变化,每次变换增加1°直到其值为180°为止,这样,候选外接矩形区域的预定数量为180个。当获取到的外接矩形区域的预定数量达到180个时,停止获取候选外接矩形区域的操作。

如图2B所示,改变后的第一夹角为α2,通过重复上述步骤10212至步骤10216,可以获得另一个候选外接矩形区域A1B1C1D1。

在步骤10219中,当确定获取到的候选外接矩形区域的数量不小于预定数量时,将所获取到的候选外接矩形区域中、面积最小的候选外接矩形区域确定为是最小外接矩形。

在公开中,可以通过计算获取到的所有候选外接矩形区域的面积,并从中选择面积最小的外接矩形,并将其作为手势目标区域的最小外接矩形。

示例地,如图2C所示,矩形ABCD即是确定出的手势目标区域的最小外接矩形。

在步骤1022中,从最小外接矩形中识别出手掌区域对应的矩形区域。

如图1E所示,上述步骤1022可以包括以下步骤。

在步骤10221中,沿最小外接矩形的长轴方向以预设的第一像素点宽度遍历最小外接矩形,确定连续目标点数最多的位置为手掌最宽处。

在本公开中,该目标点可以是最小外接矩形中的手特征点。第一像素点宽度可以是人为设定的值,也可以是默认的经验值,例如,可以以3个像素点宽度为单位进行遍历。由图2C可知,最小外接矩形ABCD中的目标点在手掌区域是连续的,在手指区域不是连续的,并且可以确定连续目标点数最多的位置为手掌最宽处。因此可以沿着矩形ABCD的长轴方向以第一像素点宽度进行遍历,并记录每次遍历的位置及该位置处的连续目标点数,当遍历一遍后,可以通过上述记录找出连续目标点数最多的位置,即手掌最宽处。

在步骤10222中,从手掌最宽处向最小外接矩形的长轴的两侧方向以预设的第二像素点宽度进行遍历,确定目标点数逐渐减少的方向为手掌心到手掌根的方向。

在步骤10223中,继续沿着手掌心到手掌根的方向以预设的第三像素点宽度进行遍历,确定目标点数的减小率首次小于预设的阈值时的位置为手掌根位置。

在步骤10224中,将最小外接矩形中手掌根位置以上的区域确定为是手掌区域对应的矩形区域。

在本公开中,预设的阈值可以是人为设定的值,也可以是默认的经验值。第二像素点宽度和第三像素点宽度可以是人为设定的值,也可以是默认的经验值。并且、第一像素宽度、第二像素宽度和第三像素宽度可以相同,也可以不相同。由图2C可以看出,从手掌心到手指方向来看,手指区域的目标点数虽有减少的趋势,但是减小不明显,可以认为该区域的目标点数基本没变化。而从手掌心到手掌根方向来看,从手掌最宽处到手掌根的目标点数逐渐减少,并且呈逐渐降低的趋势,手掌根位置以下区域的目标点数基本没变化。因此,可以确定目标点数逐渐减少的方向为手掌心到手掌根的方向,并且沿着手掌心到手掌根的方向进行遍历时,目标点数的减小率首次小于预设的阈值时的位置为手掌根位置,然后,可以将该手掌根位置以上的区域作为手掌区域对应的矩形区域。如图2D所示,直线EF所对应的位置即是手掌根位置,矩形AEFD即是手掌区域对应的矩形区域。

在步骤1023中,通过仿射变换,确定预先构建的空白矩形图像中的各个位置点在矩形区域中对应的位置点,并利用矩形区域中对应位置点处的像素来填充空白矩形图像中的位置点处的像素。

在本公开中,该空白矩形图像可以具有预设的标准大小,例如,该空白矩形图像的大小为90×120。

如图1F所示,上述步骤1023可以包括以下步骤。

在步骤10231中,将矩形区域的至少三个顶点在第一坐标系中的坐标转换成在第二坐标系中的坐标。

在步骤10232中,根据至少三个顶点在第二坐标系中的坐标、以及空白矩形图像中与至少三个顶点对应的顶点在第三坐标系中的坐标,确定仿射变换关系。

在步骤10233中,根据仿射变换关系,确定空白矩形图像中的各个位置点在矩形区域中对应的位置点。

在本公开中,该第一坐标系可以是以手势目标区域的中心点为原点,如图2E所示,点O1为原点,X轴为水平向右的方向,Y轴为垂直于X轴向上的方向。第二坐标系可以是以矩形区域的坐上顶点为原点,如图2E所示,点O2为原点,X轴为水平向右的方向,Y轴为垂直于X轴向下的方向。第三坐标系以空白矩形图像的左上顶点为原点,如图2F所示,点O3为空白图像的左上顶点,是第三坐标系的原点,X轴为水平向右的方向,Y轴为垂直于X轴向下的方向。

示例地,可以选取矩形区域的A、E、F三个顶点来进行坐标变换,即将顶点A、E、F在第一坐标系中的坐标转换为第二坐标系中的坐标,如图2E所示,顶点A、E、F在第一坐标系中的坐标记为A(x11,y11)、E(x12,y12)、F(x13,y13),其在第二坐标系中的坐标记为O2(x21,y21)、E2(x22,y22)、F2(x23,y23)。可以根据坐标A(x11,y11)、E(x12,y12)、F(x13,y13)和矩形的边长信息来确定坐标O2(x21,y21)、E2(x22,y22)、F2(x23,y23)。转换后的三个顶点的坐标值O2(x21,y21)、E2(x22,y22)、F2(x23,y23)可以作为仿射变换的3对源坐标点。

在进行第一坐标系到第二坐标系的坐标转换之后,可以选取空白矩形图像中与上述三个顶点A、E、F对应的顶点O3、E3、F3作为仿射变换的3对目标点,记为O3(x31,y31)、E3(x32,y32)、F3(x33,y33)。由于空白矩形图像可以具有预设的标准大小,因此可以根据空白矩形图像的大小来确定3对目标点的坐标。例如,该空白矩形图像的大小为90×120,则顶点O3、E3、F3的坐标分别为O3(0,0)、E3(0,120)、F3(90,0)。

因此,已知三对源坐标点的坐标和三对目标坐标点的坐标,可以计算出仿射变换关系式的6个系数的值,其中,仿射变换关系式可以是以下的等式(4):

其中,(x’,y’)表示目标坐标点的坐标;(x,y)表示源坐标点的坐标;a1、b1、c1、a2、b2、c2表示所述仿射变换关系式的系数。

仿射变换关系式的系数都确定之后,仿射变换关系也就确定下来了。这样,根据该仿射变换关系式可以确定空白矩形图像中的各位置点在矩形区域中对应的位置点,然后将矩形区域中的各位置点处的像素点依次填充到空白矩形图像中。这样,就得到了一个如图3所示的标准化的手势图像。

通过上述技术方案,对原始手势图像进行图像预处理可以获得手势目标区域,然后对该手势目标区域进行归一化处理,使得具有差异性的手势图像在面积、方向等特征因素上得到统一,这样,可以获得标准化的手势图像。通过该标准化的手势图像进行手势识别,提升了手势识别的准确度,进而增强了手势识别系统的可靠性。

图4A是根据一示例性实施例示出的一种手势图像处理装置的框图。如图4A所示,该手势图像处理装置400可以包括:预处理模块401,用于对原始手势图像进行图像预处理,获得手势目标区域;归一化模块402,用于对所述处理模块401获得的所述手势目标区域进行归一化处理,以获得标准化的手势图像。

可选地,如图4B所示,所述归一化模块402可以包括:第一确定子模块4021,用于确定所述手势目标区域的最小外接矩形;第一识别子模块4022,用于从所述第一确定子模块4021确定出的所述最小外接矩形中识别出手掌区域对应的矩形区域;处理子模块4023,用于通过仿射变换,确定预先构建的空白矩形图像中的各个位置点在所述矩形区域中对应的位置点,并利用所述矩形区域中对应位置点处的像素来填充所述空白矩形图像中的位置点处的像素,其中,所述空白矩形图像具有预设的标准大小。

可选地,所述第一确定子模块包括:坐标系建立子模块,用于计算所述手势目标区域的中心点坐标,并以所述中心点为坐标原点、以水平方向为x轴、以垂直方向为y轴建立直角坐标系;第一获取子模块,用于以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线;第一移动子模块,用于沿与所述第一直线相垂直的第一方向移动所述第二直线,直到所述第二直线所覆盖的手特征点数量为零,并沿与所述第一直线相垂直的第二方向移动所述第三直线,直到所述第三直线所覆盖的手特征点数量为零,其中,所述第一方向与所述第二方向相反;第二获取子模块,用于以过所述坐标原点的第四直线为基准,获得与所述第四直线相平行的第五直线和第六直线,其中,所述第四直线与所述第一直线相垂直;第二移动子模块,用于沿与所述第四直线相垂直的第三方向移动所述第五直线,直到所述第五直线所覆盖的手特征点数量为零,并沿与所述第四直线相垂直的第四方向移动所述第六直线,直到所述第六直线所覆盖的手特征点数量为零,其中,所述第三方向与所述第四方向相反;候选外接矩形区域确定子模块,用于将所述第二直线、所述第三直线、所述第五直线和所述第六直线所形成的矩形区域确定为是候选外接矩形区域;角度改变子模块,用于改变所述第一夹角,并重新触发所述第一获取子模块以过所述坐标原点、且与所述直角坐标系的x轴正方向之间具有第一夹角的第一直线为基准,获得与所述第一直线相平行的第二直线和第三直线,直到获取到的候选外接矩形区域的数量达到预定数量为止;最小外接矩形确定子模块,用于将所获取到的候选外接矩形区域中、面积最小的候选外接矩形区域确定为是所述最小外接矩形。

可选地,所述第一识别子模块4022可以包括:第二确定子模块,用于沿所述最小外接矩形的长轴方向以预设的第一像素点宽度遍历所述最小外接矩形,确定连续目标点数最多的位置为手掌最宽处,所述目标点为所述最小外接矩形中的手特征点;第三确定子模块,用于从所述第二确定子模块确定出的所述手掌最宽处向所述最小外接矩形的长轴的两侧方向以预设的第二像素点宽度进行遍历,确定所述目标点数逐渐减少的方向为手掌心到手掌根的方向;第四确定子模块,用于继续沿着所述手掌心到手掌根的方向以预设的第三像素点宽度进行遍历,确定所述目标点数的减小率首次小于预设的阈值时的位置为手掌根位置;第五确定子模块,用于将所述最小外接矩形中所述手掌根位置以上的区域确定为是所述手掌区域对应的矩形区域。

可选地,所述第五确定子模块可以包括:转换子模块,用于将所述矩形区域的至少三个顶点在第一坐标系中的坐标转换成在第二坐标系中的坐标,其中,所述第一坐标系以所述手势目标区域的中心点为原点,所述第二坐标系以所述矩形区域的左上顶点为原点;仿射关系确定子模块,用于根据所述至少三个顶点在所述第二坐标系中的坐标、以及所述空白矩形图像中与所述至少三个顶点对应的顶点在第三坐标系中的坐标,确定仿射变换关系,其中,所述第三坐标系以所述空白矩形图像的左上顶点为原点;位置点确定子模块,用于根据所述仿射变换关系,确定所述空白矩形图像中的各个位置点在所述矩形区域中对应的位置点。

可选地,如图4B所示,所述预处理模块401可以包括:色彩空间转换子模块4011,用于对所述原始手势图像进行色彩空间转换,获得第一中间手势图像,其中,所述原始手势图像为RGB图像,所述第一中间手势图像为YCbCr图像;肤色检测及处理子模块4012,用于所述对色彩空间转换子模块4011得到的所述第一中间手势图像进行肤色检测,并根据肤色检测结果对所述第一中间手势图像进行二值化处理,获得第二中间手势图像;去噪子模块4013,用于对所述色检测及处理子模块4012得到的所述第二中间手势图像进行去噪处理,获得第三中间手势图像;第二识别子模块,用于利用连通域标记方法,从所述去噪子模块4013得到的所述第三中间手势图像中识别出所述手势目标区域。

以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。

另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。

此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1