基于单目视觉复杂背景下的手势分割方法

基于单目视觉复杂背景下的手势分割方法
【技术领域】
[0001] 本发明涉及手势分割技术，特别是人机交互中的分割技术，尤指一种基于单目摄 像头下对复杂背景下的基于单目视觉复杂背景下的手势分割方法。其可广泛应用与体感交 互系统，并可以结合手势识别技术实现手势控制系统以便完成一些体感游戏、休闲娱乐运 动、学术PPT等的自然交互。
【背景技术】
[0002] 近几年随着计算机技术的发展，人机交互技术已从键盘和鼠标逐步被自然人体所 代替。鉴于手势具有直观、自然地特点，手势已经成为自然人机交互的一种重要手段。作为 新型的自然交互技术，基于计算机视觉的手势识别在生活中的应用还不够广泛。
[0003] 基于单目视觉的手势识别中手势分割是手势识别是最关键的步骤，其分割效果直 接影响到后续的跟踪、特征提取及识别的效果。但由于环境等多方面因素的影响导致基于 单目摄像头复杂背景下的手势分割效果还不够理想。市场上有一些基于Kinect的手势识 别方法，但是由于Kinect设备成本较高，不适用广泛的推广，因此Kinect设备并没有深入 广大百姓的生活里。目前国内外也有一些手势识别的研究，但是由于在单目摄像头复杂背 景下的手势分割效果还不够理想，因此降低设备成本、发明一种在单目摄像头复杂背景下 的准确地实现手势分割方法是目前亟待解决的问题。

【发明内容】

[0004] 本发明的目的在于提供一种基于单目视觉复杂背景下的手势分割方法，是一种基 于单目摄像头复杂背景下准确地实现手势分割的方法，解决了现有的基于单目摄像头无法 准确分割出复杂背景下的手势的问题。其是基于肤色探测法与帧差法相结合的技术方案， 其内部实现了图像由RGB颜色空间（RGB颜色是红色Red、绿色Green和蓝色Blue三基色的 字母缩写）向YCbCr(YCbCr其中Y是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分 量）颜色空间转换的方法、基于肤色探测法中椭圆模型改进的方法、帧差法等，达到了手势 的实时分割、检测正确率高、误检率低等效果。人体必需保持手部的运动，身体其他部位的 静止，本发明支持单手、多手以及复杂手势的分割。
[0005] 本发明的上述目的通过以下技术方案实现： 在获取手势图像时，采用单目摄像头获取视频流。然后将视频流中的图像序列进行处 理。对手势图像进行颜色空间转换后，经过肤色探测法肤色模型的改进，提取出肤色信息， 再经过帧差法的处理实现手势图像的分割。本发明的技术要点是：一、肤色探测法中图像 颜色空间的选择：在肤色探测法中存在多种颜色空间，颜色空间的选择直接影响到分割的 效果，究竟选择哪一种颜色空间最适合本发明，需要做大量的实验来论证。本发明选择了 YCbCr颜色空间。二、肤色探测法中颜色空间的转换：选择了YCbCr颜色空间之后，需要将 获取的图像由RGB颜色空间转换到YCbCr颜色空间。颜色空间的转换对后续的分割效果产 生很大的影响。三、肤色探测法中椭圆模型的改进：椭圆模型的改进能够准确的实现肤色区 域的分割与检测。四、帧差法的实现：帧差法能够将检测出的肤色信息进行处理准确的分割 出手部彳目息。
[0006] 本发明的基于单目视觉复杂背景下的手势分割方法的具体步骤如下： 本发明的有益效果在于：基于Kinect设备的手势分割造价高，不适于广大百姓的使 用。传统的基于单目摄像头复杂背景下的手势分割准确率不高，影响后续的手势识别功能。 本发明在价格上解决了Kinect设备造价高的问题，只需要一个普通的RGB摄像头。在准确 率上解决了基于单目摄像头复杂背景下的手势分割准确率不高的问题，从而为手势识别、 手势控制等人机交互工作提供了必要的保障。
【附图说明】
[0007] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发 明的示意性实例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0008] 图1为本发明的流程图； 图2为本发明的手势图像在RGB颜色空间进行的手势分割效果图； 图3为本发明的手势图像在RG(Red红色、Green绿色)颜色空间进行的手势分割效果 图； 图4为本发明的手势图像在YCbCr颜色空间进行的手势分割效果图； 图5为本发明的手势图像在HSV(Hue色度，Saturation饱和度，Value亮度）颜色空 间进行的手势分割效果图； 图6为本发明的手势图像经过传统椭圆模型的检测肤色信息的效果图； 图7为本发明的手势图像经过改进的椭圆模型检测肤色信息的效果图； 图8为本发明的手势图像经过帧差法获取手势信息的效果图。
【具体实施方式】
[0009] 下面结合附图进一步说明本发明的详细内容及其【具体实施方式】。
[0010] 参见图1至图8所示，本发明的基于单目视觉复杂背景下的手势分割方法，具体流 程是： 1、 手势图像的采集 本发明在单目摄像头下对手势图像进行采集。截取视频流中的其中一帧图像进行处 理。
[0011] 2、颜色空间的选择 由于物体的颜色往往被用来是区别于不同物体之间的显著特征点，人眼对颜色信息的 感知要比灰度信息敏感的多。因此，颜色对于彩色图像分割来说是一个重要的参考指标，选 择合适的颜色空间对图像分割的效果能够提供丰富和准确的信息。肤色检测法经常使用到 的颜色空间有归一化RGB颜色空间、RG颜色空间、HSV颜色空间、YCbCr颜色空间等。本发 明对不同颜色空间的手势跟个做了大量的实验，通过实验发现，YCbCr颜色空间的分割效果 最为理想，因此本发明在YCbCr颜色空间对图像进行分割。
[0012] 2. 1、在RGB颜色空间实现图像分割； 2. 2、在RG颜色空间实现图像分割； 2. 3、HSV颜色空间实现图像分割； 2. 4、YCbCr颜色空间实现图像分割； 3、 肤色探测法中颜色空间的转换 在选择颜色空间之后，需要把图像从RGB颜色空间转换到选择的YCbCr颜色空间。
[0013] 4、肤色探测法中椭圆模型的改进 41、 首先将图像在传统的椭圆模型中进行实现； 42、 将图像在改进的椭圆模型中进行实现； 5、帧差法的实现 在得到图像的肤色信息后，经过帧差法的处理，实现手部信息的分割。
[0014] 实施例1: 参加图1至图8所示，本发明的基于单目视觉复杂背景下的手势分割方法，具体流程 是： 1、 手势图像的采集 通过单目彩色摄像头获取视频流信息，截取视频流其中的一帧图像； 2、 颜色空间的选择 2. 1、在RGB颜色空间实现图像分割； 2. 2、在RG颜色空间实现图像分割； 2. 3、HSV颜色空间实现图像分割； 2、 4、YCbCr颜色空间实现图像分割； 3、 肤色探测法中颜色空间的转换 在选择颜色空间之后，需要把图像从RGB颜色空间转换到选择的YCbCr颜色空间。根 据公式（1)进行转换。
【主权项】
1. 一种基于单目视觉复杂背景下的手势分割方法，其特征在于：步骤如下： (1) 、手势图像的采集：在单目摄像头下对手势图像进行采集，获取视频序列，并截取视 频流中的其中一帧图像进行处理； (2) 、肤色探测法中图像颜色空间的选择：选择在YCbCr颜色空间对图像进行分割； (3) 、肤色探测法中颜色空间的转换：将获取的图像由RGB颜色空间转换到所选择的 YCbCr颜色空间； (4) 、肤色探测法中椭圆模型的改进：实现手势图像不受环境因素的影响，提高手势分 割的正确率，将传统的椭圆模型进行改进，提取出手势图像中的肤色区域信息； (5) 、帧差法的实现：图像经过椭圆模型后，提取出肤色信息，用帧差法将非手势区域滤 除，提取出完整的手势区域信息；整个处理结束。
2. 根据权利要求1所述的基于单目视觉复杂背景下的手势分割方法，其特征在于：所 述的肤色探测法中椭圆模型的改进，通过椭圆模型的长短轴增加比例系数η来实现，具体 步骤是： (4. 1)、首先将获取的图像由RGB颜色空间转换到YCbCr颜色空间； (4. 2)、计算亮度Y值，Y值的不同选择不同的η值； (4. 3)、初始化肤色区域面积S=Se=O ;设定最大迭代次数为，迭代步长^ = ，最小迭代误差￡ = 〇-〇】.； (4. 4)、将图像像素由YCbCr空间转到YCb' Cr'颜色空间； (4. 5)、计算肤色区域并存入设定的S中； (4.6)、计算迭代肤色面积差站=〇5-.式)/5; (4. 7)、若九5<￡或者达到最大迭代次数，迭代结束；否则转到步骤（4. 5)进行下一次 迭代； 为了减少计算量，缩短肤色检测的时间，只对77 < Cb < 127,133 < Cr < 173区域的 肤色进行检测。
【专利摘要】本发明涉及一种基于单目视觉复杂背景下的手势分割方法，适用于人机交互中手势识别中手势分割部分。步骤包括：（1）通过单目摄像头获取手势图像。（2）进行颜色空间的选择。（3）进行颜色空间的转换。（4）改进椭圆模型算法提取出手势图像中的肤色信息。（5）实现帧差法，将肤色信息中的手势区域提取出来。本发明在价格上解决了Kinect设备造价高的问题，只需要一个普通的RGB摄像头。在准确率上解决了基于单目摄像头复杂背景下的手势分割准确率不高的问题，从而为手势识别、手势控制等人机交互工作提供了必要的保障。
【IPC分类】G06F3-01, G06K9-00
【公开号】CN104679242
【申请号】CN201510060129
【发明人】郑立国, 汪欣, 罗江林, 谷文娟
【申请人】吉林纪元时空动漫游戏科技股份有限公司
【公开日】2015年6月3日
【申请日】2015年2月5日