本发明涉及图像处理
技术领域：
，特别是指一种图像中手势识别、颜色白平衡调整及曝光调节方法和装置。
背景技术：
：手势识别技术目前已经广泛应用于各种家电产品上，如智能电视机，电字画框等。较为常用且相对可靠的一种技术是采用adaboost检测器或深度学习训练检测器的方法训练出能够在一帧图像上遍历并定位出人手区域并标注的检测器。这种方法通常需要运用lbp，haar，颜色特征(针对adaboost方法)；而深度学习方法则不会指定特征，但目标的颜色分布本身就是一个显著的特征。不采用颜色特征的手势检测器也可以识别绝大多数手势，但会在一些轮廓类似的物体上犯错，如图1所示，是经过该分类器识别后抽选出的误识别为人手的背景中的图片，其中有衣服的纹理，墙壁纹理，树叶等多种多样的干扰项。若加上颜色特征再训练分类器，经实验，几乎可以将这些错误全部避免。针对这种借助了颜色特征的检测技术来说，技术上普遍存在的难点在于，复杂光线条件下颜色失真，导致本应属于人手的区域识别失败。为解决颜色失真而导致的人手区域识别失败的问题，目前采用白平衡自调节的算法，对视频帧中的图像颜色进行校正。通常照相机或摄像头中集成的算法，简单概括来说就是寻找当前帧当中最接近于白色的区域，通过将白色调正从而使整个图像颜色都校正。然而在很多场景下拍摄到的整幅图像并没有标准的白色区域，即便强行定位一块最接近于白色区域的调整为标准白色后，反而会使其他区域颜色失真更严重。而前面提到过，通过颜色域的限制，可以滤掉很多的误识别选项，但如果要使用颜色特征训练出的分类器，那就要保证采集到的图像色彩尽可能正确。如果本应是白色的物体因为白平衡不当等原因变成发黄甚至接近于肤色的颜色，或者因为白平衡调整不当导致原本的肤色区域变为肤色区间以外的颜色，则会对识别结果造成极大的影响。通常在数码相机上普遍使用的自适应白平衡调节的方法是以“点测白光”工作的，即取图像所有像素点中rgb(红、绿、蓝)三色参数最接近白色的那个点为平衡依据，获取rgb增益值，从而对整个图像校准。该方法不稳定的原因如下：1、屏幕中未必存在实际颜色为白色的区域；2、自动搜索的最近于白色的点也许只是在该光线条件下数值上最近接白色但实际颜色不是白色的点。对于普通的照相机而言该方法造成的不稳定顶多是本次照相颜色失真，或者用户通过手动调节白平衡旋钮调成理想状态再拍照，但对于实时处理的手势识别算法来说，由于无法对每帧图像手动调节，颜色失真会直接导致本是肤色的区域变成其他颜色或其他颜色误判为肤色区域从而导致识别失败。此外现有的纯白板手动校正方法，则只适用于当前环境，每次换环境都需要重新手动校准。技术实现要素：有鉴于此，本发明的目的在于提出一种图像中手势识别、颜色白平衡调整及曝光调节方法和装置，不需手动进行颜色校正而解决图像颜色失真严重的问题，从而提高图像中手势识别的准确率。基于上述目的本发明提供一种图像中手势识别方法，包括：检测图像中的人脸区域；确定将所述人脸区域的颜色调整为肤色的白平衡参数；根据确定的白平衡参数对所述图像进行颜色的白平衡调整；从经过颜色的白平衡调整后的图像中识别手势。其中，所述确定将所述人脸区域的颜色调整为肤色的白平衡参数，具体包括：多次调整环境的色温值，在每次调整色温值后，根据该色温值对所述人脸区域各像素的颜色进行校正，统计所述人脸区域中肤色域内的像素数；将使得人脸区域中肤色域内的像素数最大的色温值，确定为将所述人脸区域的颜色调整为肤色的白平衡参数。进一步，所述检测图像中的人脸区域之前，还包括：对用于拍摄所述图像的摄像头的曝光时间进行调节：统计所述摄像头当前拍摄的图像中高亮点总数和像素总数；当所述高亮点总数和像素总数的比值大于设定的上限值时，下调所述曝光时间；当所述高亮点总数和像素总数的比值小于设定的下限值时，上调所述曝光时间。本发明还提供一种图像中颜色白平衡调整，包括：检测图像中的人脸区域；确定将所述人脸区域的颜色调整为肤色的白平衡参数；根据确定的白平衡参数对所述图像进行颜色的白平衡调整。本发明还提供一种曝光调节方法，包括：统计所述摄像头当前拍摄的图像中高亮点总数和像素总数；计算所述高亮点总数和像素总数的比值；当判断所述比值大于设定的上限阈值时，下调曝光时间；当判断所述比值小于设定的下限阈值时，上调曝光时间。本发明还提供一种图像中手势识别装置，包括：人脸检测模块，用于检测图像中的人脸区域；白平衡参数确定模块，用于确定将所述人脸区域的颜色调整为肤色的白平衡参数；白平衡调整模块，用于根据确定的白平衡参数对所述图像进行颜色的白平衡调整；识别模块，用于从经过颜色的白平衡调整后的图像中识别手势。本发明还提供一种图像中颜色白平衡调整装置，包括：人脸检测模块，用于检测图像中的人脸区域；白平衡参数确定模块，用于确定将所述人脸区域的颜色调整为肤色的白平衡参数；白平衡调整模块，用于根据确定的白平衡参数对所述图像进行颜色的白平衡调整。本发明还提供一种曝光调节装置，包括：高亮点统计模块，用于统计所述摄像头当前拍摄的图像中高亮点总数和像素总数，计算所述高亮点总数和像素总数的比值；调节模块，用于判断所述比值大于设定的上限阈值时，下调曝光时间；当判断所述比值小于设定的下限阈值时，上调曝光时间。本发明实施例的技术方案中，先检测图像中的人脸区域，再通过对人脸区域使用不同的白平衡参数进行颜色调整，找到能将人脸区域的颜色调整为肤色的白平衡参数；根据这个白平衡参数再对整个图像进行颜色的白平衡调整。这样，通过以人脸区域为基准进行平衡调节，从而调节整体图像的白平衡可以获得更接近真实色彩的图像，解决了图像颜色失真严重的问题，且不需手动进行颜色校正。在接近真实色彩的图像的基础上进行手势识别，就可以避免因颜色的误判而导致的手势识别的失败，从而提高图像中手势识别的准确率。本发明实施例的技术方案中，针对拍摄的图像，判断图像中高亮点总数和像素总数的比值是否大于上限阈值，或小于下限阈值，进而进行曝光时间的相应调整，直至将高亮点总数和像素总数的比值调节到上、下限阈值之间的合适范围内。这样，高亮点总数和像素总数的比值调节到一个合适范围时，高亮的区域不太多不会将许多重要信息覆盖掉，同时又使得亮度0-255的区间可以被充分利用，从而可以更多地表达出边缘信息纹理信息等细节信息，获得效果更好，更易辨识的图像信息。附图说明图1为现有技术的手势检测器误识别为人手的图片；图2为本发明实施例提供的一种图像中颜色白平衡调整方法流程图；图3为本发明实施例提供的人脸检测器检测到人脸区域的示意图；图4为本发明实施例提供的从图像中截取的人脸区域的示意图；图5为本发明实施例提供的一种图像中手势识别方法流程图；图6为本发明实施例提供的曝光不当的图像示意图；图7为本发明实施例提供的一种曝光调节方法流程图；图8为本发明实施例提供的一种统计该图像中高亮点总数的具体方法流程图；图9为本发明实施例提供的一种图像中颜色白平衡调整装置的内部结构框图；图10为本发明实施例提供的一种图像中手势识别装置的内部结构框图；图11为本发明实施例提供的一种曝光调节装置的内部结构框图。具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本
技术领域：
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。本发明的主要思路在于，先定位图像中的人脸区域，再通过对人脸区域使用不同的白平衡参数进行颜色调整，找到能将人脸区域的颜色调整为肤色的白平衡参数；根据这个白平衡参数再对整个图像进行颜色的白平衡调整。这样，通过以人脸区域为基准进行平衡调节，从而调节整体图像的白平衡获得更接近真实色彩的图像，解决了图像颜色失真严重的问题，且不需手动进行颜色校正。在接近真实色彩的图像的基础上进行手势识别，就可以避免因颜色的误判而导致的手势识别的失败，从而提高图像中手势识别的准确率。下面结合附图详细说明本发明技术方案。本发明实施例提供的一种图像中颜色白平衡调整方法，具体流程如图2所示，包括如下步骤：s201：检测图像中的人脸区域。人脸检测技术目前已经非常成熟，相对于手势，人脸的细节特征要明显的多，即使不依赖肤色，人脸检测也能保证非常高的准确性。使用普通的人脸检测器(不依赖颜色)即可检测图像中的人脸区域。如图3所示，人脸检测器检测到人脸区域，并将人脸区域截取出来。若同一帧图像中有两个以上的人脸被检测到，则只截取估算距离最近的(占像素数最多)那一个人脸区域进行后续步骤。s202：确定将所述人脸区域的颜色调整为肤色的白平衡参数。本发明的发明人考虑到，环境的色温值对图像颜色rgb(红、绿、蓝)的增益影响很大。如表1所示，所有色温值都对应一组最佳的rgb三个通道的增益值。所以只要对场景环境的色温值估计正确，就可以通过该色温对应的增益值把图像中每一个像素都修复成正确的颜色值，从而让图像颜色和实际相符。表1分类色温r-gaing-gainb-gain阴天7500k0x00cd0x00850x0080日光6500k0x00a30x00800x0088白热光5000k0x00a50x00800x0088日光灯4400k0x00980x00800x00a8钨丝灯2800k0x00800x00810x00a4如表1所示，所有色温值都对应一组最佳的rgb三个通道的增益值。色温越高r增益需要的值越高反之越低，b增益则是色温越低它就需要设置更高的值，反之变低。实际环境中的色温变化是连续的，也可以找到其它介于这五中情况之间的色温值所对应的rgb增益，这里只列举5种情况表达一种趋势。事实上，通常在安卓嵌入式开发时(通常智能电视等设备都是安卓系统)，一般当前帧的图像是通过调用linux层的v4l驱动(一种视频驱动)读取摄像头数据得到的，而这个v4l驱动支持用户修改白平衡值。比如只需要通过v4l的接口把白平衡值修改为2800，v4l驱动就会自动去查找2800k色温对应的增益值，从而拍摄输出的下一帧图像就是基于该色温修正后的图像。所以目前的问题在于摄像头无法自己准确判断出当前环境下色温是多少。基于上述分析，由此本步骤中，可以多次调整环境的色温值，在每次调整色温值后，根据该色温值对所述人脸区域各像素的颜色进行校正，统计所述人脸区域中肤色域内的像素数；将使得人脸区域中肤色域内的像素数最大的色温值，确定为将所述人脸区域的颜色调整为肤色的白平衡参数。具体地，在从下限到上限的范围内调整若干次色温值；使得相邻调整操作得到的色温值之间的差值是固定的。比如，以500k为梯度，从2000k到8000k可以调整13次色温值。在一次调整色温值后，以该色温值对应的rgb增益值校正检测出的人脸区域，之后统计校正后的人脸区域中肤色域内的像素数。这样，调整13次色温值，则分别对应13组增益值；以13组增益值依次校正人脸区域，比如校正如图4所示的截取的人脸区域，则调整的每个色温值都会对应一个校正后的人脸区域中肤色域内的像素数n(t)。其中t为色温值，t＝2000,2500….8000。使n(t＝t)最大的那个t值，即是最终判定的色温值，将该色温值确定为将所述人脸区域的颜色调整为肤色的白平衡参数。其中，肤色的范围定义范围为：r>95&g>40&b>20&r>g&r>b&max(r,g,b)-min(r,g,b)>15&abs(r-g)>15。t＝t时，一个像素的r，g，b值需要满足以上所有条件时才确认该像素颜色为肤色，才能令n(t)加1。s203：根据确定的白平衡参数对所述图像进行颜色的白平衡调整。具体地，可以将上述步骤中确定出的白平衡参数，即最终判定的色温值作为参数反馈给v4l驱动，则v4l驱动会以该色温值所对应的rgb增益值对拍摄的图像进行颜色的白平衡调整，从而输出经过颜色的白平衡调整后的图像或视频。这样，通过确定的白平衡参数对整个图像进行颜色的白平衡调整，使得图像接近真实色彩，解决了图像颜色失真严重的问题。而图像中的手势区域的颜色也会被调整为肤色，便于利用颜色特征进行手势识别；同时，图像中的其它颜色则会从肤色区域中校正出去，避免其它颜色的、形状与手势类似的物品被误判为肤色的手势。基于上述的颜色白平衡调整方法，本发明实施例提供的一种图像中手势识别方法，具体流程如图5所示，包括如下步骤：s501：检测图像中的人脸区域。s502：确定将所述人脸区域的颜色调整为肤色的白平衡参数。s503：根据确定的白平衡参数对所述图像进行颜色的白平衡调整。s504：从经过颜色的白平衡调整后的图像中识别手势。通过确定的白平衡参数对整个图像进行颜色的白平衡调整后，图像更接近真实色彩，而图像中的手势区域的颜色也会被调整为肤色，便于利用颜色特征进行手势识别；同时，图像中的其它颜色则会从肤色区域中校正出去，避免其它颜色的、形状与手势类似的物品被误判为肤色的手势。这样，从经过颜色的白平衡调整后的图像中识别手势的准确率会大大提高。上述s501～s503各步骤的具体实现方法，分别与上述s201～s203各步骤中的具体实现方法相同，此处不再赘述。更优地，本发明的发明人考虑到，上述图像中颜色白平衡调整方法和手势识别方法的前提是进行人脸检测，而在某些逆光背光环境下，整个场景会过亮，导致纹理信息被淹没，前景和背景混合在一起无法分辨，或背景过亮导致前景是黑的，如图6所示。因此，在检测图像中的人脸区域之前，最好还进行曝光调节。事实上，一些摄像头里内置了针对曝光自适应的算法，现有的常规解决办法有如下：1、以图像平均亮度为准调整曝光；2、以图像中间区域亮度为准调整曝光(因为一般被拍照的物体会被人为的摆中间，保证中间物体清晰)；3、分为几个区域加权统计，中心权重较大(原则同上)；4、直方图均衡化；其中2、3实际效果差不多，而上述现有方法不适用手势识别场景的原因有如下：1、手势指令并不能保证出现在屏幕中间，所以上述现有方法2，3均不能保证曝光调节后手所在的位置信息恢复的好。2、当算法认为环境太暗时，普通的曝光调节算法将曝光时间上调至每帧超过30ms一倍甚至两倍以增加亮度，严重影响实时性(30ms内一帧为流畅)，摄像头原本30fps的帧率就会下降，出现卡顿。3、直方图均衡化只是在人眼认为对比度不明显时把信息加强的方法，但曝光过弱或过强，原始信息就是一团白或黑(像素值255或0)，从摄像头获取到的图像中物体的边缘信息纹理信息原本就不存在，均衡化也无效。4、很多情况下取全图像的亮度平均水平也不能代表图像大多数区域，以图6为例，窗口非常亮(大多数像素接近255)但所占像素数很少，其它地方又偏暗(50左右)所占面积大，这样得出的平均值会是一个中等水平的亮度，但根据这个水平去调节曝光并不适用于该图的大多数区域。综上，现有的曝光调节方法不适用手势识别场景，在手势识别场景中或者曝光调节效果不佳，或者会出现卡顿现象。基于上述分析，本发明实施例提供的曝光调节方法中，针对以上问题加以优化，首先禁用摄像头自带的自适应调节模块，进而解决卡顿问题。对于一般照相机来说，曝光时间是30ms还是50ms对使用体验影响并不大，因为只要能按下快门获得照片就可以，几十毫秒的差距根本感觉不到。但手势识别另当别论，30ms一帧的速度可以获得流畅的操作体验，如果这个时间上升至50ms，经过长时间连续帧的体验使用者是可以感觉到差别的。所以本发明实施例提供的曝光调节方法中，针对手势识别控制场景将自调节的曝光时间上限设定为30ms。经不同环境测试，即便是较暗的环境下30ms的曝光时间也足以显示出图像检测所需的图像细节，我们需要的是检测器能够识别的细节，而不是人眼需要的直观感受，这是针对手势识别和针对拍照的重要区别。图像的原始数据通常是yuv422/yuv420等常见格式，假设图像的分辨率为hxw，其中h为高，w为宽，直接取yuv(亮度参量和色度参量分开表示的像素格式)图像的y通道即可获取代表亮度的单通道图像。本发明实施例提供的曝光调节方法的基本思想是，图像中最亮的点亮度值接近或等于255，而一副图中若存在过多的点接近或达到255则说明这幅图处于高亮状态，应该适当减小曝光，因为若高亮的像素过多，信息表达的上限就是255，很多物体聚集在这个区间，这部分高亮的区域若包括了重要信息，这些信息的对比度会被覆盖掉。而一副图像中若达到255的像素太少，则说明0-255的区间没有被充分利用，适当增加曝光值让物体分布在更多的亮度范围可以提高识别的准确度。因此，在进行上述步骤的检测图像中的人脸区域之前，本发明实施例提供的曝光调节方法具体流程，如图7所示，包括如下步骤：s701：统计所述摄像头当前拍摄的图像中高亮点总数和像素总数。本步骤中，对于摄像头当前拍摄的一帧图像，统计该图像中高亮点总数和像素总数。其中，统计该图像中高亮点总数的具体方法的流程，如图8所示，可以包括如下子步骤：子步骤s801：确定所述摄像头当前拍摄的图像中的高亮像素块；其中，所述高亮像素块为具有联通关系的、至少n个高亮点组成的像素区域；其中，所述n为设定的自然数。本领域技术人员可以根据经验或实际情况设置n，比如，将n设为25。而高亮点具体可以是亮度值大于亮度上限值的像素点，比如亮度值大于245的像素点。子步骤s802：将所有高亮像素块的像素之和作为统计出的高亮点总数。s702：判断所述高亮点总数和像素总数的比值与设定的上、下限阈值的大小；若所述比值大于设定的上限阈值，则执行如下步骤s703；若所述比值小于设定的下限阈值，则执行如下步骤s704。其中，上、下限阈值是由本领域技术人员根据经验或实际情况设定。比如，设定上限阈值为10％，下限阈值为3％。s703：下调曝光时间。具体地，当判断所述比值大于设定的上限阈值，则平滑下调曝光时间。比如，当所述比值大于10％，即高亮点(亮度大于245的像素点)总数大于总量的10％的时候，按设定调节步长(比如1ms)，下调曝光时间。s704：上调曝光时间。具体地，当判断所述比值小于设定的下限阈值，则平滑上调曝光时间。比如，当所述比值小于3％，即高亮点(亮度大于245的像素点)总数小于总量的3％的时候，按设定调节步长(比如1ms)，下调曝光时间。而曝光时间的上调极值设定为30ms则可以避免视频图像拍摄过程中出现卡顿现象。在对曝光时间进行了一次调节后，有可能曝光效果还是不理想，高亮点总数和像素总数的比值还是大于上限阈值，或小于下限阈值。则可以针对后续拍摄的各帧图像运用上述的曝光调节方法，直至将高亮点总数和像素总数的比值调节到上、下限阈值之间的合适范围内。这样，高亮点总数和像素总数的比值调节到一个合适范围时，高亮的区域不太多不会将许多重要信息覆盖掉，同时又使得0-255的区间可以被充分利用，从而可以更多地表达出边缘信息纹理信息等细节信息；获得效果更好，更易辨识的图像信息。上述的曝光调节机制可以是伴随拍摄过程全程的，一旦环境发生变化，就可以自适应地实时调整曝光时间。基于上述的图像中颜色白平衡调整方法，本发明实施例提供的一种图像中颜色白平衡调整装置，内部结构如图9所示，包括：人脸检测模块901、白平衡参数确定模块902、白平衡调整模块903。其中，人脸检测模块901用于检测图像中的人脸区域。白平衡参数确定模块902用于确定将所述人脸区域的颜色调整为肤色的白平衡参数。白平衡调整模块903用于根据白平衡参数确定模块902确定的白平衡参数对所述图像进行颜色的白平衡调整。上述图像中颜色白平衡调整装置中各模块功能的具体实现方法可参考上述图2所示流程各步骤中的方法，此处不再赘述。基于上述的图像中手势识别方法，本发明实施例提供的一种图像中手势识别装置，内部结构如图10所示，包括：人脸检测模块1001、白平衡参数确定模块1002、白平衡调整模块1003、识别模块1004。其中，人脸检测模块1001用于检测图像中的人脸区域；白平衡参数确定模块1002用于确定将所述人脸区域的颜色调整为肤色的白平衡参数；白平衡调整模块1003用于根据确定的白平衡参数对所述图像进行颜色的白平衡调整；识别模块1004用于从经过白平衡调整模块1003进行颜色的白平衡调整后的图像中识别手势。进一步，本发明实施例提供的图像中手势识别装置中还可包括：曝光时间调节模块1005。曝光时间调节模块1005用于对用于拍摄所述图像的摄像头的曝光时间进行调节：统计所述摄像头当前拍摄的图像中高亮点总数和像素总数，计算所述高亮点总数和像素总数的比值；当判断所述比值大于设定的上限阈值时，下调曝光时间；当判断所述比值小于设定的下限阈值时，上调曝光时间。基于上述的曝光调节方法，本发明实施例提供的一种曝光调节装置，内部结构如图11所示，包括：高亮点统计模块1101、调节模块1102。高亮点统计模块1101用于统计所述摄像头当前拍摄的图像中高亮点总数和像素总数，计算所述高亮点总数和像素总数的比值；调节模块1102用于判断所述比值大于设定的上限阈值时，下调曝光时间；当判断所述比值小于设定的下限阈值时，上调曝光时间。本发明实施例的技术方案中，先检测图像中的人脸区域，再通过对人脸区域使用不同的白平衡参数进行颜色调整，找到能将人脸区域的颜色调整为肤色的白平衡参数；根据这个白平衡参数再对整个图像进行颜色的白平衡调整。这样，通过以人脸区域为基准进行平衡调节，从而调节整体图像的白平衡可以获得更接近真实色彩的图像，解决了图像颜色失真严重的问题，且不需手动进行颜色校正。在接近真实色彩的图像的基础上进行手势识别，就可以避免因颜色的误判而导致的手势识别的失败，从而提高图像中手势识别的准确率。本发明实施例的技术方案中，针对拍摄的图像，判断图像中高亮点总数和像素总数的比值是否大于上限阈值，或小于下限阈值，进而进行曝光时间的相应调整，直至将高亮点总数和像素总数的比值调节到上、下限阈值之间的合适范围内。这样，高亮点总数和像素总数的比值调节到一个合适范围时，高亮的区域不太多不会将许多重要信息覆盖掉，同时又使得亮度0-255的区间可以被充分利用，从而可以更多地表达出边缘信息纹理信息等细节信息，获得效果更好，更易辨识的图像信息。本
技术领域：
技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本发明的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12