专利名称：利用手势识别控制数字标牌的方法和系统的制作方法
技术领域：
本发明涉及人机视觉互动领域，尤其是指一种利用手势识别控制数字标牌进行鼠标点击操作的方法和系统。
背景技术：
当前主流公告广告展示形式主要有两种非互动数字标牌和利用触摸屏的互动数字标牌。非互动数字标牌主要采用定时切换公告广告的方式，用户在某一时刻停留在所述数字标牌前，只能被动接受此时标牌上显示的信息，而无法看到其他的信息，用户如果不感兴趣，就可能立刻走开；即使用户正好看到自己感兴趣的信息，也无法重复仔细观看。这种方式用户的方便性较差，展示效果不好。
利用触摸屏的互动数字标牌，可以应用户的请求而选择特定的信息，在短时间内就可以让用户找到感兴趣的信息，也可以让用户重复仔细观看，用户方便性高，展示效果好。但是采用触摸屏会导致成本较高，特别是公告广告往往需要较大的屏幕，而触摸屏的价格是随着展示屏幕的尺寸呈指数性增长的。为了解决这一问题，本发明提供了一种利用手势识别控制数字标牌进行鼠标点击操作的方法和系统。
发明内容
本发明利用手势识别控制数字标牌的方法，包括以下步骤步骤I :将需要点击的信息显示在显示区域上方位置；步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像；其中，从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像，对所述HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，得到三个分量二值图像，对三个分量图像进行相交运算，最终得到肤色二值图像；所述H分量阈值范围为
U [O. 609，I. 000]，所述S分量阈值范围为[O. 156 O. 664]，所述V分量阈值范围为[O. 117，O. 742]。由于需要点击的信息位于显示屏上方位置，用户在点击过程中人手区域与人脸等区域没有重叠，所以所述肤色二值图像中包含独立完整的人手肤色区域和其他肤色区域，对每个肤色区域按照所占用户图像的比例的大小进行筛选，即计算每个肤色区域与所述用户图像的面积比，保留面积比在阈值范围C内的肤色区域，将其余的肤色区域赋值为“0”，以去除其他肤色区域，得到人手二值图像。其中，阈值C是预先设定并且可以调节的，本实施例中，阈值范围C为[O. 030，O. 150]。优选的，采集到所述用户图像后，在进行步骤2以前，先对所述用户图像进行简单平滑处理，利用均值漂移分割方法将其分割为边界较明显的几个区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标。具体为，将所述用户图像上的像素点与显示屏上的像素点按比例进行映射，将手掌点映射到的像素点的位置作为鼠标的位置，并将鼠标显示出来。优选的，可选取外接矩形的左上角长宽各1/5处的像素点作为手掌点。步骤5 :当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，触发点击操作。对应的，本发明利用手势识别控制数字标牌的系统，包括以下部分摄像头和显示屏，摄像头用于采集用户图像；图像处理单元，用于接收所述用户图像，并按照以上方法对其进行处理，得到外接矩形图像；鼠标映射单元，用于接收所述外接矩形图像，选取所述外接矩形的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置，并在显示屏上将鼠标显示出来；点击控制单元，用于接收所述鼠标的位置信息，当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，发送点击命令给显示信息控制单元；显示信息控制单元,将需要点击的信息显示在显示屏的上方位置,接收所述点击命令并完成相应的点击操作。
图I为本发明利用视觉手势识别控制数字标牌的方法流程2为本发明利用视觉手势识别控制数字标牌的系统示意3为本发明利用视觉手势识别控制数字标牌的工作方式示意图
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。如图I所示，本发明实施例利用手势识别控制数字标牌的方法，其主要包括以下步骤步骤I :将需要点击的信息显示在显示区域的上方位置；步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像，具体为从所述用户图像中提取肤色二值图像，是将所述人手二值图像转换为HSV图像(HSV图像具有H (色调)、S (饱和度)、V (亮度)三个分量，每一个分量的数值都在(Tl之间)，对每个HSV图像分别按照预先设定好的H、S、V分量的阈值范围进行调节，将在阈值范围内的像素点赋值为“ I ”，在阈值范围外的像素点赋值为“O”，得到三个分量各自的二值图像；最后对三个分量的二值图像进行相交运算，最终得到肤色二值图像。其中，三个分量的阈值范围是预先设定并且可以调节的，所述H分量，最佳的阈值范围为
U [O. 609,1.000];所述S分量，最佳的阈值范围为[O. 156、. 664];所述V分量，最佳的阈值范围为[O. 117,0. 742]。由于需要点击的信息位于显示屏上方位置，用户在点击过程中人手区域与人脸等区域没有重叠，所以所述肤色二值图像中包含独立完整的人手肤色区域和其他肤色区域，对每个肤色区域按照所占用户图像的比例的大小进行筛选，即计算每个肤色区域与所述用户图像的面积比，保留面积比在阈值范围C内的肤色区域，将其余的肤色区域赋值为“0”，以去除其他肤色区域，保留人手肤色区域，得到人手二值图像。其中，阈值C是预先设定并且可以调节的，本实施例中，阈值范围C为[O. 030,0. 150]。优选的，采集到所述用户图像后，在进行步骤2以前，先对所述用户图像进行简单 平滑处理，利用均值漂移分割方法将其分割为几个边界较明显的区域，这样能达到减小图像，降低运算复杂度，提高时效性的目的。步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像；步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标。具体为，将所述用户图像上的像素点与显示屏上的像素点按比例进行映射，将手掌点映射到的像素点的位置作为鼠标的位置，并将鼠标显示出来。其中，所述任意固定一点的像素点，指的是在所述外接矩形图像上相对位置固定的某一像素点，例如每次都选取外接矩形最上面正中间的像素点作为手掌点，或者每次都选取所述外接矩形最左上角的像素点作为手掌点。优选的，由于大多数用户习惯使用右手，当用户使用右手与系统进行交互时，手肘的位置总是相对手掌靠右，同时，手掌位置总是处于手肘位置上方，所以可以选取所述外接矩形的左上角长宽各1/5处的像素点作为手掌点，这样能使鼠标对用户手势的跟随性更好，用户的体验性会更好。步骤5 :当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间种后，触发点击操作。所述预定时间一般为几秒钟，可以根据实际应用进行设定。对应的，本发明一种利用手势识别控制数字标牌的系统，如图2所示，包括以下部分摄像头和显示屏，摄像头用于采集用户图像；图像处理单元，用于接收所述用户图像，并按照以上方法对其进行处理，得到外接矩形图像；鼠标映射单元，用于接收所述外接矩形图像，选取所述外接矩形的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置，并在显示屏上将鼠标显示出来；点击控制单元，用于接收所述鼠标的位置信息，当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，发送点击命令给显示信息控制单元；所述预定时间一般为几秒钟，可以根据实际应用进行设定。
显示信息控制单元,将需要点击的信息显示在显示屏上方位置,接收所述点击命令并完成相应的点击操作。在本实施例中，利用手势识别进行控制的数字标牌的工作方式如图3所示显示屏上方显示4个海报缩略图，上方左边显示一个左箭头图标，上方右边显示一个右箭头图标，显示屏中下方位置显示当前正在观看的海报的完整放大图。系统通过摄像头采集用户的图像，并对用户的手势按照上述方法进行识别，用户通过移动手的位置来控制鼠标移动，当鼠标移动到上方海报缩略图中的任意一个，并停留2秒钟后，系统进行点击操作，将该海报的完整放大图显示出来；同样的，当鼠标移动到上方左箭头或右箭头图标并停留2秒钟后，系统进行点击操作，向前或者向后翻一页。进一步的，当鼠标移动到上方可点击信息处，系统就在显示屏上显示出一个进度环表示进度，当鼠标停留到2秒时，进度环转满，触发点击操作，这样的设计可以时刻提供给用户系统反馈，保证动态交互体验。当然，还可以采用其他的方式，比如进度条或者语音的方式提示用户，此处不再赘述。 在本发明实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现，本发明并不对其进行限定。以上依据图式所示的实施例详细说明了本发明的构造、特征及作用效果，以上所述仅为本发明的较佳实施例，但本发明不以图面所示限定实施范围，凡是依照本发明的构想所作的改变，或修改为等同变化的等效实施例，仍未超出说明书与图示所涵盖的精神时，均应在本发明的保护范围内。
权利要求
1.一种利用手势识别控制数字标牌的方法，其特征在于包括以下步骤 步骤I:将需要点击的信息显示在显示区域的上方位置； 步骤2 :持续采集用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像； 步骤3 :对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像； 步骤4:选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置并显示出鼠标； 步骤5 :当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，触发点击操作。
2.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像后分别按照H、S、V分量的阈值范围进行调节，得到三个分量二值图像，再进行相交运算，得到所述肤色二值图像，所述H分量阈值范围为
U [O. 609，I. 000]，所述S分量阈值范围为[O. 156 O. 664]，所述V分量阈值范围为[O. 117,0. 742]。
3.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于采集到所述用户图像后，在进行步骤2之前，先利用均值漂移分割方法将其分割为几个边界较明显的区域。
4.根据权利要求I所述的利用手势识别控制数字标牌的方法，其特征在于选取外接矩形的左上角长宽各1/5处的像素点作为手掌点。
5.一种利用手势识别控制数字标牌的系统，其特征在于 摄像头和显示屏，摄像头用于采集用户图像； 图像处理单元，用于接收所述用户图像，从每一帧用户图像中提取出肤色二值图像，对其中的各个肤色区域按照所占用户图像的比例的大小进行筛选，得到人手二值图像；对所述人手二值图像进行扩张腐蚀得到相对平滑图像，从所述相对平滑图像中检测出人手轮廓链表，从人手轮廓链表中提取出外接区域，得到外接矩形图像； 鼠标映射单元，用于接收所述外接矩形图像，选取所述外接矩形图像的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为鼠标所在位置，并在显示屏上将鼠标显示出来； 点击控制单元，用于接收所述鼠标的位置信息，当所述鼠标移动到上方可点击的信息处，并停留在此信息上预定时间后，发送点击命令给显示信息控制单元； 显示信息控制单元，将需要点击的信息显示在显示屏的上方位置，接收所述点击命令并完成相应的点击操作。
6.根据权利要求5所述的利用手势识别控制数字标牌的系统，其特征在于所述图像处理单元从所述用户图像中提取肤色二值图像，是将所述用户图像转换为HSV图像后分别按照H、S、V分量的阈值范围进行调节，得到三个分量二值图像，再进行相交运算，得到所述肤色二值图像，所述H分量阈值范围为
U [O. 609，I. 000]，所述S分量阈值范围为[O. 156、. 664]，所述V分量阈值范围为
。
7.根据权利要求5所述的利用手势识别控制数字标牌的系统，其特征在于所述图像处理单元接收到所述用户图像后，在进行步骤2之前，先利用均值漂移分割方法将其分割为几个边界较明显的区域。
8.根据权利要求5所述的利用手势识别控制数字标牌的系统，其特征在于所述鼠标映射单元选取外接矩形的左上角长宽各1/5处的像素点作为手掌点。
全文摘要
本发明涉及一种利用手势识别控制数字标牌的方法和系统，可以通过对用户手势进行识别来实现鼠标点击操作，其步骤为将需要点击的信息显示在屏幕上方位置；持续采集用户图像，对采集到的每一帧用户图像都进行处理，得到人手二值图像和对应的外接矩形图像；选取外接矩形的任意固定一点的像素点作为手掌点，将手掌点在所述用户图像上的位置映射为系统的鼠标所在位置并显示出来；当所述鼠标移动到上方可点击的信息处，并停留预定时间后，进行点击操作。
文档编号G06F3/01GK102830801SQ20121027566
公开日2012年12月19日 申请日期2012年8月3日 优先权日2012年8月3日
发明者朱明 , 郑阳, 刘锐 申请人:中国科学技术大学