一种手势遥控系统的制作方法
【专利摘要】本发明公开了一种手势遥控系统，包括:摄像单元(41);图像识别单元(42);显示区域计算单元(43)，以由所述图像识别单元识别的操作者的身体的一部分为基准，计算作为操作者能够对图形用户界面进行操作的范围的显示区域(3);显示单元(1)，在由所述显示区域计算单元(43)计算出的显示区域(3)内，与图形用户界面一起显示与所述操作者的身体的一部分相应的图像;操作检验单元(44)，当所述图像识别单元检测到存在手部对于图形用户界面进行了操作时，对于该操作进行有效性检验，以判断该操作是否来自所述显示区域(3)中的所述操作者。由此，可以排除来自非操作者的其他观众的干扰动作，提高手势遥控系统的可靠性。
【专利说明】ー种手势遥控系统
【技术领域】
[0001]本发明涉及一种电子设备的人机交互技术，具体涉及ー种手势遥控系统。
【背景技术】
[0002]最近几年，手势遥控成为电视市场关注的热点。在2012年全球消费电子展上，很多电视厂商推出了手势识别等创新的电视遥控功能，外界預言，手势将逐渐取代传统的电视遥控器。不过，这些创新技术在实际应用方面还面临ー些障碍，需要进行完善。
[0003]已经存在一种手势遥控技木，如图1所示，利用摄像装置(未示出)对操作者5进行摄像并识别，以识别出的操作者5的身体部位(比如脸部2)为基准，计算作为操作者5能够对图形用户界面4a，4b，4c，4d进行操作的范围的显示区域3，在上述显示区域3内，将上述操作者5的身体与图形用户界面一起显示在显示设备I的画面上。
[0004]其中，显示区域3的范围设置难以适应实际应用中的各种情況。电视机作为客厅娱乐中心，通常的情况是多个家庭成员围绕在电视屏幕前同时收看节目。如图2所示，操作者5的身边还存在其他观众，此时，除该操作者5的手部以外，其他观众的手部也很可能出现在显示区域3中，如图3所示。此时，该观众手部的有意或无意移动将可能导致对图形用户界面上选项按钮的误操作，导致出现违反操作者5意愿的操作结果，从而影响手势遥控的可靠性和用户的操作体验。
【发明内容】
[0005]针对现有技术的不足，本发明提出ー种手势遥控系统，g在提高手势遥控系统的可靠性，从而改善用户的操作体验。
[0006]本发明的内容为:
[0007]ー种手势遥控系统，其特征在于，包括:
[0008]摄像单元,对操作者进行摄像；
[0009]图像识别单元，对由所述摄像单元摄像的操作者的身体的一部分进行识别；
[0010]显示区域计算单元，以由所述图像识别单元识别的操作者的身体的一部分为基准，计算作为操作者能够对图形用户界面进行操作的范围的显示区域；
[0011]显示单元，在由所述显示区域计算单元计算出的显示区域内，与图形用户界面一起显示与所述操作者的身体的一部分相应的图像；
[0012]操作检验单元，当所述图像识别单元检测到存在手部对于图形用户界面进行了操作吋，对于该操作进行有效性检验，以判断该操作是否来自所述显示区域中的所述操作者；
[0013]控制单元，根据所述操作检验单元的判断结果，完成相应的控制动作。
[0014]本发明提出的技术方案的有益效果将通过以下实施例的阐述而得到详尽的体现。
【专利附图】
【附图说明】
[0015]图1是现有手势遥控系统的操作画面示意图。[0016]图2是电视机实际使用环境的示意图。
[0017]图3是现有手势遥控系统在实际使用环境下的操作画面示意图。
[0018]图4是本发明提出的手势遥控系统的功能框图。
[0019]图5是提取的观众人体轮廓在显示区域中的部分示意图。
【具体实施方式】
[0020]下面，对本发明的实施例进行说明。
[0021]首先介绍本发明的技术构思。现有技术中，作为图形用户界面的选项按钮4a，4b，4c，4d通常分布在显示区域的四周边缘，与操作者的身体躯干部分保持一定距离。作为示例，图1和图3中，选项按钮4a, 4b, 4c, 4d分布于显示区域3的四个角落位置,而操作者5的身体躯干则位于显示区域3的中央。因此，当其他观众的手部6也进入显示区域3吋，如果其出现在显示区域3的中央区域，尚不会导致对选项按钮4a，4b，4c，4d的误操作。相反，如果其出现在显示区域3的四周边缘，具体而言，在图3中，其他观众的手部6出现在显示区域3的左下角落，那么，由于该观众无意或有意的动作，当其手部6移动到附近的选项按钮4c( “菜单”)上时，则会导致对“菜单”按钮的操作，而这ー操作通常不符合操作者5本人的意愿。
[0022]鉴于图形用户界面(选项按钮4a，4b，4c，4d)与操作者5的身体躯干部分保持一定距离，当检测到手部对于图形用户界面进行操作时，如果该手部与操作者5的身体躯干不存在连接关系，则该操作来自操作者5以外的其他观众的概率相当大，因此，这样的操作应当被判定为无效操作，而不予以响应。也即，可以通过判断对图形用户界面进行了操作的手部与操作者5的身体躯干之间是否存在连接关系，来排除容易造成误动作的、来自操作者本人以外的其他观众的干扰。
[0023]下面，參照图3-5具体阐述本发明的技术方案。首先，操作者5做出特定动作，发出开始遥控的命令。该特定动作可以是各种姿体动作，例如在规定时间内挥手、手掌面向摄像单元在规定时间内保持静止、做出特定手形并在规定时间内保持静止或者招手的动作。摄像単元41对显示単元I的前方进行摄像，当图像识别单元42在摄像单元41获取的图像中检测到某一观众的特定动作时，在以检测到特定动作的位置附近的规定范围内查找是否有操作者5的脸部。在未发现脸部或者检测到脸部的数量多于ー个的情况下，对于操作者5发出通知，以使操作者调整姿态，在其脸部2的附近重新做出上述特定动作。或者，在特定实施例中，还可以在开机时发出通知，示意使用者必须在其自身脸部附近做出手势动作，以进行手势遥控。通知的方法可以在显示単元I上显示相应的消息，也可以用声音等通知。如果检测到了脸部2，显示区域计算单元43计算与上述检测到的脸部2的位置相对应的图形用户界面4a，4b，4c，4d的显示区域3，并将计算结果通知控制单元47。控制单元47用于对显示单元I的显示画面进行控制，在显示单元I的上述显示区域3内，与图形用户界面4a，4b,4c,4d 一起显示与操作者5的身体的一部分相应的图像。
[0024]接下来，图像识别单元42继续对于显示区域3中出现的手部进行检测和跟踪。当检测到存在手部对于图形用户界面4a，4b，4c，4d进行了操作时，图像识别单元42通知操作检验单元44对于该操作进行有效性检验，以判断该操作是否真正来自操作者5。如前所述，这可以通过判断进行了界面操作的该手部与操作者5的身体躯干之间是否存在连接关系来实现。
[0025]这种连接关系的检测可以从人体轮廓的连通性角度来考虑。在本实施例中，操作检验单元44包括轮廓提取単元45和连通区域检测单元46。此外，为了保证较高的精度，摄像单元41优选采用3D成像系统,在特定实施例中，例如是飞行时间(Time of Flight,TOF) 3D摄像单元。该3D摄像单元捕获位于显示单元前方的3D图像数据，该3D图像数据包括对于每一像素的深度值，该深度值对应于由该像素成像的点到3D摄像单元的距离。
[0026]轮廓提取单元45用于从摄像单元41中捕获的图像中提取出观众的人体轮廓。从图像数据中提取人体轮廓的ー种典型方法是背景差分法。背景差分法中，首先，在摄像单元41的前方不存在观众的状态下，摄像单元41进行拍摄，并将该结果作为背景图像预先保存起来。然后，在进行遥控操作的状态下，按照每个像素或每个块来对摄像単元41输出的图像数据与背景图像进行比较，并将两者之间不同的部分作为人体区域提取出来。背景差分法的优点在于对于背景的设置要求比较宽松，可以是复杂的图案，因而适合客厅环境等实际应用场合。
[0027]具体而言，如果图像⑴是由摄像単元41捕获的源图像的深度图，图像(Itl)是在没有观众的情况下相同场景的初始深度图，则利用背景差分法，从深度图(Indg)中分离出观众的人体区域的过程如下:
[0028](I)-(10) = (Indg)
[0029]然后，使该深度图(Indg) ニ值化，以便获得位图图像(Ib)，在该位图图像(Ib)中由“I”像素标记观众的身体，以及由“ 0”像素标记背景，由此便得到提取出的人体轮廓。图5示出在图2所示的使用状态下，提取出的观众人体轮廓落入显示区域3中的部分。
[0030]连通区域检测单元46用于对显示区域3中的人体轮廓部分进行连通性检测。连通区域检测单元46接收从轮廓提取单元45输出的人体轮廓数据，井根据显示区域计算单元43计算的显示区域3，从人体轮廓数据中截取与显示区域3相应的轮廓部分。基于ニ值图像的连通区域检测是图像处理、模式识别中的常用方法，典型的算法为连通标记算法以及基于该算法的各种改进算法，由于是成熟的现有技木，因此不作为本发明的重点进行阐述。
[0031]具体而言，连通区域检测单元46根据图像识别单元42的通知，对于显示区域3中的人体轮廓部分，检测对图形用户界面进行了操作的手部轮廓区域与操作者5的身体躯干轮廓之间是否为连通区域。其中，手部轮廓的位置可以从图像识别单元42的图像识别结果中获取。另外，由于图像识别单元42对于操作者5的脸部2也进行识别，因此可以将脸部2所对应的轮廓区域作为操作者5身体躯干的代表区域，即，连通区域检测单元46检测进行了界面操作的手部轮廓区域与操作者5的脸部2所对应的轮廓区域之间是否为连通区域。
[0032]连通区域检测单元46将检测结果通知控制单元47。如果检测到二者为连通区域，则控制単元47判定该操作有效，并即刻完成相应的操作动作，比如控制显示単元I更新用户图形界面等；如果检测到二者不为连通区域，则控制単元47判定该操作为无效操作，不予响应。
[0033]藉此，即可在一定程度上排除来自操作者本人以外的其他观众对于图形用户界面的干扰，提高手势遥控系统的可靠性，改善用户的使用体验。
[0034]以上利用具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域技术人员，依据本发明的思想，在【具体实施方式】及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
【权利要求】
1.ー种手势遥控系统，其特征在于，包括: 摄像单元(41)，对操作者进行摄像； 图像识别单元(42)，对由所述摄像单元摄像的操作者的身体的一部分进行识别； 显示区域计算单元(43)，以由所述图像识别单元(42)识别的操作者的身体的一部分为基准，计算作为操作者能够对图形用户界面进行操作的范围的显示区域(3); 显示单元(I)，在由所述显示区域计算单元(43)计算出的显示区域(3)内，与所述图形用户界面一起显示与所述操作者的身体的一部分相应的图像； 操作检验单元(44)，用于当所述图像识别单元(42)检测到存在手部对于所述图形用户界面进行了操作吋，对于该操作进行有效性检验，以判断该操作是否来自所述图像识别単元(42)识别的操作者； 控制单元，根据所述操作检验单元的判断结果，完成相应的控制动作。
2.根据权利要求1所述的手势遥控系统，所述操作检验单元(44)通过检测所述显示区域(3)中，对于所述图形用户界面进行了操作的手部与所述操作者的身体躯干之间是否存在连接关系，完成上述有效性检验。
3.根据权利要求2所述的手势遥控系统，所述操作检验单元(44)包括轮廓提取単元(45)和连通区域检测单元(46)，其中， 轮廓提取単元(45)用于从摄像単元捕获的图像中提取出观众的人体轮廓； 连通区域检测单元(46)，对于所述显示区域(3)中的人体轮廓部分，检测对所述图形用户界面进行了操作的手部轮廓区域与操作者的身体躯干轮廓区域之间是否为连通区域。
4.根据权利要求3所述的手势遥控系统，优选的，所述轮廓提取单元(45)采用背景差分法进行人体轮廓提取。
5.根据权利要求3所述的手势遥控系统，所述连通区域检测单元(46)采用基于ニ值图像的连通标记算法进行连通区域检测。
6.根据权利要求3所述的手势遥控系统，所述操作者的身体躯干轮廓区域为该操作者的脸部所对应的轮廓区域。
7.根据权利要求1所述的手势遥控系统，由所述图像识别单元(42)识别的操作者的身体的一部分为脸部。
【文档编号】H04N21/422GK103428551SQ201310372598
【公开日】2013年12月4日 申请日期:2013年8月24日 优先权日:2013年8月24日
【发明者】不公告发明人 申请人:渭南高新区金石为开咨询有限公司