专利名称：基于影像的动作手势辨识方法及系统的制作方法
技术领域：
本发明是有关于一种手部侦测系统，特别是有关于一种不需在使用者手部配置感应器的基于影像的动作手势辨识方法及其系统。
背景技术：
对于快速发展的娱乐系统而言，尤其是游戏系统，如何让使用者与计算机之间的互动接口更友善是一项日渐重要的课题。其中，透过计算机分析使用者的动作来执行指令已成为未来最具可能性的互动方法。然而，传统的解决方案往往需要在使用者手指上配置一感应器，此举虽然可以增加手部侦测的准确性，但是亦增加使用者的负担。另一较佳的方式为直接将使用者的手部视为一指令下达器具，以影像处理的方式分析使用者的手部移动方式来输入指令，控制计算机的操作系统或是外围装置。但是，此种传统的影像分析方法过于复杂且不够稳定。例如，已知一美国专利，其专利号6，002, 808，便揭露一种用以快速分析手势以控制计算机的方法，其使用影像向量计算来决定使用者手部的位置，方位以及大小。接着，透过影像处理的方式来决定手势，例如如果确认过的手部影像中有洞，表示使用者的拇指与食指相碰触摆出一 OK的手势。此外，此专利亦揭露可利用手势来控制计算机显示的屏幕显示接口(OSD)。此公知技术的运算量过于庞大，且容易在使用者改变动作时产生误判，稳定度不佳。例如，另一已知美国专利，其专利号7，129，927，揭露一手势辨识系统，其特征在于使用者手上配置多个标记物(marker)，借着此系统透过一感应器侦测此些标记物的位置。 其中，多个标记物中分成第一标记物组及一第二标记物组，第一标记物组是作为参考之用， 而感应器侦测第二标记物组相对于第一标记物组的移动以进一步辨识出使用者手势。此公知技术要求使用者佩带标记物，无法仅以徒手进行操作。因此，如何让使用者可以徒手手势或是移动轨迹与操作接口进行互动，是一项及待解决的问题。
发明内容
有鉴于上述公知技艺的问题，本发明的其中一目的就是在提供一种基于影像的动作手势辨识方法，以达到提高使用便利性及降低计算复杂度的目的。根据本发明的目的，提出一种基于影像的动作手势辨识方法包含下列步骤。接收多张影像画面；根据此多张影像画面执行一手势侦测，以得到一第一手势；判断此第一手势是否符合一预设开始手势；如果此第一手势符合此预设开始手势，则根据此多张影像画面中手部位置，执行一移动追踪以取得一移动手势；于执行此移动追踪的过程中，根据此多张影像画面执行此手势侦测，以得到一第二手势；判断此第二手势是否符合一预设结束手势；如果此第二手势符合此预设结束手势，停止此移动追踪。其中，如果此第二手势不符合此预设结束手势，持续执行此移动追踪。
4
其中，执行此手势侦测的步骤更包含侦测此多张影像画面的任一影像画面是否存在有一手部影像；如果此手部影像存在，则根据此手部影像取得一手部轮廓影像；根据此手部轮廓影像判断一手部方向及一手指数目；根据此手部方向及此手指数目辨识出此第一手势或此第二手势。其中，执行此移动追踪的步骤更包含取得在每一此多张影像画面中包含有此手部影像的至少一影像区块；估算此复数影像区块之间的多个移动向量。其中，本发明的基于影像的动作手势辨识方法更包含纪录此多个移动向量以取得一移动轨迹；辨识此移动轨迹以取得此移动手势。其中，判断此手部方向的步骤更包含根据此手部轮廓影像所碰触到的此影像画面的一边缘，来判断此手部方向。其中，判断此手指数目的步骤更包含执行一手掌方位计算以取得此手部轮廓影像的一重心位置；根据此重心位置对此手部轮廓影像执行一手掌切割，以取得一已切割手部影像；根据此已切割手部影像判断手指数目。根据本发明的目的，再提出一种基于影像的动作手势辨识系统，包含一储存单元、 一影像撷取单元、一第一处理单元、一比对单元及一第二处理单元。储存单元是储存一预设开始手势及一预设结束手势。影像撷取单元是撷取多张影像画面。第一处理单元是根据此多张影像画面执行一手势侦测，以得到一第一手势。比对单元是判断此第一手势是否符合此预设开始手势。如果此比对单元判断此第一手势符合此预设开始手势，则此第二处理单元根据此多张影像画面中手部位置，执行一移动追踪以取得一移动手势。于执行此移动追踪的过程中，此第一处理单元是根据此多张影像画面执行此手势侦测，以得到一第二手势， 若此比对单元判断此第二手势符合该预设结束手势，则此第二处理单元停止此移动追踪。其中，当此比对单元判断此第二手势不符合此预设结束手势时，此第二处理单元继续此移动追踪。其中，此第一处理单元更包含一第一影像处理单元、一第二影像处理单元及一手势辨识单元。第一影像处理单元是侦测此多张影像画面的任一影像画面内的一手部影像。 第二影像处理单元是根据此手部影像取得一手部轮廓影像。手势辨识单元是根据此手部轮廓影像判断一手部方向及一手指数目，并根据此手部方向及此手指数目辨识出此第一手势或此第二手势。其中，此第二处理单元更包含一区块侦测单元及一移动向量单元。区块侦测单元是取得在每一此多张影像画面中包含有此手部影像的至少一影像区块。移动向量单元，是估算此复数影像区块之间的多个移动向量。其中，此第二处理器更包含一轨迹辨识单元，此轨迹辨识单元是纪录此多个移动向量以取得一移动轨迹，并辨识此移动轨迹以取得此移动手势。其中，此手势辨识单元是根据此手部轮廓影像所碰触到的此影像画面的一边缘， 来判断此手部方向。其中，此手势辨识单元是执行一手掌方位计算以取得此手部轮廓影像的一重心位置，根据此重心位置对此手部轮廓影像执行一手掌切割，以取得一已切割手部影像，再根据此已切割手部影像判断手指数目。
图1为本发明的基于影像的动作手势辨识系统的方块图；图2为本发明的基于影像的动作手势辨识系统的实施例方块图；图3为本发明的手部轮廓影像的范例示意图；图4为本发明的手掌切割的范例示意图；图5为本发明的判断手指数目的范例示意图；图6为本发明的用以辨识手势的数据库范例示意图；图7为本发明的基于影像的动作手势辨识方法的流程图；图8为本发明的执行手势侦测的实施流程图；以及图9为本发明的执行移动追踪的实施流程图。符号说明11 储存单元111 预设开始手势112:预设结束手势12:影像撷取单元121 影像画面13 第一处理单元131 手势侦测132 第一手势133:第二手势14:比对单元15 第二处理单元151 移动追踪152:移动手势21:内存22 摄影机23 第一处理单元231 第一影像处理单元232 第二影像处理单元233 手势辨识单元236、31 手部影像237、43 手部轮廓影像238 手部方向239 手指数目25 第二处理单元251:区块侦测单元252:移动向量单元253 轨迹辨识单元257 影像区块258:移动向量259 移动轨迹32 手部轮廓线33 影像区域41:重心位置44:已切割手部影像45 尖端61 63 手势71 77 步骤流程81 87 步骤流程91 94 步骤流程
具体实施例方式请參阅图1，其为本发明的基于影像的动作手势辨识系统的方块图。图中，动作手 势辨识系统包含一储存单元11、一影像撷取单元12、一第一处理单元13、一比对单元14及 一第二处理单元15。储存单元11，例如内存或硬盘，储存一预设开始手势111及一预设结 束手势112。影像撷取单元12撷取多张影像画面121。影像撷取单元12较佳为一摄影机， 其可输出连续影像画面。第一处理单元13根据此多张影像画面121执行一手势侦测131， 以得到一第一手势132。比对单元14判断此第一手势132是否符合预设开始手势111。
如果比对单元14判断此第一手势132符合此预设开始手势111，则此第二处理单元15根据此多张影像画面121中手部位置，执行一移动追踪151以取得一移动手势152。 于执行此移动追踪151的过程中，此第一处理单元13根据此多张影像画面121，仍继续或周期性地执行手势侦测131，以得到一第二手势133，若比对单元14判断此第二手势133符合预设结束手势112，则此第二处理单元15停止执行移动追踪151。当比对单元14判断第二手势133不符合预设结束手势112时，此第二处理单元15持续执行移动追踪151。藉此，系统可先对使用者提示预设开始手势111及预设结束手势112的样态。当欲徒手输入指令或数据，则使用者可先摆出预设开始手势111表示要开始输入指令，待系统辨识成功后，使用者改变手势或移动手部来进行操作。在操作期间，系统仍持续进行手势辨识，一方面确认欲输入的指令，另一方面是确认使用者是否摆出预设结束手势112以结束操作。其中，预设开始手势111及预设结束手势112可设计为特别且十分明确的手势，以确保在使用者进行操作而改变手势时系统不容易误判；此外，由于开始与结束的明确区隔， 系统亦可简化指令手势的辨识流程，进一步使徒手操作更为流畅，提高系统实现实时操作的可能性。请参阅图2，其为本发明的基于影像的动作手势辨识系统的实施例方块图。图中， 此实施例包含一内存21、一摄影机22、一第一处理单元23、一比对单元14及一第二处理单元25。第一处理单元23更包含一第一影像处理单元231、一第二影像处理单元232及一手势辨识单元233。第一影像处理单元231是侦测多张影像画面121的任一影像画面121内的一手部影像236(如图3所示的手部影像31)，接着第二影像处理单元232根据手部影像 236取得一手部轮廓影像237(如图3所示的影像区域3 。例如，第二影像处理单元232 可先对手部影像236进行边缘侦测处理，以取得手部轮廓线32，接着以手部轮廓线32与手部影像236边缘所围的影像区域33作为手部轮廓影像237。手势辨识单元233根据手部轮廓影像237判断一手部方向238及一手指数目239。 进行手部方向238的判断时，例如，可根据手部轮廓影像237所碰触到的影像画面121的一边缘，来判断手部方向238，例如图3所示的影像区域33是接触影像画面121的右边缘，所以其手部方向定义为东方；若接触为影像画面121的下边缘，则手部方向定义为南方；若接触是为影像画面121的上边缘，则手部方向定义为北方；若接触为影像画面121的左边缘， 则手部方向定义为西方。进行手指数目239的判断时，此实施例的手势辨识单元233可执行一手掌方位计算以取得手部轮廓影像237的一重心位置。例如，可根据手掌的常见的二维形状选择一力矩函式I(x，7)，接着根据此1&，y)计算一阶力矩以及二阶力矩mQQ、MmMc^M11、M^1及礼2， 如以下列方程式所示
权利要求
1.一种基于影像的动作手势辨识方法，其特征在于，包含 接收多张影像画面；根据该多张影像画面执行一手势侦测，以得到一第一手势； 判断该第一手势是否符合一预设开始手势；如果该第一手势符合该预设开始手势，则根据该多张影像画面中手部位置，执行一移动追踪以取得一移动手势；于执行该移动追踪的过程中，根据该多张影像画面执行该手势侦测，以得到一第二手势；判断该第二手势是否符合一预设结束手势；以及如果该第二手势符合该预设结束手势，停止该移动追踪。
2.根据权利要求1所述的基于影像的动作手势辨识方法，其特征在于，更包含 如果该第二手势不符合该预设结束手势，持续执行该移动追踪。
3.根据权利要求1所述的基于影像的动作手势辨识方法，其特征在于，执行该手势侦测的步骤更包含侦测该多张影像画面的任一影像画面是否存在有一手部影像； 如果该手部影像存在，则根据该手部影像取得一手部轮廓影像； 根据该手部轮廓影像判断一手部方向及一手指数目；以及根据该手部方向及该手指数目辨识出该第一手势或该第二手势。
4.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，执行该移动追踪的步骤更包含取得在每一该多张影像画面中包含有该手部影像的至少一影像区块；以及估算该复数影像区块之间的多个移动向量。
5.根据权利要求4所述的基于影像的动作手势辨识方法，其特征在于，执行该移动追踪的步骤更包含纪录该多个移动向量以取得一移动轨迹；以及辨识该移动轨迹以取得该移动手势。
6.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，判断该手部方向的步骤更包含根据该手部轮廓影像所碰触到的该影像画面的一边缘，来判断该手部方向。
7.根据权利要求3所述的基于影像的动作手势辨识方法，其特征在于，判断该手指数目的步骤更包含执行一手掌方位计算以取得该手部轮廓影像的一重心位置；根据该重心位置对该手部轮廓影像执行一手掌切割，以取得一已切割手部影像；以及根据该已切割手部影像判断该手指数目。
8.一种基于影像的动作手势辨识系统，其特征在于，包含 一储存单元，储存一预设开始手势及一预设结束手势；一影像撷取单元，撷取多张影像画面；一第一处理单元，根据该多张影像画面执行一手势侦测，以得到一第一手势； 一比对单元，判断该第一手势是否符合该预设开始手势；以及一第二处理单元，如果该比对单元判断该第一手势符合该预发开始手势，则该第二处理单元根据该多张影像画面中手部位置，执行一移动追踪以取得一移动手势；其中，于执行该移动追踪的过程中，该第一处理单元是根据该多张影像画面执行该手势侦测，以得到一第二手势，若该比对单元判断该第二手势符合该预设结束手势，则该第二处理单元停止该移动追踪。
9.根据权利要求8所述的基于影像的动作手势辨识系统，其特征在于，当该比对单元判断该第二手势不符合该预设结束手势时，该第二处理单元继续该移动追踪。
10.根据权利要求8所述的基于影像的动作手势辨识系统，其中该第一处理单元更包含一第一影像处理单元，侦测该多张影像画面的任一影像画面内的一手部影像；一第二影像处理单元，根据该手部影像取得一手部轮廓影像；以及一手势辨识单元，根据该手部轮廓影像判断一手部方向及一手指数目，并根据该手部方向及该手指数目辨识出该第一手势或该第二手势。
11.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该第二处理单元更包含一区块侦测单元，取得在每一该多张影像画面中包含有该手部影像的至少一影像区块；以及一移动向量单元，估算该复数影像区块之间的多个移动向量。
12.根据权利要求11所述的基于影像的动作手势辨识系统，其中该第二处理器更包含一轨迹辨识单元，该轨迹辨识单元是纪录该多个移动向量以取得一移动轨迹，并辨识该移动轨迹以取得该移动手势。
13.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该手势辨识单元是根据该手部轮廓影像所碰触到的该影像画面的一边缘，来判断该手部方向。
14.根据权利要求10所述的基于影像的动作手势辨识系统，其特征在于，该手势辨识单元执行一手掌方位计算以取得该手部轮廓影像的一重心位置，根据该重心位置对该手部轮廓影像执行一手掌切割，以取得一已切割手部影像，再根据该已切割手部影像判断该手指数目。
全文摘要
本发明公开一种基于影像的动作手势辨识方法及系统。此方法包含下列步骤接收多张影像画面；根据多张影像画面执行一手势侦测，以得到一第一手势，如果第一手势符合预设开始手势，则根据多张影像画面中手部位置，执行一移动追踪以取得一移动手势；于执行移动追踪的过程中，根据多张影像画面执行手势侦测，以得到一第二手势，若第二手势符合预设结束手势，停止移动追踪。
文档编号G06F3/01GK102236409SQ20101016976
公开日2011年11月9日 申请日期2010年4月30日 优先权日2010年4月30日
发明者王静炜, 罗仲成 申请人:宏碁股份有限公司