专利名称：互动系统的手势辨识方法及互动系统的制作方法
技术领域：
本发明涉及一种互动系统，并且尤其涉及一种手势辨识方法以及使用该方法的互动系统。
背景技术：
请参照图1所示,其显示了一种现有的触控系统9。该触控系统9包括触控面90以及至少2个摄影机91、92，摄影机91、92的视野包括整个触控面90。当使用者利用手指碰触触控面90时，摄影机91、92可撷取包括手指尖端的遮蔽光影的图像视窗。处理单元则可根据所述图像视窗中手指尖端的遮蔽光影的位置，计算出手指碰触触控面90的二维位置坐标，并根据该二维位置坐标的变化，相对控制显示器执行相对应的动作。然而，所述触控系统9的动作原理是根据每个图像视窗中手指尖端的遮蔽光影的位置计算手指碰触触控面90的二维位置坐标。当使用者利用多个手指碰触触控面90时，相对于摄影机92，由于手指彼此间会互相遮蔽，摄影机92所撷取的图像视窗中并不一定会出现所有手指尖端的遮蔽光影。例如图1中，使用者利用手指81和82碰触触控面90，此时摄影机91撷取图像视窗W91，其包括手指81和82的遮蔽光影I81和I82 ;然而，由于手指81和82相对于摄影机92互相遮蔽，因此摄影机92所撷取的图像视窗W92中仅包括一个遮蔽光影。当处理单元根据所述图像视窗W91和W92计算手指碰触触控面90的二维位置坐标时，便有可能无法正确计算二维位置坐标而导致误动作的发生。为解决此问题,可通过另外设置两个摄影机93和94于触控面90的另外两个角落，以另外撷取两个图像视窗w93、w94，处理单元则可根据图像视窗W91和W93分别计算出手指81和82碰触触控面90的二维位置坐标。然而，此种解决方案会增加系统成本。
发明内容
本发明提供了一种互动系统的手势辨识方法，所述互动系统包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动系统的位置坐标；当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。本发明还提供了一种互动系统，该互动系统包括一个反射镜面；一个图像感测器，用于连续撷取至少一个指示物遮蔽所述反射镜面所形成的遮蔽光影的图像视窗；处理单元，当判定所述图像感测器所撷取的所述图像视窗包括两个遮蔽光影时进入第一模式，根据所述指示物的所述遮蔽光影位于所述图像视窗中的一维位置，计算所述指示物的二维位置坐标；当判定所述图像感测器所撷取的所述图像视窗包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。有鉴于此，本发明的目的在于提出一种手势辨识方法以及使用该方法的互动系统以解决上述现有的触控系统中所存在的问题，其根据图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识，可解决因指示物相互遮蔽所导致无法正确计算接触点坐标的问题。本发明提出一种互动系统的手势辨识方法，所述互动系统包括图像感测器、反射元件以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽光源和/或反射元件所形成的遮蔽光影的图像视窗。所述手势辨识方法包括下列步骤利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；根据所述遮蔽光影信息判定是否包括多个指示物；以及当判定包括多个指示物时，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。本发明的手势辨识方法的一种实施例中，所述遮蔽光影信息包括平均光影数目、平均光影间距和/或最大光影间距。本发明的手势辨识方法的一种实施例中，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识的步骤还包括下列步骤将所述平均光影数目和平均光影间距其中之一与预设门槛值比较；当所述平均光影数目或平均光影间距大于所述预设门槛值时，进行上、下、左、右、放大或缩小手势辨识；当所述平均光影数目或平均光影间距小于所述预设门槛值时，进行旋转手势辨识；以及根据所辨识出的手势更新图像显示器的显示画面。本发明另提出一种互动系统，该系统包括发光单元、图像感测器以及处理单元。所述图像感测器用于连续撷取至少一个指示物遮蔽所述发光单元所形成的遮蔽光影的图像视窗。所述处理单元根据所述图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识。本发明的互动系统的一种实施例中，所述发光单元为主动光源或被动光源。当发光单元为被动光源时，发光单元包括反射镜面且所述互动系统还包括至少一个主动光源。本发明另提出一种互动系统的手势辨识方法，所述互动系统包括发光单元和图像感测器，所述图像感测器用于撷取包括多个指示物遮蔽所述发光单元所形成的遮蔽光影的图像视窗。所述手势辨识方法包括下列步骤利用所述图像感测器连续撷取图像视窗；以及根据连续图像视窗中多个遮蔽光影的相互关系进行手势辨识。本发明的手势辨识方法的一种实施例中，所述遮蔽光影的相互关系包括所述遮蔽光影的平均光影间距变化、最大光影间距变化以及位移方向。根据本发明的手势辨识方法以及使用该方法的互动系统，在第一模式中，所述互动系统根据指示物的二维坐标变化控制光标的动作；在第二模式中，所述互动系统根据多个指示物的遮蔽光影的相互关系更新显示器的显示画面，例如使显示画面显示画面卷动(scroll)、物件放大缩小(zoom in/out)、物件旋转(rotation)、画面切换或菜单等。在本发明的手势辨识方法以及使用该方法的互动系统中，由于不需分别计算出多个指示物的接触点坐标，因此即使指示物相对于图像感测器为互相遮蔽，也能够正确进行手势辨识。
图1显示了现有的触控系统的示意图；图2a显示了本发明实施例的互动系统的立体图；图2b显示了本发明第一实施例的互动系统的操作示意图；图3a显示了利用本发明第一实施例的互动系统进行光标操控的示意图；图3b显示了图3a的图像感测器所撷取的图像视窗的示意图；图4a显示了本发明实施例的互动系统的手势辨识方法的流程图；
图4b显示了图4a中第二模式的流程图；图5a飞d分别显示了本发明第一实施例的互动系统的手势辨识方法中辨识右/左/下/上手势的示意图；图5eT5f分别显示了本发明第一实施例的互动系统的手势辨识方法中辨识放大/缩小手势的示意图；图5g 5h分别显示了本发明第一实施例的互动系统的手势辨识方法中辨识旋转手势的不意图；图6a显示了本发明第二实施例的互动系统的操作示意图；图6b 6c显示了图6a的图像感测器所撷取的图像视窗的示意图；图7a 7b分别显示了本发明第二实施例的互动系统的手势辨识方法中辨识右/左手势的不意图；图7(T7d分别显示了本发明第二实施例的互动系统的手势辨识方法中辨识放大/缩小手势的示意图；以及图7e 7f分别显示了本发明第二实施例的互动系统的手势辨识方法中辨识旋转手势的示意图。附图标记说明
10,10/互动系统100面板
IOOa面板的第一边IOOb面板的第二边
IOOc面板的第三边IOOd面板的第四边
IOOd第四镜像IOOs面板的表面
11发光单元Ila反射镜面
121第一光源121'第二镜像
122第二光源122'第三镜像
13、13'图像感测器14处理单元
15图像显示器150显示屏
151光标20、20'、20"图像视窗
RS实像空间IS虚像空间
T81、T指示物的接触点T 1 丄81 ΛT'第一镜像的接触点
八81接触点与第三边的夹角A8/第一镜像与第三
尺81第一感测路径R8/第二感测路径
工81、182第一遮蔽光影I8/第二遮蔽光影Ιι>12第一遮蔽光影V、V 第二
I81"、:[82"遮蔽光影G1第一光影群
G2第二光影群C中心线
Sav平均光影间距8使用者
81,82手指9触控系统
91 94摄影机90触控面
W9广 W94图像视窗S广S5步骤
具体实施例方式为了让本发明的上述和其他目的、特征和优点能更明显，下文将配合所附图示，作详细说明如下。此外，需要说明的是，在本发明的说明中，相同的构件以相同的符号表示。请同时参照图2a和图2b所示，图2a显示了本发明实施例的互动系统10的立体图，图2b显示了本发明第一实施例的互动系统10的操作示意图。所述互动系统10包括面板100、发光单元11、第一光源121、第二光源122、图像感测器13、处理单元14以及图像显不器15。所述面板100包括第一边100a、第二边100b、第三边100c、第四边IOOd以及表面100s。所述面板100的实施例包括白板(whiteboard)或触控屏幕(touch screen)。所述发光单兀11设置于面板100的第一边IOOa的表面IOOs上。发光单兀11可为主动光源或被动光源。当发光单元11为主动光源时，其可自行发光且所述发光单元11优选为线光源。当发光单元11为被动光源时，其用于反射其他光源(例如第一光源121和第二光源122)所发出的光；此时，发光单元11包括面向面板的第三边IOOc的反射镜面11a，其中该反射镜面Ila可利用适当材质形成。所述第一光源121设置于面板的第二边IOOb的表面IOOs上，且优选朝向面板的第四边IOOd发光。所述第二光源122设置于面板的第三边IOOc的表面IOOs上,且优选朝向面板的第一边IOOa发光；其中所述第一光源121和第二光源122优选为主动光源，例如为线光源，但并不限于此。请再参照图2b所示，当发光单元11为被动光源(例如反射元件)时，第一光源121可相对于反射镜面Ila映射出第二镜像121'，第二光源122可相对于反射镜面Ila映射出第三镜像122'，面板的第四边IOOd可相对于反射镜面Ila映射出第四镜像IOOd';其中所述发光单元11、第一光源121、第二光源122以及面板的第四边IOOd共同界定一个实像空间RS;所述发光单元11、第二镜像121'、第三镜像122'以及第四镜像IOOd'共同界定一个虚像空间IS。所述图像感测器13设置于面板100的角落，在此实施例中，所述图像感测器13被设置于面板的第三边IOOc与第四边IOOd交界处的角落。图像感测器13的视野VA至少包括所述实像空间RS和虚像空间IS，用于撷取包括实像空间RS、虚像空间IS以及位于实像空间RS内的指示物(pointer)，例如手指81，的遮蔽光影的图像视窗。在一种实施例中，所述图像感测器13包括透镜(或透镜组)用于调整图像感测器13的视野范围VA，以使图像感测器13能够撷取所述实像空间RS和虚像空间IS的完整图像。图像感测器13的实施例包 括，但不限于，CXD图像感测器和CMOS图像感测器。所述处理单元14耦接图像感测器13，用于处理图像感测器13所撷取的图像，以辨识一个或多个指示物。当辨识出仅包括一个指示物时，则根据图像视窗中指示物的遮蔽光影的位置，相对计算出指示物碰触面板表面IOOs的二维位置坐标。当辨识出包括多个指示物时，处理单元14则根据图像视窗中指示物的遮蔽光影的相互关系进行手势辨识，并根据所辨识出的手势相对控制图像显示器更新其显示画面，其详细计算方式将详述于后。所述图像显示器15耦接处理单元14，图像显示器15的显示屏150上可显示有光标151,如图2b所示。处理单元14根据所计算出指示物碰触面板表面IOOs的二维位置坐标变化，相对控制显示屏150上光标151的动作，或根据图像感测器13所撷取的图像视窗中多个遮蔽光影的相互关系更新显示屏150的显示画面，例如显示画面卷动、物件缩放、物件旋转、画面切换或菜单等。为清楚显示本发明的互动系统，图2a和图2b中，所述面板100独立于图像显示器15之外，但其并非用于限定本发明，在其他实施例中，所述面板100也可结合于图像显示器15的显示屏150上。此外，当所述面板100为触控屏幕时，图像显示器15的显示屏150也可用作面板100，而所述发光单元11、第一光源121、第二光源122以及图像感测器13则设置于显不屏150的表面上。可以理解的是，虽然图2a和图2b中，所述面板100被显示为矩形且所述发光单元11、第一光源121以及第二光源122被显示为互相垂直地设置于面板100的三个边，但其仅为本发明的一种实施例，并非用于限定本发明。在其他实施例中，所述面板100可制作成其他形状；所述发光单元11、第一光源121、第二光源122以及图像感测器13也可以以其它的空间关系设置于面板100上。本发明的精神在于，利用图像感测器13撷取图像视窗，并根据该图像视窗中遮蔽光影的位移以及遮蔽光影彼此间的相互关系进行手势辨识，并根据所辨识出的手势相对更新图像显示器的显示画面。第一实施例请参照图3a和图3b所示，图3a显示了利用本发明第一实施例的互动系统10进行光标操控的示意图；图3b显示了图3a中图像感测器13所撷取的图像视窗20的示意图。如图所示，当指示物，例如手指81的尖端碰触实像空间RS内的面板表面IOOs上时，此处以接触点T81表示,指示物相对于发光单元11 (在此实施例中为反射元件)的反射镜面Ila映射出第一镜像于虚像空间IS中，此处以接触AT81'表示。所述图像感测器13根据第一感测路线R81撷取指示物的尖端图像，以在图像视窗20内形成第一遮蔽光影I81 ;并根据第二感测路线R81,撷取第一镜像的尖端图像，以在图像视窗20内形成第二遮蔽光影I81'，如图3b所示。在此实施例中，处理单元14内预先储存有遮蔽光影位于图像视窗20中的一维位置与感测路线和面板的第三边IOOc之间夹角的相对关系。因此，当图像感测器13撷取指示物及其第一镜像的尖端图像而形成图像视窗20时，处理单元14则可根据图像视窗20的遮蔽光影的一维位置分别求出第一夹角A81和第二夹角A81'。接着，根据三角函数关系，处理单元14可求出指示物碰触面板表面IOOs的碰触点T81的二维位置坐标。例如在一种实施方式中，所述面板表面IOOs构成直角坐标系,第三边IOOc作为直角坐标系的X轴，第四边IOOd作为直角坐标系的Y轴，并以图像感测器13所在位置作为原点。因此，碰触点T81位于直角坐标系的坐标则可表示为(相对第四边IOOd的距离，相对第三边IOOc的距离)。此外，处理单元14中预先储存有面板的第一边IOOa与第三边IOOc之间的距离Dp藉此，处理单元14根据下列步骤可求出指示物81碰触面板表面IOOs的碰触点T81的二维位置坐标Ca)处理单元14求出第一感测路线R81与面板的第三边IOOc之间的第一夹角A81以及第二感测路线R8/与面板的第三边IOOc之间的第二夹角A81' ;(b)根据方程式D2 = 2D/ (tanA81+tanA8/ )求出指示物81的碰触点T81与面板的第四边IOOd之间的距离D2 ; (c)根据D2XtanA8I求出碰触点T81的y坐标。因此,碰触点T81的二维位置坐标则为(D2, D2 X tanA81)。请再参照图3a和图3b所示，本发明第一实施例的互动系统10的运作包括两种模式。当处理单元14根据图像感测器13所撷取的图像视窗20判定仅一个指示物碰触面板表面IOOs时,贝U控制互动系统10工作于第一模式。在第一模式中，图像感测器13以一取样频率连续撷取图像，处理单元14则根据指示物81的遮蔽光影位于图像视窗20中的一维位置，计算指示物81碰触面板表面IOOs的碰触点T81的二维位置坐标，并根据碰触点T81的二维位置坐标变化,相对控制图像显示器15上光标151的动作。例如当指示物81朝向面板的第四边IOOd移动时，第一镜像的接触点T81'也同时朝向第四镜像IOOd'移动。此时，图像视窗20中对应于指示物的遮蔽光影I81以及对应于第一镜像的遮蔽光影I8/也朝向图像视窗20的左侧移动。藉此，处理单元14则根据每一图像视窗20中所述遮蔽光影I81和I8/的位置，计算碰触点T81的二维位置坐标，并根据该二维位置坐标的变化，相对控制图像显示器15上的光标151朝向显示屏150的左方移动。可以理解的是，指示物的移动方向与图像视窗20中所述遮蔽光影I81和I8/的移动方向以及光标151的移动方向之间的关系并不限于上述实施例中所公开的内容，所述遮蔽光影I81和I8/与光标151的移动方向可能根据软件处理方式的不同而相反于指示物的移动方向。当处理单元14根据图像感测器13所撷取的图像视窗20判定有多个指示物碰触面板表面IOOs时，则控制互动系统10工作于第二模式。在第二模式中，处理单元14不再逐一根据每一图像视窗20计算各碰触点T81的二维位置坐标，仅根据图像视窗20中多个遮蔽光影的相互关系来判定手势(gesture)，并根据所判定的手势更新图像显示器15的显示屏150的显示画面，例如画面卷动、物件放大缩小、物件旋转、画面切换或显示菜单等。请参照图4a所示，其显示了本发明的手势辨识方法的流程图。所述方法包括下列步骤利用图像感测器撷取图像视窗(步骤S1);撷取所述图像视窗中的遮蔽光影信息(步骤S2);根据所述遮蔽光影信息判定是否包括多个指示物(步骤S3);若否，进入第一模式(步骤
S4);若是，进入第二模式(步骤s5)。请参照图4b所示，其显示了图4a的步骤S5中的第二模式的实施方式，所述遮蔽光影信息包括平均光影数目、平均光影间距以及最大光影间距。第二模式包括下列步骤判定平均光影数目和平均光影间距其中之一是否大于预设门槛值(步骤S51);若是，则根据连续图像视窗中遮蔽光影的相互关系进行旋转手势辨识(步骤S52);若否，则根据连续图像视窗中遮蔽光影的相互关系进行上/下/左/右/放大/缩小手势辨识(步骤S53);以及根据所辨识的手势更新图像显示器的显示画面(步骤S54)。可以理解的是，图4b可设定为当平均光影数目小于预设门槛值时进行旋转手势辨识，而当平均光影数目大于预设门槛值时进行平移手势辨识；或者设定为当平均光影间距小于预设门槛值时进行旋转手势辨识，而当平均光影间距大于预设门槛值时进行平移手势辨识。在另一实施例中，第二模式可仅包括一个步骤根据连续图像视窗中遮蔽光影的相互关系进行旋转手势辨识。在另一实施例中，第二模式可仅包括I 一个步骤根据连续图像视窗中遮蔽光影的相互关系进行上/下/左/右/放大/缩小手势辨识。也就是说，互动系统的第二模式可仅进行旋转手势辨识或上/下/左/右/放大/缩小手势辨识其中之
O请同时参照图3a 4b所示，当利用本发明第一实施例的互动系统10进行手势辨识时，首先利用图像感测器13撷取图像以形成图像视窗20，其包括至少一个对应于指示物接触点T81的遮蔽光影I81以及至少一个对应于第一镜像接触点T81'的遮蔽光影I8/ (步骤S1X接着，处理单元14撷取图像视窗20中的遮蔽光影信息，例如遮蔽光影的平均光影数目、平均光影间距以及最大光影间距等，以供后续步骤中使用(步骤S2)。接着，处理单元14根据所撷取的遮蔽光影信息判定图像视窗20中是否具有多个指示物(步骤S3),其中每一个指示物会在图像视窗20上产生最多2条遮蔽光影，因此当图像视窗20上出现大于两个遮蔽光影时，则表示包括多个指示物。当判定只包括一个指示物时，如图3a和图3b所示，处理单元14则控制互动系统10进入第一模式(步骤S4)。在第一模式中，处理单元14根据图像感测器13所撷取的图像视窗20中遮蔽光影(例如I81和I8/ )的一维位置计算指示物接触面板表面IOOs的接触点(例如T81)的二维位置坐标，并根据该二维位置坐标变化相对控制图像显示器15上光标151的动作。当处理单元14根据遮蔽光影信息判定有多个指示物接触面板表面IOOs时，如图5a至图5h所示，则控制互动系统10进入第二模式(步骤S5)。在第二模式中，处理单元14根据图像视窗20中遮蔽光影彼此之间的相互关系进行手势辨识，并根据所辨识出的手势相对控制图像显示器15的显示屏150所显示画面的画面更新，例如进行画面卷动、物件或视窗的放大缩小、物件旋转、画面切换或显示菜单等。请参照图5a至图5h所示，接着说明第二模式的实施方式，其中所述发光单元11在此说明中以被动光源为例进行说明。此外，可以理解的是，图5a至图5h所示仅为例示性的，并非用于限定本发明。画面卷动手势请参照图5a 5d所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点(例如T1和T2)时，则进入第二模式。接着，处理单元14判定图像视窗20中的平均遮蔽光影数目是否大于预设门槛值，该预设门槛值例如为6，或判定平均光影间距Sav是否大于预设门槛值(步骤S51)。当平均遮蔽光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，则进行平移手势辨识(步骤S53)。在平移手势辨识时，首先将遮蔽光影分群，例如根据图像视窗20的中心线C作为分群的依据，以区分第一光影群G1和第二光影群G2，其中所述第一光影群G1可能为实像光影群或虚像光影群，所述第二光影群G2可能为虚像光影群或实像光影群。例如图5a 5d中，图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，处理单元14则进行上/下/左/右手势辨识(步骤S53)。例如图5a中，处理单元14辨识出图像视窗20中的第一光影群G1和第二光影群G2均向右移动，因此判定使用者正在执行将显示画面向右/左卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新(步骤S54X同理，图5b中，处理单元14辨识出图像视窗20 中的第一光影群G1和第二光影群G2均向左移动，因此判定使用者正在执行将显示画面向左/右卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新(步骤S54)。图5c中，处理单元14辨识出图像视窗20中的第一光影群G1和第二光影群G2的平均光影间距逐渐增加，因此判定使用者正在执行将显示画面向下/上卷动的手势，因而相对控制显示屏150进行相应的显示画面更新(步骤S54)。图5d中，处理单元14辨识出图像视窗20中的第一光影群G1和第二光影群G2的平均光影间距逐渐减少，因此判定使用者正在执行将显示画面向上/下卷动的手势，因而相对控制显示屏150进行相应的显示画面更新(步骤S54)。在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行平移手势辨识(步骤S53)而不执行步骤物件放大缩小手势在进行物件放大缩小的步骤前，使用者先在面板表面IOOs上形成单一接触点，以进入第一模式，并在第一模式中控制光标151移动至物件O上，如图3a所示。接着，使用者再在面板表面IOOs上形成多个接触点，如图5e 5f。当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点(例如1\、T2)时，则进入第二模式。接着，处理单元14判定图像视窗20中的平均光影数目和平均光影间距Sav其中之一是否大于预设门槛值(步骤S51)当平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值时，则先将遮蔽光影分群，例如根据图像视窗20的中心线C作为分群的依据，以区分第一光影群G1和第二光影群G2。例如图5eT5f中，图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距Sav未大于预设门槛值，处理单元14则进行放大/缩小手势辨识(步骤S53)。例如图5e中，处理单元14辨识出图像视窗20中的第一光影群G1和第二光影群G2的平均光影间距大致上无变化而最大光影间距增加，因此判定使用者正在执行将物件放大/缩小的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新(步骤S54)。例如图5f中，处理单元14辨识出图像视窗20中的第一光影群G1和第二光影群G2的平均光影间距大致上无变化而最大光影间距减少，因此判定使用者正在执行将物件缩小/放大的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新(步骤 S54)。在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行放大/缩小手势辨识(步骤S53)而不执行步骤S51。此外，在进行放大/缩小手势辨识前也可能不需进入第一模式而直接进行第二模式，例如当面板100为触控面板时，由于使用者可直接指向物件，因此在进行放大/缩小手势辨识时可直接进入第二模式。物件旋转手势在进行物件旋转的步骤前，使用者先在面板表面IOOs上形成单一接触点，以进入第一模式，并在第一模式中控制光标151移动至物件O上，如图3a所示。接着，使用者再在面板表面IOOs上形成多个接触点T，如图5g 5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则进入第二模式。接着，处理单元14判定图像视窗20中的平均光影数目和平均光影间距Sav其中之一是否大于预设门槛值(步骤S51)。当平均光影数目大于预设门槛值或平均光影间距Sav大于预设门槛值时，则不进行遮蔽光影分群，而直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定旋转方向。例如图5g中，处理单元14辨识出图像视窗20中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目，因此判定使用者正在执行将物件右旋/左旋的手势，因而相对控制图像显示器15进行相应的显示画面更新(步骤S54)。例如图5h中，处理单元14辨识出图像视窗20中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行将物件左旋/右旋的手势，因而相对控制图像显示器15进行相应的显示画面更新(步骤S54)。在另一实施例中，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点时，则直接进行旋转手势辨识(步骤S52)而不执行步骤S51。此外，在进行旋转手势辨识前也可能不需进入第一模式而直接进行第二模式，例如当面板100为触控面板时，由于使用者可直接指向物件，因此在进行旋转手势辨识时可直接进入第二模式。画面切换手势使用者直接在面板表面IOOs上形成多个接触点T，如图5g 5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。处理单元14直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定是否进行画面切换。例如图5g和图5h中，处理单元14辨识出图像视窗20中向右或向左移动的遮蔽光影数目大于向左或向右移动的遮蔽光影数目，因此判定使用者正在执行画面切换的手势，因而相对控制图像显示器15进行相应的画面切换功能。显示菜单手势使用者直接在面板表面IOOs上形成多个接触点T，如图5g 5h所示，当处理单元14根据图像感测单元13所撷取的图像视窗20中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。处理单元14直接根据遮蔽光影朝向图像视窗20的两侧方向位移的遮蔽光影数目判定是否显示菜单。例如图5g中，处理单元14辨识出图像视窗20中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目；图5h中，处理单元14辨识出图像视窗20中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行显示菜单的手势，因而相对控制图像显示器15显示相应的菜单。第二实施例请参照图6a至图6c所示，图6a显示了本发明第二实施例的互动系统1(V的操作示意图，图6b和图6c分别显示了图6a的图像感测器13和13'所撷取的图像视窗20'和20"的不意图。在此实施例中，互动系统10'包括发光单兀11、第一光源121、第二光源122以及图像感测器13和13'。发光单元11为主动光源，且优选朝向面板的第三边IOOc发光。发光单兀11、第一光源121以及第二光源122分别设置于面板的第一边100a、第二边IOOb以及第四边100d。因此，图像感测器13所撷取的图像视窗20'内仅包括指示物尖端的第一遮蔽光影I81和I82;图像感测器13'所撷取的图像视窗20"内仅包括指示物尖端的遮蔽光影I81"和I82"。在此实施例中，处理单元14根据图像感测器13和13'所撷取的图像视窗20'和20"中多个遮蔽光影的相互关系进行手势辨识。画面卷动手势请参照图7a 7b所示，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点(例如T1和T2)时，则进入第二模式。接着，处理单元14判定图像视窗20'和20"中的平均光影数目是否大于预设门槛值或判定图像视窗20'和20"中的平均光影间距是否大于预设门槛值(步骤当图像视窗20'和20"中的平均光影数目未大于预设门槛值或平均光影间距未大于预设门槛值时，处理单元14则进行左/右手势辨识(步骤S53)。例如图7a和图7b中，处理单元14分别辨识出影像视窗20'和20"中的遮蔽光影均向右或向左移动，因此判定使用者正在执行将显示画面向下/上卷动的手势，因而相对控制图像显示器15的显示屏150进行相应的显示画面更新(步骤S54X在另一实施例中，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20和20"中的遮蔽光影信息判定包括多个接触点时，则直接进行平移手势辨识(步骤S53)而不执行步骤S51。物件放大缩小手势在进行物件放大缩小的步骤前，使用者先控制光标移动至所欲缩放的物件上。接着，使用者再在面板表面IOOs上形成多个接触点(例如T1和T2),如图7(T7d所示。当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点时，则进入第二模式。接着，处理单元14判定图像视窗20和20"中的平均光影数目是否大于预设门槛值或判定图像视窗20和20"中的平均光影间距是否大于预设门槛值(步骤S51)。当图像视窗20中的平均光影数目未大于预设门槛值或平均光影间距未大于预设门槛值时，处理单元14则进行放大/缩小手势辨识(步骤S53)。例如图7c和7d中，处理单元14分别辨识出图像视窗20'和20"中的遮蔽光影的平均光影间距增加或减小，因此判定使用者正在执行将物件放大/缩小的手势，因而相对控制图像显示器15进行相应的显示画面更新(步骤在另一实施例中，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点时，则直接进行放大/缩小手势辨识(步骤S53)而不执行步骤S51。此外，在进行放大/缩小手势辨识前也可能不需进入第一模式而直接进行第二模式，例如当面板100为触控面板时，由于使用者可直接指向物件，因此在进行放大/缩小手势辨识时可直接进入第二模式。物件旋转手势在进行物件旋转的步骤前，使用者先控制光标移动至所欲旋转的物件上。接着，使用者再在面板表面IOOs上形成多个接触点T，如图7e~7f所示，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点T时，则进入第二模式。接着，处理单元14判定图像视窗20'和20"中的平均光影数目是否大于预设门槛值或处理单元14判定图像视窗20'和20"中的平均光影间距是否大于预设门槛值(步骤S51)。当平均光影数目大于预设门槛值或平均光影间距大于预设门槛值时，则根据遮蔽光影朝向图像视窗20'和20"中两侧方向移动的数目判定旋转方向。例如图7e中，处理单元14分别辨识出图像视窗20'和20"中向右移动的遮蔽光影数目大于向左移动的遮蔽光影数目；图7f中，处理单元14分别辨识出图像视窗20'和20"中向左移动的遮蔽光影数目大于向右移动的遮蔽光影数目，因此判定使用者正在执行将物件右旋/左旋的手势，因而相对控制图像显示器15进行相应的显示画面更新(步骤S54 )。在另一实施例中，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点时，则直接进行旋转手势辨识(步骤S52)而不执行步骤S51。此外，在进行旋转手势辨识前也可能不需进入第一模式而直接进行第二模式。画面切换手势或显示菜单手势使用者直接在面板表面IOOs上形成多个接触点T，如图7e 7f所示，当处理单元14根据图像感测单元13和13'所撷取的图像视窗20'和20"中的遮蔽光影信息判定包括多个接触点T时，则直接进入第二模式。处理单元14直接根据遮蔽光影朝向图像视窗20'和20"的两侧方向位移的遮蔽光影数目判定是否进行画面切换或显示菜单手势。例如图7e和图7f中，处理单元14分别辨识出图像视窗2(V和20"中向右或向左移动的遮蔽光影数目大于向左或向右移动的遮蔽光影数目，因此判定使用者正在执行画面切换或显示菜单手势的手势，因而相对控制图像显示器15进行相应的画面切换或显示菜单。可以理解的是，上述第二模式中遮蔽光影的相互关系所对应的控制功能并不限于图5a 5h和图7a 7f中所公开的内容。本发明的精神在于根据图像视窗中遮蔽光影的相互关系进行手势辨识而不须逐一计算出接触点的位置坐标以避免由于指示物互相遮蔽而导致无法计算接触点坐标的情形。如前所述，由于现有的触控系统系通过接触点二维坐标的变化进行手势辨识，当指示物互相遮蔽时容易导致无法正确计算接触点坐标的情形。本发明通过辨识图像视窗中遮蔽光影的相互关系以作为手势辨识的依据，因此仅需利用一个图像感测器即可正确进行手势辨识，具有降低系统成本的功效。虽然本发明已被上述实施例所公开，然而上述实施例并非用于限定本发明，任何本发明所属技术领域中的技术人员，在不脱离本发明的精神和范围内，应当可以作各种变动与修改。因此本发明的保护范围应当以所附权利要求书所界定的范围为准。
权利要求
1.一种互动系统的手势辨识方法，所述互动系统包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动系统的位置坐标；以及当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。
2.根据权利要求1所述的手势辨识方法，其中，所述第一模式还包括下列步骤 根据连续图像视窗中所述指示物的位置坐标变化，相对控制图像显示器上光标的动作。
3.根据权利要求1所述的手势辨识方法，其中，所述遮蔽光影信息包括平均光影数目、 平均光影间距以及最大光影间距，所述第二模式还包括下列步骤将所述平均光影数目和平均光影间距其中之一与预设门槛值比较；当所述平均光影数目或所述平均光影间距小于所述预设门槛值时，进行上、下、左、右、 放大或缩小的手势辨识；当所述平均光影数目或所述平均光影间距大于所述预设门槛值时，进行旋转手势辨识；以及根据所辨识出的手势更新图像显示器的显示画面；其中，当所述手势辨识为上、下、左、右时，所述显示画面更新为显示画面卷动；当所述手势辨识为放大、缩小时，所述显示画面更新为物件放大缩小；当所述手势辨识为旋转手势时，所述显示画面更新为物件旋转；当所述手势辨识为向左右移动的遮蔽光影数目不同时， 所述显示画面更新为画面切换或显示菜单。
4.根据权利要求3所述的手势辨识方法，其中，当所述平均光影数目或所述平均光影间距小于预设门槛值时，所述手势辨识方法还包括下列步骤根据所述图像视窗的中心线将遮蔽光影分为一个实像光影群和一个虚像光影群；其中，当所述图像视窗中的所述实像光影群和所述虚像光影群的位移同向时，进行左或右手势辨识；当所述图像视窗中的所述实像光影群和所述虚像光影群之间的平均光影间距改变时，进行上或下手势辨识；当所述图像视窗中的所述实像光影群和所述虚像光影群之间的最大光影间距改变时，进行放大或缩小手势辨识。
5.根据权利要求3所述的手势辨识方法，其中，在进行旋转的手势辨识的步骤中，根据连续图像视窗中位移同向的遮蔽光影数目较高的遮蔽光影的方向辨识旋转方向。
6.根据权利要求1所述的手势辨识方法，其中，所述第二模式中进行上、下、左、右、放大或缩小手势辨识。
7.根据权利要求1所述的手势辨识方法，其中，所述第二模式中进行旋转手势辨识。
8.一种互动系统，该互动系统包括一个反射镜面；一个图像感测器，用于连续撷取至少一个指示物遮蔽所述反射镜面所形成的遮蔽光影的图像视窗；以及处理单元，当判定所述图像感测器所撷取的所述图像视窗包括两个遮蔽光影时进入第一模式，根据所述指示物的所述遮蔽光影位于所述图像视窗中的一维位置，计算所述指示物的二维位置坐标；当判定所述图像感测器所撷取的所述图像视窗包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。
9.根据权利要求8所述的互动系统，其中，所述互动系统还包括至少一个主动光源和耦接所述处理单元的图像显示器，所述图像感测器所撷取的图像视窗包括实像遮蔽光影和虚像遮蔽光影，所述处理单元根据连续图像视窗中实像遮蔽光影和虚像遮蔽光影的相互关系进行手势辨识，并根据所辨识出的手势更新所述图像显示器的显示画面。
10.根据权利要求8所述的互动系统，其中，所述处理单元仅根据所述图像感测器所撷取的连续图像视窗中遮蔽光影的相互关系进行手势辨识而不逐一根据所述图像视窗计算各所述指示物的二维位置坐标。
全文摘要
本发明提供了一种互动系统的手势辨识方法以及一种互动系统，所述互动系统包括一个图像感测器、一个反射镜面以及至少一个光源，所述图像感测器用于撷取包括至少一个指示物遮蔽所述光源和/或所述反射镜面所形成的遮蔽光影的图像视窗，所述手势辨识方法包括下列步骤利用所述图像感测器撷取图像视窗；撷取所述图像视窗中的遮蔽光影信息；当判定所述图像视窗中包括两个遮蔽光影时进入第一模式，根据所述图像视窗中遮蔽光影的位置计算所述指示物相对于所述互动系统的位置坐标；当判定所述图像视窗中包括两个以上遮蔽光影时进入第二模式，根据连续图像视窗中遮蔽光影的相互关系进行手势辨识。
文档编号G06F3/01GK102999158SQ20121034558
公开日2013年3月27日 申请日期2009年9月28日 优先权日2009年9月28日
发明者陈信嘉, 苏宗敏, 吕志宏 申请人:原相科技股份有限公司