专利名称：基于静态手势识别的非接触控制系统和控制方法
技术领域：
本发明涉及一种基于静态手势识别的非接触控制系统和控制方法。
背景技术：
手势是一种自然而直观的人际交流模式，基于手势识别进行的控制可被用于电视、计算机、电子白板、电子广告屏等多种设备。在专利文献1中，提出了一种使用基于手势识别的设备控制系统，用于代替现有的电视机的遥控器。图12为该控制系统的示意图。在使用该控制系统时，用户可以隔着一段距离使用手势对显示器进行遥控操作。例如用户的“触发”手势被系统识别后，显示器上的图标将跟随着用户手部的移动而移动，因此，可以用来执行诸如音量调节、频道切换、颜色调整、亮度调节等各种操作和控制。该设备控制系统包括两个部分特定的电视摄像机和显示器。特定的电视摄像机用于拍摄用户的视频，并且，该电视摄像机还包含有计算装置，用于处理拍摄到的视频。在处理中，该电视摄像机首先移除视频中的背景，然后识别用户的手势，最后产生相应的指令让显示器执行。显示器则显示识别的结果并执行来自电视摄像机的指令。图13为该设备控制系统的流程图。该设备控制系统通过以下方式实现首先，拍摄原始视频，将该视频解码为图像。之后，采用背景分割技术(background segmentation) 将背景从图像中移除。为了识别“触发”手势，采用一种关联技术。一旦“触发”手势被识别，则跟踪其移动来控制显示器。但是，在专利文献1所示的以上现有技术中，存在着可靠性低的问题。这是由于在以上技术中，采用的是背景分割技术来将背景从图像中移除，由此，系统有时会产生以下问题。(1)在系统开始工作前，用户不能停留在摄像机前。事实上，除了背景之外，任何物体都不能停留。否则，将会出现大的噪声块。(2)照明应保持恒定不变。一旦照明发生变化，大的噪声会随之产生。因此，一般而言，该系统不适于户外场景。(3)在整个处理过程中，摄像机都必须固定。而且，所有的摄像机参数，例如焦距、 曝光、和白平衡等都必须固定不变。专利文献1 美国专利申请公开US05594469A
发明内容
本发明鉴于上述的现有技术中可靠性低的问题而完成，其目的在于提供一种简单直接、可靠性高的基于静态手势识别的非接触控制系统和非接触控制方法。本发明是一种基于静态手势识别的非接触控制系统，其特征在于，具有摄像单元，拍摄当前用户的视频；处理单元，从被上述摄像单元拍摄的用户的视频中识别用户的手势，并将所识别的手势转换为相应的操作指令；目标单元，根据处理单元的操作指令执行操作。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述处理单元包括手势识别模块和信号转换模块，上述手势识别模块从被上述摄像单元拍摄的用户的视频中识别用户的手势，上述信号转换模块根据手势与操作指令的对应的关系，将所识别的手势转换为供目标单元执行的相应的操作指令。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述处理单元还包括手检测模块和手跟踪模块，上述手检测模块从被上述摄像单元拍摄的用户的视频中检测用户的手，将包括用户的手的位置和所处区域等信息传送给上述手跟踪模块，上述手跟踪模块根据包括用户的手的位置和所处区域等信息，对从摄像单元输入的视频进行分析，获得关于手势的信息。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述手跟踪模块对被检测到的每一个手建立一个跟踪器，上述跟踪器根据包括手的位置和所处区域等信息，对从摄像单元输入的视频进行分析，获得关于该手的手势的信息。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述手势识别模块根据来自上述手跟踪模块的关于手势的信息，识别用户的手势，并将所识别的手势结果传送至上述信号转换模块。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述目标单元为电视机、计算机、电子白板、电子广告屏中的任一种。此外，本发明的基于静态手势识别的非接触控制系统，其特征在于上述手势为表示1 10的数字的手势。此外，本发明还是一种基于静态手势识别的非接触控制方法，其特征在于，包括以下步骤拍摄当前用户的视频的摄像步骤；从在上述摄像步骤中拍摄的用户的视频中识别用户的手势，并将所识别的手势转换为相应的操作指令的处理步骤；以及根据上述处理步骤的操作指令，执行相应操作的操作步骤。此外，本发明的基于静态手势识别的非接触控制方法，其特征在于上述处理步骤包括手势识别步骤和信号转换步骤，上述手势识别步骤从在上述摄像步骤中拍摄的用户的视频中识别用户的手势，上述信号转换步骤根据手势与操作指令的对应的关系，将在上述手势识别步骤识别的手势转换为相应的操作指令。 此外，本发明的基于静态手势识别的非接触控制方法，其特征在于上述处理步骤还包括手检测步骤和手跟踪步骤，上述手检测步骤从在上述摄像步骤中拍摄的用户的视频中检测用户的手，得到包括用户的手的位置和所处区域的信息，上述手跟踪步骤根据在上述手检测步骤得到的包括用户的手的位置和所处区域的信息，对在上述摄像步骤中拍摄的用户的视频中进行分析，获得关于手势的信息。此外，本发明的基于静态手势识别的非接触控制方法，其特征在于在上述手跟踪步骤中，对被检测到的每一个手分别进行跟踪，根据包括手的位置和所处区域的信息，对在摄像步骤中拍摄的视频进行分析，获得关于该手的手势的信息。此外，本发明的基于静态手势识别的非接触控制方法，其特征在于在上述手势识别步骤中，根据在上述手跟踪步骤中得到的关于手势的信息，识别用户的手势。此外，本发明的基于静态手势识别的非接触控制方法，其特征在于上述操作指令为电视机、计算机、电子白板、电子广告屏中的任一种执行的操作指令。此外，本发明的基于静态手势识别的非接触控制方法，其特征在于上述手势为表示1 10的数字的手势。发明效果本发明的以上技术方案为基于静态手势识别的非接触控制提供了一种可靠的新的解决方案。第一，本发明的基于静态手势识别的非接触控制系统和方法，通过摄像单元拍摄用户的实况视频，通过分析该实况视频，自动检测和跟踪用户的手。一旦一个手势出现于视频之中，就会被实时识别。之后，被识别的图像被转换为操作指令，供目标单元执行。因此， 用户能够使用一系列的静态手势来控制目标单元而不需要与目标单元有任何的直接接触。这里，传统的背景分割技术被本发明的新的方法所取代，因此，在本发明的基于静态手势识别的非接触控制系统和方法中，用户能够在摄像机前任意移动，摄像机的参数也可以根据需要任意设置。而且，本发明的基于静态手势识别的非接触控制系统和方法既能够用于户外，也能够用于户内。因此，诸如专利文献1这样的现有技术中所存在的可靠性低问题得到合理的解决。第二，对于各种用户可以设计一系列的识别功能。当前，许多手势在现实世界中被广泛使用。但是，通常它们都很难被当前的手势识别系统所识别。因此，在本发明的基于静态手势识别的非接触控制系统和方法中，对这些通常的识别手势设计了一套新的识别功能。进而，由于每一个被识别的手势是相互独立的，因此，它们可以被分别定义为不同的操作指令。因此，若一个手势被识别，其相应的操作指令就能立即执行，由此，实现了简单而有效的且可靠性高的控制方法。第三，本系统针对实况视频进行实时处理。根据本发明的基于静态手势识别的非接触控制系统和方法，由于首先使用手检测算法和手跟踪算法对用户的手进行定位，所以， 在随后的手势识别算法中，可以仅在小范围而不是大的范围内识别用户的手势。因此，能够节省大量时间并实现实时系统。第四，由于本发明的基于静态手势识别的非接触控制系统和方法仅依赖于用户的手，因此，用户可以直接控制目标单元而不需要其他额外的设备。
图1是表示本发明的静态手势识别的非接触控制系统的结构框图。图2是表示本发明的静态手势识别的非接触控制系统的外观示意图。图3是表示本发明的静态手势识别的非接触控制方法的流程图。图4是表示本发明的静态手势识别的非接触控制系统的手检测模块进行的处理的流程图。图5是表示本发明的静态手势识别的非接触控制系统的手跟踪模块进行的处理的流程图。图6是表示本发明的静态手势识别的非接触控制系统的手势识别模块进行的处理的流程图。图7是表示本发明的静态手势识别的非接触控制系统的信号转换模块进行的处理的流程图。图8是表示本发明的一种实施方式中表示数字的手势。图9是表示本发明用4个表示数字的手势控制电视机的一实施例。图10是表示本发明用多个表示数字的手势控制电视机的一实施例。图11是另一个系列的手势的例子。图12是表示现有技术的手势机器控制系统的外观示意图。图13为现有技术的手势机器控制系统的手势控制方法的流程图。
具体实施例方式以下，使用附图详细说明本发明的实施方式。图1是本实施方式的静态手势识别的非接触控制系统的结构框图，其中箭头表示信息流的流动方向。图2是表示本发明的实施方式的静态手势识别的非接触控制系统的外观示意图。如图1所示，本实施方式的静态手势识别的非接触控制系统1主要包括三个部分 摄像单元2、处理单元3和目标单元4。摄像单元2为拍摄用户的视频的装置，可以为电视摄像机、计算机的摄像头等。处理单元3用于处理被拍摄的视频，例如识别用户的手势并将其转换为相应的指令等。处理单元3可以为计算机处理器等。目标单元4为根据指令执行各种操作的装置，例如可以为电视机、计算机、显示器、电子白板、电子广告屏等多种设备。如图2所示，以上摄像单元2、处理单元3和目标单元4可以被分开设置(左图)， 其中，摄像单元2可置于高于显示装置的位置，也可以将它们三者设置为一体(右图)，例如可将摄像单元2置于装置顶部，而将处理单元3内置。作为处理单元3，包括四个模块手检测模块5、手跟踪模块6、手势识别模块7和信号转换模块8，其各自的功能将在后面详述。图3是表示作为本实施方式的静态手势识别的非接触控制系统中基于静态手势识别的非接触控制方法的基本步骤的流程图。首先，摄像单元2拍摄用户的视频实况。该视频信号传输至处理单元3。通过处理单元3中的手检测模块5在视频中检测用户的手。在用户的手被检测到之后，将检测结果传送至手跟踪模块6。手跟踪模块6对该用户的手进行跟踪。进而，检测结果和跟踪结果在手势识别模块7进行分析，对用户的手势进行识别。一旦一个手势被识别后，信号转换模块 8将该手势转换为相应的操作指令。最后，处理单元3将该操作指令输出至目标单元4，目标单元4基于该操作指令来执行操作。这样，通过对用户进行实况视频拍摄，并对实况视频中用户的手进行自动的检测和跟踪，一旦一个手势出现于视频中，就会被实时识别。而且，被识别的手势被转换为相应的操作指令，目标单元根据该操作指令来执行操作。因此，用户能够使用一系列的静态手势，隔着一段距离来控制目标单元，而不需要直接触摸该目标单元来进行控制。以下，结合处理单元3所包括四个模块的结构，对本实施方式的静态手势识别的非接触控制系统中基于静态手势识别的非接触控制方法进行进一步的说明。图4是处理单元3中手检测模块5进行的处理的流程示意图。摄像单元2拍摄的当前的实况视频被输入手检测模块5后，在该手检测模块5中，
7根据经训练的手模型对输入的实况视频进行检测。该经训练的手模型为事先对用户的手进行拍摄的图像，可以根据需要进行设计。例如，可以根据安全或使用限制的需要，仅对公司的内部员工，或对任意的使用者预先设计各种手势的模型。此外，对以上手模型建立数据库，存贮在存储器中。在检测过程中，手检测模块5通过Adaboost算法或其他目标检测算法，对照手模型来分析视频中是否出现用户的手。在该算法中，主要利用Harr特征(边缘特征、线性特征、中心特征和对角线特征)，通过积分图，来搜索用户的手。若未发现用户的手，则手检测模块5继续分析新的视频。若发现用户的手，手检测模块5将用户的手所处的位置、所处的区域以及相关的其他信息，例如表示手在图像中的矩形区域的数据(中心、宽度、长度)记录在存储器中。并且，将所记录的信息输出至手跟踪模块6中。此外，根据需要，有时还可以检测用户的脸部、眼睛、嘴巴、鼻子等以提供进一步的 fn息ο图5是处理单元3中手跟踪模块6的处理流程示意图。在被检测到的用户的手的信息，例如手所处的位置、所处的区域等与手相关的信息被输入至手跟踪模块6后，手跟踪模块6进行跟踪器的初始化，即对每一个被检测到的手建立一个跟踪器。该跟踪器对从摄像单元2输入的实况视频一帧一帧地进行分析。对每一个新的帧，跟踪器根据手所处的位置、所处的区域，在实况视频中的相应区域，搜索与被检测到的手最相似的区域。一旦实现了稳定的跟踪，则关于该用户手的所有信息，例如，手的位置、区域、关于手势的信息等都将被获得。以上获得的用户手的信息被输出至手势识别模块7以进行手势识别。在手跟踪模块6进行的以上处理中，可以根据表示手在图像中的矩形区域的数据 (中心、宽度、长度)，通过Mear^hift算法或其他目标跟踪算法，使用颜色直方图来得到表示手在图像中的椭圆形区域的数据(中心、宽度、长度、方向)，由此获得关于用户手的手势 fn息ο图6是处理单元3中手势识别模块7的处理流程示意图。手势识别模块7对从手跟踪模块6输入的关于用户手的所有信息，利用HOG特征， 通过SVM(Supp0rt Vector Machine)算法或其他目标检测算法进行分析以识别用户的手势，并将被识别的手势的结果(表示手势的类别的数据或信号)输出至信号转换模块8中。通过SVM(Support Vector Machine)算法或其他目标检测算法进行分析以识别用户的手势，传统上需要在整个图像范围搜索用户的手以最终实现手势的识别。但是，在本发明中，由于通过手检测模块5和手跟踪模块6已对用户的手进行了定位，因此，在最耗时的手势识别处理中，不需要搜索用户的手，从而节省了大量的时间，使得用户的实时控制成为可能。在本发明中，根据预先记录在存储器中的手模型，采用对象检测方法来识别视频中的手和手势，因此，与现有技术的背景分割技术相比，由于不需要移除背景，因而用户能够在摄像机前任意移动，摄像机的参数也可以根据需要任意设置。而且，本发明的基于静态手势识别的非接触控制系统和方法既能够用于户外，也能够用于户内。因此，诸如专利文献 1这样的现有技术中所存在的可靠性低问题得到合理的解决。图7是处理单元3中信号转换模块8的处理流程示意图。
由于从手势识别模块7输出的手势的结果(手势的类别)是对应于手势的各种数据或信号，并不能直接为目标模块所理解执行，因此，在信号转换模块8中，将被识别的手势转换为相应的操作指令信号，并输出至目标单元4。这里，根据目标单元的不同，对于每个不同的手势，事先进行设定，建立每个手势与操作指令一一对应的关系。以上对应关系可以通过手势-指令对照表记录在存储器中。例如，如后所述，在目标单元为电视机的例子中，将表示数字“5”的手势指定为操作指令“开机”，当从手势识别模块7输出的手势为表示数字“5”的手势时，信号转换模块8 将该数字“5”的手势转换为相应的操作指令“开机”，并将该操作指令传送至目标单元例如电视机使其执行开机动作。在目标单元例如为计算机时，信号转换模块8将手势转换为计算机能够识别和执行的操作指令信号，例如可以为“双击”、“单击”等计算机指令，构成一个代替传统的键盘鼠标的非接触控制系统。这样，通过以上处理单元3中的手检测模块5、手跟踪模块6、手势识别模块7和信号转换模块8的处理，用户基于事先设定的一系列的静态手势与操作指令的对应关系，非接触地控制目标单元来执行操作。以下通过以电视机操作为例具体说明使用静态手势来控制电视机的操作过程。作为手势的简单解决方案，如图8所示的表示数字的手势被广泛使用。而且，这些手势每一个都是相互独立的，因此，在本实施例中，将它们分别定义为不同的操作指令，并且，对左右手的手势加以区别。这样，就形成了一套共20个不同的操作指令。例如，设定表示“5”的左手手势为“开机”指令；表示“8”的左手手势为“下一个” 指令；表示“6”的左手手势为“上一个”指令；表示“10”的左手手势为“关闭”指令；表示 “9”的左手手势为“调用”指令。图9时表示使用4种手势作成的简单的电视机控制器的示意图。当用户站在电视机(目标单元4)前时，作为摄像单元2的电视摄像机对其进行实况拍摄，将该用户的实况视频输入到处理单元3中的手检测模块5。当用户开始在电视机前移动手，做出表示“5”的左手手势时，该用户的手将被手检测模块5实时检测。然后，在手跟踪模块6中，该用户的手被跟踪，由此获得关于该用户的手的位置、区域、手势的信息。之后，在手势识别模块7中，获得的手的信息被分析，识别该用户的手势为表示“5”的左手手势。在该手势被识别后，在信号转换模块8中，该表示“5”的左手手势被转换为相应的操作指令“开机”，让电视机执行开机操作。随后，当用户做出表示“8”的左手手势时，根据以上同样的处理过程，该表示“8” 的左手手势转换为相应指令“下一个”，电视机执行切换至下一频道的操作。此后，当用户做出表示“6”的左手手势时，该表示“6”的左手手势转换为相应指令“上一个”，电视机执行切换至上一频道的操作。最后，当用户做出表示“10”的左手手势时，该表示“10”的左手手势转换为相应指令“关闭”，电视机执行关闭电视的操作。以上使用4种手势即可作成一个简单的电视机控制器，事实上，可以通过增加其他手势来实现更复杂的控制。图10表示使用5种手势作成的相对复杂的电视机控制器的示意图，在图10中，增加了表示“9”的左手手势作为“调用”的操作指令来调用全部功能
9菜单。一般而言，“直接”模式被设定为默认模式。在该模式下，用户可以直接通过右手手势切换频道。如果用户希望更复杂的操作，用户可以选择“调用”指令来调出全部功能菜单。 这样，所有的功能都能够被自由选择。在图10中，使用一个单手(左手)实现了复杂的控制功能。事实上，许多其他的功能还可以通过两只手来容易地实现。以上作为手势的简单解决方案，列举了表示数字的手势。但是，不限于以上所述的 20种表示数字的手势，还可以列举如附图11所示的分别用左右手表示的一个系列的手势。 事实上，只要这些手势的每一个相互是独立且易于区别的，就能够将它们分别定义为不同的操作指令，来根据控制需要来进行设定。然而，由于以上表示数字的手势已被广泛使用， 因此，优选以上表示数字的手势作为操作指令。以上以电视机操作为例说明了使用静态手势来控制电视机的操作过程，然而，作为目标单元，除电视机以外，还可以为计算机、显示器、电子白板、电子广告屏等多种设备。 在对不同的目标单元进行控制时，信号转换模块将手势信号转换为该设备能够识别和执行的对应的操作指令信号。以上所示的实施方式的全部内容均只是例示而并非限制性内容。本发明的范围不由上述的说明而是由权利要求书所表示，包括与权利要求书的范围均等的意义和范围内的
全部变更。
权利要求
1.一种基于静态手势识别的非接触控制系统，其特征在于，具有 摄像单元，拍摄用户当前的视频；处理单元，从由所述摄像单元拍摄的用户的视频中识别用户的手势，并将所识别的手势转换为相应的操作指令；以及目标单元，根据所述处理单元的操作指令，执行相应的操作。
2.根据权利要求1所述的基于静态手势识别的非接触控制系统，其特征在于 所述处理单元包括手势识别模块和信号转换模块，所述手势识别模块从由所述摄像单元拍摄的用户的视频中识别用户的手势， 所述信号转换模块根据手势与操作指令的对应关系，将所识别的手势转换为供目标单元执行的相应的操作指令。
3.根据权利要求2所述的基于静态手势识别的非接触控制系统，其特征在于 所述处理单元还包括手检测模块和手跟踪模块，所述手检测模块从由所述摄像单元拍摄的用户的视频中检测用户的手，将包括用户的手的位置和所处区域的信息传送给所述手跟踪模块，所述手跟踪模块根据包括用户的手的位置和所处区域的信息，对从所述摄像单元输入的视频进行分析，获得关于手势的信息。
4.根据权利要求3所述的基于静态手势识别的非接触控制系统，其特征在于所述手跟踪模块对被检测到的每一个手建立一个跟踪器，所述跟踪器根据包括该手的位置和所处区域的信息，对从所述摄像单元输入的视频进行分析，获得关于该手的手势的 fn息ο
5.根据权利要求3或4所述的基于静态手势识别的非接触控制系统，其特征在于 所述手势识别模块根据来自所述手跟踪模块的关于手势的信息，识别用户的手势，并将所识别的手势结果传送至所述信号转换模块。
6.根据权利要求1所述的基于静态手势识别的非接触控制系统，其特征在于 所述目标单元为电视机、计算机、电子白板、电子广告屏中的任一种。
7.根据权利要求1所述的基于静态手势识别的非接触控制系统，其特征在于 所述手势为表示1 10的数字的手势。
8.一种基于静态手势识别的非接触控制方法，其特征在于，包括以下步骤 拍摄用户当前的视频的摄像步骤；从在所述摄像步骤中拍摄的用户的视频中识别用户的手势，并将所识别的手势转换为相应的操作指令的处理步骤；以及根据所述处理步骤的操作指令，执行相应操作的操作步骤。
9.根据权利要求8所述的基于静态手势识别的非接触控制方法，其特征在于 所述处理步骤包括手势识别步骤和信号转换步骤，在所述手势识别步骤中，从在所述摄像步骤中拍摄的用户的视频中识别用户的手势， 在所述信号转换步骤中，根据手势与操作指令的对应关系，将在所述手势识别步骤识别的手势转换为相应的操作指令。
10.根据权利要求9所述的基于静态手势识别的非接触控制方法，其特征在于 所述处理步骤还包括手检测步骤和手跟踪步骤，在所述手检测步骤中，从在所述摄像步骤中拍摄的用户的视频中检测用户的手，得到包括用户的手的位置和所处区域的信息，在所述手跟踪步骤中，根据在所述手检测步骤得到的包括用户的手的位置和所处区域的信息，对在所述摄像步骤中拍摄的用户的视频中进行分析，获得关于手势的信息。
11.根据权利要求10所述的基于静态手势识别的非接触控制方法，其特征在于在所述手跟踪步骤中，对被检测到的每一个手分别进行跟踪，根据包括手的位置和所处区域的信息，对在摄像步骤中拍摄的视频进行分析，获得关于该手的手势的信息。
12.根据权利要求10所述的基于静态手势识别的非接触控制方法，其特征在于在所述手势识别步骤中，根据在所述手跟踪步骤中得到的关于手势的信息，识别用户的手势。
13.根据权利要求8所述的基于静态手势识别的非接触控制方法，其特征在于 所述操作指令为电视机、计算机、电子白板、电子广告屏中的任一种执行的操作指令。
14.根据权利要求7所述的基于静态手势识别的非接触控制方法，其特征在于 所述手势为表示1 10的数字的手势。
全文摘要
本发明提供一种基于静态手势识别的非接触控制系统和方法。该基于静态手势识别的非接触控制系统具有摄像单元，拍摄当前用户的视频；处理单元，从被所述摄像单元拍摄的用户的视频中识别用户的手势，并将所识别的手势转换为相应的操作指令；目标单元，根据处理单元的操作指令，执行操作。由此，实现了简单、可靠性高的实时非接触控制系统。
文档编号G06F3/01GK102200830SQ201010134538
公开日2011年9月28日 申请日期2010年3月25日 优先权日2010年3月25日
发明者吉田育弘, 孔晓东, 张小牤 申请人:夏普株式会社