手势控制方法及系统与视频流处理装置的制造方法
【技术领域】
[0001]本发明是有关于一种手势辨识与手势控制技术，且特别是有关于一种在三维空间中进行手势控制的方法及系统与视频流处理装置。
【背景技术】
[0002]传统的人机互动介面为滑鼠、键盘和摇杆，随着科技发展日新月异，为了使人机互动可以更加便利，于是有了触控、声控等技术的出现。为了使人机互动可以更加人性化，体感控制提供了一种全新的输入方式，其中之一为手势辨识，由于手势是人与人在日常生活中常用的沟通方式之一，是一种相当直觉且方便的示意方式。手势识别应用于人机介面设计、医疗康复、虚拟实境、数字艺术创作与游戏设计等領域近来渐渐受到消费者的瞩目。
[0003]手势控制逐渐广泛地应用于各式各样的人机互动介面，例如机器人遥控、电器遥控、投影片简报操作等。使用者能够于立体空间中直接以手势来操控使用者介面，而不必接触键盘、滑鼠、遥控器等输入装置，以直觉式的动作就能驱动电子产品。据此，如何于立体空间中使得控制显示画面的方式更为简便并符合多元化的使用情境，则为目前发展的重要一环。
[0004]于一般的情况中，若要基于手部的移动轨迹或位置信息来精确的操控电子装置，使用者必须依据影像获取装置的设置方式而受限于只能在特定的空间位置进行操作上，才可藉由手部定位而据以准确的操控显示屏幕上所显示的物件。换句话说，倘若使用者并非位于影像获取装置的撷取视野的中间位置，使用者将无法准确的操控显示屏幕上所显示的物件。
【发明内容】
[0005]有鉴于此，本发明提供一种手势控制方法及系统与视频流处理装置，可依据使用者于显示屏幕前的三维空间中进行的手势操作，来对应控制显示屏幕中所显示的各个物件。
[0006]本发明提出一种手势控制方法，适用视频流处理装置，其特征在于，所述手势控制方法包括:侦测第一影像中的第一操作手势。若第一操作手势符合控制条件，依据第一操作手势决定在第一影像中关联于第一操作手势的使用者区块。依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标。根据第二操作手势的屏幕坐标执行操作功能。
[0007]在本发明的一范例实施例中，所述依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标的步骤包括:获取第一影像中使用者区块的第一尺寸。比对第一尺寸与屏幕的第二尺寸而获取坐标映射关系的归一化系数，以依据归一化系数将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标。
[0008]在本发明的一范例实施例中，第一影像与第二影像对应至影像坐标系，而所述依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标的步骤包括:决定屏幕坐标系下的参考基准点。将使用者区块的使用者代表点映射至屏幕坐标系下的参考基准点，以获取影像坐标系与屏幕坐标系之间的坐标映射关系。
[0009]在本发明的一范例实施例中，所述依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标的步骤包括:依据第二操作手势相对于使用者代表点的相对位置信息与坐标映射关系，获取第二操作手势的屏幕坐标。判断相对位置信息是否符合筛选条件，从而决定第二手势是否为关联于使用者区块的有效手势。
[0010]在本发明的一范例实施例中，所述根据第二操作手势的屏幕坐标执行操作功能的步骤包括:辨识第二手势的手势特征，以依据第二操作手势的屏幕坐标与手势特征执行操作功能。
[0011]在本发明的一范例实施例中，所述使用者区块为人脸区块或是其他预设区块。
[0012]从另一观点来看，本发明提出一种视频流处理装置，其特征在于，所述视频流处理装置包括侦测模块、决定模块、坐标转换模块以及执行模块。侦测模块用以侦测第一影像中的第一操作手势。若第一操作手势符合控制条件，决定模块用以依据第一操作手势决定在第一影像中关联于第一操作手势的使用者区块。坐标转换模块用以依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标。执行模块用以根据第二操作手势的屏幕坐标执行操作功能。
[0013]此外，本发明提出一种手势控制系统，其特征在于，所述手势控制系统包括影像获取单元、屏幕以及视频流处理装置。影像获取单元用以获取显示装置前的第一影像与第二影像。屏幕用以显示画面且具有屏幕坐标系。视频流处理装置电性连接至屏幕与影像获取单元，并且视频流处理装置包括侦测模块、决定模块、坐标转换模块以及执行模块。侦测模块用以侦测第一影像中的第一操作手势。若第一操作手势符合控制条件，决定模块用以依据第一操作手势决定在第一影像中关联于第一操作手势的使用者区块。坐标转换模块用以依据使用者区块的信息获取坐标映射关系，并藉由坐标映射关系将第二操作手势在第二影像中的坐标转换为屏幕坐标系下的屏幕坐标。执行模块用以根据第二操作手势的屏幕坐标执行操作功能。
[0014]基于上述，在使用者透过特定手势取得视频流处理装置的控制权后，本发明可将使用者影像中的脸部信息作为基准而获取一坐标转换关系，并依据坐标转换关系将操控手的位置映射至屏幕上的特定位置。藉此，视频流处理装置可依据映射转换后的定位信息来据以执行相对应的功能。也就是说，即使使用者没有位于影像获取装置的撷取视野的中间，使用者依然可控制屏幕上所显示的各个物件，从而提高在空间中对显示画面进行操作的便利性。
[0015]为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
【附图说明】
[0016]图1为根据本发明的一范例实施例所绘示的手势控制系统的示意图；
[0017]图2为根据本发明的一范例实施例所绘示的视频流处理装置的示意图；
[0018]图3是依照本发明一实施例所绘示的一种手势控制方法的流程图；
[0019]图4A是依照本发明一实施例所绘示的决定使用者区块的示意图；
[0020]图4B是依照本发明一实施例所绘示的决定使用者区块的示意图；
[0021]图5是依照本发明一实施例所绘示的坐标转换关系的示意图；
[0022]图6A是依照本发明一实施例所绘示的手势控制方法的应用情境示意图；
[0023]图6B是依照本发明一实施例所绘示的手势控制方法的应用情境示意图；以及
[0024]图6C是依照本发明一实施例所绘示的手势控制方法的应用情境示意图。
[0025]附图标记说明
[0026]10:手势控制系统
[0027]110:屏幕
[0028]120:影像获取单元
[0029]130:视频流处理装置
[0030]131:侦测模块
[0031]132:决定模块
[0032]133:坐标转换模块
[0033]134:执行模块
[0034]Imgl-1、Imgl-2、Img2:影像
[0035