专利名称：人机互动装置及其方法
技术领域：
本发明是有关于一种人机互动装置，特别是有关于一种能辨识影像中移动物体的速度以判断是否启动互动物件、进而依据互动物件的移动轨迹以控制显示器的显示影像的人机互动装置。
背景技术：
近年研发出的数字互动看板、屏幕或电视等，使得使用者可以用手势，就能操控数字看板、屏幕或电视的显示影像。目前的数字互动操作，多是利用影像式物件检测及追踪系统，找出一互动物件并依据互动物件的检测结果来作为输入操作指令，以进行人机互动。不过，这样的系统因易受到复杂背景影响，导致对互动物件的辨识率不佳，因此无法在开放性空间有效追踪互动物件。为解决辨识率不佳问题，传统的数字互动操作所使用的影像式物件检测及追踪系统，多必须事先建立互动物件模型以供比对，或是利用具有特定辨识效果(如特定形状、颜色)的辅具(如手套等)，让系统便于追踪，以提高辨识率。但如此一来，使用者就无法任意选择互动物件，而且还受限于特定辅具，例如必须佩戴手套，操作相当不便。例如在中国台湾专利11274296号中，利用影像辨识技术，使用者欲与看板进行双向互动时，看板需事先设定所欲检测及追踪的互动物品为何。此种采用“预先决定好互动物品”的互动机制并不适用于路旁的数字互动看板，因为路人并不会事先拥有预设的该样物品，而且摆设在看板旁的预设互动物品也容易因为使用者忘记归位等原因而遗失，进而导致整个系统无法运作。又如在中国台湾专利466483号的方法，必须先建立背景影像。而在开放式的空间下，背影影像是动态变化的，因此无法事先建立背景影像，而使得该系统易受到周边光影变化及复杂背景影响。因此，需要一种人机互动介面，以克服上述问题。详言之，需要有一种人机互动介面，其能够让影像式物件检测及追踪系统，在目前的硬件设备中，以最少的运算量，不需事先建立互动物件模型，也不需要的辅具，可找出使用者的任意物品作为互动物件，进行人机互动；并且，让使用者的任意物品，在开放性空间中或是在复杂背景下，仍能有极佳辨识率， 进行有效追踪。
发明内容
本发明提供一种可应用在动态杂乱背景下的人机互动装置及方法，无须事先建立互动物件模型，使用者也不需使用特定的辅具，仅需挥动手或是任意物品，即可进行人机互动操作，提供一种有效和相当便利的解决方案，本案的技术包含到影像检测、影像追踪及分析、以及互动物件判断、识别、追踪移动轨和进行影像控制等技术。详言之，本发明提供一种人机互动装置，其包括一显示器；一摄影机，用以拍摄上述显示器前的连续多个影像，其中上述影像中包括至少一第一物体；以及，一处理器，其
4链结上述显示器及上述摄影机，用以接收上述影像并于上述显示器显示上述影像，且针对上述影像，判断任一上述第一物体是否有一互动动作发生，当上述互动动作发生时从上述影像中决定一互动物件，分析上述互动物件的至少一特征，并依据上述特征，于上述影像中追踪上述互动物件的移动轨迹，再依据上述互动物件的上述移动轨迹，控制上述显示器的显示影像。本发明另提供一种人机互动方法，其是经由一摄影机拍摄一显示器前的连续多个影像，其中上述影像中包括至少一第一物体，且其步骤包括接收上述影像并于上述显示器显示上述影像；针对上述影像，判断任一上述第一物体是否有一互动动作发生，当上述互动动作发生时从上述影像中决定一互动物件；分析上述互动物件的至少一特征，并依据上述特征，于上述影像中追踪上述互动物件的移动轨迹；以及依据上述互动物件的上述移动轨迹，控制上述显示器的显示影像。
图1是显示依据本发明一实施例的一人机互动装置的方块图。图2是显示依据本发明一实施例的人机互动方法流程图。图3是显示本发明另一实施例的人机互动方法流程图。图4A 图4C是显示本发明一实施例中的检测动作待机程序及检测物体学习程序的实施例示意图。图5是显示依据本发明一实施例中的追踪互动程序的流程图。附图标号10 人机互动装置；11 显示器；13 摄影机；15 处理器；S201、S203、S205、S207、S301、S302、S303、S304、S305、S306、S307、S308、S501、 S503、S505、S507、S509、S511 步骤。
具体实施例方式为让本发明的上述和其他目的、特征、和优点能更明显易懂，下文特举出较佳实施例，并配合所附图式，作详细说明如下。图1是显示依据本发明实施例的一人机互动装置的方块图。人机互动装置10包括显示器11、摄影机13、处理器15。其中，显示器11用以显示影像；摄影机13用以拍摄该显示器11前的连续影像，上述影像中包括至少一第一物体； 处理器15依据摄影机13所拍摄到的影像，判断任一上述第一物体是否有一互动动作发生， 若有，从上述影像中决定一互动物件，分析上述互动物件的至少一特征，并依据上述特征， 于上述影像中追踪上述互动物件的移动轨迹，再依据上述互动物件的上述移动轨迹，控制该显示器11的显示影像。在本发明一实施例中，上述第一物体可为任意物件、人体或人体的一部位，例如手。且该互动物件可以是第一物体的其中一个，也可以是第一物体以外的其他物体，例如，当判断互动动作发生时，另在摄影机前置入一第二物件，以使上述影像中新增加了第二物件，再以第二物件作为互动物件。在另一些实施例中，处理器15接收摄影机13所拍摄到的影像，在上述影像中的每一张影像，对每个第一物体中设定并分布一预设数量的第一光粒子点，然后检测每个第一光粒子点的移动速度。处理器15依据检测到的第一光粒子点的移动速度，当某部分第一光粒子点(可称为第二光粒子点)的移动速度大于所有第一光粒子点的平均移动速度，处理器15可判断上述互动动作发生。所述的第二光粒子点的移动速度大于所有第一光粒子点的平均移动速度，可以是第二光粒子点的移动速度为上述所有第一光粒子点平均移动速度的一预定倍数，例如2 5倍，亦可以是第二光粒子点的移动速度比所有第一光粒子点平均移动速度大于一预定数值(门槛值)，例如大于A m/sec0在本发明另一实施例中，处理器15可从上述影像中判断出上述第二光粒子点所对应的一物体，其可以是第一物件其中之一，或其中一部分，自动选取作为一初步互动物件。处理器15更在显示器11上，于一固定位置、不特定位置、或是上述初步互动物件的周围显示一确认框；当一第二物体的影像显示于确认框时，则可决定此第二物体为与人机数字装置10欲进行互动的互动物件，在本发明的另一实施例中，第二物体可以是第一物体的其中之一、或是第一物体的一部分，或为不同于第一物体的另一物体。该处理器15更分析互动物件的至少一特征，并利用一粒子滤波器追踪技术于上述影像中追踪互动物件的移动轨迹。在本发明的一些实施例中，上述互动物件的特征可以是互动物件的颜色、饱和度、边缘及材质，但不限于此。在另一些实施例中，处理器15更可以判断是否持续追踪到互动物件的移动轨迹， 若是，处理器15则可继续追踪上述互动物件，若否，处理器15则重新接收影像，并对影像判断影像中的第一物体是否有互动动作发生。当处理器15重新判断有互动动作发生时，在显示器11上重新显示确认框，当第三物体的影像显示于确认框时，处理器15则可决定第三物体作为互动物件，并分析第三物体的特征。也就是说，当处理器15无法持续追踪到互动物件的移动轨迹时，其可重新回到接收影像、判断是否有互动动作发生、以及显示确认框的程序，此时可以再将第二物体、或是非第二物体的第三物体的影像显示于确认框。图2是显示依据本发明一实施例的人机互动方法流程图。步骤S201中，处理器15执行检测动作待机程序，经由一摄影机拍摄一显示器前的连续多个影像，其中上述影像中包括至少一第一物体，接收上述影像并于上述显示器显示上述影像，然后针对上述影像，判断任一上述第一物体是否有一互动动作发生，若有互动动作发生，则进入步骤S203中，否则回到步骤S201，继续执行检测动作待机程序。上述检测动作待机程序，较佳可以每隔1 200ms执行一次，较佳的实施例，可以每隔5 20ms执行一次，可依据处理器15的硬件性能而决定，本发明不限于此。步骤S203中，执行检测物体学习程序，上述检测物体学习程序是指当上述互动动作发生时从上述影像中决定一互动物。步骤S205中，执行追踪互动程序，上述追踪互动程序是指分析互动物件的至少一特征，并依据上述特征，于摄影机13所拍摄的连续影像中追踪互动物件的移动轨迹。步骤S207中，依据步骤S205中追踪到的互动物件移动轨迹，控制显示器11的显
示影像。图3是显示本案另一实施例的流程图。
6
步骤S301中，接收摄影机13所拍摄到显示器11前的多个连续影像，其中上述影像中包括至少一第一物体，接收上述影像并于显示器11显示上述影像，然后针对上述影像，判断任一上述第一物体是否有一互动动作发生。例如，图4A显示摄影机13所拍摄到显示器11前的第一物体的连续影像中的一张影像，摄影机13拍摄到在显示器11前有一使用者手持一物体，在本发明的实施例中，为便于说明，第一物体仅为使用者及其手持物体，但本发明不限于此，在连续影像中的所有人或物体皆可视为第一物体。在步骤S302中，对影像中的第一物体设定并分布一预设数量的第一光粒子点。如图4B所示的多个光粒子点40，在步骤S301取得的影像中的第一物体设定并分布一定数量的第一光粒子点。其中，设定光粒子点的方法，例如一粒子滤波器，是依据现有的方法于Arulampalam等人所发表的论文“Atutorial on particle filters for online nonlinear/non-Gaussian Bayesian tracking，， (IEEE Transactions on Signal Processing, Feb 2002) R 文 ^ Michael Isard andAndrew Blake "!CONDENSATION Unifying Low-Level and High-LevelTracking in a Stochastic Framework，，中所揭露。在步骤S303中，检测影像中各第一光粒子点的移动速度。在步骤S304中，依据检测到的上述各第一光粒子点的移动速度，当上述第一光粒子点中的多个第二光粒子点的移动速度大于上述所有第一光粒子点的平均移动速度，判断上述互动动作发生，其中，上述第二光粒子点为上述第一光粒子点的部分。在本发明的一些实施例中，上述第二光粒子点的移动速度大于上述所有第一光粒子点的平均移动速度， 是指上述第二光粒子点的移动速度为上述所有第一光粒子点的平均移动速度一预定倍数 (例如2倍，以3 5倍为佳)、或上述第二光粒子点的移动速度大于上述所有第一光粒子点的平均移动速度一预定数值。上述的预定倍数或预定数值可以依据实际需要或经测试后取得效果效佳的数值而定，并不限定于上述特定倍数。在此步骤中，快速的光粒子流用以启动互动动作。由于使用上述的动态条件作为判断依据，因此，在背景杂乱和背景单纯的场合中，都可以使用，不需要因应互动看板设立的场合不同而重新设定参数。在步骤S305中，从影像中判断出上述第二光粒子点所对应的物体，用以作为一初步互动物件。例如，在检测到的连续影像中包含图4A及图4B中的使用者挥动手中的物件， 就会使设定于该物件上的光粒子点随的移动，如步骤S304判断有互动动作发生之后，可找出对应光粒子移动相对较快速的物件，亦即使用者手中物件，判断是初步互动物件。在步骤S306中，在显示器11上显示一确认框。在本实施例中，确认框是用以供使用者拿初步互动物件或任意其他物件置于确认框中，用以作为互动物件。在本发明的另一实施例中，亦可自动设定由上述决定的初步互动物件直接作为互动物件。上述确认框的位置可位于显示器11上的一固定位置、或不特定位置、或上述初步互动物件的周围，例如图 4C所示本发明的实施例，在显示器11上，于该初步互动物件的周围显示一确认框41。在步骤S307中，当一第二物体的影像显示于上述确认框时，决定上述第二物体作为上述互动物件。在本发明的一实施例中，当检测到的影像中，是上述初步互动物件暂停于该确认框中达一预定时间(例如数秒钟)，则处理器15判断初步互动物件的确是欲用来进行互动的互动物件。在本发明的另一实施例中，若使用者拿取另一瓶子置于确认框内，则处理器15会分析该瓶子的影像，并决定用以作为进行互动的互动物件(步骤S308)。若并未有物体影像显示在确认框中，此时则回到步骤S301，重新寻找互动物件。
在步骤S308中，分析置于确认框的物体影像的至少一特征。图5是显示依据本发明另一实施例的追踪互动程序的流程图。在步骤S501中，分析该互动物件的特征。上述特征可以依据实际状况而设定，举例来说，上述特征可以是互动物件的颜色、饱和度、边缘、材质等。在步骤S503中，判断是否持续追踪到上述互动物件的移动轨迹。例如，利用一粒子滤波器追踪技术针对该互动物件进行稳定追踪，用以检测及分析该互动物件的移动轨迹。并可以利用“重要特征重复取样”的方法，以减少不必要的运算浪费，提升追踪的品质。 另外，也可以运用分割取样的技术，先追踪取得互动位置信息，再运用此位置信息进行旋转和缩放比对，以降低运算复杂度。在步骤S505中，判断是否持续追踪到互动物件，若是，则继续执行步骤S503，若否，则表示追踪不到互动物件，则执行步骤S507。在步骤S507中，重新显示确认框。在本发明的一实施例中，当确认框重新出现时， 使用者可以改变、更换欲进行互动的互动物件，只需将欲进行互动的物体再置于确认框内。在步骤S509中，判断是否有互动物件影像显示于上述确认框中，其可以是原来的第二物体或是其他第三物体。若有物体再置于确认框中，则进行步骤S511，若无物体置于确认框内，则结束人机互动程序，人机互动装置10重新回到检测动作待机程序。在步骤S511中，判断置于确认框中的物体是否为原本的互动物件。若是，则不用重新分析互动物件的特征，直接进入步骤S503继续检测及分析互动物件的移动轨迹，若否，则进入步骤S501，重新分析互动物件的特征。依据上述方法，当检测到互动动作后，处理器15可提供一确认框以等待使用者将欲用来进行互动的互动物件置于确认框中，处理器15将会分析被置入确认框中物品的各项特征，分析欲追踪的互动物件特征。因此，本案的互动方法可以适用一般物品作为互动物件，并不需要预先设定互动物件的种类或样式，使用者可以随意选择身边的物品作为互动物件，开始与人机互动装置10进行互动，例如控制该显示器的显示影像。再者，依据上述方法，若追踪遭遇遮蔽或者使用者误将互动物件移出摄影机13的视野时，将会重新出现确认框以供使用者将原互动物件放回继续进行互动，而不需要再行辨认一次。本发明的人机互动方法，可经由一处理器来实作，或可为一计算机程序，并储存于一计算机可读取记录媒体中，而使一机器、一计算机或一电子设备来读取此记录媒体后载入计算机程以执行本发明的人机互动方法。计算机可读取记录媒体可为只读存储器、闪存、 软盘、硬盘、光盘、随身碟、磁带、可由网络存取的数据库、或熟悉此技艺者可轻易思及具有相同功能的计算机可读取记录媒体。当机器、计算机或电子设备载入计算机程以执行人机互动方法时，此机器、计算机或电子设备即成为本发明之系统或装置。虽然本发明已以实施方式揭露如上，然其并非用以限定本发明，任何熟悉此技艺者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰，因此本发明的保护范围当视所附的权利要求书所界定的范围为准。
权利要求
1.一种人机互动装置，其特征在于，所述的人机互动装置包括一显示器；一摄影机，用以拍摄所述显示器前的连续多个影像，其中所述影像中包括至少一第一物体；以及一处理器，链结所述显示器及所述摄影机，用以接收所述影像并于所述显示器显示所述影像，且针对所述影像，判断任一所述第一物体是否有一互动动作发生，当所述互动动作发生时从所述影像中决定一互动物件，分析所述互动物件的至少一特征，并依据所述特征， 于所述影像中追踪所述互动物件的移动轨迹，再依据所述互动物件的所述移动轨迹，控制所述显示器的显示影像。
2.如权利要求1所述的人机互动装置，其特征在于，所述处理器更包括用以在所述影像中的每一张影像的所述第一物体中设定并分布一预设数量的多个第一光粒子点；检测所述各第一光粒子点的移动速度；以及，依据检测到的所述各第一光粒子点的移动速度，当所述第一光粒子点中的多个第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度，判断所述互动动作发生；且其中，所述第二光粒子点为所述第一光粒子点的部分。
3.如权利要求2所述的人机互动装置，其特征在于，所述第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度，是指所述第二光粒子点的移动速度为所述所有第一光粒子点的平均移动速度一预定倍数、或所述第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度一预定数值。
4.如权利要求1所述的人机互动装置，其特征在于，当所述互动动作发生时，所述处理器更用以在所述显示器上显示一确认框，且当一第二物体的影像显示于所述确认框时，所述处理器决定所述第二物体作为所述互动物件，并分析所述第二物体的至少一特征。
5.如权利要求4所述的人机互动装置，其特征在于，所述处理器是利用一粒子滤波器追踪技术于所述影像中追踪所述互动物件的移动轨迹。
6.如权利要求1所述的人机互动装置，其特征在于，所述互动物件的特征为互动物件的颜色、饱和度、边缘及材质。
7.如权利要求4所述的人机互动装置，其特征在于，所述处理器更用以判断是否持续追踪到所述互动物件的移动轨迹，若是，所述处理器则继续追踪所述互动物件，否则所述处理器重新针对所述影像，判断任一所述第一物体是否有所述互动动作发生。
8.如权利要求7所述的人机互动装置，其特征在于，当所述处理器重新判断有所述互动动作发生时，在所述显示器上重新显示所述确认框；以及当一第三物体的影像显示于所述确认框时，所述处理器决定所述第三物体作为所述互动物件，并分析所述第三物体的至少一特征。
9.一种人机互动方法，其特征在于，经由一摄影机拍摄一显示器前的连续多个影像，其中所述影像中包括至少一第一物体，所述方法包括接收所述影像并于所述显示器显示所述影像；针对所述影像，判断任一所述第一物体是否有一互动动作发生，当所述互动动作发生时从所述影像中决定一互动物件；分析所述互动物件的至少一特征，并依据所述特征，于所述影像中追踪所述互动物件的移动轨迹；以及依据所述互动物件的所述移动轨迹，控制所述显示器的显示影像。
10.如权利要求9所述的人机互动方法，其特征在于，所述方法更包括在所述影像中的每一张影像的所述第一物体中设定并分布一预设数量的多个第一光粒子点；检测所述各第一光粒子点的移动速度；以及依据检测到的所述各第一光粒子点的移动速度，当所述第一光粒子点中的多个第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度，判断所述互动动作发生， 其中，所述第二光粒子点为所述第一光粒子点的部分。
11.如权利要求10所述的人机互动方法，其特征在于，所述第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度，是指所述第二光粒子点的移动速度为所述所有第一光粒子点的平均移动速度一预定倍数、或所述第二光粒子点的移动速度大于所述所有第一光粒子点的平均移动速度一预定数值。
12.如权利要求9所述的人机互动方法，其特征在于，当所述互动动作发生时，所述方法更包括在所述显示器上显示一确认框；以及当一第二物体的影像显示于所述确认框时，决定所述第二物体作为所述互动物件，并分析所述第二物体的至少一特征。
13.如权利要求12所述的人机互动方法，其特征在于，于所述影像中追踪所述互动物件的移动轨迹是利用一粒子滤波器追踪技术于所述影像中追踪所述互动物件的移动轨迹。
14.如权利要求1所述的人机互动方法，其特征在于，所述互动物件的特征为互动物件的颜色、饱和度、边缘及材质。
15.如权利要求12所述的人机互动方法，其特征在于，所述方法更包括判断是否持续追踪到所述互动物件的移动轨迹；以及若是，则继续追踪所述互动物件，否则重新针对所述影像，判断任一所述第一物体是否有所述互动动作发生。
16.如权利要求15所述的人机互动方法，其特征在于，所述方法更包括当重新判断有所述互动动作发生时，在所述显示器的上重新显示所述确认框；以及当一第三物体的影像显示于所述确认框时，决定所述第三物体作为所述互动物件，并分析所述第三物体的至少一特征。
全文摘要
本发明提供一种人机互动装置及其方法，包括一显示器；一摄影机，用以拍摄上述显示器前的连续多个影像，其中上述影像中包括至少一第一物体；以及，一处理器，链结上述显示器及上述摄影机，用以接收上述影像并于上述显示器显示上述影像，且针对上述影像，判断任一上述第一物体是否有一互动动作发生，当上述互动动作发生时从上述影像中决定一互动物件，分析上述互动物件的至少一特征，并依据上述特征，于上述影像中追踪上述互动物件的移动轨迹，再依据上述互动物件的上述移动轨迹，控制上述显示器的显示影像。本发明无须事先建立互动物件模型，使用者也不需使用特定的辅具，仅需挥动手或是任意物品，即可进行人机互动操作。
文档编号H04N7/18GK102486676SQ20101057254
公开日2012年6月6日 申请日期2010年12月3日 优先权日2010年12月3日
发明者傅立成, 许平升, 谢长泰, 钟哲民, 陈又生 申请人:财团法人资讯工业策进会