利用基于事件的视觉传感器识别动作的设备和方法

利用基于事件的视觉传感器识别动作的设备和方法
【专利摘要】提供一种利用基于事件的视觉传感器识别动作的设备和方法。根据本发明的一方面的动作识别设备当从视觉传感器输入与移动发生部位对应的事件时利用事件发生频率确定移动的类型，当移动类型确定的结果为小移动时根据移动轨迹确定动作模式，当移动类型确定的结果为大移动时确定对象已移动的移动方向，并且参考确定的动作模式或确定的移动方向控制装置。
【专利说明】利用基于事件的视觉传感器识别动作的设备和方法
【技术领域】
[0001]示例实施例涉及一种识别动作(motion)的设备和方法，其中，所述设备和方法利用感测移动发生部位的视觉传感器(vision sensor)追踪手指的移动轨迹或手的移动方向，并控制装置的动作。
【背景技术】
[0002]用于人与电子装置之间的交互的用户接口(UI)可包括例如，键盘、鼠标和触摸面板。例如，基于触摸面板中所使用的触摸技术，用户可通过与屏幕直接接触来调整Π。随着触摸情况的数量增加，面板的屏幕上可能发生损坏，用户可能由于直接接触而体验不卫生的影响。因此，需要提供一种增强人与电子装置之间的交互的自然感的直观交互技术。

【发明内容】

[0003]技术方案
[0004]根据本发明的一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括:视觉传感器，感测移动发生部位并输出事件；移动类型确定单元，利用通过视觉传感器输出的事件的发生频率确定移动的类型；第一动作确定单元，当移动类型确定单元的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；第二动作确定单元，当移动类型确定的结果指示大移动时，基于事件确定对象移动的移动方向；动作控制单元，基于第一动作确定单元所确定的动作模式或者第二动作确定单元所确定的移动方向来输出用于控制装置的控制指令。
[0005]移动类型确定单元可计算通过视觉传感器输出的事件的发生频率，并且将所述发生频率与预定阈值进行比较，以在所述发生频率小于所述阈值时将所述发生频率确定为对象的一部分移动的小移动，在发生频率大于或等于所述阈值时将所述发生频率确定为整个对象移动的大移动。
[0006]第一动作确定单元可包括:与视觉传感器的多个预定感受野对应的时空相关器，接收从预定感受野输出的事件的输入并针对预定感受野中的每一个计算时空相关性；移动轨迹追踪单元,基于预定感受野的时空相关性的波动追踪移动发生部位的移动轨迹；动作模式确定单元，从追踪的移动轨迹确定移动发生部位的动作模式。
[0007]所述感受野可对应于视觉传感器的划分的区域，并与另一邻近感受野的区域重叠。
[0008]移动轨迹追踪单元可通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
[0009]当在时空相关器中不存在具有高时空相关性的时空相关器时，移动轨迹追踪单元可基于先前聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
[0010]第二动作确定单元可包括:第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；第二方向检测滤波器，基于针对所述多个感受野检测的移动方向确定对象的最终移动方向。
[0011]所述预定感受野可对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
[0012]第一方向检测滤波器可包括与预定感受滤波器中的每一个对应的至少一个胜者全得电路，并且所述至少一个胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
[0013]第二方向检测滤波器可包括基于针对所述多个感受野检测的移动方向确定对象的最终移动方向的胜者全得电路，并且所述胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
[0014]第二方向检测滤波器可通过计算针对所述多个预定感受野检测的移动方向的矢量和来确定对象的最终移动方向。
[0015]所述利用基于事件的视觉传感器识别动作的设备还可包括:第三动作确定单元，当移动类型确定单元的结果指示小移动时，将通过视觉传感器输出的事件分类为ON事件和OFF事件，计算OFF事件的比率，并通过将所述比率与至少一个预定参考值进行比较来确定对象的前进或后退。
[0016]根据本发明的另一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括:视觉传感器，感测移动发生部位并输出事件；第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向；第二方向检测滤波器，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；动作控制单元，基于确定的移动方向输出用于控制装置的控制指令。
[0017]第一方向检测滤波器可包括与预定感受野中每一个对应的至少一个胜者全得电路，并且所述至少一个胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
[0018]第二方向检测滤波器可包括基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向的胜者全得电路，并且所述胜者全得电路可利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
[0019]根据本发明的一方面，提供一种识别动作的方法，所述方法包括:从视觉传感器接收与移动发生部位对应的事件的输入；基于事件发生频率确定移动的类型；当确定移动的类型的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式；当确定移动的类型的结果指示大移动时，基于事件确定对象移动的移动方向；基于确定的动作模式或确定的移动方向控制装置。
[0020]根据本发明的一方面，提供一种识别动作的方法，所述方法包括:接收从视觉传感器的多个预定感受野输出的事件的输入；针对所述多个预定感受野检测对象移动的移动方向；基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向；基于确定的移动方向控制装置。
[0021]根据本发明的一方面，提供一种利用基于事件的视觉传感器识别动作的设备，所述设备包括:视觉传感器，感测移动发生部位并输出事件；以分层结构设置的多个方向检测滤波器，接收从视觉传感器的预定感受野输出的事件的输入并识别移动方向。
[0022]本发明的效果
[0023]根据示例实施例，提供一种利用视觉传感器识别动作的设备和方法，所述设备和方法从视觉传感器接收与移动发生部位对应的事件的输入并基于事件的发生频率确定移动的类型，当移动类型确定的结果指示小移动时基于移动轨迹确定动作模式，当移动类型确定的结果指示大移动时确定对象移动的移动方向，并基于确定的动作模式或确定的移动方向且控制装置，从而以I毫秒(ms)的速度相对快速地识别对象的移动，具有低功耗，并且不受环境亮度的影响。
【专利附图】

【附图说明】
[0024]图1是示出根据示例实施例的用于识别动作的设备的构造的示例的示图。
[0025]图2是示出根据示例实施例的利用事件的发生频率确定移动的类型的方法的曲线图。
[0026]图3是示出根据示例实施例的第一动作确定单元的构造的示例的示图。
[0027]图4是示出根据示例实施例的构造视觉传感器的感测单元的阵列和感受野(receptive field)的不例的不图。
[0028]图5是示出根据示例实施例的第一至第η时空相关器之间的空间相关性的示图。
[0029]图6是示出根据示例实施例的通过将第一至第η时空相关器分组来产生第一至第三聚类并设置聚类区域的示例的示图。
[0030]图7是示出根据示例实施例的基于产生的聚类区域追踪移动发生部位的移动轨迹的示例的示图。
[0031]图8是示出根据示例实施例的第二动作确定单元的构造的示例的示图。
[0032]图9是示出根据示例实施例的胜者全得电路(winner takes all circuit)的示例的示图。
[0033]图10是示出根据示例实施例的胜者全得电路的另一示例的示图。
[0034]图11是示出根据示例实施例的用于检测移动方向的感受野的形式的示图。
[0035]图12是示出根据示例实施例的当胜者全得电路检测八个方向时检测的方向的示图。
[0036]图13是示出根据示例实施例的应用于包括在第一方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
[0037]图14是示出根据示例实施例的包括在第二方向检测滤波器中的胜者全得电路的构造的示例的示图。
[0038]图15是示出根据示例实施例的应用于包括在第二方向检测滤波器中的胜者全得电路的多个神经元的权重的示例的示图。
[0039]图16是示出根据示例实施例的基于经由视觉传感器接收的事件的类型的胜者全得电路的构造的示例的示图。[0040]图17是示出根据示例实施例的用于识别动作的设备的操作的流程图。
[0041]图18是示出根据示例实施例的识别手指的动作的操作的流程图。
[0042]图19是示出根据示例实施例的检测手的移动方向的操作的流程图。
【具体实施方式】
[0043]现在将详细参考示例实施例，其示例示出于附图中，在附图中相似标号始终表示相似元件。以下参照附图描述示例实施例以便解释示例实施例。
[0044]图1是示出根据示例实施例的用于识别动作的设备100的构造的示例的示图。
[0045]参照图1，识别基于诸如手指的小移动的动作模式或者识别诸如手掌的大移动的移动方向的用于识别动作的设备100包括视觉传感器110、移动类型确定单兀120、第一动作确定单元130、第二动作确定单元140、第三动作确定单元145和动作控制单元150。
[0046]视觉传感器110可感测对象内的移动发生部位并输出事件。如图4所示，视觉传感器110包括多个感测单元的阵列。感测单元可以图像的像素为单位设置。例如，当用于交互的触摸屏输出60X60的图像时，感测单元可按照60X60的形式设置。
[0047]感测单元可表示光接收元件。当对象或对象的一部分移动时，由第一图像传感器111的感测单元感测到的光强度可变化。在第一图像传感器111的情况下，感测单元中的感测到光强度的改变的目标感测单元可输出事件。感测单元中的与移动发生部位对应的目标感测单元可输出事件。目标感测单元可表示输出事件的感测单元。
[0048]事件可包括例如事件发生时间、输出事件的感测单元的位置和极性(polarity)的信息。当由于从感测单元接收的光强度的增加而引起的事件发生时，极性可以是“0N”，当由于接收的光强度的减小而引起的事件发生时，极性可以是“OFF”。当光强度的改变水平大于或等于预定参考值时，感测单元可输出事件。
[0049]移动类型确定单元120可利用通过视觉传感器110输出的事件的发生频率来确定移动的类型。移动的类型可包括小移动和大移动。例如，小移动可以是例如手的对象的向前/向后移动或手指的移动，大移动可以是整个手(例如，手掌)的移动。
[0050]当检测到小移动时，响应于预定用户的请求，移动类型确定单元120可检测手的向前/向后移动和手指的移动中的一个，或者基于更详细的标准在手的向前/向后移动和手指的移动之间进行区分。
[0051]在本文所述的各种示例中，为了简明和易于描述，小移动被称为手指移动，大移动被称为手移动。
[0052]移动类型确定单元120可如图2的示例中所示确定移动的类型。
[0053]图2是示出根据示例实施例的利用事件的发生频率确定移动的类型的方法的曲线图。
[0054]参照图2，当手指移动时，视觉传感器110的事件的发生频率较低，当手移动时，视觉传感器Iio的事件的发生频率较高。因此，移动类型确定单元120可基于预定阈值确定是手指移动还是整个手移动。
[0055]第一动作确定单元130可追踪移动发生部位的移动轨迹，并基于根据从视觉传感器110输出的事件的时空相关性的移动轨迹确定动作模式。
[0056]图3是示出根据示例实施例的第一动作确定单元130的构造的示例的示图。[0057]参照图3，第一动作确定单元130包括第一至第η时空相关器312、314和316、移动轨迹追踪单元320、模式存储单元330和动作模式确定单元340。
[0058]时空相关器312、314和316可基于从目标感测单元输入的事件计算目标感测单元之间的多个时空相关性。时空相关器312、314和316可通过尖峰神经元来实现。
[0059]以下，为了描述时空相关性,将参照图4讨论感受野(receptive field),并且将使用第一时空相关器121-1的例子。
[0060]图4是示出根据示例实施例的构造视觉传感器的感测单元的阵列和感受野的示例的示图。
[0061]参照图4，第一时空相关器312可接收从形成视觉传感器110的预定区域的感测单元输出的事件的输入。所述预定区域可表示感受野。与第一时空相关器312电连接并且被向第一时空相关器312输出事件的感测单元占据的区域可表示感受野。感受野可具有mXm的大小，“m”是正数。因此，第一时空相关器312可从感受野的感测单元中的至少一个接收事件的输入。第二至第η时空相关器314至316也可通过被连接到对应感受野的感测单元来接收事件的输入。
[0062]参照图3，第一至第η时空相关器312、314和316可具有多个内部状态值，所述多个内部状态值分别指示当前时空相关性。多个内部状态值可彼此相同或彼此不同，示例可包括电压值。可通过当 前内部状态值和事件的新输入来确定内部状态值。当输入事件时，内部状态值可增大，当不存在事件时，内部状态值可基于逝去的预定时间段而减小。内部状态值的减小可使存储内部状态值的存储器的带宽负载最小化。
[0063]当从对应视觉传感器110输入事件时，第一至第η时空相关器312、314和316可增大内部状态值，以将增大的内部状态值与预定阈值进行比较，以便确定时空相关性的波动。时空相关性可分别指示输入到第一至第η时空相关器312、314和316的事件的时间相关性和空间相关性。
[0064]等式I是用于计算响应于事件的输入从时空相关器输出的输出值的等式。
[0065][等式I]
[0066]Qn (t) =f (Qn (tprev)，e (t))
[0067]outn(t) = <i)Qn(t)
[0068]在等式I中，Qn(t)表示第η时空相关器在时间点“t”的内部状态值，Qn(tp_)表示第η时空相关器在先前时间点的内部状态值，例如，当前内部状态值，“tpMV”表示先前输入的事件集当中的最近事件集发生的时间点。e (t)表示在时间点“ t ”输入的事件集，outn (t)表示第η时空相关器的输出值，Φ表示阈值。事件集可表示关于在时间点“t”发生的事件的基本信息。例如，当在时间点“t=0”发生三个事件时，e(0) = {e_l，e_2，e_3}。“e_n”(其中“η” =1，2，3，…)表示第η目标感测单元的事件。
[0069]当在时间点“ t ”从对应感受野的感测单元中的单个目标感测单元输入事件时，第η时空相关器可增大先前内部状态值Qn(tpMV)。增大程度可受针对发生事件的目标感测单元设置的权重影响。因此，当同时输入多个事件时，增大速度可相应地加速。多个目标感测单元之间可设置不同的权重。
[0070]第一至第η时空相关器312、314和316可将基于时空相关性的波动而不同的输出值输出给第一移动轨迹追踪单元123。例如，当内部状态值1(0超过预定阈值Φ时，第η时空相关器可确定向第η时空相关器输出事件的目标感测单元之间的时空相关性高，并且输出“I”。当内部状态值Qn(t)小于或等于预定阈值Φ时，第η时空相关器可确定时空相关性低，并输出零。“I”可以以“高”或“真”的形式输出，零可以以“低”或“假”的形式输出。另选地，当第η时空相关器的输出为“I”时，第η时空相关器可将第η时空相关器121_η的内部状态值减小预定值。
[0071]由第η时空相关器计算的内部状态值Qn(t)可指示从目标感测单元输入至第η时空相关器的事件的空间相关性和时间相关性。例如，当从单个目标感测单元接连将一系列事件输入至第η时空相关器时，内部状态值Qn(t)可指示输入的事件之间的时间相关性。当从两个目标感测单元同时将两个事件输入至第η时空相关器时，例如，当两个目标感测单元彼此相邻并连接到相同的第η时空相关器时，这两个事件可具有高等级的空间相关性。因为这两个事件是从两个目标感测单元同时输入的，所以这两个事件也可具有时间相关性。
[0072]第一至第η时空相关器312、314和316可具有彼此不同的空间相关性。
[0073]图5是示出根据示例实施例的第一至第η时空相关器之间的空间相关性的示图。
[0074]参照图5，视觉传感器110可逻辑上划分成多个感受野。划分的多个感受野可与至少一个邻近区域重叠。第一至第η时空相关器312、314和316可被映射至视觉传感器110的划分的多个感受野。设置在划分的多个感受野中的感测单元可将事件输出给第一至第η时空相关器312、314和316中的对应时空相关器。
[0075]在图5中，C(i，j)表示设置在视觉传感器110的中心处的感受野的中心坐标。C(1-1, j)表示朝着“X”轴方向(例如，水平方向)移动了“I”程度的感受野的中心坐标。在图4中，“I”可指示三个像素程度的间隔，该间隔程度可能改变。
[0076]如图5所示，感受野的重叠部分可指示同一事件可被同时输出给至少两个时空相关器。可在第一至第η相关器312、314和316之间给予空间相关性，或者可由于感受野的重叠部分而在感受野之间给予空间相关性。第一至第η时空相关器312、314和316之间的时空相关性可影响移动轨迹的追踪。
[0077]参照图3，移动轨迹追踪单元320可基于分别从第一至第η时空相关器312、314和316计算的时空相关性的输出值以及第一至第η时空相关器的内部状态值来追踪移动发生部位的移动轨迹。
[0078]移动轨迹追踪单元320可通过将第一至第η时空相关器312、314和316中的具有高时空相关性的时空相关器分组来产生单个聚类(cluster)。移动轨迹追踪单元320可基于感受野的重叠将第一至第η时空相关器312、314和316中的输出“ I”的时空相关器分组。移动轨迹追踪单元320可通过将重叠的时空相关器分组来产生单个聚类。输出“I”可指示具有闻时空相关性。
[0079]移动轨迹追踪单元320可通过将输出为“I”的时空相关器分组来产生聚类，并且将包括该聚类的预定区域设置为聚类区域。
[0080]图6是示出根据示例实施例的通过将第一至第η时空相关器分组来产生第一至第三聚类并设置聚类区域的示例的示图。
[0081]参照图6，可通过将彼此重叠的两个感受野601和602分组来产生第一聚类(以下也称为“聚类I”)。可通过将十个重叠的感受野分组来产生第二聚类(以下也称为“聚类2”)。可通过将七个重叠的感受野分组来产生第三聚类(以下也称为“聚类3”)。
[0082]第一聚类区域610可表示包括聚类I的预定区域。第二聚类区域620可表示包括聚类2的预定区域。第三聚类区域630可表示包括聚类3的预定区域。可基于聚类的中心产生聚类区域。
[0083]移动轨迹追踪单元320可计算聚类区域的中心作为对象的位置。移动轨迹追踪单元320可基于聚类区域内的时空相关器的内部状态值计算聚类区域的中心。
[0084]在不存在输出为“I”的时空相关器的情况下，移动轨迹追踪单元320可基于先前聚类区域内的时空相关器的内部状态值重新计算先前聚类区域的中心，并且将重新计算的先前聚类区域的中心计算为对象的位置。
[0085]移动轨迹追踪单元320可结合已计算的对象的位置和重新计算的对象的位置来追踪移动轨迹。聚类可具有与移动发生部位对应的形式。
[0086]移动轨迹追踪单元320可将包括在聚类区域中的多个时空相关器的位置乘以常数，并将乘法运算的平均值确定为聚类区域的中心。时空相关器的位置可以是代表时空相关器所覆盖的区域的位置。所述常数可包括各种值，例如，从时空相关器计算的内部状态值Q(t)以及在预定时间段期间输入至时空相关器的事件的数量。
[0087]例如，通过将第一时空相关器312和第二时空相关器314分组来产生聚类区域，第一时空相关器312的内部状态值为Q1，第二时空相关器314的内部状态值为Q2。代表第一时空相关器312的位置对应于(xl，yl)，代表第二时空相关器314的位置对应于(x2，y2)。移动轨迹追踪单元320可基于等式2计算聚类区域的中心。
[0088][等式2]
【权利要求】
1.一种利用基于事件的视觉传感器识别动作的设备，所述设备包括: 视觉传感器,感测移动发生部位并输出事件； 移动类型确定单元，利用通过视觉传感器输出的事件的发生频率确定移动的类型； 第一动作确定单元，当移动类型确定单元的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式； 第二动作确定单元，当移动类型确定的结果指示大移动时，基于事件确定对象移动的移动方向； 动作控制单元，基于第一动作确定单元确定的动作模式或者第二动作确定单元确定的移动方向来输出用于控制装置的控制指令。
2.根据权利要求1所述的设备，其中，移动类型确定单元计算通过视觉传感器输出的事件的发生频率，并且将所述发生频率与预定阈值进行比较，以在所述发生频率小于所述阈值时将所述发生频率确定为对象的一部分移动的小移动，在所述发生频率大于或等于所述阈值时将所述发生频率确定为整个对象移动的大移动。
3.根据权利要求1所述的设备，其中，第一动作确定单元包括: 与视觉传感器的多个预定感受野对应的时空相关器，接收从预定感受野输出的事件的输入并针对预定感受野中的每一个计算时空相关性； 移动轨迹追踪单元,基于预定感受野的时空相关性的波动追踪移动发生部位的移动轨迹； 动作模式确定单元，从追踪的移动轨迹确定移动发生部位的动作模式。`
4.根据权利要求3所述的设备，其中，感受野对应于视觉传感器的划分的区域，并与另一邻近感受野的区域重叠。
5.根据权利要求3所述的设备，其中，移动轨迹追踪单元通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
6.根据权利要求5所述的设备，其中，当在时空相关器中不存在具有高时空相关性的时空相关器时，移动轨迹追踪单元基于先前聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为移动对象的位置，并且结合计算的移动对象的位置追踪移动轨迹。
7.根据权利要求1所述的设备，其中，第二动作确定单元包括: 第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向； 第二方向检测滤波器，基于针对所述多个感受野检测的移动方向确定对象的最终移动方向。
8.根据权利要求7所述的设备，其中，所述预定感受野对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
9.根据权利要求7所述的设备，其中，第一方向检测滤波器包括: 至少一个胜者全得电路，与预定感受滤波器中的每一个对应，并且 所述至少一个胜者全得电路利用数量与第二动作确定单元确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
10.根据权利要求7所述的设备，其中，第二方向检测滤波器包括: 胜者全得电路，基于针对所述多个感受野检测的移动方向确定对象的最终移动方向，并且 所述胜者全得电路利用数量与第二动作确定单元所确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
11.根据权利要求7所述的设备，其中，第二方向检测滤波器通过计算针对所述多个预定感受野检测的移动方向的矢量和来确定对象的最终移动方向。
12.根据权利要求1所述的设备，还包括: 第三动作确定单元，当移动类型确定单元的结果指示小移动时，将通过视觉传感器输出的事件分类为ON事件和OFF事件，计算OFF事件的比率，并通过将所述比率与至少一个预定参考值进行比较来确定对象的前进或后退。
13.一种利用基于事件的视觉传感器识别动作的设备，所述设备包括: 视觉传感器,感测移动发生部位并输出事件； 第一方向检测滤波器，接收从视觉传感器的多个预定感受野输出的事件的输入，并针对所述多个预定感受野检测对象移动的移动方向； 第二方向检测滤波器，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向； 动作控制单元，基于确定的移动方向输出用于控制装置的控制指令。`
14.根据权利要求13所述的设备，其中，所述预定感受野对应于视觉传感器的划分的区域，与另一邻近感受野的区域重叠，并且以圆的形式提供。
15.根据权利要求13所述的设备，其中，第一方向检测滤波器包括: 至少一个胜者全得电路，与预定感受野中的每一个对应，并且 所述至少一个胜者全得电路利用数量与第二动作确定单元确定的方向的数量对应的神经元从对应感受滤波器输出对象的移动方向。
16.根据权利要求13所述的设备，其中，第二方向检测滤波器包括: 胜者全得电路，基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向，并且 所述胜者全得电路利用数量与第二动作确定单元确定的方向的数量对应的神经元基于针对所述多个预定感受野检测的移动方向输出对象的最终移动方向。
17.—种识别动作的方法，所述方法包括: 从视觉传感器接收与移动发生部位对应的事件的输入； 基于事件发生频率确定移动的类型； 当确定移动的类型的结果指示小移动时，追踪移动发生部位的移动轨迹并基于所述移动轨迹确定动作模式； 当确定移动的类型的结果指示大移动时，基于事件确定对象移动的移动方向； 基于确定的动作模式或确定的移动方向控制装置。
18.根据权利要求17所述的方法，其中，确定动作模式的步骤包括: 接收从视觉传感器的多个预定感受野输出的事件的输入，并计算与预定感受野中的每一个对应的时空相关器的时空相关性；针对预定感受野中的每一个基于时空相关性的波动追踪移动发生部位的移动轨迹； 从追踪的移动轨迹确定移动发生部位的动作模式。
19.根据权利要求18所述的方法，其中，追踪移动轨迹的步骤包括:通过将时空相关器中的具有高时空相关性的时空相关器分组来产生聚类，将包括聚类的预定区域设置为聚类区域，将聚类区域的中心计算为对象的位置，并且结合计算的对象的位置追踪移动轨迹。
20.根据权利要求19所述的方法，其中，追踪移动轨迹的步骤包括:当在时空相关器中不存在具有闻时空相关性的时空相关器时，基于先如聚类区域中的时空相关器的内部状态值重新计算先前聚类区域的中心，将重新计算的先前聚类区域的中心计算为对象的位置，并且结合计算的对象的位置追踪移动轨迹。
21.根据权利要求17所述的方法，其中，确定移动方向的步骤包括: 基于从视觉传感器的预定感受野输出的事件针对多个预定感受野检测对象移动的移动方向； 基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向 。
22.—种识别动作的方法，所述方法包括: 接收从视觉传感器的多个预定感受野输出的事件的输入； 针对所述多个预定感受野检测对象移动的移动方向； 基于针对所述多个预定感受野检测的移动方向确定对象的最终移动方向； 基于确定的移动方向控制装置。
23.一种利用基于事件的视觉传感器识别动作的设备，所述设备包括: 视觉传感器,感测移动发生部位并输出事件； 以分层结构设置的多个方向检测滤波器，接收从视觉传感器的预定感受野输出的事件的输入并识别移动方向。
【文档编号】G06F3/03GK103858075SQ201280050556
【公开日】2014年6月11日 申请日期:2012年10月12日 优先权日:2011年10月14日
【发明者】李俊行, 柳贤锡, 朴根柱 申请人:三星电子株式会社