根据基于事件的传感器的输出提取静态图案的方法和设备的制造方法
【专利摘要】提供根据基于事件的传感器的输出提取静态图案的方法和设备。一种从基于事件的传感器的输出提取静态图案的方法。所述方法可包括：响应于动态输入从基于事件的传感器接收事件信号；基于包括在事件信号中的标识和时间来提取与动态输入相关联的静态图案。从基于标识和时间生成的图提取静态图案。
【专利说明】根据基于事件的传感器的输出提取静态图案的方法和设备
[0001 ] 本申请要求于2015年4月28日提交到韩国知识产权局的第10-2015-0059746号韩国专利申请的优先权，该韩国专利申请的公开通过引用全部包含于此。
技术领域
[0002]与示例性实施例一致的方法和设备涉及处理基于事件的传感器的输出。
【背景技术】
[0003]人机交互(HCI)在用户接口中进行操作。用于识别用户输入的各种用户接口可在人与计算机之间提供自然交互。
[0004]为了识别用户输入，可使用各种传感器。为了提供自然交互，可使用快速响应用户输入的传感器。例如，各种移动装置可能需要在使用用户接口执行各种智能功能的同时消耗相对低的功率。因此，需要用于感测目的的具有低功耗、高响应速度以及高可靠性的传感器。此外，因为传感器的输出基于传感器的操作特性被确定，所以需要处理传感器的输出的方案。
【发明内容】
[0005]示例性实施例可至少解决上面的问题和/或缺点以及上面未描述的其他缺点。此夕卜，示例性实施例不需要克服上面描述的缺点，并且示例性实施例可不克服上面描述的任何问题。
[0006]根据示例性实施例的一个方面，提供一种图案提取方法，包括:从基于事件的传感器接收指示事件的信号;基于包括在接收的事件信号中的标识和时间来提取静态图案;输出提取的静态图案。
[0007]根据示例性实施例的另一方面，提供一种图案提取设备，包括:基于事件的传感器，被配置为输出指示事件的信号，其中，事件信号包括事件的时间和标识；以及处理器，被配置为基于事件信号提取静态图案，并且将提取的静态图案输出到图案提取设备的外部。
【附图说明】
[0008]从以下结合附图对示例性实施例进行的详细描述，示例性实施例的以上和/或其他方面将变得清楚和更容易理解，其中:
[0009]图1是示出根据示例性实施例的图案提取设备的框图；
[0010]图2是示出根据示例性实施例的时间戳图(timestampmap)的示图；
[0011]图3是示出根据示例性实施例的静态图案提取结果的流程示图；
[0012]图4和图5是示出根据示例性实施例的时间戳图的脊(ridge)的示图；
[0013]图6是示出根据示例性实施例的基于阈值时间间隔提取静态图案的处理的示图；
[0014]图7和图8是示出根据示例性实施例的在最小数量的元素被设置时提取静态图案的处理的流程示图；
[0015]图9和图10是示出根据示例性实施例的在最大数量的元素被设置时提取静态图案的处理的流程示图；
[0016]图11和图12是示出根据示例性实施例的基于边缘的厚度提取静态图案的处理的示图；
[0017]图13和图14是示出根据示例性实施例的基于在时间戳图中设置的多个区域提取静态图案的处理的示图；
[0018]图15是示出根据示例性实施例的图案提取设备的另一示例的框图；
[0019]图16是示出根据示例性实施例的处理多个时间戳图的处理的流示图；
[0020]图17是示出根据示例性实施例的通过处理多个时间戳图获得的结果的流示图；
[0021]图18是示出根据示例性实施例的图案提取方法的流程图。
【具体实施方式】
[0022]现在，将详细描述示例性实施例，示例性实施例的示例在附图中示出，其中，相同的标号始终表示相同的元件。以下参照附图来描述示例性实施例。
[0023]示例性实施例的具体结构或功能描述仅为了说明的目的，并且根据本公开的构思的示例性实施例可以以各种形式被实现，并且不应被解释为受限于本公开中所描述的示例性实施例。
[0024]可对示例性实施例进行各种改变和修改，将在附图中详细地示出一些示例性实施例。然而，应理解，这些示例性实施例不被解释为受限于示出的形式，而是包括本公开内的所有改变、等同物或替换物。
[0025]尽管术语“第一”或“第二”被用于解释各种组件，但是这些组件不受限于这些术语。这些术语仅被用于将一个组件与另一组件进行区分。例如，在本公开的范围内，第一组件可被称为第二组件，相似地，第二组件可被称为第一组件。
[0026]将理解，当元件被称为被“连接”或“親合”到另一元件时，该元件可被直接地连接到或耦合到该另一元件，或者可存在中间元件。相反，当元件被称为被“直接地连接”或“直接地耦合”到另一元件时，不存在中间元件。用于描述元件或层之间的关系的其他词语应以类似方式被解释(例如，“在…之间”与“直接在…之间”、“相邻”与“直接相邻”等)O
[0027]在此使用的术语仅是描述具体示例性实施例的目的，而不意在限制示例性实施例。除非上下文另有清楚地指示，否则如在此使用的单数形式也意图包括复数形式。还将理解，当在说明书中使用术语“包括”和/或“包含”时，说明存在叙述的特征、整体、步骤、操作、元件、组件和/或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
[0028]除非另有定义，否则这里使用的所有术语(包括技术术语和科学术语)具有与本领域的普通技术人员通常理解的含义相同的含义。除非这里另有定义，否则在常用词典中定义的术语应被解释为具有与它们在相关领域的上下文中的含义匹配的含义，而不被解释为理想化或过于正式的含义。
[0029]图1是示出根据示例性实施例的图案提取设备的框图。
[0030]参照图1，图案提取设备100包括基于事件的传感器110和处理器130。可通过微处理器、控制器、中央处理单元(CPU)、算术逻辑单元(ALU)、数字信号处理(DSP)、现场可编程门阵列(FPGA)、可编程逻辑单元(PLU)、能够响应并执行指令的一个或多个通用或专用计算机或它们的组合来实现处理器130。
[0031]在示例性实施例中，为了便于描述，将描述图案提取设备的操作和结构，然而，示例性实施例可被扩展到各种设备。例如，示例性实施例还可应用于包括图案提取设备的各种计算设备、移动设备或各种安全设备。移动设备可包括，例如，智能电话或可穿戴装置。
[0032]基于事件的传感器110响应于动态输入来输出事件信号。事件信号可包括与动态输入相应的时间信息和标识信息。动态输入可包括用于改变入射在基于事件的传感器110中的至少一个像素上的光的事件。标识信息可以是包括在基于事件的传感器110中的多个像素的地址。时间信息可包括指示由基于事件的传感器110中的至少一个像素感测到动态输入的时间的时间戳。在下文中，将根据示例性实施例进一步描述基于事件的处理器110生成事件信号的处理。
[0033]基于事件的传感器110可包括多个感测像素。基于事件的传感器110可生成包括多个感测像素中感测到事件的激活的像素的标识信息的事件信号。根据示例性实施例，基于事件的传感器110可使用神经形态感测方案。
[0034]如上所述，动态输入可包括用于改变入射在基于事件的传感器110中的至少一个像素上的光的事件。例如，事件可以是与输入的改变相关联的事件。例如，事件可包括入射光的亮度改变的事件、入射光的颜色改变的事件、输入声音的音量改变的事件、输入声音的频率改变的事件或者刺激的强度改变的事件。基于事件的传感器110可以是基于事件的视觉传感器。当基于事件的传感器110是基于事件的视觉传感器时，标识信息可包括指示包括在基于事件的传感器110中的多个像素中感测到动态输入的至少一个像素的位置信息。在下文中，为了便于描述，基于事件的传感器110被假设为用于感测入射光的亮度改变的事件的基于事件的视觉传感器，然而，基于事件的传感器110不限于此并且仅通过示例的方式提供基于事件的视觉传感器。因此，示例性实施例还可应用于各种基于事件的传感器。
[0035 ]基于事件的传感器110中的多个感测像素可感测事件，例如，入射光的亮度改变的事件。多个感测像素中感测到事件的感测像素可被称为“激活的像素”。响应于感测到事件的激活的像素，可生成激活信号。
[0036]如上所述，根据示例性实施例，标识信息可包括指示包括在基于事件的传感器110中的多个像素中感测到动态输入的至少一个像素的位置信息。基于事件的传感器110可生成激活的像素的标识信息。例如，基于事件的传感器110可生成包括用于基于由激活的像素生成的激活信号识别激活的像素的位置信息的事件信号。基于事件的传感器110可异步地生成并输出事件信号，因此，与被配置为针对每个帧扫描全部像素的基于帧的视觉传感器相比，基于事件的传感器110可以以高的速度和低的功率进行工作。
[0037]标识信息可以是包括在基于事件的传感器110中的多个像素的地址。基于事件的传感器110可基于激活的像素来生成异步寻址事件(AE)信号。例如，当最近事件之后的对数光强的改变超出上限阈值或下限阈值时，基于事件的传感器110可生成“开”事件信号或“关”事件信号。基于事件的传感器110可额外地生成事件信号的时序信息。基于事件的传感器110可基于时序信息与同步系统交互。由于基于事件的传感器110的输出的低密度和低延时，基于事件的传感器110可用于要求快速响应的反馈的高速对象跟踪应用。例如，高速对象跟踪应用可包括高速机器人。
[0038]基于事件的传感器可用于从包括智能电话、平板个人计算机(PC)、电视(TV)和显示器的各种设备获取图像。在一个示例中，可在智能电话的接口中使用基于事件的传感器。例如，可在非接触手势识别接口中使用基于事件的传感器。接口可被用于识别用于解锁智能电话的手势、用于调高智能电话的音量的手势或用于在智能电话上翻页的手势。基于事件的传感器可准确有效地识别非接触手势。在另一示例中，可在安全相机中使用基于事件的传感器。在该示例中，基于事件的传感器可用于使用安全相机来识别停止运动的对象。
[0039]基于事件的传感器110可输出事件信号。基于事件的视觉传感器的输出可包括与实际活动相应的事件信号以及与背景噪声活动相应的事件信号。可通过在与基于事件的传感器110的感测像素中的浮动结点连接的开关中发生的结漏电流或者热噪声，来生成与背景噪声活动相应的事件信号。
[0040]为了对与背景噪声活动相应的事件信号执行滤波，基于事件的传感器110可生成通过标志(pass flag)，以识别时空上彼此相关联的事件信号。因此，基于事件的传感器110可降低通信负荷和计算量，并且可提高信息速率。在一个示例性实施例中，因为背景噪声活动具有随机图案，所以作为示例，可通过使用空间相关的滤波来容易地去除背景噪声活动。
[0041]基于事件的传感器110可使用功率门控方案。功率门控方案可以是通过仅激活与感测到事件的感测像素相应的通信电路和阈值检测电路来最小化功耗的方案。此外，基于事件的传感器110可使用相关滤波芯片。通过使用相关滤波芯片，基于事件的传感器110可应用于要求低功耗和快速响应的嵌入式神经形态视觉和听觉系统。
[0042]如上所述，根据示例性实施例，时间信息可包括指示通过基于事件的传感器110中的至少一个像素感测到动态输入的时间的时间戳。基于事件的传感器110可生成指示通过激活的像素感测到动态输入的时间的时间戳。响应于感测到事件的激活的像素，激活信号可被生成。在一个示例中，基于事件的传感器110可基于生成激活信号的时间来生成时间戳。在另一示例中，处理器130可响应于从基于事件的传感器110接收到事件信号来生成时间戳。
[0043]处理器130基于事件信号提取与动态输入相关联的静态图案。如上所述，根据示例性实施例，动态输入可包括用于改变入射在基于事件的传感器110中的至少一个像素上的光的事件。静态图案可对应于与动态输入相关联的对象的外观。例如，动态输入可包括对象的运动，静态图案可对应于运动停止的状态时的对象的外观。在下文中，根据示例性实施例，将进一步描述处理器130提取静态图案的处理。
[0044]处理器130可基于事件信号来存储标识信息和时间信息，并且可基于存储的标识信息和存储的时间信息来提取静态图案。例如，处理器130可基于标识信息和时间信息的历史来提取静态图案。可以以时间戳图的形式在存储器140中存储标识信息和时间信息。图案提取设备100可包括用于存储时间戳图的存储器140。存储器可以在图案提取设备的内部或者通过网络连接到图案提取设备的外部。存储器可包括缓冲器、闪存、硬盘驱动器等。将根据示例性实施例参照图2进一步描述时间戳图。
[0045]图2是示出根据示例性实施例的时间戳图的示图。参照图2，时间戳图200包括与基于事件的传感器110中的像素相应的元素。例如，元素201存储与包括在基于事件的传感器110中的像素中的位于(i，j)的像素相应的时间戳。
[0046]时间戳图200中的每个元素可存储与每个元素相应的时间戳信号被接收的最新的时间。例如，参照图2，与位于(i，j)的元素201相应的时间戳信号被接收的最近时间是Ti, j，与位于(i，j+l)的元素202相应的时间戳信号被接收的最近时间是T1^1。在以下的描述中，时间戳信号被接收的时间点可根据示例性实施例被称为“时间戳”。
[0047]当时间戳信号被接收时，处理器130可基于接收的时间戳信号来更新时间戳图200。例如，处理器130可在包括在时间戳图200中的多个元素中检测与接收的时间戳信号相应的元素，并且可将存储在检测的元素中的值更新为时间戳信号被接收的时间戳。
[0048]根据示例性实施例，处理器130可针对每个元素来存储以毫秒(ms)或更少或者以微秒(ys)或更少接收新的时间戳信号的时间。处理器130可基于在每个元素中接收的最近时间戳信号的时间戳来提取静态图案，而不管随时间接收的时间戳信号的历史。因此，处理器130可提取具有小的计算量和小的存储容量的静态图案。
[0049]处理器130可使用与接收的标识信息相应的存储元素来重写接收的时间信息。处理器130可丢弃先前存储在存储元素中的值，并且可在存储元素中存储接收的时间信息。将根据示例性实施例参照图3来进一步描述静态图案。
[0050]图3是示出根据示例性实施例的静态图案提取结果的流程示图。图3示出基于时间的事件信号的输出10、基于时间^的事件信号的输出21以及基于时间戳图提取的静态图案22。在图3中，时间^对应于对象正在运动的状态，时间t2对应于对象静止的状态。对象在时间tjPt2存在于感测区域中。根据示例性实施例，由于基于事件的传感器110可如上所述响应于动态输入来输出事件信号，因此与事件信号相应的输出可在对象停止运动时，从输出10基本改变到输出21。然而，当根据示例性实施例基于将在下面描述的方法从时间戳图提取图案时，可以以静态图案22的形式来重建输出10。
[0051]返回参照图1，根据示例性实施例，处理器130基于包括在事件信号中的标识信息和时间信息来提取与动态输入相关联的静态图案。例如，处理器130可基于时间戳图的脊(ridge)来提取静态图案。最近接收的时间戳信号的时间戳可被存储在时间戳图中。当对象正在运动时，可在时间戳图中存储各种时间戳。当时间戳的时间被假设为高度时，预定的时间段中的时间戳可形成脊。处理器130可从时间戳图来提取脊。根据示例性实施例，将参照图4和图5来进一步描述脊。
[0052]图4和图5是示出根据示例性实施例的时间戳图的脊的视图。图4示出针对运动对象基于事件信号生成的时间戳图。在图4中，X轴和Y轴均表示感测动态输入的像素的位置信息，Z轴表示时间戳。因此，位置信息可对应于时间戳图的坐标，时间信息可对应于时间戳图的高度。在图4中，当高度增加时，时间戳图的元素可变黑。因此，图4的时间戳图的最黑的区域可对应于运动的脊或峰。
[0053]图5是根据示例性实施例的诸如图4中示出的时间戳图的二维示图。在图5中，X轴和Y轴均表示感测动态输入的像素的位置信息。因此，位置信息可对应于时间戳图的坐标。此外，在图5的图形的右侧的灰度图“2.1”至“2.8”可表示感测动态输入的像素的时间戳值。例如，具有与时间戳图中的“2.8”相应的灰度级的区域可包括具有时间戳值“2.8”的像素。如图5中所示，即使运动对象停止，关于对象的运动的信息也可保留在时间戳图中。关于对象的运动的信息可包括对象的运动历史。
[0054]与时间戳图中的脊相应的最黑的区域指示关于最近的运动的信息。例如，在时间戳图中具有时间戳值“2.8”的像素可包括关于最近的运动的信息。处理器130可基于时间戳图的脊来提取静态图案，因此，根据示例性实施例，处理器130可不管对象的静止状态，来提供关于对象的外观的信息。
[0055]返回参照图1，处理器130基于时间戳图的标识信息和时间信息来提取脊。处理器130可使用各种方案来确定脊。在示例性实施例中，处理器130可基于包括在时间戳图中的多个元素中存储在阈值时间间隔内的时间信息的元素来确定脊。在另一示例性实施例中，处理器130可跟踪脊，从而包括在脊中的边缘的厚度可等于或小于阈值厚度。在下文中，将根据示例性实施例参照图6至图12来进一步描述确定脊的处理。
[0056]图6是示出根据示例性实施例的基于阈值时间间隔提取静态图案的处理的示图。图6示出20 X 20的具有时间戳的时间戳图。图6的时间戳图示出在从时间“29”至时间“36”的时间段期间运动的对象，并且当前时间现在经过时间“36”。
[0057]处理器130可基于包括在时间戳图中的多个元素中存储在阈值时间间隔内的时间信息的元素来确定脊。例如，处理器130可基于当前时间来设置阈值时间间隔。根据示例性实施例，与基于当前时间的阈值时间间隔内的时间戳相应的元素可被用于确定脊。
[0058]例如，处理器130可将阈值时间间隔设置为从当前时间的单位时间“5”。根据示例性实施例，如图6的时间戳图中所示，当当前时间被设置为时间“40”时，与均具有等于或大于“35”的值的时间戳相应的元素可被确定为形成脊。
[0059]处理器130可基于提取的元素的数量来调整阈值时间间隔的长度。当在阈值时间间隔期间存在大量的元素或少量的元素时，可能难以识别对象的外观。因此，处理器130可将阈值时间间隔的长度调整到适合于识别对象的外观的等级。例如，处理器130可设置包括在静态图案中的元素的数量的参考值，并且可基于参考值来调整阈值时间间隔的长度。参考值可包括最小值和最大值中的至少一个。在示例性实施例中，可预先设置参考值，或者可基于特定情况(例如，静态图案的锐度)来动态地调整参考值。处理器130可基于存储具有调整的长度的阈值时间间隔内的时间信息的元素来确定脊。当元素的最小数量被设置为“25”时，在图6的时间戳图中，与均具有值“35”或“36”的时间戳相应的元素可被确定为形成脊。在下文中，将根据示例性实施例参照图7至图10来进一步描述调整元素的数量的处理。
[0060]在示例性实施例中，提取的元素的数量可能太多或不够，这将难以识别对象的外观。在示例性实施例中，可基于参考值来确定元素的数量是太多还是不够。可通过实验方法确定参考值。例如，从运动发生的部分检测对象，从在运动期间发生的事件来获取对象的图像，并且计算用于生成该图像的像素的数量。在该示例中，可预测重构图像所需的像素的数量。在基于事件的传感器中，事件仅发生在运动发生的部分，因此，在示例性实施例中，仅对运动发生的部分进行分析，而不管未发生至少一次运动的部分。
[0061]图7和图8是示出根据示例性实施例的在最小数量的元素被设置时提取静态图案的处理的流程示图。参照图7，与感测到事件的元素相应的时间图示出随时间感测到事件的元素的数量。在图7中，感测到事件的元素的数量可反复地增大或减小，这可指示对象的运动状态和静止状态被重复。
[0062]此外，图7示出随着时间包括在静态图案中的元素以及用于提取静态图案的元素的数量。可通过调整阈值时间间隔的长度来控制用于提取静态图案的元素的数量。
[0063]在图7中，tin表示元素的最小数量。处理器130可调整阈值时间间隔的长度，以使包括在静态图案中的元素的数量可等于或大于最小数量thi。例如，根据示例性实施例，在图7的部分31中，感测到事件的元素的数量可响应于对象静止而减小。
[0064]在该示例中，处理器130可适当地调整阈值时间间隔的长度，以使包括在静态图案中的元素的数量可等于或大于最小数量tin。当适当地调整阈值时间间隔的长度时，可提高静态图案的锐度。
[0065]根据示例性实施例，图8示出用于锐化静态图案(例如，图7的部分31)的处理器130的操作。例如，当静态图案中的元素的数量小于最小数量tin时，静态图案可由于用于提取静态图案的元素的数量不足，而具有低的锐度。处理器130可通过增大阈值时间间隔(tp)的长度来增大用于提取静态图案的元素的数量，以提高静态图案的锐度。如图8中所示，表示对象的外观的静态图案的锐度可响应于阈值时间间隔的长度的增大而增大。
[0066]图9和图10是示出根据示例性实施例的在最大数量的元素被设置时提取静态图案的处理的流程图。图9示出随时间的元素的数量、元素的最小数量thi以及元素的最大数量thh。处理器130可调整阈值时间间隔的长度，以使包括在静态图案中的元素的数量可等于或大于最小数量tlu，并且可等于或小于最大数量thh。例如，在图9的部分32中，感测到事件的元素的数量可基于对象的运动而增大。在该示例中，处理器130可适当地调整阈值时间间隔的长度，以使包括在静态图案中的元素的数量可等于或小于最大数量thh。当适当地调整阈值时间间隔的长度时，可提高静态图案的锐度。以上已经描述了最小数量tin的示例性实施例，因此在此将不重复它的进一步描述。
[0067]根据示例性实施例，图10是示出时间间隔被减小(诸如，在图9的部分32的中的处理器130的操作)的图像的流程示图。例如，当静态图案中的元素的数量大于最大数量thh时，由于用于提取静态图案的极大量的元素，静态图案的边缘可能过度变厚，并且噪声可能发生在对象的外观中。处理器130可通过减小阈值时间间隔的长度，来适当地控制用于提取静态图案的元素的数量，以提高静态图案的锐度。如图10中所示，根据示例性实施例，表示对象的外观的静态图案的锐度可响应于阈值时间间隔的长度的减小而增大。
[0068]如上所述，根据示例性实施例，处理器130可跟踪脊，从而包括在脊中的边缘的厚度可等于或小于阈值厚度。将参照图11和图12来进一步描述跟踪脊的处理。
[0069]图11和图12是示出根据示例性实施例的基于边缘的厚度提取静态图案的处理的示图。图11示出20 X 20的具有时间戳的时间戳图。图11的时间戳图示出在从时间“29”至时间“36”的时间段期间运动的对象，并且当前时间是在时间“36”之后。
[0070]处理器130可跟踪脊，以使包括在脊中的边缘的厚度可等于或小于阈值厚度。例如，根据示例性实施例，如图11的时间戳图中所示，当基于沿X轴方向的元素的数量来确定边缘的厚度时，并且当阈值厚度被设置为“5”时，与均具有“33”与“36”之间的值的时间戳相应的元素或像素可被确定为形成脊。可通过各种方案来确定边缘的厚度。例如，可基于沿X轴方向的元素的数量、沿Y轴方向的元素的数量、垂直于脊的方向的宽度或它们的各种组合，来确定脊的厚度。仅作为示例，而不作为限制提供以上描述。
[0071]脊的跟踪可应用于对象具有图案的示例性实施例。例如，当对象具有图案时，可需要用于重构图案的像素以及用于重构可见轮廓线的像素。在示例性实施例中，与对象不具有图案时相比，多个像素可用于表现对象的外观。此外，可基于边缘的厚度，通过脊的跟踪从时间戳图来适当地提取静态图案。
[0072]参照图12，根据示例性实施例，运动对象可具有图案，例如，重复的图案。例如，当元素的数量，而不是包括在脊中的边缘的厚度，被用于提取静态图案时，由于用于提取图案以及对象的可见轮廓线的元素的数量不足，静态图案可具有低的锐度。相反地，当脊中的边缘的厚度被直接用于提取静态图案时，可基于用于提取图案以及对象的可见轮廓线的元素的适当的数量，来获取对象的清晰的外观，如时间点“I”的静态图案41和时间点“2”的静态图案42所示。
[0073]阈值厚度可被不同地定义。例如，阈值厚度可被定义为包括在脊中的边缘的厚度中的最小厚度、平均厚度和最大厚度以及它们的各种组合。当阈值厚度被定义为平均厚度时，处理器130可跟踪脊，以使脊中的每个边缘的厚度可等于或小于平均厚度。根据示例性实施例，处理器130可基于脊中的边缘的厚度，通过跟踪脊来提取具有复杂图案的对象的清晰的静态图案。
[0074]以上根据示例性实施例已经描述了在时间戳图包括单个区域的示例中提取静态图案的处理。根据另一示例性实施例，时间戳图可包括多个区域。处理器130可在时间戳图中设置多个区域，并且可从每个区域提取静态图案。当存在多个对象时，处理器130可在时间戳图中设置与多个对象相应的多个区域。当在时间戳图中设置多个区域时，多个对象中的每个对象的静态图案可被清楚地提取，而不管对象的运动之间的时间差。根据示例性实施例，将参照图13和图14来进一步描述多个区域。
[0075]图13和图14是示出根据示例性实施例的基于在时间戳图中设置的多个区域提取静态图案的处理的示图。图13示出在从时间至时间t2的时间段期间的对象的运动、第一静态图案51和第一静态图案52以及第二静态图案61和第二静态图案62。可从单个区域提取第一静态图案51和第一静态图案52，可从多个区域提取第二静态图案61和第二静态图案62。在以下的示例性实施例的描述中，用户的手和头可分别被称为第一对象和第二对象。在图13中，在时间^第一对象和第二对象一起运动，而在时间〖2第二对象运动。
[0076]当在时间戳图中设置单个区域时，用于提取静态图案的标准可同样地应用于整个时间戳图。在示例性实施例中，当第一对象和第二对象在时间t以重叠的时间间隔运动时，可提取第一对象的外观和第二对象的外观二者，如第一静态图案51所示。在另一示例性实施例中，当在时间t2第一对象不运动而第二对象运动时，可基于第二对象的运动来形成脊。在该示例性实施例中，可在没有第一对象的情况下提取第二对象的外观，如第一静态图案52所示。
[0077]当在时间戳图中设置多个区域时，可适当地提取第一对象和第二对象中的每个的外观。当多个区域被设置时，用于提取静态图案的不同的标准可应用于时间戳图中的每个区域。例如，处理器130可设置用于提取静态图案的标准，从而可基于第一区域中的第一对象的外观来形成脊。此外，处理器130可设置用于提取静态图案的另一标准，从而可基于第二区域中的第二对象的外观来形成脊，如图13的元素62中所示。
[0078]图14示出在根据示例性实施例的用于时间戳图中的多个对象的第一区域71和第二区域72。第一区域71和第二区域72可分别对应于第一对象和第二对象。第一区域71可包括与均具有“53”与“57”之间的值的时间戳相应的元素。第二区域72可包括与均具有“60”与“63”之间的值的时间戳相应的元素。因此，根据示例性实施例，第一对象和第二对象可被确定为顺序地运动。也就是说，在示例性实施例中，可基于时间戳来确定区域。换言之，每个区域可对应于具体的没有重叠范围的时间戳。例如，当用户的手运动时，可生成时间戳值。使用这些生成的时间戳值，可设置区域。作为示例，而不作为限制，提供以上描述。例如，可通过预训练的分类器来确定区域。
[0079]处理器130可基于时间戳的分布来设置第一区域71和第二区域72。例如，处理器130可基于与动态输入相应的对象的部分来设置第一区域71和第二区域72。处理器130可针对第一区域71和第二区域72中的每个设置用于提取图案的单独的标准。例如，处理器130可针对第一区域71和第二区域72中的每个设置单独的阈值时间间隔。此外，处理器130可从第一区域71和第二区域72中的每个，基于包括在脊中的边缘的厚度来跟踪脊。处理器130可针对第一区域71和第二区域72中的每个设置单独的阈值厚度。在下文中，作为示例，而不作为限制，来根据示例性实施例描述基于阈值时间间隔提取静态图案的典型处理
[0080]处理器130可基于用于第一区域71的第一阈值时间间隔，从第一区域71提取第一对象的静态图案，并且可基于用于第二区域的第二阈值时间间隔，从第二区域72提取第二对象的静态图案。例如，当在图14的时间戳图中当前时间被设置为“65”时，第一阈值时间间隔和第二阈值时间间隔可被分别设置为单位时间“10”和“3”。
[0081]上述基于单个区域提取静态图案的处理可应用于基于多个区域提取静态图案的处理。例如，处理器130可基于在第一区域71和第二区域72中的每个中包括的元素的数量，来调整阈值时间间隔的长度。处理器130可根据基于第一区域71和第二区域72中的每个接收的有效事件信号的数量，来调整阈值时间间隔的长度。有效事件信号可表示被处理为有效的事件信号。可基于事件信号被接收的时间来确定事件信号是否是有效的。响应于基于第一区域71和第二区域72中的每个接收到新的事件信号，处理器130可调整阈值时间间隔的长度。换言之，处理器130可仅在新的事件信号被接收时调整阈值时间间隔的长度。以上描述可应用于在其他情况下调整阈值时间间隔。仅作为示例，而不作为限制，提供以上描述。
[0082]图15是示出根据另一示例性实施例的图案提取设备的框图。
[0083]参照图15，图案提取设备100-2包括基于事件的传感器110、深度传感器120和处理器130。图案提取设备100-2可生成针对每个深度的多个时间戳图，并且可从针对每个深度的多个时间戳图来提取静态图案。图案提取设备100-2可通过管理针对每个深度的多个时间戳图，来适当地重构多个对象中的每个对象的静态图案，而不管对象之间的重叠。
[0084]基于事件的传感器110响应于动态输入来输出事件信号。事件信号可包括与动态输入相应的标识信息和时间信息。图1的基于事件的传感器110和处理器130的以上描述也可通过示例的方式应用于图15的基于事件的传感器110和处理器130，因此在此将不重复图15的基于事件的传感器110和处理器130的进一步描述。
[0085]深度传感器120输出深度信息。深度传感器120包括多个感测像素。深度传感器120可输出通过多个感测像素感测的深度信息。深度传感器120可具有与基于事件的传感器110的分辨率相同的分辨率。响应于动态输入，深度传感器120可输出与动态输入相应的深度信息。尽管未在图15中示出，但是深度传感器120也可接收事件信号，并且可输出通过与接收的事件信号的位置信息相应的像素感测的深度信息。
[0086]处理器130可生成针对每个不同深度的多个时间戳图。处理器130可基于从基于事件的传感器110接收的事件信号以及从深度传感器120接收的深度信息，来更新多个时间戳图中的一个时间戳图。例如，当响应于第一事件信号接收第一深度信息时，处理器130可基于第一事件信号在与第一深度区域相应的第一时间戳图中更新时间戳。根据示例性实施例，将参照图16和图17来描述与多个时间戳图相关联的处理器130的操作。
[0087]图16是示出根据示例性实施例的处理多个时间戳图的处理的流程示图。图16示出处理器130、第一时间戳图210、第二时间戳图220和第三时间戳图230。第一时间戳图210、第二时间戳图220和第三时间戳图230可分别对应于第一深度区域、第二深度区域和第三深度区域。第一时间戳图210至第三时间戳图230可被称为2维(2D)时间戳图。
[0088]当事件信号被接收时，处理器130可基于深度信息从第一时间戳图210至第三时间戳图230，选择与事件信号相应的时间戳图。例如，当深度信息对应于第一深度区域时，处理器130可选择第一时间戳图210。处理器130可基于包括在事件信号中的标识信息和时间信息来更新第一时间戳图210。
[0089]处理器130可从第一时间戳图210至第三时间戳图230中的至少一个来提取脊。以上已经描述了提取脊的示例性处理，在此将不重复处理的进一步描述。处理器130可基于提取的脊来提取静态图案。例如，处理器130可从第一时间戳图210至第三时间戳图230中的每个来提取多个静态图案。此外，处理器130可基于第一时间戳图210至第三时间戳图230来生成单个合成图，并且可基于合成图的脊来提取静态图案。当与第一时间戳图210至第三时间戳图230中的相同坐标相应的时间戳重叠时，处理器130可基于重叠的时间戳中的最近的时间戳来生成单个合成图。例如，可从全部的三个时间戳图基于最近的时间戳来生成合成图。换言之，在示例性实施例中，从各个时间戳图(针对每个深度的一个时间戳图)，每个像素的最高值被获得，并且一个合成图被生成。
[0090]尽管未在附图中示出，但是示例性实施例可被修改为生成3维(3D)时间戳图来代替多个2D时间戳图的方案。例如，3D时间戳图可在与标识信息相应的元素中存储一对时间信息和深度信息。处理器130可在与标识信息相应的存储元素中存储时间信息和深度信息。
[0091]在示例性实施例中，深度信息可被量化到预定的深度区域。在示例性实施例中，处理器130可针对每个深度区域生成包括一对最近的时间信息和最近的深度信息的3D时间戳图。响应于量化到与预先存储的一对时间信息和深度信息中的深度信息相同的深度区域的新的深度信息的接收，处理器130可在相应的元素上重叠一对新的时间信息和新的深度信息。
[0092]图17是示出根据示例性实施例的通过处理多个时间戳图获得的结果的流程示图。图17示出从多个时间戳图提取的静态图案91、静态图案92和静态图案93。静态图案91、静态图案92和静态图案93中的每个包括与用户的手相应的第一对象和与用户的脸部相应的第二对象。在图17中，第一对象和第二对象被假设为具有不同深度，静态图案91和静态图案92中的每个的箭头指示第一对象的运动方向。
[0093]处理器130可在第一时间戳图中更新与第一对象相应的事件信号，并且可在第二时间戳图中更新与第二对象相应的事件信号。因此，当第一对象与第二对象之间发生重叠时，第一对象的静态图案和第二对象的静态图案可被独立地重构。例如，参照图17，第一对象与第二对象之间的重叠发生在时间^与^之间。在该示例中，可基于多个时间戳图来独立地重构第一对象和第二对象二者，如静态图案93中所示。
[0094]处理器130可在多个时间戳图中的至少一个中设置多个区域。处理器130可基于时间戳的分布来设置多个区域。处理器130可针对每个区域设置用于提取图案的单独的标准。例如，处理器130可针对每个区域设置单独的阈值时间间隔，并且可基于包括在每个区域中的元素的数量来调整每个阈值时间间隔的长度。根据示例性实施例，以上描述可应用于针对多个区域的图案提取处理。
[0095]图18是示出根据示例性实施例的图案提取方法的流程图。
[0096]参照图18，在操作500中，图案提取设备响应于动态输入来接收事件信号。可通过基于事件的传感器来输出事件信号。在操作600中，图案提取设备基于包括在事件信号中的标识信息和时间信息来提取与动态输入相关联的静态图案。图1至图17的以上描述也可通过示例的方式应用于图18的图案提取方法，因此，在此将不重复它们的进一步描述。
[0097]在另一示例性实施例中，边缘的厚度和元素的数量二者可用于确定与事件信号相关联的静态图案。在示例性实施例中，元素的数量可被调整，以使边缘可具有预设的厚度。例如，当对象正在移动时，可在对象的边缘生成事件信号，并且可调整元素的数量，以使与事件信号相应的边缘可继续具有大约2像素的平均厚度。作为示例而非限制提供以上描述。在示例性实施例中，边缘的厚度和元素的数量的组合可用于生成图案。
[0098]可使用硬件组件、软件组件或它们的组合来实现在此描述的元件或组件。例如，硬件组件可包括:麦克风、放大器、带通滤波器、音频数字转换器和处理装置。可使用一个或多个通用或专用计算机(诸如，处理器、控制器和ALU、DSP、微型计算机、FPGA、PLU、微处理器或能够以限定方式响应并执行指令的任何其他装置)来实现处理装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。处理装置还可响应于软件的执行而访问、存储、操控、处理和创建数据。为了简化的目的，处理装置的描述被用作为单数，但是本领域的技术人员将理解:处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者包括处理器和控制器。此外，不同的处理配置是可行的，诸如，并行处理器。
[0099]软件可包括计算机程序、代码段、指令或者它们的某些组合，以独立地或共同地指示或配置处理装置如期望地进行操作。可以以任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置，或者以能够提供指令或数据或被处理装置解释的传播信号波，来永久地或暂时地实现软件和数据。软件还可分布于联网的计算机系统，从而以分布方式存储和执行软件。可通过一个或多个非暂时性计算机可读记录介质来存储软件和数据。
[0100]以上描述的示例性实施例可被记录在包括程序指令的非暂时性计算机可读介质中，以实现可由计算机执行的各种操作。介质还可单独包括程序指令、数据文件、数据结构等，或者可与程序指令相结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是为了示例性实施例的目的而专门设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员公知且可用的类型。非暂时性计算机可读介质的示例包括:磁介质(诸如，硬盘、软盘和磁带)、光学介质(诸如，CD-ROM盘和DVD)、磁光介质(诸如，光盘)以及专门配置为存储和执行软件指令的硬件装置(诸如，只读存储器(R0M)、随机存取存储器(RAM)、闪存)等。程序指令的示例包括诸如由编译器所产生的机器代码和包含可由计算机使用解释器执行的更高级代码的文件两者。为了执行以上描述的示例性实施例的操作，以上描述的装置可被构造为用作一个或多个软件模块，反之亦然。
[0101]尽管已经示出并描述了多个示例性实施例，但是本发明构思不限于此。相反，本领域技术人员将理解，在不脱离本公开的原理和精神的情况下可对这些示例性实施例进行改变、修改或变形，通过权利要求和它们的等同物来限定本公开的范围。
【主权项】
1.一种图案提取方法，包括: 从基于事件的传感器接收指示事件的信号； 基于包括在接收的事件?目号中的标识和时间来提取静态图案； 输出提取的静态图案。2.如权利要求1所述的图案提取方法，还包括:基于动态输入由基于事件的传感器来检测事件，其中，动态输入包括以下项中的一个:改变入射在基于事件的传感器中的至少一个像素上的光的颜色和亮度中的至少一个的事件；以及改变声音输入的音量和频率中的至少一个的事件。3.如权利要求1所述的图案提取方法，其中，静态图案是与动态输入相关联的静止的对象的外观。4.如权利要求1所述的图案提取方法，其中，事件指示对象的运动，其中，静态图案对应于运动停止的状态下的对象的外观。5.如权利要求1所述的图案提取方法，其中，标识包括:指示基于事件的传感器的多个像素中的感测到对象的运动的至少一个像素的位置信息。6.如权利要求1所述的图案提取方法，其中，时间包括:指示基于由基于事件的传感器的至少一个像素感测到动态输入来检测事件的时间点的时间戳。7.如权利要求1所述的图案提取方法，其中，提取的步骤包括: 针对多个接收的事件中的每个来存储标识和时间； 基于存储的标识和时间来提取静态图案。8.如权利要求7所述的图案提取方法，其中，存储的步骤包括: 针对基于事件的传感器的每个元素，存储包括元素的地址的标识以及指示各个元素的最近改变的时间； 响应于改变各个元素的状态的事件，在各个元素的地址中针对各个元素重写时间。9.如权利要求1所述的图案提取方法，其中，提取的步骤包括: 从基于标识和时间生成的图提取脊。10.如权利要求9所述的图案提取方法，其中，标识对应于所述图上的坐标值，时间对应于所述图上的高度。11.如权利要求9所述的图案提取方法，其中，提取脊的步骤包括: 在包括在所述图中的多个元素中，提取存储阈值时间间隔内的时间的元素。12.如权利要求11所述的图案提取方法，其中，提取脊的步骤还包括: 通过基于提取的元素的数量调整阈值时间间隔的长度来生成新的阈值时间间隔； 提取新的阈值时间间隔内的元素。13.如权利要求9所述的图案提取方法，其中，提取脊的步骤包括:跟踪脊，以使脊中的边缘的厚度等于或小于阈值厚度。14.如权利要求1所述的图案提取方法，其中，提取的步骤包括: 设置静态图案将被提取的图的区域，其中，所述图基于标识和时间被生成； 基于阈值时间间隔从设置的区域提取脊。15.如权利要求14所述的图案提取方法，其中，设置的步骤包括: 基于与生成基于事件的传感器的事件的动态输入相应的对象的一部分来设置所述区域。16.如权利要求14所述的图案提取方法，其中，提取的步骤还包括以下步骤中的至少一个: 基于在设置的区域中接收的有效事件信号的数量来调整阈值时间间隔的长度； 响应于在设置的区域中接收的新的事件信号来调整阈值时间间隔的长度。17.如权利要求1所述的图案提取方法，其中，提取的步骤包括: 基于标识和时间来生成与多个深度区域相应的多个图； 从所述多个图中的至少一个提取脊。18.如权利要求17所述的图案提取方法，其中，生成的步骤包括: 接收与通过基于事件的传感器感测的动态输入相应的深度； 基于深度从所述多个图选择一个图； 基于标识和时间来更新选择的图。19.如权利要求1所述的图案提取方法，其中，提取的步骤包括: 接收与通过基于事件的传感器感测的动态输入相应的深度； 将时间和深度存储在与标识相应的存储元素中； 基于标识以及存储的时间和深度来提取静态图案。20.如权利要求1所述的图案提取方法，还包括: 生成包括指示基于事件的传感器的每个感测元素的位置(x，y)的标识和时间作为每个位置(x，y)的值的图； 从基于事件的传感器接收指示至少一个另外的事件的至少一个另外的信号； 基于标识和时间来更新所述图中的至少一个点， 其中，提取静态图案与生成并更新所述图是异步的。21.如权利要求1所述的图案提取方法，其中，基于事件的传感器仅针对形成事件的将值从关改变到开或从开改变到关的传感器的感测的元素，来输出标识和时间。22.—种图案提取设备，包括: 基于事件的传感器，被配置为输出指示事件的信号，其中，事件信号包括事件的时间和标识； 处理器，被配置为基于事件信号提取静态图案，并且将提取的静态图案输出到图案提取设备的外部。23.如权利要求22所述的图案提取设备，其中，基于事件的传感器响应于感测到动态输入来输出事件信号，其中，动态输入包括入射在基于事件的传感器中的至少一个像素上的光的改变。24.如权利要求22所述的图案提取设备，其中，基于事件的传感器响应于感测到包括对象的运动的动态输入来输出事件信号，其中，静态图案是运动停止的状态下的对象的外观。25.如权利要求22所述的图案提取设备，其中，标识包括:指示基于事件的传感器的多个像素中的感测到动态输入的基于事件的传感器的至少一个像素的位置信息， 其中，时间包括指示基于通过基于事件的传感器的至少一个像素感测到动态输入来检测事件的时间点的时间戳。26.如权利要求22所述的图案提取设备，其中，处理器被配置为将标识和时间存储在存储器中，并且基于存储的标识和时间来提取静态图案。27.如权利要求26所述的图案提取设备，其中，处理器被配置为基于由基于事件的传感器检测的事件在与标识相应的存储元素中重写时间。28.如权利要求22所述的图案提取设备，其中，处理器被配置为从基于标识和时间生成的图提取脊， 其中，标识是所述图上的坐标值，时间是所述图上的高度。29.如权利要求28所述的图案提取设备，其中，处理器被配置为在包括在所述图中的多个元素中提取存储阈值时间间隔内的时间的元素。30.如权利要求29所述的图案提取设备，其中，处理器被配置为通过基于提取的元素的数量调整阈值时间间隔的长度来生成新的阈值时间，并且提取存储新的阈值时间间隔内的时间的元素。31.如权利要求28所述的图案提取设备，其中，处理器被配置为跟踪脊，以使脊中的边缘的厚度等于或小于阈值厚度。32.如权利要求22所述的图案提取设备，其中，处理器被配置为设置静态图案将被提取的图的区域，并且基于阈值时间间隔从所述区域提取脊，其中，处理器基于标识和时间来生成所述图。33.如权利要求32所述的图案提取设备，其中，处理器被配置为基于与感测的事件相应的对象的一部分来设置所述区域。34.如权利要求32所述的图案提取设备，其中，处理器被配置为基于在所述区域中接收的有效事件信号的数量来调整阈值时间间隔的长度。35.如权利要求32所述的图案提取设备，其中，处理器被配置为响应于在所述区域中接收的新的事件信号来调整阈值时间间隔的长度。36.如权利要求22所述的图案提取设备，其中，处理器被配置为基于标识和时间生成与多个深度区域相应的多个图，并且从所述多个图中的至少一个提取脊。37.如权利要求36所述的图案提取设备，还包括:深度传感器，被配置为输出与通过基于事件的传感器感测的事件相应的深度， 其中，处理器被配置为基于深度从所述多个图选择一个图，并且基于标识和时间来更新选择的图。38.如权利要求36所述的图案提取设备，还包括:深度传感器，被配置为输出与通过基于事件的传感器感测的事件相应的深度， 其中，处理器被配置为在通过标识识别的存储元素中存储时间和深度，并且基于标识以及存储的时间和深度来提取静态图案。39.如权利要求36所述的图案提取设备，其中，处理器被配置为基于所述多个图来生成合成图，并且基于合成图来提取静态图案。
【文档编号】G06F3/0484GK106095262SQ201610260737
【公开日】2016年11月9日
【申请日】2016年4月25日 公开号201610260737.6, CN 106095262 A, CN 106095262A, CN 201610260737, CN-A-106095262, CN106095262 A, CN106095262A, CN201610260737, CN201610260737.6
【发明人】李俊行, 朴根柱, 申昌雨, 禹周延, 柳贤锡, 洪锡瑱
【申请人】三星电子株式会社