基于事件的图像处理设备和方法
【专利摘要】提供一种基于事件的图像处理设备和方法，所述设备包括：传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于事件信号的输出，基于时间戳信息来产生光流。
【专利说明】基于事件的图像处理设备和方法
[0001]本申请要求于2012年6月19日提交到韩国知识产权局的第10-2012-0065409号韩国专利申请的优先权利益，其公开通过全部引用被合并于此。
【技术领域】
[0002]与示例实施例一致的方法和设备涉及一种基于事件的图像处理设备和方法。
【背景技术】
[0003]图像处理广义上指的是按照图像的形式输入或输出的所有类型的信息的处理，并且可包括，例如，处理图片或运动图像的任务等。大多数图像处理技术可采用将图像视为二维(2D)信号的同时对图像应用标准的信号处理技术的方法。
[0004]图像传感器是指感测图像处理的输入数据的装置，并且可包括，例如，与使用制造半导体装置的技术的集成电路相应的光电转换装置等。
[0005]通常使用线性图像传感器和阵列图像传感器。线性图像传感器与用于传真机或复印机的一维(ID)图像传感器相应，阵列图像传感器与用于电视摄像机或数码相机的2D图像传感器相应。
[0006]线性图像传感器可包括用于检测光并产生电子的布置成行的光二极管。线性图像传感器可沿着垂直于传感器线的方向扫描目标对象(例如，文件或图片)，以获得具有一面积的区域的静止图像。
[0007]阵列图像传感器可包括二维地布置的光二极管。由于阵列图像传感器可在单次地获得屏幕的整个图像，阵列图像传感器也可被用于获得运动图像，例如，视频。
【发明内容】
[0008]根据示例性实施例，提供一种图像处理设备，包括:传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。
[0009]光流可包括像素的速度矢量。
[0010]光流产生器可包括:相邻像素获得单元，获得像素的相邻像素；时间差计算单元，使用时间戳信息来计算与至少一个像素和相邻像素之间的时间差相关的信息；距离差计算单元，计算与所述至少一个像素和相邻像素之间的距离差相关的信息；光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。
[0011]当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元可计算出与时间差相关的信息是“ O ”。
[0012]与距离差相关的信息可包括像素和相邻像素之间的像素距离的倒数。
[0013]光流计算单元可使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的两维(2D)矢量A，并且为了计算光流，执行将2D矢量A除以2D矢量A的内积值的运笪
[0014]所述设备可还包括:运算单元，基于光流执行关于用于用户界面的信息的运算。
[0015]用于用户界面的信息可包括:第一速度、第二速度、第三速度和第四速度中的至少一个，其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着X轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以第四速度在所述平面上旋转。
[0016]运算单元可包括:平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算；光流中心运算单元，基于光流来执行关于光流的中心的运算；z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算；角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。
[0017]针对关于第一速度和第二速度的运算，平面速度运算单元可执行关于光流的平均值的运算。
[0018]针对关于光流的中心的运算，光流中心运算单元可使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。
[0019]针对关于第三速度的运算，z轴速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。
[0020]针对关于第四速度的运算，角速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。
[0021]时间戳信息可包括与在多个图像像素的每一个中发生预定事件的最近时间相关的信息。
[0022]预定事件可包括在单位时间段内图像像素的亮度增加大于等于预定值的值的事件和在单位时间内图像像素的亮度减少大于或等于预定值的值的事件中的至少一个。
[0023]根据其它示例性实施例，提供一种图像处理方法，包括:从感测多个图像像素中预定事件的发生的传感器接收事件信号；响应于接收到的事件信号，通过将与事件信号相应的像素映射到输出事件信号的时间来产生时间戳信息；基于时间戳信息来产生包括像素的速度矢量的光流。
[0024]光流的产生的步骤可包括:获得像素的相邻像素，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息；计算与像素和相邻像素之间的距离差相关的信息；基于与时间差相关的信息和与距离差相关的信息来计算光流。
[0025]所述方法可还包括:基于光流来执行关于用于用户界面的信息的运算，用于用户界面的信息可包括第一速度、第二速度、第三速度和第四速度中的至少一个，其中，包括在多个图像像素中的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着X轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以所述第四速度在所述平面上旋转。
[0026]所述执行的步骤可包括:基于光流来执行关于第一速度和第二速度的运算；基于光流来执行关于光流的中心的运算；基于光流和光流的中心来执行关于第三速度的运算；基于光流和光流的中心来执行关于第四速度的运算。【专利附图】
【附图说明】
[0027]通过下面结合附图对特定示例性实施例的详细描述，示例性实施例的上述和其它方面将变得清楚和更易于理解，其中:
[0028]图1是示出根据示例性实施例的基于事件的图像处理设备的框图；
[0029]图2A和图2B是示出根据示例性实施例的时间戳信息的示图；
[0030]图3是示出根据示例性实施例的包括在基于事件的图像处理设备中的光流产生器的框图；
[0031]图4A到图4C是示出根据示例性实施例的由光流产生器产生的光流的示图；
[0032]图5A是示出根据示例性实施例的包括在基于事件的图像处理设备中的运算单元的框图；
[0033]图5B是示出根据示例性实施例的由运算单元产生的用于用户界面的信息的示图；
[0034]图6是示出根据示例性实施例的执行关于光流的中心的运算的方法的示图；
[0035]图7是示出根据示例性实施例的执行关于z轴速度和角速度的运算的方法的示图；
[0036]图8是示出根据示例性实施例的基于事件的图像处理方法的流程图。
【具体实施方式】
[0037]现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的参考标号始终指示相同的元件。下面通过参照附图来描述示例性实施例以解释本公开。
[0038]图1是示出根据示例性实施例的基于事件的图像处理设备100的框图。
[0039]参照图1，设备100包括传感器110、时间戳单元120和光流产生器130。
[0040]传感器110可时间连续地接收输入图像数据。根据示例性实施例，传感器110可感测在包括在接收到的图像数据中的多个图像像素中的每一个中预定事件的发生。以下，术语像素或多个像素可分别指图像像素或多个图像像素。
[0041]根据示例性实施例，预定事件可包括下面被称为“变亮事件”的事件和下面被称为“变暗事件”的事件中的至少一个，其中，当在单位时间段内多个图像像素中的每一个的亮度增加大于或等于预定值的值时，所述变亮事件发生，当在单位时间内，多个图像像素的每一个的亮度减少大于或等于预定值的值时，所述变暗事件发生。
[0042]例如，传感器110可感测包括在正被连续接收的图像数据中的、在多个像素的每一个中发生的与每个像素的亮度相关的事件。
[0043]因此，设备100可针对发生预定事件(例如，与每个像素的亮度相关的事件)的像素来执行图像处理，从而，当与针对每一帧的所有像素执行图像处理的方案比较时，减少很大一部分的计算量。
[0044]另外，当感测到预定事件发生时，传感器110可输出事件信号。这里，事件信号可表示基于预定事件的异步信号，并可包括与至少一个发生预设事件的像素相关的信息。
[0045]例如，当感测到(3，10)处的第一像素的亮度和(20，20)处的第二像素的亮度增加大于或等于预定值的值时，传感器110可输出包括第一像素的位置和第二像素的位置的事件信号。
[0046]另外，时间戳单元120可接收从传感器110输出的事件信号。
[0047]时间戳单元120将与事件信号相关的至少一个像素映射到输出事件信号的时间，从而产生时间戳信息。
[0048]具体地，时间戳单元120可使用包括在接收到的事件信号中的信息(例如，与发生预定事件的至少一个像素相关的信息)来存储在相应像素中发生新事件的时间。
[0049]例如，时间戳单元120可基于接收到的事件信号来存储在多个像素中的每一个中发生新事件的时间。
[0050]因此，时间戳单元120产生的时间戳信息可包括与在多个像素中的每一个中发生预定事件的最近时间相关的信息。[0051]根据示例性实施例，时间戳单元120可仅保留与在多个像素中的每一个中发生预定事件的最近时间相关的信息。例如，时间戳单元120可基于包括在接收到的事件信号中的信息(例如，与发生预定事件的至少一个像素相关的信息)，用新事件发生的时间更新预先存储的关于相应像素的时间。根据示例性实施例，时间戳单元120可被实现为处理器或多个处理器，并且可包括一个或多个存储单元。时间戳单元120可被实现为软件、硬件或它们的组合。例如，根据示例性实施例，时间戳单元120可被实现为硬件加速器(HWA)、现场可编程门阵列(FPGA)等。
[0052]因此，设备100可使用与在每个像素中发生的最新(最近)事件相关的信息来执行图像处理，而不考虑随着时间的过去已经发生的事件的历史。设备100可因此使用少量的存储器和少量的计算量来提供用于执行图像处理的技术。
[0053]将参照图2A和图2B进一步详细描述时间戳单元120产生的时间戳信息。
[0054]光流产生器130可响应于从传感器110输出的事件信号，基于由时间戳单元120产生的时间戳信息来产生光流。根据示例性实施例，光流产生器130可被实现为处理器或多个处理器。光流产生器130可被实现为软件、硬件或它们的组合。例如，按照示例性实施例，光流产生器130可被实现为硬件加速器(HWA)、现场可编程门阵列(FPGA)等。
[0055]根据示例性实施例，光流可包括发生新事件的至少一个像素的速度矢量。例如，光流可包括多个像素中发生预定事件的至少一个像素的速度矢量。
[0056]在这种情况下，速度矢量可与在包括多个像素的2D平面上的具有预定方向和预定大小的2D矢量相应。速度矢量的开始位置可与相应像素的位置相应。
[0057]例如，可使用相机按照连续时间获得图像。在这种情况下，当关于对象移动相机的位置时，或当关于相机移动对象时，图像中每个像素的亮度可改变。光流可包括按照2D矢量的形式的图像的亮度变化。
[0058]将参照图3详细描述光流产生器130的配置和从时间戳信息中产生光流的光流产生器130的运算。
[0059]图2A和图2B是示出根据示例性实施例的时间戳信息的示图。
[0060]参照图2A，时间戳信息200可包括与多个图像像素中的每一个相应的时间信息。
[0061]如参照图1的描述，时间戳信息200可仅保留与在每个像素中发生预定事件的最近时间相关的信息。
[0062]例如，在(i，j)处的像素210中发生预定事件的最近时间可以是1^_，在(i，j+1)处的像素220中发生预定事件的最近时间可以是Tu+1。
[0063]图1的时间戳单元120可基于从图1的传感器110接收的事件信号来更新时间戳信息220。根据示例性实施例，时间戳单元120可执行关于发生预定事件的像素的更新，而不是执行关于所有像素的更新。
[0064]传感器110可感测每单位时间(例如，按照微秒(μ s)单位)的预定事件的发生。在这种情况下，时间戳单位120可按照μ S单位来存储每个像素发生新事件的时间。
[0065]参照图2Β，为了产生光流，根据示例性实施例的基于事件的图像处理设备可使用时间戳信息来计算至少一个像素的速度矢量。
[0066]例如，在预定事件发生在(i，j)处的像素210中之后，预定事件可发生在(i+l，j+l)处的像素230中。在这种情况下，在(i，j)处的像素210可存储时间Ty，在(i+1, j+1)处的像素230可存储具有比Ti，」大的值的时间Ti+1，J+1。
[0067]在这种情况下，基于事件的图像处理设备可使用时间戳信息200来计算具有像素210的位置处的开始点的2D矢量A (未示出)。
[0068]具体地，基于事件的图像处理设备可从时间戳信息200中提取用于计算2D矢量A的时间差和位置差。这里，时间差表示时间Ti;」和时间Ti+1; j+1之间的时间差，并可与标量Δ t (未示出)相应。另外,位置差表示像素230和像素210之间的位置差,并可与2D矢量3 240相应。
[0069]基于事件的图像处理设备可使用等式I来计算2D矢量A。
[0070][等式I]
【权利要求】
1.一种图像处理设备，包括: 传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号; 时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息； 光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。
2.如权利要求1所述的设备，其中，光流包括像素的速度矢量。
3.如权利要求1所述的设备，其中，光流产生器包括: 相邻像素获得单元，获得像素的相邻像素； 时间差计算单元，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息； 距离差计算单元，计算与像素和相邻像素之间的距离差相关的信息； 光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。
4.如权利要求3所述的设备，其中，当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元计算出与时间差相关的信息是“ O ”。
5.如权利要求3所述的设备，其中，与距离差相关的信息包括像素和相邻像素之间的像素距离的倒数。`
6.如权利要求3所述的设备，其中，光流计算单元使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的2D矢量A，并执行将2D矢量A除以2D矢量A的内积值的运算以计算光流。
7.如权利要求1所述的设备，还包括: 运算单元，基于光流执行针对用于用户界面的信息的运算。
8.如权利要求7所述的设备，其中，用于用户界面的信息包括第一速度、第二速度、第三速度和第四速度中的至少一个， 其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以第一速度沿着X轴方向移动； 对象在所述平面上以第二速度沿着y轴移动； 对象以第三速度沿着垂直于所述平面的方向移动； 对象以第四速度在所述平面上旋转。
9.如权利要求8所述的设备，其中，运算单元包括: 平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算； 光流中心运算单元，基于光流来执行关于光流的中心的运算； z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算； 角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。
10.如权利要求9所述的设备，其中，针对关于第一速度和第二速度的运算，平面速度运算单元执行关于光流的平均值的运算。
11.如权利要求9所述的设备，其中，针对关于光流的中心的运算，光流中心运算单元使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。
12.如权利要求9所述的设备，其中，针对关于第三速度的运算，z轴速度运算单元使用光流的中心和像素的位置来产生与一个像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。
13.如权利要求9所述的设备，其中，针对关于第四速度的运算，角速度运算单元使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。
14.如权利要求1所述的设备，其中，时间戳信息包括与在多个图像像素中的每一个中发生预定事件的最近时间相关的信息。
15.如权利要求1所述的设备，其中，预定事件包括至少一个: 在单位时间段内图像像素的亮度增加大于等于预定值的值的事件； 在单位时间段内图像像素的亮度减少大于或等于预定值的值的事件。
16.—种图像处理方法,包括: 从感测多个图像像素中预定事件的发生的传感器接收事件信号； 响应于接收到的事件信号，通过将与事件信号相应的像素映射到输出事件信号的时间来产生时间戳信息； 基于时间戳信息来产生包括像素的速度矢量的光流。
17.如权利要求16所述的方法，其中，光流的产生的步骤包括: 获得像素的相邻像素； 使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息； 计算与像素和相邻像素之间的距离差相关的信息； 基于与时间差相关的信息和与距离差相关的信息来计算光流。
18.如权利要求16所述的方法，还包括: 基于光流来执行关于用于用户界面的信息的运算， 其中，用于用户界面的信息包括第一速度、第二速度、第三速度和第四速度中的中的至少一个，其中， 与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以第一速度沿着X轴方向移动； 对象在所述平面上以第二速度沿着y轴方向移动； 对象沿着垂直于所述平面的方向以第三速度移动； 对象在所述平面上以第四速度旋转。
19.如权利要求18所述的方法，其中，执行的步骤包括: 基于光流来执行关于第一速度和第二速度的运算； 基于光流来执行关于光流的中心的运算； 基于光流和光流的中心来执行关于第三速度的运算； 基于光流和光流的中心来执行关于第四速度的运算。
20.一种图像处理器，包括: 传感器，接收包括多个像素的输入图像数据，感测各个像素中的每一个的亮度变化是否大于预设值，并仅针对亮度变化大于预设值的像素的部分来输出各自的信号。 时间戳单元，接收信号并产生将所述像素的部分中的像素的每一个映射到基于信号发生亮度变化的各自的时间；光流产生器，基于时间戳产生的信息来产生光流。
21.如权利要求20所述的图像处理器，其中，时间戳存储信息，并且当从传感器接收到新信号时，更新信息并丢弃先前存储的信息。
22.如权利要求21所述的图像处理器，其中，传感器执行感测操作来每微秒(μs)感测一次亮度变化。
23.如权利要求20所述的图像处理器，其中，光流包括所述像素的部分的像素中的每一个的速度矢量。
24.如权利要求23所述的图像处理器，其中，对于所述像素的部分中的给定像素，使用与给定像素邻近的相邻像素相关的信息来计算速度矢量。
25.如权利要求24所述的图像处理器，其中，信息包括给定像素和相邻像素中的每一个之间的距离。
26.如权利要求24所述的图像处理器，其中，信息包括给定像素和相邻像素中的每一个之间的时间差。
27.如权利要求1所述的图像处理设备，其中，传感器异步输出与所述多个图像像素中发生预定事件的像素的部分相应的事件信号。
28.如权利要求1所述的图像处理设备，其中，光流产生器包括以下的至少一个: 部分计算单元，响应于预定事件信号的输出，异步计算所述多个图像像素中与所述预定事件信号相应的至少一个像素和与所述至少一个像素邻近的相邻像素的速度矢量； 全计算单元，以预定间隔计算所述多个图像像素的速度矢量。
【文档编号】H04N5/335GK103516946SQ201310244056
【公开日】2014年1月15日 申请日期:2013年6月19日 优先权日:2012年6月19日
【发明者】李圭彬, 柳贤锡, 李俊行, 朴根柱, 申昌雨, 禹周延 申请人:三星电子株式会社