对两列tae图像传感器输出进行优化的方法
【专利摘要】本发明涉及图像传感器领域，为提出一种对两列TAE图像传感器输出进行优化的方法，使得沿像素列方向的光强变化在后处理中以X事件的形式输出出来，从而得到连续的单像素宽的目标轮廓。这种方法可以用FPGA、DSP等硬件实时实现。为此，本发明采取的技术方案是，对两列TAE图像传感器输出进行优化的方法，包括如下步骤：一、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；二、细化；三、产生X事件：X事件表示的是在目标和传感器相对运动方向的垂直方向上的光强变化。本发明主要应用于硅基发光电子器件设计制造。
【专利说明】对两列TAE图像传感器输出进行优化的方法
【技术领域】
[0001] 本发明涉及图像传感器领域，尤其涉及一种对两列TAE图像传感器输出进行优化 的方法。 技术背景
[0002] 近年来，事件-地址-表达（AER)图像传感器开始出现并得到初步发展。这种图 像传感器抛弃了传统成像系统中"帧"的概念，而是基于事件，异步地对光强变化进行感知， 采集和输出。
[0003] 两列时间-地址-事件（TAE)图像传感器，作为一种特殊的列级AER图像传感器， 具有结构简单，速度快，冗余小，时间分辨率高等优点。光强变化超过阈值的像素位置会产 生事件，并以TAE的方式进行编码，即将事件的发生时间、地址以及事件类型对应保存起 来。这里，事件表示光强变化剧烈的点，事件有两种类型：0N事件和OFF事件，分别表示在 目标和传感器的相对运动方向上，光强由暗变亮和由亮变暗两种情况。这样，在合适的时 间-地址坐标系中，可以得到表示运动目标边沿的二值图像。然而，由于两列TAE图像传感 器所采集的事件是基于光强变化的，目标中与像素列方向垂直的边缘由于不能产生光强变 化而无法被采集，同时，许多倾斜方向的边缘也会出现断点。而完整连续的目标轮廓对于后 续处理以及最终的目标识别是十分重要的。
【发明内容】
[0004] 两列TAE图像传感器探测光强变化，在光强变化剧烈的时刻和地址，产生两种事 件：0N事件和OFF事件，分别表示在目标和传感器的相对运动方向上，光强由暗变亮和由亮 变暗两种情况。时间标记I按照当前时刻对产生的0N事件和OFF事件进行时间标记，从而 得到TAE信息。时间标记I具有很高的时间分辨率，即时间间隔很低，可至100ns左右。速 度估计模块通过测得的两列像素事件峰值的时间差，以及两列像素的间隔和放大系数，估 测到运动目标的速度V。进而根据速度v控制时间标记和细化过程。
[0005] 传统的两列TAE图像传感系统只有传感器部分（包括两列像素、时间标记I)、速 度估计、细化和后续图像处理模块。为了克服现有技术的不足，提出一种对两列TAE图像传 感器输出进行优化的方法，使得沿像素列方向的光强变化在后处理中以X事件的形式输出 出来，从而得到连续的单像素宽的目标轮廓。这种方法可以用FPGA、DSP等硬件实时实现。 为此，本发明采取的技术方案是，对两列TAE图像传感器输出进行优化的方法，包括如下步 骤：
[0006] -、重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；设放大 系数为A，像素间距为dx，图像传感器与拍摄目标的相对速度为V，则重新时间标记的时间 间隔即时间分辨率为t = dx/Av ;重新标记过程中，若同一像素在新设置的同一时间间隔内 存在多个事件，这些事件会被合并为一个事件作为最后的输出；同时，原始时间标记TAE信 息也给予保留；
[0007] 二、细化：重新时间标记之后若某一像素产生一种事件，即ON事件或者OFF事件， 则在这个事件的产生时间之后的η个时间间隔内，同类型即同为0N或者OFF事件的事件 会被屏蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，η为大于 等于1的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，η越大；
[0008] 三、产生X事件：0Ν事件和OFF事件分别表示在目标和传感器的相对运动方向上， 光强由暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方 向上的光强变化；通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X 事件的位置。
[0009] 通过对原始图像的分析，确定X事件的产生起点和产生终点，具体为：设目标点为 P0,对目标点及其周边5 X 5范围内的邻域点命名，从目标点的左上角开始按照由内至外、 顺时针顺序由小到大命名为P1 ――P24 ;对存在事件即0N、0FF或者X事件的每一个像素点 P0进行以下操作：
[0010] 1遍历像素点P0的八邻域内的所有点，若其中存在且只存在一个事件，并且该事 件所在的像素位置不是P4,则设该像素为Pe，e为1一24的整数，且e尹4,继续进行第2 步；否则判定结束，目标点P0不是X事件的产生起点；
[0011] 2遍历点Pe的八邻域内的所有点，统计存在事件的个数，若总数为2,则判定P0点 为X事件的产生起点，则P0点对应的地址被记录下来，在之后的时间段中，相应的X事件会 一直产生，这个产生过程一直持续到满足终止条件为止；若不满足任何一个条件，则判定结 束，目标点P0不是X事件的产生起点；
[0012] 3当某点被确定为X事件的产生起点，其地址会被记录下来，在之后的时间段内， 每个时刻都需判断该地址对应的点是否满足终止条件；如果满足，则在下一时刻，此地址不 再产生X事件，否则，X事件继续产生。
[0013] 具体的终止条件是，若目标像素点的上、下、右、右上、右下五个位置的邻域点即 P2-P6中存在至少一个事件，则终止条件满足；不过，也有四种特殊情况，在这些情况下，X 事件的产生会继续进行；前两种情况只关心P〇-P8、P22-P24共12个点，5X5范围内其他点 无需考虑和判断，具体分别为：目标点上方点P2和左侧点P8为1,其他点为0 ;目标点下方 点P6和左侧点P8为1，其他点为0 ;后两种情况只关心P0-P8和P15共9个点，5X5范围 内其他点无需考虑和判断；具体分别为：P3和P15点为1，其他点为0 ;P5和P15点为1，其 他点为〇 ;在判断终止条件是否满足的过程中，需要判断是否是这四种情况的一种，如果不 是，终止条件才达成，否则，终止条件不满足，则X事件会继续产生，P0-P24是指：中心像素 点为P〇, P0左上角为像素点P1，按顺时针围绕P0依次排列P2-P8像素点；像素点P1左上 角为像素点P9,按顺时针在P1-P8像素点外侧围绕P0依次排列P9-P24像素点。
[0014] 对两列TAE图像传感器输出进行优化的装置，包括：感光像素、时间标记结构、细 化模块、速度估计模块和输出模块，此外还包括两片先进先出FIFO、mXn寄存器阵列、二次 时间标记模块，二次时间标记模块根据速度估计模块的输出给出二次时间标记，经过第二 次时间标记的图像信息以串行方式传输至FIF0A中暂存，即FIF0A中保存着实时得到的地 址事件信息；FIF0A以列为单位对mXn寄存器阵列中保存的信息进行更新，mXn寄存器阵 列存放着最新m列像素的图像信息，而FIFO A保存着最新m_2列像素中的地址事件信息； 匹配单元根据FIFO A中输出的事件信息从寄存器中读取待处理事件周围mXm范围内的 像素信息，之后进行多次模板匹配产生相应的X事件，X事件保存在FIFO B中，控制模块受 匹配单元控制，决定着FIFO A和FIFO B的读写操作，最终FIFO A和FIFO B共同写入输出 模块，以TAE的方式输出。
[0015] 二次时间标记模块与时间标记结构相同，主要由计时器、TAE编码器以及辅助电路 构成。其中计时器的计时精度低于时间标记结构，并且能够在一定范围内调节。
[0016] 与已有技术相比，本发明的技术特点与效果：
[0017] 通过对两列TAE图像传感器输出图像进行自动修补，得到连续的、单像素宽的目 标边界信息。
【专利附图】
【附图说明】
[0018] 图1整体设计图；
[0019] 图2目标点的5 X 5邻域；
[0020] 图3终止条件；
[0021] 图4终止条件中的特例情形；
[0022] 图5 :X-事件生成模块结构；
[0023] 图6:(a)拍摄目标；
[0024] (b)原始TAE图像
[0025] (c)细化后的TAE图像
[0026] (d) X-事件填充后的TAE图像
[0027] (e)最终得到的目标边界。
【具体实施方式】
[0028] -、重新时间标记。即用较大时间隔点的时间标记代替原有的时间标记。时间标 记即TAE中的T--时间，指事件发生的时间。按照所测得的速度，对两列TAE图像传感器 的输出信息进行重新的时间标记，以得到合适的时间分辨率，使得比例缩放后的图像在横 纵两个方向上的分辨率在同一数量级上。一般地，设放大系数为A，像素间距为dx，图像传 感器与拍摄目标的相对速度为V，则重新时间标记的时间间隔即时间分辨率为t = dx/Av， 也可以根据使用者需要适当增加与减小。重新标记过程中，若同一像素在新设置的同一时 间间隔内存在多个事件，这些事件会被合并为一个事件作为最后的输出。同时，原始TAE信 息也给予保留，以满足后处理中对时间分辨率要求较高的环节，整个系统如图1所示。
[0029] 现有的两列TAE图像传感器主要包括两列异步像素、时间标记、输出电路、细化模 块和速度估计模块，本发明提出的结构在原有两列TAE图像传感器的基础上，加入了二次 时间标记模块（即时间标记II模块）、和X-事件产生模块。其结构如图1所示。
[0030] 二、细化。重新时间标记之后。若某一像素产生一种事件（可以是0N事件或者OFF 事件），则在这个事件的产生时间之后的η个时间间隔内，同类型（同为ON或者OFF事件） 的事件会被屏蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，η 为大于等于1的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，η越 大，一般可设置η的取值为1-8。
[0031] 三、产生X事件。0Ν事件和OFF事件分别表示在目标和传感器的相对运动方向上， 光强由暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方 向上的光强变化。这种变化是无法被两列TAE图像传感器所直接捕捉的。本发明提出的算 法通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X事件的位置。如 图2所示，设目标点为P0,对目标点及其周边5X5范围内的邻域点命名，从目标点的左上 角开始按照由内至外、顺时针顺序由小到大命名为P1――P24。对存在事件（ON、OFF或者X 事件）的每一个像素点P0进行以下操作：
[0032] 1遍历像素点P0的八邻域内的所有点，若其中存在且只存在一个事件，并且该事 件所在的像素位置不是P4,则设该像素为Pe，e为1一24的整数，且e尹4,继续进行第2 步；否则判定结束，目标点P0不是X事件的产生起点。
[0033] 2遍历点Pe的八邻域内的所有点，统计存在事件的个数，若总数为2,则判定P0点 为X事件的产生起点，则P0点对应的地址被记录下来，在之后的时间段中，相应的X事件会 一直产生，这个产生过程一直持续到满足终止条件为止；若不满足任何一个条件，则判定结 束，目标点P0不是X事件的产生起点。
[0034] 3当某点被确定为X事件的产生起点，其地址会被记录下来，在之后的时间段内， 每个时刻都需判断该地址对应的点是否满足终止条件。如果满足，则在下一时刻，此地址不 再产生X事件，否则，X事件继续产生。具体的终止条件如图3所示，若目标像素点的上、下、 右、右上、右下五个位置的邻域点（即P2-P6)中存在至少一个事件，则终止条件满足。不 过，也有四种特殊情况，如图4所示，在这些情况下，X事件的产生会继续进行。前两种情况 只关心P0-P8、P22-P24共12个点，5X5范围内其他点无需考虑和判断。具体分别为：目标 点上方点P2和左侧点P8为1，其他点为0 ;目标点下方点P6和左侧点P8为1，其他点为0。 后两种情况只关心P0-P8和P15共9个点，5X5范围内其他点无需考虑和判断。具体分别 为：P3和P15点为1，其他点为0 ;P5和P15点为1，其他点为0。在判断终止条件是否满足 的过程中，需要判断是否是这四种情况的一种，如果不是，终止条件才达成，否则，终止条件 不满足，则X事件会继续产生。
[0035] 对于像素间距为15μπι的2X256阵列的TAE图像传感器，放大系数为1/0. 16,二 次时间标记、细化、速度估计利用DSP或CPU完成，而X-事件产生模块由FPGA或ASIC硬件 实现，其结构如图5所示。经过第二次时间标记的图像信息以串行方式传输至一 FIFO中暂 存，即FIFO中保存着实时得到的地址事件信息。FIFO以列为单位对5X256寄存器阵列中 保存的信息进行更新。5X256寄存器阵列存放着最新5列像素的图像信息。而FIFO A保 存着最新3列像素中的地址事件信息。匹配单元根据FIFO A中输出的事件信息从寄存器中 读取待处理事件周围5 X 5范围内的像素信息，之后进行多次模板匹配产生响应的X事件，X 事件保存在FIFO B中。控制模块受匹配单元控制，决定着FIFO A和FIFO B的读写操作。 最终FIFO A和FIFO B共同写入输出模块，以TAE的方式输出。
[0036] 对速度为6. 25m/s、长宽约为2. 5cm的拍摄目标进行拍摄，二次时间标记得到的时 间分辨率为62. 5 μ s，整个处理过程如图6所示。原始的TAE图像经过处理后得到了完整的 目标边界轮廓。
【权利要求】
1. 一种对两列TAE图像传感器输出进行优化的方法，其特征是，包括如下步骤： 一、 重新时间标记：即用较大时间隔点的时间标记代替原有的时间标记；设放大系数 为A，像素间距为dx，图像传感器与拍摄目标的相对速度为V，则重新时间标记的时间间隔 即时间分辨率为t = dx/Av ;重新标记过程中，若同一像素在新设置的同一时间间隔内存在 多个事件，这些事件会被合并为一个事件作为最后的输出；同时，原始时间标记TAE信息也 给予保留； 二、 细化：重新时间标记之后若某一像素产生一种事件，即ON事件或者OFF事件，则在 这个事件的产生时间之后的η个时间间隔内，同类型即同为ON或者OFF事件的事件会被屏 蔽，以达到细化边界的目的，但是，与之类型不同的事件会给予保留，这里，η为大于等于1 的整数，是使用者设定的参数，需根据所拍摄目标的速度选取，速度越小，η越大； 三、 产生X事件：ON事件和OFF事件分别表示在目标和传感器的相对运动方向上，光强 由暗变亮和由亮变暗的点；而X事件表示的是在目标和传感器相对运动方向的垂直方向上 的光强变化；通过对原始图像的分析，确定X事件的产生起点和产生终点，从而确定X事件 的位置。
2. 如权利要求1所述的对两列TAE图像传感器输出进行优化的方法，其特征是，通过对 原始图像的分析，确定X事件的产生起点和产生终点，具体为：设目标点为P0,对目标点及 其周边5X5范围内的邻域点命名，从目标点的左上角开始按照由内至夕卜、顺时针顺序由小 到大命名为P1 ――P24 ;对存在事件即ON、OFF或者X事件的每一个像素点P0进行以下操 作： 1) 遍历像素点P0的八邻域内的所有点，若其中存在且只存在一个事件，并且该事件所 在的像素位置不是P4,则设该像素为Pe，e为1一24的整数，且e尹4,继续进行第2步；否 则判定结束，目标点P0不是X事件的产生起点； 2) 遍历点Pe的八邻域内的所有点，统计存在事件的个数，若总数为2,则判定P0点为X 事件的产生起点，则P0点对应的地址被记录下来，在之后的时间段中，相应的X事件会一直 产生，这个产生过程一直持续到满足终止条件为止；若不满足任何一个条件，则判定结束， 目标点P0不是X事件的产生起点； 3) 当某点被确定为X事件的产生起点，其地址会被记录下来，在之后的时间段内，每个 时刻都需判断该地址对应的点是否满足终止条件；如果满足，则在下一时刻，此地址不再产 生X事件，否则，X事件继续产生。
3. 如权利要求2所述的对两列TAE图像传感器输出进行优化的方法，其特征是，具体的 终止条件是，若目标像素点的上、下、右、右上、右下五个位置的邻域点即P2-P6中存在至少 一个事件，则终止条件满足；不过，也有四种特殊情况，在这些情况下，X事件的产生会继续 进行；前两种情况只关心P0-P8、P22-P24共12个点，5X5范围内其他点无需考虑和判断， 具体分别为：目标点上方点P2和左侧点P8为1，其他点为0 ;目标点下方点P6和左侧点P8 为1，其他点为〇 ;后两种情况只关心P0-P8和P15共9个点，5X5范围内其他点无需考虑 和判断；具体分别为：P3和P15点为1，其他点为0 ;P5和P15点为1，其他点为0 ;在判断 终止条件是否满足的过程中，需要判断是否是这四种情况的一种，如果不是，终止条件才达 成，否则，终止条件不满足，则X事件会继续产生，P0-P24是指：中心像素点为PO, P0左上角 为像素点P1，按顺时针围绕P0依次排列P2-P8像素点；像素点P1左上角为像素点P9,按顺 时针在P1-P8像素点外侧围绕P0依次排列P9-P24像素点。
4. 一种对两列TAE图像传感器输出进行优化的装置，其特征是，包括：感光像素、时间 标记结构、细化模块、速度估计模块和输出模块，此外还包括两片先进先出FIFO、mXn寄存 器阵列、二次时间标记模块，二次时间标记模块根据速度估计模块的输出给出二次时间标 记，经过第二次时间标记的图像信息以串行方式传输至FIF0A中暂存，即FIF0A中保存着 实时得到的地址事件信息；FIF0A以列为单位对mXn寄存器阵列中保存的信息进行更新， mXn寄存器阵列存放着最新m列像素的图像信息，而FIFO A保存着最新m-2列像素中的 地址事件信息；匹配单元根据FIFO A中输出的事件信息从寄存器中读取待处理事件周围 mXm范围内的像素信息，之后进行多次模板匹配产生相应的X事件，X事件保存在FIFO B 中，控制模块受匹配单元控制，决定着FIFO A和FIFO B的读写操作，最终FIFO A和FIFO B 共同写入输出模块，以TAE的方式输出。
5. 如权利要求4所述的对两列TAE图像传感器输出进行优化的装置，其特征是，二次时 间标记模块与时间标记结构相同，主要由计时器、TAE编码器以及辅助电路构成。其中计时 器的计时精度低于时间标记结构，并且能够在一定范围内调节。
【文档编号】G06T5/00GK104143181SQ201410378663
【公开日】2014年11月12日 申请日期:2014年7月31日 优先权日:2014年7月31日
【发明者】徐江涛, 张梦醒, 史再峰, 姚素英, 高志远, 聂凯明 申请人:天津大学