一种图像事件检测标示方法及系统与流程

本发明涉及图像信息处理技术领域，特别涉及一种图像事件检测标示方法及系统。

背景技术：

图像传感器目前已广泛应用于科学研究、工业生产、医疗卫生、国防军事等各个领域。随着图像分辨率及图像帧率的不断提升，人类得以观察到更加细微的物体特征，或者更为短暂的物理现象，从而极大地丰富了人类的观测手段，提高了人类的认知水平。

然而随着图像性能参数的迅速提升，同时也带来了图像数据量和数据传输带宽成倍增长的巨大挑战。海量的图像数据和超高数据传输带宽，为后续的传输、存储、处理均带来了一系列技术挑战。

目前针对此类高分辨率，高帧率下的超高带宽图像数据流(尤其是超过10Gbps量级的图像数据流)，多采用直接存储原始图像数据，后续慢速导出、再进行分析处理的技术方案。在实际观测中(例如生命科学研究中，神经细胞突触荧光分析试验中)，分析人员难以快速实时地获取被测对象的变化信息，往往需要在观测结束后的数小时或数天内才能获得测试结果。同时，图像数据中上存在的冗余数据(如背景数据)，并不被分析人员所关注，却浪费了大量存储容量及额外传输带宽，大幅提高了成像系统的实现成本。

技术实现要素：

(一)要解决的技术问题

基于以上问题，本发明的主要目的在于提出一种图像事件检测标示方法及系统，用于解决以上技术问题中的至少之一。

(二)技术方案

本发明的一个方面提供了一种图像事件检测标示方法，将原始图像数据流处理后输出图像事件检测数据，包括：获取原始图像数据流中的第一帧图像数据；依次针对第一帧图像数据之后的每一帧图像数据，执行如下操作：将该帧图像的暗像素行数据替换成制式对齐码；计算该帧图像的有效像素行与前一帧图像的对应像素行所有像素点之间的残差；根据残差所属的范围输出当前像素行中所有像素点的事件检测数据，直到当前帧所有有效像素行都经过上述处理为止；以及当原始图像数据流的所有图像数据都经过上述处理之后，输出原始第一帧图像数据、以及其余帧图像的制式对齐码和事件检测数据。

本发明的另一个方面提供了一种图像事件检测标示系统，用于将原始图像数据流处理后输出图像事件检测数据，包括：数据分配器，获取图像数据帧，将原始图像数据流中的第一帧图像数据输出到事件检测单元，将后续图像数据帧的有效像素行输出到事件检测单元，将后续图像数据帧的暗像素行输出到S-O-F插入器；S-O-F插入器，将当前帧图像的暗像素行替换成制式对齐码；事件检测单元，计算当前帧图像的有效像素行与前一帧图像的对应像素行所有像素点之间的残差，根据残差所属的范围输出当前像素行中所有像素点的事件检测数据，直到当前帧所有有效像素行都经过上述处理为止；以及码流合成器，将原始第一帧图像数据和其余全部图像的制式对齐码和事件检测数据输出。

(三)有益效果

基于上述技术方案中可以看出，本发明具有以下有益效果：

本发明实施例提出的图像事件检测标示方法简单高效，硬件实现延时小；并行度高，可例化后多路并行，非常利于算法的硬件移植，并可实现极高的数据处理能力；

经过本发明实施例提供的方法处理的图像序列，去除了背景信息及微弱扰动信息，直接关注最核心的图像变化区域，大幅减少了数据传输带宽和存储容量，提供给观测者一种实时的，直观的图像动态信息。

附图说明

图1是本发明实施例的一种图像事件检测标示系统的构成框图。

图2是本发明实施例的一种图像事件检测标示方法的流程图。

图3是本发明图1所示实施例中码流合成器的输出的数据结构图。

图4a-4b是本发明实施例的测试图像序列。

图5是本发明实施例检测标示后的输出图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。

图1是本发明实施例的一种图像事件检测标示系统的构成框图。

如图1所示，该系统包括状态寄存单元、数据分配器、S-O-F插入器、事件检测单元以及码流合成器。

根据本发明的实施例，状态寄存单元包含：P(Pixel，像素)循环计数器、L(Line，行)循环计数器、F(Frame，帧)递增计数器、以及阈值寄存器，其输入端与图像数据源及设定输入相连，其输出端与数据分配器、事件检测单元、S-O-F(帧头)插入器、码流合成器分别相连。状态寄存单元用于计算并寄存当前图像数据的像素序号、行序号、和帧序号，输出的像素序号、行序号、帧序号、和阈值数据TH是后续数据分配、图像事件检测、以及码流合成的控制信息。

根据本发明的实施例，数据分配器与状态寄存单元连接，用于从图像数据源接收图像，并根据图像的行序号和帧序号选择将图像传输到S-O-F插入器或事件检测单元。

在本发明实施例中，第一帧gray(p,l,1)图像输入时，数据分配器产生连续地址及相应的写入控制信号，将图像数据依次写入事件检测单元中；与此同时，也将该帧数据直接输出到码流合成器前端。第二帧图像暗像素行到来时，数据分配器将其选通输出至S-O-F插入器模块，直接替换成制式对齐码。当第二帧图像有效像素第一行到来时，数据分配器产生2组地址信号和各自的写入、读出控制信号。一组控制信号用于向事件检测单元写入当前行图像数据，一组控制信号用于从事件检测单元读出前一帧图像对应图像行数据。需要注意的是，在本发明实施例中所产生的2组地址应是空间互斥的并且事件检测单元中的数据双缓存容量至少应满足存储2帧输入的全分辨率图像。每完成1帧，则交换一次读、写操作，交替循环。

根据本发明的实施例，S-O-F插入器同样获得状态寄存单元输出的像素序号、行序号、帧序号，当检索到新一帧图像的前部暗像素行到来后，按照下述公式(1)或公式(2)直接替换原始数据，使之变为规则的且交替突变的对齐码值，然后输出相应的修改后的数据，便于解压缩等后续处理时的快速检索与定位。

或

其中，gray(p,l,f)为图像的灰度函数，p为图像像素序号，l为图像行序号，f为图像帧序号，M为图像宽度，N为图像高度，R为图像像素的量化位宽，L_dark为图像的暗像元行高。

根据本发明实施例，事件检测单元包括数据双缓存单元、Inter-Frame Differentia(帧间残差)运算器、事件检测器以及OV(溢出)数据缓存单元。在本发明实施例中，将相邻的两帧图像存入数据双缓存单元中，Inter-Frame Differentia运算器按照公式(3)求取这两帧图像的帧残差，去掉图像时间冗余信息，并将残差与预设阈值TH进行比较，按照公式(4)和(5)的编码策略，通过事件检测器和OV数据缓存单元分别输出事件标示值E与OV值O。残差δ(p,l,f)的计算公式为：

δ(p,l,f)＝gray(p,l,f)-gray(p,l,f-1)(1≤p≤M,L_dark＜l≤N,f＞1) (3)

事件标示值E(p,l,f)的计算公式为：

其中，TH为预设阈值，OV值O(p,l,f)的计算公式为：

上述公式均应满足1≤p≤M,L_dark＜l≤N,f＞1，且TH＝2^K-1，(0＜K＜R)，其中E(p,l,f)与O(p,l,f)分别代表事件标示值与OV值，TH为设置的阈值，‘0’‘01’‘10’为二进制值。binR_δ(p,l,f)为残差绝对值的R比特自然二进制码。在本发明实施例中，若设定图像事件判定阈值TH，认为残差δ低于阈值的为背景信息或者微弱扰动信息，此时填入‘事件标示值’为‘0’，表明无图像事件；若出现TH≤δ(p,l,f)，则填入‘事件标示值’为‘10’，表明出现图像事件，且为灰度值正向突变事件，并记录下OV值；若出现-(TH+1)≥δ(p,l,f)，则填入‘事件标示值’为‘11’，表明出现图像事件，且为灰度值负向突变事件，并记录下OV值。

根据本发明实施例，码流合成器同样获得状态寄存单元输出的行序号与帧序号，依次选通输出：G(p,l,f)、E(p,l,f)、O(p,l,f)，与第一帧图像原始数据形成最终的图像检测数据输出。其输出如图3所示，依次输出第一帧图像原始数据、第二帧图像暗像素行对齐码、第二帧图像有效像素第一行事件标示值、第二帧图像有效像素第一行OV值……第二帧图像有效像素第N行事件标示值、第二帧图像有效像素第N行OV值，直至将第二帧图像全部有效像素行依次输出事件标示值和OV值后，输出下一帧图像的数据流，即第F帧图像暗像素行对齐码、第F帧图像有效像素第一行事件标示值、第F帧图像有效像素第一行OV值……第F帧图像有效像素第N行事件标示值、第F帧图像有效像素第N行OV值，直至全部图像数据流都输出。

图2是本发明实施例的一种图像事件检测标示方法的流程图。

如图所示，在步骤S1，获取第一帧图像并输出。根据本发明实施例，状态寄存单元获取第一帧图像并寄存当前图像数据的像素序号、行序号、帧序号。数据分配器也从原始图像中获取第一帧图像，第一帧图像输入时，数据分配器产生连续地址及相应的写入控制信号，将图像数据依次写入事件检测单元中；与此同时，也将该帧数据直接输出到码流合成器前端。

在步骤S2，获取下一帧图像。根据本发明实施例，状态寄存单元获取下一帧图像并寄存当前图像数据的像素序号、行序号、帧序号。数据分配器也从原始图像中获取下一帧图像，并根据状态寄存器输出的行序号和帧序号选择将图像传输到S-O-F插入器或事件检测单元。例如，将当前帧图像的暗像素行传输到S-O-F插入器，将当前帧图像的有效像素行传输到事件检测单元。

在步骤S3，将暗像素行替换成制式对齐码。根据本发明实施例，S-O-F插入器同样获得状态寄存单元输出的像素序号、行序号、帧序号，当检索到新一帧图像的前部暗像素行到来后，按照下述公式(1)或公式(2)直接替换原始数据，使之变为规则的，且交替突变的对齐码值，然后输出相应的修改后的数据，便于解压缩等后续处理时的快速检索与定位。

或

其中，gray(p,l,f)为图像的灰度函数，p为图像像素序号，l为图像行序号，f为图像帧序号，M为图像宽度，N为图像高度，R为图像像素的量化位宽，L_dark为图像的暗像元行高。

在步骤S4，输出对齐码值G。根据本发明实施例，将步骤S3中的到的对齐码值G输出到码流合成器。

在步骤S5，将有效行像素与前序图像计算残差。根据本发明实施例，通过Inter-Frame Difference运算器计算该帧图像剩下的有效像素行与前一帧图像的对应像素行所有像素点之间的残差，残差δ(p,l,f)的计算公式为：

δ(p,l,f)＝gray(p,l,f)-gray(p,l,f-1)(1≤p≤M,L_dark＜l≤N,f＞1) (3)

在步骤S6，根据残差生成事件标示值以及OV值。根据本发明实施例，将残差δ与设定的阈值TH进行比较，按照下述公式生成事件检测数据，所述事件检测数据包括事件标示值E和OV值O，

其中，TH为预设阈值，OV值O(p,l,f)的计算公式为：

上述公式均应满足1≤p≤M,L_dark＜l≤N,f＞1，且TH＝2^K-1，(0＜K＜R)，其中E(p,l,f)与O(p,l,f)分别代表事件标示值与OV值，TH为设置的阈值，‘0’‘01’‘10’为二进制值。binR_δ(p,l,f)为残差绝对值的R比特自然二进制码。在本发明实施例中，若设定图像事件判定阈值TH，认为残差δ低于阈值的为背景信息或者微弱扰动信息，此时填入‘事件标示值’为‘0’，表明无图像事件；若出现TH≤δ(p,l,f)，则填入‘事件标示值’为‘10’，表明出现图像事件，且为灰度值正向突变事件，并记录下OV值；若出现-(TH+1)≥δ(p,l,f)，则填入‘事件标示值’为‘11’，表明出现图像事件，且为灰度值负向突变事件，并记录下OV值。

在步骤S7，判断是否还有后续图像，若还有图像则继续重复步骤S2-S6，若所有图像已经处理完成，则合成输出流，完成对原始图像的处理输出。

在步骤S8，合成输出流。根据本发明实施例，码流合成器同样获得状态寄存单元输出的行序号与帧序号，依次选通输出：G(p,l,f)、E(p,l,f)、O(p,l,f)，与第一帧图像原始数据形成最终的图像检测数据输出。

如图4a-4b是本发明实施例的测试图像序列，图5是经过本发明实施例的方法输出的图像信息。后续图像事件重建时，以图像行为单位，逐点检测图像事件，扫描到‘0’，则保持原始图像数据；扫描到‘10’，则采用伪彩色红色色系标示灰度值正向突变事件，则提取相应OV值作为变化强度信息，OV值越高，红色越深；扫描到‘11’，则采用伪彩色蓝色色系标示灰度值负向突变事件，则提取相应OV值作为变化强度信息，OV值越高，蓝色越深；如此，用图像原值标示“无图像事件”的区域，用伪彩色的红、蓝等颜色标示变化信息，且颜色的深浅表明变化的强弱。该方法提供了直观高效的图像信息。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。