一种使用时域视觉传感器的光流计算方法
【技术领域】
[0001] 本发明涉及计算机视觉、图像处理以及图像传感器设计等多个技术领域，更具体的说 是一种使用时域视觉传感器的光流计算的方法。
【背景技术】
[0002] 光流 光流（Optic flow，亦称为图像流）是指当三维空间中的运动目标成像于二维图像平面 时所产生的运动投影，这种二维投影以图像亮度"流动"的方式表现出来，称之为光流。研 究光流场的目的是为了从序列图像中近似计算不能直接得到的三位空间运动场。
[0003] 光流分析是视频分析的重要研究方向之一，借助光流分析能够有效进行运动目标 检测与跟踪和分割。光流分析已经在在机器人、军事、航空航天、工业交通工业、医学与气象 等多个领域具有广泛应用。机器视觉系统通过对场景进行光流分析来进行基于视觉的各种 操作，例如机器人自动导航和障碍物躲避；无人航天器自动着陆和路径设计，导弹精确制导 和目标选择等。目前光流研究主要集中于在特有硬件平台上实现算法以及新算法的设计。
[0004] Gibson和Wallach等在上世纪50年代首次提出能够从二维平面的光流场可以恢 复空间三维运动与结构参数的假设。1981年由Hom和schunck提出第一种实际有效的光流 计算方法，成为光流算法发展的基石。此后关于光流的研究成为计算机视觉领域的热点， 产生了大量研究成果。这些方法可分为微分法、匹配法、能量法、相位法以及神经动力学法 几大类。其中微分法具有较好的综合性能，计算量相对较小且效果较好，因此在实际中得到 广泛的使用。它利用时变图像(视频）灰度值的时域与空域微分(梯度函数）来计算像素的 速度矢量。微分法主要包括：1、Horn-sehunek全局平滑法；2、Lucas-Kanade局部平滑法； 3、Nagel有向平滑法等具体算法。
[0005] 微分法光流基于亮度恒定假设。该假设认为物体在空间做相对连续运动，运动过 程中投射到视网膜(或图像传感器）上的图像连续变化。具体表述为"对一组连续的二维图 像序列中某个目标的运动而言，沿该运动轨迹曲线上的各帧像素点具有相同的灰度值。设t 时刻图像中像素点（X，y)的灰度值为I (X，y，t)，它是t时刻物体上点（X，Y，Z)在图像上的 像。在七+厶七时刻时，该运动到（乂+厶乂，￥+厶￥，2+厶2)，其图像上的像变为（計厶\7+厶7)， t+ Δ t时图像点（X+ Δ X，y+ Δ y)处的灰度值为I (X+ Δ X，y+ Δ y, t+ Δ t)。当时间变化量很 小时，根据亮度恒常假设，像素灰度值保持不变：
u, V即为t时刻图像点（X，y)在X及y方向上的速度分量，因此关于光流（u, v)的线 性方程为：
上式即为光流约束方程，其中Ix、Iy为点（x，y)处亮度的空间梯度，ItS该点的时间梯 度，这三个值均可通过连续图像帧求得。上式中由于存在u、v两个未知数，因此是不适定的 (不存在唯一解)。这是由于将空间的三维运动投影到平面的二维表示所造成的，因此为了 求解每个像素点的U、V，还需要加上其他的约束条件，例如Horn-sehunek提出的全局平滑 假定、Lucas-Kanade提出的局部平滑假定等。
[0006] 根据Lucas-Kanade提出的局部平滑假定，以（x，y)为中心的小区域内的像素点具 有相同的速度（u，v)，即：
上式中U，……，Ini是一个小区域(通常取_霸:__)内的相邻像素。由于m> 2， 因此可以米用最小均方误差法求解光流（U，V)。
[0007] 在基于帧图像的光流分析方法中，可以使用以下格式计算像素（i.j)处的Ix、I y、
式（6~8)，各参数含义如下： f (X，y, t)表示视频中t时刻的图像中（X，y)点处的亮度，像素的分布如图3所示。小 区域Ω内的最小误差可以采用如下公式：
二维高斯函数图形分布见图4。
[0008] 使用以上各公式，采用最小均方误差法计算使小区域Ω内光流误差最小的光流 (u, v)〇
[0009] 虽然微分光流技术研究已经取得了大量成果并在实际工程中获得了大量使用，但 仍然面临以下难题： (1) 亮度恒定假设对于大多数自然视频图像是不合适的，特别是当图像中存在遮挡或 运动速度较高时； (2) 当图像存在遮挡时，速度场会发生突变，各种平滑约束会使得物体形状被扭曲； (3) 微分光流的前提是图像连续可微，如果图像空间梯度变化较大时，会对光流分析的 精度产生严重影响。
[0010] 由以上分析可见，图像拍摄帧频是影响光流分析准确性的重要因素。由于目前普 通相机的拍摄速度为30~60帧/每秒，因此对高速运动目标的光流分析显然会产生与连 续性假设不符合的矛盾。如果拍摄速度足够快(各帧图像间的时间间隔足够小)，则上述问 题会得到有效解决；但与此同时，高帧频会使得计算量激增，实时光流分析难以实现。
[0011] 视觉传感器 依据成像使用的"光--电转换"原理，当前使用的图像传感器芯片（CCD及CMOS)都是 基于"帧采样"方式模式的： (1) 所有像素同时复位后开始感光(收集光电荷)，在达到设定曝光时间后停止感光； (2) 依次读出每个像素所收集的光电荷，并将其转换为电压； (3)该电压经模数转换后变为数字量，输出后存储。该数字量即为该点的亮度值。所有 像素亮度值组成的二维矩阵即为所拍摄图像。
[0012] 在使用上述"帧采样"图像传感器相机的机器视觉系统中，图像序列(视频）的拍摄 速度通常为30-60帧/秒，继而又计算机执行图像处理算法提取目标并进行判别与分析。
[0013] 上述"帧采样"成像方式存在的缺点： (1) 背景数据冗余。相邻两帧间存在大量的冗余背景信息，不变的背景区域被重复采样 读出，对系统的处理和存储能力带来巨大压力。拍摄速度越高，则传输、存储和处理压力越 大； (2) 高响应延迟。场景中的变化不能立即被图像传感器感知并输出，而必须按照"帧" 的节奏被感知和输出。这种高响应延迟对于高速运动目标的跟踪与识别非常不利，运动速 度越快则检测结果的间断性和误差越明显； 近年来，研究者依据生物视觉"变化采样"的原理，采用超大规模集成电路（VLSI)技术 设计出新型工作模式的"视觉传感器（Vision Sensor, VS)"。原理包括： (1) 、生物视觉系统不以"帧"的方式进行成像，视觉感光细胞只对变化敏感，并将这种 变化以神经脉冲的方式传递到大脑视皮层进行处理； (2) 、模仿生物视觉的成像机理，VS像素只对场景中的"变化事件（Activity Event， AE)"敏感并采样输出。按其性质，AE可分为空间变化(某像素与其周边像素的亮度关系发 生变化）和时间变化(像素自身的亮度发生变化）两大类。时域变化敏感的视觉传感器称之 为时域视觉传感器（Temporal Vision Sensor，TVS); (3) 、TVS中的各像素自主地检测所感受的光强是否发生变化。具体方法是每个像素周 期测量单位时间内的光生电流的变化量。当单位时间内光生电流的变化量超过设定的阈值 时，表示该点的光强发生变化，因此每次AE即表明光强发生了固定的变化量。像素产生的 AE通过串行总线异步输出，像素间互不关联； (4) 、通常采用称为"地址事件表示（Address-Event-Representation，AER)"的方法表 示AE，即AE= (x，y，P)，其中（x，y)为像素在像素阵列中的行列地址，P表示变化的属性(例 如光强增加为"1"，减小为"〇"）； (5) 、TVS输出的每个AE被后端系统赋予一个时间戳T，该时间戳指出AE的具体输出时 间，即 AE= (X，y, P, T)。
[0014] 由以上介绍可见，TVS与传统"帧采样"图像传感器相比，其最突出的优点是： (1) 、输出数据量小，无冗余信息。输出数据只包括场景中的变化信息，数据量通常为 "帧采样"方式的5~10%; (2) 、实时性高。像素能够立即感知亮度的变化并输出，"变化-输出"的延迟可以减小 到微秒级，相当于几千~几万帧的拍摄速度。附图1给出了普通"帧采样"图像传感器与时 域视觉传感器的拍摄效果比较。
【发明内容】
[0015] 本发明提出一种使用时域视觉传感器（TVS)的微分光流计算方法。使用TVS作为 视觉输入源，基于"亮度恒定"和"局部速度不变"的微分光流分析原理，使用"表示亮度变 化的活跃事件（AE)"序列进行光照变化空间梯度以及时间梯度的计算，通过最小二乘法进 行光流计算分析。为实现此目的，本发明公开了如下的技术内容： 一种使用时域视觉传感器的光流计算方法，其特征在于以Lucas-Kanade提出的局部 平滑假定为基础，使用TVS输出的AE序列完成空间梯度与时间梯度的计算：包括 (1) 计算空间梯度： lx、Iy为像素点（x，y)处亮度的空间梯度(变化)，使用各像素点与其邻居像素在过去 一段时间At内的累计AE数之差来计算空间梯度，综合考虑检测线宽、TVS噪声特性及实 时计算的特点，空间梯度计算公式为：
上式中AE (x，y，t)表示t时刻像素（x，y)处产生的AE，At为算法设定的计算间隔， 由目标的运动速度设定，建议值50~200us，帧采样情况下时间分辨率相当于20000~5000帧 /每秒； (2) 时间梯度： 时间梯度表示像素感受光强的变化速度，其计算公式：
上式通过计算At时间间隔内像素点（x，y)产生的AE总数与At的比值来获得（x，y) 点处的空间梯度。
[0016] (3)基于TVS的光流算法 使用TVS输出的AE序列表示的微分光流约束方程为：
算法连续读入TVS产生的AE，每当读入一个AE，根据其地址，按照式（1~3)计算该点及 其周围小区域内各点的空间梯度和时间梯度，按照局部平滑假定使用最小均方误差法求解 其光流； 算法流程： 1) 算法初始化，建立按时间排序