专利名称：自动增益场景下基于相机响应函数的背景建模方法
技术领域：
本发明涉及图像处理与计算机视觉领域，尤其是指一种在相机自动增益场景中准 确跟随增益系数变化以获得精确运动检测的背景建模方法。
背景技术：
运动检测是计算机视觉的重要研究方向、也是众多计算机视觉应用中关键而基础 的模块，如视频语义标注，模式识别、交通视频监控、人体跟踪。运动检测目的是将感兴趣的 运动物体从视频中完整的分割。分割准确与否直接影响后续模块的精度。运动检测方法可归为以下几类[1]光流法、帧差法、背景差法。在固定摄像机的场 景中，背景差法由于其在速度和精度上都有很好的效果而被广泛研究，它将当前帧与背景 参考帧相减，再通过阈值判决，从而分割出运动前景。背景差法的效果取决于背景建模的精 度，即背景参考帧是否能够真实反映当前场景。而现有背景建模方法局限于考虑摄像机内 部热噪声、场景的动态变化，如雨雪、水面、草木晃动、光照变化、阴影的干扰。然而实际干扰 并不限于上述，如相机自动增益干扰。自动增益是绝大部分相机的固有功能，且多数不能手 动取消，当由于遮挡、开关灯等原因导致相机传感器(CCD或CMOS)接收到的平均辐照度突 然变高或变低时，自动增益通过调整光圈大小、快门时间等，使图像灰度均值向反方向变化 而达到最佳的视觉效果，犹如瞳孔的功能。自动增益导致大范围的运动错检，因为通常的背 景建模方法无法判断大范围像素灰度值快速变化是前景还是自动增益后的背景。CuCChiara[2]通过一个经验模型来补偿自动增益后的灰度值变化，某些重要的参 数以经验值给出，不同型号相机补偿效果差异大。Kim[3]简单假设自动增益导致灰度值线性 变化，推算出变化后的背景参考帧，而这种假设在高灰度值时会有很大误差。然而上述算法 都是从经验和假设出发，没有意识到自动增益下的图像灰度值变化由相机响应函数CRF所 决定的，CRF是由厂家人为设计的非线性函数，不能简单的用线性函数来近似。故上述算法 缺乏理论支撑和通用性。SohM用背景参考帧的灰度值均值来控制自动增益变化，但需要改 变摄像机内部电路结构，难以通用实现。由于不同的相机CRF不同，且厂家出于对保密的考虑并不愿意公布CRF，另外也很 难知道视频是由那一款相机输出。通常CRF恢复算法所存在的共同问题是运算量大，为获 取足够精度的CRF必须增加参数个数并需多次迭代，且对噪声敏感。而由Grossbergra所 提出少参数相机响应函数EMoR(Empirical Model of Response)，将CRF的设计约束和事先 收集的各型号相机CRF数据库DoRF (Database ofResponse Functions)相结合，得到一个 含N个参数的函数。EMoR的优点是不需迭代，故降低了运算量，且相对于其他算法只需很少 参数就能精确恢复CRF，但缺点是仍需事先手动选取训练数据，不利于整个系统的全自动实 现，且训练数据含有噪声时，则EMoR的鲁棒性差，容易陷入局部最优。参考文献1. Hu W M, Tan T N, Wang L, Maybank S. A survey on visual surveillance of object motion and behaviors. Ieee Transactions on Systems Man and CyberneticsPart C-Applications and Reviews,2004,34(3) :334-3522. Cucchiara R, Melli R, Prati A. Auto-iris compensation for traffic surveillance systems. In Proceedings of the IEEE Intelligent Transportation Systems Conference. Italy :IEEE,2005. 851-8563. Kim Z. Real time object tracking based on dynamic feature grouping with background subtraction. In :Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Anchorage, USA IEEE, 2008. 1626-16334. Soh Y S, Kwon Y, Wang Y. A new iris control mechanism for traffic monitoring system. In !Proceedings of the 9th Pacific Rim International Conference on Artificial Intelligence. Guilin, China :Springer,2006. 1227-12315.Grossberg M D, Nayar S K. Determining the camera response from images :ffhat is knowable ？ Ieee Transactions on Pattern Analysis and Machine Intelligence,2003，25(11) :1455-146
发明内容
本发明要解决的问题是背景差法运动检测中，现有的背景建模方法无法判断大 范围像素灰度值快速变化是前景还是自动增益后的背景，存在误差大、需要预先收集训练 数据等缺陷，不利于背景差法运动检测的全自动实现，且易受到噪声等影响。本发明的技术方案为自动增益场景下基于相机响应函数的背景建模方法，其特 征是在背景差法运动检测中，相机自动增益场景下，背景参考帧实时跟随相机增益系数的 变化，得到与当前帧增益系数相同的背景参考帧，包括以下步骤1)通过基于自动增益渐进性的分析，构建目标函数，设定自动增益临界误检阈值， 所述自动增益临界误检阈值以系统发生自动增益临界误检时的灰度值变化特征为依据设 定，逐帧检测是否发生自动增益临界误检，如果发生则得到粗分的背景区域，并使用联合直 方图的方法得到训练数据，具体为11)利用参数相机响应函数EMoR中权重最大的均值项作为相机响应函数CRF的近 似，得到灰度差值函数BDF，进而获得临界误检时的正增益比kpp和负增益比km 当1 < k。/\ < kpp，则发生正增益但尚未导致运动误检，当km < kc/kr < 1，则发 生负增益但尚未导致运动误检，kr, k。分别是背景参考帧R与当前帧C的增益系数；12)当增益比分别为临界误检正增益kpp、l、临界误检负增益时1^，分别得到所 对应的灰度差值函数，根据kpp，1，km对应的BDF曲线，将图像区域分为四部分，以此构造目 标函数，当目标函数大于设定的临界误检阈值则临界误检发生，并粗分出当前帧的背景区 域；13)粗分的背景区域像素经由基于联合直方图的降噪处理，并去除含0，255的数 据项，得到低维的训练数据；2)以步骤1)中所得到的训练数据做为输入数据，由基于最大似然估计和参数约 束的方法一次性恢复得到全局最优的相机响应函数；3)灰度差值的最大值是关于增益比的单调增函数，通过前背景差值与增益比的相关性，以及前述的单调增函数，由前背景帧和步骤幻中所恢复的相机响应函数，逐帧求取 增益比；前背景差值指当前帧与背景参考帧的差值，前背景帧为当前帧和背景参考帧的统 称；4)如果步骤3)确定的增益比不为1，则由增益比和步骤2)恢复的相机响应函数， 得到与当前帧的增益系数相同的背景参考帧，否则背景参考帧不变，由此逐帧更新背景参 考帧，获得与当前帧增益系数相同的背景参考帧。步骤1)具体为11)设相机自动增益导致整个图像中发生像素数量为N’的绝对误检，正负增益比 kpp' km 为kpp = min{kc/kr |num(BDF(Br (Pi)，kc/kr) > σ (Pi)) /N < N' ；1 彡 i 彡 N} (1)km = min {kc/kr | num(BDF(Br (Pi)，kc/kr) < - σ (Pi))/N < N' ； 1 彡 i 彡 N} (2)其中整幅图像中的像素集合为P = W p2，· · · ·，pN}，N为图像像素总数;Br(Pi)， B。(Pi)分别是像素Pi对应的背景参考帧R的灰度值和当前帧C的灰度值；kpk。分别是背景 参考帧R与当前帧C的增益系数；σ (Pi)为Pi点对应的前背景判决阈值；由CRF即可得到 BDF ；num( ·)表示符合条件的像素个数；12)根据临界误检时各图像区域的分布特性，由增益比分别为kpp，1，km时得到相 应BDF曲线，构造目标函数T，将图像区域分为四类，当T大于阈值则临界误检发生，并粗分
山曲旦 出冃足令x = Ipy = BDF(IpkjZX)，其中kp、分别为自动增益发生前后的两帧图像i，j 所对应的增益系数，VX即为增益比，Ii为i帧图像的灰度值，νχ分别为kpp，km，ι时，得 到曲线y = Lp (x),y = Ln (χ),y = 0，将图像区域分为四个部分，P = PA U PB U PC U PD, 当发生自动正增益并处于临界误检时，PA为当前背景区域，且有B。(Pi)-BJpi) > 0， Bc(Pi)-Br(Pi) < Lp (Br (ρ,)) ；PB为发生自动正增益时，低灰度值的运动物体遮挡住的原有 背景的高亮区域，有B。(Pi)-B,(Pi) < Ln(Br(ρ,)) ；PC为发生自动正增益时，低灰度值的运动 物体遮挡住的原有背景的较暗区域，有Ln (B, (Pi)) < B。(Pi)-B, (Pi) <0 ;PD为发生自动正增 益时，高灰度值的运动物体遮挡住的原有背景的较暗区域，有B。(Pi)-B,(Pi) > Lp (Br (ρ,)), 且满足num(PA) >> num (PD), num (PB) > num (PC)；当发生自动负增益并处于临界误检 时，PA为高灰度值的运动物体遮挡住原有背景的灰度值较高区域，有0 < B。(Pi)-BJpi)
<Lp (Br (ρ,)) ；PB为低灰度值的运动物体遮挡住原有背景的较暗区域，有Ln(BJpi))
<Bc (Pi)-Br (Pi) ；PC为当前背景区域，有Ln (Br (Pi)) < Bc (Pi)-Br (Pi) <0;发生自动负增益 因为是高灰度值的运动物体遮挡住原有背景的低灰度值区域，PD为该区域，因为造成强烈 的灰度差值，所以有 Bc (Pi)-Br (Pi) > Lp (Br (Pi))，且满足 num (PC) >> num (PB)，num (PD) > num(PA),由此建立目标函数
权利要求
1.自动增益场景下基于相机响应函数的背景建模方法，其特征是在背景差法运动检测 中，相机自动增益场景下，背景参考帧实时跟随相机增益系数的变化，得到与当前帧增益系 数相同的背景参考帧，包括以下步骤1)通过基于自动增益渐进性的分析，构建目标函数，设定自动增益临界误检阈值，所述 自动增益临界误检阈值以系统发生自动增益临界误检时的灰度值变化特征为依据设定，逐 帧检测是否发生自动增益临界误检，如果发生则得到粗分的背景区域，并使用联合直方图 的方法得到训练数据，具体为11)利用参数相机响应函数EMoR中权重最大的均值项作为相机响应函数CRF的近似， 得到灰度差值函数BDF，进而获得临界误检时的正增益比kpp和负增益比km 当1 < k。/\ < kpp，则发生正增益但尚未导致运动误检，当km < kc/kr < 1，则发生负 增益但尚未导致运动误检，kr, k。分别是背景参考帧R与当前帧C的增益系数；12)当增益比分别为临界误检正增益kpp、l、临界误检负增益时1^，分别得到所对应的 灰度差值函数，根据kpp，l，km对应的BDF曲线，将图像区域分为四部分，以此构造目标函数， 当目标函数大于设定的临界误检阈值则临界误检发生，并粗分出当前帧的背景区域；13)粗分的背景区域像素经由基于联合直方图的降噪处理，并去除含0，255的数据项， 得到低维的训练数据；2)以步骤1)中所得到的训练数据做为输入数据，由基于最大似然估计和参数约束的 方法一次性恢复得到全局最优的相机响应函数；3)灰度差值的最大值是关于增益比的单调增函数，通过前背景差值与增益比的相关 性，以及前述的单调增函数，由前背景帧和步骤2~)中所恢复的相机响应函数，逐帧求取增 益比；前背景差值指当前帧与背景参考帧的差值，前背景帧为当前帧和背景参考帧的统 称；4)如果步骤幻确定的增益比不为1，则由增益比和步骤幻恢复的相机响应函数，得到 与当前帧的增益系数相同的背景参考帧，否则背景参考帧不变，由此逐帧更新背景参考帧， 获得与当前帧增益系数相同的背景参考帧。
2.根据权利要求1所述的自动增益场景下基于相机响应函数的背景建模方法，其特征 是步骤1)具体为11)设相机自动增益导致整个图像中发生像素数量为N’的绝对误检，正负增益比kpp， km为
3.根据权利要求2所述的自动增益场景下基于相机响应函数的背景建模方法，其特征 是步骤2、具体为21)在EMoR框架内，基于对数和反函数的运算，将增益系数与场景照度从CRF中分离， 在数学分析上转化成线性回归问题=CRF恢复的输入训练数据集合V = P_BTF, V满足 V = [[IV1 (m), IVj (m)) | m <0,1.. ..,M)}(6)IVi是增益系数为ki时的图像灰度值，IVj是增益系数为、时的图像灰度值，M是训练 数据个数，IVi, I、满足IVi+ε = BTFij (IVj)(8)其中BTF为亮度转移函数，ε是高斯噪声，在EMoR框架下基于最大似然估计和参数约 束的CRF恢复，得到全局最优解，对EMoR的一般形式取反函数和取对数
4.根据权利要求2或3所述的自动增益场景下基于相机响应函数的背景建模方法，其 特征是步骤幻具体为31)分析得到BDF最大值是关于增益比的单调增函数，即两者是单应的；32)基于单应性的自动增益求取令BDF最大值为Δ MI (VX))，对应的横坐标为MI (IyX)(MI(Vki) = Ii, Δ MI (kj/kj) = Δ Iji) max {Δ Iji = BDFdi, k/kj)}, O ^ Ii ^ 255(22)如果当前帧C与背景参考帧的的灰度差异仅由自动增益造成，那么图像中所有像素点 Pi对应的坐标(x(i) =Br (Pi)，y(i) =Br(Pi)-Br(Pi))所形成的分布DC落在曲线DL: Kx = I,y= ΔΙ) I ΔΙ = BDF(I，kc/kr)}上，且 Δ MI (kc/kr) = max(y(i))，由 Δ MI 的单应性，即 可得到k。/k,，如果有运动运动前景存在，k。/k,的取值区间、为[k。W1-IthAeVkrt+!^ th]，k。_1; V1是上一帧C与B的增益系数，k_th是增益比渐进变化范围，取0. 12，则得到MI 对应的区间sm，求DC在区间知的峰值坐标(ΜΒ，Δ MB)(MB = x(i), AMB = χ/)) | max{ χ/)}, x(i) am(23)令MOIGvX) = MB,由单应性得到k/ki = km，在理想情况下，如果是由自动增益导致 的峰值，则同时满足km e sk, MI(km) =18，新的增益比为1^。/\ = km，考虑到噪声影响，当 IMI (km) -MB < TM,且km e sk,则更新增益比，否则是由运动前景导致的峰值，增益比不变，TM 在这里取5 ；33)按照步骤3 逐帧求取增益比。(19)(20)=(t(l), t(2), . . . . , t(M))
全文摘要
自动增益场景下基于相机响应函数的背景建模方法，通过基于自动增益渐进性的分析得到粗分的背景区域，并使用联合直方图的方法得到低噪声的训练数据，由基于最大似然估计和参数约束的方法一次性恢复得到全局最优的相机响应函数；其次利用前背景差值与增益比的相关性，以及灰度差值函数关于增益比的单应性，逐帧在线求取增益比；最后若增益比不为1，则由相机响应函数和增益比更新得到与当前参考帧相同的背景参考帧，否则背景参考帧不变，实时跟随相机增益系数的变化，得到与当前帧增益系数相同的背景参考帧。本发明克服了以往方法难以跟随相机自动增益导致的背景快速变化的不足，从而在保证高效的运动检测。
文档编号G06T7/20GK102129689SQ20111004480
公开日2011年7月20日 申请日期2011年2月24日 优先权日2011年2月24日
发明者何军, 刘晓男, 李勃, 江登表, 胥欣, 董蓉, 陈启美 申请人:南京大学