一种阴影遮挡下的抓拍优化方法及装置与流程

本发明属于视频监控领域，尤其涉及一种阴影遮挡下的抓拍优化方法及装置。

背景技术：

现在大量的园区设立门岗收费站用于对园区内停放车辆进行合理收费，该收费系统中涉及出入口摄像机、抬杆控制系统、车辆信息管理平台，其中出入口摄像机主要负责车辆抓拍、车牌信息收集等。为保证过车捕获率，出入口摄像机多采用地面所铺设的线圈实现抓拍触发，车牌信息识别由出入口摄像机完成，车牌的低识别率将导致园区出入车辆收费系统管理的紊乱甚至瘫痪，而车牌识别率与抓拍图像的车牌呈现密切相关，一张曝光适宜车牌的识别率会明显优于过曝或欠曝车牌的识别率。

园区出入口多设立于露天环境，随着全天候太阳东升西落的过程，车辆抓拍点不可避免的会处于强顺光或强逆光环境中，顺光环境下车牌补光过于充足，极易发生车牌过曝而泛白现象，导致车牌字体无法正常呈现，而逆光环境下，车牌补光过于微弱，极易发生车牌欠曝，导致车牌字体辨识度过低，严重影响车牌识别。另外园区出入口建筑、树木在阳光照射下的阴影也会对车牌补光效果照成明显影响，导致车牌欠曝。

为了解决上述问题，现有技术通过获取历史抓拍车辆的车牌亮度值，并与车牌期望亮度值进行对比，如果连续多个车牌亮度值大于/小于车牌期望亮度值，则摄像机通过降低/增大曝光量使后续抓拍车辆的车牌亮度与车牌期望亮度一致，从而避免了车牌在强顺光环境、强逆光环境或在阴影环境中车牌过曝或欠曝引起的车牌识别率过低的问题。

上述方法虽然解决了车牌在强顺光环境、强逆光环境或在阴影环境中车牌过曝或欠曝引起的车牌识别率过低的问题，但上述方法中摄像机的曝光量自适应控制需要对多张历史抓拍图片中车牌亮度进行统计，才可判断出当前车牌过曝或者欠曝是否为外界环境变化导致且该改变是否将持续保持，如果在强顺/逆光或阴影维持时间内没有充足的、连续的过车用于车牌亮度统计，那么摄像机将无法判断当前场景是否为强顺/逆光环境或阴影环境，从而使摄像机无法正确调整曝光量，导致车牌出现过曝或者欠曝，另外在该方法中，即使摄像机能正确调整曝光量，但摄像机在进行曝光量调整前依然有部分车牌存在过曝或欠曝。

技术实现要素：

本发明的目的是提供一种阴影遮挡下的抓拍优化方法及装置，以解决现有技术中当没有充足的、连续的过车用于车牌亮度统计时，摄像机无法判断当前场景是否为强顺/逆光或阴影环境，从而使摄像机无法正确调整曝光量，导致车牌出现过曝或者欠曝，以及在摄像机能正确调整曝光量时，摄像机在进行曝光量调整前依然有部分车牌存在过曝或欠曝的问题。

为了实现上述目的，本发明技术方案如下：

一种阴影遮挡下的抓拍优化方法，所述阴影遮挡下的抓拍优化方法，包括：

根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况；

根据目标检测区的阴影遮挡情况、以及抓拍位置，预估出抓拍帧对应的目标亮度；

根据预估的抓拍帧对应的目标亮度、以及目标期望亮度，调整抓拍帧的曝光参数。

进一步地，所述根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况，包括：

将实况帧图像划分为多个区块，计算各个区块中像素点的平均亮度，得到各个区块的亮度，并对所有区块的亮度求平均，得到目标检测区的平均亮度；

将各个区块的亮度与目标检测区的平均亮度分别进行比较，当比值小于设定的阈值时，则认为该区块对应的路面处在阴影中，否则认为该区块对应的路面不在阴影中；

判断目标检测区的阴影遮挡情况，当目标检测区中处在阴影中的区块数量小于设定的第一阈值时，则判断整个目标检测区没有阴影遮挡；当目标检测区中有连续的区块处在阴影中，且处在阴影中的区块数量大于设定的第二阈值，则判断目标检测区中有连续大面积阴影遮挡；否则判断目标检测区有杂乱的小面积阴影遮挡。

进一步地，所述根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，包括：

在目标检测区无阴影遮挡或目标检测区有连续大阴影遮挡时，则采用拟合曲线预估出抓拍帧对应的目标亮度；

所述采用拟合曲线预估出抓拍帧对应的目标亮度，包括：

统计目标检测区内多帧实况帧中的目标亮度，以及目标所成图像在在整帧图像中的位置，进行曲线拟合，得到目标亮度与目标所成图像在整帧图像的位置之间的拟合曲线；

计算出目标运动至抓拍位置时，目标所成图像在整帧图像的位置；

将目标所成图像在整帧图像的位置代入拟合曲线，得到预估的抓拍帧对应的目标亮度。

进一步地，所述根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，包括：

在目标检测区有杂乱的小面积阴影遮挡时，则采用最接近抓拍帧的实况帧中的目标亮度作为预估的抓拍帧对应的目标亮度。

进一步地，所述根据预估的目标亮度、以及目标期望亮度，优化抓拍帧的曝光参数，包括：

对最接近抓拍帧的预设数量的实况帧的曝光量求平均，得到当前曝光量；

根据目标期望亮度与预估的抓拍帧对应的目标亮度的比值、以及当前曝光量计算期望曝光量；

根据期望曝光量调整抓拍帧的曝光参数。

本发明还提出了一种阴影遮挡下的抓拍优化装置，其特征在于，所述阴影遮挡下的抓拍优化装置，包括：

判断模块，用于根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况；

预估模块，用于根据目标检测区的阴影遮挡情况、以及抓拍位置，预估出抓拍帧对应的目标亮度；

调整模块，用于根据预估的抓拍帧对应的目标亮度、以及目标期望亮度，调整抓拍帧的曝光参数。

进一步地，所述判断模块根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况，执行如下操作：

将实况帧图像划分为多个区块，计算各个区块中像素点的平均亮度，得到各个区块的亮度，并对所有区块的亮度求平均，得到目标检测区的平均亮度；

将各个区块的亮度与目标检测区的平均亮度分别进行比较，当比值小于设定的阈值时，则认为该区块对应的路面处在阴影中，否则认为该区块对应的路面不在阴影中；

判断目标检测区的阴影遮挡情况，当目标检测区中处在阴影中的区块数量小于设定的第一阈值时，则判断整个目标检测区没有阴影遮挡；当目标检测区中有连续的区块处在阴影中，且处在阴影中的区块数量大于设定的第二阈值，则判断目标检测区中有连续大面积阴影遮挡；否则判断目标检测区有杂乱的小面积阴影遮挡。

进一步地，所述预估模块根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，执行如下操作：

在目标检测区无阴影遮挡或目标检测区有连续大阴影遮挡时，则采用拟合曲线预估出抓拍帧对应的目标亮度；

所述采用拟合曲线预估出抓拍帧对应的目标亮度，包括：

统计目标检测区内多帧实况帧中的目标亮度，以及目标所成图像在在整帧图像中的位置，进行曲线拟合，得到目标亮度与目标所成图像在整帧图像的位置之间的拟合曲线；

计算出目标运动至抓拍位置时，目标所成图像在整帧图像的位置；

将目标所成图像在整帧图像的位置代入拟合曲线，得到预估的抓拍帧对应的目标亮度。

进一步地，所述预估模块根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，执行如下操作：

在目标检测区有杂乱的小面积阴影遮挡时，则采用最接近抓拍帧的实况帧中的目标亮度作为预估的抓拍帧对应的目标亮度。

进一步地，所述调整模块根据预估的目标亮度、以及目标期望亮度，优化抓拍帧的曝光参数，执行如下操作：

对最接近抓拍帧的预设数量的实况帧的曝光量求平均，得到当前曝光量；

根据目标期望亮度与预估的抓拍帧对应的目标亮度的比值、以及当前曝光量计算期望曝光量；

根据期望曝光量调整抓拍帧的曝光参数。

本发明提出了一种阴影遮挡下的抓拍优化方法及装置，首先根据实况帧中的目标亮度情况，预估出抓拍帧对应的目标亮度，然后根据预估的抓拍帧对应的目标亮度、以及目标期望亮度，调整抓拍帧的曝光参数，使抓拍帧中的目标亮度与目标期望亮度一致。解决了现有技术中抓拍车牌时，当没有充足的过车用于车牌亮度统计时，摄像机无法判断当前场景是否为强顺/逆光或阴影环境，从而使摄像机无法正确调整曝光量，导致车牌出现过曝或者欠曝的问题，以及在摄像机能正确调整曝光量时，摄像机在进行曝光量调整前依然有部分车牌存在过曝或欠曝的问题。改善了抓拍车辆车牌呈现效果，提高了车牌识别率。

附图说明

图1为本发明阴影遮挡下的抓拍优化方法流程图；

图2为本实施例车牌检测区以及车辆抓拍位置的示意图；

图3为实施例摄像机在车辆抓拍位置进行抓拍的示意图；

图4为本发明阴影遮挡下的抓拍优化装置的结构图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

本实施例以园区出入口通过监控摄像机抓拍进出的车牌为例，来描述在阴影遮挡情况下，如何解决现有技术抓拍时车牌存在过曝或欠曝的问题，对于其他抓拍环境同样适用。

如图1所示，本实施例一种阴影遮挡下的抓拍优化方法，包括：

步骤S1、根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况。

对于园区出入口而言，虽然抓拍场景较为固定，但是园区建筑物、树木、广告牌等物体在特定时间段的倒影对车牌的遮挡，以及太阳落山时直射车牌照成的车牌过曝等都对抓拍车辆的车牌识别带来了较大挑战。本实施例车牌检测区以及车辆抓拍位置的示意图，如图2所示，摄像机在车牌检测区内对车辆进行实况拍摄，进行实况拍摄生成的图像称为实况帧，摄像机在车辆抓拍位置对车辆进行抓拍，摄像机在车辆抓拍位置拍摄的图像称为抓拍帧，本实施例采用抓拍帧中的车牌信息来进行车牌识别，因此抓拍帧中车牌亮度和清晰度将直接影响车牌的识别。

本实施例摄像机在检测到车辆进入车牌检测区后，首先根据实况帧获取车牌检测区的环境亮度分布情况，具体为:

将实况帧图像划分为多个区块，计算各个区块中像素点的平均亮度，得到各个区块的亮度，并对所有区块的亮度求平均，得到目标检测区的平均亮度。

本实施例从实况帧中采集车牌检测区内每个像素点的亮度，并将采集到的所有像素点划分为n个m×m的像素矩阵(区块)；将像素矩阵中每个像素点的亮度相加，然后再除以像素矩阵中像素点的总数量，得到像素矩阵的亮度I_k；将所有像素矩阵的亮度相加，然后再除以像素矩阵的总数量n，得到整个车牌检测区的平均亮度I_e；将每个像素矩阵的亮度与整个车牌检测区的平均亮度进行比对，当像素矩阵的亮度I_k＜I_e×N％(N为预定的参数)时，则认为该像素矩阵对应的路面处在阴影中，并将该区域标记为0，否则认为该像素矩阵对应的路面不在阴影中，并将该区域标记为1。

本实施例判断目标检测区的阴影遮挡情况，当目标检测区中处在阴影中的区块数量小于设定的第一阈值时，则判断整个目标检测区没有阴影遮挡；当目标检测区中有连续的区块处在阴影中，且处在阴影中的区块数量大于设定的第二阈值，则判断目标检测区中有连续大面积阴影遮挡；否则判断目标检测区有杂乱的小面积阴影遮挡。例如：

1、整个车牌检测区中的像素矩阵大部分都标记为1或者只有极少量像素矩阵离散标记为0，表示整个车牌检测区没有阴影遮挡。

2、车牌检测区中的有连续超过一定数量的像素矩阵标记为0，表示车牌检测区中有连续大面积阴影遮挡。

3、车牌检测区中部分像素矩阵标记为0，部分像素矩阵标记为1，且标记为0的像素矩阵分布零散，没有规律，表示车牌检测区有杂乱的小面积阴影遮挡。

通过上述方法，本实施例判断出目标检测区的阴影遮挡情况。

需要说明的是，本发明还可以通过对实况帧图像进行二值化，根据二值化图像来获得目标检测区的阴影遮挡情况，这里不再赘述。

步骤S2、根据目标检测区的阴影遮挡情况、以及抓拍位置，预估出抓拍帧对应的目标亮度。

本实施例摄像机在获取车牌检测区的环境亮度分布情况后，根据车牌检测区的环境亮度分布情况判断车牌检测区为上述哪种情况，如果车牌检测区为上述第一种情况或第二种情况，则通过拟合曲线来预估抓拍帧中的车牌亮度。

当车辆在无阴影遮挡的车牌检测区行驶时，车牌补光效果直接由环境光补光强度及环境光照射车牌的角度决定，并且在车辆在行驶过程中环境光强度的变化可以忽略不计，车牌与相机的距离以及环境光照射车牌的角度也将平滑变化，因此可以认为车牌亮度随着车辆行进过程呈现为曲线变化规律。本实施例通过统计车牌检测区内多帧实况帧中的车牌亮度y，以及车牌所成图像在整帧图像中的位置x(即在摄像机感光器件的像素矩阵中所处的行数x)，然后对y和x进行曲线拟合，便可以得到车牌亮度y与车牌所成图像在整帧图像中的位置x之间的拟合曲线y＝f(x)。需要说明的是，车牌所成图像在整帧图像中的位置x可以采用车牌所成图像在摄像机感光器件的像素矩阵中所处的行数来表示。

当车辆在有连续大阴影遮挡的车牌检测区行驶时，本实施例摄像机从实况帧中分别统计非阴影遮挡区域中的车牌亮度y、车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x，以及阴影遮挡区域中的车牌亮度y’、车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x’，对y和x进行曲线拟合，得到非阴影遮挡区域中车牌亮度y与车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x之间的拟合曲线y＝f(x)，对y’和x’进行曲线拟合，得到阴影遮挡区域中车牌亮度y’与车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x’之间的拟合曲线y’＝f(x’)。比较二条拟合曲线y＝f(x)和y’＝f(x’)在预设的误差范围内是否一致，如果一致，则说明阴影遮挡区域内的阴影虽然遮挡住了路面，但是并没有遮挡住车牌，可以选取任意一条拟合曲线作为本实施例进行抓拍帧车牌亮度预估的拟合曲线；如果不一致，则说明阴影遮挡区域内的阴影遮挡住了车牌，当靠近车辆抓拍位置的车牌检测区为阴影遮挡区域时，选取拟合曲线y’＝f(x’)作为本实施例预估抓拍帧车牌亮度的拟合曲线，当靠近车辆抓拍位置的车牌检测区为非阴影遮挡区域时，选取拟合曲线y＝f(x)作为本实施例预估抓拍帧中车牌亮度的拟合曲线。

通过上述方法，本实施例摄像机得到整个车牌检测区没有阴影遮挡或车牌检测区中有连续大面积阴影遮挡时，用于预估抓拍帧中车牌亮度的拟合曲线y＝f(x)。

摄像机在得到车牌亮度y与车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x之间的拟合曲线y＝f(x)后，首先计算出车辆行驶至车辆抓拍位置时，车牌所成图像在摄像机感光器件的像素矩阵中所处的行数x₀。

本实施例摄像机在车辆抓拍位置进行抓拍的示意图，如图3所示，其中H为摄像机架设的高度，h为车牌距离地面的高度，L为当车辆行驶至车辆抓拍位置时车牌在地面的垂直投影位置到摄像机架设位置的距离。摄像机架设的高度H以及车辆行驶至车辆抓拍位置时车牌在地面的垂直投影位置到摄像机架设位置的距离L在工程施工结束后即可获取，通过在车牌检测区域内对过车车型进行检测，然后根据检测到的车型从摄像机预存的后台数据库中可获取车牌距离地面实际高度h。根据直角三角形的边长计算公式得到：

$L_1=\sqrt{L^2+{(H-h)}^2},L_2=\sqrt{L^2+H^2}$

又根据余弦定理：

得到

则根据三角函数得到车牌在摄像机感光器件上的成像点距离摄像机感光器件中心的距离P为：其中f为摄像机的焦距。

由于摄像机中像素点的高度为已知参数，因此通过车牌在摄像机感光器件上的成像点距离感光器件中心的距离P可以计算出车牌在摄像机感光器件上的成像点在摄像机感光器件的像素矩阵中的行数x₀。然后将x₀代入拟合曲线y＝f(x)，得到预估的抓拍帧中的车牌亮度为y₀＝f(x₀)。

通过上述方法，本实施例摄像机在整个车牌检测区没有阴影遮挡或车牌检测区中有连续大面积阴影遮挡时，利用拟合曲线预估出抓拍帧中的车牌亮度，即抓拍正对应的目标亮度。

本实施例摄像机在获取车牌检测区的环境亮度分布情况后，如果根据车牌检测区的环境亮度分布情况判断车牌检测区为第三种情况，即车牌检测区有杂乱的小面积阴影遮挡时，在车牌检测区内车牌亮度呈现为忽明忽暗，车牌亮度与车牌所成图像在摄像机感光器件的像素矩阵中所处的行数之间没有曲线关系，因此无法根据实况帧中的车牌亮度与车牌所成图像在摄像机感光器件的像素矩阵中所处的行数之间的统计关系来预估抓拍帧中的车牌亮度。在这种情况下，本实施例摄像机选取与车辆抓拍位置最接近的实况帧中的车牌亮度作为预估的抓拍帧中的车牌亮度。

通过上述方法，本实施例摄像机得到车牌检测区有杂乱的小面积阴影遮挡时，预估的抓拍帧中的车牌亮度。

步骤S3、根据预估的抓拍帧对应的目标亮度、以及目标期望亮度，调整抓拍帧的曝光参数量。

摄像机拍摄图像中的车牌亮度与摄像机的曝光量成正比，因此得到：

即：

其中y_q为车牌期望亮度，y₀为预估的抓拍帧中的车牌亮度，由于摄像机拍摄实况帧时环境光的亮度基本不变，因此摄像机拍摄实况帧的曝光量也基本保持不变，为了减小误差，本实施例当前曝光量采用对最接近抓拍帧的预设数量的实况帧的曝光量求平均得到。

因此本实施例摄像机将抓拍帧中的曝光量调整为当前曝光量的y_q/y₀倍，并根据得到的期望曝光量调整抓拍帧的曝光参数，从而就可以使抓拍帧中的车牌亮度与车牌期望亮度一致，避免车牌在强顺/逆光环境以及在阴影环境中出现过曝或欠曝的问题。

本实施例还提出了一种阴影遮挡下的抓拍优化装置，与上述方法对应，如图4所示，包括：

判断模块，用于根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况；

预估模块，用于根据目标检测区的阴影遮挡情况、以及抓拍位置，预估出抓拍帧对应的目标亮度；

调整模块，用于根据预估的抓拍帧对应的目标亮度、以及目标期望亮度，调整抓拍帧的曝光参数。

与上述方法对应地，本实施例阴影遮挡下的抓拍优化装置中各模块具体描述如下：

本实施例判断模块根据实况帧获取目标检测区的亮度分布情况，判断目标检测区的阴影遮挡情况，执行如下操作：

将实况帧图像划分为多个区块，计算各个区块中像素点的平均亮度，得到各个区块的亮度，并对所有区块的亮度求平均，得到目标检测区的平均亮度；

将各个区块的亮度与目标检测区的平均亮度分别进行比较，当比值小于设定的阈值时，则认为该区块对应的路面处在阴影中，否则认为该区块对应的路面不在阴影中；

判断目标检测区的阴影遮挡情况，当目标检测区中处在阴影中的区块数量小于设定的第一阈值时，则判断整个目标检测区没有阴影遮挡；当目标检测区中有连续的区块处在阴影中，且处在阴影中的区块数量大于设定的第二阈值，则判断目标检测区中有连续大面积阴影遮挡；否则判断目标检测区有杂乱的小面积阴影遮挡。

本实施例预估模块根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，执行如下操作：

在目标检测区无阴影遮挡或目标检测区有连续大阴影遮挡时，则采用拟合曲线预估出抓拍帧对应的目标亮度；

所述采用拟合曲线预估出抓拍帧对应的目标亮度，包括：

统计目标检测区内多帧实况帧中的目标亮度，以及目标所成图像在在整帧图像中的位置，进行曲线拟合，得到目标亮度与目标所成图像在整帧图像的位置之间的拟合曲线；

计算出目标运动至抓拍位置时，目标所成图像在整帧图像的位置；

将目标所成图像在整帧图像的位置代入拟合曲线，得到预估的抓拍帧对应的目标亮度。

本实施例预估模块根据目标检测区的阴影遮挡情况预估出抓拍帧对应的目标亮度，执行如下操作：

在目标检测区有杂乱的小面积阴影遮挡时，则采用最接近抓拍帧的实况帧中的目标亮度作为预估的抓拍帧对应的目标亮度。

本实施例调整模块根据预估的目标亮度、以及目标期望亮度，优化抓拍帧的曝光参数，执行如下操作：

对最接近抓拍帧的预设数量的实况帧的曝光量求平均，得到当前曝光量；

根据目标期望亮度与预估的抓拍帧对应的目标亮度的比值、以及当前曝光量计算期望曝光量；

根据期望曝光量调整抓拍帧的曝光参数。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。