一种光场相机的机动车检测方法及系统与流程

1.本技术涉及图像处理领域，更具体地，涉及一种光场相机的机动车检测方法及系统。


背景技术：

2.目前，机动车实时检测技术飞速发展，但是在可靠性等的方面还存在较多问题，其中不仅有计算机视觉领域共同的一些经典难题，也有着深度学习技术进行检测的固有缺陷，例如如何在光线不断变化的条件下进行实时性的准确机动车检测。由于光场相机在捕获光线的强度信息的同时可以捕获光线的方向信息，利用光场相机捕获的方向信息，结合计算成像技术，光场成像在超分辨率重建、三维重建、深度估计、目标检测、人脸识别等领域取得了突破性进展，因此越来越多的人们将光场相机应用于机动车检测技术中。
3.然而由于图像探测器上的像素限制，多视角图像的增加必然导致空间分辨率的下降，这种限制阻碍了光场相机在机动车检测中的效率和准确度。


技术实现要素：

4.本发明实施例的目的在于提供一种光场相机的机动车检测方法及系统，引入深度图和神经网络模型，提高机动车检测的效率和准确性。具体技术方案如下：
5.在本发明实施例的第一方面，提供一种光场相机的机动车检测方法，包括：通过光场相机采集机动车同一时刻的多视角图像；提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；对所述深度值进行聚类处理，确定所述机动车对应的深度图；将所述深度图输入车辆感知模型，获得所述机动车的目标图像；将所述目标图像作为所述机动车的检测结果。
6.可选地，所述提取所述多视角图像中的任意两张图像，包括：构建一个多维光场；基于所述多维光场，提取所述多视角图像中的任意两张图像；其中，所述任意两张图像不相交。
7.可选地，所述计算所述机动车上像素点与拍摄平面的深度值，包括：在同一深度层提取所述任意两张图像中的原始像素点；以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所述机动车上像素点与拍摄平面的局部深度值；重复上述过程，遍历所述任意两张图像的全部像素点，计算所述机动车上像素点与拍摄平面的深度值。
8.可选地，所述以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点，包括：基于拍摄平面，构建直角坐标系；所述原始像素点在所述直角坐标系中对应一个原始像素坐标；对所述原始像素点进行偏移，直至视点对齐为止；当所述视点对齐时，确定所述直角坐标系中偏移后的像素坐标；根据所述原始像素坐标和所述偏移后的像素坐标，确定偏移量以及偏移后的像素点。
9.可选地，所述根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所
述机动车上像素点与拍摄平面的局部深度值，包括：根据所述原始像素点、所述偏移量以及所述偏移后的像素点，确定线性关系；将所述线性关系的斜率，作为所述机动车上像素点与拍摄平面的局部深度值。
10.可选地，所述聚类处理具体为：k-means聚类算法。
11.可选地，所述将所述深度图输入车辆感知模型，获得所述机动车的目标图像，包括：将所述深度图输入第一神经网络模型，提取图像特征；将所述图像特征输入第二神经网络模型，进行自适应分辨率重建，获得所述机动车的目标图像。
12.可选地，所述图像特征包括：所述机动车的场景信息、边缘信息、纹理信息以及部件信息。
13.可选地，所述第二神经网络模型具体包括：深度残差卷积神经网络和自适应损失网络。
14.在本发明实施例的又一方面，提供一种光场相机的机动车检测系统，包括：图像采集模块，用于通过光场相机采集机动车同一时刻的多视角图像；深度值计算模块，用于提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；深度图确定模块，用于对所述深度值进行聚类处理，确定所述机动车对应的深度图；目标图像获取模块，用于将所述深度图输入车辆感知模型，获得所述机动车的目标图像；检测结果确定模块，用于将所述目标图像作为所述机动车的检测结果。
15.可选地，所述深度值计算模块具体用于：构建一个多维光场；基于所述多维光场，提取所述多视角图像中的任意两张图像；其中，所述任意两张图像不相交；在同一深度层提取所述任意两张图像中的原始像素点；以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所述机动车上像素点与拍摄平面的局部深度值；重复上述过程，遍历所述任意两张图像的全部像素点，计算所述机动车上像素点与拍摄平面的深度值；所述以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点，包括：基于拍摄平面，构建直角坐标系；所述原始像素点在所述直角坐标系中对应一个原始像素坐标；对所述原始像素点进行偏移，直至视点对齐为止；当所述视点对齐时，确定所述直角坐标系中偏移后的像素坐标；根据所述原始像素坐标和所述偏移后的像素坐标，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，确定线性关系；将所述线性关系的斜率，作为所述机动车上像素点与拍摄平面的局部深度值。
16.可选地，所述聚类处理具体为：k-means聚类算法。
17.可选地，所述目标图像获取模块具体用于：将所述深度图输入第一神经网络模型，提取图像特征；将所述图像特征输入第二神经网络模型，进行自适应分辨率重建，获得所述机动车的目标图像；所述图像特征包括：所述机动车的场景信息、边缘信息、纹理信息以及部件信息；所述第二神经网络模型具体包括：深度残差卷积神经网络和自适应损失网络。
18.有益效果：
19.(1)通过光场相机采集机动车同一时刻的多视角图像；提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；对所述深度值进行聚类处理，确定所述机动车对应的深度图；将所述深度图输入车辆感知模型，获得所述机动车的目
标图像；将所述目标图像作为所述机动车的检测结果；通过该方法提高机动车检测结果的效率和准确性。
20.(2)在同一深度层提取所述任意两张图像中的原始像素点；以拍摄平面为基准，建立直角坐标系，并对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所述机动车上像素点与拍摄平面的局部深度值；重复上述过程，遍历所述任意两张图像的全部像素点，计算所述机动车上像素点与拍摄平面的深度值；该方法计算的深度值更准确，后续获得的深度图更清晰。
21.(3)考虑多种图像特征，引入深度残差卷积神经网络和自适应损失网络，获得的目标图像保留机动车细节信息，具有更好的视觉效果。
附图说明
22.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例提供的一种光场相机的机动车检测方法的流程示意图；
24.图2是本技术实施例提供的机动车上像素点与拍摄平面的深度值计算的流程示意图；
25.图3是本技术实施例提供的机动车的目标图像获取的流程示意图；
26.图4是本技术实施例提供的一种光场相机的机动车检测系统的结构示意图。
具体实施方式
27.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
28.因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.本技术实施例提供了一种光场相机的机动车检测方法及系统，该方法包括：通过光场相机采集机动车同一时刻的多视角图像；提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；对所述深度值进行聚类处理，确定所述机动车对应的深度图；将所述深度图输入车辆感知模型，获得所述机动车的目标图像；将所述目标图像作为所述机动车的检测结果。通过该方法提高机动车检测的效率和准确性。
30.其中，该光场相机的机动车检测方法及系统具体可以集成在电子设备中，该电子设备可以为终端、服务器等设备。其中，终端可以为光场摄像机、车载相机、手机、平板电脑、智能蓝牙设备、笔记本电脑、或者个人电脑(personal computer，pc)等设备；服务器可以是
单一服务器，也可以是由多个服务器组成的服务器集群。
31.在一些实施例中，该光场相机的机动车检测方法及系统还可以集成在多个电子设备中，比如，该光场相机的机动车检测方法及系统可以集成在多个服务器中，由多个服务器来实现本技术的光场相机的机动车检测方法及系统。
32.可以理解的是，本实施例的该光场相机的机动车检测方法及系统可以是在终端上执行的，也可以是在服务器上执行，还可以由终端和服务器共同执行的。以上举例不应理解为对本技术的限制。
33.图1示出了本技术实施例提供的一种光场相机的机动车检测方法的流程示意图，请参考图1，一种光场相机的机动车检测方法包括如下步骤：
34.s110、通过光场相机采集机动车同一时刻的多视角图像。
35.其中，多视角图像可以包括机动车区域和遮挡区域，机动车区域包括城市道路、停车场等，遮挡区域包括建筑物、绿化带等。
36.可选地，光场相机可以集成于监控设备中，通过光场相机获取24小时监控空间内连续的多视角图像；进一步地，获取到的多视角图像可以按照对应时间、对应坐标整理和划分，建立基于统计的分时段机动车图库，并将该机动车图库保存到数据库中；进一步地，基于统计的分时段机动车图库可以依据光照强度变化，设定多个时间段，将获取的多视角图像分类后存储；其中，多个时段可以包含早晨、中午、下午、傍晚和晚上时间段，每个时间段的数据存储于对应的集合中。
37.可选地，多视角图像采集完成后，可以使用无线通信技术将数据上传到服务器，服务器接收相关数据并存储。
38.可选地，可以对所述多视角图像进行预处理，如降噪、灰度化处理等，然后再执行后续步骤。
39.需要说明的是，同一时刻的多视角图像可以采用实时采样方式或等效时间采样方式获取，在此不做具体限定。
40.s120、提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值。
41.其中，所述拍摄平面可以是相机列阵的平面，也可以是滑轨相机滑动的平面，或者是其他方法中相机所在的平面。所述深度值可以是中心镜头到机动车的大概深度。
42.在一种实施方式中，提取所述多视角图像中的任意两张图像具体可以包括以下步骤：
43.构建一个多维光场。
44.基于所述多维光场，提取所述多视角图像中的任意两张图像；其中，所述任意两张图像不相交。
45.可选地，所述多维光场可以是五维光场或四维光场。
46.s130、对所述深度值进行聚类处理，确定所述机动车对应的深度图。
47.其中，若存在多种聚类结果，可以选取数值偏大的n类数据，将这n类数据取平均值，构建所述机动车对应的深度图。
48.可选地，所述聚类处理具体可以是k-means聚类算法、高斯混合模型的最大期望聚类算法或基于密度的聚类算法，在此不做具体限定。
49.s140、将所述深度图输入车辆感知模型，获得所述机动车的目标图像。
50.其中，该步骤包括深度图的特征提取和机动车图像重建两个步骤。
51.可选地，车辆感知模型可以是深度神经网络中的一种模型，也可以是深度神经网络中的多种模型构成的组合模型；例如构建三层卷积神经网络作为车辆感知模型，第一层网络中通过卷积操作提取特征，第二层网络中通过卷积操作进行非线性映射，第三层网络通过滤波器实现图像重建。
52.s150、将所述目标图像作为所述机动车的检测结果。
53.可选地，获取检测结果后，可以通过主观测评或客观测评的方式对其进行测评。其中，主观测评通常是基于评价者的主观观察进行测评，而客观测评通常包括mse、psnr等方式进行测评。
54.在一种实施方式中，可以采用psnr的方式进行测评，有如下公式：
[0055][0056]
其中，mse表示均方误差值。
[0057]
由上可知，本技术实施例通过引入深度图和车辆感知模型，提高机动车检测结果的效率和准确性。
[0058]
图2是本技术实施例提供的机动车上像素点与拍摄平面的深度值计算的流程示意图，具体包括以下步骤：
[0059]
s210、在同一深度层提取所述任意两张图像中的原始像素点。
[0060]
其中，可以确定浮动采样区或固定采样区，每一次仅提取采样区内的像素点。
[0061]
可选地，将两张图像读取到内存，可以采用orb技术检测像素点，并使用参数max_features控制检测的像素点数量，找到两张图像中匹配的像素点，作为原始像素点。
[0062]
s220、以拍摄平面为基准，构建直角坐标系；所述原始像素点在所述直角坐标系中对应一个原始像素坐标。
[0063]
其中，对于拍摄平面上的全部空间点xw，插入一条法向量p，则可得到平面方程：
[0064]
p
t
xw+d＝0
[0065]
其中，d是配置参数。
[0066]
进一步得到两张图像的原始像素点对应的原始像素坐标t1，q1。
[0067]
s230、对所述原始像素点进行偏移，直至视点对齐为止。
[0068]
具体地，采样区内的两张图像原始像素点位置相同时，则视点对齐。
[0069]
s240、当所述视点对齐时，确定所述直角坐标系中偏移后的像素坐标。
[0070]
其中，两张图像的偏移后的像素坐标为t2，q2。
[0071]
s250、当根据所述原始像素坐标和所述偏移后的像素坐标，确定偏移量以及偏移后的像素点。
[0072]
s260、根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所述机动车上像素点与拍摄平面的局部深度值。
[0073]
在一种实施方式中，s260、可以具体包括以下步骤：
[0074]
s261、根据所述原始像素点、所述偏移量以及所述偏移后的像素点，确定线性关系。
[0075]
s262、将所述线性关系的斜率，作为所述机动车上像素点与拍摄平面的局部深度值。
[0076]
其中，该斜率与偏移后的两张图像与法向量p交点之间的水平距离成线性关系，该距离是两张图像中视点的水平距离即视差，所以可以通过斜率来估计局部深度值。
[0077]
s270、重复步骤s210-s260，遍历所述任意两张图像的全部像素点，计算所述机动车上像素点与拍摄平面的深度值。
[0078]
通过本实施方式计算的深度值更准确，后续获得的深度图更清晰。
[0079]
图3是本技术实施例提供的机动车的目标图像获取的流程示意图；
[0080]
s310、将所述深度图输入第一神经网络模型，提取图像特征。
[0081]
其中，该步骤可以将低分辨率的深度图表示为高维向量。
[0082]
在一种实施方式中，第一神经网络模型可以是卷积神经网络模型，每一层卷积神经网络用于提取一类图像特征，所述图像特征可以包括：机动车的场景信息、边缘信息、纹理信息以及部件信息。
[0083]
其中，可以采用公式如下的relu线性激活函数：
[0084]
f(x)＝max(0，x)进一步地，卷积神经网络的第一层，通过卷积操作提取所述深度图中的n1个特征，公式如下：
[0085]
f1(x)＝max(0，w1*x+b1)
[0086]
其中，w1和b1分别表示卷积神经网络的权重和偏置项，且w1是n1个c
×f×
f的卷积核，c是深度图包含的图像通道数量，f是卷积核尺寸大小，即深度图进行了n1次卷积，每次卷积使用的卷积核是n1个c
×f×
f，同时输出n1个特征映射。
[0087]
以此类推，对卷积神经网络的每一层执行上述步骤，将多层结果叠加，提取出具有多种信息的图像特征。
[0088]
s320、将所述图像特征输入第二神经网络模型，进行自适应分辨率重建，获得所述机动车的目标图像。
[0089]
在一种实施方式中，第二神经网络模型可以是深度学习模型，具体包括：深度残差卷积神经网络和自适应损失网络。
[0090]
其中，深度残差卷积神经网络fw用于观测深度图到目标图像的映射函数，定义深度图x通过深度残差卷积神经网络fw构建目标图像y
p
，自适应损失网络φ用于定义损失函数。
[0091]
具体地，深度残差卷积神经网络fw主要由4个残差块构成，使用批归一化层和非线性激活函数组成卷积的残差块。
[0092]
需要说明的是，每个残差块均对应不同大小的卷积核，依据卷积核小、网络层数大的规则选择卷积核，具体可以是3*3，也可以是9*9，在此不做具体限定。
[0093]
其中批归一化层的具体方式可以是：确定当前批次；计算该批次数据均值；根据均值计算该批次数据方差；根据均值和方差进行服从正态分布的归一化处理；最后对该批次数据进行修正，公式如下：
[0094][0095]
其中，yi是批归一化输出数据，xi是批归一化输入数据，bn是批归一化处理，γ、β是学习参数。
[0096]
进一步地，将通过深度残差卷积神经网络fw构建的目标图像y
p
和标准化图像y作为自适应损失网络φ的输入，输出各网络层的图像特征φ(y)，计算二者的mse。
[0097]
可选地，自适应损失网络可以是vgg网络。
[0098]
本实施方式考虑多种图像特征，引入深度残差卷积神经网络和自适应损失网络，获得的目标图像保留机动车细节信息，具有更好的视觉效果。
[0099]
为实现上述方法类实施例，本实施例还提供一种光场相机的机动车检测系统，图4示出了本技术实施例提供的一种光场相机的机动车检测系统的结构示意图，该系统包括：
[0100]
图像采集模块410，用于通过光场相机采集机动车同一时刻的多视角图像；
[0101]
深度值计算模块420，用于提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；
[0102]
深度图确定模块430，用于对所述深度值进行聚类处理，确定所述机动车对应的深度图；
[0103]
目标图像获取模块440，用于将所述深度图输入车辆感知模型，获得所述机动车的目标图像；
[0104]
检测结果确定模块450，用于将所述目标图像作为所述机动车的检测结果。
[0105]
可选地，所述深度值计算模块具体用于：构建一个多维光场；基于所述多维光场，提取所述多视角图像中的任意两张图像；其中，所述任意两张图像不相交；在同一深度层提取所述任意两张图像中的原始像素点；以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，计算所述机动车上像素点与拍摄平面的局部深度值；重复上述过程，遍历所述任意两张图像的全部像素点，计算所述机动车上像素点与拍摄平面的深度值；所述以拍摄平面为基准，对所述原始像素点进行偏移；当视点对齐时，确定偏移量以及偏移后的像素点，包括：基于拍摄平面，构建直角坐标系；所述原始像素点在所述直角坐标系中对应一个原始像素坐标；对所述原始像素点进行偏移，直至视点对齐为止；当所述视点对齐时，确定所述直角坐标系中偏移后的像素坐标；根据所述原始像素坐标和所述偏移后的像素坐标，确定偏移量以及偏移后的像素点；根据所述原始像素点、所述偏移量以及所述偏移后的像素点，确定线性关系；将所述线性关系的斜率，作为所述机动车上像素点与拍摄平面的局部深度值。
[0106]
可选地，所述聚类处理具体为：k-means聚类算法。
[0107]
可选地，所述目标图像获取模块具体用于：将所述深度图输入第一神经网络模型，提取图像特征；将所述图像特征输入第二神经网络模型，进行自适应分辨率重建，获得所述机动车的目标图像；所述图像特征包括：所述机动车的场景信息、边缘信息、纹理信息以及部件信息；所述第二神经网络模型具体包括：深度学习模型、深度残差卷积神经网络以及自适应损失网络。
[0108]
由此提供的光场相机的机动车检测系统，引入深度图和神经网络模型，能够提高机动车检测的效率和准确性。
[0109]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0110]
综上所述，本技术提供的一种光场相机的机动车检测方法及系统，该方法包括：通过光场相机采集机动车同一时刻的多视角图像；提取所述多视角图像中的任意两张图像，计算所述机动车上像素点与拍摄平面的深度值；对所述深度值进行聚类处理，确定所述机动车对应的深度图；将所述深度图输入车辆感知模型，获得所述机动车的目标图像；将所述目标图像作为所述机动车的检测结果。通过该方法提高机动车检测的效率和准确性。
[0111]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0112]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0113]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0114]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0115]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0116]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。