一种道路遗撒物体检测方法、装置、设备及可读存储介质与流程

本发明属于图像处理技术领域，尤其涉及一种道路遗撒物体检测方法、装置、设备及可读存储介质。

背景技术：

道路遗撒物体识别是交通部门所需求的。近年来，由于道路遗撒物体而导致交通事故的报道屡见不鲜，遗撒物体就像隐藏在交通动脉中的肿块，这些“隐形杀手”不仅影响到运送的能力和速度，而且还随时有可能爆发危险，危急到行车人员的生命与财产安全。

现有的传统遗撒物体检测方法主要是通过高斯混合模型对道路进行背景建模，通过背景模型比对来判断是否存在遗撒物体及遗撒物体的存在位置。高斯混合模型是经典的背景建模方法，在前景提取与背景分离上具有较好的性能；但存在计算复杂，耗费内存较大，计算时间长的固有缺陷。此外，传统遗撒物体检测方法仅通过背景差异对遗撒物体进行模糊判断，识别精度低，无法满足智能交通系统的要求。

技术实现要素：

本发明实施例提供一种道路遗撒物体检测方法，旨在解决上述技术问题。

本发明实施例是这样实现的，一种道路遗撒物体检测方法，所述方法包括：

根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；

根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；

将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；

对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；

将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。

本发明实施例还提供一种道路遗撒物体检测装置，所述装置包括：

背景建模单元，用于根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；

构建单元，用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；

获取单元，用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；

第一确定单元，用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；以及

第二确定单元，用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。

本发明实施例还提供一种计算机设备，所述计算机设备包括：处理器，用于执行存储器中存储的计算机程序时实现上述道路遗撒物体检测方法的步骤。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被所述处理器执行时实现上述道路遗撒物体检测方法的步骤。

本发明实施例中，根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，进而确定遗撒物体的位置；将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别；解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。

附图说明

图1是本发明实施例提供的一种道路遗撒物体检测方法的实现流程图；

图2是本发明实施例提供的另一种道路遗撒物体检测方法的实现流程图；

图3是本发明实施例提供的一种深度卷积神经网络的结构示意图；

图4是本发明实施例提供的再一种道路遗撒物体检测方法的实现流程图；

图5是本发明实施例提供的又一种道路遗撒物体检测方法的实现流程图；

图6是本发明实施例提供的一种优化的道路遗撒物体检测方法的实现流程图；

图7是本发明实施例提供的另一种优化的道路遗撒物体检测方法的实现流程图；

图8是本发明仿真实验输入的一种监控视频截图的示意图；

图9是本发明仿真实验识别输出的一种监控视频截图的示意图；

图10是本发明仿真实验输入的另一种监控视频截图的示意图；

图11是本发明仿真实验识别输出的另一种监控视频截图的示意图；

图12是本发明实施例提供的一种道路遗撒物体检测装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

为了进一步阐述本发明为实现预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明的具体实施方式、结构、特征及其功效，详细说明如下。

本发明实施例提供的道路遗撒物体检测方法，通过k近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物体位置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。

第一方面，采用k近邻方法进行背景建模，k近邻方法的计算量相较传统的高斯混合模型更小，计算时间更短且精度高，完全能够满足遗撒物体位置提取的需要，更适用于对时延要求较高的智能交通系统；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，完成了常规遗撒物体检测系统不具备的类别检测功能，为智能交通系统进行后续的遗撒物体危险性判断、车辆违章智能判断等功能提供了前置模块；第三方面，采用k近邻方法进行背景建模，在进行遗撒物体类别判断时已经获取了物体位置，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，只针对高层参数进行训练，使得只需要提供较少的遗撒物体样本便能完成训练，解决了遗撒物体样本获取难、数量少的不利影响。

图1示出了本发明实施例提供的一种道路遗撒物体检测方法的实现流程，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：

在步骤s101中，根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型。

在本发明实施例中，k近邻方法(k-nearestneighbour，knn)，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。

在本发明实施例中，所述根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型，具体为：knn背景建模在rgb空间中寻找一个以某样本点为核心的、体积为v、直径为d的超球体，满足在共计t个样本中有超过k(一般取0.1*t)个样本存在于该球体内，并通过相应计算公式计算样本点是否为背景点，其详细步骤如下：对所需考虑样本集xt内的每个样本的值进行比较、计数以确定该样本是否为背景，两个像素点的比较方式为计算两者间的欧氏距离，初始化概率计算公式如下：

其中，t为设定的所需参考历史帧数，t为当前视频帧数，k为高斯核函数。当上述概率大于背景概率cthr(一般根据场景自主设定)时，认定该点为背景点。通过设定不同的t，可获得参考历史帧数较少的即时背景ins_bg和参考历史帧数较少的延时背景del_bg。

在步骤s102中，根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型。

在本发明实施例中，如图2所示，步骤s102还包括：

在步骤s201中，基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件。

在本发明实施例中，所述基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件，具体为：从开放的大型图像数据库imagenet下载带有xml文件标签的图片，将标签内的图像截取下来作为预训练图像，数据集共包括图片-标签对178167个，涵盖数据类别1000个。

在步骤s202中，将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练。

在本发明实施例中，所述将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练，具体为：将准备好的预训练图片与标签文件结合起来，将图像及xml文件送入深度卷积神经网络进行训练，采用随机梯度下降法对损失函数进行优化，调整神经网络的各个参数，经过4万轮训练，得到训练好的深度卷积神经网络。参见图3，该卷积神经网络的结构依次是，卷积层conv1，池化层pool1，卷积层conv2，池化层pool2，卷积层conv3，池化层pool3，卷积层conv4，池化层pool4，卷积层conv5，池化层conv5，全连接层fc6，全连接层fc7，全连接层fc8，分类层cls_prob。该网络训练的详细步骤如下：

(a1)将准备好的预训练图像尺寸重置为224*224像素值，输入到卷积层conv1，用64个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获64通道特征图；

(a2)将卷积层conv1输出的64通道特征图输入到池化层pool1，得到64通道特征图；

(a3)将池化层pool1输出的64通道特征图输入到卷积层conv2，用128个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获128通道特征图；

(a4)将卷积层conv2输出的128通道特征图输入到池化层pool2，得到128通道特征图；

(a5)将池化层pool2输出的128通道特征图输入到卷积层conv3，用256个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获256通道特征图；

(a6)将卷积层conv3输出的256通道特征图输入到池化层pool3，得到256通道特征图；

(a7)将池化层pool3输出的256通道特征图输入到卷积层conv4，用512个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获512通道特征图；

(a8)将卷积层conv4输出的512通道特征图输入到池化层pool4，得到512通道特征图；

(a9)将池化层pool4输出的256通道特征图输入到卷积层conv5，用512个卷积核，对其进行卷积尺寸为3*3像素，步长为1的卷积操作，获512通道特征图；

(a10)将卷积层conv5输出的256通道特征图输入到池化层pool5，得到512通道特征图；

(a11)将池化层pool5输出的512通道特征图输入到全连接层fc6，进行全连接操作，得维度为4096的特征向量；

(a12)将全连接层fc6输出的4096维特征向量输入到全连接层fc7，进行全连接操作，得维度为4096的特征向量；

(a13)将全连接层fc7输出的4096维特征向量输入到全连接层fc8，进行全连接操作，得维度为1000的特征向量；

(a14)将全连接层fc8输出的1000维特征向量输入到分类层cls_prob，分类层输出公式为：

其中xi为输出的1000维向量中每一维度的输出值，xmax为这1000维向量输出的最大值，得到的f(xi)值即为每一类的分类概率；

(a15)根据cls_prob层输出的分类概率得到深度卷积神经网络的损失函数l(pi)：

其中，i代表图像类别序号，n为类别数目，pi为预测出该物体是否属于第i类的可能性，为实际该物体属于第i类的标签，为1表示该物体属于第i类，为0表示该物体不属于第i类，为二分类交叉熵，定义为：

利用梯度下降法不断优化总损失函数，一共重复迭代4万次。

在步骤s203中，从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据。

在本发明实施例中，从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据，具体包括：使用ffmpeg软件将监控视频解为连续的帧图像，从中提取包含遗撒物体的帧，并对其中的遗撒物体使用软件labelimage进行标签标注，记录每幅图片中每个遗撒物体的位置与类别，位置为目标框的四个，类别以1*n(n为预设的遗撒物体类别)的向量，表明遗撒物体的所属类别(1代表属于该类，0代表不属于该类)，将位置与类别信息存于xml文件中。

在步骤s204中，根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型。

在本发明实施例中，所述根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型，具体为：固定已有预训练深度卷积神经网络中前4个卷积-池化特征提取层的参数，对后续的1个卷积-池化特征提取层、3个全连接层和1个分类层进行二次训练，获得完备的深度卷积神经网络，由于上述步骤s203中已经对全局进行了训练，该步骤只调整高层特征，因此训练耗时将大大降低，其详细步骤如下：

(b1)-(b12)与(a1)-(a12)基本相同，不同之处在于进行反向传播时不调整conv1至pool4之间各层的参数，只对conv5-cls_prob的参数进行调整；

(b13)将全连接层fc7输出的4096维特征向量输入到全连接层fc8，进行全连接操作，得维度为n的特征向量，其中n为已知遗撒物体种类数目；

(b14)将全连接层fc8输出的n维特征向量输入到分类层cls_prob，分类层输出公式为：

其中xi为输出的n维向量中每一维度的输出值，xmax为这n维向量输出的最大值，得到的f(xi)值即为每一类的分类概率；

(b15)与(a15)相同。

在步骤s103中，将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。

在本发明实施例中，如图4所示，所述步骤s103，具体包括以下步骤：

在步骤s401中，将待检测视频的每一视频帧分别送入即时背景模型和延时背景模型中。

在步骤s402中，对所述即时背景模型和延时背景模型进行更新，并获取前景提取图。

在步骤s403中，对所述前景提取图进行形态学开运算操作处理，以获取所述视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。

在本发明实施例中，所述步骤s401-s403，具体为：将后续的每一帧分别送入即时背景模型ins_bg和延时背景模型del_bg中，对两个背景模型进行更新的同时获得前景提取图，对前景提取图进行形态学开运算操作，获取到视频帧对应的二值化即时掩膜图像ins_mask和二值化延时掩膜图像del_mask，背景点判断公式如下：

其中，b^(m)为背景点指示器函数，当第m个样本为背景点时，b^(m)为1，否则为0，其余参数同

背景模型更新方式如下：将新样本点加入xt中并将xt中存在时间最久的样本点移除。

在步骤s104中，对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置。

在本发明实施例中，如图5所示，所述步骤s104，具体包括以下步骤：

在步骤s501中，对二值化即时掩膜图像和二值化延时掩膜图像进行比较，获取所述二值化即时掩膜图像和二值化延时掩膜图像中交叠率低于预设值的前景物体框。

在本发明实施例中，预设值设定为0.1，通过对两张掩膜图像进行比对，获取在ins_mask中出现却未在del_mask中出现的前景物体框，即在两个掩膜图像中交叠率低于0.1的物体框。其中，交叠率公式如下:

其中iou为图像中两个候选框的交叠率，定义为两个区域交叠部分面积与合并部分面积的比值。

在步骤s502中，根据所述前景物体框，获取潜在遗撒物体的位置。

在本发明实施例中，结合上述，获取在ins_mask中出现却未在del_mask中出现的前景物体框，即在两个掩膜图像中交叠率低于0.1的物体框，获取潜在遗撒物体位置。

在步骤s503中，当所述前景物体框在视频帧中出现的次数大于预设阈值时，则确定所述潜在遗撒物体为遗撒物体，并确定所述遗撒物体的位置。

在本发明实施例中，预设阈值设定为[0.9*n]，即连续记录n帧图像中符合步骤s202中条件的物体框，当该物体框在n帧中出现的次数大于[0.9*n]时，认定该物体为遗撒物体，即遗撒物体为在连续n帧中出现0.9n次以上的物体，其中n需要依所给视频及要求自主设定，[·]为向下取整符号。

同时，将遗撒物体图像从原图中截取出来，存储到本地硬盘中，便于进行后续的分类识别等处理。

在步骤s105中，将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。

在本发明实施例中，如图6所示，所述步骤s105，具体包括以下步骤：

在步骤s601中，接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理。

在本发明实施例中，接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理，为遗撒物体图像预处理，即将遗撒物体图像从原图中截取出来的图像的分辨率重置为224*224像素大小。

在步骤s602中，将所述处理后的遗撒物体图像输入所述深度卷积神经网络模型中。

在步骤s603中，判断所述深度卷积神经网络模型输出的最大概率是否大于预设分类阈值，若是，则进入步骤s604；若否，则进入步骤s605。

在步骤s604中，确认所述遗撒物体类别为相应类别。

在步骤s605中，确认所述遗撒物体的类别为未知分类遗撒物体。

在本发明实施例中，将处理后的图像送入到上述构建好的深度卷积神经网络之中，对物体类别进行判断，类别判断流程同上述步骤中(a1)-(a14)，自主设定分类阈值clsthr，若(a14)中输出的最大概率大于clsthr，则认定该遗撒物体类别为相应类别，否则认定为未知分类遗撒物体。

本发明实施例提供的道路遗撒物体检测方法，通过k近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物体位置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。第一方面，采用k近邻方法进行背景建模，k近邻方法的计算量相较传统的高斯混合模型更小，计算时间更短且精度高，完全能够满足遗撒物体位置提取的需要，更适用于对时延要求较高的智能交通系统；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，完成了常规遗撒物体检测系统不具备的类别检测功能，为智能交通系统进行后续的遗撒物体危险性判断、车辆违章智能判断等功能提供了前置模块；第三方面，采用k近邻方法进行背景建模，在进行遗撒物体类别判断时已经获取了物体位置，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，只针对高层参数进行训练，使得只需要提供较少的遗撒物体样本便能完成训练，解决了遗撒物体样本获取难、数量少的不利影响。

图7示出了本发明实施例提供的另一种道路遗撒物体检测方法的实现流程，为了便于说明，仅示出与本发明实施例相关的部分，其与图1的区别在于，还包括以下步骤：

在步骤s701中，当遗撒物体的类别无法从深度卷积神经网络模型中识别，则将所述遗撒物体图像进行存储，并归类为未知分类遗撒物体图像。

在步骤s702中，对所述未知分类遗撒物体图像进行标签标注，并记录所述未知分类遗撒物体的位置与类别信息。

在步骤s703中，根据所述标签标注后的未知分类遗撒物体图像，对深度卷积神经网络模型进行更新。

在本发明实施例中，针对已有类别，根据步骤s105中的流程所给出具体的类别结果，若该类别在已有类别中不存在，将该图像存储在本地当中并归为未知分类遗撒物体；针对未知分类物体，定期进行人工进行标注，并按步骤s102中的流程进行模型更新，保证类别可扩展性。

本发明实施例提供的道路遗撒物体检测方法，对所检测出的未知分类遗撒物体图像进行标签标注，并记录所述未知分类遗撒物体的位置与类别信息；根据所述标签标注后的未知分类遗撒物体图像，对深度卷积神经网络模型进行更新，实时对模型的更新，保证类别可扩展性。

下面以具体仿真实验对上述实施例做进一步说明，详述如下：

仿真实验条件：

本发明的实验仿真环境为：

软件：ubuntu16.04，python3.6

处理器：intelxeon(r)cpue5-2609v2@2.5ghz×8

内存：125.9gb

本发明的仿真实验所用到的图像如附图8-11所示，图像来源于监控视频截图。

仿真实验内容：

以图8、10作为输入，利用本发明对其进行遗撒物体识别，结果如图9、11所示。

仿真实验结果分析：

对比图8、10及9、11，分别对应的是两段监控视频的原始图像和处理结果图像，同一视频中的两张图像除标定框外完全一致，可以发现在有其他移动物体(如车辆等)存在的情况下，能够完成对遗撒物体的定位及分类且未出现明显错误，表明本发明完全可以满足短时间内完成道路遗撒物体检测的任务。

对比图8、9可以发现，该发明完成了对两个路障的定位和类别判断，未出现明显错误，且判别时间仅为毫秒级，满足时间特性要求，说明本发明能够成功对多个物体进行类别判断，且准确度、实时性等性能较好，可以满足基本使用需求。

对比图10、11可以发现，该发明完成了对训练集中不存在的类别“纸片”进行定位的结果，可以发现定位结果准确性优秀，由于没有对应的类别信息，该发明将这一物体标定为“未知”，表明本发明对训练集中不存在的物体也能够进行定位并给出一定识别信息。

综上所述，本发明公开的一种基于卷积神经网络与背景建模的交通道路车辆抛落物体检测方法，解决了现有技术难以在高精度定位的情况下保证即时性的问题以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。实现步骤为：利用k近邻方法对监控视频进行自适应背景建模；构建并训练深度卷积神经网络；对输入视频进行遗撒物体位置检测：遗撒物体类别判断；深度卷积神经网络模型更新，完成交通道路车辆抛落物体检测任务。第一方面，采用k近邻的方式替代传统的高斯混合模型进行背景建模，计算时间更短；第二方面，采用基于深度卷积神经网络的方式对遗撒物体进行处理，实现了常规遗撒物体检测系统不具备的类别检测功能；第三方面，采用k近邻背景建模进行遗撒物体位置判断，替换掉了常规卷积神经网络中耗时较大的物体定位模块，深度卷积神经网络模型参数较少，计算量小；第四方面，引入迁移学习的概念，使用了大规模数据集对模型进行了预训练，并在后续的二次训练过程中设定了瓶颈层，解决了遗撒物体样本获取难、数量少的不利影响。

图12示出了本发明实施例提供的一种道路遗撒物体检测装置的结构，为了便于说明，仅示出与本发明实施例相关的部分，详述如下：

道路遗撒物体检测装置1200，包括背景建模单元1201、构建单元1202、获取单元1203、第一确定单元1204以及第二确定单元1205。

背景建模单元1201，用于根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型。

在本发明实施例中，背景建模单元1201用于根据k近邻方法对监控视频进行自适应背景建模，获得即时背景模型和延时背景模型；其中，k近邻方法(k-nearestneighbour，knn)，即是给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例，这k个实例的多数属于某个类，就把该输入实例分类到这个类中。

构建单元1202，用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型。

在本发明实施例中，构建单元1202用于根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型；所述根据预获取的预训练图像与标签文件，结合已有的监控视频训练数据，训练并构建深度卷积神经网络模型，具体包括：基于开放的大型图像数据库，获取带有文件标签的预训练图像以及标签文件；将所述带有文件标签的预训练图像以及标签文件输入深度卷积神经网络进行一次训练；从已有监控视频中，获取含遗撒物体的视频帧中所述遗撒物体的位置与类别信息，作为训练数据；根据所述训练数据，对一次训练后的深度卷积神经网络进行二次训练，构建深度卷积神经网络模型。

获取单元1203，用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。

在本发明实施例中，获取单元1203用于将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像；其中，将待检测视频分别送入所述即时背景模型和延时背景模型中，获取与视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像，具体包括：将待检测视频的每一视频帧分别送入即时背景模型和延时背景模型中；对所述即时背景模型和延时背景模型进行更新，并获取前景提取图；对所述前景提取图进行形态学开运算操作处理，以获取所述视频帧对应的二值化即时掩膜图像和二值化延时掩膜图像。

第一确定单元1204，用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置。

在本发明实施例中，第一确定单元1204用于对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置；其中，对所述二值化即时掩膜图像和二值化延时掩膜图像进行比对，确定遗撒物体的位置，具体包括：对二值化即时掩膜图像和二值化延时掩膜图像进行比较，获取所述二值化即时掩膜图像和二值化延时掩膜图像中交叠率低于预设值的前景物体框；根据所述前景物体框，获取潜在遗撒物体的位置；当所述前景物体框在视频帧中出现的次数大于预设阈值时，则确定所述潜在遗撒物体为遗撒物体，并确定所述遗撒物体的位置。

第二确定单元1205，用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别。

在本发明实施例中，第二确定单元1205用于将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别；其中，将所述遗撒物体图像输入所述深度卷积神经网络模型中，确定所述遗撒物体的类别，具体包括：接收从视频帧原图中提取出来的遗撒物体图像，并对所述遗撒物体图像的分辨率进行重置处理；将所述处理后的遗撒物体图像输入所述深度卷积神经网络模型中；判断所述深度卷积神经网络模型输出的最大概率是否大于预设分类阈值，若是，则确认所述遗撒物体类别为相应类别；若否，则确认所述遗撒物体的类别为未知分类遗撒物体。

本发明实施例提供的道路遗撒物体检测装置，通过k近邻方法对监控视频进行自适应背景建模，以及构建并训练深度卷积神经网络，对输入视频进行遗撒物体位置检测以及遗撒物体类别判断，解决了现有技术难以在高精度定位的情况下保证即时性以及无法对遗撒物体进行类别判断的问题，克服了背景建模计算复杂度高、遗撒物体训练样本少、遗撒物体类别判断难等不足。

本发明实施例还提供了一种计算机设备，该计算机设备包括处理器，处理器用于执行存储器中存储的计算机程序时实现上述各个方法实施例提供的道路遗撒物体检测方法的步骤。

本发明的实施例还提供了一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被上述处理器执行时实现上述各个方法实施例提供的道路遗撒物体检测方法的步骤。

示例性的，计算机程序可以被分割成一个或多个模块，一个或者多个模块被存储在存储器中，并由处理器执行，以完成本发明。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在计算机设备中的执行过程。例如，所述计算机程序可以被分割成上述各个方法实施例提供的道路遗撒物体检测方法的步骤。

本领域技术人员可以理解，上述计算机设备的描述仅仅是示例，并不构成对计算机设备的限定，可以包括比上述描述更多或更少的部件，或者组合某些部件，或者不同的部件，例如可以包括输入输出设备、网络接入设备、总线等。

所称处理器可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机设备的控制中心，利用各种接口和线路连接整个用户终端的各个部分。

所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述计算机设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。