一种车辆状态的识别方法及装置与流程

文档序号:26910929发布日期:2021-10-09 15:03阅读:123来源:国知局
一种车辆状态的识别方法及装置与流程

1.本技术实施例涉及智慧交通领域,尤其涉及一种车辆状态的识别方法及装置。


背景技术:

2.随着人民生活水平的显著提高、购买力的增强,以及交通事业的大力发展,路面上的车辆也越来越多。为了保障交通事业的良好运转、提升道路交通的安全性,准确识别违章车辆显然具有非常重要的意义。
3.目前,通过设置相机对道路行驶车辆进行抓拍,然后对拍摄的照片进行车辆状态的识别,从而判定车辆是否涉嫌违章行驶。但是,相机拍摄过程中客观存在有近大远小的透视因素,这将使得所识别出的车辆的状态总会与实际情况存在较大的偏差,从而导致误抓、错抓等后果。
4.综上,目前亟需一种对车辆的车辆状态进行准确识别的方法。


技术实现要素:

5.本技术提供一种车辆状态的识别方法及装置,用于对车辆所表现出来的状态进行准确识别。
6.第一方面,本技术实施例提供一种车辆状态的识别方法,该方法包括:获取待识别图像;所述待识别图像是针对目标车辆进行拍摄得到的;将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点;车辆投影点为车辆的轮胎与地面的接触点;所述第一网络模型用于识别车辆的各车辆投影点,所述第一网络模型是通过与第二网络模型联合训练得到的,所述第二网络模型是通过将训练集中的任一样本图像的车辆关键点信息作为模型输入、并将所述样本图像的车辆投影点作为模型输出进行训练而得到的;基于得到的各车辆投影点,确定所述目标车辆的车辆状态。
7.基于该方案,对于待识别图像,通过将该图像输入第一网络模型,可快速、准确地输出该图像中的目标车辆的各车辆投影点。由于车辆投影点为车辆的轮胎与地面的接触点,其是客观存在的,并不会随外界因素的改变而发生变动,因此在第一网络模型准确识别出目标车辆的各车辆投影点后,后续在使用该各车辆投影点对车辆的驾驶状态进行判断时,得出的判断结果也将具有很高的准确度,极大降低了对车辆状态作出误判的概率。
8.在一种可能实现的方法中,所述第一网络模型是通过与第二网络模型联合训练得到的,包括:针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失;将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述初始的第二网络模型确定所述样本图像的结构化信息损失;根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
9.基于该方案,由于用于对待识别图像中的车辆的各车辆投影点进行识别的第一网络模型是通过与第二网络模型联合训练得到的,其中,在对这两个网络模型进行训练的过
程中,一方面在初始的第一网络模型对训练集中的任一样本图像进行学习后,根据学习的结果,可以计算出该样本图像在初始的第一网络模型下的特征信息损失,另一方面在初始的第二网络模型对该样本图像中的各真实车辆关键点的信息进行学习后,根据学习的结果,可以计算出该样本图像在初始的第二网络模型下的结构化信息损失,从而在得到这两种损失后,则可以结合这两种损失分别对初始的第一网络模型和初始的第二网络模型进行调整,然后基于本次调整而得到的第一网络模型和第二网络模型来对训练集中的又一张样本图像进行学习,再次训练调整后的第一网络模型和第二网络模型,直到满足训练条件,此时即可得到可用于准确识别待识别图像中的车辆的各车辆投影点进行识别的第一网络模型和第二网络模型。该方式中,通过对两个网络模型进行联合训练,以达到从不同的角度来预测车辆的车辆投影点的效果,然后再根据预测值与真实值之间的损失来对这两个网络模型进行调整,因此最终得到的第一网络模型在对待识别图像中的车辆的各车辆投影点进行识别时可具有极高的准确度,进而有利于对车辆状态的准确识别。
10.在一种可能实现的方法中,所述针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失,包括:针对训练集中的任一样本图像,将所述样本图像输入初始的第一网络模型,得到车辆的各预测车辆关键点和各预测第一车辆投影点;根据所述样本图像中各真实车辆关键点与所述各预测车辆关键点在同一车辆关键点下的第一损失,以及根据所述样本图像中各真实车辆投影点与所述各预测第一车辆投影点在同一车辆投影点下的第二损失,确定所述样本图像的特征信息损失;所述将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述初始的第二网络模型确定所述样本图像的结构化信息损失,包括:将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,得到所述车辆的各预测第二车辆投影点;根据所述各预测第二车辆投影点和所述各真实车辆关键点,确定所述车辆的预测结构化信息,所述预测结构化信息包括所述各预测第二车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据真实结构化信息与所述预测结构化信息在同一偏移量下的各第三损失,确定所述样本图像的结构化信息损失;所述真实结构化信息包括所述各真实车辆投影点分别与所述各真实车辆关键点之间的偏移量;所述根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型,包括:根据所述特征信息损失和所述结构化信息损失,确定融合损失;根据所述融合损失分别对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
11.基于该方案,对于待识别图像而言,之所以通过第一网络模型就可以实现准确地输出该图像中车辆的各车辆关键点,其原因在于第一网络模型是通过与第二网络模型联合训练得到的,具体为:初始的第一网络模型的输入为任一样本图像,其输出为该样本图像中车辆的各预测车辆关键点和各预测第一车辆投影点,同时,初始的第二网络模型的输入为该样本图像中各真实车辆关键点的信息,其输出为样本图像中车辆的各预测第二车辆投影点;然后,一方面,基于同一车辆关键点,可对各预测车辆关键点与该样本图像中车辆的各真实车辆关键点之间的损失进行计算,并得到第一损失,以及基于同一车辆投影点,可对各预测第一车辆投影点与该样本图像中车辆的各真实车辆投影点之间的损失进行计算,并得到第二损失,结合第一损失和第二损失,可得到该样本图像的特征信息损失,另一方面,基
于同一偏移量,可对真实结构化信息与预测结构化信息之间的损失进行计算,从而得到该样本图像的结构化信息损失;接着,通过对特征信息损失与结构化信息损失进行融合,可产生融合损失;最后,基于融合损失可对初始的第一网络模型与初始的第二网络模型分别进行调整,如此反复训练,直至满足训练条件,即可得到第一网络模型和第二网络模型。该方式中通过引入对车辆投影点与车辆关键点之间的偏移量的计算,以及在模型训练过程中,也会基于偏移量的损失来对模型进行调整,由于偏移量表示的是车辆投影点与车辆关键点之间的互为制约的关系,因此通过新增偏移量的损失来对模型进行调整的方式,可以使得训练得到的第一网络模型与第二网络模型均可具有准确预测待识别图像中的目标车辆的各车辆投影点的优点。
12.在一种可能实现的方法中,所述特征信息损失通过smooth损失函数进行确定,所述结构化信息损失通过欧式距离损失函数进行确定。
13.在一种可能实现的方法中,所述将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点,包括:将所述待识别图像输入所述第一网络模型,通过所述第一网络模型确定所述目标车辆的各第一目标车辆投影点;将所述待识别图像的各车辆关键点信息输入所述第二网络模型,通过所述第二网络模型确定所述目标车辆的各第二目标车辆投影点;基于同一目标车辆投影点,确定所述各第一目标车辆投影点与所述各第二目标车辆投影点在所述目标车辆投影点下的相似度;根据各相似度,确定所述目标车辆的车辆投影点。
14.基于该方案,在模型训练过程中,由于第一网络模型可以输出车辆投影点,第二网络模型也可以输出车辆投影点,因此模型在使用过程中,对于经第一网络模型输出的目标车辆的各第一目标车辆投影点与经第二网络模型输出的目标车辆的各第二目标车辆投影点,为了提升对目标车辆的车辆投影点识别的准确性,可以基于同一目标车辆投影点确定第一目标车辆投影点与第二目标车辆投影点之间的相似度,从而可以根据各相似度,确定目标车辆的车辆投影点。该方案中由于综合考量了第一网络模型输出的车辆投影点与第二网络模型输出的车辆投影点,因此可以保证最终识别出目标车辆的车辆投影点具有极高的准确性。
15.在一种可能实现的方法中,所述待识别图像的各车辆关键点信息通过对所述待识别图像进行车辆关键点检测算法得到或通过所述待识别图像经所述第一网络模型处理后得到。
16.基于该方案,对于需要输入到第二网络模型中的待识别图像的各车辆关键点,既可以通过对该待识别图像进行车辆关键点检测算法来获取它的各车辆关键点,也可以直接以待识别图像经过第一网络模型处理后的输出的各车辆关键点为准,达到了多角度、灵活地给出确定待识别图像的各车辆关键点的效果。
17.在一种可能实现的方法中,所述目标车辆包括m

1个车辆投影点;所述m

1个车辆投影点包括同轴车辆投影点及第一单投影点,所述同轴车辆投影点为两个后轮胎或两个前轮胎分别与地面的接触点,所述第一单投影点为一个前轮胎或一个后轮胎与地面的接触点;所述方法还包括:确定第一车道线分别与第一直线相交形成的第一交点、与第二直线相交形成的第二交点;所述第一直线为所述同轴车辆投影点之间的连线所在的直线,所述第二直线为经过所述单投影点且平行于所述第一直线的直线;从经过所述第一交点、且与第
二车道线相交于第三交点的第三直线上截取第一线段,以及从经过所述第二交点、且与所述第二车道线相交于第四交点的第四直线上截取第二线段,所述第一线段以所述第一交点和所述第三交点分别为端点,所述第二线段以所述第二交点和所述第四交点分别为端点,所述第一线段与所述第二线段互相平行;确定所述第一线段与所述第二线段之间的变化率;根据所述同轴车辆投影点之间的距离和所述变化率,从所述第二直线上确定出所述目标车辆的第二单投影点。
18.基于该方案,经相机拍摄,待识别图像中的相邻两条车道线沿车辆行驶方向的宽度变化率,与,车辆的两前轮胎的宽度与两后轮胎的宽度之间的变化率将是一致的;因此,通过求取相邻两条车道线沿车辆行驶方向的宽度变化率,接着以已知的两前轮胎的宽度或者已知的两后轮胎的宽度和该宽度变化率,即可以确定未知的两后轮胎的宽度或者未知的两前轮胎的宽度,此外由于还已知了一个后轮胎的位置信息或者已知了一个前轮胎的位置信息,因此通过所求取的两后轮胎的宽度或者两前轮胎的宽度,就可以确定车辆的另外一个车辆后轮胎的位置信息或者另外一个车辆前轮胎的位置信息。基于车辆的四个有效车辆投影点,后续可以以这四个有效车辆投影点准确地判定车辆在行驶过程中是否出现了违章行为。
19.在一种可能实现的方法中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:若所述目标车辆的所述同轴投影点为两个后轮胎分别与地面的接触点,则确定所述目标车辆驶离镜头;若所述目标车辆的所述同轴投影点为两个前轮胎分别与地面的接触点,则确定所述目标车辆驶向镜头。
20.基于该方案,通过准确地判定车辆的驶向,可向评价车辆是否发生违章行为的工作人员提供一种有价值的参考。比如,在确定车辆为驶离镜头时,则此时的话,工作人员将无需确定驾驶人员以及随行人员是否系好安全带;反之,在确定车辆为驶向镜头时,工作人员可以将驾驶人员以及随行人员是否有佩戴好安全带作为评价该车辆在行驶过程中是否发生违章行为的项目之一。
21.在一种可能实现的方法中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:根据所述目标车辆的第一车辆投影点,确定所述目标车辆的转向;所述第一车辆投影点包括所述目标车辆的左前轮胎触地点和所述目标车辆的左后轮胎触地点,或者包括所述目标车辆的右前轮胎触地点和所述目标车辆的右后轮胎触地点。
22.基于该方案,通过准确地判定车辆的转向,可向评价车辆是否发生违章行为的工作人员提供一种有价值的参考。比如,在确定车辆为左转弯时,则此时的话,工作人员将需要确定该车辆是否正确的位于左转弯的车道上和是否在正确的左转弯指示灯下进行左转弯的操作的,以及,在确定车辆为右转弯时,工作人员将需要确定该车辆是否正确的位于右转弯的车道上和是否在正确的右转弯指示灯下进行右转弯的操作的。
23.在一种可能实现的方法中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:根据所述目标车辆的各车辆投影点对应的四边形框与预设车道线或预设区域存在交点的情况,确定所述目标车辆是否压线。
24.基于该方案,对于待识别的图像,通过将所识别出的四个有效车辆投影点顺次连线,得到一个四边形框,然后通过评价该四边形框是否与预设区域存在交点,进而确定待识别图像中的目标车辆是否压线了。
25.第二方面,本技术实施例提供一种车辆状态的识别装置,该装置包括:图像获取单元,用于获取待识别图像;所述待识别图像是针对目标车辆进行拍摄得到的;车辆投影点确定单元,用于将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点;车辆投影点为车辆的轮胎与地面的接触点;所述第一网络模型用于识别车辆的各车辆投影点,所述第一网络模型是通过与第二网络模型联合训练得到的,所述第二网络模型是通过将训练集中的任一样本图像的车辆关键点信息作为模型输入、并将所述样本图像的车辆投影点作为模型输出进行训练而得到的;车辆状态识别单元,用于基于得到的各车辆投影点,确定所述目标车辆的车辆状态。
26.在一种可能实现的方法中,该装置还包括模型训练单元;所述模型训练单元,用于:针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失;将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述初始的第二网络模型确定所述样本图像的结构化信息损失;根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
27.在一种可能实现的方法中,所述模型训练单元,具体用于:针对训练集中的任一样本图像,将所述样本图像输入初始的第一网络模型,得到车辆的各预测车辆关键点和各预测第一车辆投影点;根据所述样本图像中各真实车辆关键点与所述各预测车辆关键点在同一车辆关键点下的第一损失,以及根据所述样本图像中各真实车辆投影点与所述各预测第一车辆投影点在同一车辆投影点下的第二损失,确定所述样本图像的特征信息损失;将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,得到所述车辆的各预测第二车辆投影点;根据所述各预测第二车辆投影点和所述各真实车辆关键点,确定所述车辆的预测结构化信息,所述预测结构化信息包括所述各预测第二车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据真实结构化信息与所述预测结构化信息在同一偏移量下的各第三损失,确定所述样本图像的结构化信息损失;所述真实结构化信息包括所述各真实车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据所述特征信息损失和所述结构化信息损失,确定融合损失;根据所述融合损失分别对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
28.在一种可能实现的方法中,所述特征信息损失通过smooth损失函数进行确定,所述结构化信息损失通过欧式距离损失函数进行确定。
29.在一种可能实现的方法中,所述车辆投影点确定单元,具体用于:将所述待识别图像输入所述第一网络模型,通过所述第一网络模型确定所述目标车辆的各第一目标车辆投影点;将所述待识别图像的各车辆关键点信息输入所述第二网络模型,通过所述第二网络模型确定所述目标车辆的各第二目标车辆投影点;基于同一目标车辆投影点,确定所述各第一目标车辆投影点与所述各第二目标车辆投影点在所述目标车辆投影点下的相似度;根据各相似度,确定所述目标车辆的车辆投影点。
30.在一种可能实现的方法中,所述待识别图像的各车辆关键点信息通过对所述待识别图像进行车辆关键点检测算法得到或通过所述待识别图像经所述第一网络模型处理后得到。
31.在一种可能实现的方法中,所述目标车辆包括m

1个车辆投影点;所述m

1个车辆投影点包括同轴车辆投影点及第一单投影点,所述同轴车辆投影点为两个后轮胎或两个前轮胎分别与地面的接触点,所述第一单投影点为一个前轮胎或一个后轮胎与地面的接触点;该装置还包括单投影点确定单元;所述单投影点确定单元,用于:确定第一车道线分别与第一直线相交形成的第一交点、与第二直线相交形成的第二交点;所述第一直线为所述同轴车辆投影点之间的连线所在的直线,所述第二直线为经过所述单投影点且平行于所述第一直线的直线;从经过所述第一交点、且与第二车道线相交于第三交点的第三直线上截取第一线段,以及从经过所述第二交点、且与所述第二车道线相交于第四交点的第四直线上截取第二线段,所述第一线段以所述第一交点和所述第三交点分别为端点,所述第二线段以所述第二交点和所述第四交点分别为端点,所述第一线段与所述第二线段互相平行;确定所述第一线段与所述第二线段之间的变化率;根据所述同轴车辆投影点之间的距离和所述变化率,从所述第二直线上确定出所述目标车辆的第二单投影点。
32.在一种可能实现的方法中,所述车辆状态识别单元,具体用于:若所述目标车辆的所述同轴投影点为两个后轮胎分别与地面的接触点,则确定所述目标车辆驶离镜头;若所述目标车辆的所述同轴投影点为两个前轮胎分别与地面的接触点,则确定所述目标车辆驶向镜头。
33.在一种可能实现的方法中,所述车辆状态识别单元,具体用于:根据所述目标车辆的第一车辆投影点,确定所述目标车辆的转向;所述第一车辆投影点包括所述目标车辆的左前轮胎触地点和所述目标车辆的左后轮胎触地点,或者包括所述目标车辆的右前轮胎触地点和所述目标车辆的右后轮胎触地点。
34.在一种可能实现的方法中,所述车辆状态识别单元,具体用于:根据所述目标车辆的各车辆投影点对应的四边形框与预设车道线或预设区域存在交点的情况,确定所述目标车辆是否压线。
35.第三方面,本技术实施例提供了一种计算设备,包括:
36.存储器,用于存储计算机程序;
37.处理器,用于调用所述存储器中存储的计算机程序,按照获得的程序执行如第一方面所述的方法。
38.第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使计算机执行如第一方面所述的方法。
附图说明
39.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
40.图1为现有技术提供的一种确定车辆是否存在压线的违章行为的示意图;
41.图2为本技术实施例提供的一种系统架构的示意图;
42.图3为本技术实施例提供的一种车辆状态的识别方法示意图;
43.图4为本技术实施例提供的一种车辆投影点的检测示意图;
44.图5为本技术实施例提供的一种车辆状态的识别装置示意图;
45.图6为本技术实施例提供的一种计算机设备的示意图。
具体实施方式
46.为了使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术作进一步地详细描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本技术保护的范围。
47.目前,在对车辆状态进行检测时,可通过下述方式实现:
48.通过单目相机对道路行驶车辆进行拍照,然后对所拍摄的照片进行车辆的检测与识别,同时用车检框框选出所识别出的车辆,并计算该车检框的中心点;接着,对所识别出的车辆进行车牌的检测与识别,并用车牌框框选出所识别出的车牌;紧接着,以该车检框的中心点为中心,左、右方向同时扩展一定比例的车牌框的长度(一般情况下,选取的比例为1.5),拟合一条直线;最后,根据所拟合的直线与车道线的相交情况,判断所识别出的车辆是否存在压线的违章行为。如图1所示,为现有技术提供的一种确定车辆是否存在压线的违章行为的示意图。参考图1,由于经车检框的中心点所拟合的直线与右侧车道线存在交点,因此从理论上来说该车辆发生了压线的违章行为;但是在实际检测过程中,该车辆却并没有压线。之所以会发生这样的检测偏差,其原因在于:在使用单目相机对行驶中的车辆进行违章行为的检测时,由于客观存在有近大远小的透视因素,这将使得所计算出的车辆与车道线(或车道区域)之间的相对关系,总会与实际情况存在较大的偏差。
49.显然,上述通过单目相机采集车辆图像,并使用车牌框的长度信息对车检框的中心点拟合一条直线、从而来判断车辆是否存在压线的违章行为的技术方案,由于不可避免的存在有近大远小的透视因素,导致该种识别车辆状态的方式在具体实施时所给出的判断结果容易与真实的行车状态存在偏差,即容易发生误判,这显然并不利于道路交通的精准管理。
50.为了解决上述技术问题,本技术实施例提供一种可能的系统架构,如图2所示,为本技术实施例提供的一种系统架构的示意图,包括待检测车辆210、图像采集设备220和服务器230。
51.其中,待检测车辆210可以为行驶过程中的车辆。可以理解的是,该行驶过程既包括车辆以一定车速行驶于路面的过程,也包括车辆途径路口时、因为等待交通灯而出现的短暂停留的过程。
52.图像采集设备220可以安装于各种岔路口的位置,也可以安装于直行交通路口的位置,用于对行驶过程中的车辆进行图像采集,并将所采集的车辆行驶图像发送至服务器230。图像采集设备220可以为单目相机等设备,图像采集设备220与服务器230之间可以通过有线的方式进行通信,也可以通过无线的方式进行通信,本技术对此不作限定。
53.服务器230可以用于接收图像采集设备220发送的车辆行驶图像,并对该车辆行驶图像进行处理,从而可输出车辆的各车辆投影点;进而,在得到车辆的各车辆投影点之后,可基于各车辆投影点,确定车辆的车辆状态。其中,车辆投影点指的是车辆的轮胎与地面的接触点。服务器230可以为一台独立的服务器,也可以为多台服务器形成的服务器集群,本
申请对此不作限定。
54.基于图2所示的系统架构,首先图像采集设备220可对待检测车辆210进行拍照;然后图像采集设备220可将所采集的待检测车辆210的车辆行驶图像发送至服务器230,相应的,服务器230可以接收到该车辆行驶图像;接着,通过服务器230对该车辆行驶图像的处理,可输出待检测车辆210显示在图像采集设备220的镜头下的各车辆投影点的信息;最后,由于车辆投影点为行驶中的车辆的轮胎与地面的接触点,因此可以基于车辆的各车辆投影点与车道线(或车道区域)之间的关系,确定行驶中的车辆是否发生压线(或进入不当区域)的问题。该方式通过准确识别出行驶中的车辆的各车辆投影点,进而基于所识别出的各车辆投影点,可以提升对行驶过程中的车辆的驾驶状态合理性的判别效率。
55.针对上述技术问题以及基于图2所示的系统架构,本技术实施例提供一种车辆状态的识别方法,以对行驶过程中的车辆所表现出来的状态进行准确识别。如图3所示,为本技术实施例提供的一种车辆状态的识别方法示意图,该方法可由图2所示的服务器230执行或者其他数据处理装置予以执行。该方法包括以下步骤:
56.步骤301,获取待识别图像;所述待识别图像是针对目标车辆进行拍摄得到的。
57.在本步骤中,可通过图像采集设备,如单目相机对驾驶中的车辆进行拍照。其中,被拍摄的处于驾驶状态的车辆即为目标车辆。在图像采集设备拍摄到目标车辆后,可将所拍摄的图像发送给服务器;相应的,服务器可接收到该所拍摄的图像,其中,该所拍摄的图像即为待识别图像。
58.说明的是,目标车辆为驾驶中的车辆,既包括以一定车速行驶于路面的车辆,也包括途径路口、因为等待交通灯而需要作出短暂停留的车辆。
59.步骤302,将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点。
60.在本步骤中,在服务器接收到待识别图像后,可对该待识别图像进行处理,包括:将该待识别图像输入第一网络模型,通过该第一网络模型确定该待识别图像中的目标车辆的各车辆投影点。其中,车辆投影点为车辆的轮胎与地面的接触点;所述第一网络模型用于识别车辆的各车辆投影点,所述第一网络模型是通过与第二网络模型联合训练得到的,所述第二网络模型是通过将训练集中的任一车辆行驶图像的车辆关键点信息作为模型输入、并将所述车辆行驶图像的车辆投影点作为模型输出进行训练而得到的。
61.步骤303,基于得到的各车辆投影点,确定所述目标车辆的车辆状态。
62.基于该方案,对于待识别图像,通过将该图像输入第一网络模型,可快速、准确地输出该图像中的目标车辆的各车辆投影点。由于车辆投影点为车辆的轮胎与地面的接触点,其是客观存在的,并不会随外界因素的改变而发生变动,因此在第一网络模型准确识别出目标车辆的各车辆投影点后,后续在使用该各车辆投影点对车辆的驾驶状态进行判断时,得出的判断结果也将具有很高的准确度,极大降低了对车辆状态作出误判的概率。
63.以下将结合示例分别对上述一些步骤进行详细说明。
64.在上述步骤302的一个实施中,所述第一网络模型是通过与第二网络模型联合训练得到的,包括:针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失;
65.将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述
初始的第二网络模型确定所述样本图像的结构化信息损失;
66.根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
67.在本技术的某些实施中,所述针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失,包括:针对训练集中的任一样本图像,将所述样本图像输入初始的第一网络模型,得到车辆的各预测车辆关键点和各预测第一车辆投影点;根据所述样本图像中各真实车辆关键点与所述各预测车辆关键点在同一车辆关键点下的第一损失,以及根据所述样本图像中各真实车辆投影点与所述各预测第一车辆投影点在同一车辆投影点下的第二损失,确定所述样本图像的特征信息损失;所述将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述初始的第二网络模型确定所述样本图像的结构化信息损失,包括:将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,得到所述车辆的各预测第二车辆投影点;根据所述各预测第二车辆投影点和所述各真实车辆关键点,确定所述车辆的预测结构化信息,所述预测结构化信息包括所述各预测第二车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据真实结构化信息与所述预测结构化信息在同一偏移量下的各第三损失,确定所述样本图像的结构化信息损失;所述真实结构化信息包括所述各真实车辆投影点分别与所述各真实车辆关键点之间的偏移量;所述根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型,包括:根据所述特征信息损失和所述结构化信息损失,确定融合损失;根据所述融合损失分别对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
68.例如,在模型训练的最初阶段,需要做的准备工作可包括:
69.对于由多张车辆行驶图像构成的训练集,可从其中选择任意一张图像,并由标注人员对该图像进行各车辆关键点与各车辆投影点的标注。例如,可标注的车辆关键点包括22处,并具体为:1、左前车轮点;2右前车轮点;3左后车轮点;4右后车辆点;5左前大灯;6右前大灯;7前车牌中心点;8左前车顶点;9右前车顶点;10左后车顶点;11右后车顶点;12左后大灯;13右后大灯;14左后雾灯;15右后雾灯;16左后围板;17右后围板;18后车标;19后车牌中心点;20前车标;21左后视镜;22右后视镜。例如,可标注的车辆投影点包括4处,并具体为:1、左前轮胎与地面的接触点;2、右前轮胎与地面的接触点;3、左后轮胎与地面的接触点;4、右后轮胎与地面的接触点。
70.说明的是:本技术实施例中考虑车胎个数为偶数个数的车辆,包括四轮汽车(如轿车)、六轮汽车(如公交车、大卡车)等车辆;且,车辆投影点指的是车辆的最前端与最后端的各两个轮胎与地面的接触点。例如,对于四轮汽车,它的车辆投影点包括4个轮胎分别与地面的接触点,而对于六轮汽车,它的车辆投影点包括靠近车头的两个轮胎分别与地面的接触点和靠近车尾的两个轮胎分别与地面的接触点,而并不包括车辆中部位置的两个轮胎分别与地面的接触点。
71.继续说明的是,标注人员在对训练集中的任一图像进行车辆关键点的标注时,仅需要对可见的各车辆关键点进行标注,而无需对不可见的车辆关键点进行标注;以及,标注
人员在对训练集中的任一图像进行车辆投影点的标注时,对于可见的车辆投影点则直接标注出即可,且对于不可见的车辆投影点,仍要求标注人员大概的估计出它的位置且标注出来。
72.在标注人员完成对训练集中的任一张车辆行驶图像的各车辆关键点与各车辆投影点的标注后,即可以开始第一轮的模型训练,可包括如下内容:
73.设对已标注的训练集中的一张图像a,一方面,可将图像a输入神经网络1;经过神经网络1的处理,可输出关于图像a的各预测车辆关键点与各预测第一车辆投影点。然后,一方面,可通过车辆关键点配对技术,基于图像a的由标注人员所标注出的各真实车辆关键点,从各预测车辆关键点中逐一匹配出与各真实车辆关键点相对应的一个预测车辆关键点,紧接着,在同一车辆关键点下,计算所配对的真实车辆关键点与预测车辆关键点之间的损失,并将所有的真实车辆关键点对应的损失作为第一损失;另一方面,可通过车辆投影点配对技术,基于图像a的由标注人员所标注出的各真实车辆投影点,从各预测第一车辆投影点中逐一匹配出与各真实车辆投影点相对应的一个预测第一车辆投影点,紧接着,在同一车辆投影点下,计算所配对的真实车辆投影点与预测第一车辆投影点之间的损失,并将所有的真实车辆投影点对应的损失作为第二损失。本技术实施例中,车辆关键点与车辆投影点可作为车辆行驶图像的特征信息,因此通过将第一损失与第二损失求和,所得到的和值即为图像a的特征信息损失。
74.依然对于图像a,另一方面,可将图像a的由标注人员所标注出来的各真实车辆关键点的信息输入神经网络2;经过神经网络2的处理,可输出关于图像a的各预测第二车辆投影点。然后,一方面,可以基于各预测第二车辆投影点中的每一个预测第二车辆投影点,分别构建它到各真实车辆关键点之间的一个偏移量,即得到车辆的预测结构化信息,另一方面,可以基于图像a的由标注人员所标注出来的各真实车辆投影点中的每一个真实车辆投影点,分别构建它到各真实车辆投影点之间的一个偏移量,即得到车辆的真实结构化信息;紧接着,基于图像a的由标注人员所标注出的各真实车辆投影点中的每一个真实车辆投影点分别与图像a的各真实车辆关键点之间的一个偏移量,通过偏移量配对技术,逐一地从各预测第二车辆投影点中的每一个预测第二车辆投影点分别与图像a的各真实车辆关键点形成的各偏移量中确定出一个配对的偏移量,并在同一偏移量下计算所配对的两个偏移量之间的损失,即第三损失,并对所有的偏移量分别对应的第三损失求和,所得到的和值即为图像a的结构化信息损失。
75.在本技术的某些实施中,所述特征信息损失通过smooth损失函数进行确定,所述结构化信息损失通过欧式距离损失函数进行确定。
76.在第一轮训练结束后,基于神经网络1可以得到特征信息损失,例如特征信息损失的计算可采用smooth损失函数,如在使用smooth损失函数进行计算后,得到的损失可用es表示;基于神经网络2可以得到结构化信息损失。例如结构化信息损失的计算可采用欧式距离损失函数进行计算,如在使用欧式距离损失函数进行后,得到的损失可用ek表示;接着,可对这两个损失进行融合,得到融合损失,例如一种可能的融合方式为:
77.ea=(1

a)*ek+a*es
ꢀꢀ
(a∈[0,1))
[0078]
其中,ea表示融合损失,a为比例系数,默认为0.5。
[0079]
在得到融合损失后,可根据融合损失分别对神经网络1和神经网络2进行参数调
整;接着对于调整后的神经网络1和调整后的神经网络2,可使用训练集中的任一张车辆行驶图像对它们进行训练,训练过程可以参考使用图像a对神经网络1和神经网络2进行训练的过程,此处不再赘述;通过多次训练直到满足训练条件,从而得到第一网络模型和第二网络模型。
[0080]
该方案中,通过引入对车辆投影点与车辆关键点之间的偏移量的计算,以及在模型训练过程中,也会基于偏移量的损失来对模型进行调整,由于偏移量表示的是车辆投影点与车辆关键点之间的互为制约的关系,因此通过新增偏移量的损失来对模型进行调整的方式,可以使得训练得到的第一网络模型与第二网络模型均可具有准确预测待识别图像中的目标车辆的各车辆投影点的优点。
[0081]
在上述步骤302的一个实施中,所述将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点,包括:将所述待识别图像输入所述第一网络模型,通过所述第一网络模型确定所述目标车辆的各第一目标车辆投影点;将所述待识别图像的各车辆关键点信息输入所述第二网络模型,通过所述第二网络模型确定所述目标车辆的各第二目标车辆投影点;基于同一目标车辆投影点,确定所述各第一目标车辆投影点与所述各第二目标车辆投影点在所述目标车辆投影点下的相似度;根据各相似度,确定所述目标车辆的车辆投影点。
[0082]
在本技术的某些实施中,所述待识别图像的各车辆关键点信息通过对所述待识别图像进行车辆关键点检测算法得到或通过所述待识别图像经所述第一网络模型处理后得到。
[0083]
接着前述的例子,在使用训练集中的车辆行驶图像对神经网络1和神经网络2进行训练后,直到训练得到的第一网络模型与第二网络模型满足训练条件,表示第一网络模型与第二网络模型分别已经可以用于对待识别图像中的车辆的各车辆投影点进行识别。其中,可以通过下述三种方式对待识别图像中的车辆的各车辆投影点进行识别:
[0084]
方式1,通过将待识别图像直接输入第一网络模型;则经过第一网络模型对待识别图像的处理,即可输出待识别图像中的车辆的各车辆投影点。
[0085]
方式2,将待识别图像中各车辆关键点的信息输入第二网络模型;经过第二网络模型对待识别图像的处理,即可输出待识别图像中的车辆的各车辆投影点。
[0086]
说明的是,根据待识别图像中各车辆关键点的信息的确定方式的不同,方式2具体又可以通过以下两种方式实现,包括:
[0087]
方式21,通过将待识别图像输入第一网络模型,经过第一网络模型的处理,可输出待识别图像中的车辆的各车辆关键点;接着,可将经第一网络模型识别出的各车辆关键点的信息输入到第二网络模型中,经过第二网络模型的处理,即可输出待识别图像中的车辆的各车辆投影点。
[0088]
方式22,对待识别图像进行车辆关键点检测算法,从而可以得到待识别图像中的车辆的各车辆关键点;接着,可将检测出的各车辆关键点的信息输入到第二网络模型中;则经过第二网络模型的处理,即可输出待识别图像中的车辆的各车辆投影点。
[0089]
方式3,一方面可将待识别图像直接输入第一网络模型,并经过第一网络模型的处理,可得到待识别图像中的车辆的各车辆投影点,并记为各第一目标车辆投影点;同时另一方面,可将待识别图像中各车辆关键点的信息输入第二网络模型,并经过第二网络模型的
处理,可得到待识别图像中的车辆的各车辆投影点,并记为各第二目标车辆投影点。然后通过车辆投影点配对技术,将各第一目标车辆投影点与各第二目标车辆投影点关于同一车辆投影点建立配对关系,如此,对于已经建立配对关系的一组目标车辆投影点,可计算该组目标车辆投影点中的第一目标车辆投影点与第二目标车辆投影点之间的相似度,从而可以根据相似度,确定目标车辆的车辆投影点。
[0090]
说明的是,方式3中的输入到第二网络模型中的各车辆关键点的信息又可以通过以下两种方式中的任一种方式得到:
[0091]
方式31,通过将待识别图像输入第一网络模型,经过第一网络模型的处理,可输出待识别图像中的车辆的各车辆关键点;此时,可将第一网络模型输出的关于待识别图像中的车辆的各车辆关键点的信息作为第二网络模型的输入;
[0092]
方式32,对待识别图像进行车辆关键点检测算法,并得到待识别图像中的车辆的各车辆关键点;此时,可将根据车辆关键点检测算法得到的车辆的各车辆关键点的信息作为第二网络模型的输入。
[0093]
继续说明的是,根据相似度,确定目标车辆的车辆投影点,可包括:
[0094]
情况1,关于一组目标车辆投影点,若计算得出的相似度满足可信车辆投影点的条件,则对该组目标车辆投影点中的第一目标车辆投影点与第二目标车辆投影点计算均值,并将计算得出的均值作为目标车辆的一个车辆投影点;
[0095]
情况2,关于一组目标车辆投影点,若计算得出的相似度满足不可信车辆投影点的条件,则确定目标车辆在该组目标车辆投影点下并不存在车辆投影点,因此并不对外输出该组目标车辆投影点所对应的一个车辆投影点;
[0096]
情况3,关于一组目标车辆投影点,若计算得出的相似度介于可信车辆投影点与不可信车辆投影点之间这一条件,则以目标车辆其他可信的一个车辆投影点为基准,确定该组目标车辆投影点中的第一目标车辆投影点与第二目标车辆投影点分别到该可信的车辆投影点之间的距离,并将距离较远的一个目标车辆投影点舍弃,而将距离较近的目标车辆投影点作为目标车辆在该组目标车辆投影点下的一个车辆投影点并进行输出。
[0097]
在本技术的某些实施中,所述目标车辆包括m

1个车辆投影点;所述m

1个车辆投影点包括同轴车辆投影点及第一单投影点,所述同轴车辆投影点为两个后轮胎或两个前轮胎分别与地面的接触点,所述第一单投影点为一个前轮胎或一个后轮胎与地面的接触点;所述方法还包括:确定第一车道线分别与第一直线相交形成的第一交点、与第二直线相交形成的第二交点;所述第一直线为所述同轴车辆投影点之间的连线所在的直线,所述第二直线为经过所述单投影点且平行于所述第一直线的直线;从经过所述第一交点、且与第二车道线相交于第三交点的第三直线上截取第一线段,以及从经过所述第二交点、且与所述第二车道线相交于第四交点的第四直线上截取第二线段,所述第一线段以所述第一交点和所述第三交点分别为端点,所述第二线段以所述第二交点和所述第四交点分别为端点,所述第一线段与所述第二线段互相平行;确定所述第一线段与所述第二线段之间的变化率;根据所述同轴车辆投影点之间的距离和所述变化率,从所述第二直线上确定出所述目标车辆的第二单投影点。
[0098]
例如,车辆在行驶过程中由于存在自身遮挡的问题,容易导致车辆在相机镜头下并不能完全地显示出全部的车辆投影点。如图4所示,为本技术实施例提供的一种车辆投影
点的检测示意图。参见图4,如通过第一网络模型对图4所示的车辆行驶图像进行车辆投影点的识别后,共可识别出它的右前轮胎与地面的接触点和两后轮胎分别与地面的接触点,即三个车辆投影点,其中,两后轮胎分别与地面的接触点为一组同轴车辆投影点,右前轮胎与地面的接触点为一个单投影点,即第一单投影点。为了获取图4所示的车辆的第4个车辆投影点,即左前轮胎与地面的接触点,或者说图4所示车辆的第二单投影点,本技术实施例可以提供以下两种方式:
[0099]
方式1:针对图4所示出的两后轮胎分别与地面的接触点,获取这两个车辆投影点之间的距离信息,如可设这两个车辆投影点之间的距离为距离a,并以该距离作为两前轮胎分别与地面的接触点之间的距离。从而在已知右前轮胎与地面的接触点的情况下,可过右前轮胎与地面的接触点、作与两后轮胎分别与地面的接触点构成的线段的平行线,设该平行线为直线a,并以右前轮胎与地面的接触点作为线段端点,从直线a上截取距离a,所得到的另一线段端点即为该车辆的左前轮胎与地面的接触点,即第二单投影点。
[0100]
方式2:在图4中,首先基于车辆的两后轮胎与地面的接触点作一条直线,令为直线b,然后,过车辆的右前轮胎与地面的接触点、作与直线b平行的一条直线,令为直线c;其中,车道线1交直线b、直线c分别与点d和点e,其中d点坐标可表示为(x0,y0),e点坐标可表示为(x1,y1),然后分别过点d和点e作互为平行的一组平行线,分别交车道线2于点f和点g,其中车道线1与车道线2是互为相邻的两条车道线,从而,可以计算线段df(线段df的长度用z1表示)和线段eg(线段eg的长度用z2表示)之间的变化率z:
[0101]
z=(z1

z2)/z1
[0102]
经相机拍摄,待识别图像中的相邻两条车道线沿车辆行驶方向的宽度变化率,与,车辆的两前轮胎的宽度与两后轮胎的宽度之间的变化率将是一致的;因此,在得到变化率z后,可以基于车辆的两后轮胎与地面的接触点之间的距离信息和该变化率z,求取车辆的两前轮胎与地面的接触点之间的距离,并设所计算出的两前轮胎与地面的接触点之间的距离为距离b,最后以右前轮胎与地面的接触点作为线段端点,从直线c上截取距离b(朝左前轮胎与地面的接触点方向进行截取),所得到的另一线段端点即为该车辆的左前轮胎与地面的接触点。
[0103]
相比于方式1,采用方式2计算车辆的第m个车辆投影点时,计算结果可相对更为精确一些。
[0104]
在本技术的某些实施中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:若所述目标车辆的所述同轴投影点为两个后轮胎分别与地面的接触点,则确定所述目标车辆驶离镜头;若所述目标车辆的所述同轴投影点为两个前轮胎分别与地面的接触点,则确定所述目标车辆驶向镜头。
[0105]
该方式,通过准确地判定车辆的驶向,可向评价车辆是否发生违章行为的工作人员提供一种有价值的参考。比如,在确定车辆为驶离镜头时,则此时的话,工作人员将无需确定驾驶人员以及随行人员是否系好安全带;反之,在确定车辆为驶向镜头时,工作人员可以将驾驶人员以及随行人员是否有佩戴好安全带作为评价该车辆在行驶过程中是否发生违章行为的项目之一。
[0106]
在本技术的某些实施中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:根据所述目标车辆的第一车辆投影点,确定所述目标车辆的转向;所述第一
车辆投影点包括所述目标车辆的左前轮胎触地点和所述目标车辆的左后轮胎触地点,或者包括所述目标车辆的右前轮胎触地点和所述目标车辆的右后轮胎触地点。
[0107]
该方式,通过准确地判定车辆的转向,可向评价车辆是否发生违章行为的工作人员提供一种有价值的参考。比如,在确定车辆为左转弯时,则此时的话,工作人员将需要确定该车辆是否正确的位于左转弯的车道上和是否在正确的左转弯指示灯下进行左转弯的操作的,以及,在确定车辆为右转弯时,工作人员将需要确定该车辆是否正确的位于右转弯的车道上和是否在正确的右转弯指示灯下进行右转弯的操作的。
[0108]
在本技术的某些实施中,所述基于得到的各车辆投影点,确定所述目标车辆的车辆状态,包括:根据所述目标车辆的各车辆投影点对应的四边形框与预设车道线或预设区域存在交点的情况,确定所述目标车辆是否压线。
[0109]
该方式,对于待识别的图像,通过将所识别出的四个有效车辆投影点顺次连线,得到一个四边形框,然后通过评价该四边形框是否与预设区域存在交点,进而确定待识别图像中的目标车辆是否压线了。
[0110]
基于同样的构思,本技术实施例提供一种车辆状态的识别装置,如图5所示,该装置包括:
[0111]
图像获取单元501,用于获取待识别图像;所述待识别图像是针对目标车辆进行拍摄得到的。
[0112]
车辆投影点确定单元502,用于将所述待识别图像输入第一网络模型,通过所述第一网络模型确定所述目标车辆的各车辆投影点;车辆投影点为车辆的轮胎与地面的接触点;所述第一网络模型用于识别车辆的各车辆投影点,所述第一网络模型是通过与第二网络模型联合训练得到的,所述第二网络模型是通过将训练集中的任一样本图像的车辆关键点信息作为模型输入、并将所述样本图像的车辆投影点作为模型输出进行训练而得到的。
[0113]
车辆状态识别单元503,用于基于得到的各车辆投影点,确定所述目标车辆的车辆状态。
[0114]
进一步的,对于该装置,还包括模型训练单元504;模型训练单元504,用于:针对训练集中的任一样本图像,通过初始的第一网络模型确定所述样本图像的特征信息损失;将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,通过所述初始的第二网络模型确定所述样本图像的结构化信息损失;根据所述特征信息损失和所述结构化信息损失对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
[0115]
进一步的,对于该装置,模型训练单元504,具体用于:针对训练集中的任一样本图像,将所述样本图像输入初始的第一网络模型,得到车辆的各预测车辆关键点和各预测第一车辆投影点;根据所述样本图像中各真实车辆关键点与所述各预测车辆关键点在同一车辆关键点下的第一损失,以及根据所述样本图像中各真实车辆投影点与所述各预测第一车辆投影点在同一车辆投影点下的第二损失,确定所述样本图像的特征信息损失;将所述样本图像中各真实车辆关键点的信息输入初始的第二网络模型,得到所述车辆的各预测第二车辆投影点;根据所述各预测第二车辆投影点和所述各真实车辆关键点,确定所述车辆的预测结构化信息,所述预测结构化信息包括所述各预测第二车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据真实结构化信息与所述预测结构化信息在同一偏移量下的
各第三损失,确定所述样本图像的结构化信息损失;所述真实结构化信息包括所述各真实车辆投影点分别与所述各真实车辆关键点之间的偏移量;根据所述特征信息损失和所述结构化信息损失,确定融合损失;根据所述融合损失分别对所述初始的第一网络模型和所述初始的第二网络模型进行调整,直到满足训练条件,得到所述第一网络模型和所述第二网络模型。
[0116]
进一步的,对于该装置,所述特征信息损失通过smooth损失函数进行确定,所述结构化信息损失通过欧式距离损失函数进行确定。
[0117]
进一步的,对于该装置,车辆投影点确定单元502,具体用于:将所述待识别图像输入所述第一网络模型,通过所述第一网络模型确定所述目标车辆的各第一目标车辆投影点;将所述待识别图像的各车辆关键点信息输入所述第二网络模型,通过所述第二网络模型确定所述目标车辆的各第二目标车辆投影点;基于同一目标车辆投影点,确定所述各第一目标车辆投影点与所述各第二目标车辆投影点在所述目标车辆投影点下的相似度;根据各相似度,确定所述目标车辆的车辆投影点。
[0118]
进一步的,对于该装置,所述待识别图像的各车辆关键点信息通过对所述待识别图像进行车辆关键点检测算法得到或通过所述待识别图像经所述第一网络模型处理后得到。
[0119]
进一步的,对于该装置,所述目标车辆包括m

1个车辆投影点;所述m

1个车辆投影点包括同轴车辆投影点及第一单投影点,所述同轴车辆投影点为两个后轮胎或两个前轮胎分别与地面的接触点,所述第一单投影点为一个前轮胎或一个后轮胎与地面的接触点;该装置还包括单投影点确定单元505;单投影点确定单元505,用于:确定第一车道线分别与第一直线相交形成的第一交点、与第二直线相交形成的第二交点;所述第一直线为所述同轴车辆投影点之间的连线所在的直线,所述第二直线为经过所述单投影点且平行于所述第一直线的直线;从经过所述第一交点、且与第二车道线相交于第三交点的第三直线上截取第一线段,以及从经过所述第二交点、且与所述第二车道线相交于第四交点的第四直线上截取第二线段,所述第一线段以所述第一交点和所述第三交点分别为端点,所述第二线段以所述第二交点和所述第四交点分别为端点,所述第一线段与所述第二线段互相平行;确定所述第一线段与所述第二线段之间的变化率;根据所述同轴车辆投影点之间的距离和所述变化率,从所述第二直线上确定出所述目标车辆的第二单投影点。
[0120]
进一步的,对于该装置,车辆状态识别单元503,具体用于:若所述目标车辆的所述同轴投影点为两个后轮胎分别与地面的接触点,则确定所述目标车辆驶离镜头;若所述目标车辆的所述同轴投影点为两个前轮胎分别与地面的接触点,则确定所述目标车辆驶向镜头。
[0121]
进一步的,对于该装置,车辆状态识别单元503,具体用于:根据所述目标车辆的第一车辆投影点,确定所述目标车辆的转向;所述第一车辆投影点包括所述目标车辆的左前轮胎触地点和所述目标车辆的左后轮胎触地点,或者包括所述目标车辆的右前轮胎触地点和所述目标车辆的右后轮胎触地点。
[0122]
进一步的,对于该装置,车辆状态识别单元503,具体用于:根据所述目标车辆的各车辆投影点对应的四边形框与预设车道线或预设区域存在交点的情况,确定所述目标车辆是否压线。
[0123]
本技术实施例提供了一种计算设备,该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant,pda)等。该计算设备可以包括中央处理器(center processing unit,cpu)、存储器、输入/输出设备等,输入设备可以包括键盘、鼠标、触摸屏等,输出设备可以包括显示设备,如液晶显示器(liquid crystal display,lcd)、阴极射线管(cathode ray tube,crt)等。
[0124]
存储器,可以包括只读存储器(rom)和随机存取存储器(ram),并向处理器提供存储器中存储的程序指令和数据。在本技术实施例中,存储器可以用于存储车辆状态的识别方法的程序指令;
[0125]
处理器,用于调用所述存储器中存储的程序指令,按照获得的程序执行车辆状态的识别方法。
[0126]
如图6所示,为本技术实施例提供的一种计算设备的示意图,该计算设备包括:
[0127]
处理器601、存储器602、收发器603、总线接口604;其中,处理器601、存储器602与收发器603之间通过总线605连接;
[0128]
所述处理器601,用于读取所述存储器602中的程序,执行上述车辆状态的识别方法;
[0129]
处理器601可以是中央处理器(central processing unit,简称cpu),网络处理器(network processor,简称np)或者cpu和np的组合。还可以是硬件芯片。上述硬件芯片可以是专用集成电路(application

specific integrated circuit,简称asic),可编程逻辑器件(programmable logic device,简称pld)或其组合。上述pld可以是复杂可编程逻辑器件(complex programmable logic device,简称cpld),现场可编程逻辑门阵列(field

programmable gate array,简称fpga),通用阵列逻辑(generic array logic,简称gal)或其任意组合。
[0130]
所述存储器602,用于存储一个或多个可执行程序,可以存储所述处理器601在执行操作时所使用的数据。
[0131]
具体地,程序可以包括程序代码,程序代码包括计算机操作指令。存储器602可以包括易失性存储器(volatile memory),例如随机存取存储器(random

access memory,简称ram);存储器602也可以包括非易失性存储器(non

volatile memory),例如快闪存储器(flash memory),硬盘(hard disk drive,简称hdd)或固态硬盘(solid

state drive,简称ssd);存储器602还可以包括上述种类的存储器的组合。
[0132]
存储器602存储了如下的元素,可执行模块或者数据结构,或者它们的子集,或者它们的扩展集:
[0133]
操作指令:包括各种操作指令,用于实现各种操作。
[0134]
操作系统:包括各种系统程序,用于实现各种基础业务以及处理基于硬件的任务。
[0135]
总线605可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0136]
总线接口604可以为有线通信接入口,无线总线接口或其组合,其中,有线总线接口例如可以为以太网接口。以太网接口可以是光接口,电接口或其组合。无线总线接口可以
为wlan接口。
[0137]
本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,所述计算机可执行指令用于使计算机执行车辆状态的识别方法。
[0138]
本领域内的技术人员应明白,本技术的实施例可提供为方法、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd

rom、光学存储器等)上实施的计算机程序产品的形式。
[0139]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0140]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0141]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0142]
尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0143]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1