车辆违停识别方法以及相关设备与流程

1.本技术实施例涉及图像处理技术领域，更具体地，是车辆违停识别方法、图像采集设备以及计算机可读存储介质。


背景技术：

2.随着科技技术的发展，车位级管理是智慧城市发展的关键一环，利用智能监控完成对泊位的高效利用十分重要。由于各种原因，部分车辆通过停在泊位外、斜停、横停等等方式进行停车逃费或浪费泊位资源，车辆的违停识别成为其中的重要一步。目标检测技术被广泛用于视频监控，其中比较常见的有2d检测框检测和3d检测框检测。
3.利用2d检测框检测的目标检测技术进行车辆违停识别的方法是，图像采集设备先连续采集停泊场地的多帧车辆图像，其中，停泊现场划分有至少一个泊位区域，然后用最小外接矩将多帧车辆图像中显示车辆图像的区域框起来，该最小外接矩为2d检测框，再计算2d检测框围成的区域和每个泊位区域的的交并比，最后根据交并比判断交并比对应的车辆是否违停。但是，可以理解的是，判断车辆是否违停的重要方式是将车辆的底盘区域和泊位区域进行比较，而用2d检测框检测的方法只是框住了车辆的轮廓，将车辆轮廓获得的最小外接矩围成的区域与泊位区域进行比较并不能准确判断出车辆是否违停。
4.利用3d检测框检测的目标检测技术进行车辆违停识别的方法是，图像采集设备先连续采集停泊场地的多帧车辆图像，其中，停泊现场划分有至少一个泊位区域，然后用最小3d框将多帧车辆图像中显示车辆图像的区域框起来，该最小3d框为3d检测框，再根据3d检测框得到车辆的底盘区域，并计算车辆的底盘区域和和每个泊位区域的的交并比，最后根据交并比判断交并比对应的车辆是否违停。将车辆的底盘区域和泊位区域进行比较进行车辆的违停识别，相对2d检测框检测的方法来说，识别的准确性较高，但是，现有的利用3d检测框检测进行车辆违停识别不仅仅对静止的车辆进行识别，还对运动的车辆进行识别，而3d检测框检测需要的信息多，计算过程中占用的资源多，消耗时间长，难以达到实时处理的效果。


技术实现要素：

5.本技术实施例提供了一种车辆违停识别方法、图像采集设备以及计算机可读存储介质，能够识别车辆是否违停。
6.第一方面，本技术实施例提供了一种车辆违停识别方法，包括：
7.连续采集停泊场地的多帧车辆图像，所述停泊场地划分有n个泊位区域，所述n大于等于1；
8.根据所述多帧车辆图像，确定至少一个车辆的运动轨迹；
9.将所述至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆；
10.根据所述静止车辆的车辆图像，获得所述静止车辆的2d检测框；
11.将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得
到所述静止车辆的3d检测框；
12.根据所述静止车辆的3d检测框获得所述静止车辆的底盘区域；
13.计算所述底盘区域和所述n个泊位区域中每个泊位区域的交并比，得到n个交并比；
14.根据所述静止车辆的底盘区域和所述n个泊位区域获得车辆角度，所述车辆角度为所述静止车辆的底盘区域与泊位区域的纵向方向的角度；
15.根据所述n个交并比及所述车辆角度，判断所述静止车辆是否违停。
16.可选的，根据所述多帧车辆图像，确定至少一个车辆的运动轨迹，包括：
17.将所述多帧车辆图像输入预先训练完成的车辆检测识别模型，得到至少一个车辆的2d检测框；
18.将所述至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列；
19.根据所述检测框队列中包含的2d检测框，确定所述检测框队列对应的车辆的运动轨迹。
20.可选的，根据所述检测框队列中包含的2d检测框，确定所述检测框队列对应的车辆的运动轨迹，包括：
21.根据所述检测框队列中包含的2d检测框的中心点，确定所述2d检测框的中心点的运动轨迹为所述检测框队列对应的车辆的运动轨迹。
22.可选的，将所述至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆，包括：
23.将所述至少一个车辆中运动轨迹的变化小于预设变化阈值的车辆确定为所述静止车辆。
24.可选的，将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型之前，所述方法还包括：
25.获得所述停泊场地的多帧车辆图像样本，所述车辆图像样本标注有车辆的3d检测框；
26.将所述多帧车辆图像样本输入3d框回归模型，得到3d框回归模型输出的预测3d检测框；
27.根据回归损失函数计算所述预测3d检测框与标注的3d检测框之间的损失，当所述损失满足收敛条件时，得到训练完成的3d框回归模型。
28.可选的，获得所述静止车辆的2d检测框之后，所述将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到所述静止车辆的3d检测框之前，所述方法还包括：
29.将所述静止车辆的2d检测框进行外扩，得到所述静止车辆的2d外扩检测框；
30.所述将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到所述静止车辆的3d检测框包括：
31.将所述静止车辆的2d外扩检测框内的车辆图像区域输入所述预先训练的3d框回归模型，得到所述静止车辆的3d检测框。
32.可选的，静止车辆的3d检测框的坐标值为相对坐标值，所述根据所述静止车辆的3d检测框获得所述静止车辆的底盘区域，包括：
33.根据所述静止车辆的3d检测框的相对坐标值，所述2d外扩检测框左上角点的实际坐标值，所述2d外扩检测框的宽和所述2d外扩检测框的高反向计算所述静止车辆的3d检测框的实际坐标值；
34.根据所述静止车辆的3d检测框的实际坐标值获得所述静止车辆的底盘区域。
35.可选的，根据所述n个交并比及所述车辆角度，判断所述静止车辆是否违停，包括：
36.若n个所述交并比全部小于预设交并比阈值，则确定所述静止车辆的违停情况为停在泊位区域外；
37.若至少两个所述交并比大于所述预设交并比阈值，则确定所述静止车辆的违停情况为横停；
38.若仅有一个所述交并比大于所述预设交并比阈值，且所述车辆角度小于预设角度阈值，则确定所述静止车辆正常停在所述至少一个泊位区域内；
39.若仅有一个所述交并比大于所述预设交并比阈值，且所述车辆角度大于或等于所述预设角度阈值，则确定所述静止车辆的违停情况为斜停。
40.第二方面，本技术实施例提供了一种图像采集设备，包括：
41.采集单元，用于连续采集停泊场地的多帧车辆图像，所述停泊场地划分有n个泊位区域，所述n大于等于1；
42.确定单元，用于根据所述多帧车辆图像，确定至少一个车辆的运动轨迹；
43.所述确定单元，还用于将所述至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆；
44.获得单元，用于根据所述静止车辆的车辆图像，获得所述静止车辆的2d检测框；
45.输入单元，用于将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到所述静止车辆的3d检测框；
46.所述获得单元，还用于根据所述静止车辆的3d检测框获得所述静止车辆的底盘区域；
47.计算单元，用于计算所述底盘区域和所述n个泊位区域中每个泊位区域的交并比，得到n个交并比；
48.所述获得单元，还用于根据所述静止车辆的底盘区域和所述n个泊位区域获得车辆角度，所述车辆角度为所述底盘区域的纵向方向与泊位区域的纵向方向的角度；
49.判断单元，用于根据所述n个交并比及所述车辆角度，判断所述静止车辆是否违停。
50.第三方面，本技术实施例提供了一种图像采集设备，包括：
51.中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；
52.所述存储器为短暂存储存储器或持久存储存储器；
53.所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行前述车辆违停识别方法。
54.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述车辆违停识别方法。
55.第五方面，本技术实施例提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述车辆违停识别方法。
56.第六方面，本技术实施例提供了一种芯片系统，芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行前述车辆违停识别方法。
57.从以上技术方案可以看出，本技术实施例具有以下优点：
58.一方面，可以根据车辆的底盘区域与每个泊位区域的交并比以及车辆角度来判断车辆是否违停，相对现有技术中，2d检测框检测对应的根据车辆轮廓的最小外接矩围成的区域与每个泊位区域的交并比来判断车辆是否违停来说，判断的准确度较高。
59.另一方面，可以只对静止车辆进行车辆违停识别，相对现有技术中，3d检测框检测对应的不仅仅对静止的车辆进行识别，还对运动的车辆进行识别来说，计算过程中占用的资源较少，消耗时间较短，一定程度上可以达到实时处理的效果。
附图说明
60.图1为本技术实施例公开的一种车辆违停识别系统的架构示意图；
61.图2为本技术实施例公开的一种车辆违停识别方法的流程示意图；
62.图3为本技术实施例公开的另一种车辆违停识别方法的流程示意图；
63.图4为本技术实施例公开的一种静止车辆停在泊位区域外的示意图；
64.图5为本技术实施例公开的一种静止车辆横停的示意图；
65.图6为本技术实施例公开的一种静止车辆的斜停的示意图；
66.图7为本技术实施例公开的一种静止车辆正常停在至少一个泊位区域的示意图；
67.图8为本技术实施例公开的一种图像采集设备的结构示意图；
68.图9为本技术实施例公开的另一种图像采集设备的结构示意图；
69.图10为本技术实施例公开的另一种图像采集设备的结构示意图；
70.图11为本技术实施例公开的另一种图像采集设备的结构示意图。
具体实施方式
71.本技术实施例提供了一种车辆违停识别方法、图像采集设备以及计算机可读存储介质，能够识别车辆是否违停。
72.请参阅图1，本技术实施例中车辆违停识别架构包括：
73.图像采集设备101，摄像头102以及图像处理装置103。
74.当进行车辆违停识别时，摄像头102会和图像处理装置103连接，摄像头102可以采集停泊场地的视频流，并将视频流发送给图像处理装置103，图像处理装置103会对采集到的视频流中连续采集的多帧车辆图像进行一系列的处理。图像采集设备101包含摄像头102以及图像处理装置103。图像采集设备101设置在停泊场地，可以调整高度，摄像头102可以是视频输入设备，可以调整拍摄角度，图像处理装置103可以是独立的处理器或者是服务器集群。
75.基于图1所示的车辆违停识别架构，请参阅图2，图2为本技术实施例公开的一种车辆违停识别方法包括：
76.201、连续采集停泊场地的多帧车辆图像，停泊场地划分有n个泊位区域，n大于等于1。
77.本实施例中，图像采集设备设置在停泊场地，停泊场地划分有n个泊位区域，n大于等于1，图像采集设备可以连续采集车辆经过或者停在停泊场地的多帧车辆图像，并存储在本地数据库，以备后续使用。
78.202、根据多帧车辆图像，确定至少一个车辆的运动轨迹。
79.采集多帧车辆图像后，可以将多帧车辆图像输入预先训练的车辆检测识别模型，得到至少一个车辆的2d检测框，将至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列，根据检测框队列中包含的2d检测框，确定检测框队列对应的车辆的运动轨迹。为后续根据至少一个车辆的运动轨迹确定至少一个车辆的运动状态做准备。
80.203、将至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆。
81.确定至少一个车辆的运动轨迹后，可以判断至少一个车辆的运动轨迹是否满足预设条件，并将至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆。
82.204、根据静止车辆的车辆图像，获得静止车辆的2d检测框。
83.将至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆后，在步骤202中得到的至少一个车辆的2d检测框中得到静止车辆的2d检测框，其中静止车辆的2d检测框的坐标值是在以多帧车辆图像的左上点为原点，左上点往下的方向为纵坐标的正方向，左上点往右的反向为横坐标的正方向的平面直角坐标系中的实际坐标值。
84.205、将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框。
85.获得静止车辆的2d检测框后，可以直接将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框，其中3d检测框的坐标值为相对坐标值。3d检测框的相对坐标值是根据车辆检测识别模型得到的2d检测框左上点的实际坐标、2d检测框的宽、2d检测框的高和3d检测框的实际坐标值得到的。
86.具体的，比如，2d检测框的左上点的实际坐标为(x0,y0)，2d检测框的宽为w,2d检测框的高为h,3d检测框下底面的左上点的实际坐标为(x1,y1)，3d检测框下底面的左下点的实际坐标为(x2,y2)，则3d检测框下底面的左上点的相对坐标为((x
1-x0)/w,(y
1-y0)/h)，3d检测框下底面的左下点的相对坐标为((x
2-x0)/w,(y
2-y0)/h)。
87.或者，获得静止车辆的2d检测框后，可以先将2d检测框进行外扩得到2d外扩检测框，再将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，从而得到静止车辆的3d检测框，其中3d检测框的坐标值由实际坐标值计算为相对坐标值。3d检测框的相对坐标值是根据2d外扩检测框左上点的实际坐标值、2d外扩检测框的宽、2d外扩检测框的高和3d检测框的实际坐标值得到的。具体的，比如，2d外扩检测框的左上点的实际坐标为(x0',y0')，2d外扩检测框的宽为w',2d外扩检测框的高为h',3d检测框下底面的左上点的实际坐标为(x1',y1')，3d检测框下底面的左下点的实际坐标为(x2',y2')，则可以计算出3d检测框下底面的左上点的相对坐标为((x1'-x0')/w',(y1'-y0')/h')，3d检测框下底面的左下点的相对坐标为((x2'-x0')/w',(y2'-y0')/h')。
88.可以理解的是，静止车辆的2d检测框除了是上面描述的两种情况外，还可以是对车辆检测识别模型输出的2d检测框做任何处理得到的2d检测框，具体此处不做限定。
89.206、根据静止车辆的3d检测框获得静止车辆的底盘区域。
90.获得静止车辆的3d检测框的相对坐标值后，可以将相对坐标值反向计算为实际坐
标值，再根据3d检测框下底面的实际坐标值得到3d检测框下底面的区域，并确定3d检测框下底面的区域为静止车辆的底盘区域。为后续计算底盘区域和n个泊位区域中每个泊位区域的交并比做准备。
91.具体的，比如，直接将车辆检测识别模型输出的2d检测框内的车辆图像区域输入3d框回归模型，得到3d检测框下底面的左上点的相对坐标为((x
1-x0)/w,(y
1-y0)/h)、3d检测框下底面的左下点的相对坐标为((x
2-x0)/w,(y
2-y0)/h)等3d检测框下底面其他点的相对坐标，则可以根据2d检测框的左上点的实际坐标为(x0,y0)，2d检测框的宽为w,2d检测框的高为h,反向计算出3d检测框下底面的左上点的实际坐标为(x1,y1)、3d检测框的下底面的左下点的实际坐标为(x2,y2)等3d检测框下底面其他点的实际坐标。再根据3d检测框下底面其他点的实际坐标得到3d检测框下底面的区域，并确定3d检测框下底面的区域为静止车辆的底盘区域。
92.或者，先将2d检测框进行外扩得到2d外扩检测框，将2d外扩检测框内的车辆图像区域输入3d框回归模型得到3d检测框下底面的左上点的相对坐标((x1'-x0')/w',(y1'-y0')/h')、3d检测框下底面的左下点的相对坐标((x2'-x0')/w',(y2'-y0')/h')等3d检测框下底面其他点的相对坐标，再根据2d外扩检测框的宽为w',2d外扩检测框的高为h',2d外扩检测框的左上点的实际坐标(x0',y0')，反向计算出3d检测框下底面的左上点的实际坐标为(x1',y1')，3d检测框下底面的左下点的实际坐标为(x2',y2')等3d检测框下底面其他点的实际坐标。再根据3d检测框下底面其他点的实际坐标得到3d检测框下底面的区域，并确定3d检测框下底面的区域为图像采集设备采集的多帧车辆图像中静止车辆的底盘区域。
93.207、计算底盘区域和n个泊位区域中每个泊位区域的交并比，得到n个交并比。
94.获得图像采集设备采集的多帧车辆图像中静止车辆的底盘区域后，可以计算多帧车辆图像中静止车辆的底盘区域和n个泊位区域中每个泊位区域的交并比，得到n个交并比。为后续判断静止车辆是否违停做准备。
95.208、根据静止车辆的底盘区域和n个泊位区域获得车辆角度，车辆角度为底盘区域的纵向方向与泊位区域的纵向方向的角度。
96.得到静止车辆的底盘区域后，可以根据静止车辆的底盘区域和n个泊位区域获得车辆角度，车辆角度为底盘区域的纵向方向与泊位区域的纵向方向的角度。为后续判断静止车辆是否违停做准备。可以理解的是，车辆角度可以是底盘区域的纵向方向与泊位区域的纵向方向的角度，也可以是底盘区域的横向方向与泊位区域的横向方向的角度，也可以是任何依据底盘区域和泊位区域形成的角度，具体车辆角度的定义视停泊场地泊位区域的划分情况而定，具体此处不做限定。
97.209、根据n个交并比及车辆角度，判断静止车辆是否违停。
98.获得n个交并比及车辆角度后，可以根据n个交并比及车辆角度，判断静止车辆是否违停。具体的，若n个交并比全部小于预设交并比阈值，则确定静止车辆的违停情况为停在泊位区域外，若至少两个交并比大于预设交并比阈值，则确定静止车辆的违停情况为横停，若仅有一个交并比大于预设交并比阈值，且车辆角度小于预设角度阈值，则确定静止车辆正常停在至少一个泊位区域内，若仅有一个交并比大于预设交并比阈值，且车辆角度大于或等于预设角度阈值，则确定静止车辆的违停情况为斜停。
99.本技术实施例中，一方面，图像采集设备可以根据车辆的底盘区域与每个泊位区
域的交并比以及车辆角度来判断车辆是否违停，相对现有技术中，2d检测框检测对应的根据车辆轮廓的最小外接矩围成的区域与每个泊位区域的交并比来判断车辆是否违停来说，判断的准确度较高。另一方面，图像采集设备可以只对静止车辆进行车辆违停识别，相对现有技术中，3d检测框检测对应的不仅仅对静止的车辆进行识别，还对运动的车辆进行识别来说，计算过程中占用的资源较少，消耗时间较短，一定程度上可以达到实时处理的效果。
100.本技术实施例中，获得静止车辆的2d检测框后，可以先将静止车辆的2d检测框进行外扩得到2d外扩检测框，再将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，得到车辆的3d检测框，也可以直接将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到车辆的3d检测框。
101.一、获得静止车辆的2d检测框后，可以先将静止车辆的2d检测框进行外扩得到2d外扩检测框，再将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，得到车辆的3d检测框：
102.本技术实施例中，图像采集设备在获得静止车辆的2d检测框后，可以先将静止车辆的2d检测框进行外扩得到2d外扩检测框，再将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，得到车辆的3d检测框。
103.在将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型之前，要对3d框回归模型进行训练，训练的过程是：先获得停泊场地的多帧车辆图像样本，车辆图像样本标注有车辆的3d检测框，将标注的3d检测框进行预处理：根据标注的3d检测框中多个点的实际坐标值得到最小外接矩，对该最小外接矩按照一定比例进行外扩得到外扩外接矩，并将标注的3d检测框中多个点的实际坐标值转换为相对坐标值，使用基于卷积神经网络调整的模型，得到标注的3d检测框的特征信息，将所述多帧车辆图像样本输入3d框回归模型，得到3d框回归模型输出的预测3d检测框，最后根据回归损失函数计算预测3d检测框与标注的3d检测框之间的损失，当损失满足收敛条件时，得到训练完成的3d框回归模型。可以理解的是，根据标注的3d检测框的多个点的实际坐标值得到最小外接矩的多个点可以是3d检测框的8个顶点，也可以是3d检测框12条棱上的点，具体此处不做限定。并且，基于卷积神经网络调整的模型可以是基于可视化几何组网络visual geometry group network调整的模型，也可以是其他卷积神经网络调整的模型，具体此处不做限定。并且，回归损失函数可以是平均绝对差损失函数，也可以是均方差损失函数，还可以是其他回归损失函数，具体此处不做限定。
104.本实施例中，对最小外接矩按照一定比例进行外扩得到外扩外接矩，再输入3d框回归模型，可以增加3d框回归模型的泛化性，将标注的3d检测框多个点的实际坐标值转换为相对坐标值，可以方便回归网络收敛。
105.得到训练完成的3d框回归模型之后，可以实现具体的车辆违停识别的方法，具体请参阅图3，本技术实施例公开的另一种车辆违停识别方法包括：
106.301、连续采集停泊场地的多帧车辆图像，停泊场地划分有n个泊位区域，n大于等于1。
107.本实施例中，步骤301与前述图2所示实施例中的步骤201类似，此处不再赘述。
108.302、将多帧车辆图像输入预先训练完成的车辆检测识别模型，得到至少一个车辆的2d检测框。
109.连续采集停泊场地的多帧车辆图像后，可以将多帧车辆图像输入预先训练完成的车辆检测识别模型，得到至少一个车辆的2d检测框。其中至少一个车辆的2d检测框的坐标值是在以多帧车辆图像的左上点为原点，左上点往下的方向为纵坐标的正方向，左上点往右的反向为横坐标的正方向的平面直角坐标系中的实际坐标值。
110.303、将至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列。
111.得到至少一个车辆的2d检测框后，可以将至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列。
112.具体的，得到至少一个车辆的2d检测框后，计算当前帧车辆图像的2d检测框与当前帧车辆图像的2d检测框对应的轨迹预测框的交并比，得到轨迹交并比，将轨迹交并比大于预设轨迹交并比阈值的2d检测框存入对应车辆的检测框队列。轨迹交并比小于预设轨迹交并比阈值的2d检测框暂存一帧，连续两帧车辆图像的2d检测框的轨迹交并比均大于第一预设数值，比如第一预设数值为0.7或者其他合理的数值，且这两个2d检测框分别与这两个2d检测框对应的两个轨迹预测框的两个中心点误差均小于第二预设数值时，则得到新的车辆的检测框队列。
113.可以理解的是，中心点误差只是判断连续两帧车辆图像的2d检测框对应的是同一辆新的车辆的一种方式，还可以是左上点误差，还可以是连续两帧车辆图像的2d检测框分别与连续两帧车辆图像的2d检测框对应的轨迹预测框的任意一点的误差，具体此处不做限定。
114.304、根据检测框队列中包含的2d检测框的中心点，确定2d检测框的中心点的运动轨迹为检测框队列对应的车辆的运动轨迹。
115.得到至少一个车辆的检测框队列后，可以根据检测框队列中包含的2d检测框的中心点，确定2d检测框的中心点的运动轨迹为检测框队列对应的车辆的运动轨迹。为后续根据至少一个车辆的运动轨迹确定至少一个车辆的运动状态做准备。
116.可以理解的是，除了可以根据检测框队列中包含的2d检测框的中心点，确定2d检测框的中心点的运动轨迹为检测框队列对应的车辆的运动轨迹之外，还可以根据检测框队列中包含的2d检测框的左上点，确定2d检测框的左上点的运动轨迹为检测框队列对应的车辆的运动轨迹，还可以根据检测框队列中包含的2d检测框的任意一点，确定2d检测框的任意一点的运动轨迹为检测框队列对应的车辆的运动轨迹，具体此处不做限定。
117.305、将至少一个车辆中运动轨迹的变化小于预设变化阈值的车辆确定为静止车辆。
118.确定2d检测框的中心点的运动轨迹为检测框队列对应的车辆的运动轨迹之后，可以将至少一个车辆中运动轨迹的变化小于预设变化阈值的车辆确定为静止车辆。
119.306、根据静止车辆的车辆图像，获得静止车辆的2d检测框。
120.确定静止车辆后，可以在步骤302中得到的至少一个车辆的2d检测框中获得静止车辆的2d检测框。
121.307、将静止车辆的2d检测框进行外扩，得到静止车辆的2d外扩检测框。
122.获得静止车辆的2d检测框后，可以将静止车辆的2d检测框按照一定的比例进行外扩，得到静止车辆的2d外扩检测框。
123.比如，获得的静止车辆的2d检测框内的车辆图像只是车辆的左半部分，可以将该
静止车辆的2d检测框按照一定的比例外扩，把右半部分外扩出来，得到静止车辆的2d外扩检测框。可以理解的是，以上的例子只是一种2d检测框不准的情况，还可以是车辆的上半部分被遮挡物遮挡，输入车辆检测识别模型得出的是车辆下半部分的2d检测框，还可以是车辆检测识别模型存在的误差，还可以是进行车辆违停识别中系统存在的误差等导致的2d检测框不准，具体此处不做限定。
124.308、将静止车辆的2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框。
125.获得静止车辆的2d外扩检测框后，可以将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框，其中3d检测框的坐标值由实际坐标值计算为相对坐标值。3d检测框的相对坐标值是根据2d外扩检测框左上点的实际坐标值、2d外扩检测框的宽、2d外扩检测框的高和3d检测框的实际坐标值得到的。具体的，比如，2d外扩检测框的左上点的实际坐标为(x0',y0')，2d外扩检测框的宽为w',2d外扩检测框的高为h',3d检测框下底面的左上点的实际坐标为(x1',y1')，3d检测框下底面的左下点的实际坐标为(x2',y2')，则可以计算出3d检测框下底面的左上点的相对坐标为((x1'-x0')/w',(y1'-y0')/h')，3d检测框下底面的左下点的相对坐标为((x2'-x0')/w',(y2'-y0')/h')。
126.309、根据静止车辆的3d检测框获得静止车辆的底盘区域。
127.获得静止车辆的3d检测框的相对坐标值后，可以将相对坐标值反向计算为实际坐标值，再根据3d检测框下底面的实际坐标值得到3d检测框下底面的区域，并确定3d检测框下底面的区域为静止车辆的底盘区域。为后续计算底盘区域和n个泊位区域中每个泊位区域的交并比做准备。
128.将2d外扩检测框内的车辆图像区域输入3d框回归模型得到3d检测框下底面的左上点的相对坐标((x1'-x0')/w',(y1'-y0')/h')、3d检测框下底面的左下点的相对坐标((x2'-x0')/w',(y2'-y0')/h')等3d检测框下底面其他点的相对坐标，再根据2d外扩检测框的宽为w',2d外扩检测框的高为h',2d外扩检测框的左上点的实际坐标(x0',y0')，反向计算出3d检测框下底面的左上点的实际坐标为(x1',y1')，3d检测框下底面的左下点的实际坐标为(x2',y2')等3d检测框下底面其他点的实际坐标。再根据3d检测框下底面其他点的实际坐标得到3d检测框下底面的区域，并确定3d检测框下底面的区域为图像采集设备采集的多帧车辆图像中静止车辆的底盘区域。
129.310、计算底盘区域和n个泊位区域中每个泊位区域的交并比，得到n个交并比。
130.311、根据静止车辆的底盘区域和n个泊位区域获得车辆角度，车辆角度为底盘区域的纵向方向与泊位区域的纵向方向的角度。
131.本实施例中，步骤310和步骤311与前述图2所示实施例中的步骤207和步骤208类似，此处不再赘述。
132.312、判断是否存在交并比大于预设交并比阈值。
133.得到n个交并比后，可以判断是否存在交并比大于预设交并比阈值，若否，执行步骤313，若是，则执行步骤314。
134.313、确定静止车辆的违停情况为停在泊位区域外。
135.如果确定不存在交并比大于预设交并比阈值，则可以确定静止车辆的违停情况为停在泊位区域外。请参阅图4，图4为静止车辆停在泊位区域外的一个示意图，图4中，三个并
排的长方形从左往右的泊位1，泊位2和泊位3分别代表不同的泊位区域，三个并排的长方形上面的长方形代表静止车辆的底盘区域，可以看出的是，图4不存在交并比大于预设交并比阈值。比如，假设预设交并比阈值为0.7，若不存在交并比大于0.7，则可以确定静止车辆的违停情况为停在泊位区域外。可以理解的是，0.7只是一个假设的数值，也可以是其他合理的数值，具体此处不做限定。
136.314、判断是否仅存在一个交并比大于预设交并比阈值。
137.如果确定存在交并比大于预设交并比阈值，则可以判断是否仅存在一个交并比大于预设交并比阈值，若否，则执行步骤315，若是，则执行步骤316。
138.315、确定静止车辆的违停情况为横停。
139.如果确定存在交并比大于预设交并比阈值，且不仅仅存在一个交并比大于预设交并比阈值，则可以确定静止车辆的违停情况为横停。请参阅图5，图5为静止车辆横停的一个示意图，图5中，三个并排的长方形从左往右的泊位1，泊位2和泊位3分别代表不同的泊位区域，三个并排的长方形内的一个长方形代表静止车辆的底盘区域，可以看出的是，图5存在两个交并比大于预设交并比阈值。比如，假设预设交并比阈值为0.7，若确定存在交并比大于0.7，且不仅仅存在一个交并比大于0.7，则可以确定静止车辆的违停情况为横停。可以理解的是，0.7只是一个假设的数值，也可以是其他合理的数值，具体此处不做限定。
140.316、判断车辆角度是否小于预设角度阈值。
141.如果确定存在交并比大于预设交并比阈值，且仅存在一个交并比大于预设交并比阈值，则可以判断车辆角度是否小于预设角度阈值，若否，则执行步骤317，若是，则执行步骤318。
142.317、确定静止车辆的违停情况为斜停。
143.如果确定存在交并比大于预设交并比阈值，仅存在一个交并比大于预设交并比阈值，且车辆角度大于或等于预设角度阈值，则可以确定静止车辆的违停情况为斜停。
144.请参阅图6，图6为静止车辆的斜停的一个示意图，图6中三个并排的长方形从左往右的泊位1，泊位2和泊位3分别代表不同的泊位区域，三个并排的长方形中有一个倾斜的长方形，倾斜的长方形代表静止车辆的底盘区域，可以看出的是，只存在底盘区域与泊位2的泊位区域的交并比大于预设交并比阈值，且底盘区域的纵向方向与泊位2的泊位区域的纵向方向的角度大于或等于预设角度阈值，可以确定图6的静止车辆的车辆斜停。比如，假设预设交并比阈值为0.7，预设角度阈值为15度，若存在交并比大于0.7，仅存在一个交并比大于0.7，且车辆角度大于或等于15度，则可以确定静止车辆的违停情况为斜停。可以理解的是，0.7和15都只是一个假设的数值，也可以是其他合理的数值，具体此处不做限定。
145.318、确定静止车辆正常停在至少一个泊位区域内。
146.如果确定存在交并比大于预设交并比阈值，仅存在一个交并比大于预设交并比阈值，且车辆角度小于预设角度阈值，则可以确定静止车辆正常停在至少一个泊位区域内。请参阅图7，图7为静止车辆正常停在至少一个泊位区域的一个示意图，图7中，三个并排的长方形从左往右的泊位1，泊位2和泊位3分别代表不同的泊位区域，其中泊位2中有一个长方形，泊位2中的长方形代表静止车辆的底盘区域，可以看出的是，图7只存在一个交并比大于预设交并比阈值，且车辆角度小于预设角度阈值。比如假设预设交并比阈值为0.7，预设角度阈值为15度，若仅存在一个交并比大于0.7，且车辆角度小于15度，则可以确定静止车辆
的违停情况为正常停在至少一个泊位区域内。可以理解的是，0.7和15都只是一个假设的数值，也可以是其他合理的数值，具体此处不做限定。
147.本实施例中，一方面，图像采集设备可以根据车辆的底盘区域与每个泊位区域的交并比以及车辆角度来判断车辆是否违停，相对现有技术中，2d检测框检测对应的根据车辆轮廓的最小外接矩围成的区域与每个泊位区域的交并比来判断车辆是否违停来说，判断的准确度较高。另一方面，图像采集设备可以只对静止车辆进行车辆违停识别，相对现有技术中，3d检测框检测对应的不仅仅对静止的车辆进行识别，还对运动的车辆进行识别来说，计算过程中占用的资源较少，消耗时间较短，一定程度上可以达到实时处理的效果。与此同时，输入3d框回归模型的2d检测框是外扩后的2d检测框，将2d检测框进行一定比例的外扩，使得输入3d框回归模型的车辆图像相对完整一些，一定程度上减少了出现2d检测框不准的情况。
148.二、获得静止车辆的2d检测框后，可以直接将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到车辆的3d检测框：
149.在将2d外扩检测框内的车辆图像区域输入预先训练的3d框回归模型之前，要对3d框回归模型进行训练，训练的过程是：先获得停泊场地的多帧车辆图像样本，车辆图像样本标注有车辆的3d检测框，将标注的3d检测框进行预处理：根据标注的3d检测框中多个点的实际坐标值得到最小外接矩，对该最小外接矩按照一定比例进行外扩得到外扩外接矩，并将标注的3d检测框中多个点的实际坐标值转换为相对坐标值，使用基于卷积神经网络调整的模型，得到标注的3d检测框的特征信息，将所述多帧车辆图像样本输入3d框回归模型，得到3d框回归模型输出的预测3d检测框，最后根据回归损失函数计算预测3d检测框与标注的3d检测框之间的损失，当损失满足收敛条件时，得到训练完成的3d框回归模型。可以理解的是，根据标注的3d检测框的多个点的实际坐标值得到最小外接矩的多个点可以是3d检测框的8个顶点，也可以是3d检测框12条棱上的点，具体此处不做限定。并且，基于卷积神经网络调整的模型可以是基于可视化几何组网络visual geometry group network调整的模型，也可以是其他卷积神经网络调整的模型，具体此处不做限定。并且，回归损失函数可以是平均绝对差损失函数，也可以是均方差损失函数，还可以是其他回归损失函数，具体此处不做限定。
150.本实施例中，对最小外接矩按照一定比例进行外扩得到外扩外接矩，再输入3d框回归模型，可以增加3d框回归模型的泛化性，将标注的3d检测框多个点的实际坐标值转换为相对坐标值，可以方便回归网络收敛。
151.得到训练完成的3d框回归模型之后，可以实现具体的车辆违停识别的方法，具体请参阅图8，本技术实施例公开的另一种车辆违停识别方法包括：
152.801、连续采集停泊场地的多帧车辆图像，停泊场地划分有n个泊位区域，n大于等于1。
153.802、将多帧车辆图像输入预先训练完成的车辆检测识别模型，得到至少一个车辆的2d检测框。
154.803、将至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列。
155.804、根据检测框队列中包含的2d检测框的中心点，确定2d检测框的中心点的运动轨迹为检测框队列对应的车辆的运动轨迹。
156.805、将至少一个车辆中运动轨迹的变化小于预设变化阈值的车辆确定为静止车辆。
157.806、根据静止车辆的车辆图像，获得静止车辆的2d检测框。
158.本实施例中，步骤801至步骤806与前述图3所示实施例中的步骤301至步骤306类似，此处不再赘述。
159.807、将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框。
160.获得静止车辆的2d检测框后，可以直接将静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到静止车辆的3d检测框，其中3d检测框的坐标值为相对坐标值。3d检测框的相对坐标值是根据车辆检测识别模型得到的2d检测框左上点的实际坐标、2d检测框的宽、2d检测框的高和3d检测框的实际坐标值得到的。
161.具体的，比如，2d检测框的左上点的实际坐标为(x0,y0)，2d检测框的宽为w,2d检测框的高为h,3d检测框下底面的左上点的实际坐标为(x1,y1)，3d检测框下底面的左下点的实际坐标为(x2,y2)，则3d检测框下底面的左上点的相对坐标为((x
1-x0)/w,(y
1-y0)/h)，3d检测框下底面的左下点的相对坐标为((x
2-x0)/w,(y
2-y0)/h)。
162.808、根据静止车辆的3d检测框获得静止车辆的底盘区域。
163.获得静止车辆的3d检测框的相对坐标值后，可以将相对坐标值反向计算为实际坐标值，再根据3d检测框下底面的实际坐标值得到3d检测框下底面的区域，并确定3d检测框下底面的区域为静止车辆的底盘区域。为后续计算底盘区域和n个泊位区域中每个泊位区域的交并比做准备。
164.具体的，比如，直接将车辆检测识别模型输出的2d检测框内的车辆图像区域输入3d框回归模型，得到3d检测框下底面的左上点的相对坐标为((x
1-x0)/w,(y
1-y0)/h)、3d检测框下底面的左下点的相对坐标为((x
2-x0)/w,(y
2-y0)/h)等3d检测框下底面其他点的相对坐标，则可以根据2d检测框的左上点的实际坐标为(x0,y0)，2d检测框的宽为w,2d检测框的高为h,反向计算出3d检测框下底面的左上点的实际坐标为(x1,y1)、3d检测框的下底面的左下点的实际坐标为(x2,y2)等3d检测框下底面其他点的实际坐标。再根据3d检测框下底面其他点的实际坐标得到3d检测框下底面的区域，并确定3d检测框下底面的区域为静止车辆的底盘区域。
165.809、计算底盘区域和n个泊位区域中每个泊位区域的交并比，得到n个交并比。
166.810、根据静止车辆的底盘区域和n个泊位区域获得车辆角度，车辆角度为底盘区域的纵向方向与泊位区域的纵向方向的角度。
167.811、判断是否存在交并比大于预设交并比阈值。
168.812、确定静止车辆的违停情况为停在泊位外。
169.813、判断是否仅存在一个交并比大于预设交并比阈值。
170.814、确定静止车辆的违停情况为横停。
171.815、判断车辆角度是否小于预设角度阈值。
172.816、确定静止车辆的违停情况为斜停。
173.817、确定静止车辆正常停在至少一个泊位区域内。
174.本实施例中，步骤809至步骤817与前述图3所示实施例中的步骤310至步骤318类
似，此处不再赘述。
175.本实施例中，一方面，图像采集设备可以根据车辆的底盘区域与每个泊位区域的交并比以及车辆角度来判断车辆是否违停，相对现有技术中，2d检测框检测对应的根据车辆轮廓的最小外接矩围成的区域与每个泊位区域的交并比来判断车辆是否违停来说，判断的准确度较高。另一方面，图像采集设备可以只对静止车辆进行车辆违停识别，相对现有技术中，3d检测框检测对应的不仅仅对静止的车辆进行识别，还对运动的车辆进行识别来说，计算过程中占用的资源较少，消耗时间较短，一定程度上可以达到实时处理的效果。
176.在本技术实施例中，可以理解的是将多帧车辆图像输入预先训练完成的车辆检测识别模型，还可以得到车牌信息，根据预测3d检测框可以得到车辆高度信息，从而可以根据车牌信息和车辆高度信息识别出违停的静止车辆的车牌信息和大概率的车辆种类，具体实现方式不做限定。
177.上面对本技术实施例中的车辆违停识别方法进行了描述，下面对本技术实施例中的图像采集设备进行描述，请参阅图9，本技术实施例中的图像采集设备一个实施例包括:
178.采集单元901，用于连续采集停泊场地的多帧车辆图像，所述停泊场地划分有n个泊位区域，所述n大于等于1；
179.确定单元902，用于根据所述多帧车辆图像，确定至少一个车辆的运动轨迹；
180.所述确定单元902，还用于将所述至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆；
181.获得单元903，用于根据所述静止车辆的车辆图像，获得所述静止车辆的2d检测框；
182.输入单元904，用于将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到所述静止车辆的3d检测框；
183.所述获得单元903，还用于根据所述静止车辆的3d检测框获得所述静止车辆的底盘区域；
184.计算单元905，用于计算所述底盘区域和所述n个泊位区域中每个泊位区域的交并比，得到n个交并比；
185.所述获得单元903，还用于根据所述静止车辆的3d检测框和所述n个泊位区域获得车辆角度，所述车辆角度为所述静止车辆的纵向方向与泊位区域的纵向方向的角度；
186.判断单元906，用于根据所述n个交并比及所述车辆角度，判断所述静止车辆是否违停。
187.本技术实施例中，一方面，图像采集设备可以根据车辆的底盘区域与每个泊位区域的交并比以及车辆角度来判断车辆是否违停，相对现有技术中，2d检测框检测对应的根据车辆轮廓的最小外接矩围成的区域与每个泊位区域的交并比来判断车辆是否违停来说，判断的准确度较高。另一方面，图像采集设备可以只对静止车辆进行车辆违停识别，相对现有技术中，3d检测框检测对应的不仅仅对静止的车辆进行识别，还对运动的车辆进行识别来说，计算过程中占用的资源较少，消耗时间较短，一定程度上可以达到实时处理的效果。
188.下面对本技术实施例中的图像采集设备进行详细描述，请参阅图10，本技术实施例中的图像采集设备另一实施例包括：
189.采集单元1001，用于连续采集停泊场地的多帧车辆图像，所述停泊场地划分有n个
泊位区域，所述n大于等于1；
190.确定单元1002，用于根据所述多帧车辆图像，确定至少一个车辆的运动轨迹；
191.所述确定单元1002，还用于将所述至少一个车辆中运动轨迹满足预设条件的车辆确定为静止车辆；
192.获得单元1003，用于根据所述静止车辆的车辆图像，获得所述静止车辆的2d检测框；
193.输入单元1004，用于将所述静止车辆的2d检测框内的车辆图像区域输入预先训练的3d框回归模型，得到所述静止车辆的3d检测框；
194.所述获得单元1003，还用于根据所述静止车辆的3d检测框获得所述静止车辆的底盘区域；
195.计算单元1005，用于计算所述底盘区域和所述n个泊位区域中每个泊位区域的交并比，得到n个交并比；
196.所述获得单元1003，还用于根据所述静止车辆的底盘区域和所述n个泊位区域获得车辆角度，所述车辆角度为所述底盘区域的纵向方向与泊位区域的纵向方向的角度；
197.判断单元1006，用于根据所述n个交并比及所述车辆角度，判断所述静止车辆是否违停。
198.所述确定单元1002具体用于将所述多帧车辆图像输入预先训练完成的车辆检测识别模型，得到至少一个车辆的2d检测框，将所述至少一个车辆的2d检测框进行分组，得到至少一个车辆的检测框队列，根据所述检测框队列中包含的2d检测框，确定所述检测框队列对应的车辆的运动轨迹。
199.所述确定单元1002具体用于根据所述检测框队列中包含的2d检测框的中心点，确定所述2d检测框的中心点的运动轨迹为所述检测框队列对应的车辆的运动轨迹。
200.所述确定单元1002具体用于将所述至少一个车辆中运动轨迹的变化小于预设变化阈值的车辆确定为所述静止车辆。
201.所述获得单元1003具体用于获得所述停泊场地的多帧车辆图像样本，所述车辆图像样本标注有车辆的3d检测框。
202.所述输入单元1004具体用于将所述多帧车辆图像样本输入3d框回归模型，得到3d框回归模型输出的预测3d检测框；
203.所述计算单元1005具体用于根据回归损失函数计算所述预测3d检测框与标注的3d检测框之间的损失，当所述损失满足收敛条件时，得到训练完成的3d框回归模型。
204.所述图像采集设备还包括：
205.外扩单元1007，用于将所述静止车辆的2d检测框进行外扩，得到所述静止车辆的2d外扩检测框。
206.所述输入单元1004具体用于将所述静止车辆的2d外扩检测框内的车辆图像区域输入所述预先训练的3d框回归模型，得到所述静止车辆的3d检测框。
207.所述判断单元1006具体用于若n个所述交并比全部小于预设交并比阈值，则确定所述静止车辆的违停情况为停在泊位区域外，若至少两个所述交并比大于所述预设交并比阈值，则确定所述静止车辆的违停情况为横停，若仅有一个所述交并比大于所述预设交并比阈值，且所述车辆角度小于预设角度阈值，则确定所述静止车辆正常停在所述至少一个
泊位区域内，若仅有一个所述交并比大于所述预设交并比阈值，且所述车辆角度大于或等于所述预设角度阈值，则确定所述静止车辆的违停情况为斜停。
208.本实施例中，图像采集设备中的各单元执行如前述图3和图8所示实施例中图像采集设备的操作，具体此处不再赘述。
209.下面请参阅图11，本技术实施例中图像采集设备另一实施例包括：
210.中央处理器1101，存储器1105，输入输出接口1104，有线或无线网络接口1103以及电源1102；
211.存储器1105为短暂存储存储器或持久存储存储器；
212.中央处理器1101配置为与存储器1105通信，并执行存储器1105中的指令操作以执行前述图2、图3和图8所示实施例中的方法。
213.本技术实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指令，当指令在计算机上运行时，使得计算机执行前述图2、图3和图8所示实施例中的方法。
214.本技术实施例还提供了一种包含指令的计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行前述图2、图3和图8所示实施例中的方法。
215.本技术实施例还提供了一种芯片系统，芯片系统包括至少一个处理器和通信接口，通信接口和至少一个处理器通过线路互联，至少一个处理器用于运行计算机程序或指令，以执行前述图2、图3和图8所示实施例中的方法。
216.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
217.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
218.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
219.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
220.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程
序代码的介质。