车位占用的检测方法、检测装置以及计算机可读存储介质与流程

文档序号:30005165发布日期:2022-05-11 15:10阅读:144来源:国知局
车位占用的检测方法、检测装置以及计算机可读存储介质与流程

1.本技术涉及车位占用技术领域,特别是涉及车位占用的检测方法、检测装置以及计算机可读存储介质。


背景技术:

2.随着汽车数量的不断增加,计算机视觉算法的快速发展与应用,视频分析算法广泛应用于车位监控等实际任务,提高了停车场车位管理的效率。
3.发明人长期研究发现,因车位的规划以及监控角度的设置,会有判断错误的风险,导致绑定停车位状态的准确率下降。


技术实现要素:

4.本技术主要解决的技术问题是提供车位占用的检测方法、检测装置以及计算机可读存储介质,能够提升确定车辆区域的准确性,进而确定出车位占用结果,使车位与车辆的对应更加准确,提升车位占用判断的准确性。
5.为了解决上述问题,本技术采用的一种技术方案是提供一种车位占用的检测方法,该检测方法包括:获取检测图像,检测图像包括至少一个车位区域;利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度;基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框;基于车辆区域和车位区域确定车位占用结果。
6.其中,旋转角度包括第一旋转角度和第二旋转角度;基于旋转角度从目标检测框中确定车辆区域,包括:确定目标检测框的对角线;控制对角线按照第一旋转角度和第二旋转角度旋转,与目标检测框相交;将与目标检测框相交的点形成的区域作为车辆区域。
7.其中,目标检测框包括依次连接的第一边、第二边、第三边和第四边;控制对角线按照第一旋转角度和第二旋转角度旋转,与目标检测框相交,包括:控制对角线以中心点为基准,按照第一旋转角度顺时针旋转,与第一边相交于第一交点,以及与第三边相交于第二交点;确定第一交点和第二交点之间的连线;控制连线以第二交点为基准,按照第二旋转角度顺时针旋转,与第二边相交于第三交点;以及控制连线以第一交点为基准,按照第二旋转角度逆时针旋转,与第四边相交于第四交点;将与目标检测框相交的点形成的区域作为车辆区域,包括:连接第一交点、第三交点、第二交点和第四交点,将第一交点、第三交点、第二交点和第四交点形成的区域作为车辆区域。
8.其中,该方法还包括:获取训练图像;其中,训练图像标注有目标车辆的目标检测框以及真实信息,真实信息包括目标车辆的真实框与目标检测框的交点;利用目标检测模型对训练图像进行检测,得到目标车辆的检测信息,其中,目标车辆的检测信息包括目标车辆的最终检测框;根据目标车辆的真实信息和检测信息之间的差异,调整目标检测模型的网络参数。
9.其中,目标检测模型包括特征提取网络和分类层;利用目标检测模型对训练图像进行检测,得到目标车辆的检测信息,包括:将训练图像输入至特征提取网络,得到多维特征图;将多维特征图输入至分类层,得到训练图像中目标车辆的检测信息。
10.其中,将训练图像输入至特征提取网络,得到多维特征图,包括:利用特征提取网络对训练图像依序进行n次下采样,得到n维初始特征图,其中,n大于2;对于n维初始特征图,基于n-i维初始特征图对第n维初始特征图进行第i+1次上采样,得到第i+1维最终特征图;其中,i为0至n-1的整数。
11.其中,特征提取网络为特征金字塔网络fpn,特征金字塔网络fpn包括多个上采样层和与多个上采样层对应的下采样层,每一上采样层或下采样层包括不同分辨率的卷积。
12.其中,基于车辆区域和车位区域确定车位占用结果,包括:确定车辆区域对应的至少一目标车位区域;确定车辆区域与至少一目标车位区域的交并比;基于交并比,确定车位占用结果。
13.其中,确定车辆区域对应的至少一目标车位区域,包括:获取预先配置的至少一目标车位区域;或,利用图像处理算法确定至少一目标车位区域;或,利用目标检测模型确定至少一目标车位区域。
14.其中,确定车辆区域与至少一目标车位区域的交并比,包括:确定车辆区域与每一目标车位区域的交并比;基于交并比,确定车位占用结果,包括:若交并比大于或等于第一预设值,则确定目标车位区域被占用;若交并比小于第一预设值,且存在两个交并比大于第二预设值,则确定相邻两个目标车位区域被占用;第二预设值小于第一预设值。
15.为了解决上述问题,本技术采用的另一种技术方案是提供一种车位占用的检测装置,该检测装置包括处理器以及与处理器耦接的存储器;其中,存储器用于存储计算机程序,处理器用于执行计算机程序,以实现如上述技术方案提供的方法。
16.为了解决上述问题,本技术采用的另一种技术方案是提供一种计算机可读存储介质,该计算机可读存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现如上述技术方案提供的方法。
17.本技术的有益效果是:区别于现有技术的情况,本技术提供的一种车位占用的检测方法,该检测方法包括:获取检测图像,检测图像包括至少一个车位区域;利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度;基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框;基于车辆区域和车位区域确定车位占用结果。通过上述方式,利用确定出的旋转角度从目标检测框中确定车辆区域,能够提升确定车辆区域的准确性,进而确定出车位占用结果,使车位与车辆的对应更加准确,提升车位占用判断的准确性。
附图说明
18.图1是本技术提供的车位占用的检测方法一实施例的流程示意图;
19.图2是本技术提供的检测图像无车时一实施例的示意图;
20.图3和图4是本技术提供的车位占用的检测方法一应用场景示意图;
21.图5和图6是本技术提供的车位占用的检测方法另一应用场景示意图;
22.图7是本技术提供的车位占用的检测方法另一实施例的流程示意图;
23.图8是本技术提供的步骤55一实施例的流程示意图;
24.图9是本技术提供的车位占用的检测方法另一应用场景示意图;
25.图10是本技术提供的车位占用的检测方法另一实施例的流程示意图;
26.图11是本技术提供的步骤85和步骤86一实施例的流程示意图;
27.图12是本技术提供的车位占用的检测方法另一应用场景示意图;
28.图13是本技术提供的车位占用的检测方法另一实施例的流程示意图;
29.图14是本技术提供的目标检测模型训练过程一实施例的流程示意图;
30.图15是本技术提供的步骤122一实施例的流程示意图;
31.图16是本技术提供的特征提取网络一实施例的结构示意图;
32.图17是本技术提供的特征提取网络中卷积层一实施例的示意图;
33.图18是本技术提供的车位占用的检测方法另一应用场景示意图;
34.图19是本技术提供的车位占用的检测方法另一应用场景示意图;
35.图20是本技术提供的非静默角度loss训练结果示意图;
36.图21是本技术提供的静默角度loss训练结果示意图;
37.图22是本技术提供的静默角度loss训练结果示意图;
38.图23是本技术提供的车位占用的检测装置一实施例的流程示意图;
39.图24是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
40.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述。可以理解的是,此处所描述的具体实施例仅用于解释本技术,而非对本技术的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本技术相关的部分而非全部结构。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
41.本技术中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
42.在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
43.发明人长期研究发现,室外停车场场景有两种,基于相机安装角度,以及停车区的多区域分布情况,从图像看一种是车位线与相机视角水平,另一种是车位线与相机视角非水平。当视角水平时,车头、车尾或车身正对相机,车辆的外接矩形框与所停车位的车位线高度匹配;当视角非水平时,车辆间存在遮挡,车位线由水平矩形变为倾斜四边形,非水平的角越大,遮挡越严重,车位线倾斜度越大,导致车辆的外接矩形框,会跨多个车位线,此时
无论由车辆外接矩形框中心点绑定车位线,还是由车位线中心点绑定外接矩形框,都会有产生判断错误的风险,导致绑定停车位状态的准确率下降。基于此,本技术提出以下技术方案,解决上述任一技术问题。
44.参阅图1,图1是本技术提供的车位占用的检测方法一实施例的流程示意图。该方法包括:
45.步骤11:获取检测图像,检测图像包括至少一个车位区域。
46.在一些实施例中,可以利用图像采集装置进行图像采集。如,利用摄像头采集目标区域的图像,将采集到的图像作为检测图像。其中,目标区域上设置有至少一个车位区域。如图2所示,检测图像中包括车位区域a、车位区域b、车位区域c、车位区域d、车位区域e、车位区域f、车位区域g、车位区域h、车位区域i、车位区域j、车位区域k和车位区域l。每一车位区域均可进行车辆停放。在图2中,车位区域的车位线并不一致,即车辆停放后,车辆的朝向也存在不一致的情况。
47.步骤12:利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度。
48.在检测图像对应的区域内,若存在车辆停放情况,则可以确定检测图像中的目标车辆对应的目标检测框以及旋转角度。
49.在一些实施中,可以利用目标检测模型确定出检测图像中的目标车辆对应的目标检测框以及旋转角度。如,旋转角度可以是车辆的对角线与矩形对角线之间的角度。也可以车辆的一条边与矩形地一条边的角度。
50.步骤13:基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框。
51.目标检测框为矩形,即可以是目标车辆的外接矩形框。根据旋转角度则可以确定出目标车辆的实际区域。
52.在一些实施中,结合图3和图4进行说明:
53.目标检测框的矩形abcd如图3所示,包括依次连接的第一边ab、第二边bc、第三边cd和第四边da。对角线为ac。
54.控制对角线以中心点o为基准,按照旋转角度α顺时针旋转,与第一边ab相交于第一交点a

,以及与第三边cd相交于第二交点c


55.控制对角线以中心点o为基准,按照旋转角度α逆时针旋转,与第二边bc相交于第三交点b

,以及与第四边da相交于第四交点d


56.如图4所示,依次连接第一交点a

、第三交点b

、第二交点c

和第四交点d

,将第一交点a

、第三交点b

、第二交点c

和第四交点d

形成的区域作为车辆区域。即四边形a
′b′c′d′
作为车辆区域。
57.在其他实施例中,结合图5和图6进行说明:
58.目标检测框的矩形abcd如图5所示,包括依次连接的第一边ab、第二边bc、第三边cd和第四边da。对角线为ac。
59.控制对角线以中心点o为基准,按照旋转角度α顺时针旋转,与第一边ab相交于第一交点a

,以及与第三边cd相交于第二交点c


60.然后在第二边bc上找一点b

,以及在第四边da上找一点d

,使c'b'

a'b',以及c'
d'

a'd',如图6所示。依次连接a

、b

、c

和d

,将a

、b

、c

和d

形成的矩形区域作为车辆区域。即四边形a
′b′c′d′
作为车辆区域。
61.步骤14:基于车辆区域和车位区域确定车位占用结果。
62.车位区域的图像是在规划车位后,提前采集得到。在确定车辆区域后,则可以确定车辆区域所在的车位区域。具体的,可以根据图像坐标来确定。如,图像采集装置固定,则车位区域的图像坐标是固定的,在确定出车辆区域后,车辆区域的图像坐标也是固定的。因此,可以根据车位区域和车辆区域的重叠情况,确定该车位是否被占用。
63.在一应用场景中,本实施例应用于停车场。该停车场入口处设置有显示屏。显示屏上显示有停车场的车位信息。如,空闲xx个,占用yy个。当停车场进入车辆,且该车辆停放好后,利用上述实施例的步骤,确定该车辆占用的具体车位。若该车辆未停放在车位区域,进行预警提醒。其中,停车场还可以将车位进行分区域,如分为三个楼层。每一楼层对应有若干个车位。在通过上述方式确定每一楼层的剩余车位后,可以提示新进入的车辆进入剩余车位多的楼层停车。
64.在本实施例中,通过获取检测图像,检测图像包括至少一个车位区域;利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度;基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框;基于车辆区域和车位区域确定车位占用结果的方式,利用确定出的旋转角度从目标检测框中确定车辆区域,能够提升确定车辆区域的准确性,进而确定出车位占用结果,使车位与车辆的对应更加准确,提升车位占用判断的准确性。
65.参阅图7,图7是本技术提供的车位占用的检测方法另一实施例的流程示意图。该方法包括:
66.步骤51:获取检测图像,检测图像包括至少一个车位区域。
67.步骤52:利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度。
68.步骤51-步骤52与上述实施例具有相同或相似的技术方案,这里不做赘述。
69.步骤53:确定目标检测框的对角线。
70.因目标检测框为矩形,则可以确定出目标检测框的对角线。
71.步骤54:控制对角线按照第一旋转角度和第二旋转角度旋转,与目标检测框相交。
72.步骤55:将与目标检测框相交的点形成的区域作为车辆区域。
73.在一些实施例中,参阅图8,步骤54和步骤55可以是以下流程:
74.步骤61:控制对角线以中心点为基准,按照第一旋转角度顺时针旋转,与第一边相交于第一交点,以及与和第三边相交于第二交点。
75.目标检测框包括依次连接的第一边、第二边、第三边和第四边。
76.步骤62:确定第一交点和第二交点之间的连线。
77.步骤63:控制连线以第二交点为基准,按照第二旋转角度顺时针旋转,与第二边相交于第三交点;以及控制连线以第一交点为基准,按照第二旋转角度逆时针旋转,与第四边相交于第四交点。
78.步骤64:依次连接第一交点、第三交点、第二交点和第四交点,将第一交点、第三交点、第二交点和第四交点形成的区域作为车辆区域。
79.在一应用场景中,目标检测框的矩形abcd如图9所示,包括依次连接的第一边ab、第二边bc、第三边cd和第四边da。对角线为ac。
80.控制对角线以中心点o为基准,按照第一旋转角度α顺时针旋转,与第一边ab相交于第一交点a

,以及与第三边cd相交于第二交点c


81.确定第一交点和第二交点之间的连线a
′c′

82.控制连线a
′c′
以第二交点c

为基准,按照第二旋转角度β顺时针旋转,与第二边bc相交于第三交点b

;以及控制连线a
′c′
以第一交点a

为基准,按照第二旋转角度β逆时针旋转,与第四边da相交于第四交点d


83.依次连接第一交点a

、第三交点b

、第二交点c

和第四交点d

,将第一交点a

、第三交点b

、第二交点c

和第四交点d

形成的区域作为车辆区域。即四边形a
′b′c′d′
作为车辆区域。
84.在上述过程中,结合图9进行说明:通过按照第一旋转角度α顺时针旋转,与第一边ab相交于第一交点a

,以及与第三边cd相交于第二交点c

。则形成了第一交点和第二交点之间的连线a
′c′
,即形成了一条线,控制连线a
′c′
以第二交点c

为基准,按照第二旋转角度β顺时针旋转,与第二边bc相交于第三交点b

,此时就形成了b
′c′
和a
′b′
;以及控制连线a
′c′
以第一交点a

为基准,按照第二旋转角度β逆时针旋转,与第四边da相交于第四交点d

,此时就形成了c
′d′
和a

d'。得到一个四边形a
′b′c′d′

85.其中,不同角度的图像采集装置,以及车位区域的规划角度问题,实际在采集图像后,实际车辆的车辆区域在图像中不一定是矩形,而是一个四边形,因此,采用两个旋转角度确定出的车辆区域更加准确。
86.在其他实施例中,步骤54和步骤55可以是以下流程:
87.控制对角线以中心点为基准,按照第一旋转角度顺时针旋转,与第一边相交于第一交点,以及与第三边相交于第二交点;确定第一交点和第二交点之间的连线;控制连线以第二交点为基准,按照第二旋转角度顺时针旋转,与第二边相交于第三交点;其中,第二旋转角度和第一旋转角度互余。以及控制连线以第一交点为基准,按照第二旋转角度逆时针旋转,与第四边相交于第四交点;连接第一交点、第三交点、第二交点和第四交点,将第一交点、第三交点、第二交点和第四交点形成的区域作为车辆区域。
88.可以理解,上述说明书中第一旋转角度和第二旋转角度的旋转的先后顺序没有强制要求。
89.步骤56:基于车辆区域和车位区域确定车位占用结果。
90.在一些实施例中,可以基于车辆区域和车位区域的重叠情况确定车位占用结果。如,车辆区域和车位区域重叠百分之七十,则确定该车位区域的车位被该车辆占用。如,车辆区域和车位区域重叠百分之二十,则确定该车辆违规停放,可以进行预警提示。
91.在本实施例中,通过获取检测图像,检测图像包括至少一个车位区域;确定检测图像中的目标车辆对应的目标检测框、第一旋转角度和第二旋转角度;基于第一旋转角度和第二旋转角度从目标检测框中确定车辆区域;基于车辆区域和车位区域确定车位占用结果的方式,利用确定出的第一旋转角度和第二旋转角度从目标检测框中确定车辆区域,能够
提升确定车辆区域的准确性,进而确定出车位占用结果,使车位与车辆的对应更加准确,提升车位占用判断的准确性。
92.参阅图10,图10是本技术提供的车位占用的检测方法另一实施例的流程示意图。该方法包括:
93.步骤81:获取检测图像,检测图像包括至少一个车位区域。
94.步骤82:利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度。
95.步骤83:基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框。
96.在本实施例中,步骤81-步骤83与上述任一实施例具有相同或相似的技术方案,这里不做赘述。
97.步骤84:确定车辆区域对应的至少一目标车位区域。
98.在一些实施例中,至少一目标车位区域可以是预先配置的。如,对应车位区域的面积信息。
99.在一些实施例中,利用图像处理算法确定至少一目标车位区域。如,在没有车辆停靠时,图像处理算法确定出目标车位区域的面积信息,或者同步检测出检测图像中的车位区域的面积。
100.在一些实施例中,利用目标检测模型确定至少一目标车位区域。
101.步骤85:确定车辆区域与至少一目标车位区域的交并比。
102.交并比是指车辆区域与至少一目标车位区域之间的交集和并集的比值。
103.步骤86:基于交并比,确定车位占用结果。
104.在一些实施例中,参阅图11,步骤85和步骤86可以是以下流程:
105.步骤91:确定车辆区域与每一目标车位区域的交并比。
106.步骤92:若交并比大于或等于第一预设值,则确定目标车位区域被占用。
107.如,第一预设值设置为0.5,若存在交并比大于或等于0.5,则确定与该车辆区域进行交并比计算的目标车位区域被占用。则可以绑定车辆和此车位,更新车位状态,从无车变为有车。在其他实施例中,第一预设值可以根据车位区域在检测图像中的具体区域进行设置。如第一预设值可以设置为0.52或0.54。
108.步骤93:若交并比小于第一预设值,且存在两个交并比大于第二预设值,则确定相邻两个目标车位区域被占用;第二预设值小于第一预设值。
109.如,第一预设值设置为0.5,第二预设值设置为0.2。若交并比小于0.5,且第二交并比大于0.2,则确定相邻两个目标车位区域被占用。此时车辆违规停车,占用了两个车位。
110.结合图12进行说明:
111.如图12所示,检测图像中存在车辆区域c1和车辆区域c2。且该检测图像中存在车位区域a、车位区域b、车位区域c、车位区域d、车位区域e、车位区域f、车位区域g、车位区域h、车位区域i、车位区域j、车位区域k和车位区域l。
112.分别确定车辆区域c1和车辆区域c2分别与这些车位区域的交并比。如图10所示,车辆区域c1和车位区域a、车位区域b、车位区域e、车位区域f、车位区域i、车位区域j、车位区域k和车位区域l的交并比为0。
113.车辆区域c1和车位区域c的交并比大于0.5,车辆区域c1和车位区域d的交并比小于0.5,车辆区域c1和车位区域g的交并比小于0.5,车辆区域c1和车位区域h的交并比小于0.5。在存在交并比大于0.5时,则确定车位区域c被占用。则可以绑定车辆和此车位,更新车位状态,从无车变为有车。
114.继续参阅图12,车辆区域c2和车位区域a、车位区域b、车位区域c、车位区域d、车位区域e、车位区域f、车位区域g、车位区域h、车位区域i以及车位区域j的交并比为0。车辆区域c2和车位区域k的交并比小于0.5,且大于0.2,车辆区域c2和车位区域l的交并比小于0.5,且大于0.2,则确定车位区域k和车位区域l被占用。此时车辆违规停车,占用了两个车位。
115.在本实施例中,通过获取检测图像,检测图像包括至少一个车位区域;确定检测图像中的目标车辆对应的目标检测框、第一旋转角度和第二旋转角度;基于第一旋转角度和第二旋转角度从目标检测框中确定车辆区域;基于车辆区域和车位区域的交并比,确定车位占用结果的方式,利用确定出的旋转角度从目标检测框中确定车辆区域,能够提升确定车辆区域的准确性,进而利用交并比确定出车位占用结果,使车位与车辆的对应更加准确,提升车位占用判断的准确性。
116.参阅图13,图13是本技术提供的车位占用的检测方法另一实施例的流程示意图。该方法包括:
117.步骤111:获取检测图像,检测图像包括至少一个车位区域。
118.步骤112:将检测图像输入至已训练的目标检测模型,得到目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度。
119.步骤113:基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框。
120.步骤111-步骤113与上述任一实施例具有相同或相似的技术方案,这里不做赘述。
121.步骤114:基于车辆区域和车位区域确定车位占用结果。
122.参阅图14,对目标检测模型的训练过程进行说明:
123.步骤121:获取训练图像;其中,训练图像标注有目标车辆的目标检测框以及真实信息,真实信息包括目标车辆的真实框与目标检测框的交点。
124.步骤122:利用目标检测模型对训练图像进行检测,得到目标车辆的检测信息,其中,目标车辆的检测信息包括目标车辆的最终检测框。
125.在一些实施例中,目标检测模型包括特征提取网络和分类层。参阅图15,步骤122可以是以下流程:
126.步骤1221:将训练图像输入至特征提取网络,得到多维特征图。
127.其中,利用特征提取网络对训练图像依序进行n次下采样,得到n维初始特征图,其中,n大于2;对于n维初始特征图,基于n-i维初始特征图对第n维初始特征图进行第i+1次上采样,得到第i+1维最终特征图;其中,i为0至n-1的整数。
128.其中,特征提取网络为特征金字塔网络fpn,特征金字塔网络fpn包括多个上采样层和与多个上采样层对应的下采样层,每一上采样层或下采样层包括不同分辨率的卷积。
129.结合图16和图17进行说明:
130.特征提取网络为特征金字塔网络fpn,特征金字塔网络fpn包括多个上采样层和与多个上采样层对应的下采样层。如图14所示,特征金字塔网络fpn包括3个上采样层和与3个上采样层对应的3个下采样层。利用特征提取网络对训练图像依序进行3次下采样,得到对应的3维初始特征图。
131.如,将训练图像y输入至第一个下采样层141进行下采样处理,输出第1个初始特征图,将第1个初始特征图输入至第二个下采样层142进行下采样处理,输出第2个初始特征图,将第2个初始特征图输入至第三个下采样层143进行下采样处理,输出第3个初始特征图。
132.将第3个初始特征图输入至第一个上采样层144进行上采样处理,输出第1个最终特征图,将第1个最终特征图输入至第二个上采样层145进行上采样处理,输出第2个最终特征图,将第2个最终特征图输入至第三个上采样层146进行上采样处理,输出第3个最终特征图。
133.参阅图17,每一上采样层或下采样层包括不同分辨率的卷积。如,包括1*1卷积、3*3卷积和5*5卷积。利用1*1卷积、3*3卷积和5*5卷积对特征图进行卷积,得到相应的特征图,然后对这些特征图进行融合,得到最终特征图。利用不同卷积对特征图进行卷积操作,能够增加感受野,学习到更多的特征信息。
134.步骤1222:将多维特征图输入至分类层,得到训练图像中目标车辆的检测信息。
135.将最终特征图输入至分类层,得到训练图像中目标车辆的检测信息。
136.步骤123:根据目标车辆的真实信息和检测信息之间的差异,调整目标检测模型的网络参数。
137.在一些实施例中,可以根据目标车辆的真实信息和检测信息之间的差异,调整缺陷检测模型的训练次数,进而起到调整目标检测模型的网络参数。如,真实信息为a、检测信息为b,则此时可以调整目标检测模型的训练次数,进而起到调整目标检测模型的网络参数;如真实信息为a、检测信息为b,但是置信度低于设定阈值,则调整目标检测模型的训练次数,进而起到调整目标检测模型的网络参数。
138.在一些实施例中,可以根据目标车辆的真实信息和检测信息之间的差异,调整目标检测模型的网络参数,如目标检测模型中有卷积神经网络,则可以设置卷积核的数量、步长、填充,调整激励函数,调整池化层的参数等。
139.在一些实施例中,还可以通过目标车辆的真实信息和检测信息的数据进行损失值的计算,若损失值与预设的损失阈值存在差异,则调整目标检测模型的网络参数。
140.在一应用场景中,可以采用yolo算法训练目标检测模型,在五元组的基础上,增加2维,完成上述的旋转角度预测。目标检测模型使用金字塔网络结构,针对大目标和小目标的不同场景,深层网络识别大目标,深层网络特征与浅层网络融合后,在浅层网络识别小目标。保证深层网络重点优化大目标识别,浅层网络重点优化小目标识别。训练图像的素材覆盖相机与车位线水平和非水平场景比例10:1,共10万张。特征金字塔网络包含3个检测层,每个检测层的损失函数由前景预测、分类预测、背景预测和坐标组回归,再补充两个角度的预测,各比例权重设置如下,损失函数loss为:
141.142.训练开始前,由于角度范围取值0-90,为减少损失函数中大数尺度值,影响其他预测项的回归,对角度做归一化处理,更新角度值范围0-1之间。训练前10万次时,限制λ5的权重为0,重点开始阶段模型优化外接矩形检测框精度,继续训练10万次,更新λ5时,保证在λ各项权重中,同λ4占用的比例一致。共训练20万次,完成模型训练。
143.其中,提前对训练图像进行标定。如标定旋转目标(车辆区域)的外接矩形框,同时标定3个角点a、b和c,如图17所示。角点标定顺序,标定车辆与外接矩形框的交点,分别取右边沿,左边沿和下边沿。
144.基于映射旋转方向和宽、高尺度变化的角度回归算法,增加两个角度,α和β,如图18所示。角度α范围0~90度,角度β范围0-90度。取整数值。其中α映射同一目标,旋转前后,角度变化,β映射同一目标,旋转前后,宽和高的尺寸变化。对两个角度的计算,计算实际旋转边框对角线夹角β,由第二角点出发,第一角点与第二角点连线,第二角点和第三角点连线,可得两条边的夹角。计算外接矩形框对角线夹角α,选择对角线时,外接矩形框使用左下和右上角点的连线,第一角点和第二角点的连线。算法模型对两个角度的回归,完成旋转目标检测。
145.通过预测目标车辆的外接矩形框,取对角线,以中心点,控制对角线顺时针旋转角度α,与外接矩形框交点a、b,由b点启动,由ba边方向,顺时针旋转角β,与矩形框交点c,同理,从a点启动,由ab边方向,逆时针旋转β,与矩形框交点d,如图19所示。
146.在确定出车辆区域后,同车位区域进行交并比计算。选择交并比大于0.5的车位区域,绑定车辆和此车位,更新车位状态无车变为有车。
147.另外,如果每个车位区域与车辆的交并比小于0.5,且存在2个交并比大于0.2,此时车辆违规停车,占用了两个车位,则进行预警提示。
148.在目标检测模型训练过程中,可以采用两种调参方式,非静默角度权重和静默角度权重。其中,非静默角度权重是从训练开始就初始化λ4和λ5权重相同。静默角度权重是在训练开始时,初始化λ5值为0,待loss稳定后,更新λ4和λ5权重相同。loss函数定义如下。
[0149][0150]
对比非静默角度权重方式与静默角度权重方式的损失值的变化。
[0151]
其中,非静默角度权重的loss训练结果如图20。训练过程中,旋转角度α和β与坐标同时回归,一段时间存在少量上下浮动情况,旋转角度对矩形框及形变互相干扰导致,随着迭代次数增加,loss趋于稳定。
[0152]
其中,静默角度loss训练结果如图21和图22。在训练过程中,动态对各项权重进行调参。训练开始时,2个角度的权重设置静默值0,重点回归外接矩形框的中心点和坐标。待稳定后,增加2个角度的损失权重。对比静默和非静默训练方法,训练前部分,非静默方法loss抖动严重,静默方法,loss稳定收敛,后面增加角度损失,loss上升后,很快下降,快速调整和回归矩形框对旋转的形变。
[0153]
参阅图23,图23是本技术提供的车位占用的检测装置一实施例的结构示意图。该检测装置210包括处理器211以及与处理器211耦接的存储器212;其中,存储器212用于存储计算机程序,处理器211用于执行计算机程序,以实现以下方法:
[0154]
获取检测图像,检测图像包括至少一个车位区域;利用目标检测模型确定检测图
像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度;基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框;基于车辆区域和车位区域确定车位占用结果。
[0155]
可以理解,处理器211还用于执行计算机程序,以实现上述任一实施例的方法,具体参阅上述任一实施例,这里不再赘述。
[0156]
参阅图24,图24是本技术提供的计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质220用于存储计算机程序221,计算机程序221在被处理器执行时,用于实现以下方法:
[0157]
获取检测图像,检测图像包括至少一个车位区域;利用目标检测模型确定检测图像中的目标车辆对应的目标检测框以及旋转角度;其中,目标检测框为矩形,旋转角度表示车辆的几何特征线与目标检测框的几何特征线的角度;基于旋转角度从目标检测框中确定车辆区域,车辆区域小于目标检测框;基于车辆区域和车位区域确定车位占用结果。
[0158]
可以理解,计算机程序221在被处理器执行时,还用于实现上述任一实施例的方法,具体参阅上述任一实施例,这里不再赘述。
[0159]
在本技术所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
[0160]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0161]
另外,在本技术各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
[0162]
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本技术各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0163]
以上所述仅为本技术的实施方式,并非因此限制本技术的专利范围,凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本技术的专利保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1