交通检测方法、装置、电子设备及存储介质与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种交通检测方法、装置、电子设备及存储介质。


背景技术：

2.随着国民经济的快速发展，近年来机动车保有量逐步增加，出现了不同程度的交通拥堵问题。交通拥堵的识别能够给有关部门提供有效信息，以便于交通管理和拥堵疏导。
3.在识别交通拥堵时，一般需要在待识别的路段安装雷达、红外检测器等设备，这样不仅提高了拥堵识别的成本，还会破坏路面，同时拥堵识别的覆盖范围受到限制。另一种识别拥堵的方法是利用浮动车反馈的与交通拥堵相关的数据来识别，该方法受浮动车在道路上所有车辆中占用率以及有浮动车道的道路在所有道路中的占有率的影响，识别得到的交通拥堵信息不够准确。


技术实现要素：

4.本公开实施例至少提供一种交通检测方法、装置。
5.第一方面，本公开实施例提供了一种交通检测方法，包括：
6.从道路视频流中获取包括预设的兴趣区域的至少两张区域图像；
7.基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息；
8.基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息；
9.基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息。
10.本方面，利用道路上已有的视频采集设备采集的区域图像，就能够确定道路拥堵信息，避免了安装拥堵识别的设备，降低了安装成本，保护现有路面，提高了拥堵识别的覆盖率；同时，克服了利用浮动车反馈的数据识别拥堵所带来的识别准确率低的缺陷。进一步地，上述区域平均车速信息表征兴趣区域内的所有车辆的在兴趣区域内的平均速度，其相较与兴趣区域内所有车辆瞬时速度的平均值，该区域平均车速信息更能准确的反应兴趣区域内的拥堵状况；在区域平均车速信息的基础上结合车辆密度信息，能够有效提高确定的道路拥堵信息的准确度。
11.在一种可能的实施方式中，所述基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息，包括：
12.获取密度阈值和车速阈值；
13.在所述区域平均车速信息对应的数值小于所述车速阈值，并且所述车辆密度信息对应的数值大于所述密度阈值的情况下，确定所述兴趣区域的道路拥堵信息为拥堵状态。
14.该实施方式，上述区域平均车速信息表征兴趣区域内的所有车辆的在兴趣区域内
的平均速度；上述车辆密度信息能够反应兴趣区域内车辆的密集程度，结合区域平均车速信息和车辆密度信息能够准确地确定兴趣区域的道路拥堵信息。
15.在一种可能的实施方式中，所述道路拥堵信息包括拥堵等级；
16.所述基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息，还包括：
17.在确定所述兴趣区域的道路拥堵信息为拥堵状态的情况下，获取所述兴趣区域对应的车速限制信息；
18.基于所述车速限制信息，确定不同拥堵等级对应的车速区间；
19.基于所述区域平均车速信息和所述车速区间，确定所述兴趣区域对应的拥堵等级。
20.该实施方式，车速限制信息不同，对应的车速区间也不相同，在判断拥堵等级的时候，结合兴趣区域的车速限制信息确定车速区间，再根据车速区间能够提高确定的目标拥堵等级的准确性。
21.在一种可能的实施方式中，所述基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息，包括：
22.对所述至少两张区域图像进行检测，得到所述区域图像中包含的车辆；
23.对所述至少两张区域图像中检测出的车辆进行跟踪，将不同区域图像中检测出的相同车辆进行匹配；
24.基于所述相同车辆在任意两张图像中的位置，确定所述车辆的位移；
25.基于所述任意两张区域图像的拍摄时间以及所述车辆的位移，确定每辆所述车辆的瞬时速度；
26.基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息。
27.该实施方式，基于两张区域图像的拍摄时间和车辆的位移，能够准确地确定同时存在于两张区域图像中兴趣区域内的车辆的瞬时速度；基于每辆车辆的瞬时速度，能够准确地确定兴趣区域对应的区域平均车速信息。
28.在一种可能的实施方式中，所述基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息，包括：
29.针对每辆所述车辆，基于该车辆在所述兴趣区域内的多个瞬时速度，确定该车辆在所述兴趣区域内的第一平均速度；
30.基于每辆所述车辆在所述兴趣区域内的第一平均速度，确定所有的所述车辆在所述兴趣区域内的第二平均速度和所述第一平均速度对应的方差；
31.基于所述第二平均速度和所述方差，确定所述兴趣区域对应的区域平均车速信息。
32.该实施方式，基于每个车辆在兴趣区域内的平均速度，以及每个车辆的平均速度的方差，能够准确地确定表征兴趣区域内的所有车辆的在兴趣区域内的区域平均车速信息。
33.在一种可能的实施方式中，所述基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息，包括：
34.基于所述兴趣区域在所述区域图像中的位置信息以及检测得到的所述区域图像中包含的车辆，确定所述兴趣区域内的车辆的数量；
35.基于所述兴趣区域在所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述兴趣区域的尺寸信息；
36.基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息。
37.该实施方式，基于兴趣区域在区域图像中的位置信息以及检测得到的区域图像中包含的车辆，可以将位于兴趣区域之外的车辆剔除，或者可以筛选出位于兴趣区域之内的车辆，即能够较为准确的确定兴趣区域内的车辆的数量；基于拍摄设备的标定信息和兴趣区域在区域图像中的位置信息，能够较为准确地确定兴趣区域的在世界坐标系中的尺寸信息；最后，基于上述较为准确的尺寸信息和上述车辆的数量，能够较为准确地确定上述车辆密度信息。
38.在一种可能的实施方式中，所述兴趣区域的尺寸信息包括：所述兴趣区域在世界坐标系中的实际长度信息和所述兴趣区域在世界坐标系中的实际宽度信息；
39.所述基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息，包括：
40.基于所述实际宽度信息和预设的车道宽度，确定所述兴趣区域内的车道数量；
41.基于所述兴趣区域内的车辆的数量、所述车道数量和所述实际长度信息，确定所述兴趣区域对应的车辆密度信息。
42.该实施方式，兴趣区域内的车辆密度信息不仅与其内部的车辆的数量有关，还与车道数量和兴趣区域的实际长度有关，因此，利用兴趣区域内车辆的数量、车道数量和兴趣区域的实际长度信息，能够较为准确地确定兴趣区域内的车辆密度信息。
43.在一种可能的实施方式中，所述基于所述相同车辆在任意两张图像中的位置，确定所述车辆的位移，包括：
44.针对每辆所述车辆，基于所述车辆在所述任意两张区域图像中的每张所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述车辆在世界坐标系中的第一实际位置信息和第二实际位置信息；
45.基于所述第一实际位置信息和所述第二实际位置信息，确定所述车辆的位移。
46.该实施方式，基于拍摄设备的标定信息和车辆在每张区域图像中的位置信息，能够准确地确定车辆对应于每张区域图像的实际位置信息，即上述第一实际位置信息和第二实际位置信息，继而能够准确地确定车辆的位移。
47.在一种可能的实施方式中，所述拍摄设备的标定信息可以利用如下步骤确定：
48.获取所述拍摄设备拍摄的标定图像；
49.识别所述标定图像中的多个标定对象；
50.基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
51.该实施方式，利用标定对象在标定图像中的坐标信息和标定对象在世界坐标系中的实际坐标信息，能够准确的确定拍摄设备的标定信息。
52.在一种可能的实施方式中，标定对象包括车辆；所述标定对象的关键点包括车辆
的车轮对应的关键点。
53.该实施方式，由于车辆的车轮之间的距离在一个特定的范围内，因此利用车辆的车轮的关键点对拍摄设备进行参数标定，有利于提高标定效率和标定准确度。
54.在一种可能的实施方式中，所述基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息，包括：
55.基于所述多个标定对象的关键点在所述标定图像中的坐标信息，确定所述标定图像中所述标定对象的预设部位的像素点数量；
56.在所述像素点数量与预设数量不相同的情况下，基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
57.该实施方式，标定对象的预设部位的像素点数量与预设数量不相同，表明拍摄设备的标定信息发生了变化，此时需要拍摄设备的标定信息进行标定，从而能够保证拥堵识别的准确度。
58.在一种可能的实施方式中，所述在所述像素点数量与预设数量不相同的情况下，基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息，包括：
59.在所述像素点数量与预设数量不相同的情况下，基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备对应的相机坐标系和世界坐标系之间的重投影误差信息；
60.基于所述重投影误差信息，确定所述拍摄设备的标定信息。
61.该实施方式，利用关键点在相机坐标系和世界坐标系之间的重投影误差信息，能够较为准确的进行参数标定。
62.在一种可能的实施方式中，所述标定信息包括所述拍摄设备的外参信息和内参信息；
63.所述基于所述重投影误差信息，确定所述拍摄设备的标定信息，包括：
64.将所述拍摄设备的内参信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的外参信息；和/或，
65.将所述拍摄设备的外参信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的内参信息。
66.该实施方式，将拍摄设备的内参信息固定，结合重投影误差信息，能够较为准确得确定拍摄设备的外参信息；同时，将拍摄设备的外参信息固定，结合重投影误差信息，能够较为准确得确定拍摄设备的内参信息。
67.第二方面，本公开提供了一种交通检测装置，包括：
68.图像获取模块，用于从道路视频流中获取包括预设的兴趣区域的至少两张区域图像；
69.车速确定模块，用于基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息；
70.密度确定模块，用于基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数
量，确定车辆密度信息；
71.拥堵识别模块，用于基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息。
72.第三方面，本公开实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
73.第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
74.关于上述交通检测装置、电子设备、及计算机可读存储介质的效果描述参见上述交通检测方法的说明，这里不再赘述。
75.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
76.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
77.图1示出了本公开实施例所提供的一种交通检测方法的流程图；
78.图2示出了本公开实施例所提供的交通检测方法中，拥堵等级分割图；
79.图3示出了本公开实施例所提供的交通检测方法中，确定兴趣区域对应的区域平均车速信息的具体方法的流程图；
80.图4示出了本公开实施例所提供的交通检测方法中，标定拍摄设备的标定信息的具体方法的流程图；
81.图5a示出了本公开实施例所提供的交通检测方法中，识别对象类型的网络结构示意图；
82.图5b示出了本公开实施例所提供的交通检测方法中，识别关键点的网络结构示意图；
83.图6示出了本公开实施例所提供的一种交通检测装置的示意图；
84.图7示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
85.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的
实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
86.经研究发现，拥堵识别中存在如下问题，拥堵识别成本高，破坏现有路面，拥堵识别的覆盖范围受到限制以及拥堵识别准确率不高，针对上述缺陷，本公开至少提供了一种交通检测方法、装置，本公开利用道路上已有的视频采集设备采集的区域图像，就能够确定道路拥堵信息，避免了安装拥堵识别的设备，降低了安装成本，保护现有路面，提高了拥堵识别的覆盖率；同时，克服了利用浮动车反馈的数据识别拥堵所带来的识别准确率低的缺陷。进一步地，本公开中的区域平均车速信息表征兴趣区域内的所有车辆的在兴趣区域内的平均速度，其相较与兴趣区域内所有车辆瞬时速度的平均值，该区域平均车速信息更能准确的反应兴趣区域内的拥堵状况；在区域平均车速信息的基础上结合车辆密度信息，能够有效提高确定的道路拥堵信息的准确度。
87.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
88.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
89.下面以执行主体为具有计算能够的设备为例对本公开实施例提供的交通检测方法加以说明。
90.如图1所示，本公开提供的交通检测方法包括以下步骤：
91.s110、从道路视频流中获取包括预设的兴趣区域的至少两张区域图像。
92.这里拍摄区域图像的拍摄设备可以是道路上现有的图像采集设备，例如拍摄设备可以是高快速路、城市道路上的监控摄像头、电子警察、卡口设备等，避免了安装拥堵识别专用硬件，降低了成本，并且便于大规模部署及应用。
93.上述兴趣区域是需要进行拥堵识别的区域，区域图像中包括该兴趣区域。上述两张区域图像的拍摄时间间隔可以是预定的时间间隔，例如，可以是0.4秒。
94.s120、基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息。
95.上述区域平均车速信息表征兴趣区域内的所有车辆在兴趣区域内的平均速度，其与兴趣区域内所有车辆瞬时速度的平均值不同，其更能准确的反应兴趣区域内的拥堵状况。
96.在确定上述区域平均车速信息时，首先需要对所述至少两张区域图像进行检测，得到所述区域图像中包含的车辆；之后，对所述至少两张区域图像中检测出的车辆进行跟踪，将不同区域图像中检测出的相同车辆进行匹配，确定同时位于两张区域图像中兴趣区域内的车辆；之后基于所述相同车辆在任意两张图像中的位置，确定所述车辆的位移；之后基于所述任意两张区域图像的拍摄时间以及所述车辆的位移，确定每辆所述车辆的瞬时速度；最后，之后，基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息。
97.上述可以首先利用图像识别技术，识别每张区域图像中的车辆，并对识别出的车
辆进行跟踪，从而确定同时存在于两张区域图像中兴趣区域内的车辆。
98.基于两张区域图像的拍摄时间和车辆的位移，能够准确地确定同时存在于两张区域图像中兴趣区域内的车辆的瞬时速度；基于每辆车辆的瞬时速度，能够准确地确定兴趣区域对应的区域平均车速信息。
99.确定上述瞬时速度所用的两张区域图像可以是拍摄时间间隔较短的两张图像，例如，可以是拍摄时间间隔为0.4秒的两张区域图像。
100.s130、基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息。
101.上述车辆密度信息反应兴趣区域内车辆的密集程度，相比于兴趣区域内的车辆数，其更能准确的表征兴趣区域内的拥堵状况。
102.在确定车辆密度信息时，需要首先识别区域图像中的车辆，之后，基于兴趣区域的位置信息，统计位于兴趣区内的车辆的数量，之后结合兴趣区域的尺寸信息和统计得到的兴趣区内的车辆的数量，确定兴趣区域的车辆密度信息。
103.示例性地，可以首先获取兴趣区域在所述区域图像中的位置信息，之后，基于所述兴趣区域在所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述兴趣区域的尺寸信息。
104.基于兴趣区域在区域图像中的位置信息以及检测得到的区域图像中包含的车辆，可以将位于兴趣区域之外的车辆剔除，或者可以筛选出位于兴趣区域之内的车辆，即能够较为准确的确定兴趣区域内的车辆的数量；基于拍摄设备的标定信息和兴趣区域在区域图像中的位置信息，能够较为准确地确定兴趣区域的在世界坐标系中的尺寸信息；最后，基于上述较为准确的尺寸信息和上述车辆的数量，能够较为准确地确定上述车辆密度信息。
105.另外，上述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量也可以利用其他方式确定，例如可以是从拍摄设备处获取的，拍摄设备为智能拍摄设备，可以根据其拍摄到的区域图像，确定上述尺寸信息和兴趣区域内的车辆的数量。
106.s140、基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息。
107.示例性地，在满足如下两个条件时，可以确定兴趣区域对应的道路拥堵信息为拥堵状态：
108.所述区域平均车速信息对应的数值小于车速阈值；
109.所述车辆密度信息对应的数值大于密度阈值的情况下。
110.满足上述两个条件说明兴趣区内车辆较为密集，并且所有车辆的平均速度较小，此时兴趣区域处于拥堵状态。只满足上述两个条件中的任意一个条件，都不能确定兴趣区域处于拥堵状态。
111.示例性地，只满足上述两个条件中的一个条或者两个条件均不满足时，可以确定兴趣区域处于畅通状态。
112.不同道路的车速限制信息不同，车速限制信息不同，对应的车速区间也不相同。拥堵等级不只与车速有关，还与车速限制信息有直接关系，因此在确定拥堵等级的时候，需要结合对应的车速限制信息，具体地，在兴趣区域处于拥堵状态时，可以利用如下步骤兴趣区域的目标拥堵等级：
113.在确定所述兴趣区域的道路拥堵信息为拥堵状态的情况下，获取所述兴趣区域对应的车速限制信息；基于所述车速限制信息，确定不同拥堵等级对应的车速区间；基于所述区域平均车速信息和所述车速区间，确定所述兴趣区域对应的拥堵等级。
114.示例性地，可以预先存储有多个兴趣区域对应的车速限制信息，具体可以是存储兴趣区域的标识符与车速限制信息的映射关系，在确定了需要进行拥堵识别的兴趣区域之后，可以根据该兴趣区域的标识符和上述映射关系确定该兴趣区域对应的车速限制信息。
115.在本发明实施方式中，兴趣区域可以是已知的，可以是通过对区域图像进行识别来确定的；也可以是基于人为在所述视频中标定出来的。
116.上述每个车速区间均对应一个拥堵等级，示例性地，从各个拥堵等级中筛选与区域平均车速信息对应的车速相匹配的拥堵等级，并将筛选得到拥堵等级作为上述目标拥堵等级。
117.示例性地，如图2所示，车速限制信息对应的限速值为120公里/小时时，车速区间分别为[0，30)、[30，50)、[50，70)。当区域平均车速信息对应的值位于车速区间分别为[0，30)中时，目标拥堵等级为i级；当区域平均车速信息对应的值位于车速区间分别为[30，50)中时，目标拥堵等级为ii级；当区域平均车速信息对应的值位于车速区间分别为[50，70)中时，目标拥堵等级为iii级。在区域平均车速信息对应的值大于或等于70时，兴趣区域处于畅通状态。
[0118]
车速限制信息对应的限速值为110公里/小时时，车速区间分别为[0，25)、[25，45)、[45，65)。当区域平均车速信息对应的值位于车速区间分别为[0，25)中时，目标拥堵等级为i级；当区域平均车速信息对应的值位于车速区间分别为[25，45)中时，目标拥堵等级为ii级；当区域平均车速信息对应的值位于车速区间分别为[45，65)中时，目标拥堵等级为iii级。在区域平均车速信息对应的值大于或等于65时，兴趣区域处于畅通状态。
[0119]
上述符号[表示闭合，即包括[后面的值，符号)表示不闭合，即不包括)前面的值，例如，[25，45)中，车速区间为大于或等于25，并且小于45；再例如，[45，65)中，车速区间为大于或等于45，并且小于65。
[0120]
可见，不同的车速限制信息，车速区间不同，结合兴趣区域的车速限制信息确定车速区间，再根据车速区间能够提高确定的目标拥堵等级的准确性。
[0121]
畅通状态也可以对应一个拥堵等级，示例性地，如图2所示，畅通状态的拥堵等级为ⅳ级。另外，i级拥堵等级可以对应严重拥堵状态，ii级拥堵等级可以对应中度拥堵状态，iii级拥堵等级可以对应轻度拥堵状态。
[0122]
上述区域平均车速信息表征兴趣区域内的所有车辆的在兴趣区域内的平均速度；上述车辆密度信息能够反应兴趣区域内车辆的密集程度，结合区域平均车速信息和车辆密度信息能够准确地确定兴趣区域的道路拥堵信息。
[0123]
在一些实施例中，可以利用如下步骤确定车辆的瞬时速度：
[0124]
首先，基于车辆在所述任意两张区域图像中的每张所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述车辆在世界坐标系中的第一实际位置信息和第二实际位置信息；之后，基于所述第一实际位置信息和所述第二实际位置信息，确定所述车辆的位移；最后，基于上述位移和每张所述区域图像的拍摄时间，确定车辆的瞬时速度。
[0125]
示例性地，可以利用如下公式，确定车辆在真实世界中的位置，即确定车辆在世界坐标系中的实际位置信息：
[0126][0127][0128][0129]
式中，(x
it
，y
it
)表示车辆i在时刻t拍摄的区域图像中的位置坐标，(x
it
，y
it
)表示车辆i在时刻t位于世界坐标系(对应于真实世界)中的实际位置信息，h表示拍摄设备区域图像的拍摄设备的标定信息。
[0130]
可以利用如下公式，确定车辆i在时刻t的瞬时速度v
it
：
[0131][0132]
式中，δt表示两张区域图像的拍摄时间的间隔。δt可以取0.4秒。
[0133]
基于拍摄设备的标定信息和车辆在每张区域图像中的位置信息，能够准确地确定车辆对应于每张区域图像的实际位置信息，即上述第一实际位置信息和第二实际位置信息，继而能够准确地确定车辆的位移。
[0134]
在一些实施例中，如图3所示，上述基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息，可以利用如下步骤实现：
[0135]
s310、针对每辆所述车辆，基于该车辆在所述兴趣区域内的多个瞬时速度，确定该车辆在所述兴趣区域内的第一平均速度。
[0136]
在确定车辆i的瞬时速度之后，可以基于该车辆i在所述兴趣区域内的多个瞬时速度，确定该车辆i在所述兴趣区域内的第一平均速度
[0137]
之后基于高斯分布，对所有车辆的第一平均速度进行数据预处理，剔除异常数据，例如，基于3σ原则剔除异常的第一平均速度。示例性，确定了8个第一平均速度，65、70、55、60、200、66、58、59，对上述第一平均速度进行异常数据剔除，可以剔除掉200，利用剩余数值计算的第一平均速度，能够提高后续确定的第二平均速度和方差的准确性。
[0138]
s320、基于每辆所述车辆在所述兴趣区域内的第一平均速度，确定所有的所述车辆在所述兴趣区域内的第二平均速度和所述第一平均速度对应的方差。
[0139]
示例性地，可以利用如下公式确定上述第二平均速度μ
t
：
[0140][0141]
式中，n表示车辆的数量。
[0142]
s330、基于所述第二平均速度和所述方差，确定所述兴趣区域对应的区域平均车速信息。
[0143]
示例性地，可以利用如下公式确定上述区域平均车速信息
[0144][0145]
式中，表示所有的所述第一平均速度对应的方差。
[0146]
上述基于每辆车辆在兴趣区域内的平均速度，以及每辆车辆的平均速度的方差，能够准确地确定表征兴趣区域内的所有车辆的在兴趣区域内的区域平均车速信息。该区域平均车速信息的确定过程结合了上述第一平均速度对应的方差和所有车辆在兴趣区域内的平均速度，即上述第二平均速度，能够更准确的表示兴趣区域内车辆的行驶状态，继而能够更加准确地确定兴趣区域的道路拥堵信息。
[0147]
在一些实施例中，上述基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息，可以利用如下步骤确定：
[0148]
首先，基于所述实际宽度信息和预设的车道宽度，确定所述兴趣区域内的车道数量；之后，基于所述兴趣区域内的车辆的数量、所述车道数量和所述实际长度信息，确定所述兴趣区域对应的车辆密度信息。
[0149]
这里，可以首先利用图像识别技术，识别区域图像中的车辆，之后，基于兴趣区域在所述区域图像中的位置信息，统计位于兴趣区域内的车辆的数量。
[0150]
在确定车道数量的时候，可以基于所述兴趣区域在所述区域图像中的位置信息，确定所述兴趣区域在世界坐标系中的实际宽度信息；再基于所述实际宽度信息和预设的车道宽度，确定所述兴趣区域内的车道数量。
[0151]
示例性地，利用拍摄区域图像的拍摄设备的标定信息和兴趣区域在所述区域图像中的位置信息，确定兴趣区域在世界坐标系中的尺寸信息，之后，基于兴趣区域在世界坐标系中的尺寸信息确定兴趣区域在世界坐标系中的实际长度信息和实际宽度信息。
[0152]
示例性地，在确定了兴趣区域在世界坐标系中的实际宽度信息w之后，可以利用如下公式确定车道数量lane
num
：
[0153][0154]
式中，w表示预设的车道宽度，w表示兴趣区域在真实世界中的宽度。
[0155]
示例性地，在确定了兴趣区域内的车辆的数量、车道数量和兴趣区域的实际长度信息之后，可以利用如下公式确定所述兴趣区域对应的车辆密度信息traffic_k：
[0156][0157]
式中，num表示兴趣区域内的车辆的数量，1000表示一个常数参量，l表示上述实际长度信息。
[0158]
上述实施例，兴趣区域内的车辆密度信息不仅与其内部的车辆的数量有关，还与车道数量和兴趣区域的实际长度有关，因此，利用兴趣区域内车辆的数量、车道数量和兴趣区域的实际长度信息，能够较为准确地确定兴趣区域内的车辆密度信息。
[0159]
根据上面的陈述可知在确定瞬时速度以及在确定兴趣区域在世界坐标系中的实际长度信息和实际宽度信息时，均用到了拍摄区域图像的拍摄设备的标定信息。现有技术中上述标定信息需要人工标定，这种人工标定的方法不仅浪费人力，效率低下，并且影响拥
堵识别的效率和准确度。
[0160]
本公开提供了一种自动标定拍摄设备的标定信息的方法。该方法有效提高了拍摄设备标定信息的标定效率，减少了人工标定的工作量，即便拍摄设备的摄像头发生转动后，仍可以实现自动标定，增加了拥堵识别的适用场景。
[0161]
下面通过实施例对如何以及何时对拍摄设备的内外参信息进行标定说明。
[0162]
在确定或调整(标定)上述拍摄设备的标定信息之前，先对标定信息的标定原理进行说明。
[0163]
根据拍摄设备的成像模型，设定(u，v，1)
t
是点p在相机坐标系中的坐标，(x，y，1)
t
是点p在世界坐标中的坐标，根据无畸变小孔成像原理，有如下映射关系：
[0164][0165]
式中，1/z表示归一化因子，z为一个预设值，k表示拍摄设备的内参信息，t表示拍摄设备的外参信息。
[0166]
其中，
[0167]
式中，f
x
表示拍摄设备x方向上的焦距，f
y
表示拍摄设备y方向上的焦距，c
x
表示图像中心点在x方向上的坐标，c
y
表示图像中心点在y方向上的坐标。r表示旋转信息，t表示平移信息。
[0168]
拍摄设备的内参信息和外参信息统一称为拍摄设备的标定信息。可以设定h＝k
×
t，h表示拍摄设备的标定信息。
[0169]
上述公式(9)可以表示为：
[0170][0171]
下面具体对如何标定标定信息进行说明。
[0172]
如图4所示，可以利用如下步骤标定拍摄设备的标定信息：
[0173]
s410、获取所述拍摄设备拍摄的标定图像。
[0174]
标定图像的拍摄位置可以与上述区域图像的拍摄位置相同。
[0175]
s420、识别所述标定图像中的多个标定对象。
[0176]
这里，可以利用图像识别技术，识别所述标定图像中的各个对象，以及各个对象的对象类别；并基于各个对象的对象类别，将具有预设对象类别的对象作为标定对象。
[0177]
示例性地，上述识别的对象为车辆。在识别标定图像中的各个对象时，可以先利用卷积神经网络对标定图像进行特征提取，之后通过region proposal layer提取标定图像中的候选目标区域；并基于候选目标区域，对提取得到的特征进行roi pooling，即进行类别分类和坐标回归，得到车辆的检测框以及每个检测框的置信度；最后通过极大值抑制算法，合并交并比大于阈值的检测框，输出最终的车辆的检测结果。
[0178]
在检测出标定图像中的车辆之后，还需要对车辆的属性进行识别，即确定检测得到的各个车辆的对象类别。
[0179]
示例性地，对象类别可以包括小汽车、面包车、小卡车、大卡车、suv、巴士、其他非
机动车。
[0180]
示例性地，如图5a所示，可以从标定图像中提取车辆对应的子图像，之后将提取的子图像输入以resnet18作为骨干网络的神经网络，利用该神经网络提取子图像的图像特征，之后使用两层full
‑
connection网络基于提取的图像特征进行分类，输出车辆的对象类型。
[0181]
示例性地，可以将小汽车作为预设对象类别，即将小汽车作为标定对象。由于小汽车的车轮之间的距离在一个特定的范围内，因此利用小汽车的车轮的关键点对拍摄设备进行参数标定，有利于提高标定效率和标定准确度。
[0182]
在确定了标定对象之后，还需要对标定对象进行进一步地筛选，以提高内标定信息标定的准确度，具体可以利用如下步骤实现对标定对象的筛选：
[0183]
首先，确定具有预设对象类别的对象，即标定对象的关键点；之后，基于关键点的置信度，从所述具有预设对象类别的对象中筛选最终的标定对象。
[0184]
示例性地，关键点可以按照如下步骤确定：如图5b所示，可以从标定图像中提取车辆对应的子图像，之后，将提取的子图像输入骨干网络resnet。经过骨干网络的卷积操作对子图像进行图像特征提取，并使用特征金字塔网络(fpn)提取多尺度的特征。对fpn的输出进一步进行卷积运算后，输出预测5个定位热力图，分别对应为车辆的左前轮，左后轮，右后轮，右前轮和背景，得到左前轮对应的关键点、左后轮对应的关键点、右后轮对应的关键点、右前轮对应的关键点。
[0185]
示例性地，在确定了关键点之后，将置信度大于预设置信度的关键点作为有效关键点。之后将有效关键点的数量大于预设数量的标定对象作为最终的标定对象。最终的标定对象用于进行标定信息的确定。
[0186]
上述预设置信度可以设置为0.7，预设数量可以设置为3。
[0187]
利用关键点的置信度，能够筛选出具有较高置信度的关键点的标定对象，从而能够提高内外参标定的准确性。
[0188]
s430、基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
[0189]
这里，需要首先确定哪些关键点可以用于进行标定。示例性地，可以将标定对象中置信度最高的预设数量个关键点作为目标关键点，并基于目标关键点在所述标定图像中的坐标信息和所述目标关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
[0190]
示例性地，置信度最高的预设数量个关键点可以是置信度最高的3个关键点。
[0191]
在确定了目标关键点之后，可以利用如下步骤进行标定：
[0192]
首先基于所述多个标定对象的目标关键点在所述标定图像中的坐标信息，和所述目标关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备对应的相机坐标系和世界坐标系之间的重投影误差信息；之后，基于所述重投影误差信息，确定所述拍摄设备的标定信息。
[0193]
示例性地，可以利用如下公式确定上述重投影误差信息：
[0194][0195][0196]
式中，k
*
，t
*
表示重投影误差信息；i表示标定对象的次序，j表示关键点的次序，表示标定对象i的关键点i在相机坐标系中的坐标，表示标定对象i的关键点j在世界坐标系中的坐标；n表示标定对象的数量。
[0197]
示例性地，在确定了上述重投影误差信息之后，可以利用如下步骤确定所述拍摄设备的外参信息：
[0198]
将所述拍摄设备的内参信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的外参信息。
[0199]
固定拍摄设备的内参信息k不变，可以将上述重投影误差转换为二维空间点云匹配问题，使用svd(奇异值分解)求解标定车辆i的外参信息t
i
。
[0200]
由于每辆小汽车对应的相机外参信息之间是相互独立的，以下推导只考虑其中一辆小汽车对应的外参信息的求解过程。
[0201]
具体地，设根据公式(10)和公式(12)，设置新的目标函数：
[0202][0203]
令p
′
j
＝p
j
‑
u
p
，q
′
j
＝q
j
‑
u
q
，将目标函数(13)展开，得到：
[0204][0205]
其中，
[0206]
因此，新的目标函数(13)简化为：
[0207][0208]
之后，分两步优化，可以得到：
[0209][0210]
t
*
＝u
q
‑
r
*
u
p
′
ꢀꢀ
(17)
[0211]
通过奇异值分解(svd)，求解r
*
最小二乘解，令对w进行奇异值分解，得到：
[0212][0213]
令其中q
*
满足q
*
的行列式|q
*
|＝
±
1；
[0214][0215]
t
*
＝u
q
‑
r
*
u
p
ꢀꢀ
(20)
[0216]
示例性地，在确定了上述重投影误差信息之后，可以利用如下步骤确定所述拍摄设备的内参信息：
[0217]
将所述拍摄设备的外信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的内参信息。
[0218]
将拍摄设备的外信息设置为固定信息之后，根据公式(12)，设置新的目标函数：
[0219][0220]
设
[0221]
为了提高算法的收敛性，求解k时引入外参t0，令h＝kt0，公式(21)优化为：
[0222][0223]
此时，可以使用直接线性变换模型(direct linear transform，dlt)方法求解得到h，再分解得到上述拍摄设备的标定信息可以通过多次迭代最终确定，在初始化时，令h＝1，并设置最大迭代次数，迭代停止的条件可以是达到上述最大迭代次数，也可以是当次迭代中公式(12)对应的函数值相对于上一次迭代中公式(12)对应的函数值的下降值小于一个预设值，比如下降小于10
‑5。
[0224]
最终得到拍摄设备的内参信息和n组外参信息。
[0225]
上面对如何标定进行了说明，下面对何时标定进行说明。
[0226]
示例性地，可以在拍摄设备的摄像头发生转动时进行标定，也可以按照如下方式确定是否进行标定：
[0227]
首先，基于所述多个标定对象的关键点在所述标定图像中的坐标信息，确定所述标定图像中所述标定对象的预设部位的像素点数量；之后，在所述像素点数量与预设数量不相同的情况下，对所述拍摄设备进行标定。
[0228]
标定对象的预设部位的像素点数量与预设数量不相同，表明拍摄设备的标定信息发生了变化，此时需要拍摄设备进行标定，从而能够保证拥堵识别的准确度。
[0229]
示例性地，由于小汽车的尺寸相对集中，在一个较小的数值范围内，因此可以将小汽车作为预设对象类别，并将小汽车的前后车轮的轴承作为小汽车的前后车轮的在中心点，之后，基于确定的中点确定预设部位。
[0230]
上述标定信息标定过程，将n个小型汽车的车轮关键点作为输入，构造得到n组等式约束，每组等式约束内参信息相同，外参信息互相独立。构建等式约束，计算标定信息。
[0231]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0232]
基于同一发明构思，本公开实施例中还提供了与交通检测方法对应的交通检测装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述交通检测方法相似，因此装置的实施可以参见方法的实施。
[0233]
如图6所示，为本公开实施例提供的一种交通检测装置的架构示意图，包括：
[0234]
图像获取模块610，用于从道路视频流中获取包括预设的兴趣区域的至少两张区域图像。
[0235]
车速确定模块620，用于基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息。
[0236]
密度确定模块630，用于基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息。
[0237]
拥堵识别模块640，用于基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息。
[0238]
在一些实施例中，所述拥堵识别模块640在基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息时，用于：
[0239]
获取密度阈值和车速阈值；
[0240]
在所述区域平均车速信息对应的数值小于所述车速阈值，并且所述车辆密度信息对应的数值大于所述密度阈值的情况下，确定所述兴趣区域的道路拥堵信息为拥堵状态。
[0241]
在一些实施例中，所述道路拥堵信息包括拥堵等级；
[0242]
所述拥堵识别模块640在基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息时，用于：
[0243]
在确定所述兴趣区域的道路拥堵信息为拥堵状态的情况下，获取所述兴趣区域对应的车速限制信息；
[0244]
基于所述车速限制信息，确定不同拥堵等级对应的车速区间；
[0245]
基于所述区域平均车速信息和所述车速区间，确定所述兴趣区域对应的拥堵等
级。
[0246]
在一些实施例中，所述车速确定模块620在基于所述至少两张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息时，用于：
[0247]
对所述至少两张区域图像进行检测，得到所述区域图像中包含的车辆；
[0248]
对所述至少两张图像中检测出的车辆进行跟踪，将不同区域图像中检测出的相同车辆进行匹配；
[0249]
基于所述相同车辆在任意两张图像中的位置，确定所述车辆的位移；
[0250]
基于所述任意两张区域图像的拍摄时间以及所述车辆的位移，确定每辆所述车辆的瞬时速度；
[0251]
基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息。
[0252]
在一些实施例中，所述车速确定模块620在基于每辆所述车辆的瞬时速度，确定所述兴趣区域对应的区域平均车速信息时，用于：
[0253]
针对每辆所述车辆，基于该车辆在所述兴趣区域内的多个瞬时速度，确定该车辆在所述兴趣区域内的第一平均速度；
[0254]
基于每辆所述车辆在所述兴趣区域内的第一平均速度，确定所有的所述车辆在所述兴趣区域内的第二平均速度和所述第一平均速度对应的方差；
[0255]
基于所述第二平均速度和所述方差，确定所述兴趣区域对应的区域平均车速信息。
[0256]
在一些实施例中，所述密度确定模块630在基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息时，用于：
[0257]
基于所述兴趣区域在所述区域图像中的位置信息以及检测得到的所述区域图像中包含的车辆，确定所述兴趣区域内的车辆的数量；
[0258]
基于所述兴趣区域在所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述兴趣区域的尺寸信息；
[0259]
基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息。
[0260]
在一些实施例中，所述兴趣区域的尺寸信息包括：所述兴趣区域在世界坐标系中的实际长度信息和所述兴趣区域在世界坐标系中的实际宽度信息；
[0261]
所述密度确定模块630在基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息时，用于：
[0262]
基于所述实际宽度信息和预设的车道宽度，确定所述兴趣区域内的车道数量；
[0263]
基于所述兴趣区域内的车辆的数量、所述车道数量和所述实际长度信息，确定所述兴趣区域对应的车辆密度信息。
[0264]
在一些实施例中，所述车速确定模块620在基于所述相同车辆在任意两张图像中的位置，确定所述车辆的位移时，用于：
[0265]
针对每辆所述车辆，基于所述车辆在所述任意两张区域图像中的每张所述区域图像中的位置信息和拍摄所述区域图像的拍摄设备的标定信息，确定所述车辆在世界坐标系中的第一实际位置信息和第二实际位置信息；
[0266]
基于所述第一实际位置信息和所述第二实际位置信息，确定所述车辆的位移。
[0267]
在一些实施例中，还包括标定模块650，用于标定所述拍摄设备的标定信息：
[0268]
获取所述拍摄设备拍摄的标定图像；
[0269]
识别所述标定图像中的多个标定对象；
[0270]
基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
[0271]
在一些实施例中，所述标定对象包括车辆；所述标定对象的关键点包括车辆的车轮对应的关键点。
[0272]
在一些实施例中，所述标定模块650在基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息时，用于：
[0273]
基于所述多个标定对象的关键点在所述标定图像中的坐标信息，确定所述标定图像中所述标定对象的预设部位的像素点数量；
[0274]
在所述像素点数量与预设数量不相同的情况下，基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息。
[0275]
在一些实施例中，所述像素点数量与预设数量不相同的情况下，所述标定模块650在基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备的标定信息时，用于：
[0276]
在所述像素点数量与预设数量不相同的情况下，基于所述多个标定对象的关键点在所述标定图像中的坐标信息和所述关键点在世界坐标系中的实际坐标信息，确定所述拍摄设备对应的相机坐标系和世界坐标系之间的重投影误差信息；
[0277]
基于所述重投影误差信息，确定所述拍摄设备的标定信息。
[0278]
在一些实施例中，所述标定信息包括所述拍摄设备的外参信息和内参信息；
[0279]
所述标定模块650在基于所述重投影误差信息，确定所述拍摄设备的标定信息时，用于：
[0280]
将所述拍摄设备的内参信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的外参信息；和/或，
[0281]
将所述拍摄设备的外参信息设置为固定信息，基于所述重投影误差信息，确定所述拍摄设备的内参信息。
[0282]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0283]
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图7所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器71、存储器72、和总线73。其中，存储器72用于存储执行指令，包括内存721和外部存储器722；这里的内存721也称内存储器，用于暂时存放处理器71中的运算数据，以及与硬盘等外部存储器722交换的数据，处理器71通过内存721与外部存储器722进行数据交换，当电子设备700运行时，处理器71与存储器72之间通过总线73通信，使得处理器71在执行以下指令：
[0284]
从道路视频流中获取包括预设的兴趣区域的至少两张区域图像；基于所述至少两
张区域图像的拍摄时间，以及对所述至少两张区域图像的车辆的检测与跟踪，确定所述兴趣区域对应的区域平均车速信息；基于所述兴趣区域的尺寸信息和所述兴趣区域内的车辆的数量，确定车辆密度信息；基于所述区域平均车速信息和所述车辆密度信息，确定所述兴趣区域对应的道路拥堵信息。
[0285]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的交通检测方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0286]
本公开实施例所提供的交通检测方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例中所述的交通检测方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0287]
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0288]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0289]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0290]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0291]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0292]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻
易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。