一种车辆违规事件检测的方法、装置和电子设备与流程

本发明实施例涉及网络技术领域，特别涉及一种车辆违规事件检测的方法、装置和电子设备。

背景技术：

随着社会经济、科技的不断发展，物质生活水平不断提高，城市机动车数量迅速增长，城市交通环境逐渐恶化，道路安全问题越来越受到人们的关注。在道路安全中，车辆道路停车、车辆逆行等行为都属于高频交通违法行为。一旦发生车辆道路停车、逆行等行为极易引发道路拥堵甚至交通事故。因此，利用现有的道路视频监控系统实现对车辆道路停车、逆行等行为的实时自动检测判定，在实际生产生活中具有十分重要的意义。

发明人发现现有技术中至少存在如下问题：目前针对车辆发生的不同违规事件需要采用不同的检测方式进行判断，例如，对车辆道路停车的检测可以采用光流检测方式确定车辆的运动速度和方向，根据车辆运动速度与正常行驶车辆的运动速度进行比对，根据比对结果判断车辆是否发生道路停车的违规事件；而对车辆逆向行驶的检测是根据车辆运动方向与正常运动车辆的方向是否一致的检测结果，确定车辆的违规检测结果。可见，针对车辆的不同违规事件的检测，需采用不同的方式，应用不方便，不利于对车辆的违规事件进行检测；同时；上述的检测方法，准确度低，不能对道路中行驶的车辆起到检测作用，失去检测的意义。

技术实现要素：

本发明实施方式的目的在于提供一种车辆违规事件检测的方法、装置和电子设备，使得可以准确地对各种场景中的车辆进行违规事件的检测，减少车辆违规事件的发生次数。

为解决上述技术问题，本发明的实施方式提供了一种车辆违规事件检测的方法，包括：实时采集预设区域内所有车辆的图像数据，图像数据包含至少2帧所述区域内的图像；根据图像数据，确定在预设区域内每辆车的运动轨迹；根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，其中，交通事件确定模型为车辆运动轨迹与车辆所属交通事件之间的对应关系；根据每辆车所属的交通事件，输出指示车辆属于违规交通事件的告警信息。

本发明的实施方式还提供了一种车辆违规事件检测的装置，包括：采集模块、第一确定模块、第二确定模块和信息输出模块；采集模块用于实时采集预设区域内所有车辆的图像数据，图像数据包含至少2帧区域内的图像；第一确定模块用于根据图像数据，确定在预设区域内每辆车的运动轨迹；第二确定模块用于根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，其中，交通事件确定模型为车辆运动轨迹与车辆所属交通事件之间的对应关系；信息输出模块用于根据每辆车所属的交通事件，输出指示车辆属于违规交通事件的告警信息。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被所述至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的车辆违规事件检测的方法。

本发明实施方式相对于现有技术而言，通过采集预设区域内所有车辆的图像数据，根据图像数据中的帧图像，确定出在该预设区域内每辆车的运动轨迹；根据每辆车的运动轨迹和交通事件确定模型，即可确定出当前车辆所属的交通事件，由于无需根据不同的检测需求，对车辆设置不同的检测方法，提高了对车辆进行违规事件检测的适用场景的范围，且仅需检测一次即可准确地确定出当前车辆所属的交通事件，加快了对车辆的检测速度；由于车辆的交通事件与车辆运动状态相关，通过采集的每辆车的运动轨迹和交通事件确定模型共同确定出车辆的所属交通事件，可以提高了对交通事件检测的准确性，有效减少道路违规事件的发生。

另外，在确定每辆车当前所属的交通事件之前，车辆违规事件检测的方法还包括：获取预设区域在第一预设时间段内车辆的历史图像数据，以及获取第一预设时间段内每辆车所属的交通事件；根据历史图像数据，确定第一预设时间段内每辆车在预设区域内的历史运动轨迹；根据历史运动轨迹以及第一预设时间段内每辆车所属的交通事件，构建交通事件确定模型。通过大量历史数据作为构建交通事件确定模型的基础，使得确定的交通事件确定模型较为准确。

另外，交通事件确定模型采用深度神经网络方式构建，其中，交通事件确定模型的输入层包含n个节点，每个节点对应每辆车运动轨迹的一个采样点，输出层包含m个输出节点，每个输出节点对应一种交通事件，n和m为大于1的整数。采用深度神经网络方式构建交通事件确定模型，使得该交通事件确定模型更加结合实际，准确度高；运动轨迹的采样点数与节点数对应，以便可以准确地构建该深度神经网络模型。

另外，根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，具体包括：获取交通事件确定模型输入层的节点数目；根据输入层的节点数目，分别对每辆车的运动轨迹进行预处理；将预处理后的每辆车的运动轨迹作为交通事件确定模型的输入，确定每辆车当前的交通事件。根据交通确定模型的输入层节点数对每辆车的运动轨迹进行预处理，以便每辆车的运动轨迹符合交通事件确定模型的输入。

另外，根据输入层的节点数目，分别对每辆车的运动轨迹进行预处理，具体包括：对每辆车的运动轨迹进行以下预处理：判断运动轨迹中包含的采样点的数目是否等于节点数目，若确定运动轨迹中包含的采样点数目不等于节点数目，则调整运动轨迹中的采样点数目，以使调整后的运动轨迹中采样点数目等于节点数目。通过调节采样点数，以确保无论实际的采样点为多为少，都可以根据运动轨迹中的采样点确定出对应的交通事件。

另外，在获取交通事件确定模型输入层的节点数目之后，车辆违规事件检测的方法还包括：对每辆车的运动轨迹进行归一化处理。通过归一化操作，便于后续快速对运动轨迹进行处理，同时由于运动轨迹映射到0到1之间，也减少了因运动轨迹中两个采样点距离相差较大而导致出现的大误差。

另外，根据图像数据，确定在预设区域内每辆车的运动轨迹，具体包括：检测每帧图像中每辆车在预设区域内的位置；针对图像中每辆车进行如下处理：在连续帧的图像中识别车辆，并将每帧图像中车辆的位置作为车辆运动轨迹中的采样点；根据区域内车辆的运动轨迹的采样点，确定车辆的运动轨迹。可以较为准确地识别每帧图像中的车辆，且由于图像的连续性，即可较为准确地追踪每辆车在图像中的位置，进而可以较快且准确地确定出每辆车在预设区域图像中对应运动轨迹，缩短确定运动轨迹的时间。

另外，将预处理后的每辆车的运动轨迹作为交通事件确定模型的输入，确定每辆车当前所属的交通事件，具体包括：对每辆车进行如下处理：获取当前车辆对应的每种交通事件的置信度；根据置信度，确定车辆当前所属交通事件。根据置信度可以较为客观地确定出车辆所属交通事件。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。

图1是根据本发明第一实施方式中提供的一种车辆违规事件检测的方法的具体流程示意图；

图2是根据本发明第一实施方式中车辆的运动轨迹中采样点示意图；

图3是根据本发明第二实施方式中提供的确定每辆车当前所属的交通事件的具体流程示意图；

图4是根据本发明第三实施方式中提供的一种车辆违规事件检测的装置的具体结构意图；

图5是根据本发明第四实施方式中提供的一种电子设备的具体结构意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。

本发明的第一实施方式涉及一种车辆违规事件检测的方法。该车辆违规事件检测的方法应用于终端或电子设备上，并将该终端或电子设备安装在需要检测车辆违规事件的道路、停车场等位置，以便对预设区域内的车辆进行实时检测。该车辆违规事件检测的方法具体的流程如图1所示。

步骤101：实时采集预设区域内所有车辆的图像数据，图像数据包含至少2帧区域内的图像。

具体的说，可以使用摄像头、红外监控设备等采集图像数据的设备，实时采集预设区域内所有车辆的图像数据。预设区域可以根据车辆违规事件检测的场景进行确定，检测的场景可以是停车场、高速路口或者道路等。其中，预设区域可以设置为该采集设备对当前场景的采集最大采集范围，例如，若采集设备为摄像头，检测场景为路口位置，那么可以将该摄像头在当前路口拍摄的图像的范围作为预设区域。由于采集设备通常固定设置在检测场景，从而使得该预设区域固定不变。

图像数据至少包括2帧该预设区域内的图像，例如，若采用摄像头实时采集预设区域内的图像，即采集的为连续的帧图像。

需要说明的是，在确定每辆车当前的交通事件之前，需要预先构建当前预设区域的交通事件确定模型。确定该交通事件确定模型的方式可以采用如下方式。

一个具体的实现中，获取预设区域在第一预设时间段内车辆的历史图像数据，以及获取第一预设时间段内每辆车所属的交通事件；根据历史图像数据，确定第一预设时间段内每辆车在预设区域内的历史运动轨迹；根据历史运动轨迹以及第一预设时间段内每辆车所属的交通事件，构建交通事件确定模型。

具体的说，需要检测车辆是否违规的场景有多种，预设区域不同，因而可以根据每个预设区域确定出各自对应的交通事件确定模型。该交通事件确定模型可以采用神经网络学习的方式进行构建。可以通过大量的历史数据进行学习，从而构建出该交通事件确定模型。第一预设时间段可以从历史时间段中选取，为了学习的准确性，可以选取与当前时间相邻的时间段。例如，若当前为2018年1月1日，则可以第一预设时间段可以为2017年1月1日至2017年12月31日之间的时间段。获取预设区域在第一预设时间段内车辆的历史图像数据，识别出每帧图像中的车辆，并根据连续的帧图像，确定出每辆车在该预设区域图像中的运动轨迹，将每辆车的历史运动轨迹作为交通事件定模型的输入数据，将获取到的每辆车的所属交通事件作为该交通事件定模型的输出结果，利用机器学习算法或者神经网络算法，即可构建出该预设区域内的交通事件确定模型。可以理解的是，本实施方式不限制构建交通事件确定模型的算法。

步骤102：根据图像数据，确定在预设区域内每辆车的运动轨迹。

一个具体的实现中，检测每帧图像中每辆车在预设区域内的位置；针对图像中每辆车进行如下处理：在连续帧的图像中识别车辆，并将每帧图像中车辆的位置作为车辆运动轨迹中的采样点；根据区域内车辆的运动轨迹的采样点，确定车辆的运动轨迹。

具体的说，识别图像数据中包含的每帧图像内的车辆，并检测出每辆车在该图像中的位置，由于预设区域是固定的，且采集设备也是固定的，使得每帧图像中的背景(固定不动的建筑)均相同，通过不同帧图像中每辆车的位置信息，即可确定出在该预设区域的图像中每辆车的运动轨迹，其中，每帧图像中车辆的位置即可作为运动轨迹中的一个采样点。

识别图像中的车辆可以采用特征提取的方式进行车辆的识别，并确定该车辆在当前图像中的所在区域，为了便于获取该车辆的运动轨迹，可以选取每辆车所在区域的中心点作为该车辆在该图像中的位置，通过多帧图像，即可确定出该车辆的运动轨迹，例如，如图2所示，框a、框b和框c分别代表车辆y在3帧连续图像中的所在区域，则获取框a的中心点s1，框b的中心点s2和框c的中点s3,该s1、s2和s3三点的连线即可确定为该车辆y的运动轨迹。

车辆的识别还可以通过yolo(youonlylookonce，简称“yolo”)实时目标检测法或者物体检测算法ssd(singleshotmultiboxdetector，简称“ssd”)实现，之后可以通过匈牙利算法追踪属于相同的车辆在预设区域图像中的位置，从而可以获取到每辆车的运动轨迹，其中，yolo或者ssd以及匈牙利算法的具体计算过程，本实施方式中将不再进行赘述。

步骤103：根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，其中，交通事件确定模型为车辆运动轨迹与车辆所属交通事件之间的对应关系。

一个具体的实现中，对每辆车的运动轨迹进行如下处理：将车辆的运动轨迹作为交通事件确定模型的输入，得到车辆对应每种交通事件的置信度；根据置信度，确定车辆当前所属交通事件。

具体的说，按照交通事件确定模型的输入参数要求，将每辆车的运动轨迹输入该交通事件确定模型中，该交通事件模型根据输入的运动轨迹，计算出该辆车对应的每种交通事件的置信度，可以每种交通事件的置信度大小，确定当前车辆所属交通事件。例如：若该交通事件确定模型中对应的输出结果包括，违规停车、车辆逆行以及该车辆正常行驶三种交通事件，在将车辆a的运轨迹输入该交通事件确定模型之后，得到上述三种交通事件对应的置信度，分别为停车置信度为0.1、车辆逆行的置信度为0.8，而该车辆正常行驶的置信度为0.1，因此，即可根据该车辆置信度的大小，确定出该车辆a的所属交通事件为逆行。当然，可以理解的是，交通事件确定模型中对应的所属交通事件的类型可以根据实际需要进行设置，不限于本实施方式中所列举的三种交通事件。

步骤104：根据每辆车所属的交通事件，输出指示车辆属于违规交通事件的告警信息。

具体的说，在确定车辆所属交通事件属于违规的交通事件，则可以输出指示该车辆属于违规交通事件的告警信息，输出的方式可以是语音通报、还可以是上传至相关网络平台(如交通网平台等)。

本发明实施方式相对于现有技术而言，通过采集预设区域内所有车辆的图像数据，根据图像数据中的帧图像，确定出在该预设区域内每辆车的运动轨迹；根据每辆车的运动轨迹和交通事件确定模型，即可确定出当前车辆所属的交通事件，由于无需根据不同的检测需求，对车辆设置不同的检测方法，提高了对车辆进行违规事件检测的适用场景的范围，且仅需检测一次即可准确地确定出当前车辆所属的交通事件，加快了对车辆的检测速度；由于车辆的交通事件与车辆运动状态相关，通过采集的每辆车的运动轨迹和交通事件确定模型共同确定出车辆的所属交通事件，可以提高了对交通事件检测的准确性，有效减少道路违规事件的发生。

本发明的第二实施方式涉及一种车辆违规事件检测的方法。第二实施方式是对第一实施方式中步骤103：根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件的具体细化。其中，确定每辆车当前所属的交通事件的具体流程如图3所示。

步骤2031：获取交通事件确定模型输入层的节点数目。

一个具体的实现中，交通事件确定模型采用深度神经网络方式构建，其中，交通事件确定模型的输入层包含n个节点，每个节点对应每辆车运动轨迹的一个采样点，输出层包含m个输出节点，每个输出节点对应一种交通事件，n和m为大于1的整数。

具体的说，深度神经网络模型(deepneuralnetwork，简称“dnn”模型)包含输入层、隐层和输出层三个部分。输入层的每个节点对应于一辆车运动轨迹的一个采样点，例如，输入层包含4个节点，则该4个节点对应于车辆a的运动轨迹的4个采样点。而隐层可以设置单层或多层，且每层也可以设置多个节点，隐层的层次越多，计算越复杂，可以根据实际的需要设置隐层的层数和每层的节点数。输出层包含m个输出节点，每个输出节点对应一种交通事件，如正常行驶、路边停车和逆向行驶等交通事件。

由于交通事件确定模型是预先构建好的，可以直接获取到该交通事件确定模型输入层的节点数目。

步骤2032：根据输入层的节点数目，分别对每辆车的运动轨迹进行预处理。

一个具体的实现中，对每辆车的运动轨迹进行以下预处理：判断运动轨迹中包含的采样点的数目是否等于节点数目，若确定运动轨迹中包含的采样点数目不等于节点数目，则调整运动轨迹中的采样点数目，以使调整后的运动轨迹中采样点数目等于节点数目。

下面以其中一辆车的运动轨迹为例进行说明。

具体的说，首先获取该辆车的运动轨迹中所包含的采样点数目，判断该采样点数目是否等于输入层中的节点数，若是相等，则直接进行将该辆车中运动轨迹中的每个采样点作为交通事件确定模型的输入，若是不相等，则调整该辆车中运动轨迹的采样点数目，以使该采样点数目与输入层的节点数目相等。当运动轨迹中的采样点数目大于输入层的节点数目，则随机删除该运动轨迹采样点坐标数据的最大值和最小值之间中任一的坐标数据，直至该车辆的运动轨迹坐标数据的数量等于n个。当运动轨迹中的采样点数目小于输入层的节点数目，则在该车辆运动轨迹采样点坐标数据的最大值和最小值之间随机模拟生成新的采样点，直至该车辆的运动轨迹坐标数据的数量等于n个。

需要说明的是，在获取交通事件确定模型输入层的节点数目之后，且在分别对每辆车的运动轨迹进行预处理之前，还可以对每辆车的运动轨迹进行归一化处理。通过归一化操作，便于后续快速对运动轨迹进行处理，同时由于运动轨迹映射到0到1之间，也减少了因运动轨迹中两个采样点距离相差较大而导致出现的大误差。

步骤2033：将预处理后的每辆车的运动轨迹作为交通事件确定模型的输入，确定每辆车当前的交通事件。

一个具体的实施方式中，获取当前车辆对应的每种交通事件的置信度；根据置信度，确定车辆当前所属交通事件。该过程与第一实施方式中的根据置信度确定交通事件的过程大致相同，此处将不再赘述。

本实施方式中提供的车辆违规事件检测的方法，采用深度神经网络方式构建交通事件确定模型，使得该交通事件确定模型更加结合实际，准确度高；运动轨迹的采样点数与节点数对应，以便可以构建该深度神经网络模型构建；且通过调节采样点数，以确保无论实际的采样点为多为少，都可以根据运动轨迹中的采样点确定出对应的交通事件。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种车辆违规事件检测的装置，该车辆违规事件检测的装置30包括：采集模块301、第一确定模块302、第二确定模块303和信息输出模块304，具体结构如图4所示。

采集模块301用于实时采集预设区域内所有车辆的图像数据，图像数据包含至少2帧区域内的图像；第一确定模块302用于根据图像数据，确定在预设区域内每辆车的运动轨迹；第二确定模块303用于根据每辆车的运动轨迹以及交通事件确定模型，确定每辆车当前所属的交通事件，其中，交通事件确定模型为车辆运动轨迹与车辆所属交通事件之间的对应关系；信息输出模块304用于根据每辆车所属的交通事件，输出指示车辆属于违规交通事件的告警信息。

不难发现，本实施方式为与第一实施方式相对应的装置实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。

值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。

本发明第四实施方式涉及一种电子设备，该电子设备40包括：至少一个处理器401；以及，与至少一个处理器401通信连接的存储器402；其中，存储器402存储有可被至少一个处理器401执行的指令，指令被至少一个处理器401执行，以使至少一个处理器401能够执行第一实施方式或第二实施方式中的车辆违规事件检测的方法。该电子设备的具体结构如图5所示。

其中，存储器402和处理器401采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器401和存储器402的各种电路链接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。

处理器401负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。