基于边缘计算的车辆状态实时检测系统的制作方法

本发明属于属于大数据与人工智能领域，具体涉及一种基于边缘计算的车辆状态实时检测系统。

背景技术：

智慧交通是在智能交通的基础上，融入物联网、云计算、大数据、移动互联等高新信息技术，通过高新技术汇集交通信息，提供实时交通数据下的交通信息服务。通过大量使用数据模型、数据挖掘等数据处理技术，实现智慧交通的系统性、实时性、信息交流的交互性以及服务的广泛性。

车辆作为智慧交通的核心组成，需要其能通过装载在车辆上的电子标签和无线射频等识别技术，实现在信息网络平台上对所有车辆的属性信息和静、动态信息进行提取和有效利用，并根据不同的功能需求对所有车辆的运行状态进行分析，从而实现有效的监管和提供综合服务。

本系统旨在利用车辆适配传感器(如摄像头，gps等)收集车辆相关信息，并对信息进行处理和分析，从而实现车辆位置，行驶状态，周遭路况，交通警示等功能的实时检测，为车联网大数据平台提供数据支撑和决策辅助。

目前传统的车联网架构分为端点、通道及平台三大部分。端点存在于各式车辆中，专责收集车辆的各种信息、行车状态及周遭环境，是具备感知器的通讯终端。通道则是负责解决与车辆相关的其他网络间互联互通的系统。藉由多种网络之间的互动及信息传播，便能让所有网络内的车辆成为具有智能系统且能自动应变的物体。云系统则是承担巨大的数据计算处理的平台，通过多部服务器组成的系统进行处理和分析，交换各种车辆相关信息，并返回计算结果给用户，成为既能够提供中央控制能力，也能整合所有相关信息，建构生态系统的庞大信息云。但是传统车联网架构在解决实际应用时面临着如下瓶颈：

1)每部车辆需要配备摄像头、激光雷达、超声波雷达等多个传感器，装置复杂成本高昂。

2)摄像头采集的图像和视频数据量大，导致通道传输延时高，实时检测性能弱。

3)摄像头采集的图像存在大量小目标难以被检测(如红绿灯，交通警示牌等)。

技术实现要素：

本发明的目的在于提供一种基于边缘计算的车辆状态实时检测系统，该系统可以实时检测各联网车辆状态，判断车辆行驶情况，提供交通路况预警，并整合所有车辆相关信息。

为实现上述目的，本发明具体提供的技术方案为：一种基于边缘计算的车辆状态实时检测系统，包括数据采集模块，用于采集全景路况数据；边缘计算模块，辆驾驶室设置有微型计算机，用于实时分析周围环境及车辆行驶状态；云计算平台模块，用于存储周围环境及车辆行驶状态数据；专用移动网络模块，实现车辆到云端的大规模数据传输。

进一步，数据采集模块中，车辆顶部安装了一台360度全景四路全彩车载摄像头，以0.1秒的频率采集照片。

进一步，图片数据通过蓝牙传输至该车辆驾驶室内的微型计算机，由该微型计算机处理并分析图片数据，最后将计算得到的结果传输回云计算平台模块。

进一步，边缘计算模块包括周围环境分析模块，其包括重构生成网络，重构生成网络根据输入图像搜索合适的映射，检测模块负责从映射后的生成图像提取roi，并将roi输入至roi-head进行分类和回归，得到物体的具体类别和位置。

进一步，环境分析模块还包括检测模块，首先应用res101-fpn神经网络作为检测模块的backbone，负责提取特征图；然后采用rpn神经网络从特征图中先提取2000个roi，再对每个roi使用roi-head神经网络计算各自的softmax分类概率和boundingbox回归概率，得到检测结果。

进一步，环境分析模块还包括判别模块，生成图像和原始输入图像会混合起来输入到该模块中进行判别。

进一步，所述边缘计算模块包括行驶状态分析模块，行驶状态分析模块是通过追踪线程，局部地图线程，回环与地图融合线程来实现。

进一步，追踪线程，给活动地图提供新的帧，并最小化单帧的重投影误差和决定当前帧是否成为关键帧通过惯性测量单元残差计算本体的速度与imu偏差。如果跟踪丢失，尝试在atals所有地图中重定位，如果成功那个地图将成为活动的，如果几帧过后失败，则重新开始一个新的地图。

进一步，局部地图线程：添加新的关键帧与地图点到活动地图中，删除冗余，利用滑动窗口通过ba更新地图。

进一步，每添加一个关键帧，就探测活动地图与其他地图的共有区域，如果检测到，则执行回环矫正，如果不属于同一个地图，则将他们融合成一个，在矫正后另开一个线程进行整体的光束平差优化，检测回环的同时，完成有共视子图地图的合并等操作，最终生成一个全局一致地图。

在数据采集上，该系统只需利用一部前置车载摄像头采集图像信息，解决了车辆多部传感器安装造成的高昂成本问题。

在数据处理上，针对传统云计算架构存在的图像和视频数据高延时传输问题，本发明设计了一种边缘计算架构。结构上不再采用将数据通过通道传输至后端云服务器处理的模式，而是在车辆终端上部署微型计算机(如树莓派等)，实现在数据源头上的计算处理，最后再将处理结果通过通道传输至后端云服务器，由此大大减少了传输数据的大小，从而降低了传输延时。

在数据分析上，本发明采用了基于单目摄像头的orb_slam3算法，这是一种利用图像的特征点对车辆进行视觉里程计、跟踪、回环检测的技术。本发明在微型计算机上应用orb_slam3算法分析摄像头采集的数据，从而实现车辆行驶状态的实时检测功能。

由于摄像头采集的图像存在大量小目标，而这些小目标应用orb_slam3算法时得到的特征点较为稀疏，难以被识别，所以本发明针对性的设计了一种超分辨率重构技术解决图像中的小目标检测难问题，实现了车辆周遭环境的实时分析功能。

具体的，摄像头采集图像首先通过一个重构生成模块建立低频率的原始图像到高频率的生成图像的映射，这种高频生成图像将用于锚定框预测。然后一个检测模块从这些生成图像中提取感兴趣区域(regionofinterest，roi)，并用一个roi-head网络在这些roi上进行检测框回归和类别预测。为了引导生成图像和原始图像高度关联，一个判别模块会被用来对原始图像和生成图像进行区分。

在数据传输上，由于车联网需要进行大量即时数据交互，要求通道具有较高的传输速度和较低的传输延时，所以本发明没有采用公用通信网络，而是部署专用通信网络专门负责车联网的数据传输。

在数据存储上，由于云端的分布式系统收集了大量车辆的多项指标数据，使得这些数据的交互传输成本变高。为了降低节点间的通信时间，本发明采用了超立方体网络结构，有效提高数据的处理速度，降低数据的交互延时。所有车辆的数据最终整合到云端数据库上并由前端网页调用展示，为城市交通管理提供决策和服务。

本发明的有益效果：实时检测各联网车辆状态，判断车辆行驶情况，提供交通路况预警，并整合所有车辆相关信息，建构庞大的车联网信息平台，提供所有车辆的状态信息，从而进行有效的监管和提供综合服务。

附图说明

图1为本发明系统架构图；图2为本发明周围环境分析模块的重构检测网络示意图；图3为本发明orb_slam3系统结构示意图；图4为本发明超立方体网络结构。

具体实施方式

如图1所示，一种基于边缘计算的车辆状态实时检测系统，包括数据采集模块，用于采集全景路况数据；边缘计算模块，辆驾驶室设置有微型计算机，用于实时分析周围环境及车辆行驶状态；云计算平台模块，用于存储周围环境及车辆行驶状态数据；专用移动网络模块，实现车辆到云端的大规模数据传输。

1、数据采集模块

车辆顶部安装了一台360度全景四路全彩车载摄像头，以0.1秒的频率采集照片。图片数据通过蓝牙传输至该车辆驾驶室内边缘端的微型计算机，由该边缘设备处理并分析图片数据，最后将计算得到的结果传输回云端服务器。

2边缘计算模块

结合图2所示

1)周围环境分析模块

下图介绍了基于超分辨率重构实现对采集图像数据进行周围环境识别分析的技术路线。本发明提出了一种生成判别式的学习框架用于道路场景的目标检测，尤其是对小目标的识别。检测流程主要包含三个模块，重构生成网络、判别模块和检测模块。重构生成网络负责根据输入图像搜索合适的映射，检测模块负责从映射后的生成图像提取roi，并将roi输入至roi-head进行分类和回归，得到物体的具体类别和位置。为了获取精确的重构映射，判别模块被引入用于维护图像的全局一致性。

重构生成网络：首先1个9×9的64通道卷积层连同1个bn层和1个prelu激活函数从输入图像中提取特征，接着5个residualblock对特征去噪和提纯，每个residualblock包含2个3×3的64通道卷积层、2个bn层和1个prelu激活函数。然后为了从低频映射到高频，2个upsampleblock在特征图上执行超分辨率重构，每个upsampleblock包含1个3×3的64通道卷积层，1个shuffle层和1个prelu激活函数。最后特征图通过1个9×9的3通道卷积层和1个tanh激活函数输出生成图像。

检测模块：首先应用res101-fpn神经网络作为检测模块的backbone，负责提取特征图。然后采用rpn神经网络从特征图中先提取2000个roi，再对每个roi使用roi-head神经网络计算各自的softmax分类概率和boundingbox回归概率，得到检测结果。

判别模块：为了保证生成图像足够真实，生成图像和原始输入图像会混合起来输入到该模块中进行判别。它使用了5个3×3的卷积层将3个通道扩大至1024个通道，再使用4个3×3的卷积层将特征图尺寸缩小到原始图像的1/16大小。每个卷积层都连接了1个bn层和1个leakyrelu激活函数。处理后的特征图通过1个sigmoid激活函数得到真实概率，高于阈值为真，反之为假。

结合图3所示

2)行驶状态分析模块

下图介绍了利用orb-slam3实现车辆行驶状态分析的技术路线。orb-slam3包括视觉里程计、追踪、回环检测，其核心是使用orb(orintedfastandbrief)作为整个即时定位与地图构建(simultaneouslocalizationandmapping，slam)中的核心特征。本发明将orb_slam3技术应用在单目摄像头上，构建了一个完全基于稀疏特征点的单目slam系统。

atlas：它是一个由一系列非连接的地图组成的多地图系统，其中包含一个活动的地图与许多非活动地图。活动地图与用于当前帧追踪线程的定位，同时会增加关键帧。该系统建立了一个独特的dbow2关键帧数据库，用于重定位、回环、合并地图等操作。

追踪线程：给活动地图提供新的帧，并最小化单帧的重投影误差和决定当前帧是否成为关键帧通过惯性测量单元(inertialmeasurementunit,mu)残差计算本体的速度与imu偏差。如果跟踪丢失，尝试在atals所有地图中重定位，如果成功那个地图将成为活动的。如果几帧过后失败，则重新开始一个新的地图。

局部地图线程：添加新的关键帧与地图点到活动地图中，删除冗余，利用滑动窗口通过ba更新地图。视觉惯性(visual-inertial，vi)模式中imu的参数在这个线程中使用最大后验估计技术初始化与更新。

回环与地图融合线程：每添加一个关键帧，就探测活动地图与其他地图的共有区域，如果检测到，则执行回环矫正，如果不属于同一个地图，则将他们融合成一个。在矫正后另开一个线程进行整体的光束平差优化(bundleadjustment,ba)，进一步更新地图且不影响实时性。检测回环的同时，完成有共视子图地图的合并等操作，最终生成一个全局一致地图。

结合图4所示

3云计算平台模块

传统的数据中心网络主要是客户机/服务器模式的应用服务，采用两到三层的树状结构。在以交换机为转发中心的结构中，汇聚的交换机是服务器之间通信的带宽瓶颈，难以满足高带宽的需求，并且其中一个发生故障都会影响到成千的服务器正常运行。

而该系统的云计算平台采用超立方体连接网络结构(hypercubeconnectednetwork，hcn)，这一结构能较好的提供高处理速度，有效降低的数据处理和通信时延，满足车联网平台需要的大数据实时处理的需求。

超立方体网络结构采用了递归的定义方式。设有n个hcn(n,h-1)结构组成，其中n为交换机端口数量，而h为hcn结构等级，每个hcn(n,h-1)通过全相连的方式与其他n-1个同等级的结构相连，由于每个hcn(n,h-1)有n个可用的服务器端口，hcn(n,h)网络仍然有n个可用的服务器端口用于进一步扩展，形成上图的结构。

超立方体网络结构以双端的服务器为转发中心，实现了以较小的网络直径获得较高的对分带宽。这种结构网络规则化程度高，对称性好且可扩展性强，可以满足大型数据中心的需求。

4专用移动网络模块

车联网平台由专用集群移动通信网实现车辆到云端的大规模数据传输。其主要方式是将宽带无线通信系统和窄带数字集群通信系统进行融合组网，组成宽窄带融合专用移动通信网络，通过使用多模终端实现对宽带数据业务的扩展。

宽窄带融合专用网络是一种基于异构无线网络技术的改进，能够像用户提供宽带无线接入和窄带数字集群的接入，实现不同终端之间的互联互通，并通过窄带数字集群网络实现向后兼容，通过宽带无线网络满足对数据传输的需求，有效的应对大量车辆产生的海量数据传输。