V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法

本发明涉及智能交通领域，尤其是涉及一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统及方法。

背景技术：

1、北上广历年智能网联道路测试报告显示，造成自动驾驶脱离的原因主要有两个：一个是由于社会车辆不按交规行驶导致，另一个是由于社会车辆或其他智能网联车辆切入时过于贴近，自身的感知系统未能及时反应导致。对于社会车辆不按交规行驶需要更完善的法律法规来约束，而对于智能网联车辆自身存在的感知系统反应不及时问题，我们可以通过优化感知算法、提高感知精度和进行风险预判来解决。

2、现有技术的自动驾驶风险预判系统通常采用基于lstm算法的轨迹预测模型来对切入车辆的行驶轨迹进行预测，然而，lstm长期预测会带来的累计误差，难以准确地对车辆轨迹进行预测，导致自动驾驶风险预判的准确性不高。此外，智能网联车辆常用的感知设备为激光雷达、毫米波雷达和摄像头，而在这些感知设备中，摄像头所获取的数据是最丰富的。然而，在实际复杂的混合交通流环境中，采用现有技术的视觉检测社会车辆和其他智能网联车辆进行跟踪预测其轨迹时存在车辆遮挡、目标尺度差异大以及真实道路环境中背景复杂、干扰物较多等问题，导致视觉检测的识别存在准确率不高以及速率较慢的缺陷。

技术实现思路

1、本发明旨在至少解决上述背景技术中提出的技术问题之一，提供一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统，以提高自动驾驶风险预判的准确性。

2、为达到上述目的，本发明所采用的技术方案是：

3、一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统，包括：

4、视觉识别跟踪模块，用于使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；

5、测速测距模块，用于对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到社会车辆与自身车辆的两车距离、社会车辆的位置及社会车辆的移动速度；

6、轨迹预测模块：用于通过strongsort算法中卡尔曼滤波的短期预测来不断矫正lstm算法中的长期预测，对基于lstm算法的轨迹预测模型进行改进以建立ss-lstm轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为ss-lstm轨迹预测模型的输入，得到目标车辆的行驶轨迹；

7、车联网通信模块，用于获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过v2x车联网将智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离以及测速测距模块得到的社会车辆的位置、移动速度及两车距离发送到轨迹预测模块，为后续进行轨迹预测提供数据输入；

8、风险预判模块：用于将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。

9、进一步地，所述视觉识别跟踪模块采用以yolov7-tiny模型为基础网络架构，对yolov7-tiny模型网络基础架构中的p3层进行卷积和上采样操作，增大特征图的尺寸，并与yolov7-tiny模型网络基础架构中的backbone层中的包含了大量细节信息的f2层进行拼接，再经过yolov7-tiny模型网络基础架构中的基础构建块mcb充分混合图像特征，输出额外构建的特征图p2，得到改进后的yolov7-tiny模型，利用改进后的yolov7-tiny模型进行多尺度预测。

10、进一步地，在基础构建块mcb充分混合图像特征的过程中引入simam注意力机制模块，具体引入位置为在backbone层中每个mcb块后、neck层concat块后和特征图p2、p3、p4中concat块前引入simam注意力机制模块。

11、进一步地，所述视觉识别跟踪模块对拍摄得到的视觉图像进行多尺度预测时，还对以yolov7-tiny模型为基础网络的训练损失函数进行优化，使用focal-eiou损失函数代替yolov7-tiny模型中默认的ciou损失函数。

12、进一步地，进行目标检测时，将横纵比的损失项拆分成预测的宽、高分别与最小外接框宽、高的差值，提出并集有效交集损耗，明确测量bbr中重叠面积、中心点和边长3个几何因子的差异，同时加入focal聚焦优质的锚框，从而优化边界框回归任务中样本不平衡的问题，进而实现对识别到的每帧目标通过strongsort进行跟踪；边界框优化过程中的惩罚项公式为其中为focal-eiou惩罚项，iou为预测框与真实框交并比，γ是用于控制曲线弧度的超参数，为eiou惩罚项。

13、进一步地，测速测距模块进行对识别跟踪到的社会车辆进行测速测距的步骤包括：首先对识别到的图像进行视觉透视变换，即对目标车辆四个角的像素点通过进行齐次坐标变换，其中表示目标车辆四个角的像素点的齐次坐标，表示变换矩阵，表示转换后的坐标，并对不同的目标进行分类，使用目标车辆真实长度与视觉识别中的目标车辆像素长度的比值，乘以两帧视觉图像中目标车辆移动的像素距离，求出目标车辆的真实移动距离，随后使用目标车辆的真实移动距离与两帧视觉图像之间的时间的比值，计算目标车辆的车速其式中，l′为目标车辆真实移动距离，δt为两帧视觉图像之间的时间，(xk，yk)为目标车辆k时刻的位置，(xk+1，yk+1)为目标车辆k+1时刻的位置，tk为k帧时刻，tk+1为k+1帧时刻，li为目标车辆真实长度，pi为目标车辆像素长度；使用目标车辆真实长度、真实宽度与目标车辆像素长度宽度的比值，乘上相机焦距，计算出目标车辆x,y方向距离，根据车辆距离公式得到两车距离其中m为相机焦距，wi是目标车辆的真实宽度，li是目标车辆的真实长度，qi是指目标车辆在视觉图像中的车辆像素宽度，pi是指目标车辆在视觉图像中的车辆像素长度。

14、进一步地，所述轨迹预测模块通过strongsort算法中卡尔曼滤波的短期预测来不断矫正lstm算法中的长期预测的方法为：

15、(1)卡尔曼滤波算法分为两步：预测和更新，其中，时间更新方程，即预测阶段根据前一时刻的状态估计值推算当前时刻的状态变量先验估计值和误差协方差先验估计值pk+1-，如公式(1)、(2)所示：

16、

17、pk+1-＝apkat+q                         (2)

18、式中，a为状态转移矩阵，b为控制变量矩阵，q为系统噪声协方差矩阵，pk为k时刻的后验估计协方差，k为时刻，uk为状态控制向量；

19、(2)k为卡尔曼增益，测量更新方程，即更新阶段，负责将先验估计值和新的测量变量zk结合起来构造改进的后验估计值以此来得到最优的估计值减少测量误差，如公式(3)、(4)、(5)所示：

20、

21、

22、

23、式中，i为单位矩阵，h为状态向量到测量向量的转换矩阵，为k时刻的先验估计协方差，r为测量噪声的协方差矩阵；

24、(3)上一时刻的输出值ht-1和这一时刻的输入值xt，这两个参数先输入进遗忘门，得到要舍弃的信息ft，将通过卡尔曼滤波得到的最优估计值作为xt输入到遗忘门中，如公式(6)所示：

25、ft＝σ(wf*[ht-1,xt]+bf)              (6)

26、式中，σ为sigmoid函数，wf和bf为全连接参数；

27、(4)进入输入门，得到决定要更新的信息it，以及当前时刻的状态如公式(7)、(8)所示：

28、it＝σ(wi*[ht-1,xt]+bi)                (7)

29、

30、式中，wi、bi、wc、bc为全连接参数；

31、(5)由遗忘门和输入门的输出值，即ft，it，进行组合，得到长时记忆ct，并对ct做tanh激活，最后与输出门ot进行乘积操作，最终得到输出ht，并且对于ht进行反馈矫正，最终实现通过strongsort中卡尔曼滤波的短期预测来不断矫正lstm的长期预测，如公式(9)、(10)、(11)所示：

32、

33、ot＝σ(wc*[ht-1,xt]+bo)               (10)

34、ht＝ot*tanh(ct)                               (11)

35、式中，wo、bo为全连接参数。

36、进一步地，风险预判模块的风险预判方法为：按照公式(12)对预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行同一时间纬度下的融合判断，得到目标车辆的行驶轨迹与自身车辆的行驶轨迹的最小距离，当连续三帧视觉图像中预测出的两条轨迹的最小距离小于设定的最小安全距离阈值时，判断两车存在碰撞风险，并进行风险提示；

37、

38、式中，smin为最小安全距离，ls为自身车辆长度，ws为自身车辆的宽度；df为车辆安全区间参数；li为目标车辆真实长度，wi为目标车辆真实宽度。

39、进一步地，所述v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统还包括震动提示模块和显示模块，所述通讯模块还将预判到的社会车辆和其他智能网联车辆切入风险信息发送到所述显示模块和所述震动提示模块，所述震动提示模块接收到所述通信模块发送的风险预警信息，通过蜂鸣器的震动来提示驾驶员当前存在驾驶风险，警示驾驶员进行接管；所述显示模块包括屏幕显示装置，所述显示模块能够将所述风险预判模块的风险提示信息进行显示，以此来警示驾驶员及时进行车辆接管，同时将所述轨迹预测模块预测到的目标车辆的行驶轨迹与自身车辆的行驶轨迹进行显示，使驾驶员清楚的了解当前车辆及周围车辆信息，以便驾驶员接管后有足够的信息进行安全驾驶。

40、本发明还提供一种v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判方法，包括以下步骤：

41、使用摄像头对自身车辆周围的图像进行拍摄，对拍摄得到的视觉图像进行目标检测，并对检测到的目标车辆进行跟踪预测；

42、对视觉识别跟踪到的目标车辆进行分类，将目标车辆分为社会车辆和智能网联车辆，对识别跟踪到的社会车辆进行测速测距，得到目标车辆与自身车辆的两车距离、目标车辆的位置及目标车辆的移动速度；

43、通过v2x车联网获得智能网联车辆的移动速度、位置以及智能网联车辆与自身车辆的两车距离，并通过v2x车联网将目标车辆的移动速度、目标车辆的位置及目标车辆与自身车辆的两车距离进行发送；

44、通过strongsort算法中卡尔曼滤波的短期预测来不断矫正lstm算法中的长期预测，对基于lstm算法的轨迹预测模型进行改进以建立ss-lstm轨迹预测模型，将两车距离和目标车辆的位置、移动速度信息作为ss-lstm轨迹预测模型的输入，得到目标车辆的行驶轨迹；

45、将预测得到的目标车辆的行驶轨迹与自身车辆行驶轨迹进行同一时间纬度下的拟合，以判断目标车辆与自身车辆是否存在碰撞风险。

46、由于采用上述技术方案，本发明具有以下有益效果：

47、1、上述v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统和方法，对于lstm长期预测所带来的累计误差，通过strongsort中卡尔曼滤波的短期预测来不断矫正长期预测，从而实现准确的车辆轨迹预测，以提高自动驾驶风险预判的准确性。

48、2、上述v2x环境下基于改进yolov7-tiny和ss-lstm的自动驾驶风险预判系统和方法，对于视觉中由于背景复杂存在识别准确率不高以及速率较慢等问题，通过改进yolov7-tiny算法的网络结构来提升视觉识别的精度和效率。