一种车辆所处场景的识别方法、装置、设备及存储介质与流程

本发明涉及车辆，特别是涉及一种车辆所处场景的识别方法、装置、设备及存储介质。

背景技术：

1、在自动驾驶中，场景识别是指根据自动驾驶车辆采集的信息，如图像信等，理解车辆当前所在的环境及环境中各种物体的状态，进而识别出当前属于哪个具体的驾驶场景，如旁车切入、前车切出、左/右变道、红绿灯路口、常规道路巡航、跟车等。

2、现有的场景识别方法通常是通过车辆摄像头采集的图像信息进行识别，但采用图像信息进行识别存在场景识别的准确率不高的问题。

技术实现思路

1、有鉴于此，本发明旨在提出一种车辆所处场景的识别方法、装置、设备及存储介质，以解决采用图像信息进行场景识别，场景识别准确率不高的问题。

2、为达到上述目的，本发明的技术方案是这样实现的：

3、一种车辆所处场景的识别方法，包括：

4、获取所述车辆对周围环境进行图像采集得到的图像信息，以及所述车辆对周围环境进行感知得到的文本信息；

5、对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合；

6、基于信息融合后得到的融合信息，确定所述车辆所处的场景类别。

7、进一步地，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

8、对所述图像信息进行特征提取，得到图像向量表示，以及对所述文本信息进行特征提取，得到文本向量表示；

9、将所述文本向量表示中与所述图像向量表示关联的特征作为所述图像向量表示特征的补充，融合到所述图像向量表示的特征中，得到融合特征向量。

10、进一步地，所述将所述文本向量表示中与所述图像向量表示关联的特征作为所述图像向量表示特征的补充，融合到所述图像向量表示的特征中，得到融合特征向量，包括：

11、将所述文本向量表示中与所述图像向量表示关联的特征作为所述图像向量表示特征的补充，融合到所述图像向量表示的特征中，得到第一融合向量表示；

12、将所述文本向量表示中与所述第一融合向量表示关联的特征作为所述第一融合向量表示特征的补充，融合至所述第一融合向量表示中，得到融合特征向量。

13、进一步地，所述图像信息包括历史图像信息和当前图像信息，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

14、对所述当前图像信息和所述历史图像信息进行融合，得到融合图像信息；

15、对对所述图像信息，以所述文本信息作为补充信息，对所述融合图像信息和所述文本信息进行融合。

16、进一步地，所述获取所述车辆对周围环境进行采集得到的图像信息，包括：

17、获取所述车辆在多个视角进行采集得到的多个图像；

18、对所述多个图像进行拼接，得到所述图像信息。

19、进一步地，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

20、将所述图像信息和所述文本信息输入至场景识别模型的融合特征模块，通过所述融合特征模块对所述图像信息和所述文本信息进行融合；

21、所述基于信息融合后得到的融合信息，确定所述车辆所处的场景类别，包括：

22、将所述特征融合模块输出的融合信息输入到类别识别模块，得到所述场景类别的识别结果；

23、其中，所述场景识别模型是以真实驾驶场景获取的图像信息和文本信息为训练样本得到的。

24、进一步地，所述历史图像信息的获取方法包括：

25、从多张连续拍摄的历史图像中抽取多张的所述图像；

26、其中，相邻抽取的两张图像的拍摄时间的时间间隔由所述拍摄时间与当前时间的差异确定，其中，所述拍摄时间与所述当前时间的差异越小，所述时间间隔越短。

27、相对于现有技术，本发明所述的车辆所处场景的识别方法具有以下优势：

28、本发明通过获取所述车辆对周围环境进行图像采集得到的图像信息，以及所述车辆对周围环境进行感知得到的文本信息；对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合；基于信息融合后得到的融合信息，确定所述车辆所处的场景类别；本发明通过文本信息对图像信息进行补充，对文本信息和图像信息进行融合，这样可以借助文本信息中表征车辆的障碍物的信息、车道信息等，去进一步增强和丰富车辆所处的图像信息所描述的场景特征，因此，采用融合后的信息进行场景识别，使得帮助场景识别的信息更加丰富，避免忽略场景识别关键信息导致的场景识别准确率不高的问题，且由于对图像信息和文本信息进行了融合，从不同的方向确定了场景的特征，有效地提高了场景识别的准确度。

29、本发明的另一目的在于提出一种车辆所处场景的识别装置，以解决采用图像信息进行场景识别，场景识别准确率不高的问题。

30、为达到上述目的，本发明的技术方案是这样实现的：

31、一种车辆所处场景的识别装置，包括：

32、获取模块，用于获取所述车辆对周围环境进行采集得到的图像信息，以及所述车辆对周围环境进行感知得到的文本信息；

33、融合模块，用于对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合；

34、确定模块，用于基于信息融合后得到的融合信息，确定所述车辆所处的场景类别。

35、所述车辆所处场景的识别装置与上述车辆所处场景的识别方法相对于现有技术所具有的优势相同，在此不做赘述。

36、本发明的另一目的在于提出一种电子设备，以解决采用图像信息进行场景识别，场景识别准确率不高的问题。

37、为达到上述目的，本发明的技术方案是这样实现的：

38、一种电子设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现上述车辆所处场景的识别方法中的步骤。

39、所述电子设备与上述车辆所处场景的识别方法相对于现有技术所具有的优势相同，在此不做赘述。

40、本发明的另一目的在于提出一种计算机存储介质，以解决采用图像信息进行场景识别，场景识别准确率不高的问题。

41、为达到上述目的，本发明的技术方案是这样实现的：

42、一种计算机可读存储介质，所述计算机可读存储介质存储执行上述车辆所处场景的识别方法的计算机程序。

43、所述计算机存储介质与上述车辆所处场景的识别方法相对于现有技术所具有的优势相同，在此不做赘述。

技术特征：

1.一种车辆所处场景的识别方法，其特征在于，所述方法包括：

2.根据权利要求1所述的车辆所处场景的识别方法，其特征在于，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

3.根据权利要求2所述的车辆所处场景的识别方法，其特征在于，所述将所述文本向量表示中与所述图像向量表示关联的特征作为所述图像向量表示特征的补充，融合到所述图像向量表示的特征中，得到融合特征向量，包括：

4.根据权利要求1-3任一所述的车辆所处场景的识别方法，其特征在于，所述图像信息包括历史图像信息和当前图像信息，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

5.根据权利要求1所述的车辆所处场景的识别方法，其特征在于，所述获取所述车辆对周围环境进行采集得到的图像信息，包括：

6.根据权利要求1所述的车辆所处场景的识别方法，其特征在于，所述对所述图像信息，以所述文本信息作为补充信息，对所述图像信息和所述文本信息进行融合，包括：

7.根据权利要求3所述的车辆所处场景的识别方法，其特征在于，所述历史图像信息的获取方法包括：

8.一种车辆所处场景的识别装置，其特征在于，所述装置包括：

9.一种电子设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-7任一所述的车辆所处场景的识别方法中的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储执行权利要求1-7任一所述的车辆所处场景的识别方法的计算机程序。

技术总结
本发明提供了一种车辆所处场景的识别方法、装置、设备及存储介质，所述方法包括：获取所述车辆对周围环境进行图像采集得到的图像信息，以及所述车辆对周围环境进行感知得到的文本信息；对所述图像信息中多个目标物所在的区域信息，以所述文本信息中与所述区域信息对应的子信息作为辅助信息，对所述图像信息和所述文本信息进行融合；基于信息融合后得到的融合信息，确定所述车辆所处的场景类别；本发明通过将图像信息和文本信息进行深度融合，提高了对场景特征的识别能力，有效提高了场景识别的准确率。

技术研发人员：艾锐,顾维灏,王岳,姜航,朱良钦
受保护的技术使用者：毫末智行科技有限公司
技术研发日：
技术公布日：2024/4/7