一种基于双目图像的场景流检测方法、系统、设备及介质与流程

本发明涉及计算机视觉，尤其是一种基于双目图像的场景流检测方法、系统、设备及介质。

背景技术：

1、随着高速公路的交通流量增加，交通通行情况也变得越来越复杂。为了提高高速公路的通行效率，越来越多的交通事件检测技术不断被投入使用。相比于采用激光雷达、毫米波雷达进行高速公路检测的技术，基于相机的检测算法可以提供稠密点云，并且可以提供可视化的结果，可以为高层次的高速公路调度任务提供更好的支持。然而，当前基于相机的高速公路检测主要集中对车辆的识别，难以获得目标的位置和运动信息，在高速公路监控中的实时性和准确率不佳。综合上述，相关技术中存在的技术问题亟需得到解决。

技术实现思路

1、有鉴于此，本发明实施例提供一种基于双目图像的场景流检测方法、系统、设备及介质，以获取场景流信息。

2、一方面，本发明提供了一种基于双目图像的场景流检测方法，包括：

3、获取双目图像集合；

4、通过特征提取模型对所述双目图像集合进行特征提取，得到图像特征集合；

5、根据所述图像特征集合进行视差计算，并通过代价聚合进行视差优化处理，得到视差数据；

6、根据所述图像特征集合进行光流计算，并通过能量函数进行光流优化处理，得到光流数据；

7、对所述视差数据和所述光流数据进行配对处理，得到场景流数据。

8、可选地，所述获取双目图像集合，包括：

9、通过双目相机或双目摄像头获取双目图像集合，所述双目图像集合包括当前帧视图和相邻帧视图，所述当前帧视图包括左视图和右视图，所述相邻帧视图为所述当前帧视图的前一帧视图或后一帧视图。

10、可选地，所述通过特征提取模型对所述双目图像集合进行特征提取，得到图像特征集合，包括：

11、对所述双目图像集合进行图像划分处理，得到划分图像集合；

12、将所述划分图像集合输入到所述特征提取模型进行卷积计算、归一化计算和二值化计算，得到图像特征集合，所述特征提取模型基于二值卷积网络构建得到。

13、可选地，所述根据所述图像特征集合进行视差计算，并通过代价聚合进行视差优化处理，得到视差数据，包括：

14、获取图像特征集合，所述图像特征集合包括左视图特征和右视图特征；

15、对所述左视图特征和右视图特征进行匹配代价计算处理，根据计算得到的匹配代价进行最小值代价选取，得到初始视差；

16、根据所述初始视差选取备选视差，对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据。

17、可选地，所述根据所述图像特征集合进行光流计算，并通过能量函数进行光流优化处理，得到光流数据，包括：

18、获取图像特征集合，所述图像特征集合包括第一特征和第二特征；

19、对所述第一特征和所述第二特征进行特征块匹配处理，得到匹配特征块；

20、根据所述匹配特征块进行光流计算，得到初始光流；

21、根据所述初始光流、所述第一特征和所述第二特征构造得到能量函数；

22、根据所述能量函数对所述初始光流进行还原和匹配处理，得到光流数据。

23、可选地，所述对所述双目图像集合进行图像划分处理，得到划分图像集合，包括：

24、对所述双目图像集合中的每一个图像进行像素点选取处理，得到像素点集合；

25、以所述像素点集合中每一个像素点为中心进行划分处理，得到划分图像集合。

26、可选地，所述根据所述初始视差选取备选视差，对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据，包括：

27、对所述初始视差进行视差优化处理，并对优化后的视差进行选取处理，得到备选视差；

28、对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据。

29、另一方面，本发明实施例还提供了一种基于双目图像的场景流检测系统，包括：

30、第一模块，用于获取双目图像集合；

31、第二模块，用于通过特征提取模型对所述双目图像集合进行特征提取，得到图像特征集合；

32、第三模块，用于根据所述图像特征集合进行视差计算，并通过代价聚合进行视差优化处理，得到视差数据；

33、第四模块，用于根据所述图像特征集合进行光流计算，并通过能量函数进行光流优化处理，得到光流数据；

34、第五模块，用于对所述视差数据和所述光流数据进行配对处理，得到场景流数据。

35、可选地，所述第一模块，用于获取双目图像集合，包括：

36、第一单元，用于通过双目相机或双目摄像头获取双目图像集合，所述双目图像集合包括当前帧视图和相邻帧视图，所述当前帧视图包括左视图和右视图，所述相邻帧视图为所述当前帧视图的前一帧视图或后一帧视图。

37、可选地，所述第二模块，用于通过特征提取模型对所述双目图像集合进行特征提取，得到图像特征集合，包括：

38、第二单元，用于对所述双目图像集合进行图像划分处理，得到划分图像集合；

39、第三单元，用于将所述划分图像集合输入到所述特征提取模型进行卷积计算、归一化计算和二值化计算，得到图像特征集合，所述特征提取模型基于二值卷积网络构建得到。

40、可选地，所述第三模块，用于根据所述图像特征集合进行视差计算，并通过代价聚合进行视差优化处理，得到视差数据，包括：

41、第四单元，用于获取图像特征集合，所述图像特征集合包括左视图特征和右视图特征；

42、第五单元，用于对所述左视图特征和右视图特征进行匹配代价计算处理，根据计算得到的匹配代价进行最小值代价选取，得到初始视差；

43、第六单元，用于根据所述初始视差选取备选视差，对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据。

44、可选地，所述第四模块，用于根据所述图像特征集合进行光流计算，并通过能量函数进行光流优化处理，得到光流数据，包括：

45、第七单元，用于获取图像特征集合，所述图像特征集合包括第一特征和第二特征；

46、第八单元，用于对所述第一特征和所述第二特征进行特征块匹配处理，得到匹配特征块；

47、第九单元，用于根据所述匹配特征块进行光流计算，得到初始光流；

48、第十单元，用于根据所述初始光流、所述第一特征和所述第二特征构造得到能量函数；

49、第十一单元，用于根据所述能量函数对所述初始光流进行还原和匹配处理，得到光流数据。

50、可选地，所述第一单元，用于对所述双目图像集合进行图像划分处理，得到划分图像集合，包括：

51、对所述双目图像集合中的每一个图像进行像素点选取处理，得到像素点集合；

52、以所述像素点集合中每一个像素点为中心进行划分处理，得到划分图像集合。

53、可选地，所述第六单元，用于根据所述初始视差选取备选视差，对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据，包括：

54、对所述初始视差进行视差优化处理，并对优化后的视差进行选取处理，得到备选视差；

55、对所述初始视差和所述备选视差进行代价聚合处理，选取最小值聚合代价为视差数据。

56、另一方面，本发明实施例还公开了一种电子设备，包括处理器以及存储器；

57、所述存储器用于存储程序；

58、所述处理器执行所述程序实现如前面所述的方法。

59、另一方面，本发明实施例还公开了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。

60、另一方面，本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。

61、本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明实施例通过特征提取模型对所述双目图像集合进行特征提取，能够提高特征提取的准确率，并将提取得到的特征分别进行视差优化处理和光流优化处理，得到场景流数据，能够提高场景流数据的准确率和稳定性，从而准确地获取目标的位置和运动信息，提高监控的实时性和准确率。