一种基于无人机航拍视频图像的道路提取跟踪方法、装置

本发明涉及图像提取识别领域，尤其涉及一种基于无人机航拍视频图像的道路跟踪方法。

背景技术：

1、现有道路提取方法需要依赖车道线以及导向箭头，实际情况中存在着车道线缺失或不连续、导向箭头模糊不清的情况，提取出的道路区域误差性大、普适性差，对于连续道路图像的跟踪存在误差累积的影响。以及现有道路跟踪方法主要是采用车载摄像头拍摄道路图像，通过道路行车环境中的车道线以及路面导向箭头的检测识别技术，来实现道路区域的检测。但是，采用车载摄像头拍摄道路图像，和对道路图像进行映射变换生成俯视图，会导致道路图像中出现车道线透视变换的情况，而且最后形成的道路图像中车道宽度以及车道周围环境均会发生形变，出现不够精确的情况。

技术实现思路

1、本发明提供了一种基于无人机航拍视频图像的道路提取跟踪方法、装置，通过无人机航拍的方式提取道路视频图像，并通过算法处理获得道路区域图像和道路图像文档，得到连续、精确的道路图像，并将计算出的文档用作后续道路的准确提取，解决了无人机航拍图像的道路精确提取、连续提取问题。

2、为了解决上述技术问题，本发明提供了一种基于无人机航拍视频图像的道路提取跟踪方法，包括：

3、一种基于无人机航拍视频图像的道路提取方法，包括：

4、通过无人机航拍获取待处理的第一图像，并对所述第一图像执行颜色空间转换，获得第二图像；

5、根据预设的交通路口检测算法，对所述第二图像进行交通路口检测，获得所述第二图像对应的一个或多个交通路口区域；

6、根据预设的漫水填充算法，以各所述交通路口区域的区域中心点为第一种子，对所述第二图像进行漫水填充处理，获得所述第一图像对应的第一道路区域；

7、确定所述第一道路区域内与预设种子模板匹配的若干个第一子区域；

8、根据预设的区域数据提取方法，对所述若干个第一子区域进行数据提取，生成所述第一图像对应的道路图像文档；其中，所述道路图像文档包括：各第一子区域的区域中心点坐标及第一子区域的数量；

9、通过对无人机航拍获取的所述第一图像进行算法处理和数据提取，可以提取到清晰准确的交通路口区域，使得获取的所述第一图像具有清晰度高、图像不需要映射变换、显示效果贴近现实等优点，为后续视频图像的道路连续提取提供图像和数据基础。

10、作为优选方案，所述对所述第一图像执行颜色空间转换，获得第二图像，包括：

11、将所述第一图像的rgb颜色空间转换到hsv颜色空间，将转换后的第一图像中s通道像素值大于第一预设阈值的区域作为第二图像；

12、使用hsv通道阈值对所述第一图像进行筛选，可以将所述第二图像分离出来，用作后续准确区域跟踪。

13、作为优选方案，所述将转换后的第一图像中s通道像素值大于第一预设阈值的区域作为第二图像，包括：

14、根据所述无人机的不同拍摄情况，对多段道路视频图像进行分析，通过人眼比对预设阈值对道路区域的分割效果，并对所述分割效果进行排序，得到最佳分割效果阈值；根据所述最佳分割效果阈值与所述拍摄情况进行对应，将得到多组所述最佳分割效果阈值，作为所述第一预设阈值；

15、通过对所述第一预设阈值进行具体定义，可以得到更好地筛选出所述第二图像的条件，用作后续的道路图像处理。

16、作为优选方案，所述根据预设的交通路口检测算法，对所述第二图像进行交通路口检测，获得所述第二图像对应的一个或多个交通路口区域，具体包括：

17、使用基于focus网络结构和fpn特征的yolox神经网络目标监测算法，对所述第二图像进行交通路口检测，获得所述第二图像对应的一个或多个交通路口区域；

18、使用交通路口检测算法对所述第二图像进行交通路口检测，可以得到对应的区域中心点的坐标并用作种子，用以完成后续视频图像帧的道路区域跟踪。

19、作为优选方案，所述确定所述第一道路区域内与预设种子模板匹配的若干个第一子区域，包括：

20、在所述第一道路区域内使用模板匹配算法，找到所述第一道路区域内所有与预设种子模板匹配的若干个第一子区域；

21、采用模板匹配算法查找所述第一道路区域内所有与预设种子模板匹配的若干个第一子区域，可以避免在处理后续视频图像帧的时候出现所述种子本身不符合道路特征的情况。

22、作为优选方案，所述根据预设的区域数据提取方法，对所述若干个第一子区域进行数据提取，生成所述第一图像对应的道路图像文档，具体为：

23、在所述第一道路区域内使用模板匹配算法找到所述第一道路区域内所有与所述预设种子模板匹配的区域，统计所述所有与所述预设种子模板匹配的区域的中心点坐标及第一子区域的数量；

24、通过模板匹配算法对所述第一道路区域进行处理，得到所需的与预设种子模板匹配的区域并获取所需坐标点位置和数量，可以使后续对道路区域的跟踪更加准确。

25、作为优选方案，所述根据预设的区域数据提取方法，对所述若干个第一子区域进行数据提取，生成所述第一图像对应的道路图像文档，还包括：

26、在所述第一道路区域内使用最大最小值算法，找到所述第一道路区域内所有像素的最大值与最小值；在所述第一道路区域内使用平均值算法，统计所述第一道路区域内所有像素的像素均值；

27、通过算法得到所述第一道路区域内所有像素的最大值、最小值、平均值，可以用作下一帧视频图像的种子筛选方法，有利于后续道路区域的连续跟踪。

28、完成所述基于无人机航拍视频图像的道路提取方法后，本发明提供了一种基于无人机航拍视频图像的道路跟踪方法，包括：

29、通过无人机航拍获取待处理的第一视频；

30、根据上述基于无人机航拍视频图像的道路提取方法中任意一项所述，确定所述第一视频内各帧视频图像所对应的道路图像文档，完成对所述第一视频的道路跟踪。

31、通过对无人机航拍获取的待处理第一视频进行道路提取，确定所述第一视频内各帧视频图像所对应的道路图像文档，完成对所述第一视频的道路跟踪，可以得到后续视频图像帧的跟踪的必要数据。

32、本发明还提供了一种基于无人机航拍视频图像的道路跟踪方法，包括：

33、通过无人机航拍获取待处理的第一视频，并对所述第一视频中的各帧视频图像执行颜色空间转换，获得每帧视频图像各自对应的第三图像；

34、确定第一帧的视频图像所对应的道路图像文档；其中，所述道路图像文档包括：第一帧的视频图像对应的区域中心点数量及各区域中心点的坐标；

35、按照视频帧顺序，根据上一帧视频图像对应的区域中心点的坐标和预设的区域中心点映射方法，确定下一帧视频图像的第二种子，并结合预设的漫水填充算法，对下一帧视频图像对应的第三图像进行漫水填充处理，获得下一帧视频图像对应的第二道路区域，继而根据预设的区域数据提取方法，对下一帧视频图像对应的第二道路区域进行数据提取，获得下一帧视频图像对应道路图像文档；

36、当各帧视频图像均生成对应的道路图像文档后，完成对所述第一视频的道路跟踪。

37、通过无人机航拍获取的所述第一视频具有清晰度高、图像不需要映射变换、显示效果贴近现实等优点，对所述第一视频中的各帧视频图像进行跟踪和文档数据提取，可以避免出现缺失车道线、缺失导向箭头、车道线不连续、导向箭头模糊的情况，并由所述上一帧视频图像对所述下一帧视频图像进行图像和数据支持，使无人机航拍得到的道路视频图像能够被精确、连续地提取。

38、作为优选方案，所述第一视频中的各帧视频图像执行颜色空间转换，包括：

39、将所述第一视频中的各帧视频图像的rgb颜色空间转换到hsv颜色空间，将转换后的第一视频中的各帧视频图像中s通道像素值大于第一预设阈值的区域作为第三图像；

40、使用hsv通道阈值对所述第一视频中的各帧视频图像进行筛选，可以将所述第三图像分离出来，用作后续准确区域跟踪。

41、作为优选方案，所述将转换后第一视频中的各帧视频图像中s通道像素值大于第一预设阈值的区域作为第三图像，包括：

42、根据所述无人机的不同拍摄情况，对多段道路视频图像进行分析，通过人眼比对预设阈值对道路区域的分割效果，并对所述分割效果进行排序，得到最佳分割效果阈值；根据所述最佳分割效果阈值与所述拍摄情况进行对应，将得到多组所述最佳分割效果阈值，作为所述第一预设阈值；

43、通过对所述第一预设阈值进行具体定义，可以得到更好地筛选出所述第三图像的条件，用作后续的道路图像处理。

44、作为优选方案，所述确定第一帧的视频图像所对应的道路图像文档，具体为：

45、根据上述基于无人机航拍视频图像的道路提取方法中任意一项所述，确定第一帧的视频图像所对应的道路图像文档。

46、通过对无人机航拍获取的所述第一视频进行道路提取，确定所述第一帧的视频图像所对应的道路图像文档，可以得到后续视频图像帧的跟踪的必要数据。

47、作为优选方案，所述根据上一帧视频图像对应的区域中心点的坐标和预设的区域中心点映射方法，确定下一帧视频图像的第二种子，具体为：

48、通过图像匹配获得所述上一帧视频图像与所述下一帧视频图像的变换矩阵，利用所述变换矩阵，通过单应变换算法将所述上一帧视频图像对应的区域中心点的坐标映射到所述下一帧视频图像上，得到所述下一帧视频图像对应的区域中心点的坐标，判断所述下一帧视频图像对应的区域中心点的坐标是否符合标准检测；

49、当所述下一帧视频图像对应的区域中心点通过标准检测，确定由预设条件选定的区域中心点的坐标作为第二种子；

50、当所述下一帧视频图像对应的区域中心点没有通过标准检测，则使用模板匹配算法找到所述第三图像内所有与所述预设种子模板匹配的区域，提取由预设条件选定的区域中心点坐标作为第二种子；

51、利用所述变换矩阵通过单应变换算法对坐标点进行映射，可以得到对应的区域中心点坐标，并用作所述第二种子选取的条件；经过所述标准检测后确定所述第二种子，可以避免在处理后续视频图像帧的时候出现所述第二种子本身不符合道路特征的情况。

52、作为优选方案，所述判断所述下一帧视频图像对应的区域中心点的坐标是否符合标准检测，具体为：

53、提取所述下一帧视频图像对应的区域中心点的坐标和所述上一帧视频图像所对应的道路图像文档，得到第一坐标、第二坐标、第一像素最大值、第一像素最小值、第一像素均值，其中，所述第一坐标为下一帧视频图像对应的区域中心点的坐标，所述第二坐标、第一像素最大值、第一像素最小值、第一像素均值分别为上一帧视频图像对应的区域中心点的坐标、像素最大值、像素最小值和像素均值；

54、比较所述第一坐标与所述第二坐标的像素值大小；

55、若所述第一坐标的像素值大于所述第二坐标的像素值，则计算所述第一坐标的像素值与所述第二坐标的像素值之间的第一差值，以及所述第一像素最大值与所述第一像素均值之间的第二差值；

56、若所述第一坐标的像素值小于所述第二坐标的像素值，则计算所述第一坐标的像素值与所述第二坐标的像素值之间的第三差值，以及所述第一像素均值与所述第一像素最小值之间的第四差值；

57、若所述第一差值大于所述第二差值，或所述第三差值大于所述第四差值，则确定所述第一坐标不符合标准；若所述第一差值小于所述第二差值，或所述第三差值小于所述第四差值，则确定所述第一坐标符合标准；

58、采用所述标准检测方法，可以保证所述下一帧视频图像对应的区域中心点的坐标与所述上一帧视频图像对应的区域中心点的坐标之间的像素值差距在可控范围内，既保证了匹配点的特征一致性，又提高了匹配点的准确性。

59、作为优选方案，所述根据预设的区域数据提取方法，对下一帧视频图像对应的第二道路区域进行数据提取，获得下一帧视频图像对应道路图像文档，具体为：

60、在所述第二道路区域内使用模板匹配算法找到所述第二道路区域内所有与所述第二种子匹配的区域，统计所述所有与所述第二种子匹配的区域的中心点坐标及数量；在所述第二道路区域内使用最大最小值算法，找到所述第二道路区域内所有像素的最大值与最小值；在所述第二道路区域内使用平均值算法，统计所述第二道路区域内所有像素的像素均值；其中，所述道路图像文档包括：所述下一帧视频图像对应的第二道路区域的区域中心点的坐标、所述第二道路区域内所有像素的最大值、最小值和像素均值；

61、采用模板匹配算法查找所述第二道路区域内所有与预设种子模板匹配的区域，可以避免在处理所述下一帧视频图像时出现所述第二种子本身不符合道路特征的情况，采用最大最小值算法和平均值算法可以计算出所述第二道路区域内所有像素的最大值、最小值和像素均值，得到处理后续视频图像所需的文档数据。

62、本发明还提供了一种基于无人机航拍视频图像的道路提取装置，包括：

63、图像获取模块：通过无人机航拍获取待处理的第一图像，并对所述第一图像执行颜色空间转换，获得第二图像；

64、路口检测模块：根据预设的交通路口检测算法，对所述第二图像进行交通路口检测，获得所述第二图像对应的一个或多个交通路口区域；

65、道路区域获取模块：根据预设的漫水填充算法，以各所述交通路口区域的区域中心点为第一种子，对所述第二图像进行漫水填充处理，获得所述第一图像对应的第一道路区域；

66、匹配区域确定模块：确定所述第一道路区域内与预设种子模板匹配的若干个第一子区域；

67、数据提取模块：根据预设的区域数据提取方法，对所述若干个第一子区域进行数据提取，生成所述第一图像对应的道路图像文档；其中，所述道路图像文档包括：各第一子区域的区域中心点坐标及第一子区域的数量；

68、通过对无人机航拍获取的所述第一图像进行算法处理和数据提取，可以提取到清晰准确的交通路口区域，使得获取的所述第一图像具有清晰度高、图像不需要映射变换、显示效果贴近现实等优点，为后续视频图像的道路连续提取提供图像和数据基础。

69、本发明还提供了一种基于无人机航拍视频图像的道路跟踪第一装置，包括：

70、视频获取模块：通过无人机航拍获取待处理的第一视频；

71、道路跟踪模块：根据所述的一种基于无人机航拍视频图像的道路提取装置，确定所述第一视频内各帧视频图像所对应的道路图像文档，完成对所述第一视频的道路跟踪；

72、通过所述第一装置中的模块，对无人机航拍获取的待处理第一视频进行道路提取，确定所述第一视频内各帧视频图像所对应的道路图像文档，完成对所述第一视频的道路跟踪，可以得到后续视频图像帧的跟踪的必要数据。

73、本发明还提供了一种基于无人机航拍视频图像的道路跟踪第二装置，包括：

74、视频图像获取模块：通过无人机航拍获取待处理的第一视频，并对所述第一视频中的各帧视频图像执行颜色空间转换，获得每帧视频图像各自对应的第三图像；

75、文档获取模块：确定第一帧的视频图像所对应的道路图像文档；其中，所述道路图像文档包括：第一帧的视频图像对应的区域中心点数量及各区域中心点的坐标；

76、道路连续获取模块：按照视频帧顺序，根据上一帧视频图像对应的区域中心点的坐标和预设的区域中心点映射方法，确定下一帧视频图像的第二种子，并结合预设的漫水填充算法，对所述下一帧视频图像对应的第三图像进行漫水填充处理，获得下一帧视频图像对应的第二道路区域；

77、文档生成模块：根据预设的区域数据提取方法，对所述下一帧视频图像对应的第二道路区域进行数据提取，获得下一帧视频图像对应道路图像文档；

78、道路区域输出模块：当各帧视频图像均生成对应的道路图像文档后，将所述第二道路区域进行输出，完成对所述第一视频的道路跟踪；

79、所述第二装置中，通过无人机航拍获取的所述第一视频具有清晰度高、图像不需要映射变换、显示效果贴近现实等优点，对所述第一视频中的各帧视频图像进行跟踪和文档数据提取，可以避免出现缺失车道线、缺失导向箭头、车道线不连续、导向箭头模糊的情况，并由所述上一帧视频图像对所述下一帧视频图像进行图像和数据支持，使无人机航拍得到的道路视频图像能够被精确、连续地提取。

80、相比于现有技术，本发明实施例具有如下有益效果：通过无人机航拍的方式提取道路视频图像，并通过算法处理获得道路区域图像和道路图像文档，得到连续、精确的道路图像，并将计算出的文档用作后续道路的准确提取，解决了无人机航拍图像的道路精确提取、连续提取问题。