图像特征点对的筛选、图像处理方法及装置、电子设备与流程

背景技术：

1、图像特征点对的筛选是计算机视觉邻域中的基础部分，其可为图像处理中的物体识别、目标跟踪和三维重建等计算机视觉邻域中的具体应用提供数据支持。所谓图像特征点对的筛选指的是找出需要配准的两帧图像之间正确匹配的特征点，两帧图像之间匹配的特征点组成特征点对。

2、目前对于例如即时定位与地图构建(simultaneous localization and mapping，简称slam)中的特征点对的筛选，大多采用特征点描述子的方法进行特征点对的匹配，即通过对每一帧图像进行特征点提取和描述子计算，然后采用汉明距离等方法基于描述子进行特征点对的匹配。但是该方法对于在低纹理场景或者相似度比较高的场景中，会产生很多误匹配的特征点对，并且对于误匹配的特征点对，现有技术中均直接将误匹配的特征点对进行剔除。这种方式，会存在将正确特征点对当做误匹配的特征点对剔除的情况，从而导致特征点对筛选不准确，特征点对之间的匹配准确度不高的问题。

技术实现思路

1、本技术提供一种图像特征点对的筛选、图像处理方法及装置、电子设备，用以解决现有技术中存在的将正确特征点对当做误匹配的特征点对剔除的情况，从而导致特征点对筛选不准确，特征点对之间的匹配准确度不高的问题。

2、第一方面，本技术提供一种图像特征点对的筛选方法，应用于电子设备，该方法包括：确定目标图像对应的至少一个特征点对，以及确定特征点对的第一误差值；根据特征点对的第一误差值，从至少一个特征点对中筛选出至少一个特征点对，作为待检测特征点对；确定待检测特征点对的第二误差值；根据待检测特征点对的第一误差值和第二误差值，确定待检测特征点对的第三误差值；根据第三误差值，从至少一个待检测特征点对中筛选出至少一个待检测特征点对，作为目标特征点对。

3、本技术实现方式中，第一误差值例如为基于lk光流法确定的光流误差(也即lk误差)，第二误差值具体为特征点对的空间相似度误差。

4、本技术实现方式提供的图像特征点对的筛选方法，在确定至少一个特征点对和各特征点对的第一误差值后，根据第一误差值初步确定出误匹配的特征点对作为待检测特征点对，通过确定第二误差值，进而根据第一误差值和第二误差值确定第三误差值，从而根据第三误差值从至少一个待检测特征点对中筛选出目标特征点对。如此，在初次筛选过后根据待检测特征点对的第三误差值对筛选出的待检测特征点对进行二次筛选，减小将正确特征点对作为误匹配的特征点对剔除的概率，提升特征点对的筛选准确度。并且基于第三误差值确定目标特征点对，相比于仅根据第一误差值确定正确的特征点对，能够使得特征点对之间的匹配准确度变高。

5、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，确定待检测特征点对的第二误差值，包括：确定待检测特征点对的至少一个向量方向相似度和至少一个向量模值相似度；根据至少一个向量方向相似度和至少一个向量模值相似度确定待检测特征点对的第二误差值。

6、本技术实现方式中，根据待检测特征点对的向量方向相似度和向量模值相似度得到待检测特征点对的空间相似度误差，如此，能够基于待检测特征点对的空间相似度误差进行二次筛选，能够筛选出匹配准确度更高的特征点对。

7、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，特征点对包括正确特征点对，正确特征点对为至少一个特征点对中，待检测特征点对以外的其他特征点对，正确特征点对包括第一正确特征点和第二正确特征点，待检测特征点对包括第一待检测特征点和第二待检测特征点，确定待检测特征点对的至少一个向量方向相似度和至少一个向量模值相似度，包括：确定第一待检测特征点对应的至少一个第一正确特征点和第二待检测特征点对应的至少一个第二正确特征点；确定至少一个第一向量的坐标和模值以及确定至少一个第二向量的坐标和模值，其中，第一向量为以第一待检测特征点为起点、以第一正确特征点为终点的向量，第二向量为以第二待检测特征点为起点、以第二正确特征点为终点的向量；根据至少一个第一向量的坐标和至少一个第二向量的坐标确定待检测特征点对的至少一个向量方向相似度；并且根据至少一个第一向量的模值和至少一个第二向量的模值确定待检测特征点对的至少一个向量模值相似度。

8、本技术实现方式中，基于第一待检测特征点与多个第一正确特征点形成的第一向量的坐标和第二待检测特征点和多个第二正确特征点形成的第二向量的坐标，确定待检测特征点对的向量方向相似度，基于第一向量的模值和第二向量的模值确定待检测特征点对的向量模值相似度。如此，通过待检测特征点对和多个正确特征点对的向量关系得到待检测特征点对的第二误差值，如此，能够使得得到的待检测特征点对的向量方向相似度和向量模值相似度更加准确，进而得到更为精准的空间相似度误差，使得待检测特征点对的筛选更加准确，能够达到精准筛选特征点对的目的。

9、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，第一向量和第二向量通过以下方式得到：确定第一待检测特征点的第一邻域和第二待检测特征点的第二邻域；根据灰度质心法确定第一邻域内所述至少一个第一正确特征点的第一灰度质心点和第二邻域内至少一个第二正确特征点的第二灰度质心点；确定第一邻域的第一方向向量和第二邻域的第二方向向量，其中，第一方向向量为以第一待检测特征点为起点，以第一灰度质心点为终点的向量，第二方向向量为以第二待检测特征点为起点，以第二灰度质心点为终点的向量；确定第一向量方向和第一方向轴的第一夹角，以及确定第二向量方向和第二方向轴的第二夹角；将以第一待检测特征点为起点，以第一正确特征点为终点的向量沿第一方向旋转第一夹角，得到第一向量，以及将以第二待检测特征点为起点，以第二正确特征点为终点的向量沿第一方向旋转第二夹角，得到第二向量。

10、本技术实现方式中，基于灰度质心法确定出待检测特征点对的灰度质心点，并基于待检测特征点和灰度质心点构成邻域的方向向量，以根据方向向量和第一方向轴的夹角确定各正确特征点的旋转角度，并对各正确特征点进行旋转，进而基于旋转后的正确特征点得到第一向量和第二向量，从而确保图像的旋转不变性。

11、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，待检测特征点对的向量方向相似度通过以下方式得到：

12、

13、其中，direct_sim为待检测特征点对的向量方向相似度，(x1,y1)为第一向量的坐标，(x2,y2)为第二向量的坐标。

14、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，待检测特征点对的向量模值相似度通过以下方式得到：

15、

16、其中，dis_sim为待检测特征点对的向量模值相似度，d1为第一向量的模值，d′1为第二向量的模值。

17、本技术实现方式中，基于向量方向相似度和向量模值相似度的计算公式得到更加准确的向量方向相似度和向量模值相似度的计算结果。

18、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，第二误差值通过以下方式得到：

19、

20、其中，errorsp为第二误差值，direct_simi为待检测特征点对的第i个向量方向相似度，dis_simi为待检测特征点对的第i个向量模值相似度，i≥1。

21、本技术实现方式中，根据多个向量方向相似度和多个向量模值相似度，能够得到该待检测特征点对的空间相似度。如此，基于空间相似度进行特征点对的筛选，以得到匹配精度更高的特征点对。

22、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，根据待检测特征点对的第一误差值和第二误差值，确定待检测特征点对的第三误差值，包括：确定第一误差值的第一权重和第二误差值的第二权重；根据第一误差值的第一权重和第二误差值的第二权重对第一误差值和第二误差值进行加权平均处理，得到第三误差值。

23、本技术实现方式中，基于lk误差筛选出待检测特征点对，再计算待检测特征点对的空间相似度误差，对lk误差和空间相似度误差进行加权平均处理以得到最终的第三误差值，以使基于第三误差值确定特征点对的匹配精度，从而能够尽量避免仅基于lk误差进行特征点对的筛选，使得正确特征点对被当做错误特征点对被剔除的问题。

24、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，确定至少一个特征点对，包括：确定第一目标图像和第二目标图像；根据光流法确定第一目标图像中的第一特征点和第二目标图像中与第一特征点对应的第二特征点；根据第一特征点和第二特征点得到特征点对。

25、本技术实现方式中，采用光流法进行特征点匹配的方式相对于采用特征点描述子确定特征点对的方式，计算时只计算特征点，无需计算描述子，可以降低单帧图像特征点计算的时间。

26、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，确定特征点对的第一误差值，包括：根据误差函数确定特征点对的第一误差值。

27、本技术实现方式中，采用光流法的误差函数确定特征点对的第一误差值。如此，能够基于第一误差值确定出待检测特征点对，方便后续对待检测特征点对进行筛选。

28、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，根据特征点对的第一误差值，从至少一个特征点对中筛选出至少一个特征点对，作为待检测特征点对，包括：根据第一误差值和预设的比例阈值，从至少一个特征点对中按照从大到小的顺序筛选出比例阈值对应的至少一个特征点对，作为待检测特征点对；或者根据第一误差值和预设的第一误差阈值，从至少一个特征点对中筛选出第一误差值大于第一误差阈值的至少一个特征点对，作为待检测特征点对。

29、本技术实现方式中，确定出若干特征点对的第一误差值后，对各特征点对的第一误差值进行排序，根据预设的比例阈值和排序后的第一误差值，从若干特征点对中按照从大到小的顺序筛选出比例阈值对应的特征点对，作为待检测特征点对。或者根据预设的第一误差阈值和第一误差值，从若干特征点对中筛选出第一误差值大于预设的第一误差值的特征点对，作为待检测特征点对。如此，能够将第一误差值较大的特征点对筛选出来，方便后续对待检测特征点对进行二次筛选。

30、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，该方法还包括：将至少一个特征点对中，待检测特征点对以外的其他特征点对，作为目标特征点对。

31、本技术实现方式中，将第一误差值较小的一部分特征点对作为正确的特征点对(也即目标特征点对)，并且将第三误差值较小的待检测特征点对也作为正确的特征点对，如此，能够得到匹配较为准确的特征点对，方便后续根据特征点对进行图像处理。

32、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，根据第三误差值，从至少一个待检测特征点对中筛选出至少一个待检测特征点对，作为目标特征点对，包括：根据第三误差值和预设的第二误差阈值，从至少一个待检测特征点对中筛选出第三误差值小于等于预设的第二误差阈值的至少一个待检测特征点对，作为目标特征点对。

33、本技术实现方式中，筛选出第三误差值小于等于预设的第二误差阈值的多个待检测特征点对作为目标特征点对。如此，能够保留更多的误差值较小的特征点对。

34、在本技术实现方式提供的图像特征点对的筛选方法的一种实现方式中，第一误差值为基于光流法确定的光流误差，第二误差值为特征点对的空间相似度误差。

35、本技术实现方式中，根据光流误差和空间相似度误差确定特征点对为正确特征点对还是错误特征点对，如此，能够提升特征点对的筛选准确度，进而使得保留的特征点对的匹配精度变高。

36、第二方面，本技术提供一种图像处理方法，包括：确定目标图像对应的目标特征点对，目标特征点对通过第一方面提供的图像特征点对的筛选方法得到；根据目标特征点对，对目标图像进行图像处理。

37、第三方面，本技术提供一种特征点对的筛选装置，包括：第一处理模块，用于确定目标图像对应的至少一个特征点对，以及确定特征点对的第一误差值；第二处理模块，用于根据特征点对的第一误差值，从至少一个特征点对中筛选出至少一个特征点对，作为待检测特征点对；第三处理模块，用于确定待检测特征点对的第二误差值；第四处理模块，用于根据待检测特征点对的第一误差值和第二误差值，确定待检测特征点对的第三误差值；第五处理模块，用于根据第三误差值，从至少一个待检测特征点对中筛选出至少一个待检测特征点对，作为目标特征点对。

38、本技术提供的特征点对的筛选装置，包括用于执行上述第一方面所提供的图像特征点对的筛选方法的模块，因此也能实现第一方面提供的图像特征点对的筛选方法所具备的有益效果(或优点)。

39、第四方面，本技术提供一种图像处理装置，包括：第一处理模块，用于确定目标图像对应的目标特征点对，所述目标特征点对通过第一方面提供的图像特征点对的筛选方法得到；第二处理模块，用于根据所述目标特征点对，对所述目标图像进行图像处理。

40、第五方面，本技术的实施方式提供了一种电子设备，包括：处理器，以及与处理器通信连接的存储器；存储器存储计算机执行指令；处理器执行存储器存储的计算机执行指令，以实现如上述第一方面的实现方式所提供的图像特征点对的筛选方法或者实现上述第二方面提供的图像处理方法。

41、第六方面，本技术的实施方式提供了一种计算机可读取存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如上述第一方面的实现方式所提供的图像特征点对的筛选方法或者实现上述第二方面提供的图像处理方法。

42、第七方面，本技术的实施方式提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上述第一方面的实现方式所提供的图像特征点对的筛选方法或者实现上述第二方面提供的图像处理方法。

43、可以理解的是，上述第二方面至第七方面的有益效果也可以参见上述第一方面中的相关描述，在此不再赘述。