二维图像目标匹配方法、电子设备和存储介质与流程

本申请涉及图像处理，尤其涉及一种二维图像目标匹配方法、电子设备和存储介质。

背景技术：

1、二维（two dimensional，2d）图像目标匹配一般是解决如下问题：已知图像a中目标的位置，求该目标在待检图像b中的位置。

2、要实现这一目标，需要先用一组信息来唯一（实际情况是尽可能接近，难以真正唯一）表征该目标，这就涉及到特征提取。相比于全局特征提取，局部特征提取的计算量小，但由于忽略了特征集元素之间的相对位置关系，目前基于局部特征点进行2d图像匹配时容易出现误匹配对。

技术实现思路

1、本申请提供一种二维图像目标匹配方法、电子设备和存储介质，用以解决基于局部特征点进行2d图像匹配时目标匹配质量不高的问题。

2、第一方面，本申请提供了一种二维图像目标匹配方法，包括：

3、在第一图像提取多个第一图像二维特征点；

4、基于每个所述第一图像二维特征点和与每一所述第一图像二维特征点对应的第一特征信息，构造对应于每个所述第一图像二维特征点的第一图像三维特征点；

5、基于所有所述第一图像三维特征点构建第一点云；

6、在第二图像提取多个第二图像二维特征点；

7、基于每个所述第二图像二维特征点和与每一所述第二图像二维特征点对应的第一特征信息，构造对应于每个所述第二图像二维特征点的第二图像三维特征点；

8、基于所有所述第二图像三维特征点构建第二点云；

9、确定所述第一点云和所述第二点云之间的变换矩阵；

10、基于所述变换矩阵，确定所述第一图像的目标区域在所述第二图像中的匹配位置。

11、在一些实施例中，所述在第一图像提取多个第一图像二维特征点，包括：

12、在所述第一图像中进行目标识别，确定所述第一图像的目标区域；

13、在所述第一图像的目标区域提取多个所述第一图像二维特征点。

14、在一些实施例中，所述在第二图像提取多个第二图像二维特征点，包括：

15、对所述第一图像中目标的运动轨迹进行预测，确定所述第二图像的目标区域；

16、在所述第二图像的目标区域提取多个所述第二图像二维特征点。

17、在一些实施例中，所述第一图像三维特征点或所述第二图像三维特征点中任一三维特征点的构造方式包括：

18、基于对应于所述三维特征点的二维特征点的第一特征信息和所述二维特征点所在图像的尺寸，得到所述二维特征点的第一特征值；

19、以所述二维特征点的图像坐标和所述二维特征点的第一特征值作为三维坐标，构造所述三维特征点。

20、在一些实施例中，所述基于对应于所述三维特征点的二维特征点的第一特征信息和所述二维特征点所在图像的尺寸，得到所述二维特征点的第一特征值，包括：

21、基于以下公式得到所述二维特征点的第一特征值：

22、

23、其中，为所述二维特征点的第一特征值，为所述二维特征点的第一特征信息的数据值，为所述二维特征点所在图像的图像宽度，为所述二维特征点所在图像的图像高度，为所述二维特征点的第一特征信息的取值范围内的最大值。

24、在一些实施例中，所述确定所述第一点云和所述第二点云之间的变换矩阵，包括：

25、基于以下公式确定所述第一点云和所述第二点云之间的变换矩阵：

26、

27、其中，为所述第一点云和所述第二点云之间的变换矩阵，表示所述变换矩阵中的旋转变换，表示所述变换矩阵中的平移变换，表示旋转变换，表示平移变换，表示所述第二点云中第i个三维特征点的三维坐标，表示所述第一点云中第i个三维特征点的三维坐标，为所述第一点云中三维特征点的个数，为所述第二点云中三维特征点的个数。

28、在一些实施例中，所述基于所述变换矩阵，确定所述第一图像的目标区域在所述第二图像中的匹配位置，包括：

29、基于所述变换矩阵，对所述第一点云进行变换，得到第三点云；

30、基于所述第三点云中各三维特征点的二维图像坐标，确定所述第一图像的目标区域在所述第二图像中的匹配位置。

31、在一些实施例中，所述第一特征信息，包括：

32、图像灰度信息；或者，

33、色调饱和度值hsv中的色调h信息。

34、在一些实施例中，所述对所述第一图像中目标的运动轨迹进行预测，包括：

35、基于所述第一图像中目标的最大运动速度、以及所述第一图像与所述第二图像之间的拍摄时间间隔，对所述第一图像中目标的运动轨迹进行预测。

36、在一些实施例中，所述方法还包括：

37、对第p-1帧图像中目标的运动轨迹进行预测，确定第p帧图像的目标区域；

38、在所述第p帧图像的目标区域提取多个第p帧图像二维特征点；

39、基于每个所述第p帧图像二维特征点和与每一所述第p帧图像二维特征点对应的第一特征信息，构造对应于每个所述第p帧图像二维特征点的第p帧图像三维特征点；

40、基于所有所述第p帧图像三维特征点构建第p点云；

41、确定所述第一点云和所述第p点云之间的变换矩阵；

42、基于所述变换矩阵，确定所述第一图像的目标区域在所述第p帧图像中的匹配位置；

43、其中，所述第一图像为第一帧图像，p为大于或者等于2的整数。

44、第二方面，本申请提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的方法。

45、第三方面，本申请提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的方法。

46、第四方面，本申请提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的方法。

47、本申请提供的二维图像目标匹配方法，通过构造第一图像和第二图像的三维特征点以及构建第一点云和第二点云，进而确定第一点云和第二点云之间的变换矩阵，根据变换矩阵来确定第一图像的目标区域在第二图像中的匹配位置，从而将3d图像匹配算法应用到2d图像目标匹配中，提升了图像匹配结果的准确性。

技术特征：

1.一种二维图像目标匹配方法，其特征在于，包括：

2.根据权利要求1所述的二维图像目标匹配方法，其特征在于，所述在第一图像提取多个第一图像二维特征点，包括：

3.根据权利要求2所述的二维图像目标匹配方法，其特征在于，所述在第二图像提取多个第二图像二维特征点，包括：

4.根据权利要求1所述的二维图像目标匹配方法，其特征在于，所述第一图像三维特征点或所述第二图像三维特征点中任一三维特征点的构造方式包括：

5.根据权利要求4所述的二维图像目标匹配方法，其特征在于，所述基于对应于所述三维特征点的二维特征点的第一特征信息和所述二维特征点所在图像的尺寸，得到所述二维特征点的第一特征值，包括：

6.根据权利要求1至5任一项所述的二维图像目标匹配方法，其特征在于，所述确定所述第一点云和所述第二点云之间的变换矩阵，包括：

7.根据权利要求1至5任一项所述的二维图像目标匹配方法，其特征在于，所述基于所述变换矩阵，确定所述第一图像的目标区域在所述第二图像中的匹配位置，包括：

8.根据权利要求1至5任一项所述的二维图像目标匹配方法，其特征在于，所述第一特征信息，包括：

9.根据权利要求3所述的二维图像目标匹配方法，其特征在于，所述对所述第一图像中目标的运动轨迹进行预测，包括：

10.根据权利要求2所述的二维图像目标匹配方法，其特征在于，所述方法还包括：

11.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任一项所述的二维图像目标匹配方法。

12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的二维图像目标匹配方法。

技术总结
本申请公开了一种二维图像目标匹配方法、电子设备和存储介质，属于图像处理技术领域，本申请实施例的二维图像目标匹配方法包括：在第一图像提取多个第一图像二维特征点；基于每个第一图像二维特征点和与每一第一图像二维特征点对应的第一特征信息，构造对应于每个第一图像二维特征点的第一图像三维特征点；基于所有第一图像三维特征点构建第一点云；并按照相同的方法构建第二图像对应的第二点云；确定第一点云和第二点云之间的变换矩阵；基于变换矩阵，确定第一图像的目标区域在第二图像中的匹配位置。

技术研发人员：屈洋,郝冬宁
受保护的技术使用者：湖北星纪魅族集团有限公司
技术研发日：
技术公布日：2024/1/16