一种图像特征检测方法及系统

本发明涉及图像处理，具体涉及一种图像特征检测方法及系统。

背景技术：

1、在图像中检测和描述兴趣点是许多机器人系统的基本组成部分。同步定位与地图构建(slam)、运动恢复结构(sfm)等领域的研究具有很高的关注度，这些领域需要能够在各种场景下进行检测和重新识别的点，包括照明变化和视角变化。传统上，这些任务依赖于手工设计的特征，如sift、brief或orb，这可能限制在挑战性情况下的性能。随着深度学习方法在计算机视觉领域取得突破，在兴趣点检测和描述方面有了很多值得注意的工作。这些工作显著提高了机器人系统的性能。

2、尽管深度学习的进步带来了改善，但在对有限计算资源的机载设备上部署时，面对诸如多机器人slam和协作定位等多机器人系统的日益关注，这些网络遇到了困难，使得实时处理成为一项挑战。此外，在某些情况下，机器人可能配备多个摄像头，这就需要更多的计算资源。此外，这些描述符是使用浮点数表示的高维度数据来表示单个点。高维度导致在机器人之间传输这些描述符时产生了沉重的通信负担。一些工作采用主成分分析(pca)来压缩描述符。然而，这种方法并没有加速网络推断，并且需要事先收集数据进行pca。因此，迫切需要快速的点检测和紧凑的描述方法，以减轻机载边缘设备之间的通信负担。

3、传统的兴趣点检测算法如shi-tomasi和fast，在与手工设计的描述符(如sift和orb)相结合时，在机器人系统中仍然发挥着重要作用。近年来，深度学习的兴起导致了对稳健的点检测和不变性描述的大量研究。一些研究人员将点检测视为分类问题，而其他人则通过基于回归的方法追求亚像素级别的点检测。对于局部描述符，已经有一些工作利用对比学习和自监督学习等技术生成更高质量的表示。此外，大多数这些方法利用运动恢复结构(sfm)数据进行训练，也已经探索使用具有单应性增强的数据来简化和扩展数据准备的方法。因此，这些进展显著提高了机器人应用的性能，特别是在具有大规模视角变化或照明变化的挑战性场景中。

4、然而，在机器人上实现神经网络，尤其是大型模型，由于计算资源有限，导致实时执行变得具有挑战性。为了应对这个问题，许多研究都致力于提高效率和减少参数，从而开发了轻量级模型架构，如mobilenet、efficientnet和fasternet。已经进行了许多努力，将兴趣点检测和描述网络提炼为轻量级模型架构。在计算资源有限的平台上，也进行了模型量化的研究，以加速推断过程。

5、此外，随着对多机器人或多相机应用的需求不断增加，对紧凑本地描述符的迫切需求也日益增长。经典方法通常使用256维描述符，例如sift和superpoint。在disk中提出了紧凑描述符的方法。然而，即使这些紧凑描述符在通信需求方面已经有所改善，但仍然要求较高。另一种方法是使用二进制描述符，它可以减轻通信负担，但与浮点描述符相比可能存在性能限制。还有一种技术是使用主成分分析(pca)对描述符进行压缩以进行通信和存储。综上，尽管现有技术已经取得了一些进展，但仍然需要更快、更轻的神经网络来直接生成更紧凑的描述符。

技术实现思路

1、鉴于以上问题，本发明提出一种图像特征检测方法及系统，以力图解决或缓解上述一个或多个问题。

2、根据本发明的一方面，提出一种图像特征检测方法，该方法包括以下步骤：

3、获取多组图像的特征点和对应的描述子；

4、基于fasternet模块构建图像特征检测模型，并将多组图像的特征点和对应的描述子输入所述图像特征检测模型中进行训练，获取训练好的图像特征检测模型；

5、将待检测图像输入训练好的图像特征检测模型中，获取待检测图像的特征点和描述子。

6、进一步地，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括patch嵌入层和两个fasternet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个fasternet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括patch合并层、两个fasternet模块和两个卷积层。

7、进一步地，所述共享编码器中所述patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。

8、进一步地，所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：

9、

10、式中，p表示从给定图像中提取的所有像素块；xp和yp分别对应于像素块的检测输出位置和相应的标签，标签yp是一个大小为k×k的二进制向量，其中每个元素的取值是0或1；unfoldsoftmax(xp；yp)表示将特征图展开成向量，然后在每个向量中添加0作为垃圾桶元素，然后计算交叉熵；

11、所述描述子检测对应的损失表示为：

12、

13、式中，b是图像批量大小，m表示批量中描述子总数；||•||f表示frobenius范数；db,s与db,t分别表示一批图像中第b张图片的学生与教师描述子，rb表示学生与教师描述子间的最优投影矩阵。

14、进一步地，在训练之前，对获取的每个图像对应的所有描述子分别进行压缩。

15、进一步地，在获取待检测图像的特征点和描述子后，若描述子为单精度或半精度浮点数，则按照下述公式将描述子量化为int8或int4表示形式：

16、

17、其中，d和dq分别表示描述子和其对应的量化描述子；qmax表示指定量化的最大整数值；符号表示取整函数，||•||∞表示向量的无穷范数。

18、进一步地，通过superpoint方法获取多组图像的特征点和对应的描述子。

19、根据本发明的另一方面，提出一种图像特征检测系统，该系统包括：

20、特征训练集获取模块，其配置成获取多组图像的特征点和对应的描述子；

21、特征检测模型训练模块，其配置成基于fasternet模块构建图像特征检测模型，并将多组图像的特征点和对应的描述子输入所述图像特征检测模型中进行训练，获取训练好的图像特征检测模型；

22、特征检测模块，其配置成将待检测图像输入训练好的图像特征检测模型中，获取待检测图像的特征点和描述子。

23、进一步地，所述图像特征检测模型包括共享编码器、检测解码器和描述解码器；其中，所述共享编码器用于将输入的灰度图处理成特征图并输出至所述检测解码器和所述描述解码器，包括patch嵌入层和两个fasternet模块；所述检测解码器用于检测特征图中特征点的位置，包括一个fasternet模块和一个卷积层；所述描述解码器用于采样特征点对应的描述子，包括patch合并层、两个fasternet模块和两个卷积层；所述共享编码器中所述patch嵌入层为4×4的卷积层，步长为4；所述描述解码器中所述patch合并层为2×2的卷积层，步长为2；所述卷积层包括深度卷积和点卷积。

24、进一步地，所述特征检测模型训练模块中所述图像特征检测模型在训练过程中的损失函数包括特征点检测对应的损失和描述子检测对应的损失，其中，所述特征点检测对应的损失表示为：

25、

26、式中，p表示从给定图像中提取的所有像素块；xp和yp分别对应于像素块的检测输出位置和相应的标签，标签yp是一个大小为k×k的二进制向量，其中每个元素的取值是0或1；unfoldsoftmax(xp；yp)表示将特征图展开成向量，然后在每个向量中添加0作为垃圾桶元素，然后计算交叉熵；

27、所述描述子检测对应的损失表示为：

28、

29、式中，b是图像批量大小，m表示批量中描述子总数；||·||f表示frobenius范数；db,s与db,t分别表示一批图像中第b张图片的学生与教师描述子，rb表示学生与教师描述子间的最优投影矩阵。

30、本发明的有益技术效果是：

31、在图像中进行高效的兴趣点检测和描述在许多任务中起着至关重要的作用，本发明提出了一种轻量化、高效、紧凑的图像特征检测方法及系统，其中，为了促进在边缘设备上快速检测和生成紧凑的描述，引入一种轻量级神经网络edgepoint；设计了一种新的检测损失函数unfoldsoftmax来提高推断速度；提出了正交对齐损失和局部pca压缩结合，以学习紧凑的32维描述符；为了实现高效的存储或通信，将生成的描述符量化为整数值。在各种数据集上进行了edgepoint的实验，并展示了它在性能上超过了superpoint，同时只利用了1％的参数，并获得了多达10倍以上的更快推断速度；通过应用描述符量化，存储和通信的要求可以减少最多97％，而不会降低性能。