一种同场景多风格图像匹配方法、装置及应用与流程

本技术涉及深度学习领域，特别是涉及一种同场景多风格图像匹配方法、装置及应用。

背景技术：

1、随着时代的发展，在生产、生活中会产生大量垃圾，工业革命使得科学技术产生了飞速的发展，随之而来的垃圾也在成指数增长，由此产生的垃圾处理问题也成为人们必须面临和解决的棘手问题，我国环保城市建设发展训练，在日常生活中垃圾的实时处理对城市以及居民生活十分重要。

2、图像匹配（image matching）是指在两张或多张图像中，寻找相同或相似的部分。这是计算机视觉领域中一个重要的问题，它涉及到图像特征提取、相似度度量、匹配算法等多个方面的内容，图像匹配的应用非常广泛，例如目标跟踪、图像检索、图像拼接、三维重建等。图像匹配的基本思想是通过比较两张图像的特征，找到它们之间的相似性，然后进行匹配，在图像匹配中，特征点是非常重要的概念，因为它们是区分不同图像的关键。一般来说，图像匹配可以分为两个步骤：特征提取和特征匹配。在特征提取中，通常使用sift、surf、orb等算法来提取关键点和描述子。在特征匹配中，常用的算法有暴力匹配、flann匹配、基于ransac的匹配等，图像匹配的性能往往受到许多因素的影响，例如图像分辨率、图像噪声、光照变化等，因此，在实际应用中，需要根据具体的场景选择合适的算法，并对算法进行优化。

3、然而，图像匹配在对现实生活中的垃圾处理方面却并未广泛深入的应用，在进行城市垃圾治理时往往需要巡查人员和垃圾清洁员上传同一地点的图像来进行比对，从而判断该地点的垃圾是否已经清理，而判断垃圾是否已经清理的前提是判断巡查人员和垃圾清理员上传的图像是否为同一场景，由于存在光线和天气不同的原因，判断两张图片是否为同一场景时会很容易判断错误。

4、综上所述，亟需一种可以在不同光线和天气情况下可以准确判断两张图像是否为同一个场景的方法。

技术实现思路

1、本技术实施例提供了一种同场景多风格图像匹配方法、装置及应用，通过风格迁移网络来改变图像的风格，使用改变风格的图像来进行匹配可以更好的将不同风格的图像进行匹配，提高图像匹配的准确性。

2、第一方面，本技术实施例提供了一种同场景多风格图像匹配方法，所述方法包括：

3、构建图像匹配模型，所述图像匹配模型包括风格编码判断网络、结构相同的第一风格迁移网络和第二风格迁移网络以及匹配网络，所述风格编码判断网络包括对应第一输入分支和第二输入分支的两个风格编码器，所述第一风格迁移网络和第二风格迁移网络均包括第一编码分支、第二编码分支以及生成器，所述第一编码分支由线性投影层、语义感知位置编码层以及风格编码器组成，所述第二编码分支由并行的时序特征编码器、深度估计网络以及编码输入端组成；所述编码输入端的输入是经训练后的所述风格编码器输出的对应不同图像风格的风格编码信息，训练好的时序特征编码器将输入特征转换为对应的时间向量，训练好的深度估计网络将输入特征转换为对应的深度图；

4、获取需要进行匹配的第一图像和第二图像，所述第一图像输入所述风格编码判断网络的第一输入分支中经过风格编码器编码后得到第一编码结果，所述第二图像输入所述风格编码判断网络的第二输入分支中经过风格编码器编码后得到第二编码结果，若第一编码结果和第二编码结果相同则通过匹配网络判断第一图像和第二图像的匹配结果；

5、若第一编码结果和第二编码结果不同，将第一图像输入到第一风格迁移网络的第一编码分支中得到第一语义特征，将第二图像及第二编码结果输入到第一风格迁移网络的第二编码分支得到第一特征集合，将所述第二编码分支结果和所述第一语义特征输入到生成器中生成第一合成图，计算所述第一合成图和第二图像的第一相似度；

6、将第二图像输入到第二风格迁移网络的第一编码分支中得到第二语义特征，将第一图像及第一编码结果输入到第二风格迁移网络的第二编码分支得到第二特征集合，将所述第二语义特征和所述第二特征集合输入到生成器中生成第二合成图，计算所述第二合成图和第一图像的第二相似度；

7、若所述第一相似度和所述第二相似度的和大于设定阈值，则判断第一图像和第二图像匹配。

8、第二方面，本技术实施例提供了一种同场景多风格图像匹配装置，包括：

9、构建模块：构建图像匹配模型，所述图像匹配模型包括风格编码判断网络、结构相同的第一风格迁移网络和第二风格迁移网络以及匹配网络，所述风格编码判断网络包括对应第一输入分支和第二输入分支的两个风格编码器，所述第一风格迁移网络和第二风格迁移网络均包括第一编码分支、第二编码分支以及生成器，所述第一编码分支由线性投影层、语义感知位置编码层以及风格编码器组成，所述第二编码分支由并行的时序特征编码器、深度估计网络以及编码输入端组成；所述编码输入端的输入是经训练后的所述风格编码器输出的对应不同图像风格的风格编码信息，训练好的时序特征编码器将输入特征转换为对应的时间向量，训练好的深度估计网络将输入特征转换为对应的深度图；

10、获取模块：获取需要进行匹配的第一图像和第二图像，所述第一图像输入所述风格编码判断网络的第一输入分支中经过风格编码器编码后得到第一编码结果，所述第二图像输入所述风格编码判断网络的第二输入分支中经过风格编码器编码后得到第二编码结果，若第一编码结果和第二编码结果相同则通过匹配网络判断第一图像和第二图像的匹配结果；

11、第一计算模块：若第一编码结果和第二编码结果不同，将第一图像输入到第一风格迁移网络的第一编码分支中得到第一语义特征，将第二图像及第二编码结果输入到第一风格迁移网络的第二编码分支得到第一特征集合，将所述第二编码分支结果和所述第一语义特征输入到生成器中生成第一合成图，计算所述第一合成图和第二图像的第一相似度；

12、第二计算模块：将第二图像输入到第二风格迁移网络的第一编码分支中得到第二语义特征，将第一图像及第一编码结果输入到第二风格迁移网络的第二编码分支得到第二特征集合，将所述第二语义特征和所述第二特征集合输入到生成器中生成第二合成图，计算所述第二合成图和第一图像的第二相似度；

13、匹配模块：若所述第一相似度和所述第二相似度的和大于设定阈值，则判断第一图像和第二图像匹配。

14、第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种同场景多风格图像匹配方法。

15、第四方面，本技术实施例提供了一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种同场景多风格图像匹配方法。

16、本发明的主要贡献和创新点如下：

17、本技术实施例通过构建风格编码器来判断图像的风格编码信息，对同一风格编码信息的图像进行直接比对，对不同风格编码信息的图像采用转换风格的比对方法进行比对，可以提高图像匹配的准确性；本方案通过在风格编码器的输入中添加语义感知位置编码，来使得所述风格编码器输出对应图像的语义特征，再通过将所述语义特征与其他风格图像时间向量、风格编码信息、图像深度进行结合从而完成图像风格的转换，对需要比对的两张图像进行风格转换后比对，可以进一步减小图像匹配的误差。

18、本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。