图像处理方法、装置、电子设备及存储介质

本技术涉及图像处理，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术：

1、相关技术中，当机器人处于未知环境时，机器人可以通过获取到的周围环境的图像生成子图，并根据生成的子图确定机器人在此环境内进行安全前行的路线。然而，由于纹理缺失、动态模糊和光照视角变化等因素的影响，机器人在进行视觉导航的过程中，出现了鲁棒性不足，无法持续工作的问题，难以满足导航的实际应用需求。

2、相关技术中，一般会通过生成多个图像子图，并使用多个图像子图进行融合之后的融合子图，确定机器人在此环境内进行安全前行的路线，从而解决视觉导航中鲁棒性不足，无法持续工作的问题。

3、但是，相关技术中在根据多个子图生成融合子图的过程中，多个子图进行全局对齐融合的过程中的成功率低，进而导致系统全局定位和建模失败，影响导航。

技术实现思路

1、有鉴于此，本技术实施例提供了一种图像处理方法、装置、电子设备及存储介质，可以有效提高子图进行全局对齐融合的过程中的成功率，进而提高了系统全局定位和建模的精确性。

2、本技术实施例的第一方面提供了一种方法，包括：对目标图像帧执行第一图像处理，得到第一子图，其中，所述第一图像处理为按照所述目标图像帧所对应的图像采集时间进行实时处理；对所述目标图像帧执行第二图像处理，得到第二子图，其中，所述第二图像处理为按照随机顺序对所述目标图像帧中的全部图像帧进行的非实时图像处理；根据所述第一子图与所述第二子图的视觉重叠区域，生成目标融合子图，其中，所述目标融合子图包括所述视觉重叠区域。

3、在一个示例性实施例中，在所述对目标图像帧执行第一图像处理之前，所述方法还包括：获取实时图像序列，所述实时图像序列包括多个图像帧；从所述多个图像帧中筛选出所述目标图像帧。

4、在一个示例性实施例中，所述从所述多个图像帧中筛选出所述目标图像帧，包括：根据所述多个图像帧中每个图像帧的图像特征，计算所述多个图像帧中相邻的每两个图像帧之间的图像特征差异；根据所述图像特征差异，从所述实时图像序列中筛选出所述目标图像帧。

5、在一个示例性实施例中，所述多个图像帧中包括m个图像帧，m为正整数，所述根据所述多个图像帧中每个图像帧的图像特征，计算所述多个图像帧中相邻的每两个图像帧之间的图像特征差异，包括：确定第i个图像帧的第一图像特征与第i+1个图像帧的第二图像特征，其中，i为大于等于1且小于等于m的正整数；计算所述第一图像特征与所述第二图像特征的图像特征差异；将所述图像特征差异，确定为所述第i个图像帧与所述第i+1个图像帧之间的图像特征差异。

6、在一个示例性实施例中，所述对所述目标图像帧执行第一图像处理，得到第一子图，包括：识别第一图像帧中第一目标物体的第一特征点；识别第二图像帧中所述第一目标物体的第二特征点，其中，所述第一图像帧和所述第二图像帧为所述目标图像帧中相邻的图像帧；根据所述第一特征点以及所述第二特征点，确定第一目标物体对应的第一地图点；根据所述第一地图点，将所述第一图像帧和所述第二图像帧融合为所述第一子图。

7、在一个示例性实施例中，所述对所述目标图像帧执行第二图像处理，得到第二子图，包括：识别第三图像帧中第二目标物体的第三特征点；识别第四图像帧中所述第二目标物体的第四特征点，其中，所述第三图像帧和所述第四图像帧为所述目标图像帧中任意的两个图像帧；根据所述第三特征点以及所述第四特征点，确定第二目标物体对应的第二地图点；根据所述第二地图点，将所述第三图像帧和所述第四图像帧融合为所述第二子图。

8、在一个示例性实施例中，所述根据所述第一子图与所述第二子图的视觉重叠区域，生成目标融合子图，包括：计算所述第一子图与所述第二子图之间的视觉重叠区域；根据所述视觉重叠区域，确定第一坐标系与第二坐标系的目标变换关系，其中，所述第一坐标系为所述第一子图对应的坐标系，所述第二坐标系为所述第二子图对应的坐标系；根据所述目标变换关系、所述第一子图以及所述第二子图，生成所述目标融合子图。

9、在一个示例性实施例中，所述计算所述第一子图与所述第二子图之间的视觉重叠区域，包括：搜索所述第一子图所包括的第五特征点、以及搜索所述第二子图所包括的第六特征点；将所述第五特征点以及所述第六特征点中相同的特征点所对应的区域，确定为所述视觉重叠区域。

10、本技术实施例的第二方面提供了一种装置，包括：第一处理单元，用于对目标图像帧执行第一图像处理，得到第一子图，其中，所述第一图像处理为按照所述目标图像帧所对应的图像采集时间进行实时处理；第二处理单元，用于对所述目标图像帧执行第二图像处理，得到第二子图，其中，所述第二图像处理为按照随机顺序对所述目标图像帧中的全部图像帧进行的非实时图像处理；生成单元，用于根据所述第一子图与所述第二子图的视觉重叠区域，生成目标融合子图，其中，所述目标融合子图包括所述视觉重叠区域。

11、在一个示例性实施例中，所述装置还包括：获取单元，用于在所述对目标图像帧执行第一图像处理之前，获取实时图像序列，所述实时图像序列包括多个图像帧；筛选单元，用于从所述多个图像帧中筛选出所述目标图像帧。

12、在一个示例性实施例中，所述筛选单元包括：第一计算模块，用于根据所述多个图像帧中每个图像帧的图像特征，计算所述多个图像帧中相邻的每两个图像帧之间的图像特征差异；筛选模块，用于根据所述图像特征差异，从所述实时图像序列中筛选出所述目标图像帧。

13、在一个示例性实施例中，所述多个图像帧中包括m个图像帧，m为正整数，所述第一计算模块包括：第一确定子模块，用于确定第i个图像帧的第一图像特征与第i+1个图像帧的第二图像特征，其中，i为大于等于1且小于等于m的正整数；计算子模块，用于计算所述第一图像特征与所述第二图像特征的图像特征差异；第二确定子模块，用于将所述图像特征差异，确定为所述第i个图像帧与所述第i+1个图像帧之间的图像特征差异。

14、在一个示例性实施例中，所述第一处理单元包括：第一识别模块，用于识别第一图像帧中第一目标物体的第一特征点；第二识别模块，用于识别第二图像帧中所述第一目标物体的第二特征点，其中，所述第一图像帧和所述第二图像帧为所述目标图像帧中相邻的图像帧；第一确定模块，用于根据所述第一特征点以及所述第二特征点，确定第一目标物体对应的第一地图点；第一融合模块，用于根据所述第一地图点，将所述第一图像帧和所述第二图像帧融合为所述第一子图。

15、在一个示例性实施例中，所述第二处理单元包括：第三识别模块，用于识别第三图像帧中第二目标物体的第三特征点；第四识别模块，用于识别第四图像帧中所述第二目标物体的第四特征点，其中，所述第三图像帧和所述第四图像帧为所述目标图像帧中任意的两个图像帧；第二确定模块，用于根据所述第三特征点以及所述第四特征点，确定第二目标物体对应的第二地图点；第二融合模块，用于根据所述第二地图点，将所述第三图像帧和所述第四图像帧融合为所述第二子图。

16、在一个示例性实施例中，所述生成单元包括：第二计算模块，用于计算所述第一子图与所述第二子图之间的视觉重叠区域；第三确定模块，用于根据所述视觉重叠区域，确定第一坐标系与第二坐标系的目标变换关系，其中，所述第一坐标系为所述第一子图对应的坐标系，所述第二坐标系为所述第二子图对应的坐标系；生成模块，用于根据所述目标变换关系、所述第一子图以及所述第二子图，生成所述目标融合子图。

17、在一个示例性实施例中，所述第二计算模块包括：搜索子模块，用于搜索所述第一子图所包括的第五特征点、以及搜索所述第二子图所包括的第六特征点；第三确定子模块，用于将所述第五特征点以及所述第六特征点中相同的特征点所对应的区域，确定为所述视觉重叠区域。

18、本技术实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

19、本技术实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的方法。

20、本技术实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面中任一项所述的方法。

21、本技术实施例与现有技术相比存在的有益效果是：采用根据前台实时生成的第一子图与后台非实时生成的第二子图的视觉重叠区域，生成融合子图的方式，通过对目标图像帧执行第一图像处理，得到第一子图，其中，第一图像处理为按照目标图像帧所对应的图像采集时间进行实时处理；对目标图像帧执行第二图像处理，得到第二子图，其中，第二图像处理为按照随机顺序对所述目标图像帧中的全部图像帧进行的非实时图像处理；根据第一子图与第二子图的视觉重叠区域，生成目标融合子图，其中，目标融合子图包括视觉重叠区域，由于根据第一子图与第二子图之间的共同区域，对第一子图以及第二子图进行融合，可以使得第一子图与第二子图之间更好的进行对齐，进而有效的提高了子图进行全局对齐融合的过程中的成功率，进而提高了系统全局定位和建模的精确性。