一种旗帜关键点提取方法、系统及装置与流程

本发明涉及图像内容审核，具体地说是一种旗帜关键点提取方法、系统及装置。

背景技术：

1、旗帜识别技术广泛应用于图像内容审核领域，各大媒体平台，视频图像数据量巨大，其中可能包含一些敏感违禁旗帜。由于要检测的目标数据量少，且旗帜属于非刚性目标，会出现扭曲变形，传统的特征检测与匹配方法对于旗帜的特征检测与匹配效果较差；对于使用旗帜关键点检测与特征匹配进行旗帜检测方法来说，传统的关键点检测与特征匹配方法，对于非刚性目标检测的关键点不是鲁棒且显著的，即检测出的关键点会随着扭曲变形改变较大。

技术实现思路

1、本发明的技术任务是针对以上不足之处，提供一种旗帜关键点提取方法、系统及装置，能够得出旗帜显著且不随变形扭曲而改变的关键点。

2、本发明解决其技术问题所采用的技术方案是：

3、一种旗帜关键点提取方法，该方法的实现包括以下步骤：

4、1)、变形旗帜生成：收集各种旗帜图像，并进行清洗和筛选图像，针对每张清洗筛选后的图像，进行变形生成多张对应旗帜变形后的图像，并保留各自的变形参数；

5、2)、关键点检测与匹配：使用传统常用的关键点检测与匹配方法对步骤1)所述的旗帜原图与其对应的变形图像进行关键点检测与匹配，得到变形图与原图关键点对应匹配上的点坐标；

6、3)、匹配热力图生成：首先初始化一张全0的mask图，尺寸与其对应的图像一致；然后参照步骤1)所述的变形参数得到变形图中与原图关键点对应的点坐标，对照步骤2)中的匹配关键点坐标结果，将匹配正确的关键点位置在mask图相同位置上赋值1；最后结合原图和变形图的匹配热力图，重新生成各个图像的匹配热力图；

7、4)、模型训练与优化：选择语义分割模型，模型输入为图像，期望输出是步骤3)中生成的对应匹配热力图。

8、使用卷积神经网络模型，设定好目标，通过网络学习得出旗帜显著且不随变形扭曲而改变的关键点。

9、优选的，采用随机单应性变换和tps变形实现所述图像变形，生成多张对应旗帜变形后的图像。

10、tps，即薄板样条插值(thin-plate spl ine)，一种图像扭曲变形的方法。

11、优选的，采用sift实现关键点检测与匹配。

12、sift，即尺度不变特征变换(scale-invariant feature transform，sift)，是传统常用的关键点检测与匹配方法之一，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

13、优选的，所述语义分割模型采用u-net，实现图像分割。

14、优选的，所述结合原图和变形图的匹配热力图，重新生成各个图像的匹配热力图，具体实现方式为：

15、设i0为原图，i1和i2为原图变形后的图像，变形函数分别设为t1和t2，i0与i1和i2匹配正确的热力图分别为m01和m02，i1与i0匹配正确的热力图为m10，i2与i0匹配正确的热力图为m20，则i0最终的匹配热力图为m0＝(m01+m02)/2，i1最终的匹配热力图为m1＝(t1(m0)+m10)/2，i2最终的匹配热力图为m2＝(t2(m0)+m20)/2。

16、本发明还要求保护一种旗帜关键点提取系统，包括变形旗帜生成模块、关键点检测与匹配模块、匹配热力图生成模块、模型训练与优化模块，

17、变形旗帜生成模块：收集各种旗帜图像，清洗和筛选图像，针对每张清洗筛选后的图像，进行变形生成多张对应旗帜变形后的图像，并保留各自的变形参数；

18、关键点检测与匹配模块：使用关键点检测与匹配方法，对变形旗帜生成模块中的原图与其对应的变形图像进行关键点检测与匹配，得到变形图与原图关键点对应匹配上的点坐标；

19、匹配热力图生成模块：首先初始化一张全0的mask图，尺寸和对应图像一致；然后参照变形旗帜生成模块中的变形参数得到真实正确的匹配点位置，对照关键点检测与匹配模块中的匹配结果，将匹配正确的关键点位置在mask图上赋值1；最后结合原图和变形图的匹配热力图，重新生成各个图像的匹配热力图；

20、模型训练与优化模块：选择语义分割模型，模型输入为图像，期望输出是匹配热力图生成模块中生成的对应匹配热力图。

21、优选的，变形旗帜生成模块采用随机单应性变换和tps变形实现图像变形，生成多张对应旗帜变形后的图像。

22、优选的，采用sift实现关键点检测与匹配。

23、优选的，所述语义分割模型采用u-net模型。

24、本发明还要求保护一种旗帜关键点提取装置，包括：至少一个存储器和至少一个处理器；

25、所述至少一个存储器，用于存储机器可读程序；

26、所述至少一个处理器，用于调用所述机器可读程序，实现上述的旗帜关键点提取方法。

27、本发明的一种旗帜关键点提取方法、系统及装置与现有技术相比，具有以下有益效果：

28、使用卷积神经网络模型，设定好目标，让网络学习得出旗帜显著且不随变形扭曲而改变的关键点；能提高旗帜特征匹配的准确度，方便通过特征匹配识别旗帜。

技术特征：

1.一种旗帜关键点提取方法，其特征在于，该方法的实现包括以下步骤：

2.根据权利要求1所述的一种旗帜关键点提取方法，其特征在于，采用随机单应性变换和tps变形实现所述图像变形，生成多张对应旗帜变形后的图像。

3.根据权利要求1或2所述的一种旗帜关键点提取方法，其特征在于，采用sift实现关键点检测与匹配。

4.根据权利要求1所述的一种旗帜关键点提取方法，其特征在于，所述语义分割模型采用u-net。

5.根据权利要求1所述的一种旗帜关键点提取方法，其特征在于，所述结合原图和变形图的匹配热力图，重新生成各个图像的匹配热力图，具体实现方式为：

6.一种旗帜关键点提取系统，其特征在于，包括变形旗帜生成模块、关键点检测与匹配模块、匹配热力图生成模块、模型训练与优化模块，

7.根据权利要求6所述的一种旗帜关键点提取系统，其特征在于，变形旗帜生成模块采用随机单应性变换和tps变形实现图像变形，生成多张对应旗帜变形后的图像。

8.根据权利要求6或7所述的一种旗帜关键点提取系统，其特征在于，采用sift实现关键点检测与匹配。

9.根据权利要求6所述的一种旗帜关键点提取系统，其特征在于，所述语义分割模型采用u-net模型。

10.一种旗帜关键点提取装置，其特征在于，包括：至少一个存储器和至少一个处理器；

技术总结
本发明公开了一种旗帜关键点提取方法、系统及装置，属于图像内容审核技术领域，该方法的实现包括以下步骤：1)、变形旗帜生成：收集各种旗帜图像，并进行清洗和筛选图像，针对每张清洗筛选后的图像，进行变形生成多张对应旗帜变形后的图像，并保留各自的变形参数；2)、关键点检测与匹配：使用关键点检测与匹配方法对步骤1)所述的旗帜原图与其对应的变形图像进行关键点检测与匹配，得到变形图与原图关键点对应匹配上的点坐标；3)、匹配热力图生成和4)、模型训练与优化。本发明能够得出旗帜显著且不随变形扭曲而改变的关键点，提高旗帜特征匹配的准确度，方便通过特征匹配识别旗帜。

技术研发人员：郝虹
受保护的技术使用者：山东新一代信息产业技术研究院有限公司
技术研发日：
技术公布日：2024/1/15