多平台图像数据的数据标注自动流转处理系统的制作方法

文档序号:36897850发布日期:2024-02-02 21:29阅读:28来源:国知局
多平台图像数据的数据标注自动流转处理系统的制作方法

本发明涉及图像流转处理,具体为多平台图像数据的数据标注自动流转处理系统。


背景技术:

1、数据采集平台从网络大数据库、信息技术服务公司、互联网汽车的车载前视摄像头及座舱摄像头等不同平台渠道采集到的图像数据,通常是先发送到人工标注平台,由人工标注平台的工作人员对图像数据分门别类的进行归集和人工标注处理,这其中,由于来自不同渠道的图像数据格式结构不同,并且不同格式类型的图像数据的标注信息也存在一定格式差异,导致图像数据本身及其标注数据都存在格式标准不统一、难以通用的情况。

2、公开号为cn114332793a的中国专利公开了一种多平台图像数据的数据标注自动流转处理方法及处理系统,在获取到来自不同平台的图像数据后,首先通过对图像数据的预处理得到其预处理参数标记,为标注处理提供数据基础;然后根据预处理参数标记分别针对每种不同格式类型的图片进行流程化的图片标注处理,提高图片标注处理效率,更便于后续对标注信息的格式转换处理保持转换结果的一致性和稳定性;最后,分别针对每种不同格式类型的图片调用相应类型的数据规范转换模型来执行图像信息格式和标注信息的解析转换处理,得到满足预设规范格式类型的携带有标注数据的规范格式图片,方便算法工程师可以直接使用这些规范格式图片来开展模型训练操作,辅助其提升模型训练工作效率。

3、上述专利在实际使用过程中,由于不同平台上传的图片数量多且杂,会存在类似和重复的图片,在对图片进行处理时不能剔除类似和重复的图片,导致在流转处理时会存在重复数据,不仅浪费工作时间,而且算法工程师在使用这些图片时容易被重复数据影响,进而影响工作效率;因此,不满足现有的需求,对此我们提出了多平台图像数据的数据标注自动流转处理系统。


技术实现思路

1、本发明的目的在于提供多平台图像数据的数据标注自动流转处理系统,通过对图像信息进行两两对比并对图像信息进行编码,能够快速的对比出相同的图像信息,保证了图像信息去重的准确性,避免出现重复图像信息不能及时剔除,浪费工作时间的同时容易造成一定的干扰,保证了数据流转后的准确性,进一步提高了工作效率,确保数据的完整性,不会出现数据存储时间长过期或者丢失的情况,保证了图像信息上传和调取的安全性,避免出现图像信息丢失的情况,提高了图像信息传输和调取的稳定性,解决了上述背景技术中提出的问题。

2、为实现上述目的,本发明提供如下技术方案:多平台图像数据的数据标注自动流转处理系统,包括:

3、图像处理系统,用于实时地接收来自不同平台的图像以及视频影像,并对图像及视频影像进行分类储存,并将视频影像转换为对应的图像,对接收的图像和视频转换的图像进行处理,统一图像的尺寸及方向。

4、数据标注系统,用于导入处理后的图像信息,并将处理后的图像信息组成图像合集,然后对图像合集内的每个图像信息进行特征信息提取,剔除相同类型的图像后,对储存的图像信息进行标注,保存数据标注后的图像信息。

5、流转处理系统,用于对标注完成的图像信息进行识别,并对识别结果进行分析,并根据分析结果将图像信息按照不同格式类型进行分别储存,通过数据规范转换模型来执行图像信息格式和标注信息的解析转换处理,得到带有标注数据的规范格式图片,形成图像信息数据库。

6、防丢失系统,用于对上传的图像信息数据库进行备份,并生成备份数据库,对图像信息数据库内的图像信息进行实时监测,对即将过期的图像信息进行筛选剔除,并对缺失的数据进行补发,同时在图像信息传输的过程中和调取的过程中分别进行安全验证。

7、优选的,所述图像处理系统,具体包括:

8、图像采集模块,用于实时地接收来自不同平台的图片以及视频影像,并对图像信息及视频影像进行分类储存。

9、第一处理模块,用于对视频影像进行处理,从视频影像中获取一组符合某一图像捕捉标准的图像模板块,并在存储器中存储对应图像模板,将视频影像转换为对应的图像信息。

10、第二处理模块,用于对接收的图像和视频转换的图像进行处理,对图像进行裁剪和水平翻转,统一图像的尺寸及方向。

11、优选的,所述数据标注系统,具体包括:

12、图像信息管理模块,用于导入处理后的图像信息,并将处理后的图像信息分配至特征提取模块。

13、特征提取模块,用于将处理后的图像信息组成图像合集,然后对图像合集内的每个图像信息进行特征信息提取。

14、数据标注模块,用于根据特征信息确定图像信息的类型,剔除相同类型的图像后将不同类型的图像信息分类储存,并对储存的图像信息进行标注,保存数据标注后的图像信息。

15、优选的,所述数据标注模块,具体包括:

16、对比模块,用于根据提取的图像信息特征信息对图像信息进行对比。

17、判断模块,用于根据对比的结果判断是否存在重复图像信息,若存在则该类型的图像信息为同类对象,则存在重复图片信息。

18、删除模块,用于根据重复图片信息,执行执行重复消除策略,将重复的图片进行剔除,避免了采集的图片存在重复,导致工作量大,进而增加了处理时间,不利于提高处理的效率。

19、优选的,所述数据标注模块工作流程具体包括:

20、首先,根据所提取的数据合集内每个图像信息的图像信息特征,将数据合集内的图像信息两两对比,组成的相似图像信息合集。

21、然后,根据相似图像信息合集的相似度结果进行聚类处理,将聚类结果中属于同一类别的图像信息生成相同的编码,根据编码确定相似图像信息合集内的重复图像信息。

22、最后,提取重复图像信息的质量值,根据所提取的质量值将重复编码中质量较差的进行删除,并对余下的图像信息进行数据标注处理。

23、优选的,所述流转处理系统,具体包括:

24、识别模块,对标注完成的图像信息进行识别,形成结构化数据并传输至分析模块。

25、分析模块,用于将图像信息按照识别结果进行分析,并根据分析结果将图像信息按照不同格式类型进行分别储存。

26、流转模块,用于根据不同格式类型的图像信息调用相应类型的数据规范转换模型来执行图像信息格式和标注信息的解析转换处理,得到满足预设规范格式类型的携带有标注数据的规范格式图片,形成图像信息数据库。

27、优选的,所述防丢失系统,具体包括:

28、上传模块,用于将流转处理完成的图像信息传输至备份模块和将备份模块内的数据传输至图像信息数据库。

29、备份模块,用于对上传模块所上传的图像信息数据库进行备份,并生成备份数据库。

30、补发模块,用于对图像信息数据库内的图像信息进行实时监测,对即将过期的图像信息进行筛选剔除,并对缺失的数据进行补发。

31、验证模块,用于在图像信息传输的过程中和调取的过程中分别进行安全验证。

32、加密解密模块,用于对传输和调取的图像信息进行加密和解密,以及对过期的密钥及时进行更换,防止秘钥过期导致数据丢失。

33、优选的,所述补发模块,具体包括:

34、信息监测模块,用于对图像信息数据库内的图像信息进行实施监督。

35、信息检查模块,用于将信息监测模块所监测的结果,与备份数据库内的备份图像信息进行比较。

36、信息筛选模块,用于根据比较结果确定图像信息数据库内的图像信息是否存在丢失或即将过期的情况,若存在则对即将过期的图像信息进行剔除,并对剔除的图像信息和丢失的图像信息进行补发。

37、优选的,特征提取模块对图像合集内的每个图像信息进行特征信息提取,包括:

38、对每个图像信息进行视图分析,获取分析结果;

39、根据分析结果确定每个图像信息的局部紧凑向量表征;

40、在每个图像信息中提取每个局部紧凑向量表征的图像特征点;

41、将每个局部紧凑向量表征的图像特征点按照预设角度进行旋转,根据旋转结果获取每个局部紧凑向量表征的聚类中心;

42、将每个局部紧凑向量表征的图像特征点进行特征编码,将每个局部紧凑向量表征的编码后的图像特征点映射到该局部紧凑向量表征的聚类中心上;

43、将局部紧凑向量表征的聚类中心上的映射特征点进行聚合,获取每个图像信息的整体紧凑向量表征;

44、利用sift算法基于每个图像信息的整体紧凑向量表征提取每个图像信息中的采集特征点;

45、将采集特征点与模版图像的模版特征点进行匹配,从每一对匹配特征点的坐标差值组成的差值点集合中,筛选出落入以极值点为中心且具有半径r的靶心区域的有效差值点;

46、以筛选出的有效差值点对应的成对的匹配特征点作为有效特征点;

47、通过投影变换矩阵基于筛选出的有效特征点获取每个图像信息的特征信息。

48、优选的,图像采集模块对图像信息及视频影像进行分类储存,包括:

49、获取各类型图像信息和视频影像的类型特征,根据类型特征确定各类型图像信息和视频影像的区域分类特征和区域分类特征维度以及区域分类特征的逻辑矢量;

50、基于各类型图像信息和视频影像的区域分类特征和区域分类特征维度以及区域分类特征的逻辑矢量将图像信息及视频影像整合为数据集:

51、x∈arb

52、其中,x表示为整合数据集,a表示为各类型图像信息和视频影像的区域分类特征,r表示为各类型图像信息和视频影像的区域分类特征维度,b表示为各类型图像信息和视频影像的区域分类特征的逻辑矢量;

53、在数据集中确定每个图像信息及视频影像的所属图像分类空间,根据每个每个图像信息及视频影像在其所属图像分类空间内的分类标签的模糊度确定该图像信息及视频影像在其所属图像分类空间内的平滑系数和摩擦系数;

54、根据每个图像信息及视频影像在其所属图像分类空间内的平滑系数和摩擦系数计算出该图像信息及视频影像与其所属图像分类空间的吻合度:

55、

56、其中,si表示为第i个图像信息及视频影像与其所属图像分类空间的吻合度,k表示为分类超参数,di表示为第i个图像信息及视频影像所属图像分类空间的分类增益,qi表示为第i个图像信息及视频影像在其所属图像分类空间内的平滑系数,pi表示为第i个图像信息及视频影像在其所属图像分类空间内的摩擦系数,m表示为预设分类权重;

57、确定每个图像信息及视频影像与其所属图像分类空间的吻合度是否大于等于预设阈值,若是,确定该图像信息及视频影像与其所属图像分类空间兼容,若否,确定该图像信息及视频影像与其所属图像分类空间不兼容,重新对该图像信息及视频影像进行图像分类空间划分,获取最终划分结果;

58、根据最终划分结果对图像信息及视频影像进行分类储存。

59、与现有技术相比,本发明的有益效果是:

60、1、本发明通过数据标注模块对图像信息进行两两对比,并对图像信息进行编码,能够快速的对比出相同的图像信息,保证了图像信息去重的准确性,避免出现重复图像信息不能及时剔除,浪费工作时间的同时容易造成一定的干扰,保证了数据流转后的准确性,进一步提高了工作效率,实现自动删除和去重,保证了图像信息的质量,使得使用人员调取的图像信息质量最佳。

61、2、本发明通过补发模块对图像信息数据库内的图像信息进行实时监测,当监测到图像信息数据库内的图像信息存在缺失时,根据缺失的数据,对备份数据库内的数据进行调取,通过上传模块将缺失的数据补发至图像信息数据库内,确保数据的完整性,不会出现数据存储时间长过期或者丢失的情况,通过加密解密模块对传输和调取的图像信息进行加密和解密,保证了图像信息上传和调取的安全性,避免出现图像信息丢失的情况,提高了图像信息传输和调取的稳定性。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1