一种基于大数据的快速检测方法及系统

本技术涉及检测系统，具体而言，涉及一种基于大数据的快速检测方法及系统。

背景技术：

1、在当前信息技术飞速发展的时代，大数据作为一个关键领域，正在深刻改变各个行业的运作方式。其应用范围广泛，涵盖了数据存储、分析和挖掘等多个方面，特别是在智能识别和数据检索领域。

2、而在图像处理上，随着ai合成技术的日益完善，现有技术在图像异常检测和识别方面面临着不少挑战，许多传统方法依赖于人工干预，导致效率低下且容易出现人为错误，同时现有的检测系统往往无法有效提取图像中的深层特征，这使得异常识别的准确性显著不足。这样的局限性不仅使得系统无法全面分析图像数据，还影响了对潜在问题的及时响应，进而限制了行业在智能化管理和决策上的进步。

技术实现思路

1、有鉴于此，本技术提供一种基于大数据的快速检测方法及系统，以提升数据处理效率，增强图像异常检测的准确性和实时性。

2、为实现上述目的，本技术采用的技术方案如下：

3、第一方面，本技术提供一种基于大数据的快速检测方法，包括：

4、d1、第一轮数据获取，采集当前图像的初级多源数据，基于所述当前图像的初级多源数据，从大数据平台中采集类似图像的初级多源数据，所述类似图像为与所述当前图像具有相同特征点的图像；

5、d2、第一轮数据处理，对所述当前图像和所述类似图像中的初级多源数据进行预处理，并将预处理后的数据整理为第一数据集和第二数据集，对第一数据集和第二数据集进行整合计算后生成异常系数ycz，将异常系数ycz与预设的第一阈值y进行对比后生成第一对比结果，根据所述第一对比结果判断所述第一图像是否存在异常；

6、所述第一数据集包括第一边缘特征a1、第二边缘特征值a2、第一颜色空间特征值b1、第二颜色空间特征值b2、第一纹理特征值c1、第二纹理特征值c2、第一图像尺寸值d1以及第二图像尺寸值d2；

7、所述第二数据集包括第一拍摄时间e1、第二拍摄时间e2、第一图像对比度f1、第二图像对比度f2、第一地理位置坐标g1、第二地理位置坐标g2、第一图像分辨率h1以及第二图像分辨率h2；

8、所述当前图像的初级多源数据为第一边缘特征a1、第一颜色空间特征值b1、第一纹理特征值c1、第一图像尺寸值d1、第一拍摄时间e1、第一图像对比度f1、第一地理位置坐标g1以及第一图像分辨率h1；

9、所述类似图像的初级多源数据为第二边缘特征a2、第二颜色空间特征值b2、第二纹理特征值c2、第二图像尺寸值d2、第二拍摄时间e2、第二图像对比度f2、第二地理位置坐标g2以及第二图像分辨率h2。

10、可选的，所述方法还包括：若所述第一对比结果为出现异常，则对所述当前图像进行深层分析并执行步骤d3；

11、d3、第二轮数据获取，采集所述当前图像的深层多源数据，基于所述当前图像的深层多源数据，从大数据平台中采集所述类似图像的深层多源数据；

12、d4、第二轮数据处理，对所述当前图像和所述类似图像的深层多源数据进行预处理，并重新整理为第三数据集、第四数据集、第五数据集以及第六数据集，对所述第三数据集、第四数据集、第五数据集以及第六数据集进行整合计算后生成异常鉴定系数yjd，将异常鉴定系数yjd与预设的第二阈值r进行对比后生成第二对比结果，根据第二对比结果判断所述当前图像的异常量级；

13、所述第三数据集包括第一区域面积值i1、第二区域面积值i2、第一形状复杂度j1、第二形状复杂度j2、第一轮廓长度k1和第二轮廓长度k2；

14、所述第四数据集包括第一像素值l1、第二像素值l2、第一灰度方差值m1、第二灰度方差值m2、第一灰度峰度值n1以及第二灰度峰度值n2；

15、所述第五数据集包括第一区域亮度均值o1、第二区域亮度均值o2、第一亮度方差p1、第二亮度方差p2、第一光照度分布值q1以及第二光照度分布值q2；

16、所述第六数据集包括第一幅度谱值r1、第二幅度谱值r2、第一高低频差值u1、第二高低频差值u2、第一频域能量分布差值t1以及第二频域能量分布差值t2。

17、可选的，所述根据第二对比结果判断所述第一图像的异常量级具体为：

18、当yjd≤r时，所述当前图片为一级异常；

19、当r<yjd≤r×110％时，所述当前图片为二级异常；

20、当yjd>r×110％时，所述当前图片为三级异常。

21、可选的，所述异常系数ycz通过下述公式计算获取；

22、ycz＝a1×s1-a2×s2；

23、

24、

25、式中：s1为第一特征参考系数，s2为第二特征参考系数，a1为第一边缘特征、b1为第一颜色空间特征值、c1为第一纹理特征值、d1为第一图像尺寸值、e1为第一拍摄时间、f1为第一图像对比度、g1为第一地理位置坐标，h1为第一图像分辨率，a2为第二边缘特征、b2为第二颜色空间特征值、c2为第二纹理特征值、d2为第二图像尺寸值、e2为第二拍摄时间、f2为第二图像对比度、g2为第二地理位置坐标，h2为第二图像分辨率；

26、a1、a2、b1、b2以及b3为权重值，且a1、a2、b1、b2以及b3的值由用户调整设置，ln为对数函数，e为底数函数。

27、可选的，所述异常鉴定系数yjd通过下述公式计算获取；

28、yjd＝c1×s3+c2×s4+c3×s5+c4×s5；

29、

30、

31、

32、

33、式中：c1、c2、c3以及c4为权重值，且c1、c2、c3以及c4的值由用户调整设置；

34、i 1为第一区域面积值，i2为第二区域面积值，j1为第一形状复杂度，j2为第二形状复杂度，k1为第一轮廓长度，k2为第二轮廓长度；

35、s3为异常区域特征系数，s4为局部统计特征系数，s5为光特征系数，s6为频域特征系数；

36、l1为第一像素值，l2为第二像素值，m1为第一灰度方差值，m2为第二灰度方差值，n1为第一灰度峰度值，n2为第二灰度峰度值；

37、o1为第一区域亮度均值，o2为第二区域亮度均值，p1为第一亮度方差，p2为第二亮度方差，q1为第一光照度分布值以及q2为第二光照度分布值；

38、r1为第一幅度谱值，r2为第二幅度谱值，u1为第一高低频差值，u2为第二高低频差值，t1为第一频域能量分布差值，t2为第二频域能量分布差值。

39、第二方面，本技术提供一种基于大数据的快速检测系统，包括：

40、第一轮数据获取模块，用于采集当前图像的初级多源数据，基于所述当前图像的初级多源数据，从大数据平台中采集类似图像的初级多源数据，所述类似图像为与所述当前图像具有相同特征点的图像；

41、第一轮数据处理模块，用于对所述当前图像和所述类似图像中的初级多源数据进行预处理，并将预处理后的数据整理为第一数据集和第二数据集，对第一数据集和第二数据集进行整合计算后生成异常系数ycz，将异常系数ycz与预设的第一阈值y进行对比后生成第一对比结果，根据所述第一对比结果判断所述第一图像是否存在异常；

42、所述第一数据集包括第一边缘特征a1、第二边缘特征值a2、第一颜色空间特征值b1、第二颜色空间特征值b2、第一纹理特征值c1、第二纹理特征值c2、第一图像尺寸值d1以及第二图像尺寸值d2；

43、所述第二数据集包括第一拍摄时间e1、第二拍摄时间e2、第一图像对比度f1、第二图像对比度f2、第一地理位置坐标g1、第二地理位置坐标g2、第一图像分辨率h1以及第二图像分辨率h2；

44、所述当前图像的初级多源数据为第一边缘特征a1、第一颜色空间特征值b1、第一纹理特征值c1、第一图像尺寸值d1、第一拍摄时间e1、第一图像对比度f1、第一地理位置坐标g1以及第一图像分辨率h1；

45、所述类似图像的初级多源数据为第二边缘特征a2、第二颜色空间特征值b2、第二纹理特征值c2、第二图像尺寸值d2、第二拍摄时间e2、第二图像对比度f2、第二地理位置坐标g2以及第二图像分辨率h2。

46、可选的，所述系统还包括：

47、第二轮数据获取模块，用于采集所述当前图像的深层多源数据，基于所述当前图像的深层多源数据，从大数据平台中采集所述类似图像的深层多源数据；

48、第二轮数据处理模块，用于对所述当前图像和所述类似图像的深层多源数据进行预处理，并重新整理为第三数据集、第四数据集、第五数据集以及第六数据集，对所述第三数据集、第四数据集、第五数据集以及第六数据集进行整合计算后生成异常鉴定系数yjd，将异常鉴定系数yjd与预设的第二阈值r进行对比后生成第二对比结果，根据第二对比结果判断所述当前图像的异常量级；

49、所述第三数据集包括第一区域面积值i1、第二区域面积值i2、第一形状复杂度j1、第二形状复杂度j2、第一轮廓长度k1和第二轮廓长度k2；

50、所述第四数据集包括第一像素值l1、第二像素值l2、第一灰度方差值m1、第二灰度方差值m2、第一灰度峰值n1以及第二灰度峰值n2；

51、所述第五数据集包括第一区域亮度均值o1、第二区域亮度均值o2、第一亮度方差p1、第二亮度方差p2、第一光照度分布值q1以及第二光照度分布值q2；

52、所述第六数据集包括第一幅度谱值r1、第二幅度谱值r2、第一高低频差值u1、第二高低频差值u2、第一频域能量分布差值t1以及第二频域能量分布差值t2。

53、可选的，所述第二轮数据处理模块包括判断模块，用于：

54、当yjd≤r时，判断所述当前图片为一级异常；

55、当r<yjd≤r×110％时，判断所述当前图片为二级异常；

56、当yjd>r×110％时，判断所述当前图片为三级异常。

57、可选的，所述第一轮数据处理模块包括第一计算模块，用于按如下公式计算所述异常系数ycz：

58、ycz＝a1×s1-a2×s2；

59、

60、

61、式中：s1为第一特征参考系数，s2为第二特征参考系数，a1为第一边缘特征、b1为第一颜色空间特征值、c1为第一纹理特征值、d1为第一图像尺寸值、e1为第一拍摄时间、f1为第一图像对比度、g1为第一地理位置坐标，h1为第一图像分辨率，a2为第二边缘特征、b2为第二颜色空间特征值、c2为第二纹理特征值、d2为第二图像尺寸值、e2为第二拍摄时间、f2为第二图像对比度、g2为第二地理位置坐标，h2为第二图像分辨率；

62、a1、a2、b1、b2以及b3为权重值，且a1、a2、b1、b2以及b3的值由用户调整设置，ln为对数函数，e为底数函数。

63、可选的，所述第二轮数据获取模块包括第二计算模块，用于按如下公式计算所述异常鉴定系数yjd：

64、yjd＝c1×s3+c2×s4+c3×s5+c4×s5；

65、

66、

67、

68、

69、式中：c1、c2、c3以及c4为权重值，且c1、c2、c3以及c4的值由用户调整设置；

70、i1为第一区域面积值，i2为第二区域面积值，j1为第一形状复杂度，j2为第二形状复杂度，k1为第一轮廓长度，k2为第二轮廓长度；

71、s3为异常区域特征系数，s4为局部统计特征系数，s5为光特征系数，s6为频域特征系数；

72、l1为第一像素值，l2为第二像素值，m1为第一灰度方差值，m2为第二灰度方差值，n1为第一灰度峰度值，n2为第二灰度峰度值；

73、o1为第一区域亮度均值，o2为第二区域亮度均值，p1为第一亮度方差，p2为第二亮度方差，q1为第一光照度分布值以及q2为第二光照度分布值；

74、r1为第一幅度谱值，r2为第二幅度谱值，u1为第一高低频差值，u2为第二高低频差值，t1为第一频域能量分布差值，t2为第二频域能量分布差值。

75、本技术的有益效果是：

76、与现有技术相比，本技术的有益效果是：

77、1、本技术能够更全面地捕捉图像中的异常特征不仅提升了数据处理的效率，还增强了异常识别的准确性和实时性；

78、2、本技术大幅度减少了人工干预和错误率，提高了决策的科学性和有效性，进而为各类应用场景提供了强有力的技术支持，满足了现代社会对高效智能分析的需求；

79、3、本技术能够根据具体的异常阈值灵活地适应不同的应用场景，有效提升了对异常事件的响应和处理能力，不仅使得异常检测更为精准，还能够帮助用户快速识别和处理不同严重程度的异常情况。

80、4、本技术能够降低错误判断的风险，确保在异常处理过程中采取更为适当的措施。此外，这种灵活的阈值设置使得系统能够更好地适应不同环境和数据集，从而提升了整体的适用性和稳定性。