膜片图像的处理方法和膜片缺陷检测方法及其系统与流程

本技术涉及膜片图像处理，具体地，涉及一种膜片图像的处理方法、一种膜片缺陷检测方法、一种膜片图像的处理系统、一种膜片缺陷检测系统、一种电子设备及一种存储介质。

背景技术：

1、近年来，图像处理技术被广泛应用于各种领域。采用诸如目标检测、图像分割等图像处理方法对工业化生产中的实体成品或半成品的产品图像进行处理和分析，可以较快速地确定出产品是否存在诸如外形缺陷之类的异常情况。

2、对于具有多孔结构的膜片产品而言，常常需要检测膜片上的孔的位置、形状、大小以及孔的数量是否异常，据此判断膜片是否为合格品。对于一些孔洞分布较为复杂且精度要求较高的多孔膜片而言，采用常规的图像处理方法，往往难以达到预期的检测目的。以构成显示屏的反射膜片为例，为了保证反射膜片兼具较好的反光、透光和散热作用，常常需要在反射膜片设置多个孔，并且孔的位置、形状和大小的设计均可能需满足一定的规格要求。在加工反射膜片的过程中，常常可能受到一些因素的影响而导致一些孔位出现多料异常的现象。例如，在对膜片打孔的过程中，由于设备因素或其他因素的影响导致某些位置打孔失败，例如整个孔位或孔位的局部未被裁剪掉而表现出的孔位多料异常。

3、可以理解，由于诸如反射膜片等的膜片上的孔较多且分布较复杂，利用常规的图像处理方法难以从全局的角度针对整个膜片图像中的各个孔位的实际情况作出准确地判断。现有技术中大多利用深度学习模型的方法来确定膜片产品中的各个孔位是否异常。以检测反射膜片的孔位多料异常为例。例如，首先要收集大量的、存在孔位多料异常的反射膜片的异常样本图像。然后，利用这些异常样本图像对异常检测模型进行训练。在实际的检测过程中，将膜片产品的待检测图像输入训练好的异常检测模型中，由异常检测模型输出膜片产品是否为异常的结果。然而，在这种方案中，异常样本图像的收集的难度较大，通常需要花费大量的时间才能收集到足够数量的样本图像。并且，如果膜片的种类发生改变，则之前训练好的模型往往不具备对新的膜片图像的检测能力，因此其检测能力也具有一定的局限性。此外，深度学习模型通常需要强大的计算能力来保证高效的训练和推理，因此这种方案的实现在计算资源有限的环境下则难以实现。

技术实现思路

1、为了至少部分地解决现有技术中存在的问题，根据本技术的第一个方面，提供了一种膜片图像的处理方法，膜片包括多个孔，处理方法包括：获取第一图像和第二图像，其中第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个；确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；确定第一图像中的第一包络区和第二图像中的第二包络区，其中第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素；根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

2、根据本技术的另一方面，提供一种膜片缺陷检测方法，膜片包括多个孔，检测方法包括：获取待检测膜片的第一图像和参考膜片的第二图像；利用上述处理方法确定与每个第一区域匹配的第二区域；以及对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

3、根据本技术的另一方面，提供一种膜片图像的处理系统，膜片包括多个孔，处理系统包括：获取模块，用于获取第一图像和第二图像，其中第一图像是待检测膜片的图像和参考膜片的图像中的一个，第二图像是待检测膜片的图像和参考膜片的图像中的另一个；第一确定模块，用于确定第一图像中的每个孔所在的第一区域，并确定第二图像中的每个孔所在的第二区域；第二确定模块，用于确定第一图像中的第一包络区和第二图像中的第二包络区，其中第一包络区包括各个第一区域的中心像素，第二包络区包括各个第二区域的中心像素；变换模块，用于根据第一包络区和第二包络区在各自图像中的位置，对第二图像进行仿射变换，以使在经变换的第二图像中的、经变换的第二包络区的尺寸与第一包络区的尺寸相同；以及对比模块，用于将经变换的第二图像中的每个经变换的第二区域的特征信息和每个第一区域的特征信息进行对比，并根据对比结果确定与每个第一区域匹配的第二区域。

4、根据本技术的另一方面，提供一种膜片缺陷检测系统，其特征在于，膜片包括多个孔，检测系统包括：获取模块，用于获取待检测膜片的第一图像和参考膜片的第二图像；第三确定模块，用于利用上述处理方法确定与每个第一区域匹配的第二区域；以及

5、第四确定模块，用于对于每个第一区域，根据该第一区域和与该第一区域匹配的第二区域中的像素的像素值的差异，确定该第一区域是否存在孔位缺陷。

6、根据本技术的另一方面，提供一种电子设备，包括处理器和存储器，其特征在于，存储器中存储有计算机程序指令，计算机程序指令被处理器运行时用于执行上述膜片图像的处理方法和/或上述膜片缺陷检测方法。

7、根据本技术的另一方面，提供一种存储介质，在存储介质上存储了程序指令，程序指令在运行时用于执行上述膜片图像的处理方法和/或上述膜片缺陷检测方法。

8、如前所述，现有技术中通常利用深度学习模型的方法对包括多个孔的待检测膜片的图像进行处理，由模型输出诸如孔位是否存在异常的处理结果。这种方法存在模型训练成本高、模型的检测能力受限以及算力成本高的问题。而根据本技术实施例的上述膜片图像的处理方法以参考膜片为对比模板，在分别确定出待检测膜片的第一图像中的各个孔所在的第一区域和参考膜片的第二图像中的各个孔所在的第二区域的基础上，通过对比各个第一区域的特征信息和各个第二区域的特征信息，能够快速且准确地确定出与每个第一区域匹配的第二区域。并且将待检测膜片的图像中的整体孔位区域与参考膜片的图像中的整体孔位区域进行对齐，以实现两个图像的配准。并且，在配准后的图像的基础上，通过比对两个图像中的孔位区域的特征信息，可以快速且准确地确定出待检测膜片上的每个孔与参考膜片上的每个孔的匹配关系。从而，方便后续根据所确定的各个孔的匹配关系，准确地判定待检测膜片是否存在诸如孔位多料的异常情况。上述膜片图像的处理方法执行逻辑简单并且合理，可以显著提高孔位匹配的精度和效率。此外，这种方案的适用范围也非常广泛，可以应用于对各种类型膜片的多种检测场景，尤其是在成像效果不好而导致的孔位拉伸变形的情况下依然可以保证较高的孔位匹配精度。并且，这种图像处理方案还具有可解释性高、数据需求小、算力资源不受限的优点。

9、在
技术实现要素：
中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本技术内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

10、以下结合附图，详细说明本技术的优点和特征。