数字化生产检测系统、方法、装置、设备及存储介质与流程

1.本技术涉及智能制造技术领域，尤其涉及一种数字化生产检测系统、方法、装置、设备及存储介质。


背景技术：

2.随着云计算、物联网、人工智能等技术的不断发展，涌现出越来越多的数字化工厂。数字化工厂能够实现产品从原料采购、产品设计以及生产加工等全生产链条的数据化处理；还能够按照柔性制造模式进行生产制造。其中，柔性制造模式是指通过系统结构、人员组织、运作方式和市场营销等方面的改革，使生产系统能对市场需求变化作出快速地适应，同时消除冗余无用的损耗，力求企业获得更大的效益。在柔性制造模式下，数字化工厂以消费者需求为核心，重构传统以产定销的生产模式，实现按需智造。
3.目前，为了保证产品质量，提升客户满意度，在数字化生产过程中，需要针对一些生产工序生产的成品或半成品进行质量检测。在现有技术中，大多数生产行业，特别是服装生产行业中的印花工序，通常采用人工方式检测印有印花的裁片是否存在印花拖浆(color drag)、溅色(color splatter)、图案模糊(fuzzy pattern)、停车印(stop mark)以及部分脆化(tender spots)等瑕疵。然而，人工检测方式不仅检测效率低，还容易出现误检或漏检。


技术实现要素：

4.本技术的多个方面提供一种数字化生产检测系统、方法、装置、设备及存储介质，用以提高瑕疵检测效率。
5.本技术实施例提供一种数字化生产检测系统，包括：中心调度节点，以及部署在生产环境中负责目标工序的生产设备和为生产设备提供质量检测服务的质量检测系统，质量检测系统包括图像采集设备和边缘计算设备； 生产设备，用于按照目标工序生产对应的待检测产品，待检测产品被输送至图像采集设备的作业区域内；图像采集设备，用于采集位于其作业区域内的待检测产品的图像，将图像作为待检测图像发送给边缘计算设备，待检测图像包含待检测产品上的目标区域；边缘计算设备，用于根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域；对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果，并上报给中心调度节点；模板图像是指包含基准产品上的目标区域的图像；中心调度节点，用于根据瑕疵检测结果，生成分拣指令，并将分拣指令发送给生产环境中的机械手，以控制机械手对待检测产品进行分拣操作，其中，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
6.本技术实施例还提供一种数字化生产检测方法，包括：采集待检测图像，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品；根
据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像；对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
7.本技术实施例还提供一种数字化生产检测装置，包括：采集模块，用于采集待检测图像，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品；处理模块，用于根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像；裁剪模块，用于对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；处理模块，还用于根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
8.本技术实施例还提供一种质量检测设备，包括：存储器和处理器；其中，存储器，用于存储计算机程序；处理器耦合至存储器，用于执行计算机程序以用于执行本技术实施例提供的方法中的步骤。
9.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器能够实现本技术实施例提供的方法中的步骤。
10.在本技术实施例中，采用基于特征裁剪得到图像块并从图像块粒度进行瑕疵检测的方式，可以实现对数字化工厂生产的产品进行自动化瑕疵检测，提高了瑕疵检测效率，而且针对存在疑似瑕疵子区域的图像块进行瑕疵检测，由于图像块中包含的背景信息减少了，疑似瑕疵区域会相对被放大，有利于更加有效地定位产品中的微小瑕疵，提高了瑕疵检测结果的准确度，降低了误检或漏检事件发生的概率。进一步的，还可以提高数字化工厂的生产效率。
附图说明
11.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：图1为本技术一示例性实施例提供的数字化生产检测系统的结构示意图；图2为本技术实施例提供的在一个实际应用中数字化生产检测方法的过程图；图3a为本技术一示例性实施例提供的一种数字化生产检测方法的流程示意图；图3b为本技术一示例性实施例提供的一种智能分拣方法的流程示意图；图4为本技术一示例性实施例提供的一种数字化生产检测装置的结构示意图；图5为本技术一示例性实施例提供的一种质量检测设备的结构示意图。
具体实施方式
12.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做
出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
13.在现有技术中，人工检测方式不仅检测效率低，还容易出现误检或漏检。为此，本技术实施例提供一种数字化生产检测系统，该系统包括中心调度节点，以及部署在生产环境中负责目标工序的生产设备和为生产设备提供质量检测服务的质量检测系统，质量检测系统包括图像采集设备和边缘计算设备。其中，生产设备按照目标工序生产对应的待检测产品，生产出的待检测产品被输送至图像采集设备的作业区域，由图像采集设备对待检测产品进行图像采集，将采集到的图像作为待检测图像发送给边缘计算设备；边缘计算设备结合包含基准产品上的目标区域的模板图像对待检测图像进行瑕疵检测，在此过程中，基于图像特征识别从两个图像中裁剪出疑似瑕疵子区域对应的待检测图像块和模板图像块；接着，从图像块的粒度进行瑕疵检测，并将瑕疵检测结果上报给中心调度节点；由中心调度节点根据瑕疵检测结果控制生产环境中的机械手对待检测产品进行分拣操作。由此，在本技术实施例中，采用基于特征裁剪得到图像块并从图像块粒度进行瑕疵检测的方式，可以实现对数字化工厂生产的产品进行自动化瑕疵检测，提高了瑕疵检测效率，而且针对存在疑似瑕疵子区域的图像块进行瑕疵检测，由于图像块中包含的背景信息减少了，疑似瑕疵区域会相对被放大，有利于更加有效地定位产品中的微小瑕疵，提高了瑕疵检测结果的准确度，降低了误检或漏检事件发生的概率。进一步的，还可以提高数字化工厂的生产效率。
14.以下结合附图，详细说明本技术各实施例提供的技术方案。
15.图1为本技术一示例性实施例提供的数字化生产检测系统的结构示意图。如图1所示，该系统包括：生产设备11、中心调度节点13以及质量检测系统12。
16.其中，生产设备11是指部署在生产环境中生产产品的设备。生产环境是指产品生产场所，例如为生产工厂。通常，生产工厂部署有多条生产线，生产线上可以部署多个工作站，如图1所示，每个工作站上部署有生产设备11和生产人员。因生产设备11负责的生产工序不同，生产设备11的实现形态会有所不同，同样地，生产设备11生产的产品的形态可以是半成品或成品。应理解，半成品是指尚需要按照整个生产过程中剩余的生产工序继续加工的产品，成品是指按照整个生产过程所涉及的全部生产工序加工出来的产品。例如，一件衣服从面料到成衣的整个生产过程中，通常会涉及验布、裁剪、印花、缝制、整烫等多个生产工序，相应地，生产设备11包括负责验布工序的验布机、负责裁剪工序的裁剪机、负责印花工序的印花机、负责缝制工序的缝纫机以及负责整烫工序的熨烫机。以整烫是整个生产过程的最后一个生产工序为例，熨烫机熨烫完的衣服为成衣，也即成品，验布机、裁剪机、印花机以及缝纫机等加工完的衣服为半成品。
17.在本技术实施例中，生产设备11按照其关联的目标工序生产相应的产品。为了便于理解和区分，将生产设备11生产出的尚未经过瑕疵检测的产品称之为待检测产品。通常，生产设备11分批次生产待检测产品。生产设备11可以在生产完一个批次中的每件待检测产品后，依次将每件待检测产品输送至质量检测系统12进行瑕疵检测；当然，生产设备11也可以在批量生产完一个批次的待检测产品后，将一个批次的待检测产品输送至质量检测系统12进行瑕疵检测。
18.进一步可选的，生产设备11在接收到批量生产任务时，可以首先对批量生产任务所需生产的产品进行试生产，以及由质检人员对试生产出来的产品进行瑕疵检测。若试生产出来的产品的瑕疵检测合格，则生产设备11对生产任务所需生产的剩余产品进行批量生
产（即量产），并将批量生产的产品输送至质量检测系统12进行瑕疵检测。若试生产出来的产品的瑕疵检测不合格，则生产设备11暂停对生产任务所需生产的剩余产品进行批量生产，等待再次试生产成功后继续进行批量生产。应理解，试生产可以提前发现生产设备11生产的产品的质量问题，及时对生产设备11或流水线进行调试、维修等处理，保证生产设备11批量生产时的产品质量。
19.生产设备11生产完待检测产品之后，将待检测产品输送至提供质量检测服务的质量检测系统12进行瑕疵检测。进一步可选的，如图1所示，质量检测系统12包括图像采集设备121和边缘计算设备122。
20.其中，图像采集设备121可以通过有线网络、或者无线网络与边缘计算设备122进行交互。例如，有线网络可以包括同轴电缆、双绞线和光纤等，无线网络可以是2g网络、3g网络、4g网络或者5g网络、无线保真(wireless fidelity，简称wifi)网络等。本技术对交互的具体类型或者具体形式并不做限定，只要其能够实现图像采集设备121和边缘计算设备122交互的功能即可。
21.在本技术实施例中，图像采集设备121可以是任意具有图像采集功能的设备。例如，图像采集设备121按照传感器的结构特性可以分为面阵相机和线阵相机。又例如，图像采集设备121按照画面分辨率不同可以分为标清摄像机和高清摄像机。又例如，图像采集设备121按照信号分类可以是模拟摄像机和数字摄像机。
22.考虑到线阵相机容易导致成像光线不均匀，且采集到的图像中间亮、两边较暗的情形，需要对采集到的图像进行亮度调整，而亮度预调整过程会加重图像噪声，于是，在本技术的上述或下述实施例中，图像采集设备121可以选用成像光线相对均匀的面阵相机。
23.考虑到图像清晰度与缺陷检测结果的检测精度息息相关，于是，在本技术的上述或下述实施例中，图像采集设备121可以选用分辨率为1280
×
720的hd 720p的高清摄像头，或者分辨率为1280
×
960的hd 960p的高清摄像头，但并不限于此。
24.在生产设备11生产的待检测产品被输送至图像采集设备121的作业区域（也即图1中的图像采集区）内后，图像采集设备121对位于其作业区域内的待检测产品进行图像采集，以得到待检测产品的图像。
25.值得注意的是，待检测图像包含待检测产品上的目标区域。其中，目标区域是指待检测产品上与生产待检测产品的生产工序相关的区域，是需要重点关注是否存在瑕疵的区域，该区域是瑕疵检测中的兴趣区域。在一定程度上，目标区域可以理解为相应生产工序加工出来的产品区域。应理解，因生产工序不同，待检测产品上的目标区域也不同，具体根据实际应用需求定义待检测产品上的目标区域。例如，裁剪机裁剪出的裁片，整个裁片都是裁剪工序相关的目标区域，裁片为裁剪工序的待检测产品。又例如，裁剪机裁剪出的裁片经过印花机印花处理后，变成印花裁片，印花裁片中的印花区域可以是与印花工序相关的目标区域，印花裁片为印花工序的待检测产品。又例如，印花裁片经过缝纫机缝制处理后，变成缝制产品，缝制产品中的缝制线区域可以是与缝制序相关的目标区域，缝制产品为缝制工序的待检测产品。
26.在本技术实施例中，为了便于理解和区分，可以将图像采集设备121采集到的待检测产品的图像称之为包含待检测产品的第一原始图像。图像采集设备121可以将第一原始图像直接作为待检测图像发送给边缘计算设备122，图像采集设备121也可以对第一原始图
像进行裁剪，将第一原始图像中除目标区域之外的其它图像区域裁减掉，将裁剪后的第一原始图像作为待检测图像发送给边缘计算设备122。于是，在一可选的实施方式中，图像采集设备121采集待检测图像的一种实施过程是：采集包含待检测产品的第一原始图像；根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对第一原始图像进行裁剪，以得到包含目标区域的待检测图像。
27.值得注意的是，目标工序使用的生产配置文件是记录了与目标工序相关的配置信息，其中，配置信息包括目标区域的产品位置，当然，配置信息还可以包括但不限于目标区域的尺寸大小、图案、颜色等信息。其中，目标区域的产品位置是指目标区域在生产设备11按照目标工序生产的产品中的位置。例如，针对印花工序，印花区域在印花裁片中的位置即为印花区域的产品位置。
28.应理解，基于目标区域的产品位置对第一原始图像进行裁剪所得到的包含目标区域的待检测图像，该待检测图像的尺寸小于第一原始图像，但是，该待检测图像中目标区域的尺寸与第一原始图像中目标区域的尺寸大小相同。值得注意的是，尺寸更小的待检测图像中由于一些多余的背景区域被裁剪掉了，所以可以更加地凸显出待检测产品上的目标区域，有利于帮助提高针对待检测产品上的目标区域进行瑕疵检测的准确度。另外，在原图上进行裁剪，对裁剪后的图像的清晰度影响较小。
29.在本技术实施例中，图像采集设备121除了需要对待检测产品进行图像采集之外，还需要对目标工序产出的基准产品进行图像采集。其中，基准产品是指质量检测合格的产品，基准产品可以由质检人员按照质量检测合格标准从生产设备11试生产出来的产品中选择得到。其中，质量检测合格标准根据实际应用需求进行定义，例如，质量检测合格标准是产品无缺陷或者产品存在少量缺陷但缺陷可以忽略不计，也即基准产品是无缺陷产品，或者是存在少量缺陷但缺陷可以忽略不计的产品。
30.在本技术实施例中，为了便于理解和区分，可以将图像采集设备121采集到的基准产品的图像称之为包含基准产品的第二原始图像。在采集到第二原始图像，还需要对第二原始图像进行裁剪，以得到包含基准产品上的目标区域的模板图像。值得注意的是，尺寸小于第二原始图像的模板图像中由于一些多余的背景区域被裁剪掉了，所以可以更加地凸显出基准产品上的目标区域，以此为基准对待检测产品上的目标区域进行瑕疵检测时，有利于帮助提高针对待检测产品上的目标区域进行瑕疵检测的准确度。其中，可以采用但不限于以下几种方式获取模板图像：方式1：图像采集设备121获取模板图像的一种实施过程是：选择一个基准产品，采集包含该基准产品的一张第二原始图像，根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对该第二原始图像进行裁剪，以得到包含目标区域的模板图像。
31.方式2：为了得到高质量的模板图像，图像采集设备121获取模板图像的一种实施过程是：采集包含基准产品的多张第二原始图像，根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对多张第二原始图像分别进行裁剪，以得到包含目标区域的多张候选图像；根据多张候选图像生成模板图像。
32.例如，质检人员可以从试生产出来的产品中挑选多个质量合格的基准产品，利用图像采集设备121分别对多个基准产品进行图像采集，得到包含基准产品的多张第二原始图像；并基于目标区域的产品位置对所第二原始图像进行裁剪，将裁剪得到的包含目标区
域的图像作为候选图像；对多张候选图像进行融合处理，得到高质量的模板图像。
33.在本技术实施例中，边缘计算设备122是指能够进行边缘计算的设备，例如包括但不限于可编程逻辑控制器(programmable logic controller，plc)、可编程自动化控制器（programmable automation controller，pac）以及边缘网关等。其中，边缘计算在靠近物或数据源头的一侧，采用网络、计算、存储以及应用核心能力为一体的开放平台，就近提供智能分析处理服务。
34.在本技术实施例中，边缘计算设备122在接收到图像采集设备121发送的待检测图像之后，执行瑕疵检测任务，并将瑕疵检测结果上报给中心调度节点13，如图1所示。关于边缘计算设备122执行瑕疵检测任务的更多介绍详见后续内容。中心调度节点13与边缘计算设备122以及生产设备11可以形成云
‑
边
‑
端协同作业的网络系统，由中心调度节点13对整个生产环境中的生产设备11、人员、生产线等资源进行全局调度和管理，并充分利用边缘计算设备122的计算能力，满足瑕疵检测的实时需求。
35.其中，边缘计算设备122输出的瑕疵检测结果可以包括但不限于待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。值得注意的是，瑕疵类别可以根据实际应用需求灵活设置。例如，瑕疵类别包括有瑕疵、无瑕疵、可修复瑕疵。又例如，瑕疵类别包括有可修复瑕疵、有不可修复瑕疵、以及无瑕疵等。又例如，瑕疵类别包括无瑕疵、印花拖浆瑕疵、溅色瑕疵、图案模糊瑕疵、停车印瑕疵以及部分脆化瑕疵等。
36.其中，中心调度节点13位于云端，例如部署在中心云或者传统的数据中心中，在实现形态上可以是云服务器、服务器阵列或虚拟机等。另外，中心调度节点13可以通过有线网络、或者无线网络分别与边缘计算设备122、生产设备11和机械手14进行交互。
37.进一步可选的，如图1所示，在本技术实施例中，为了实现自动化快速分拣，中心调度节点13还可以根据瑕疵检测结果，生成分拣指令，并将分拣指令发送给生产环境中的机械手14，以控制机械手14对待检测产品进行分拣操作。
38.具体而言，机械手14可以根据分拣指令指示的瑕疵检测结果，将不同瑕疵类别的待检测产品分拣到不同区域。例如，图1中示出了良品区和次品区。进一步的，次品区可以根据瑕疵类别进行进一步细分。机械手14将质量检测合格的待检测产品分拣至良品区，将质量检测不合格的待检测产品分拣至相应的次品区。
39.进一步可选的，如图1所示，在本技术实施例中，生产设备11带有显示屏幕，中心调度节点13还用于：将瑕疵检测结果发送给生产设备11；生产设备11还用于：将瑕疵检测结果显示在显示屏幕上。
40.实际应用中，生产设备11侧的生产人员可以查看图1中所示的位于工作站上终端设备的显示屏幕上输出的瑕疵检测结果，基于瑕疵检测结果确认是否需要改进生产操作，或者基于瑕疵检测结果确认是否需要查找瑕疵原因，例如是否是生产设备11的参数设置不合理，或者是否是生产设备11出现故障。如果瑕疵检测结果表明瑕疵比较严重，需要改进生产操作，则生产人员可以及时改进生产操作，或者，也可以及时对生产设备11进行参数调整或故障检测等，从而提升整个生产线的产品质量。
41.在本技术实施例中，边缘计算设备122主要承担但并不限于瑕疵检测任务。其中，边缘计算设备122执行瑕疵检测任务的一种实施过程是：根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域；对待检测图像和模板图像进行裁剪，得
到疑似瑕疵子区域对应的待检测图像块和模板图像块；接着从图像块的粒度进行瑕疵检测，具体为：根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果。
42.在本技术实施例中，可以根据实际应用需求灵活提取待检测图像和模板图像的特征信息。例如，特征信息包括但不限于：亮度特征、边缘特征、纹理特征、色彩特征、直方图特征以及主成份特征等。除了这些特征之外，也可以采用神经网络模型从待检测图像和模板图像中提取更高维度的特征信息。
43.应理解，针对待检测图像和模板图像之间的同一图像区域，若待检测图像中该图像区域的特征信息与模板图像中该图像区域的特征信息相差较大的话，则待检测图像中的该图像区域为疑似瑕疵子区域的概率较大。若待检测图像中该图像区域的特征信息与模板图像中该图像区域的特征信息相差较小的话，则待检测图像中的该图像区域为疑似瑕疵子区域的概率较小。
44.于是，在本技术实施例中，边缘计算设备122首先可以针对待检测图像和模板图像之间的同一图像区域，基于待检测图像中该图像区域的特征信息和模板图像中该图像区域的特征信息，计算待检测图像中该图像区域与模板图像中该图像区域之间的图像相似度；接着，选择图像相似度小于预设的相似度阈值的图像区域识别为目标区域中存在的疑似瑕疵子区域。其中，预设的相似度阈值根据实际应用需求设置，图像相似度小于预设的相似度阈值的图像区域识别为目标区域中存在的疑似瑕疵子区域，图像相似度大于或等于预设的相似度阈值的图像区域不会被识别为目标区域中存在的疑似瑕疵子区域。
45.在本技术的上述或下述实施例中，可以采用图像之间的距离值来表示图像之间的相似度，并基于图像之间的距离值来更加准确识别出目标区域中存在的疑似瑕疵子区域。于是，根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域的一种实施过程是：对待检测图像和模板图像分别进行特征提取，得到具有多个通道的第一特征图和第二特征图；根据第一特征图和第二特征图中多个通道上的特征值生成距离图，距离图中包括第一特征图和第二特征图中相同位置点之间的距离值；根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域。
46.本技术实施例对待检测图像和模板图像分别进行特征提取的方式不做限定。作为一种可能的实现方式，可以利用一个训练好的特征提取网络对待检测图像和模板图像分别进行特征提取。可选的，特征提取网络的模型结构可以包括但不限于：卷积神经网络（convolutional neural networks，cnn）、循环神经网络(recurrent neural networks，rnn)、长短期记忆网络（long short
‑
term memory，lstm）。应理解，特征提取网络至少包括输入层、中间层和输出层。下面分别介绍几种利用特征提取网络对待检测图像和模板图像分别进行特征提取的方式。
47.方式1：利用特征提取网络对待检测图像进行特征提取，并将特征提取网络的输出层输出的高层特征作为第一特征图；利用特征提取网络对模板图像进行特征提取，并将特征提取网络的输出层输出的高层特征作为第二特征图。
48.方式2：利用特征提取网络对待检测图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第一特征图；利用特征提取网络对模板图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输
出的高层特征进行特征融合，得到第二特征图。
49.值得注意的是，在方式2中，在特征提取的过程中对中层特征和高层特征进行了融合处理，可以使得提取出的第一特征图或第二特征图携带更多的特征信息，有利于帮助提高瑕疵检测的准确度。
50.在本技术的上述或下述实施例中，根据第一特征图和第二特征图中多个通道上的特征值生成距离图的一种实施过程是：针对第一特征图和第二特征图中的任一相同位置点，根据该位置点在每个通道上的特征值，计算该位置点在每个通道上的子距离；对该位置点在多个通道上的子距离进行数值计算，得到该位置点对应的距离值；根据第一特征图和第二特征图中各个相同位置点对应的距离值，生成距离图。
51.其中，在计算任一位置点在每个通道上的子距离时，具体是基于该位置点在第一特征图的每个通道上的特征值以及该位置点在第二特征图的每个通道上的特征值采用距离值计算算法来计算该位置点在每个通道上的子距离。本技术对位置点的距离值计算算法不做限制。例如，距离值计算算法包括但不限于：欧氏距离(euclidean distance)算法、夹角余弦(cosine)算法、杰卡德距离(jaccard distance)算法以及马氏距离(mahalanobis distance)算法。
52.由于第一特征图和第二特征图包括多个通道，在得到任一位置点在每个通道上的子距离时，还需要对该位置点在多个通道上的子距离进行数值计算，得到该位置点对应的距离值。其中，数值计算可以是对多个通道上的子距离进行求平均值，也可以是对多个通道上的子距离进行加权求和，本技术实施例对此不做限制。
53.在本技术实施例中，第一特征图和第二特征图的尺寸大小相同。假设第一特征图和第二特征图的尺寸大小记为h
×
w
×
c，其中，h为第一特征图和第二特征图的长度，w为第一特征图和第二特征图的宽度，c为第一特征图和第二特征图的通道数。按照上述生成距离图的原则，距离图的尺寸大小记为h
×
w
×
1。
54.应理解，由于距离图中的距离值表征待检测图像与模板图像中相同位置点之间的相似度。距离图中的距离值越大，说明待检测图像中对应位置点的图像特征与模板图像对应的位置点的图像特征越相似；距离图中的距离值越小，说明待检测图像中对应位置点的图像特征与模板图像对应的位置点的图像特征越不相似。基于此，在得到距离图之后，可以对距离图中的距离值进行分布统计，基于距离图中距离值的分布情况，识别出这些距离值中的异常距离值和正常距离值，将异常距离值对应的图像区域识别目标区域中存在的疑似瑕疵子区域。
55.本技术实施例对分布统计方式不做限制，例如，可以统计距离图中距离值的指数分布。又例如，可以统计距离图中距离值的泊松分布。又例如，可以统计距离图中距离值的高斯分布。
56.实际应用时，可以基于分布统计结果灵活设置异常距离值的数值区间和正常距离值的数值区间。可以理解的是，灵活设置异常距离值的数值区间和正常距离值的数值区间可以更好地适应不同生产场景，也即不同生产场景设置不同的异常距离值的数值区间和正常距离值的数值区间。
57.以高斯分布为例，统计距离图中距离值对应的均值μ和方差δ，设置正常距离值的数值区间为[μ
‑
3δ，μ+3δ]；异常距离值的数值区间为在[
‑
∞，μ
‑
3δ）和[μ+3δ，+∞）。于是，针
对距离图中的任一距离值，若该距离值落在[μ
‑
3δ，μ+3δ]之内，该距离值为正常距离值。若该距离值落在[
‑
∞，μ
‑
3δ）或 [μ+3δ，+∞）之内，该距离值为异常距离值。
[0058]
在本技术的上述或下述实施例中，为了准确识别出目标区域中存在的疑似瑕疵子区域，根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域的一种实施过程是：根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图，中间掩码图中每个位置点表示距离图中对应位置点上的距离值为正常距离值或异常距离值；对中间掩码图进行上采样，以得到尺寸与模板图像或待检测图像相同的目标掩码图，目标掩码图中包括至少一个连通区域，连通区域是指由表示异常距离值的相邻位置点形成的；将待检测图像中与连通区域对应的子区域，作为目标区域中存在的疑似瑕疵子区域。
[0059]
本技术实施例对生成尺寸与距离图相同的中间掩码图的方式不做限制。示例性的，根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图的一种实施过程是：对距离图中距离值进行分布统计，得到正常距离值和异常距离值；根据距离图的尺寸创建未设置像素取值的初始掩码图，初始掩码图中每个位置点对应距离图中的相应位置点的距离值；针对初始掩码图中每个位置点，若对应距离值为异常距离值，则该位置点的像素取值为第一像素值；若对应距离值为正常距离值，则该位置点的像素取值为第二像素值。例如，第一像素值为255，第二像素值为0。或者，第一像素值为0，第二像素值为255。当然，第一像素值和第二像素值也可以取其它不同数值，对此不做限定。
[0060]
在本技术实施例中，中间掩码图可以认为是距离图的掩码图。由于特征提取造成第一特征图相对于待检测图像的尺寸变小以及第二特征图相对于模板图像的尺寸变小，同样地，距离图、中间掩码图相对于待检测图像的尺寸也变小。于是，为了准确获取反映待检测图像的掩码图，需要将中间掩码图上采样至尺寸与模板图像或待检测图像相同的掩码图，在此，为了便于理解和区分，将上采样得到的掩码图称之为目标掩码图。得到目标掩码图之后，便于通过分析目标掩码图中位置点的像素取值便可确定出由表示异常距离值的相邻位置点形成的至少一个连通区域。基于待检测图像与目标掩码图的关系，便可准确找出待检测图像的目标区域中存在的疑似瑕疵子区域。
[0061]
例如，在采用第一像素值为255，第二像素值为0的情况下，在生成目标掩码图之后，确定像素值为255的连通域，并为该连通域创建一个外接矩形，该外接矩形的四个顶点坐标表征的图像区域便是待检测图像的目标区域中存在的疑似瑕疵子区域。应理解，目标掩码图中像素值为255的连通域可能不止一个，也即待检测图像的目标区域中存在的疑似瑕疵子区域也可能不止一个，可以是一个或多个。
[0062]
在本技术的上述或下述实施例中，为了提高疑似瑕疵子区域的识别准确度，可以在边缘计算设备122中部署一个神经网络模型识别待检测图像的目标区域中存在的疑似瑕疵子区域，为了便于理解和区分，将上述神经网络模型称作为第一神经网络模型。该第一神经网络模型中的特征提取层可以是前述内容提及的特征提取网络。可选的，第一神经网络模型的模型结构可以包括但不限于：卷积神经网络（convolutional neural networks，cnn）、循环神经网络(recurrent neural networks，rnn)、长短期记忆网络（long short
‑
term memory，lstm）。
[0063]
可选的，在训练第一神经网络模型时，首先，可以准备大量的样本图像对，每个样本图像对包括样本检测图像和样本模板图像。接着，对样本图像对进行标注，标注结果包括
是否存在疑似瑕疵子区域，以及在存在时疑似瑕疵子区域的位置坐标。最后，基于大量的样本图像对以及对应的标注结果进行训练，得到第一神经网络模型。
[0064]
在本技术的上述或下述实施例中，边缘计算设备122在采用第一神经网络模型识别出目标区域中存在的疑似瑕疵子区域之后，对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块。接着，再进行瑕疵检测的下一个阶段，也即根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，从而实现一种两阶段的瑕疵检测方案。
[0065]
应理解，裁剪出的待检测图像块，可以扩大瑕疵在待检测图像块中的面积占比，也即待检测图像块中的瑕疵更加显著更容易被观测到。因此，基于裁剪出的待检测图像块和模板图像块进行瑕疵检测，可以进一步提高瑕疵检测的准确度。
[0066]
本技术实施例根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测的方式不做限定。
[0067]
在本技术一些可选实施例中，为了更加准确地进行瑕疵检测，可以训练一个神经网络模型来根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测。为了便于理解，将对待检测图像块进行瑕疵检测的神经网络模型称作为第二神经网络模型。可选的，第二神经网络模型的模型结构可以包括但不限于：卷积神经网络（convolutional neural networks，cnn）、循环神经网络(recurrent neural networks，rnn)、长短期记忆网络（long short
‑
term memory，lstm）。
[0068]
可选的，训练好的第二神经网络模型是一个双输入模型，也即同时使用原图中的待检测图像块和模板图像块共同作为模型的输入参数；同时，该第二神经网络模型还对待检测图像块和模板图像块的特征图进行融合处理，进而使得该第二神经网络模型可以利用更多丰富的信息进行瑕疵检测，提高了第二神经网络模型的识别准确度。可选的，第二神经网络模型的一种模型结构包括特征提取层、特征融合层和mlp（multilayer perceptron，多层感知机）分类层。
[0069]
可选的，训练好的第二神经网络模型除了可以进行瑕疵分类，还可以定位瑕疵在待检测图像块中的位置坐标。作为一种示例，第二神经网络模型在定位瑕疵在待检测图像块中的位置坐标时，首先确定瑕疵在目标掩码图中的外接图形，根据外接图形的位置坐标定位瑕疵在待检测图像中的位置坐标。可选的，外接图形可以为外接矩形、外接圆形或外接正方形，对此不做限定。以外接矩形为例，可基于外接矩形的四个顶点的位置坐标定位瑕疵在待检测图像中的位置坐标。
[0070]
可选的，在训练第二神经网络模型时，首先，可以准备大量的样本图像块对，每个样本图像块对包括样本待检测图像块和样本模板图像块。接着，对样本图像块对进行标注，标注结果包括是否存在瑕疵，瑕疵类别和瑕疵位置。最后，基于大量的样本图像块对以及对应的标注结果进行训练，得到第二神经网络模型。在该模型训练过程中，可以将样本图像块对中的样本检测图像块和样本模板图像块的特征进行融合，基于融合特征进行模型训练，最终得到一种支持双输入的神经网络模型，即第二神经网络模型。
[0071]
在本技术实施例中，第二神经网络模型可以采用但不限于以下几种方式进行瑕疵检测：方式1：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第
三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；利用分类神经网络层对目标融合特征进行瑕疵分类，以得到瑕疵检测结果。分类神经网络层可以是mlp分类层，但不限于此。
[0072]
在方式1中，第二神经网络模型可以认为是一个分类卷积神经网络模型，该分类卷积神经网络模型的模型结构包括特征提取层、特征融合层以及分类神经网络层。其中，特征提取层可以包括多个神经网络层。特征提取层分别提取待检测图像块和模板图像块这两个图像块的特征图，并将这两个图像块的特征图输入至特征融合层进行融合处理，以及将融合处理得到的目标融合特征输入至分类神经网络层进行瑕疵分类。另外，分类神经网络层还可以定位瑕疵在待检测图像中的位置坐标。
[0073]
方式2：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；将目标融合特征与特征库中已有融合特征进行匹配，并将与目标融合特征匹配的已有融合特征对应的瑕疵信息，作为瑕疵检测结果。
[0074]
在方式2中，第二神经网络模型可以认为是一个检索卷积神经网络模型，该检索卷积神经网络模型的模型结构包括特征提取层、特征融合层以及检索神经网络层。其中，特征提取层可以包括多层神经网络层。特征提取层分别提取待检测图像块和模板图像块这两个图像块的特征图，并将这两个图像块的特征图输入至特征融合层进行融合处理，以及将融合处理得到的目标融合特征输入至检索神经网络层，由检索神经网络层从特征库中检索出匹配的已有融合特征，并将检索到的已有融合特征对应的瑕疵信息作为瑕疵检测结果。
[0075]
方式3：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；利用分类神经网络层对目标融合特征进行瑕疵分类；若有瑕疵，利用分割神经网络层定位瑕疵在待检测图像中的位置信息。
[0076]
在方式3中，第二神经网络模型可以认为是一个分割卷积神经网络模型，该分割卷积神经网络模型的模型结构包括特征提取层、特征融合层、分类神经网络层和分割神经网络层。其中，特征提取层可以包括多层神经网络层。特征提取层分别提取待检测图像块和模板图像块这两个图像块的特征图，并将这两个图像块的特征图输入至特征融合层进行融合处理，以及将融合处理得到的目标融合特征输入至分类神经网络层进行瑕疵分类，若有瑕疵，还利用分割神经网络层定位瑕疵在待检测图像中的位置信息。
[0077]
为了便于本领域技术人员更好地理解，下面介绍一个实际应用中的数字化生产检测方法。图2为本技术实施例提供的在一个实际应用中数字化生产检测方法的过程图。参见图2，整个数字化生产检测方法主要包括两个检测阶段，其中，第一检测阶段可以认为是瑕疵初检阶段，该阶段的主要任务是定位待检测图像中疑似瑕疵子区域，并从待检测图像中裁剪出疑似瑕疵子区域。第二检测阶段可以认为是瑕疵复检阶段，该阶段的主要任务是再次对疑似瑕疵子区域进行瑕疵检测，以识别疑似瑕疵子区域是否存在瑕疵、瑕疵类别以及瑕疵的位置信息等瑕疵信息。
[0078]
参见图2可知，第一检测阶段的瑕疵检测流程包括以下步骤：对输入的待检测图像和模板图像分别进行特征提取，得到第一特征图和第二特征图；基于第一特征图和第二特征图生成两者之间的距离图，并对距离图中的距离值进行分布统计，找出距离图中的n个异
常距离值；定位n个异常距离值分别对应的疑似瑕疵子区域的位置坐标，并基于n个异常距离值分别对应的疑似瑕疵子区域的位置坐标分别对待检测图像和模板图像进行裁剪，得到待检测图像块和模板图像块。另外，记录n个异常距离值分别对应的疑似瑕疵子区域的位置坐标以及尺寸，也即图2中的裁剪区域位置和尺寸。
[0079]
参见图2可知，第二检测阶段的瑕疵检测流程包括以下步骤：利用特征提取层分别对待检测图像块和模板图像块进行特征提取，并利用特征融合层对提取的特征进行特征融合，以及利用mlp分类层对融合特征进行瑕疵分类处理，若为瑕疵，还会基于裁剪区域位置和尺寸进行原图坐标换算，以计算出瑕疵区域在原图（也即待检测图像）中的位置和尺寸。
[0080]
另外，第一检测阶段的瑕疵检测任务可以由前述内容中的第一神经网络模型实现，第二检测阶段的瑕疵检测任务可以由前述内容中的第二神经网络模型实现。
[0081]
在采用本技术实施例提供的数字化生产检测方法应用到服装生产行业的印花工序的瑕疵检测时，能够有效解决因为印花瑕疵尺寸远远小于印花区域的尺寸导致印花瑕疵检测不够准确的问题。具体的，针对待检测印花裁片和基准印花裁片，首先，采集待检测印花裁片图像和基准印花裁片图像。其次，对待检测印花裁片图像进行裁剪，得到包括印花区域的待检测裁片图像；对基准印花裁片图像进行裁剪，得到包括印花区域的模板裁片图像。接着，对待检测裁片图像和模板裁片图像执行第一检测阶段的瑕疵检测流程，得到识别印花区域中存在的疑似瑕疵子区域。接着，基于疑似瑕疵子区域的位置对待检测裁片图像和模板裁片图像再次进行裁剪，得到包括疑似瑕疵子区域的待检测裁块和模板裁块。接着，对待检测裁块和模板裁块执行第二检测阶段的瑕疵检测流程。分析印花瑕疵检测流程可知，在执行第一检测阶段之前，通过图像裁剪，使得印花区域在待检测裁片图像和模板裁片图像中的面积占比扩大。以及，在执行第二检测阶段的瑕疵检测流程之前，通过图像裁剪，使得疑似瑕疵子区域在待检测裁块和模板裁块中的面积占比扩大。应理解，瑕疵区域所占的面积占比越大，则瑕疵区域在图像中更加显著也更容易被观测到，有利于提高印花瑕疵检测的准确度和效率。
[0082]
本技术上述实施例提供的数字化生产检测系统，不仅可以对生产设备产出的产品进行瑕疵检测，还可以根据瑕疵检测结果对这些产品进行智能分拣。从产品智能分拣的角度来看，本技术实施例还提供一种智能分拣系统，该智能分拣系统的结构与图1所示的数字化生产检测系统的结构相同。具体的，该智能分拣系统包括生产设备11、中心调度节点13以及质量检测系统12和机械手14。
[0083]
其中，生产设备11，用于按照目标工序生产对应的待检测产品，待检测产品被输送至质量检测系统12。质量检测系统12，用于采集待检测产品的图像作为待检测图像，根据待检测图像和模板图像中的特征信息对待检测产品进行瑕疵检测，以得到瑕疵检测结果，并上报给中心调度节点13。其中，模板图像是指包含基准产品上的目标区域的图像；瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
[0084]
中心调度节点13，用于根据瑕疵检测结果，生成分拣指令，并将分拣指令发送给生产环境中的机械手14。机械手14，用于根据分拣指令对待检测产品进行分拣操作，即将不同瑕疵类别的待检测产品分拣到不同区域。需要说明的是，根据瑕疵检测结果的不同，分拣指令也会有所不同。在一可选实施例中，分拣指令中包括类型字段，一方面该类型字段对应瑕疵检测结果，对于不同瑕疵检测结果，该字段的取值不同；另一方面该类型字段对应机械手
的分拣动作，该字段的取值不同，表示机械手需要执行不同分拣动作。
[0085]
例如，如果瑕疵检测结果表示待检测产品属于良品，分拣指令中的类型字段可取值为01，则机械手14执行该分拣指令时会根据类型字段取值01，将待检测产品输送至良品区域，以便待检测产品进入下一生产工序；如果瑕疵检测结果表示待检测产品属于不可修复的次品，分拣指令中的类型字段可取值为02，则机械手14执行该分拣指令时会根据类型字段取值02，将待检测产品输送至次品区域，等待回收处理；如果瑕疵检测结果表示待检测产品属于可修复的次品，分拣指令中的类型字段可取值为03，则机械手14执行该分拣指令时会根据类型字段取值03，将待检测产品输送至待修复区域，等待被修复。待检测产品被修复后，可继续进入下一生产工序。
[0086]
进一步可选地，每条生产线上均部署有机械手14，每条生产线上的机械手14负责根据中心调度节点13发送的分拣指令对该生产线上各生产设备产出的产品执行分拣操作。
[0087]
进一步可选地，机械手14包括手臂架、固定于手臂架上的既能够单独抓取产品又能够联合共同抓取产品的多个抓取部件、用于对多个抓取部件进行切换控制的控制电缆，多个抓取部件分别与控制电缆连接。机械手14通过启动不同的抓取部件可以抓取不同生产设备产出的不同产品。以服装智造领域为例，机械手14可以采用抓取部件a抓取裁剪设备裁剪出的裁片，可以采用抓取部件b抓取印花设备产出的印花裁片，还可以采用抓取部件c抓取整熨设备产出的成衣。
[0088]
进一步可选的，如图1所示，质量检测系统12包括图像采集设备121和边缘计算设备122。
[0089]
生产设备11生产出的待检测产品被输送至图像采集设备121的作业区域内。图像采集设备121，用于采集位于其作业区域内的待检测产品的图像，将图像作为待检测图像发送给边缘计算设备，待检测图像包含待检测产品上的目标区域。
[0090]
边缘计算设备122，用于根据待检测图像和模板图像中的特征信息对待检测产品进行瑕疵检测，以得到瑕疵检测结果，并上报给中心调度节点13。
[0091]
对于上述实施例中的智能分拣系统其中各个组件执行操作的具体方式已经在有关该数字化生产检测系统的实施例中进行了详细描述，此处将不做详细阐述说明。
[0092]
值得注意的是，本技术实施例提供的智能分拣系统，在对生产设备生产的产品分拣之前，利用质量检测系统12对待分拣的产品进行了瑕疵检测，通过中心调度节点13基于瑕疵检测结果生成与瑕疵检测结果匹配的分拣指令并下发给机械手，使得机械手可以有针对性地进行自动分拣，改善了分拣效率，降低了分拣误差。
[0093]
图3a为本技术一示例性实施例提供的一种数字化生产检测方法的流程示意图。该方法可以由图1所示的数字化生产检测系统中的质量检测系统执行。如图3a所示，该方法可以包括以下步骤：301、采集待检测图像。
[0094]
其中，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品。
[0095]
302、根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像。
[0096]
303、对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像
块和模板图像块。
[0097]
304、根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果。
[0098]
其中，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
[0099]
进一步可选的，采集待检测图像包括：采集包含待检测产品的第一原始图像；根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对第一原始图像进行裁剪，以得到包含目标区域的待检测图像。
[0100]
进一步可选的，上述方法还包括：采集包含基准产品的多张第二原始图像，根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对多张第二原始图像分别进行裁剪，以得到包含目标区域的多张候选图像；根据多张候选图像生成模板图像。
[0101]
进一步可选的，根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，包括：对待检测图像和模板图像分别进行特征提取，得到具有多个通道的第一特征图和第二特征图；根据第一特征图和第二特征图中多个通道上的特征值生成距离图，距离图中包括第一特征图和第二特征图中相同位置点之间的距离值；根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域。
[0102]
进一步可选的，对待检测图像和模板图像分别进行特征提取，得到具有多个通道的第一特征图和第二特征图，包括：利用特征提取网络对待检测图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第一特征图；利用特征提取网络对模板图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第二特征图。
[0103]
进一步可选的，根据第一特征图和第二特征图中多个通道上的特征值生成距离图，包括：针对第一特征图和第二特征图中的任一相同位置点，根据该位置点在每个通道上的特征值，计算该位置点在每个通道上的子距离；对该位置点在多个通道上的子距离进行数值计算，得到该位置点对应的距离值；根据第一特征图和第二特征图中各个相同位置点对应的距离值，生成距离图。
[0104]
进一步可选的，根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域，包括：根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图，中间掩码图中每个位置点表示距离图中对应位置点的距离值为正常距离值或异常距离值；对中间掩码图进行上采样，以得到尺寸与模板图像或待检测图像相同的目标掩码图，目标掩码图中包括至少一个连通区域，连通区域是指由表示异常距离值的相邻位置点形成的；将待检测图像中与连通区域对应的子区域，作为目标区域中存在的疑似瑕疵子区域。
[0105]
进一步可选的，根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图，包括：对距离图中距离值进行分布统计，得到正常距离值和异常距离值；根据距离图的尺寸创建未设置像素取值的初始掩码图，初始掩码图中每个位置点对应距离图中的相应位置点的距离值；针对初始掩码图中每个位置点，若对应距离值为异常距离值，则该位置点的像素取值为第一像素值；若对应距离值为正常距离值，则该位置点的像素取值为第二像素值。
[0106]
进一步可选的，根据待检测图像块和模板图像块中的特征信息，对待检测图像块
进行瑕疵检测，以得到瑕疵检测结果，包括：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；根据目标融合特征对待检测产品进行瑕疵检测，以得到瑕疵检测结果。
[0107]
进一步可选的，根据目标融合特征对待检测产品进行瑕疵检测，以得到瑕疵检测结果，包括：利用分类神经网络层对目标融合特征进行瑕疵分类，以得到瑕疵检测结果；或者，将目标融合特征与特征库中已有融合特征进行匹配，并将与目标融合特征匹配的已有融合特征对应的瑕疵信息，作为瑕疵检测结果。
[0108]
关于质量检测系统执行数字化生产检测方法的具体实现方式已经在有关该数字化生产检测系统的实施例中进行了详细描述，此处将不做详细阐述说明。
[0109]
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤301至步骤304的执行主体可以为设备a；又比如，步骤301和302的执行主体可以为设备a，步骤303的执行主体可以为设备b；等等。
[0110]
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如301、302等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
[0111]
图3b为本技术一示例性实施例提供的一种智能分拣方法的流程示意图。如图3b所示，该方法可以包括以下步骤：31、采集待检测图像；其中，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品。
[0112]
32、根据待检测图像和模板图像中的特征信息对待检测产品进行瑕疵检测，以得到瑕疵检测结果；其中，模板图像是指包含基准产品上的目标区域的图像。
[0113]
在本实施例中，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
[0114]
33、根据瑕疵检测结果，生成分拣指令，并将分拣指令发送给生产环境中的机械手，以供机械手根据分拣指令对待检测产品执行分拣操作。
[0115]
在一可选实施例中，根据待检测图像和模板图像中的特征信息对待检测产品进行瑕疵检测，以得到瑕疵检测结果，包括：根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像；对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果。
[0116]
需要说明的是，上述方法实施例可以由前述实施例提供的智能分拣系统中的图像采集设备121、边缘计算设备122和中心调度节点13配合实施，也可以单独由图像采集设备121和中心调度节点13配合实施。在由图像采集设备121和中心调度节点13配合实施的情况下，图像采集设备121采集待检测图像并上传至中心调度节点13，中心调度节点13根据待检
测图像和模板图像中的特征信息对待检测产品进行瑕疵检测，以得到瑕疵检测结果；根据瑕疵检测结果，生成分拣指令，并将分拣指令发送给生产环境中的机械手，以供机械手根据分拣指令对待检测产品执行分拣操作。
[0117]
关于智能分拣方法中各步骤的详细实施方式已经在前述实施例中进行了详细描述，此处将不做详细阐述说明。
[0118]
图4为本技术一示例性实施例提供的一种数字化生产检测装置的结构示意图。如图4所示，该装置包括：采集模块41，用于采集待检测图像，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品；处理模块42，用于根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像；裁剪模块43，用于对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；处理模块42，还用于根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
[0119]
进一步可选的，采集模块41采集待检测图像时，具体用于：采集包含待检测产品的第一原始图像；根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对第一原始图像进行裁剪，以得到包含目标区域的待检测图像。
[0120]
进一步可选的，采集模块41，还用于：采集包含基准产品的多张第二原始图像，根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对多张第二原始图像分别进行裁剪，以得到包含目标区域的多张候选图像；根据多张候选图像生成模板图像。
[0121]
进一步可选的，处理模块42识别目标区域中存在的疑似瑕疵子区域时，具体用于：对待检测图像和模板图像分别进行特征提取，得到具有多个通道的第一特征图和第二特征图；根据第一特征图和第二特征图中多个通道上的特征值生成距离图，距离图中包括第一特征图和第二特征图中相同位置点之间的距离值；根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域。
[0122]
进一步可选的，处理模块42对待检测图像和模板图像分别进行特征提取时，具体用于：利用特征提取网络对待检测图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第一特征图；利用特征提取网络对模板图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第二特征图。
[0123]
进一步可选的，处理模块42生成距离图时，具体用于：针对第一特征图和第二特征图中的任一相同位置点，根据该位置点在每个通道上的特征值，计算该位置点在每个通道上的子距离；对该位置点在多个通道上的子距离进行数值计算，得到该位置点对应的距离值；根据第一特征图和第二特征图中各个相同位置点对应的距离值，生成距离图。
[0124]
进一步可选的，处理模块42识别目标区域中存在的疑似瑕疵子区域时，具体用于：根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图，中间掩码图中每个位置点表示距离图中对应位置点的距离值为正常距离值或异常距离值；对中间
掩码图进行上采样，以得到尺寸与模板图像或待检测图像相同的目标掩码图，目标掩码图中包括至少一个连通区域，连通区域是指由表示异常距离值的相邻位置点形成的；将待检测图像中与连通区域对应的子区域，作为目标区域中存在的疑似瑕疵子区域。
[0125]
进一步可选的，处理模块42生成中间掩码图时，具体用于：对距离图中距离值进行分布统计，得到正常距离值和异常距离值；根据距离图的尺寸创建未设置像素取值的初始掩码图，初始掩码图中每个位置点对应距离图中的相应位置点的距离值；针对初始掩码图中每个位置点，若对应距离值为异常距离值，则该位置点的像素取值为第一像素值；若对应距离值为正常距离值，则该位置点的像素取值为第二像素值。
[0126]
进一步可选的，处理模块42对待检测图像块进行瑕疵检测时，具体用于：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；根据目标融合特征对待检测产品进行瑕疵检测，以得到瑕疵检测结果。
[0127]
进一步可选的，处理模块42根据目标融合特征对待检测产品进行瑕疵检测时，具体用于：利用分类神经网络层对目标融合特征进行瑕疵分类，以得到瑕疵检测结果；或者，将目标融合特征与特征库中已有融合特征进行匹配，并将与目标融合特征匹配的已有融合特征对应的瑕疵信息，作为瑕疵检测结果。
[0128]
图4的数字化生产检测装置可以执行图3所示实施例的数字化生产检测方法，其实现原理和技术效果不再赘述。对于上述实施例中的数字化生产检测装置其中各个模块、单元执行操作的具体方式已经在有关该数字化生产检测系统的实施例中进行了详细描述，此处将不做详细阐述说明。
[0129]
图5为本技术一示例性实施例提供的一种质量检测设备的结构示意图。如图5所示，该质量检测设备可以包括：存储器51、处理器52。
[0130]
存储器51，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。
[0131]
存储器51可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（sram），电可擦除可编程只读存储器（eeprom），可擦除可编程只读存储器（eprom），可编程只读存储器（prom），只读存储器（rom），磁存储器，快闪存储器，磁盘或光盘。
[0132]
处理器52，与存储器51耦合，用于执行存储器51中的计算机程序，以用于：采集待检测图像，待检测图像包含待检测产品上的目标区域，待检测产品是生产设备按照目标工序生产出的产品；根据待检测图像和模板图像中的特征信息，识别目标区域中存在的疑似瑕疵子区域，模板图像是指包含基准产品上的目标区域的图像；对待检测图像和模板图像进行裁剪，得到疑似瑕疵子区域对应的待检测图像块和模板图像块；根据待检测图像块和模板图像块中的特征信息，对待检测图像块进行瑕疵检测，以得到瑕疵检测结果，瑕疵检测结果中包括待检测产品中是否存在瑕疵以及在存在瑕疵时的瑕疵类别。
[0133]
进一步可选的，处理器52采集待检测图像时，具体用于：采集包含待检测产品的第一原始图像；根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对第一原始图像进行裁剪，以得到包含目标区域的待检测图像。
[0134]
进一步可选的，处理器52，还用于：采集包含基准产品的多张第二原始图像，根据目标工序使用的生产配置文件中记录的目标区域的产品位置，对多张第二原始图像分别进行裁剪，以得到包含目标区域的多张候选图像；根据多张候选图像生成模板图像。
[0135]
进一步可选的，处理器52识别目标区域中存在的疑似瑕疵子区域时，具体用于：对待检测图像和模板图像分别进行特征提取，得到具有多个通道的第一特征图和第二特征图；根据第一特征图和第二特征图中多个通道上的特征值生成距离图，距离图中包括第一特征图和第二特征图中相同位置点之间的距离值；根据距离图中距离值的分布情况，识别目标区域中存在的疑似瑕疵子区域。
[0136]
进一步可选的，处理器52对待检测图像和模板图像分别进行特征提取时，具体用于：利用特征提取网络对待检测图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第一特征图；利用特征提取网络对模板图像进行特征提取，并将特征提取网络的中间层输出的中层特征和输出层输出的高层特征进行特征融合，得到第二特征图。
[0137]
进一步可选的，处理器52生成距离图时，具体用于：针对第一特征图和第二特征图中的任一相同位置点，根据该位置点在每个通道上的特征值，计算该位置点在每个通道上的子距离；对该位置点在多个通道上的子距离进行数值计算，得到该位置点对应的距离值；根据第一特征图和第二特征图中各个相同位置点对应的距离值，生成距离图。
[0138]
进一步可选的，处理器52识别目标区域中存在的疑似瑕疵子区域时，具体用于：根据距离图中距离值的分布情况，生成尺寸与距离图相同的中间掩码图，中间掩码图中每个位置点表示距离图中对应位置点的距离值为正常距离值或异常距离值；对中间掩码图进行上采样，以得到尺寸与模板图像或待检测图像相同的目标掩码图，目标掩码图中包括至少一个连通区域，连通区域是指由表示异常距离值的相邻位置点形成的；将待检测图像中与连通区域对应的子区域，作为目标区域中存在的疑似瑕疵子区域。
[0139]
进一步可选的，处理器52生成中间掩码图时，具体用于：对距离图中距离值进行分布统计，得到正常距离值和异常距离值；根据距离图的尺寸创建未设置像素取值的初始掩码图，初始掩码图中每个位置点对应距离图中的相应位置点的距离值；针对初始掩码图中每个位置点，若对应距离值为异常距离值，则该位置点的像素取值为第一像素值；若对应距离值为正常距离值，则该位置点的像素取值为第二像素值。
[0140]
进一步可选的，处理器52对待检测图像块进行瑕疵检测时，具体用于：对待检测图像块和模板图像块分别进行特征提取，得到具有多个通道的第三特征图和第四特征图；将第三特征图和第四特征图进行对比融合，得到目标融合特征；根据目标融合特征对待检测产品进行瑕疵检测，以得到瑕疵检测结果。
[0141]
进一步可选的，处理器52根据目标融合特征对待检测产品进行瑕疵检测时，具体用于：利用分类神经网络层对目标融合特征进行瑕疵分类，以得到瑕疵检测结果；或者，将目标融合特征与特征库中已有融合特征进行匹配，并将与目标融合特征匹配的已有融合特征对应的瑕疵信息，作为瑕疵检测结果。
[0142]
进一步，如图5所示，该质量检测设备还包括：通信组件53、显示器54、电源组件55、音频组件56等其它组件。图5中仅示意性给出部分组件，并不意味着质量检测设备只包括图5所示组件。另外，图5中虚线框内的组件为可选组件，而非必选组件，具体可视质量检测设
备的产品形态而定。本实施例的质量检测设备可以实现为台式电脑、笔记本电脑、智能手机或iot设备等终端设备，也可以是常规服务器、云服务器或服务器阵列等服务端设备。若本实施例的质量检测设备实现为台式电脑、笔记本电脑、智能手机等终端设备，可以包含图5中虚线框内的组件；若本实施例的质量检测设备实现为常规服务器、云服务器或服务器阵列等服务端设备，则可以不包含图5中虚线框内的组件。
[0143]
相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由质量检测设备执行的各步骤。
[0144]
上述图5中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信（nfc）模块，以促进短程通信。例如，在nfc模块可基于射频识别（rfid）技术，红外数据协会（irda）技术，超宽带（uwb）技术，蓝牙（bt）技术和其他技术来实现。
[0145]
上述图5中的显示器包括屏幕，其屏幕可以包括液晶显示器（lcd）和触摸面板（tp）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
[0146]
上述图5中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
[0147]
上述图5中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（mic），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
[0148]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd
‑
rom、光学存储器等）上实施的计算机程序产品的形式。
[0149]
本技术是参照根据本技术实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
[0150]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指
令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
[0151]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
[0152]
在一个典型的配置中，计算设备包括一个或多个处理器 (cpu)、输入/输出接口、网络接口和内存。
[0153]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (ram) 和/或非易失性内存等形式，如只读存储器 (rom) 或闪存(flash ram)。内存是计算机可读介质的示例。
[0154]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (pram)、静态随机存取存储器 (sram)、动态随机存取存储器 (dram)、其他类型的随机存取存储器 (ram)、只读存储器 (rom)、电可擦除可编程只读存储器 (eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器 (cd
‑
rom)、数字多功能光盘 (dvd) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
[0155]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0156]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。