一种划痕检测方法、装置、设备及存储介质与流程

1.本公开涉及图像处理领域，尤其涉及一种划痕检测方法、装置、设备及存储介质。


背景技术：

2.笔记本电脑的键盘在生产过程中会由于各种原因导致键帽表面有划痕类缺陷，这些划痕不易发现，即使在阵列灯管照射下也常常难以发现，最终带有划痕的键盘流入笔记本电脑组装工厂生产线，或流入客户手中，产生高额的更换或赔偿费。另外，即使生产线上生产的键盘没有缺陷，在进行后续笔记本电脑组装的过程中，仍然会产生各种划痕。
3.现有技术中，主要是通过人工对键帽表面的划痕进行检测，然而人工检测的一致性难以保证，而且这些划痕的类型多变，不易发现，导致划痕识别效果较差，速度较慢，并且造成了大量人力资源的浪费。


技术实现要素：

4.本公开提供了一种划痕检测方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
5.根据本公开的第一方面，提供了一种划痕检测方法，包括：获取多张键帽图像，所述键帽图像对应一个键帽，所述键帽具有至少一个划痕，所述键帽图像的标注数据包括：所述划痕的第一边框、置信度和类型的概率；对所述划痕进行自适应锚框，确定所述划痕的第二边框的尺寸；根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框；对所有键帽图像进行数据增强，得到一张标准键帽图像；对所述标准键帽图像进行多次提取特征得到多张特征图，对所述特征图按得到的先后顺序进行排序，将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将所述第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，所述特征融合图与所述检测框一一对应；基于所述检测框，通过检测模型对相应的特征融合图进行划痕预测，得到对应的预测结果；根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化，得到优化后的目标检测模型；通过所述目标检测模型对待识别键帽图像进行划痕检测，得到检测结果。
6.在一可实施方式中，根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框，包括：根据所述第二边框的尺寸对所有划痕进行聚类，得到多个分组，每个分组对应一个检测框，所述检测框的尺寸为该分组内尺寸最大的第二边框的尺寸。
7.在一可实施方式中，对所有键帽图像进行数据增强，得到一张标准键帽图像，包括：对所述键帽图像进行随机缩放处理，得到对应的第一增强键帽图像，所述第一增强键帽图像为所述键帽图像或经过缩放处理后的键帽图像；对所述键帽图像的颜色空间的格式进行随机转换，得到对应的第二增强键帽图像，所述第二增强键帽图像为所述键帽图像或经过转换后的键帽图像；对所述键帽图像进行随机旋转和翻转处理，得到对应的第三增强键帽图像，所述第三增强键帽图像为所述键帽图像或经过旋转和翻转处理后的键帽图像；从
所有键帽图像中选取一张键帽图像，从所有第一增强键帽图像中选取一张第一增强键帽图像，从所有第二增强键帽图像中选取一张第二增强键帽图像，从所有第三增强键帽图像中选取一张第三增强键帽图像，进行拼接，得到与所述键帽图像相同尺寸的所述标准键帽图像。
8.在一可实施方式中，对所述标准键帽图像进行多次提取特征得到多张特征图，对所述特征图按得到的先后顺序进行排序，将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将所述第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，所述特征融合图与所述检测框一一对应，包括：对所述标准键帽图像进行多次卷积操作，每经过设定次数的卷积操作得到一个特征图；对上一个得到的特征图进行设定次数的卷积操作，得到当前的特征图，将得到的多个特征图按照得到的先后顺序进行排序；所述特征图的个数和所述检测框的数量均为n，n个检测框按照检测框的尺寸由小到大进行排序；将第i个特征图与第i+1至第n个特征图进行融合，得到第i个特征图对应的第一融合图，其中，第n个特征图对应的第一融合图为第n个特征图；第i个特征图对应的第一融合图与第1至第i-1个特征图对应的第一融合图进行融合，得到第i个特征图对应的特征融合图；第i个特征融合图对应第i个检测框。
9.在一可实施方式中，对应的预测结果，包括：至少一个候选预测框以及所述候选预测框对应的预测置信度和预测类型的概率；该方法还包括：若所述候选预测框中含有所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中含有划痕，所述候选预测框为正样本；若所述候选预测框中不含所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中不含划痕，所述候选预测框为负样本。
10.在一可实施方式中，根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化，包括：根据所有标注数据中的置信度和所有候选预测框对应的预测置信度，确定检测模型的第一损失；根据所有标注数据中第一边框的坐标和尺寸与所有正样本的候选预测框的坐标和尺寸，确定检测模型的第二损失；根据所有标注数据中类型的概率与所有正样本的候选预测框对应的预测类型的概率，确定检测模型的第三损失；对所述第一损失、所述第二损失和所述第三损失进行加权求和，得到总损失；根据所述总损失对检测模型进行优化，得到优化后的目标检测模型。
11.根据本公开的第二方面，提供了一种划痕检测装置，包括：数据获取模块，用于获取多张键帽图像，所述键帽图像对应一个键帽，所述键帽具有至少一个划痕，所述键帽图像的标注数据包括：所述划痕的第一边框、置信度和类型的概率；锚框模块，用于对所述划痕进行自适应锚框，确定所述划痕的第二边框的尺寸；根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框；目标检测模型，用于对所有键帽图像进行数据增强，得到一张标准键帽图像；对所述标准键帽图像进行多次提取特征得到多张特征图，对所述特征图按得到的先后顺序进行排序，将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将所述第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，所述特征融合图与所述检测框一一对应；基于所述检测框，通过检测模型对所述特征融合图进行划痕预测，得到对应的预测结果；根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化，得到优化后的目标检测模型；通过所述目标检测模型对待识别键帽图像进行划痕检测，
得到检测结果。
12.在一可实施方式中，锚框模块，还用于：根据所述第二边框的尺寸对所有划痕进行聚类，得到多个分组，每个分组对应一个检测框，所述检测框的尺寸为该分组内尺寸最大的第二边框的尺寸。
13.在一可实施方式中，所述对所有键帽图像进行数据增强，得到一张标准键帽图像时，目标检测模型，还用于：对所述键帽图像进行随机缩放处理，得到对应的第一增强键帽图像，所述第一增强键帽图像为所述键帽图像或经过缩放处理后的键帽图像；对所述键帽图像的颜色空间的格式进行随机转换，得到对应的第二增强键帽图像，所述第二增强键帽图像为所述键帽图像或经过转换后的键帽图像；对所述键帽图像进行随机旋转和翻转处理，得到对应的第三增强键帽图像，所述第三增强键帽图像为所述键帽图像或经过旋转和翻转处理后的键帽图像；从所有键帽图像中选取一张键帽图像，从所有第一增强键帽图像中选取一张第一增强键帽图像，从所有第二增强键帽图像中选取一张第二增强键帽图像，从所有第三增强键帽图像中选取一张第三增强键帽图像，进行拼接，得到与所述键帽图像相同尺寸的所述标准键帽图像。
14.在一可实施方式中，对所述标准键帽图像进行多次提取特征得到多张特征图，对所述特征图按得到的先后顺序进行排序，将所述特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将所述第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，所述特征融合图与所述检测框一一对应时，目标检测模型，还用于：对所述标准键帽图像进行多次卷积操作，每经过设定次数的卷积操作得到一个特征图；对上一个得到的特征图进行设定次数的卷积操作，得到当前的特征图，将得到的多个特征图按照得到的先后顺序进行排序；所述特征图的个数和所述检测框的数量均为n，n个检测框按照检测框的尺寸由小到大进行排序；将第i个特征图与第i+1至第n个特征图进行融合，得到第i个特征图对应的第一融合图，其中，第n个特征图对应的第一融合图为第n个特征图；第i个特征图对应的第一融合图与第1至第i-1个特征图对应的第一融合图进行融合，得到第i个特征图对应的特征融合图；第i个特征融合图对应第i个检测框。
15.在一可实施方式中，对应的预测结果，包括：至少一个候选预测框以及所述候选预测框对应的预测置信度和预测类型的概率；目标检测模型，还用于：若所述候选预测框中含有所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中含有划痕，所述候选预测框为正样本；若所述候选预测框中不含所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中不含划痕，所述候选预测框为负样本。
16.根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化，包括：根据所有标注数据中的置信度和所有候选预测框对应的预测置信度，确定检测模型的第一损失；根据所有标注数据中第一边框的坐标和尺寸与所有正样本的候选预测框的坐标和尺寸，确定检测模型的第二损失；根据所有标注数据中类型的概率与所有正样本的候选预测框对应的预测类型的概率，确定检测模型的第三损失；对所述第一损失、所述第二损失和所述第三损失进行加权求和，得到总损失；根据所述总损失对检测模型进行优化，得到优化后的目标检测模型。
17.根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
18.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
19.本公开的一种划痕检测方法、装置、设备及存储介质，通过多次卷积操作，能有效提取出键帽图像中不同深浅层次的特征，基于不同尺寸的检测框，通过检测模型针对不同尺寸的划痕进行检测，尤其是对难以发现的小尺寸的划痕进行针对性检测，有效提高了键帽中划痕的检出率，降低了漏检的概率。并且无需人工操作，检测速度快、精度高，在节约人力成本的基础上提高了键帽划痕的检测效率，提升了键盘生产的品质。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：在附图中，相同或对应的标号表示相同或对应的部分。
22.图1示出了本公开实施例一种划痕检测方法的实现流程示意图一；图2示出了本公开实施例对所有键帽图像进行数剧增强的方法的实现流程示意图二；图3示出了本公开实施例得到与所述检测框对应的特征融合图的方法的实现流程示意图三；图4示出了本公开实施例对检测模型进行优化，得到优化后的目标检测模型的方法的实现流程示意图四；图5示出了本公开实施例一种划痕检测装置的结构示意图五。
具体实施方式
23.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
24.步骤101，获取多张键帽图像，键帽图像对应一个键帽，键帽具有至少一个划痕，键帽图像的标注数据包括：划痕的第一边框、置信度和类型的概率。
25.对键盘生产线上生产的有划痕的键帽进行收集，应收尽收，得到含有至少一个划痕的键帽。
26.对所有的有划痕的键帽进行图像采集，得到相同尺寸的多张键帽图像，每一张键帽图像对应一个键帽，每一个键帽都具有至少一个划痕。
27.根据划痕的颜色和形状等特点对划痕进行分类，确定每个划痕的类型，并且，在多张键帽图像中，各类型的划痕的数量相当。确定划痕的真实边框为该划痕的第一边框，较佳地，第一边框为四边形。根据划痕的第一边框确定第一边框某个顶点（左上、左下、右上、右下四个顶点之一）或者中心点的横坐标和纵坐标，以及第一边框的宽和高。其中，确定划痕的真实边框的方式本公开不做具体限定。
28.每个键帽图像中都含有标注数据，用来标注划痕的第一边框、置信度和类型的概率。其中，划痕的置信度表示第一边框中有划痕的概率，在标注的数据中，划痕的置信度可为1（表示置信度最高）；划痕的类型的概率表示该划痕属于该类型的概率，其取值范围为0到1之间（包含0和1）的任何数。
29.在一示例中，划痕的类型可分为以下6种：类型1（黑色浅划痕）、类型2（黑色深划痕）、类型3（白色浅划痕）、类型4（白色深划痕）、类型5（擦伤类划痕）和类型6（短环形划痕）。当然，根据需要划痕的类型可以分为更多种，本公开对此不做限制。
30.在一示例中，键帽图像中划痕的标注数据为：（a，b，c，d，e，f，g，h，i，j，k），表示该划痕的第一边框的中心点的横坐标为a、纵坐标为b，第一边框的宽为c个（像素），第一边框的高为d个（像素），划痕的置信度为e，划痕属于类型1的概率值为f，属于类型2的概率值为g，属于类型3的概率值为h，属于类型4的概率值为i，属于类型5的概率值为j，属于类型6的概率值为k。
31.假设，键帽图像中划痕q的标注数据为： q（5，6，10，13，1，0.2，0.4，0.8，0.9，0.5，0.6），则表示划痕q的第一边框的中心点的横坐标为5、纵坐标为6，第一边框的宽为10个像素，第一边框的高为13个像素，划痕q的置信度为1，划痕q属于类型1的概率值为0.2，属于类型2的概率值为0.4，属于类型3的概率值为0.8，属于类型4的概率值为0.9，属于类型5的概率值为0.5，属于类型6的概率值为0.6。
32.步骤102，对划痕进行自适应锚框，确定划痕的第二边框的尺寸。
33.对于键帽图像中键帽的划痕，采用自适应锚框（auto learning bounding box anchors）方法进行自动锚框，得到每个划痕的第二边框，根据该划痕的第二边框的宽和高确定该划痕的第二边框的尺寸。
34.在一示例中，得到一个划痕的第二边框，该第二边框的宽的像素值为，高的像素值为，按照公式：第二边框的尺寸，确定该划痕的第二边框的尺寸。
35.步骤103，根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框。
36.根据第二边框的尺寸对所有划痕进行聚类，得到多个分组，每个分组对应一个检测框，每一个检测框的尺寸为该分组内尺寸最大的第二边框的尺寸。
37.在一示例中，根据所有划痕的第二边框的尺寸，通过k-means聚类算法对所有划痕进行聚类，假设得到划痕的4个分组，对每个分组对应设置一个检测框。假设分组1中最大的第二边框的尺寸为50个像素，则分组1对应的检测框为d1，尺寸为50个像素；分组2中最大的第二边框的尺寸为100个像素，则分组2对应的检测框为d2，尺寸为100个像素；分组3中最大的第二边框的尺寸为300个像素，则分组3对应的检测框为d3，尺寸为300个像素；分组4中最
大的第二边框的尺寸为800个像素，则分组4对应的检测框为d4，尺寸为800个像素。
38.步骤104，对所有键帽图像进行数据增强，得到一张标准键帽图像。
39.对所有的键帽图像进行数据增强，得到一张标准键帽图像作为训练样本，并且标准键帽图像的尺寸与键帽图像的尺寸相同。
40.对所有的键帽图像进行数据增强后，增加了训练样本的数量，同时也提高了键帽图像的质量，更有利于检测模型充分学习到不同的尺寸、颜色和形状的划痕的更多样的特征，提升其检测划痕的泛化能力。
41.步骤105，对标准键帽图像进行多次提取特征得到多张特征图，对特征图按得到的先后顺序进行排序，将特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，特征融合图与检测框一一对应。
42.对标准键帽图像进行特征提取，先后得到多个不同深浅层次的特征图，这些特征图的数量与检测框的数量相同。先得到的特征图表征了键帽图像中更浅层的特征，蕴含更多局部像素点的信息，即更细节的信息，后得到的特征图表征了键帽图像中更深层次的特征，蕴含更多全局的信息，即更抽象的信息。
43.按照得到的先后顺序对多个特征图进行排序，并将所有的检测框按照从小到大的顺序进行排序，如此，得到的特征图与检测框是一一对应的。
44.将得到的多个特征图进行融合，得到与特征图一一对应的多个特征融合图，如此，该多个特征融合图融合了标准键帽图像中不同深浅层次的特征，并且与检测框也是一一对应的。
45.同时，标准键帽图像对应的键帽图像中的标注数据被映射到不同的特征融合图中，得到特征融合图对应的新的标注数据。其中标注数据中划痕的第一边框被映射到不同的特征融合图中，映射后得到各个特征融合图对应的划痕的新的第一边框，包括划痕的新的第一边框的中心点的横坐标、纵坐标、宽和高，划痕的置信度映射到不同的特征融合图中后与映射前标注数据中的划痕的置信度一致，划痕的类型的概率映射到不同的特征融合图中后与映射前标注数据中的划痕的类型的概率一致。
46.承接上述示例，对于4个不同尺寸的检测框，按照从小到大的顺序进行排序，得到排好序的4个检测框d1、d2、d3和d4。对标准键帽图像进行特征提取及特征融合后，按照得到的特征图的先后顺序对对应的特征融合图进行排序，得到排好序的4个特征融合图：n1、n2、n3和n4，并分别与检测框d1、d2、d3和d4一一对应。
47.步骤106，基于检测框，通过检测模型对相应的特征融合图进行划痕预测，得到对应的预测结果。
48.检测模型中包含有多个检测头，每个检测头关注的划痕的尺寸不同。基于检测框的数量，设置检测模型中检测头的数量，并且检测头与检测框一一对应。因为检测框与特征融合图一一对应，检测头也与特征融合图一一对应。对于尺寸最大的检测框，其对应的检测头，更关注的划痕的尺寸为：大于次大的检测框的尺寸，而其他尺寸的检测框对应的检测头，更关注尺寸比对应的检测框的尺寸小的划痕。基于检测框，通过检测模型中的检测头对相应的特征融合图进行划痕预测，得到检测框对应的预测结果。
49.对于每个特征融合图，平均划分为大小相同的多个网格，并且，每个特征融合图中
的网格数量相同。检测头通过对应的检测框在对应的特征融合图中对每个网格进行检测，得到对应的预测结果。预测结果中包括至少一个候选预测框，以及候选预测框对应的预测置信度及预测类型的概率，其中预测置信度表示对应的候选预测框中有划痕的概率值，预测类型的概率表示对应的候选预测框中的划痕属于每种类型的概率值。
50.承接上述示例，检测模型中有4个检测头，分别为h1、h2、h3和h4。按照特征图得到的先后顺序，对对应的特征融合图进行排序后，得到特征融合图像n1、n2、n3和n4。其中检测头h1对应检测框d1（尺寸为50个像素），对特征融合图像n1进行检测，关注尺寸小于50个像素的小尺寸的划痕，检测头h2对应检测框d2（尺寸为100个像素），对特征融合图像n2进行检测，关注尺寸为50~100个像素的划痕，检测头h3对应检测框d3（尺寸为300个像素），对特征融合图像n3进行检测，关注尺寸为100~300个像素的划痕，检测头h4对应检测框d4（尺寸为800个像素），对特征融合图像n4进行检测，关注尺寸为300个像素以上的划痕。这4个检测头就可以覆盖键帽图像中各尺寸的划痕。
51.对于得到的所有候选预测框，分为正样本和负样本，由于特征融合图中映射了标准键帽图像对应的各键帽图像中的标注数据，可以确定划痕的第一边框的中心点是否被包含在特征融合图的某个候选预测框中。若特征融合图的候选预测框中含有标注数据中划痕的第一边框的中心点，确定该候选预测框中含有划痕，该候选预测框为正样本。若候选预测框中不含标注数据中划痕的第一边框的中心点，确定该候选预测框中不含划痕，该候选预测框为负样本。
52.步骤107，根据所有键帽图像的标注数据及所有检测框对应的预测结果，对检测模型进行优化，得到优化后的目标检测模型。
53.通过构建损失函数，根据所有键帽图像的标注数据及所有检测框对应的预测结果，计算预测结果的损失，根据得到的损失对检测模型进行优化，得到优化后的目标检测模型。
54.步骤104-107是一次训练过程，循环执行上述104-107的步骤，经过多次迭代优化，直至检测模型收敛，停止迭代，优化完成，得到优化后的目标检测模型。
55.步骤108，通过目标检测模型对待识别键帽图像进行划痕检测，得到检测结果。
56.对于待识别的键盘进行图像采集，得到待识别键盘图像，根据模板图像对待识别键盘图像进行分割，得到多个待识别键帽图像，其中，一个键帽对应一个待识别键帽图像。对待识别键帽图像进行增加对比度和放大的预处理，得到预处理后的待识别键帽图像。本公开中，对待识别键帽图像进行增加对比度和放大的方式不做具体限定。
57.通过上述优化后的目标检测模型，对预处理后的待识别键帽图像进行划痕检测，得到对应的候选预测框以及每个候选预测框对应的预测置信度和预测类型的概率。优化后的目标检测模型，能针对不同尺寸大小的划痕进行检测，尤其是对难以发现的小尺寸的划痕进行针对性检测，有效提高了划痕的检出率。并且，无需人工操作，计算简便，检测速度快、精度高，在节约人力资源的基础上提升了键盘生产的品质。
58.由于是多个检测框对应的预测结果，同一划痕的位置上会产生大量的候选预测框，这些候选预测框之间会有重复或者重叠的现象，即对同一划痕进行了多次检测。对候选预测框进行过滤，删除重复的候选预测框，得到最佳预测框，最佳预测框及其对应的预测置信度和预测类型的概率即为检测结果。
59.在一示例中，对候选预测框进行过滤，删除重复的候选预测框的具体实现方法为：对于得到的多个候选预测框，首先，按照对应的预测置信度从大到小的顺序对所有候选预测框进行排序，排好序的候选预测框组成数据集a。预设一个空的数据集b。
60.从数据集a中取出置信度最高的候选预测框作为第一个最佳预测框，放入数据集b中。通过交并比的计算方法得到数据集a中每一个候选预测框与第一个最佳预测框的交并比。预设阈值t，从数据集a中删除与第一个最佳预测框的交并比大于阈值t的候选预测框。
61.之后，从数据集a剩下的候选预测框中取出置信度最高的候选预测框作为第二个最佳预测框，放入数据集b。通过交并比的计算方法得到数据集a中每一个候选预测框与第二个最佳预测框的交并比，从数据集a中删除与第二个最佳预测框的交并比大于阈值t的候选预测框。
62.重复执行上述步骤，直至数据集a中没有候选预测框，得到数据集b，数据集b中的最佳预测框及其对应的预测置信度和预测类型的概率即为检测结果。
63.在一可实施方式中，假设有两个候选预测框u和v，可按照如下公式计算u和v两个候选预测框的交并比iou： iou=（u和v两个候选预测框重合的面积）/（u和v两个候选预测框合并起来的面积）。
64.在一可实施方式中，得到待识别键帽图像的划痕检测结果，之后，还包括：综合待识别键盘的所有键帽的划痕检测结果，得到该待识别键盘的划痕检测结果。
65.利用传统算法对该待识别键盘进行全局缺陷检测，得到全局检测结果。融合该待识别键盘中所有键帽的划痕检测结果与全局检测结果，得到待识别键盘的总检测结果，总检测结果包括预测到的所有缺陷的预测框及其对应的预测置信度和预测类型。
66.本公开一示例，上述步骤104中对所有键帽图像进行数据增强，得到一张标准键帽图像的过程，如图2所示，包括：步骤201，对键帽图像进行随机缩放处理，得到对应的第一增强键帽图像，第一增强键帽图像为键帽图像或经过缩放处理后的键帽图像。
67.对上述键帽图像进行随机缩小或放大处理，得到与处理前的键帽图像相同尺寸的第一增强键帽图像。如果键帽图像进行了缩小处理，则对该缩小后的键帽图像进行填充，得到第一增强键帽图像；如果键帽图像进行了放大处理，则对放大后的键帽图像进行裁剪，得到第一增强键帽图像；如果键帽图像没有进行缩小或放大处理，则该键帽图像即为对应的第一增强键帽图像。
68.步骤202，对键帽图像的颜色空间的格式进行随机转换，得到对应的第二增强键帽图像，第二增强键帽图像为键帽图像或经过转换后的键帽图像。
69.由于键帽的颜色多种多样，而收集到的键帽数量有限，存在一些颜色的键帽没有收集到，导致上述键帽图像中不能包含所有颜色的键帽。采用hsv颜色空间随机变换的方法对上述键帽图像进行数据增强，其中h表示色相(hue)，s表示饱和度(saturation)，v表示亮度(value)，能增加不同颜色键帽对应的键帽图像的数量，并有效提升对不同颜色键帽对应的键帽图像进行划痕检测的泛化能力。
70.具体实现为：对h、s和v三个通道的数值进行随机变化，将rgb格式的键帽图像转换成hsv格式，得到第二增强键帽图像。其中h、s和v三个通道的数值进行随机变化的概率可以
相同也可以不同。如果键帽图像进行了颜色空间的格式转换，则得到的第二增强键帽图像为转换格式后的键帽图像；如果键帽图像没有进行颜色空间的格式转换，则该键帽图像即为对应的第二增强键帽图像。
71.步骤203，对键帽图像进行随机旋转和翻转处理，得到对应的第三增强键帽图像，第三增强键帽图像为键帽图像或经过旋转和翻转处理后的键帽图像。
72.对上述键帽图像，随机按照预设旋转角度进行旋转处理，和/或随机进行水平或垂直翻转处理，得到第三增强键帽图像。如果键帽图像进行了旋转处理，则旋转处理后得到的为对应的第三增强键帽图像；如果键帽图像进行了翻转处理，则翻转处理后得到的为对应的第三增强键帽图像；如果键帽图像没有进行旋转或翻转处理，则该键帽图像即为对应的第三增强键帽图像。
73.步骤204，从所有键帽图像中选取一张键帽图像，从所有第一增强键帽图像中选取一张第一增强键帽图像，从所有第二增强键帽图像中选取一张第二增强键帽图像，从所有第三增强键帽图像中选取一张第三增强键帽图像，进行拼接，得到一张标准键帽图像。
74.从所有的键帽图像中选取一张键帽图像，再从所有的第一增强键帽图像中选取一张第一增强键帽图像，从所有的第二增强键帽图像中选取一张第二增强键帽图像，从所有的第三增强键帽图像中选取一张第三增强键帽图像，进行拼接，得到拼接后的键帽图像。然后对拼接后的键帽图像进行缩小，缩小到与键帽图像相同尺寸，得到一张标准键帽图像。
75.本公开中，步骤201-203的实施不分先后顺序，重复执行上述步骤201-204，得到多张标准键帽图像。
76.在一可实施方式中，还可以采用其他数据增强的方法对键帽图像进行数据增强，具体的其他数据增强的方法本公开不做具体限定。
77.本公开一示例，上述步骤105中对标准键帽图像进行多次提取特征得到多张特征图，对特征图按得到的先后顺序进行排序，将特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，特征融合图与检测框一一对应的过程，如图3所示，包括：步骤301，对标准键帽图像进行多次卷积操作，每经过设定次数的卷积操作得到一个特征图；对上一个得到的特征图进行设定次数的卷积操作，得到当前的特征图，将得到的多个特征图按照得到的先后顺序进行排序；特征图的个数和检测框的数量均为n，n个检测框按照检测框的尺寸由小到大进行排序。
78.通过卷积模块对标准键帽图像进行多次卷积操作，每次卷积操作都是基于上次卷积操作后得到的结果，再次进行卷积操作。基于第一次卷积操作后得到的卷积结果进行第二次卷积操作，当前卷积操作后得到的结果作为下次进行卷积操作的对象。每经过设定次数的卷积操作得到一个特征图，对上一个得到的特征图进行设定次数的卷积操作，得到当前的特征图，如此经过多次卷积操作之后，得到多个特征图，特征图的个数与上述步骤103中得到的检测框的数目相同，并按照得到的先后顺序对多个特征图进行排序。假设上述步骤103中得到的检测框的数量为n，那么得到的特征图的数量也为n，并对检测框按照尺寸由小到大进行排序。
79.在一可实施方式中，卷积模块为csp-darknet（cross stage partial
‑ꢀ
darknet）轻量化卷积神经网络结构，csp
‑ꢀ
darknet轻量化卷积神经网络中含有多个卷积层，每一个
卷积层可以对特征图进行自下而上的特征提取，得到标准键帽图像中不同深浅层次的特征，同时减少计算量，加快计算速度。
80.在一示例中，划痕的第二边框的尺寸分布范围较宽，为了更好地检测出不同尺寸类型的划痕，csp
‑ꢀ
darknet网络结构设置16个卷积层，每经过4次卷积操作得到一个特征图，先后得到4个特征图：c1，c2，c3，c4。其中，浅层次的特征图（c1）相对于深层次的特征图（c2）包含更多的颜色、纹理、边缘等细节的特征。
81.步骤302，将第i个特征图与第i+1至第n个特征图进行融合，得到第i个特征图对应的第一融合图，其中，第n个特征图对应的第一融合图为第n个特征图。
82.csp-darknet轻量化卷积神经网络后接有spp-net（spatial pyramid pooling networks）金字塔池化层，通过spp-net金字塔池化层，将第i个特征图与第i+1至第n个特征图进行融合，得到第i个特征图对应的第一次融合后的图像，为方便后续描述，将第一次融合后的图像称为第一融合图，如此，得到每一个特征图对应的第一融合图。其中，第n个特征图对应的第一融合图即为第n个特征图。这样，每一个特征图对应的第一融合图都融合了该特征图以及比其更深层次的特征图的特征。
83.承接上述示例，对上述4个特征图进行第一次融合，特征图c4经过第一次融合得到对应的第一融合图p4，即第一融合图p4拥有特征图c4的特征；特征图c4与特征图c3融合，得到特征图c3对应的第一融合图p3，这样第一融合图p3就拥有了特征图c4与特征图c3的特征；特征图c4、c3与特征图c2融合，得到特征图c2对应的第一融合图p2，这样第一融合图p2就拥有了特征图c2、c3与c4的特征；特征图c2、c3、c4与特征图c1融合，得到特征图c1对应的第一融合图p1，这样第一融合图p1就拥有了特征图c1、c2、c3与c4的特征。第一次融合后，共得到4个第一融合图p1、p2、p3和p4。
84.步骤303，第i个特征图对应的第一融合图与第1至第i-1个特征图对应的第一融合图进行融合，得到第i个特征图对应的特征融合图，第i个特征融合图对应第i个检测框。
85.spp-net金字塔池化层后接有panet（path aggregation network）模块，通过panet模块，对第i个特征图对应的第一融合图与第1至第i-1个特征图对应的第一融合图进行融合，得到第i个特征图对应的第二次融合后的图像，为方便后续描述，将第二次融合后的图像称为特征融合图，第i个特征融合图对应第i个检测框。这样，每一个特征图对应的特征融合图都融合了所有特征图的特征。
86.承接上述示例，第一融合图p1、p2、p3、p4通过panet模块进行融合，得到4个特征图对应的特征融合图。具体为：第一融合图p1经过融合得到特征图c1对应的特征融合图n1，特征融合图n1拥有第一融合图p1的特征；第一融合图p1与第一融合图p2进行融合，得到特征图c2对应的特征融合图n2，这样特征融合图n2就拥有了第一融合图p1与p2的特征；第一融合图p1、p2与第一融合图p3融合，得到特征图c3对应的特征融合图n3，这样特征融合图n3就拥有了第一融合图p1、p2与p3的特征；第一融合图p1、p2、p3与第一融合图p4融合，得到特征图c4对应的特征融合图n4，这样特征融合图n4就拥有了第一融合图p1、p2、p3与p4的特征。这样就得到了特征融合图n1、n2、n3、n4，并且都融合了所有特征图的特征。
87.由于对不同层次的特征图进行了从后至前和从前至后两次融合，得到的特征融合图融合了所有特征图的特征，包含了不同尺寸的划痕的特征，可以满足不同尺寸的划痕的检测需求。
88.特征提取及特征融合应用了csp-darknet网络、spp-net（spatial pyramid pooling networks）金字塔池化层和panet（path aggregation network）模块，能有效提取键帽图像中不同深浅层次的特征，使检测模型能针对不同尺寸的划痕进行检测，尤其是对于比较难以发现的小尺寸的划痕进行针对性检测，有效提高划痕的检出率。
89.本公开一示例，上述步骤107中根据所有键帽图像的标注数据及所有检测框对应的预测结果，对检测模型进行优化，得到优化后的目标检测模型的过程，如图4所示，包括：步骤401，根据所有标注数据中的置信度和所有候选预测框对应的预测置信度，确定检测模型的第一损失。
90.本公开中，通过focal loss交叉熵损失函数构建检测模型的第一损失函数，用来表征预测置信度的损失。根据所有标注数据中的置信度和所有候选预测框对应的预测置信度，按照如下公式计算得到检测模型的第一损失loss1，其中，为特征融合图，为特征融合图上的网格，为一个特征融合图的网格数，为特征融合图的个数；表示特征融合图中网格所属的候选预测框对应的预测置信度；若特征融合图中网格所属的候选预测框为正样本，则，若特征融合图中网格所属的候选预测框为负样本，则；和是超参数，可以预先设定，为正样本的权重，为负样本的权重，假设=0.25，=1.5。
91.步骤402，根据所有标注数据中第一边框的坐标和尺寸与所有正样本的候选预测框的坐标和尺寸，确定检测模型的第二损失。
92.构建检测模型的第二个损失函数，用来表征候选预测框的损失。根据所有标注数据中第一边框的坐标和尺寸，确定映射到各个特征融合图中对应的新的第一边框的中心点的坐标和尺寸。
93.根据各个特征融合图中对应的新的第一边框的中心点的坐标和尺寸与所有正样本的候选预测框的坐标和尺寸，按照如下公式计算得到检测模型的第二损失loss2：
其中，为特征融合图，为特征融合图上的网格，为一个特征融合图的网格数，为特征融合图的个数；若特征融合图中网格对应的候选预测框为正样本，则，若特征融合图中网格对应的候选预测框为负样本，则；和分别表示特征融合图中网格对应的候选预测框的中心点的横坐标和纵坐标，和分别表示该网格对应的候选预测框的宽和高；和分别表示映射到特征融合图中的划痕的新的第一边框的中心点的横坐标和纵坐标，和分别表示该划痕的新的第一边框的宽和高。
94.步骤403，根据所有标注数据中类型的概率与所有正样本的候选预测框对应的预测类型的概率，确定检测模型的第三损失。
95.构建检测模型的第三个损失函数，用来表征预测类型的损失。根据所有标注数据中类型的概率与所有正样本的候选预测框对应的预测类型的概率，按照如下公式计算得到检测模型的第三损失loss3：。
96.其中，为特征融合图，为特征融合图上的网格，为划痕的类型，为一个特征融合图的网格数，为特征融合图的个数；为划痕的类型数。若特征融合图中网格对应的候选预测框为正样本，则，若特征融合图中网格对应的候选预测框为负样本，则。表示候选预测框对应的预测类型属于的概率，表示标注数据中划痕属于类型的概率。
97.步骤404，对第一损失、第二损失和第三损失进行加权求和，得到总损失。
98.对上述得到的第一损失、第二损失和第三损失，按照如下公式进行加权求和，得到总损失loss：其中，a、b和c为预先设定的，表示三个损失的权重，在本公开中，a=b=c=1。
99.步骤405，根据总损失对检测模型进行优化，得到优化后的目标检测模型。
100.根据上述总体损失loss，对检测模型进行优化，更新检测模型的参数，得到优化后的目标检测模型。
101.上述对键帽图像进行划痕预测时，得到大量候选预测框，而这些候选预测框中只有很少部分含有划痕，所以存在正负样本严重失衡的现象。而focal loss交叉熵损失函数可以解决正负样本以及难易样本不平衡的现象，使得检测模型更关注于负样本和正样本。应用focal loss交叉熵损失函数来计算损失得到优化后的目标检测模型，有效降低了正负样本不平衡导致的负面影响。
102.为了实现上述方法，本公开一示例提供了一种划痕检测装置，其结构示意图如图5所述，包括：数据获取模块51，用于获取多张键帽图像，所述键帽图像对应一个键帽，所述键帽具有至少一个划痕，所述键帽图像的标注数据包括：所述划痕的第一边框、置信度和类型的概率；锚框模块52，用于对所述划痕进行自适应锚框，确定所述划痕的第二边框的尺寸；根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框；目标检测模型53，用于对所有键帽图像进行数据增强，得到一张标准键帽图像；对标准键帽图像进行多次提取特征得到多张特征图，对特征图按得到的先后顺序进行排序，将特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，特征融合图与检测框一一对应；基于所述检测框，通过检测模型对所述特征融合图进行划痕预测，得到对应的预测结果；根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化，得到优化后的目标检测模型；通过所述目标检测模型对待识别键帽图像进行划痕检测，得到检测结果。
103.在一示例中，根据所有键帽图像中所有划痕的第二边框的尺寸，确定多个尺寸不同的检测框时，锚框模块52，还用于：根据所述第二边框的尺寸对所有划痕进行聚类，得到多个分组，每个分组对应一个检测框，所述检测框的尺寸为该分组内尺寸最大的第二边框的尺寸。
104.在一示例中，对所有键帽图像进行数据增强，得到一张标准键帽图像时，目标检测模型53，还用于：对所述键帽图像进行随机缩放处理，得到对应的第一增强键帽图像，所述第一增强键帽图像为所述键帽图像或经过缩放处理后的键帽图像；对所述键帽图像的颜色空间的格式进行随机转换，得到对应的第二增强键帽图像，所述第二增强键帽图像为所述键帽图像或经过转换后的键帽图像；对所述键帽图像进行随机旋转和翻转处理，得到对应的第三增强键帽图像，所述第三增强键帽图像为所述键帽图像或经过旋转和翻转处理后的键帽图像；
从所有键帽图像中选取一张键帽图像，从所有第一增强键帽图像中选取一张第一增强键帽图像，从所有第二增强键帽图像中选取一张第二增强键帽图像，从所有第三增强键帽图像中选取一张第三增强键帽图像，进行拼接，得到与所述键帽图像相同尺寸的所述标准键帽图像。
105.在一示例中，对标准键帽图像进行多次提取特征得到多张特征图，对特征图按得到的先后顺序进行排序，将特征图与其排序之后的特征图进行第一次特征融合得到第一融合图，将第一融合图与其排序之前的第一融合图进行第二次特征融合得到特征融合图，特征融合图与检测框一一对应时，目标检测模型53，还用于：对所述标准键帽图像进行多次卷积操作，每经过设定次数的卷积操作得到一个特征图；对上一个得到的特征图进行设定次数的卷积操作，得到当前的特征图，将得到的多个特征图按照得到的先后顺序进行排序；所述特征图的个数和所述检测框的数量均为n，n个检测框按照检测框的尺寸由小到大进行排序；将第i个特征图与第i+1至第n个特征图进行融合，得到第i个特征图对应的第一融合图，其中，第n个特征图对应的第一融合图为第n个特征图；第i个特征图对应的第一融合图与第1至第i-1个特征图对应的第一融合图进行融合，得到第i个特征图对应的特征融合图；第i个特征融合图对应第i个检测框。
106.在一示例中，对应的预测结果，包括：至少一个候选预测框以及所述候选预测框对应的预测置信度和预测类型的概率；目标检测模型53，还用于：若所述候选预测框中含有所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中含有划痕，所述候选预测框为正样本；若所述候选预测框中不含所述标注数据中划痕的第一边框的中心点，确定所述候选预测框中不含划痕，所述候选预测框为负样本。
107.根据所有键帽图像的标注数据及所有检测框对应的预测结果，对所述检测模型进行优化时，目标检测模型53，还用于：根据所有标注数据中的置信度和所有候选预测框对应的预测置信度，确定检测模型的第一损失；根据所有标注数据中第一边框的坐标和尺寸与所有正样本的候选预测框的坐标和尺寸，确定检测模型的第二损失；根据所有标注数据中类型的概率与所有正样本的候选预测框对应的预测类型的概率，确定检测模型的第三损失；对所述第一损失、所述第二损失和所述第三损失进行加权求和，得到总损失；根据所述总损失对检测模型进行优化，得到优化后的目标检测模型。
108.根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
109.电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示
例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
110.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、芯片上系统的系统（soc）、负载可编程逻辑设备（cpld）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
111.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
112.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
113.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，crt（阴极射线管）或者lcd（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。
114.可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（lan）、广域网（wan）和互联网。
115.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
116.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
117.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
118.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。