工业装配场景中的设备核检方法、装置及电子设备与流程

本发明涉及工业装配技术领域，特别涉及一种工业装配场景中的设备核检方法、装置及电子设备。

背景技术：

工业装配场景中，在设备下线(比如发动机装配下线)前，为保证装配质量，须对设备进行核检，当设备存在不符合核检标准时及时进行纠正，避免下线设备存在错装、漏装等问题，保证下线设备满足下线要求。

目前，工业装配场景中进行设备核检时，需核检人员严格按照《在线检查点作业顺序书》所列检验内容依次核检，以确定是否存在错装、漏装等问题。由于设备核检结果与核检人员的操作能力高度相关，使核检效果严重依赖于核检人员，大大影响了核检效果，并且由于需要核检人员需要花费时间对每一设备人工操作，在核检设备较多时导致核检工作量大大增加，严重影响核检效率。

技术实现要素：

为了解决相关技术中工业装配场景中设备的核检效果及核检效率不高的技术问题，本发明提供了一种工业装配场景中的设备核检方法、装置及电子设备。

第一方面，提供了一种工业装配场景中的设备核检方法，包括：

获取工业装配场景中对设备采集的设备图像，所述设备图像包括发动机端面图像与零部件图像；

采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，识别所述设备图像中的发动机端面状态及零部件状态；

将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态。

可选的，所述采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，识别所述设备图像中的发动机端面状态及零部件状态的步骤包括：

根据所述发动机端面图像提取发动机端面的实际轮廓；

将所述实际轮廓与所述发动机端面的cad图轮廓进行匹配运算，确定所述发动机端面图像中发动机端面的装配状态。

可选的，所述采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，识别所述设备图像中的发动机端面状态及零部件状态的步骤包括：

将所述零部件图像在预先训练的零部件库中进行匹配运算，确定零部件类型；

查找所述将所述零部件类型的各状态图像；

将所述零部件图像与所述零部件类型的各状态图像进行比对，确定所述零部件图像中的零部件状态。

可选的，所述将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态的步骤之后，所述方法还包括：

当识别到所述发动机端面状态或零部件状态与预设的核检标准不匹配时，则进行设备核检未通过的报警提醒。

可选的，所述将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态的步骤之后，所述方法还包括：

根据所述工业装配场景中的设备状态生成核检报告；

通过与外部设备的通讯连接将所述核检报告发送给所述外部设备，以在所述外部设备上存储或展示。

第二方面，提供了一种工业装配场景中的设备核检装置，包括：

设备图像获取模块，用于获取工业装配场景中对设备采集的设备图像，所述设备图像包括发动机端面图像与零部件图像；

图像识别模块，用于采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，识别所述设备图像中的发动机端面状态及零部件状态；

比对模块，用于将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态。

可选的，所述图像识别模块包括：

实际轮廓提取单元，用于根据所述发动机端面图像提取发动机端面的实际轮廓；

匹配运算单元，用于将所述实际轮廓与所述发动机端面的cad图轮廓进行匹配运算，确定所述发动机端面图像中发动机端面的装配状态。

可选的，所述图像识别模块包括：

零部件类型确定单元，用于将所述零部件图像在预先训练的零部件库中进行匹配运算，确定零部件类型；

状态图像查找单元，用于查找所述将所述零部件类型的各状态图像；

零部件状态单元，用于将所述零部件图像与所述零部件类型的各状态图像进行比对，确定所述零部件图像中零部件的状态。

第三方面，提供了一种电子设备，其特征在于，所述电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的方法。

第四方面，提供了一种计算机可读性存储介质，用于存储程序，其特征在于，所述程序在被执行时使得电子设备执行如第一方面的方法。

通过本发明的实施例提供的技术方案能够得到以下有益效果：

工业装配场景中进行设备核检时，在获取工业装配场景中对设备采集的设备图像后，采用深度学习算法分别对发动机端面图像与零部件图像进行图像识别，识别设备图像中的发动机端面状态及零部件状态，再将发动机端面状态及零部件状态与预设的核检标准进行比对，确定工业装配场景中的设备状态，从而实现工业装配场景中设备的自动核检，相比通过核检人员进行人工核检，大大提高了核检效率及效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，本发明并不受限制。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是根据一示例性实施例示出的一种工业装配场景中的设备核检方法流程图。

图2是根据图1对应实施例示出的工业装配场景中的设备核检方法中步骤s120的一种具体实现流程图。

图3是根据图1对应实施例示出的工业装配场景中的设备核检方法中步骤s120的又一种具体实现流程图。

图4为不同零部件类型(不同螺母型号)的示意图。

图5是根据图1对应实施例示出的另一种工业装配场景中的设备核检方法的具体实现流程图。

图6是根据一示例性实施例示出的核检报告的示意图。

图7是根据一示例性实施例示出的一种工业装配场景中的设备核检装置的框图。

图8是根据图7对应实施例示出的工业装配场景中的设备核检装置中图像识别模块120的一种框图。

图9是根据图7对应实施例示出的工业装配场景中的设备核检装置中图像识别模块120的另一种框图。

图10是根据图7对应实施例示出的另一种工业装配场景中的设备核检装置的框图。

图11是根据一示例性实施例示出的一种电子设备的框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所记载的、本发明的一些方面相一致的系统和方法的例子。

图1是根据一示例性实施例示出的一种工业装配场景中的设备核检方法流程图，该方法应用于平板电脑、服务器等电子设备中，如图1所示，该工业装配场景中的设备核检方法可以包括以下步骤。

步骤s110，获取工业装配场景中对设备采集的设备图像，设备图像包括发动机端面图像与零部件图像。

设备图像是对工业装配场景中将进行下线的设备所拍摄的图像。

设备图像可以是实时采集的图像；也可以是从预先采集的图像库中提取的图像；也可以是在视频采集存储后，从存储的视频中提取的图像帧；还可以是其它形式的图像。

在进行设备核检时，主要是对设备的发动机端面及零部件进行核检，判断发动机是否安装到位、设备的零部件是否符合装配标准。因此，采集的设备图像主要包括发动机端面图像与零部件图像。

步骤s120，采用深度学习算法分别对发动机端面图像与零部件图像进行图像识别，识别设备图像中的发动机端面状态及零部件状态。

需要说明的是，在采用深度学习算法分别对发动机端面图像与零部件图像进行图像识别之前，已预先构建有发动机端面与零部件的样本图像训练库，该样本图像训练库是通过深度学习训练而生成的，并且包含发动机端面及零部件在各种状态下的图像。在获取设备图像后，再采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，从而大大提高对发动机端面图像与零部件图像的识别效率。

深度学习算法可以各种可用于图像识别的算法，例如可采用卷积神经网络算法进行图像识别，当然也可以采用其他深度学习算法对发动机端面图像与零部件图像进行图像识别。

卷积神经网络是lecun等人在1998年提出的用于文字识别，他们称之为lenet-5。卷积操作是基于图像二维结构定义的，其定义局部感受域每个底层特征只跟输入的一个子集有关，如拓扑邻域。卷积层里面的拓扑局部限制会使得权重矩阵非常稀疏，所以卷积操作连接的两层只有局部连接。计算这样的矩阵乘法比起计算一个稠密矩阵乘法更方便高效，另外更小数目的自由参数会使得统计计算有更多的好处。在拥有二维拓扑结构的图像里，相同的输入模式会在不同位置出现，而且相近的值更可能有更强的依赖，这对于数据的模型是非常重要的。计算相同的局部特征可能是在整个图的任意平移位置，所以我们用这样一个局部特征算子在整个图中扫描。这就是卷积并把输入图变换为一个特征图。这个扫描可以看作在不同的位置提取相同的特征，它们是共享权重的，与生物神经网络更相似。通过这种设计不仅可以使模型的复杂度降低，而且使网络权值的数量也大大的减少。cnn利用权值共享的方式减少需要学习的参数数目，较之一般前向bp算法(errorbackpropagation，误差反向传播)使得训练速度和准确度得到了极大的提高。cnn作为一个深度学习算法，可以使得数据的预处理的开销达到最小化。

很明显，深度卷积网络需要大量的有标注样本进行训练，而且还需要在训练过程中进行样本增强，而且由于卷积结构的存在和数据量的庞大，训练一个深度卷积网络需要密集的运算量，因此现在大部分深度卷积网络都是通过gpu训练的。

卷积神经网络一般使用卷积和聚合操作作为基础操作，但是它不需要无监督的逐层预训练策略。在整个训练过程中，反向传播起到的作用是非常突出的，另外通过合适的激励函数能够在提升训练速度的同时提高最终识别的准确率。

具体的，如图2所示，在对发动机端面图像进行图像识别时，步骤s120包括步骤s121、步骤s122。

步骤s121，根据所述发动机端面图像提取发动机端面的实际轮廓。

由于发动机端面图像是三维图像，因此采用三视图法对发动机端面图像进行正平行投影，获得在xy、xz和yz平面上的二维轮廓图。在获得二维轮廓图后，等角度从二维轮廓图中心向轮廓发出射线，在此基础上，提取轮廓上的特征点，获得发动机端面的实际轮廓。

步骤s122，将所述实际轮廓与所述发动机端面的cad图轮廓进行匹配运算，确定所述发动机端面图像中发动机端面的装配状态。

cad图是设计人员在设计出该设备的结构图后而存储的，显然，cad图包括发动机端面在符合核检标准时的状态图。因此，根据发动机端面在符合核检标准时cad图中提取的cad图轮廓，将发动机端面的实际轮廓与发动机端面的cad图轮廓进行匹配运算，计算两者之间的匹配度，并根据匹配度判断所述发动机端面图像中发动机端面的装配状态。

当发动机端面的实际轮廓与发动机端面的cad图轮廓之间的匹配度达到预设的匹配度阈值时，则判定所述发动机端面图像中的发动机端面处于装配状态，符合核检标准。

匹配运算时可采用基于灰度的匹配算法、基于特征的匹配算法等算法，在此不进行详细描述。

具体的，如图3所示，在对零部件图像进行图像识别时，步骤s120包括步骤s124、s125、s126。

步骤s124，将所述零部件图像在预先训练的零部件库中进行匹配运算，确定零部件类型。

零部件使用行业广泛，其类型很多，性能用途各异。常用的零部件包括螺栓、螺柱、螺钉、螺母、垫圈等。而且，即使是同一种类的零部件，还需识别其具体的零部件型号，从而确定零部件类型。

例如，如图4所示，图4为不同零部件类型(不同螺母型号)的示意图。

由于零部件类型较多，因此，通过先对零部件图像进行零部件类型的识别，进而再对零部件图像该类型下的状态识别，从而减少零部件图像识别的计算量，提高零部件图像识别的准确性和效率。

步骤s125，查找所述将所述零部件类型的各状态图像。

如前所述，电子设备中预先存储有零部件的样本图像训练库，通过采用深度学习算法预先识别零部件图像中零部件的类型，再识别零部件的状态。

对于各种类的零部件，电子设备中预先存储有零部件的各状态图像，因此，在识别零部件类型后，在电子设备中查找该种类型零部件的各状态图像。

步骤s126，将所述零部件图像与所述零部件类型的各状态图像进行比对，确定所述零部件图像中零部件的状态。

需要检测的零部件状态包括，例如：螺母、螺栓是否漏装、错装；增压器垫片有无安装；线束插头是否松脱或处于半插入状态等。

具体的，通过深度学习，在前端摄像头获取当前的设备图像后，设备图像与样本图像训练库进行匹配运算，最终确定零部件状态。

采用深度学习算法对零部件图像进行类型和状态识别的深度学习算法与发动机端面识别类似，在此不再赘述。

步骤s130，将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态。

可以理解的是，对设备核检时会预先制定核检标准，通过将所述发动机端面状态及零部件状态与预设的核检标准进行比对，在发动机端面状态及零部件状态均符合核检标准时，该设备核检才会通过。

利用如上所述的方法，工业装配场景中进行设备核检时，在获取工业装配场景中对设备采集的设备图像后，采用深度学习算法分别对发动机端面图像与零部件图像进行图像识别，识别设备图像中的发动机端面状态及零部件状态，再将发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态，从而实现工业装配场景中设备的自动核检，相比通过核检人员进行人工核检，大大提高了核检效率及效果。

可选的，图1对应实施例示出的工业装配场景中的设备核检方法中，在步骤s130之后，该工业装配场景中的设备核检方法还可以包括以下步骤：

当识别到所述发动机端面状态或零部件状态与预设的核检标准不匹配时，则进行设备核检未通过的报警提醒。

通过自动对未通过核检的设备状态进行报警提醒，使核检人员能够方便地相应的设备进行纠错处理，有效提高了纠错效率。

报警提醒的方式有多种，例如，通过预先设置报警灯，在当识别到与预设的核检标准不匹配时，通过报警灯进行灯光提醒；也可以通过设置报警器，在当识别到与预设的核检标准不匹配时，通过报警器进行声音提醒；还可以通过其他的方式实现报警提醒，在此不进行一一描述。

通过对设备核检的异常状态进行报警提醒，为核检人员获知设备核检结果提供了更好的便利性。

可选的，如图5所述，图1对应实施例示出的工业装配场景中的设备核检方法中，在步骤s130之后，该工业装配场景中的设备核检方法还可以包括以下步骤：

步骤s210，根据所述工业装配场景中的设备状态生成核检报告。

电子设备中预先存储有核检报告模板，在确定工业装配场景中的设备状态后，根据核检报告模板中各项核检内容，将相应设备状态填入核检报告模板生成核检报告。

可选的，当识别到某项核检内容对应的设备状态不符合核检标准时，还可从锁定设备图像不符合核检标准的位置，并从设备图像中提取出该位置的错误图像，以方便核检人员更加方便地查找到错误位置，以快速进行纠正处理。

图6是根据一示例性实施例示出的核检报告的示意图。

步骤s220，通过与外部设备的通讯连接将所述核检报告发送给所述外部设备，以在所述外部设备上存储或展示。

电子设备与外部设备通讯连接，通过通讯连接将所述核检报告发送给所述外部设备，以在所述外部设备上存储或展示。

例如，平板安装在便于核检人员操作的位置，通过将平板与用于设备核检的电子设备通讯连接，核检人员无需前往工业装配场景即可方便获知设备核检结果，有效提高工业装配场景中设备核检的便利性和灵活性。

又例如，ar眼镜作为ar虚拟叠加展示和交互设备，在接收电子设备发送的核检报告，将核检报告叠加与ar眼镜的显示界面中，指导核检人员直观地排除错误，从而进一步提高了核检人员的操作便利性，降低了核检人员的操作门槛。

下述为本发明装置实施例，可以用于执行上述工业装配场景中的设备核检方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明工业装配场景中的设备核检方法实施例。

图7是根据一示例性实施例示出的一种工业装配场景中的设备核检装置的框图，该系统包括但不限于：设备图像获取模块110、图像识别模块120及比对模块130。

设备图像获取模块110，用于获取工业装配场景中对设备采集的设备图像，所述设备图像包括发动机端面图像与零部件图像；

图像识别模块120，用于采用深度学习算法分别对所述发动机端面图像与零部件图像进行图像识别，识别所述设备图像中的发动机端面状态及零部件状态；

比对模块130，用于将所述发动机端面状态及零部件状态与预设的核检标准进行比对，确定所述工业装配场景中的设备状态。

上述装置中各个模块的功能和作用的实现过程具体详见上述工业装配场景中的设备核检方法中对应步骤的实现过程，在此不再赘述。

可选的，图8是根据图7对应实施例示出的工业装配场景中的设备核检装置中图像识别模块120的一种框图，如图8所示，该图像识别模块120包括但不限于：实际轮廓提取单元121、匹配运算单元122。

实际轮廓提取单元221，用于根据所述发动机端面图像提取发动机端面的实际轮廓；

匹配运算单元122，用于将所述实际轮廓与所述发动机端面的cad图轮廓进行匹配运算，确定所述发动机端面图像中发动机端面的装配状态。

可选的，图9是根据图7对应实施例示出的工业装配场景中的设备核检装置中图像识别模块120的另一种框图，如图9所示，该图像识别模块120包括但不限于：零部件类型确定单元124、状态图像查找单元125、零部件状态单元126。

零部件类型确定单元124，用于将所述零部件图像在预先训练的零部件库中进行匹配运算，确定零部件类型；

状态图像查找单元125，用于查找所述将所述零部件类型的各状态图像；

零部件状态确定单元126，用于将所述零部件图像与所述零部件类型的各状态图像进行比对，确定所述零部件图像中零部件的状态。

可选的，图7对应实施例示出的工业装配场景中的设备核检装置还包括但不限于：报警提醒模块。

报警提醒模块，用于当识别到所述发动机端面状态或零部件状态与预设的核检标准不匹配时，则进行设备核检未通过的报警提醒。

可选的，图10是根据图7对应实施例示出的另一种工业装配场景中的设备核检装置的框图，如图10所示，该工业装配场景中的设备核检装置还包括但不限于：核检报告生成模块210、核检报告发送模块220。

核检报告生成模块210，用于根据所述工业装配场景中的设备状态生成核检报告；

核检报告发送模块220，用于通过与外部设备的通讯连接将所述核检报告发送给所述外部设备，以在所述外部设备上存储或展示。

图9是根据一示例性实施例示出的一种电子设备100的框图。参考图10，电子设备100可以包括以下一个或者多个组件：处理组件101，存储器102，电源组件103，多媒体组件104，音频组件105，传感器组件107以及通信组件108。其中，上述组件并不全是必须的，电子设备100可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。

处理组件101通常控制电子设备100的整体操作，诸如与显示，电话呼叫，数据通信，相机操作以及记录操作相关联的操作等。处理组件101可以包括一个或多个处理器109来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件101可以包括一个或多个模块，便于处理组件101和其他组件之间的交互。例如，处理组件101可以包括多媒体模块，以方便多媒体组件104和处理组件101之间的交互。

存储器102被配置为存储各种类型的数据以支持在电子设备100的操作。这些数据的示例包括用于在电子设备100上操作的任何应用程序或方法的指令。存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如sram(staticrandomaccessmemory，静态随机存取存储器)，eeprom(electricallyerasableprogrammableread-onlymemory，电可擦除可编程只读存储器)，eprom(erasableprogrammablereadonlymemory，可擦除可编程只读存储器)，prom(programmableread-onlymemory，可编程只读存储器)，rom(read-onlymemory，只读存储器)，磁存储器，快闪存储器，磁盘或光盘。存储器102中还存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器109执行，以完成上述任一所示方法中的全部或者部分步骤。

电源组件103为电子设备100的各种组件提供电力。电源组件103可以包括电源管理系统，一个或多个电源，及其他与为电子设备100生成、管理和分配电力相关联的组件。

多媒体组件104包括在所述电子设备100和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括lcd(liquidcrystaldisplay，液晶显示器)和tp(touchpanel，触摸面板)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

图像采集组件105被配置为采集图像或视频。例如，图像采集组件105包括一个摄像头，当电子设备100处于操作模式，摄像头被配置为拍摄外部图像。所采集的图像可以被进一步存储在存储器102或经由通信组件108发送。在一些实施例中，图像采集组件105还包括一个扫描仪等。

传感器组件107包括一个或多个传感器，用于为电子设备100提供各个方面的状态评估。例如，传感器组件107可以检测到电子设备100的打开/关闭状态，组件的相对定位，传感器组件107还可以检测电子设备100或电子设备100一个组件的坐标改变以及电子设备100的温度变化。在一些实施例中，该传感器组件107还可以包括磁传感器，压力传感器或温度传感器。

通信组件108被配置为便于电子设备100和其他设备之间有线或无线方式的通信。电子设备100可以接入基于通信标准的无线网络，如wifi(wireless-fidelity，无线网络)，2g或3g，或它们的组合。在一个示例性实施例中，通信组件108经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件108还包括nfc(nearfieldcommunication，近场通信)模块，以促进短程通信。例如，在nfc模块可基于rfid(radiofrequencyidentification，射频识别)技术，irda(infrareddataassociation，红外数据协会)技术，uwb(ultra-wideband，超宽带)技术，bt(bluetooth，蓝牙)技术和其他技术来实现。

在示例性实施例中，电子设备100可以被一个或多个asic(applicationspecificintegratedcircuit，应用专用集成电路)、dsp(digitalsignalprocessing，数字信号处理器)、pld(programmablelogicdevice，可编程逻辑器件)、fpga(field－programmablegatearray，现场可编程门阵列)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该工业装配场景中的设备核检方法的实施例中执行了详细描述，此处将不再做详细阐述说明。

可选的，本发明还提供一种电子设备，执行上述任一所示的工业装配场景中的设备核检方法的全部或者部分步骤。该电子设备包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述任一示例性实施例所述的方法。

该实施例中的电子设备中处理器执行操作的具体方式已经在有关该工业装配场景中的设备核检方法的实施例中执行了详细描述，此处将不做详细阐述说明。

在示例性实施例中，还提供了一种存储介质，该存储介质为计算机可读存储介质，例如可以为包括指令的临时性和非临时性计算机可读存储介质。该存储介质例如包括指令的存储器102，上述指令可由电子设备100的处理器109执行以完成上述工业装配场景中的设备核检方法。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，本领域技术人员可以在不脱离其范围执行各种修改和改变。本发明的范围仅由所附的权利要求来限制。