汽车零部件装配防错系统及方法与流程

1.本发明涉及汽车零部件装配领域，特别是涉及一种汽车零部件装配防错系统，以及一种在汽车零部件装配过程中的防错方法。


背景技术：

2.在汽车生产装配线中，由于涉及的零部件数量多、装配流程复杂，在装配过程中容易出现错装、漏装的情况，因此而导致的产品返工、报废现象时有发生。在装配汽车零部件时，通常依赖于人工参与，智能化程度较低。
3.一方面，汽车零部件装配人员需要根据所在工序选择当前待装配的汽车零部件，以避免漏装零部件、零部件型号错误等问题；另一方面，装配人员还需要熟练掌握装配工艺的操作指南，确保零部件安装位置正确、符合具体零部件装配工艺等。如果装配人员的操作可以满足上述两方面的要求，能够大幅提高汽车的装配效率、装配质量以及装配成功率。
4.然而，现有的汽车生产装配线上通常缺少智能化的检测设备，无法实时地提供装配检测，因此容易出现装配人员出现安装错误的问题，从而导致汽车出厂的品控较差，进而产生产品返工、报废等现象。
5.随着视觉系统的应用发展，可以考虑通过可穿戴设备增强装配人员在复杂装配场景下的感知和分析能力。一方面，现有技术中在汽车行业应用带有摄像头的可穿戴设备通常仅提供录像和记录功能，无法用于防错检测。另一方面，基于可见光图像的图像识别可以为汽车生产装配线提供一定的智能化功能，然而由于利用可见光图像会受到光照、阴影、色度、环境变化等因素的干扰，其在识别错误的装配行为方面往往效果受限甚至失败。为了有效满足汽车零部件装配线的防错需求，亟需突破基于可见光图像的图像识别所面临的感知能力较低的问题。
6.此外，现有技术中采用计算机视觉和/或增强现实(ar)装置来识别汽车零部件装配线的防错方案，大多需要复杂的技术实现并且需要对现有装配线进行改造。
7.综上，现有技术中需要一种改进的技术方案，其能够以简单方式实现汽车零部件在装配过程中的防错，和/或能够容易地适配用于现有的汽车零部件装配线。
8.应理解，上述所列举的技术问题仅作为示例而非对本发明的限制，本发明并不限于同时解决上述所有技术问题的技术方案。本发明的技术方案可以实施为解决上述或其他技术问题中的一个或多个。


技术实现要素：

9.针对上述问题，本发明的目的在于提供一种汽车零部件装配防错系统，该系统包括：一个或多个3d传感器，布置在装配工位处并配置为获取待装配的汽车零部件的深度信息；可穿戴设备，其中可穿戴设备包括摄像头，并配置为获取汽车零部件的视频帧图像；及计算设备，配置为与一个或多个3d传感器以及可穿戴设备通信耦合，并配置为：a)获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与
一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息；b)从一个或多个3d传感器接收汽车零部件的深度信息；c)从可穿戴设备接收汽车零部件的视频帧图像；d)基于深度信息和/或视频帧图像，并基于工艺信息，执行零部件判断，其中零部件判断提供零部件是否正确的指示；以及e)基于深度信息和/或视频帧图像，并基于工艺信息，执行装配判断，其中装配判断提供零部件的装配状态是否正确的指示；其中，深度信息和视频帧图像中的每个用于零部件判断和装配判断中的至少一个。以此方式，本发明的实施例能够以成本高效的方式灵活地使用深度信息和视频帧图像两者来执行装配流程中的零部件判断和装配判断。
10.可选地，可穿戴设备为配置有摄像头的衣服，衣服可由操作员穿着。
11.可选地，可穿戴设备的摄像头通过有线或者无线的方式与可穿戴设备相连，摄像头固定在衣服上或者操作员的其他身体部位。
12.可选地，可穿戴设备还包括电源，电源布置于衣服中。
13.进一步可选地，衣服为马甲。
14.可选地，计算设备还配置为：响应于装配判断确定零部件的装配状态是正确的指示，执行下一个装配操作，直至装配流程中的所有装配操作均已完成。
15.可选地，计算设备还配置为：基于零部件判断和/或装配判断提供的指示，向操作员提供零部件和/或装配是否正确的反馈。
16.可选地，计算设备还配置为基于深度信息和视频帧图像中的一个执行零部件判断。
17.可选地，计算设备还配置为基于深度信息和视频帧图像分别执行一次或多次装配判断，并基于一次或多次装配判断提供的指示，向操作员提供装配是否正确的反馈。
18.可选地，汽车零部件的特征信息包括零部件的三维特征信息和/或图像特征信息。
19.可选地，装配状态特征信息包括一个或多个装配操作中的每一个完成时的汽车零部件的三维特征信息和/或图像特征信息。
20.进一步可选地，零部件判断包括基于深度信息，得出汽车零部件的三维特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的三维特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
21.进一步可选地，零部件判断包括基于深度信息，得出汽车零部件的三维特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的三维特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
22.进一步可选地，装配判断包括基于深度信息，得出汽车零部件的当前装配状态的三维特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态三维特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
23.进一步可选地，装配判断包括基于视频帧图像，得出汽车零部件的当前装配状态的图像特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态的图像特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
24.可选地，执行装配判断，包括：在装配过程中，基于视频帧图像和工艺信息，执行初步装配判断；以及响应于初步装配判断是正确装配的，基于深度信息和工艺信息，执行再次装配判断。
25.可选地，计算设备配置为运行一个或多个深度神经网络模型，其中一个或多个深度神经网络模型中的每一个配置为以深度信息和/或视频帧图像作为输入，对零部件的三维特征信息和/或图像特征信息或者装配状态的三维特征信息和/或图像特征信息进行判断，并输出零部件是否正确和/或零部件是否正确装配的判别指示。
26.进一步可选地，一个或多个深度神经网络模型中的每一个还配置为根据装配过程中获得的汽车零部件的三维特征信息和/或图像以及操作员的输入，对深度神经网络模型进行训练。
27.可选地，系统还包括显示器，配置为向操作员显示与装配相关的信息。
28.在本发明的另一方面，提供一种在汽车零部件装配过程中的防错方法，包括下述步骤：a)获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息；b)由一个或多个3d传感器获得装配工位处的汽车零部件的深度信息；c)由可穿戴设备获得汽车零部件的视频帧图像，其中可穿戴设备包括摄像头；d)基于深度信息和/或视频帧图像，并基于工艺信息，执行零部件判断，其中零部件判断提供零部件是否正确的指示；及e)基于深度信息和/或视频帧图像，并基于工艺信息，执行装配判断，其中装配判断提供零部件的装配状态是否正确的指示；其中，深度信息和视频帧图像中的每个用于零部件判断和装配判断中的至少一个。
29.可选地，响应于装配判断确定零部件的装配状态是正确的指示，执行下一个装配操作，直至装配流程中的所有装配操作均已完成。
30.可选地，基于零部件判断和/或装配判断提供的指示，向操作员提供零部件和/或装配是否正确的反馈。
31.可选地，基于深度信息和视频帧图像中的一个执行零部件判断。
32.可选地，基于深度信息和视频帧图像分别执行一次或多次装配判断，并基于一次或多次装配判断提供的指示，向操作员提供装配是否正确的反馈。
33.可选地，汽车零部件的特征信息包括零部件的三维特征信息和/或图像特征信息。
34.可选地，装配状态特征信息包括一个或多个装配操作中的每一个完成时的汽车零部件的三维特征信息和/或图像特征信息。
35.进一步可选地，零部件判断包括基于深度信息，得出汽车零部件的三维特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的三维特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
36.进一步可选地，零部件判断包括基于视频帧图像，得出汽车零部件的图像特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的图像特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
37.进一步可选地，装配判断包括基于深度信息，得出汽车零部件的当前装配状态的三维特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态三维特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
38.进一步可选地，装配判断包括基于视频帧图像，得出汽车零部件的当前装配状态的图像特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态的
图像特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
39.优选地，在装配过程中，基于视频帧图像和工艺信息，执行初步装配判断；以及响应于初步装配判断是正确装配的，基于深度信息和工艺信息，执行再次装配判断。
40.在现有技术中，由于操作复杂、零部件种类数量繁多，汽车生产线上的装配人员经常出现漏装、错装、装配不恰当等问题。借助于智能化的视觉系统，可以辅助装配人员的安装。
41.本发明的目的是提供一种汽车零部件装配防错系统。本发明的方法利用带有摄像头的可穿戴设备以及一个或多个3d传感器，获取汽车零部件的视频帧图像和深度信息，并通过与工艺信息的对比，执行零部件判断和装配判断，以指示零部件是否正确以及零部件装配是否正确，进而向操作员提供反馈，以提高装配效率和质量。
42.通过本发明的系统和方法，结合深度信息与图像，可以有效地识别零部件以及装配状态，进而分析用于装配的零部件是否正确，和/或装配操作是否正确。本发明的方法可以实现实时的防错检测，并向操作员提供反馈，以及应用深度神经网络算法，通过智能化的方式可以有效避免过度依赖操作操作员的经验和技术水平，即可提高安装准确性和效率。
43.应理解，上述对背景技术以及发明内容概要的描述仅仅是示意性的而非限制性的。
附图说明
44.图1是根据本发明一个实施例的汽车零部件装配生产线中的装配工位示意图。
45.图2是根据本发明一个实施例的一种汽车零部件装配防错系统的示意图。
46.图3是根据本发明另一个实施例的一种汽车零部件装配防错方法的示意流程图。
47.图4是根据本发明另一个实施例的深度神经网络模型的训练过程的示意流程图。
48.图5是根据本发明再一个实施例的一种在汽车零部件装配过程中的防错方法的示意流程图。
49.图6是根据本发明一个实施例的防错系统的具体应用示例的示意流程图。
具体实施方式
50.在下文中将参考附图更全面地描述本发明，附图构成本发明公开的一部分并通过图示的方式示出示例性的实施例。应理解，附图所示以及下文所述的实施例仅仅是说明性的，而不作为对本发明的限制。
51.在对本技术实施例的技术方案说明之前，首先结合附图对本技术实施例的一种汽车零部件装配防错系统的应用场景进行说明。如图1所示是一个示例性的汽车零部件装配生产线中的装配工位，装配工位上还可以固定设置有工位显示器(图中未显示)，用于反馈装配数据信息，可选地用于接收操作员的输入。在生产过程中，待装配的汽车零部件可以通过传送带等移动机构进入到装配工位，并由操作员使用夹具固定汽车零部件后进行安装操作，或由操作员手持式地进行灵活安装操作。操作员佩戴带有摄像头的可穿戴设备(图中未显示)，可穿戴设备可以布置于操作员穿着的衣服104中，并且在装配工位上配置有一个或多个3d传感器102。
52.如图1所示，操作员在装配工位上操作时，通常需要根据操作指南安装多个汽车零
部件，由于汽车零部件的种类和型号繁多，容易产生错装的现象。此外，每个汽车零部件在安装时都需要达到安装要求，否则会产生不合格的产品，因此每一个汽车零部件的安装都需要准确。综合而言，操作员在进行安装操作时，既需要确保选择了正确的汽车零部件进行安装，还需要保证每个汽车零部件得以正确的装配。现有技术中，通常只借助于摄像头对操作操作员的操作过程进行记录，以用于质量抽检，不具备智能化防止装错的功能。此外，由于操作员进行操作时可能会产生图像的遮挡等现象，因此仅使用图像识别对过程进行监控的效果较差，无法准确地识别零部件以及其安装情况。
53.针对上述问题，结合图1所示的应用场景示意图，下面介绍本技术的具体实施方案。根据本技术的技术方案，以下描述不同的实施例。
54.实施例1
55.结合图2所示，以下具体描述一种汽车零部件装配防错系统，该系统包括：
56.一个或多个3d传感器，布置在装配工位处并配置为获取待装配的汽车零部件的深度信息；
57.可穿戴设备，其中可穿戴设备包括摄像头，并配置为获取汽车零部件的视频帧图像；及
58.计算设备，配置为与一个或多个3d传感器以及可穿戴设备通信耦合，并配置为：
59.a)获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息；
60.b)从一个或多个3d传感器接收汽车零部件的深度信息；
61.c)从可穿戴设备接收汽车零部件的视频帧图像；
62.d)基于深度信息和/或视频帧图像，并基于工艺信息，执行零部件判断，其中零部件判断提供零部件是否正确的指示；以及
63.e)基于深度信息和/或视频帧图像，并基于工艺信息，执行装配判断，其中装配判断提供零部件的装配状态是否正确的指示；
64.其中，深度信息和视频帧图像中的每个用于零部件判断和装配判断中的至少一个。
65.应理解，在本发明的上下文中，3d传感器可以采用现有或将来开发的三维传感技术实现，包括但不限于例如立体成像、飞行时间(tof)和结构光等技术。作为示例而非限制，计算设备可以实施为桌面型计算机、工控机、本地和/或云上的服务器计算机等。
66.在此，带有摄像头的可穿戴设备可由操作员穿戴，其可附接或整合到操作员的衣物/帽子和/或可由操作员直接佩戴，以能够从操作员的视角对待装配的零部件、装配的过程、已装配的部分零部件、装配产生的半成品和/或成品等进行实时或定期的静态影像和/或动态影响的拍摄。优选地，可穿戴设备为配置有摄像头的衣服，衣服可由操作员穿着。进一步优选地，可穿戴设备的摄像头通过有线或者无线的方式与可穿戴设备相连，摄像头固定在衣服上或者操作员的其他身体部位。进一步优选地，衣服可以是马甲，以便于操作员穿戴。
67.优选地，可穿戴设备还包括电源，电源布置于衣服中。可穿戴设备还可以包括无线通信单元，以便通过蓝牙、wi-fi和/或zigbee等无线通信协议与其他设备进行通信。
68.作为示例而非限制，本发明采用的可穿戴设备至少只需配备有摄像头，以用于获取汽车零部件的视频帧图像。因此，本发明的可穿戴设备可以实现轻量化，大大提高了穿戴舒适性，可以适合操作员长时间穿戴，同时不会影响操作员的操作，因此提高了人员的可操作性性。
69.优选地，系统还包括显示器208，配置为向操作员显示与装配相关的信息。
70.作为示例而非限制，本发明的系统中，计算设备204与一个或多个3d传感器202以及可穿戴设备206通信耦合，例如可以通过5g信号、wi-fi、蓝牙、zigbee等进行无线传输。进一步地，显示器208与计算设备、3d传感器以及可穿戴设备通信耦合，通过有线的或者无线的通信方式进行通信。由此，可以及时准确地将本发明的防错系统所产生的反馈信号显示在显示器上，以供操作员参考。通过本发明的系统自动地进行防错判断(即包括零部件判断和装配判断)，有效的减少错误安装，提高安装质量。
71.作为示例而非限制，防错系统中的计算设备204获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息。作为示例而非限制，工艺信息包括装配流程(例如，包含n个确定的装配操作以及与各操作相对应的汽车零部件)；汽车零部件的特征信息(例如，型号、尺寸、颜色、3d模型等)；每个装配操作中涉及到的按装配顺序的零部件上的装配状态特征信息(例如，指定位置区域上的装配状态特征信息)。此外，作为示例而非限制，工艺信息还可以包括用于与工厂制造执行系统(mes，manufacturing execution system)系统对接的内容，mes系统为工厂内部系统，供上传/下载数据需求。具体地，工艺信息可以与装配工位相关联。例如，以装配汽车发动机为例，整个装配线是一条对发动机顺序装配的流水线，每个装配工位代表一个装配工序，且装配工位之间的顺序是不可逆的。对于任一个装配工位，可以通过识别当前流水线上装配的汽车发动机型号种类信息，以自动调用当前装配工位所对应的所需零部件以及正确装配流程，其中装配流程包括装配流程包括一个或多个装配操作，并且每个装配操作可以涉及一个或多个汽车零部件，自动调用的信息还包括每个装配操作对应的汽车零部件的特征信息，以及每个装配操作完成时汽车零部件的装配状态特征信息。由此，可以对该部分零部件或全部零部件是否正确装配进行判断。可选地，获取的工艺信息可以传输至显示器进行显示，以指导操作员进行每一步操作。
72.优选地，响应于装配判断确定零部件的装配状态是正确的指示，执行下一个装配操作，直至装配流程中的所有装配操作均已完成。
73.计算设备还配置为：基于零部件判断和/或装配判断提供的指示，向操作员提供零部件和/或装配是否正确的反馈。作为示例而非限制，计算设备可以通过显示器相操作员提供与装配相关的信息，例如工艺信息、零部件和/或装配是否正确的反馈等。
74.优选地，根据本发明的汽车零部件装配防错系统，其计算设备可以进一步配置为：基于深度信息和视频帧图像中的一个执行零部件判断。
75.优选地，根据本发明的汽车零部件装配防错系统，其计算设备可以进一步配置为：基于深度信息和视频帧图像分别执行一次或多次装配判断，并基于一次或多次装配判断提供的指示，向操作员提供装配是否正确的反馈。
76.优选地，汽车零部件的特征信息包括零部件的三维特征信息和/或图像特征信息。
作为示例而非限制，三维特征信息可以是通过3d传感器扫描零部件而获得的三维点云图。
77.进一步优选地，零部件判断包括基于深度信息，得出汽车零部件的三维特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的三维特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。作为示例而非限制，可以通过将3d传感器(例如，深度相机)扫描获得的三维点云图(即三维特征信息)与系统自动调用的工艺信息中的相应汽车零部件的三维模型进行贴合对比，从而得出识别判断结果。
78.进一步优选地，零部件判断包括基于视频帧图像，得出汽车零部件的图像特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的图像特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
79.优选地，装配状态特征信息包括一个或多个装配操作中的每一个完成时的汽车零部件的三维特征信息和/或图像特征信息。
80.进一步优选地，装配判断包括基于深度信息，得出汽车零部件的当前装配状态的三维特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态三维特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
81.进一步优选地，装配判断包括基于视频帧图像，得出汽车零部件的当前装配状态的图像特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态的图像特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
82.优选地，在装配过程中，基于视频帧图像和工艺信息，执行初步装配判断；以及响应于初步装配判断是正确装配的，基于深度信息和工艺信息，执行再次装配判断。应理解，与基于视频帧图像的零部件判断和装配判断相比，基于深度信息的零部件判断和装配判断一方面能够提供更精确的判断结果，但另一方面要求更大的计算量和计算资源。因此，在此处的示例性实施例中，优选地在装配过程中采用基于视频帧图像的装配判断，特别是实时的装配判断，而在基于视频帧图像的装配判断返回装配正确的判断结果时，再采用基于深度信息的装配判断进一步确认装配结果，从而实现了判断效率和判断精度的两者平衡。进一步应理解，本发明的实施并非局限于此。根据本文的公开，本领域技术人员能够基于本发明的原理，根据实际装配环境以及装配需求，在基于视频帧图像的零部件判断和装配判断与基于深度信息的零部件判断和装配判断之间进行合理选择，而不脱离本公开要求保护的范围。
83.作为示例而非限制，根据本发明的防错系统，操作员佩戴上带有摄像头的可穿戴设备，并到达工位等待零部件传送到当前工位。本发明的防错系统可以在当前工位进行零部件判断，其中零部件判断可以仅基于深度信息或者仅基于视频帧图像进行。示例性地，本发明的防错系统中的获取的工艺信息中包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息。特别的，特征信息可以是图像特征信息或者是三维特征信息。
84.在生产过程中，本发明的系统通过可穿戴设备的摄像头实时获取装配工位的画面图像，尤其是可以从画面图像上识别操作员在工位上的待装配的零部件。通过将从画面图像上识别的待装配零部件的图像特征信息与系统中预先获取的工艺信息中记录的当前工艺应当安装的零部件的图像特征信息进行比较，通过判断特征差异，自动判断当前的待装配零部件是否正确。其中，图像特征信息可以是零部件的颜色、形状、尺寸、比例、轮廓等。或者类似地，零部件判断还可以是基于深度信息进行的。示例性地，通过3d传感器实时获取装
配工位上的深度图像，尤其是可以从深度图像上识别操作员在工位上的待装配的零部件的三维特征信息。通过将从深度图像上识别的待装配零部件的三维特征信息与系统中预先获取的工艺信息中记录的当前装配操作应当安装的零部件的三维特征信息进行比较，通过判断特征差异，自动判断当前的待装配零部件是否正确。其中，三维特征信息可以是零部件的三维空间特征点集等。进一步优选地，还可以同时基于深度信息和图像两者进行零部件判断，避免由于单一地采用深度信息或单一地采用图像而造成的特征对比不完全或不准确的情况。此外，基于零部件判断提供的指示，可以通过显示器向操作员提供零部件是否正确的反馈。
85.作为示例而非限制，根据本发明的防错系统，在装配流程的一个装配操作完成后，可以执行一次或多次装配判断。其中，每次装配判断对应于一个装配操作。示例性地，本发明的防错系统中的获取的工艺信息中包括一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息。在生产过程中，通过可穿戴设备的摄像头实时获取装配工位的画面图像，尤其是可以从画面图像上识别操作员已装配和正在装配的零部件的装配状态。
86.通过将从画面图像上识别的每一个装配操作完成时相关零部件的装配状态的图像特征信息与系统中预先获取的工艺信息中记录的当前装配操作完成时相应的零部件的装配状态的图像特征信息进行比较，通过判断特征差异，自动判断零部件的当前装配状态是否正确。其中，图像特征信息可以是零部件的关键点定位信息等。在此，零部件的关键点是指零部件上涉及装配操作的局部区域。以此方式，在执行零件判断与装配判断时可以重点识别和处理零部件关键点的图像特征信息，以有助于减少判断处理的计算量。或者类似地，装配判断还可以是基于深度信息进行的。示例性地，在生产过程中的每个装配流程节点处，通过3d传感器获取装配工位上的深度图像，尤其是可以从深度图像上识别操作员已装配和正在装配的零部件的装配状态的三维特征信息。通过将从深度图像上识别的已装配和正在装配的零部件的装配状态的三维特征信息与系统中预先获取的工艺信息中记录的当前装配流程节点处各个相关零部件的装配状态的三维特征信息进行比较，通过判断特征差异，自动判断零部件的当前装配状态是否正确。其中，三维特征信息可以是零部件装配到位时的三维空间特征点集等。进一步优选地，还可以基于深度信息和图像两者执行装配判断，避免由于单一地采用深度信息或单一地采用图像而造成的特征对比不完全或不准确的情况。此外，基于装配判断提供的指示，可以通过显示器向操作员提供零部件是否正确的反馈。
87.值得注意的是，根据本发明的防错系统，尽管可以仅基于深度信息或仅基于视频帧图像执行零部件判断和装配判断，但在系统整体操作过程中，在优选的实施例中，应当确保基于深度信息和基于视频帧图像的方法均被至少使用一次。例如，仅基于视频帧图像执行零部件判断且仅基于深度信息执行一次或多次装配判断。又例如，仅基于深度信息执行零部件判断且仅基于图像执行一次或多次装配判断。再例如，基于深度信息和视频帧图像执行零部件判断，且仅基于图像执行一次或多次装配判断。以此类推，其他组合方式也应在本发明的保护范围内，在此不再赘述。本发明的这一设计，可以确保在零部件判断步骤和装配判断步骤中已结合使用基于深度信息或基于视频帧图像信息的特征差异判断，从而既可以提供方法灵活性又可以确保系统的防错检测准确性，防止发生漏检的情况。此外，在本发
明的实施例中，基于深度信息的零部件判断和/或装配判断与基于图像的零部件判断和/或装配判断可以是独立的，从而不必执行复杂的对准、映射、变换等计算来融合深度信息和图像信息。
88.作为示例而非限制，在当前所有装配操作均已完成后，即完成当前工序后，可以等待下一批零部件到达工位，并重复执行上述零部件判断和装配判断的步骤。
89.优选地，计算设备配置为运行一个或多个深度神经网络模型，其中一个或多个深度神经网络模型中的每一个配置为以深度信息和/或视频帧图像作为输入，对零部件的三维特征信息和/或图像特征信息或者装配状态的三维特征信息和/或图像特征信息进行判断，并输出零部件是否正确和/或零部件是否正确装配的判别指示。
90.进一步优选地，一个或多个深度神经网络模型中的每一个还配置为根据装配过程中获得的汽车零部件的三维特征信息和/或图像以及操作员的输入，对深度神经网络模型进行训练。
91.作为示例而非限制，本发明的防错系统通过采用深度神经网络模型，利用人工智能算法处理三维信息或图像信息，能够自学习地对零部件及其装配进行判别，而无需局限于系统预设的工艺信息对比，这种方法的应用柔性高，可以适用于不同的场景，并且学习不同的安装工艺。这种方法的另一益处是基于深度神经网络模型实现对操作员装配操作的作业过程实时监控，可以提高操作过程的一致性。
92.应用示例
93.以下以车门线接安装作为示例，进一步描述本发明的防错系统的具体工作流程：
94.准备阶段：汽车零部件装配防错系统的计算设备(例如，工控机)与路由器连接，从而可以实现数据传输。工厂mes系统(又可称为上位机)将流水线上的各种型号的待安装车门所对应的零部件特征信息(例如，零件型号vin)传输到计算设备。此外，待安装车门通过流水线陆续依次进入待安装的固定装配工位上。
95.零部件判断：通过布置在装配工位上的3d传感器扫描待安装车门，并将扫描获得的深度信息数据通过无线中继模块传输至防错系统的计算设备。计算设备内置的软件通过基深度信息的识别算法判断待安装车门是否为目标型号、目标颜色，并将判断结果及下一步操作显示于显示屏上。
96.装配操作判断：操作员根据装配操作接插线束，使门线束连接到门饰板。可穿戴设备(例如由操作员穿着的带有摄像头的马甲)的摄像头拍摄操作员的装配操作过程，并将视频通过中继器传输至计算设备。计算设备内置的软件通过深度神经网络算法，并基于计算设备中的工艺信息，识别装配操作完成时汽车零部件的装配状态特征信息，得出初步识别判断结果。如果初步识别判断结果是正确的，则布置在装配工位处的3d传感器将再次扫描汽车零部件并获得深度信息，将扫描得到的深度信息数据通过无线中继模块传输至计算设备，并再次执行装配判断。如果两次判断结果都是正确的，显示屏提示接插门线束连接到门饰板，并提示下一步装配操作。操作员接插线束，使线束连接到玻璃升降开关，类似地执行上述装配操作判断。在所有装配操作均已完成后，显示屏显示安装成功，安装完成的车门移动出流水线，操作员等待下一待安装车门进入装配工位。应理解，在本发明的实施例中，零部件判断可以装配操作涉及的部分和/或全部零部件执行，而装配判断可以对装配操作涉及的全部零部件执行。例如，在将线束安装到车门的本实施例中，对车门执行零部件判断，
以避免将线束安装到型号和/或颜色错误的车门上，而可选地对线束执行零部件判断，但对于车门和线束两者执行装配判断，以确保线束正确地安装到车门。
97.实施例2
98.结合图3所示，以下具体描述一种汽车零部件装配防错方法，包括下述步骤：
99.a)获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息；
100.b)由一个或多个3d传感器获得装配工位处的汽车零部件的深度信息；
101.c)由可穿戴设备获得汽车零部件的视频帧图像，其中可穿戴设备包括摄像头；
102.d)基于深度信息和/或视频帧图像，并基于工艺信息，执行零部件判断，其中零部件判断提供零部件是否正确的指示；
103.e)基于深度信息和/或视频帧图像，并基于工艺信息，执行装配判断，其中装配判断提供零部件的装配状态是否正确的指示；
104.其中，深度信息和视频帧图像中的每个用于零部件判断和装配判断中的至少一个。
105.优选地，响应于装配判断确定零部件的装配状态是正确的指示，执行下一个装配操作，直至装配流程中的所有装配操作均已完成。
106.优选地，基于零部件判断和/或装配判断提供的指示，向操作员提供零部件和/或装配是否正确的反馈。
107.优选地，基于深度信息和视频帧图像中的一个执行零部件判断。
108.优选地，基于深度信息和视频帧图像分别执行一次或多次装配判断，并基于一次或多次装配判断提供的指示，向操作员提供装配是否正确的反馈。
109.优选地，汽车零部件的特征信息包括零部件的三维特征信息和/或图像特征信息。
110.进一步优选地，零部件判断包括基于深度信息，得出汽车零部件的三维特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的三维特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
111.进一步优选地，零部件判断包括基于视频帧图像，得出汽车零部件的图像特征信息，并与工艺信息中包括的与当前装配操作相对应的汽车零部件的图像特征信息进行比较，以确定汽车零部件中的每个零部件是否为装配相关零部件中的一个。
112.可选地，装配状态特征信息包括一个或多个装配操作中的每一个完成时的汽车零部件的三维特征信息和/或图像特征信息。
113.进一步可选地，装配判断包括基于深度信息，得出汽车零部件的当前装配状态的三维特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态三维特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
114.进一步可选地，装配判断包括基于视频帧图像，得出汽车零部件的当前装配状态的图像特征信息，并与工艺信息中包括的当前装配操作完成时的汽车零部件的装配状态的图像特征信息进行比较，以判断汽车零部件的当前装配状态是否正确。
115.优选地，在装配过程中，基于视频帧图像和工艺信息，执行初步装配判断；以及响应于初步装配判断是正确装配的，基于深度信息和工艺信息，执行再次装配判断。
116.实施例3
117.作为示例而非限制，本发明的防错系统可以通过采用深度神经网络模型，以深度信息和/或视频帧图像作为输入，对零部件的三维特征信息和/或图像特征信息或者装配状态的三维特征信息和/或图像特征信息进行判断，并输出零部件是否正确和/或零部件是否正确装配的判别指示。进一步优选地，根据装配过程中获得的汽车零部件的三维特征信息和/或图像以及操作员的输入，对深度神经网络模型进行训练。
118.如图4所示，具体地，深度神经网络模型的训练过程包括以下步骤：
119.a)获取初始数据集：将零部件按照型号进行分类，并确定装配流程中的装配操作，获取装配操作对应的零部件的图像和/或三维信息以及装配操作完成时的零部件的图像和/或三维信息，并做成相应数据集用于深度神经网络算法自学习训练。以拍摄视频为例，摄像头将装配过程记录下来并实时上传至系统中，系统每隔n秒抽取一帧图像(即视频帧图像)，将图像数据与工艺信息中的标准数据进行比对判断。
120.b)获取实际图像/三维信息：采集装配工位中的图像/三维信息，并用步骤a)中的深度神经网络算法判断零部件及装配状态是否正确。
121.c)修正模型：根据判断结果修正深度神经网络算法，通过算法自学习提高识别率。在算法训练阶段，需要在每次操作完成后操作员根据实际装配结果针对算法装配判断结果作出判断为正确/错误的判断，深度神经网络算法根据操作员的判断输入不断自学习修正，提高算法装配判断的正确率。
122.使用本发明的深度神经网络模型进行训练，可以应用于实际大规模作业。本领域技术人员应理解，本发明中的深度神经网络模型可以通过卷积神经网络(cnn)和/或现有以及将来开发的其他深度神经网络模型来实现。
123.实施例4
124.如图5所示，作为示例而非限制，本发明还提供了更为具体的实施例，根据该实施例，一种在汽车零部件装配过程中的防错方法包括以下步骤：
125.获取工艺信息，其中工艺信息包括装配流程，装配流程包括一个或多个装配操作，工艺信息还包括与一个或多个装配操作中的每一个相对应的汽车零部件的特征信息，以及一个或多个装配操作中的每一个完成时的汽车零部件的装配状态特征信息；
126.由一个或多个3d传感器获得装配工位处的汽车零部件的深度信息；
127.由可穿戴设备获得汽车零部件的视频帧图像，其中可穿戴设备包括摄像头；
128.在装配之前，基于深度信息，对一个或多个汽车零部件执行零部件判断，提供零部件是否正确的指示；在装配过程中，基于视频帧图像和工艺信息，执行初步装配判断；以及，响应于初步装配判断是正确装配的，基于深度信息和工艺信息，执行再次装配判断，提供零部件是否正确装配的指示；及基于所述零部件判断和/或所述装配判断提供的指示，向操作员提供零部件和/或装配是否正确的反馈。
129.实施例5
130.如图6所示，作为示例而非限制，具体描述本发明的防错系统的一个具体应用示例。
131.步骤1：防错系统的计算设备中预先导入装配流程(包括装配操作)、零部件型号尺寸等工艺信息；
132.步骤2：等待零部件进入装配工位，其中装配工位安装有一个或多个3d传感器；
133.步骤3：使用3d传感器对待装配的零部件进行扫描，将扫描后得到的三维信息通过无线传输反馈到防错系统的计算设备中，计算设备使用深度神经网络算法将扫描得到的三维信息与计算设备中预存的工艺信息数据进行比对判断，得出识别结果，即判断零部件是否正确；
134.步骤4：根据识别结果调取计算设备中对应零部件型号及装配过程节点等工艺信息，并将零部件的三维信息、装配流程等工艺信息传输至显示器，用于指导操作员的操作；
135.步骤5：操作员穿戴配置有可穿戴设备的马甲，并且利用可穿戴设备中的摄像头抓取装配过程节点的实时图像，并反馈至防错系统的计算设备，计算设备利用经过训练的深度神经网络算法对抓取的图像进行比对判断，得出识别结果，即判断零部件的装配状态是否正确；
136.步骤6：操作员每完成一次装配操作，使用3d传感器对零部件再次进行扫描，扫描得到的三维信息与计算设备中预存的工艺信息数据进行比对判断，得出二次识别结果，即判断零部件的装配状态是否正确；
137.步骤7：对比步骤5和步骤6中的两次识别结果，如果均判断为正确，则在显示器上显示安装成功。
138.以上实施例以示例的方式给出了具体操作过程和步骤，但应理解，本发明的保护范围不限于此。
139.虽然出于本公开的目的已经描述了本发明各方面的各种实施例，但是不应理解为将本公开的教导限制于这些实施例。在一个具体实施例中公开的特征并不限于该实施例，而是可以和不同实施例中公开的特征进行组合。此外，应理解，上文所述方法步骤可以顺序执行、并行执行、合并为更少步骤、拆分为更多步骤，以不同于所述方式组合和/或省略。本领域技术人员应理解，还存在可能的更多可选实施方式和变型，可以对上述部件和构造进行各种改变和修改，而不脱离由本发明权利要求所限定的范围。