一种零部件装配互动式教学系统和方法与流程

1.本发明涉及智能制造领域，具体地，涉及一种零部件装配互动式教学系统和方法。


背景技术：

2.零件装配是产品制造过程中至关重要的一环，其装配质量往往直接影响了产品的使用寿命和使用性能，在面对小批量，多品种的装配产品时，难以通过自动化的方式进行装配，只能采用人工装配的方法。人工装配对产品零件识别一般为人眼识别，手动操作安装，其效能严重依赖于装配员自身的经验和技能，人力资源消耗大，同时存在漏装、混装等情况，影响装配效率；并且由于装配步骤复杂，人工一对一实训教学效率较低。
3.经检索，申请号为cn201810991964.5的中国专利，一种基于虚拟现实的三维动画装配教学方法和装置，包括步骤一：导入待装配的产品的全部零部件模型，并形成虚拟装配场景；步骤二：规划步骤一所述全部零部件的初始位置；步骤三：逐一建立基于特征位置的各零部件的运行路径和运行速度自适应算法的数学模型；步骤四：根据步骤二和步骤三，形成步骤一所述全部零部件从初始位置到终点位置的三维装配教学动画。该发明通过构建虚拟装配场景、科学规划零部件运行路径和运行速度，形成了高精度的模型进行三维动画装配教学有效降低了教学成本，提高了学员的学习效率，达到快速熟悉各个零部件以及装配过程效果。但其缺少了教学的互动性，教学效率并不理想。


技术实现要素：

4.针对现有技术中的缺陷，本发明的目的是提供一种零部件装配互动式教学系统和方法。
5.根据本发明的一个方面，提供一种零部件装配互动式教学系统，包括：
6.装配现场终端，所述装配现场终端进行交互式教学，执行零部件装配；
7.后台服务器，所述后台服务器接收所述装配现场终端的装配过程中的信息，执行装配监督。
8.优选地，所述装配现场终端，包括：
9.供料单元，所述供料单元包括存放不同零部件的多个容器,每个所述容器设有提示装置；
10.装配单元，所述装配单元用于装配零部件；
11.视觉检测单元，所述视觉检测单元实时采集所述装配单元零部件装配过程的图像；
12.视觉反馈单元，所述视觉反馈单元用于投影示教或纠错动画至所述装配单元处。
13.优选地，所述后台服务器，包括：
14.图像处理单元，所述图像处理单元接收所述视觉检测单元采集的图像，
15.装配流程判定单元，所述装配流程判定单元根据所述图像处理单元的处理后的图像，判定当前的零部件装配是否正确、当前步骤是否完成；
16.所述人工智能纠错单元，所述人工智能纠错单元接收来自所述装配流程判定单元的对当前的零部件装配的判定结果后，输送控制指令至所述视觉反馈单元播放相应视频。
17.优选地，当判定结果为当前零部件装配正确及步骤已完成时，视觉反馈单元播放下一个装配环节的演示视频；
18.当判定结果为当前零部件装配错误及步骤未完成时，视觉反馈单元播放纠错视频。
19.优选地，所述供料单元的提示装置包括引导和纠错提示，其中，
20.所述引导提示包括：所述后台服务器中的图像装配流程判定单元判定所处装配步骤，通过长亮指示灯提示该步骤对应物料所在容器；
21.所述纠错提示包括：所述后台服务器中的图像装配流程判定单元判定所述图像处理单元中的接收的图像中装配员是否选取正确物料，如不正确，通过闪烁方式进行纠错提示。
22.优选地，所述后台服务器，还包括：
23.工艺数据管理单元，所述工艺数据管理单元存储不同零部件的不同装配流程和不同装配员的装配流程。
24.优选地，所述后台服务器与所述现场终端连接，将基础数据由所述现场终端连接导入至所述后台服务器，将控制指令由后台服务器回传至所述现场终端连接中。
25.优选地，所述现场终端通过无线的方式将基础数据导入所述后台服务器，其中，现场终端设置下载功能实现导入；
26.所述现场终端通过有线的方式将基础数据导入所述后台服务器，其中，现场终端与所述后台服务器连线实现导入。
27.优选地，所述后台服务器通过所述工艺数据管理单元进行数据统一管理，包括：
28.能够根据实际装配示教需要，调取对应装配流程指引纠错模型；
29.或，
30.能够根据所述现场终端的视觉检测单元所采集的数据，实现对装配流程指引人工智能纠错模型的建立或变更。
31.根据本发明的第二个方面，提供一种零部件装配互动式教学方法，采用任一项所述的零部件装配互动式教学系统，包括：
32.s1，播放当前安装步骤的正确装配方法指引视频，跟着所述指引视频在装配单元处执行装配；
33.s2，获取装配单元区域图像；
34.s3，将所述装配单元区域图像导入后台服务器；
35.s4，后台服务器根据所述实时区域图像判断是否装配完成，若完成则进入s5；若未完成，则返回s1；
36.s5，后台服务器判断是否装配正确，若正确则进入s6；若不正确，则播放装配方法错误纠正视频，返回s2；
37.s6，完成当前步骤装配，进入下一步装配。
38.与现有技术相比，本发明具有如下的有益效果：
39.1.本发明实施例的零部件装配互动式教学系统和方法，交互式进行每一个步骤的
安装，完成检测和监督，实现智能纠错，保证装配质量。
40.2.本发明实施例的零部件装配互动式教学系统和方法，可以实现通过动画示教视频引导装配员进行装配，有效提高装配员培训效率。
41.3.本发明实施例的零部件装配互动式教学系统和方法，通过人工智能方式实现纠错模型的建立，工作方式灵活，可以适配不同的物料、不同装配场景，通过少量改进就可以满足对不同零部件装配流程的互动式教学。
附图说明
42.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
43.图1为本发明一实施例的零部件装配互动式教学系统结构示意图；
44.图2为本发明一优选实施例的零部件装配互动式教学系统立体结构示意图；
45.图3为本发明一优选实施例的供料单元结构示意图；
46.图4为本发明一优选实施例的装配单元结构示意图；
47.图5为本发明一优选实施例中的零部件装配互动式教学方法流程图；
48.图6为图5对应的零部件装配互动式教学系统和方法的投影指引视频示意图，其中，a为实际效果图，b为对应的黑白线条图；
49.图7为图5对应的零部件装配互动式教学系统和方法的纠正视频示意图，其中，a为实际效果图，b为对应的黑白线条图。
具体实施方式
50.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
51.如图1所示，本发明提供一个实施例，一种零部件装配互动式教学系统，包括装配现场终端和后台服务器，装配现场终端进行交互式教学，执行零部件装配；后台服务器接收装配现场终端的装配过程中的信息，执行装配监督。
52.在本发明一个优选实施例中，现场终端包括供料单元、装配单元、视觉检测单元和视觉反馈单元。本实施例中采用装配现场终端各单元及后台服务器之间的配合，以实时互动的方式辅助零部件装配教学，可提高教学效率，帮助装配员更快熟悉装配流程。
53.其中，供料单元用于以多个容器存放多种相异的物料，并于每个容器配置指示灯装置。该指示灯起到提示和警示作用。
54.装配单元由目标装配零部件模型(装配半成品)组成；装配员基于供料单元的指示灯的指示，根据装配流程步骤及现场终端的引导将对应物料装配至装配单元。
55.视觉检测单元包括图像采集装置以及图像采集装置的固定支架。视觉检测单元适于实时获取装配单元的照片或每个装配步骤的操作过程视频，并向后台服务器传输采集的图像或视频数据。
56.视觉反馈单元通过投影仪，将对应装配步骤的示教动画投影至装配单元附近，指
示装配员执行对应装配操作。
57.在本发明的另一个优选实施例中，后台服务器包括图像处理单元、装配流程判定单元和人工智能纠错单元。
58.其中，图像处理单元接收视觉检测单元采集的图像或视频；配流程判定单元根据图像处理单元的处理后的图像，判定当前的零部件装配是否正确、当前步骤是否完成；人工智能纠错单元接收来自装配流程判定单元的装配错误信息后，输送控制指令至视觉反馈单元播放纠正视频。
59.在本发明的另一个优选实施例中，提供指示灯优选提示方法。其提示功能为：指示灯装置适于后台服务器判定所处装配步骤，通过长亮指示灯提示该步骤对应物料所在容器；其警示功能为：指示灯装置适于根据后台服务器对装配过程中每个装配步骤实时监测的回传数据，以确定该步骤中装配员是否选取正确物料，如不正确，则通过闪烁方式进行纠错提示。
60.在本发明的另一个优选实施例中，在视觉检测单元结合配流程判定单元检测到特定的装配错误时，通过投影特定示教动画指示装配员纠正装配错误步骤。其中，特定的装配错误是指本实施例中判断正误机器学习模型在训练时事先定义的错误类型。当然，如发生未定义的装配错误，模型不会也无法指出该错误，仅能检测到该步骤未完成。
61.在本发明一优选实施例中，现场终端在装配过程中的数据将会通过信息物理系统实时上传至后台服务器；后台服务器根据采集的图像，判定对应零部件装配是否完成，并通过装配现场终端投影动画、指示灯长亮或闪烁等方式对装配人员进行指引。
62.在本发明一优选实施例中，后台服务器以有线方式与现场终端连接，实现基础数据导入功能。后台服务器还进行数据统一管理，即对不同零部件的不同装配流程、不同装配员的装配流程进行管理。根据实际装配示教需要，调取对应的装配流程指引纠错模型；或根据现场终端的视觉检测机构所采集的数据，实现对装配流程指引人工智能纠错模型的建立或变更。
63.本发明上述实施例，采用装配现场终端各单元及后台服务器之间的配合，以实时互动的方式辅助零部件装配教学，可提高教学效率，帮助装配员更快熟悉装配流程。
64.为了更好说明本发明上述技术方案，以下提供具体应用实例进行说明，但以下实施例不用于限制本发明。
65.参照图1和图2所示，本实施例中提供一种人机协作互动装配系统，包含现场终端的现场终端包括供料单元、装配单元、视觉检测机构、视觉反馈机构，以及存放后台服务器等硬件设备的空间。
66.在如图3所示的供料单元中，装配所需的各步骤对应零部件按装配流程顺序布置，并按类别放置于相应的物料托盘中。每个物料托盘的入口处布置指示灯作为视觉反馈装置，用于对装配者的指引。
67.在如图4所示的装配单元中，本实施例使用发动机表面管路的三维打印装配模型，并预留装配流程各步骤对应物料接口。
68.在装配台上方，本实施例安装有hikvision工业相机作为视觉检测机构，根据使用场景的环境调节至适宜的配置状态。
69.在装配台上方，本实施例安装有投影仪作为视觉反馈机构之一，根据后台服务器
对视觉检测机构所采集图像的处理，判定对应零部件装配步骤是否完成或特定零部件装配步骤是否正确完成，并通过视觉反馈机构投影动画对装配人员进行指引。
70.基于相同的发明构思，本发明提供一种零部件装配互动式教学方法，在互动式装配教学过程中，对于每一装配步骤，视觉检测机构实时采集图像，并传输至后台服务器进行处理，返回装配成功/装配错误/未装配等状态，并使用安装的投影设备播放对应示教视频，或进入下一步骤。具体的过程，参见图5所示，包括：
71.s1，播放当前安装步骤的正确装配方法指引视频，参见图6所示,跟着指引视频在装配单元处执行装配；
72.s2，获取装配单元区域图像；
73.s3，将s2中获取的装配单元区域图像导入后台服务器；
74.s4，后台服务器根据s4中获得的实时区域图像判断是否装配完成，若完成则进入s5；若未完成，则返回s1；
75.s5，后台服务器判断是否装配正确，若正确则进入s6；若不正确，参见图7所示，播放装配方法错误纠正视频，返回s2；
76.s6，完成当前步骤装配，进入下一步装配。
77.本实施例通过装配现场终端各单元及后台服务器之间的配合，以实时互动的方式辅助零部件装配教学，通过指示灯提示应拾取的物料，采用投影示教动画的方式指引装配流程，通过人工智能模型与机器视觉识别对应步骤装配状态，对特定装配错误及时进行纠错指引，可提高教学效率，帮助装配员更快熟悉装配流程。
78.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。上述各优选特征在互不冲突的情况下，可以任意组合使用。