一种生产检测系统的制作方法

本技术涉及产线检测领域，尤其涉及一种生产检测系统。

背景技术：

1、随着人工智能技术的发展，视觉检测技术广泛应用于产线装配实时检测及告警系统。视觉检测技术通过图像摄取装置，经过运算提取检测目标的特征进行判别，并根据判别结果来给出提示或告警等信息。

2、目前的视觉检测技术对装配成品进行检测可实施性较差，例如摄像头清晰度不高，无法识别较小的目标件；受限于摄像头安装位置，镜头可能会被产线机器或其他物件遮挡，造成关键特征无法识别，进而无法分析组装成品是否合规。相较之下，对装配过程进行检测可实施性较高，但存在检测准确性低以及检测过程复杂繁琐的问题。

3、因此，如何简化生产检测流程，提高检测的准确性是目前亟待解决的问题。

技术实现思路

1、本技术提供一种生产检测系统，以解决生产检测准确性低以及检测过程复杂的问题。

2、第一方面，本技术实施例提供一种生产检测系统，该系统包括至少一个处理装置和至少一个摄像头，比如，当采用分布式部署方式时，该系统包括至少一个处理装置和至少一个摄像头，处理装置与摄像头一一对应通信连接，处理装置可以为终端计算机、芯片以及服务器；当采用集中式部署方式时，该系统包括一个处理装置和多个摄像头，处理装置分别与各个摄像头建立通信连接，处理装置可以为算力较高的服务器；

3、在每个生产工位上分别布置至少一个摄像头，摄像头用于采集视频流；

4、处理装置包括画面检测模块和动作检测模块；其中，画面检测模块，用于基于至少一个检测区域，对视频流进行画面检测；

5、动作检测模块，用于若画面检测模块在视频流中检测到第一图像帧，则基于至少一个动作类别对第一图像帧进行动作检测，确定视频流中的生产动作是否合格；其中，第一图像帧所在的连续预设数量的图像帧中存在画面变化帧。

6、需要说明的是，本技术还可以采取端云结合的部署方式，在算力较低的终端设备上进行小数据量的运算，比如在算力较低的终端设备上进行画面检测；在算力较高的服务器上进行大数据量的运算，比如在算力较高的服务器上进行动作检测，同时可以采用深度学习的算法模型进行运算以进一步提高检测精度。

7、还需要说明的是，生产检测系统还可以包括预警装置或者外接产线的预警装置，在检测生产动作不合格时进行语音预警以及显示预警。另外，还可以对不合格的生产动作进行数据统计以及数据记录，方便之后追溯生产失败的原因。

8、综上，本实施例提供的生产检测系统通过对视频流进行画面检测和动作检测，检测视频流中的生产动作是否合格，进而通过检测生产动作是否合格来判断产品的良品率，加快检测速度，并最终通过报错纠偏提高产品的良品率。

9、在一种可能的实施例中，摄像头采集视频流；

10、画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测；

11、若画面检测模块在连续预设数量的图像帧中检测到画面变化帧，则确定连续预设数量的图像帧中的每个图像帧为第一图像帧；

12、可以理解的是，第一图像帧可以是连续预设数量的图像帧中画面发生变化的图像帧，还可以是连续预设数量的图像帧中画面无变化但与画面变化帧邻近的图像帧。

13、示例性的，处理装置解析视频流，得到多个相邻的图像帧a/b/c/d/e/f，其中，a/b图像帧动作区域内的画面发生变化，处理装置将a/b图像帧识别为第一图像帧；c图像帧的动作区域内的画面未发生变化，但由于c图像帧与b图像帧相邻且连续预设数量为3个，因此c图像帧也是第一图像帧，比如c图像帧中是操作过程中的要求不变的动作，比如贴标签的动作需要持续按压标签一段时间；d/e/f图像帧连续三帧无变化，达到预设数量，比如在装配过程中，执行粘合固定件的按压时间过长或者长时间未执行生产动作，因此d/e/f图像帧画面无变化说明生产动作不合格。

14、动作检测模块基于至少一个动作类别，检测每个第一图像帧对应的动作类别；

15、若检测到存在对应动作类别的第一图像帧，则动作检测模块确定第一图像帧为待测图像帧；

16、示例性的，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个动作类别，处理装置对第一图像帧a/b/c/d/e/f进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作、第一图像帧d为打螺钉动作、第一图像帧e/f无对应的作业动作。

17、若检测到无对应动作类别的第一图像帧，则动作检测模块确定视频流中的生产动作不合格。

18、还需要说明的是，对于检测到无对应动作类别的第一图像帧所在的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。

19、比如，产线定制的模块化动作类别包括：放螺栓、放螺钉以及打螺钉三个作业动作，处理装置对第一图像帧a/b/c进行动作匹配和分类判定，检测到第一图像帧a为放螺栓动作、第一图像帧b/c为放螺钉动作，则检测到打螺钉动作无对应的第一图像帧，处理装置针对未执行打螺钉动作进行预警，并停止对此段缺失打螺钉动作的视频流的后续检测。

20、在一种可能的实施例中，画面检测模块，还用于若在视频流中未检测到第一图像帧，则确定视频流中的生产动作不合格。

21、在一种可能的实施例中，摄像头采集视频流；

22、画面检测模块基于至少一个检测区域，对视频流中连续预设数量的图像帧进行画面检测；

23、若在连续预设数量的图像帧中未检测到画面变化帧，则说明图像帧的画面中没有发生生产动作，因此画面检测模块可以确定视频流中生产动作不合格。

24、示例性的，若画面变化检测的结果显示图像帧a不存在检测区域，则说明可能存在摄像头没有对准工位、工位未开工以及画面遮挡等情况，或者，检测结果显示图像帧a/b/c连续三帧画面无变化，达到预设数量，则说明可能存在未执行生产动作或执行动作超时等情况。因此，需要进一步预警及时纠偏，另外，可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。

25、还需要说明的是，对于未检测到第一图像帧的视频流，可以放弃对此段视频流的后续检测，进一步节省算力。

26、在一种可能的实施例中，处理装置还包括规范检测模块，规范检测模块，用于基于每个动作类别对应的关键帧组合，对至少一个待测动作组合进行关键帧检测，确定视频流中的生产动作是否合格。

27、在一种可能的实施例中，规范检测模块对同一动作类别下的第一图像帧进行组合，得到至少一个待测动作组合；

28、规范检测模块基于每个动作类别对应的关键帧组合，检测至少一个待测动作组合中是否缺失关键帧；

29、若检测到待测动作组合中缺失关键帧，则规范检测模块确定视频流中的生产动作不合格。

30、比如，生产过程中未使用规定工具，螺钉安装位置错误等情况会导致图像帧中缺失关键帧的特征信息，从而导致待测动作组合中缺失关键帧。进一步可以生成预警信息及时纠偏，另外，还可以进行数据统计以及数据记录，方便之后追溯生产失败的原因。

31、示例性的，动作规范库中存储了动作类别a的关键帧a1～a3，动作类别b的关键帧b1～b3，c动作的关键帧c1～c3；若待测动作组合a对应动作类别a，且包括第一图像帧a1～a3，则将第一图像帧a1～a3与关键帧a1～a3进行匹配，当第一图像帧a1～a3的画面信息、时间信息等特征信息与关键帧a1～a3的特征信息完全匹配，则判定待测动作组合a不缺失关键帧。

32、以使用手持智能电机安装螺钉动作为例，关键帧的特征信息包括：手部像素信息、电机像素信息与安装点位坐标信息，以及各个信息的持续时间(即连续出现的帧数)，当在待测动作组合中捕捉到所有关键帧的特征信息才判定使用手持智能电机安装螺钉的动作已完成。

33、在一种可能的实施例中，处理装置还包括时序检测模块；

34、时序检测模块，用于基于至少一种设定动作顺序，对实际动作顺序进行时序检测，确定视频流中的生产动作是否合格。

35、在一种可能的实施例中，时序检测模块根据图像帧的时间戳，对待测图像帧对应的动作类别进行排序，得到实际动作顺序；

36、比如，第一图像帧a(时间戳0：01)对应放螺栓动作，第一图像帧b(时间戳0：02)对应放螺钉动作，第一图像帧c(时间戳0：03)对应打螺钉动作，则处理装置对第一图像帧a/b/c按时间戳进行排列，得到实际动作执行顺序：放螺栓-放螺钉-打螺钉。

37、时序检测模块基于至少一种设定动作顺序，对实际动作顺序进行时序检测；

38、若检测到实际动作顺序与设定动作顺序不匹配，则时序检测模块确定视频流中的生产动作不合格。

39、示例性的，时序逻辑库中存储有设定动作顺序1(动作1-动作2-动作3)、设定动作顺序2(动作1-动作3-动作2)、设定动作顺序3(动作2-动作1-动作3)；若实际动作顺序为动作2-动作1-动作3，则处理装置检测到实际动作顺序符合设定动作顺序3，若实际动作顺序为动作3-动作2-动作1，则处理装置确定视频流中的生产动作不合格。

40、在一种可能的实施例中，处理装置还包括存储介质；

41、存储介质预存有动作区域库，动作区域库包括至少一个检测区域。

42、需要说明的是，可以根据产线的生产设计指导书确定上述检测区域，从而在画面变化检测过程中在图像帧的画面中准确地定位动作发生区域，并结合图像识别或深度学习等算法进行第一图像的静态搜索。

43、存储介质预存有动作类别库，动作类别库包括至少一个动作类别。

44、需要说明的是，动作类别库中预存产线定制的模块化动作类别。外部输入的视频流在终端设备的算法模块进行静态检测后，处理装置对画面检测得到的第一图像帧进行动作匹配和分类判定，检测第一图像帧对应的作业动作。

45、在一种可能的实施例中，存储介质预存有动作规范库，动作规范库包括每个动作类别对应的关键帧组合；其中，关键帧组合包括至少一个关键帧。

46、示例性的，动作规范库中预存有每种生产动作的关键帧规范化特征信息。

47、在一种可能的实施例中，存储介质预存有时序逻辑库，时序逻辑库包括至少一种设定动作顺序。

48、示例性的，可以根据生产指导书各个安装动作解耦编号，在保证生产质量的前提下，灵活组合动作，得到设定动作顺序1～n。