一种基于机器视觉的工业互联网系统的制作方法

本发明涉及工业互联网，具体涉及一种基于机器视觉的工业互联网系统。

背景技术：

1、随着5g等新一代通信与信息技术的不断发展，制造业企业实现数字化网络化的工业智能制造，随着用工成本和原材料价格上升，环保要求的提高、制造企业的经营模式逐渐细化，迫切需要提升单位产值，增加自身的竞争力，在数字化建设上，现有的制造业企业通过互联网技术，在硬件设备上添加智能芯片及其算法，实现设备运行的自动化，以及采用摄像监控技术，利用图形处理算法进行工业设备的信息反馈，因此工业互联网技术被广泛应用于生产线监控、质量控制、设备维护和预测性维修的领域，但是传统的工业互联网系统往往存在数据采集不准确、实时性差、可靠性低的问题，严重影响了其在实际生产过程中的应用效果。

2、例如，申请号为cn202111029683.x公开了一种5g+工业互联网的机器视觉检测系统及方法中，包括影像采集模块、面部检测模块、人体检测模块、车辆检测模块及流量分析模块组成，通过将采集的单向人车混行区域的监控影像，并通过5g网络传输采集的监控影像；再基于所述监控影像对所述监控影像中的面部、人体和车辆进行识别并追踪，得到面部检测结果、人体检测结果以及车辆检测结果，用于避免了行人检测中存在的将车辆内的驾驶员和乘客重复计数，存在不能嵌入式运用在工业生产设备上，和不能利用图像处理技术分析设备运行缺陷和产品工艺问题，以及存在该系统支持一个人车路口，不能兼顾多个交通要道的人车采集，导致采集信息为碎片化，运行效率低的问题。

3、综上，工业发展现有技术中，存在不能满足下游客户对企业生产能力预测与质量追溯的要求，不支持小批量，多批次的柔性生产模式下的生产流程与成本核算管理，以及ot与it难以融合导致工业生产制造的工艺水平低问题，以及存在企业it的信息碎片化、信息孤岛、重复建设、安全问题和低效运维的问题。

技术实现思路

1、针对现有技术的不足，本发明提供了一种基于机器视觉的工业互联网系统，通过在设置工业设备rtu测控模块，增加了工业设备的rtu测控，以及在机器视觉系统利用cloudfactory平台进行工业数据管理、计算、存储及监控，增设snapcheck视觉软件，实现了工业机器视觉化的图像信息处理，解决了背景技术中提出的问题。

2、为实现以上目的，本发明通过以下技术方案予以实现：一种基于机器视觉的工业互联网系统，包括工业设备rtu测控模块，是在工业的生产设备、装卸搬运产品的机器人及检测设备中，内嵌置入智能传感器和rtu，通过智能传感器采集工业设备实时数据后，将数据通过通信线路发送到rtu进行处理，用于实时采集、处理、监测和控制工业自动化设备的数据；

3、手持终端数据采集模块，是利用pda对工业生产设备进行现场数据采集、处理、通信、检修、调试和管理，用于对设备采集的数据进行实时监测和分析，协助工业管理人员快速判断问题并采取相应的处理措施，pda具有便携、高效、易操作，采集数据安全性和稳定性的特点；

4、网络通信模块，在计算机网络中，对工业设备rtu测控模块和手持终端数据采集模块的运行系统进行数据传输和交换，网络通信技术采用tcp/ip、http、ftp、smtp中任意一种或几种组合，用于实现信息获取、数据共享及远程控制；

5、cloudfactory平台，是由docker容器技术打包的一系列微服务组成，向拥有大量工作需求的企业提供人工智能数据处理服务的云计算平台，通过网络通信模块接收工业设备rtu测控模块和手持终端数据采集模块采集的信息进行虚拟化处理和管理，用于将人工智能、自动化和云计算技术相结合，其中，所述cloudfactory提供的人工处理服务包括：数据录入和处理、数据标注和分类、数据验证和审核及数据加工和集成；

6、信息反馈模块，是利用计算机、手机的可视化移动终端，及网络通信技术将cloudfactory平台处理的数据信息进行图片可视化处理，并通过终端显示出来；

7、snapcheck视觉软件，是安装在信息反馈模块内，对工业设备进行视觉检测，自动化识别和判断工业制品的缺陷、尺寸和外观质量的基于windows操作的视觉检测软件，该软件提供图形化界面，通过该界面进行参数设置、图像调整的功能，以及提供若干图像处理算法和自定义设置选项，用于满足不同的工业场景和具有不同检测需求的生产流程，满足各种需求的工业视觉检测任务。

8、进一步地，所述工业设备rtu测控模块是由生产设备、aoi检测设备、智能传感器及rtu组成，所述生产设备是工业中用于生产、加工原材料的仪器、机器和机械设备，包括制造加工设备、成型设备、特种设备、检测设备及控制设备；所述aoi检测设备是用于采集生产设备的工作状态数据和图像信息；所述智能传感器接收aoi检测设备采集的数据信息，能够感知各种物理量并将感知的物理量转化为电信号、数字信号或其他信号进行输出，用于测量、检测和感知环境中的物理量与参数，具体将感知的信号传输到rtu中进行处理、计算、分析和控制操作，其中，物理量包括工业设备的温度、压力、湿度、光线、声音、磁场、加速度等；智能传感器是由感受器、转换器、信号处理电路和输出器组成；所述rtu接收智能传感器传输的数据信息进行控制处理。

9、进一步地，所述aoi检测设备是利用计算机视觉和图像处理技术，对pcb、电子元器件进行非接触式、高精度、高效率的自动化检测，其是由软、硬件架构组成，软件包括利用机器学习和深度学习功能实现图像处理算法和人机界面；硬件包括光源、相机、镜头、扫描臂及机器人，用于检测pcb的电气连接不良、短路、开路、反向及杂散的各种缺陷，具体检测过程是通过将pcb与已知良品的印刷电路板进行比对，对检测出的缺陷进行分类和标记，为后续的维修和改进提供基础数据；所述aoi检测设备是内嵌图像处理和检测算法的软件，其中，图像处理是基于图像处理的规则检测、统计学分类、神经网络分类技术，进行图像采集和预处理，实现图像的卡尺校正，去除图像中的噪点和干扰，增强图像的对比度和亮度的功能，用于为后续的缺陷检测提供更清晰、准确的输入图像信息；检测算法是能够识别出pcba表面上的各种结构、元器件、标识和连接线路，并自动分析判断其是否存在开路、短路、焊点偏差、元器件缺失的缺陷，所述软件为valornpi、sprintseries、vitrox-aoi及omron-aoi任意一种。

10、进一步地，所述rtu是在在工业自动化设备中，将智能传感器采集的数据经过linux操作处理，并根据处理结果，控制工业设备的产品上下料、运输、切割和加工制造的生产过程进行自动化运行，同时能够通过网络通信线路将数据传输到计算机、手机及cloudfactory平台的控制中心进行处理和分析；其中，rtu处理智能传感器采集的工业设备数据，包括以下步骤：数据采集、数据预处理、数据输入和存储、数据传输、数据处理和控制设备。

11、进一步地，所述cloudfactory平台包括主数据管理单元、生产计划与执行单元、仓储管理单元、产品质量管理单元及设备监测单元，所述主数据管理单元在工业云平台中综合性管理企业的各种主数据，用于消除数据冗余，提高数据质量，加强数据治理，从而有效地让企业进行业务流程管理和决策，提高企业的运营和管理效率，主数据管理具体包括组织架构与员工；设备、辅材和工具；原材料、产品和bom；可视化工艺流程配置；工艺节点数据采集与流程控制；工厂、车间、产线、仓库和agv；以及客户与供应商订单管理；所述生产计划与执行单元是帮助企业合理安排和调度生产任务，具有生产排程、生产监控、质量管理及库存管理功能，用于管理和优化生产过程，生产计划与执行具体包括订单、销售单和工单；工单进度跟踪；员工和工业设备排班；生产数据上报；加工与组装料件批次关联；逆向生产工艺；质量数据采集。

12、进一步地，所述仓储管理单元是对企业生产制造的物料、半成品及成品的入库、出库、查询及存储进行计划、组织、调度、控制、协调的信息管理操作，仓储管理具体包括出入库、上下架、盘点、调拨、出入库规则和库存预警；所述产品质量管理单元是对产品质量进行直接的、间接的测定及事先加以控制，产品质量管理具体包括质量检测模版配置、质量检测报告、批次与实例产品追溯、供应商来料问题追溯、设备与工装夹具问题追溯、工艺配置问题追溯；所述设备监测单元是在cloudfactory平台中监测工业设备的状态数据，用于故障报警，降低企业损失。

13、进一步地，所述信息反馈模块是经过云存储信息共享到计算机、手机等可视化移动终端，所述云存储信息共享是将cloudfactory平台的云计算、云存储的数据信息，采用共享链接、共享文件夹及协作文档的方式，并设置访问权限，通过网络传输到计算机和手机中需要的人，使得系统中若干工业管理人员能够同时查看、编辑和共享数据内容；其中，所述共享链接是将云存储中的文件生成一个共享链接，发送给需要查看和下载文件的人，便于控制访问权限；所述共享文件夹是将需要共享的文件放在一个共享的online文件夹中，设置访问权限，并将文件夹共享给需要的人；所述协作文档使用支持若干人协作的云存储服务，将需要共同协作的文档存储在云中，若干人可以同时编辑文档并实时更新。

14、进一步地，所述snapcheck视觉软件包括配置模块、检测模块、图像算法模块、ai模块、统计分析模块及设备控制模块，所述配置模块是配置和管理系统的基本参数，包括图像采集和处理参数、算法和模型参数，并将配置参数传输到检测模块进行数据计算处理；其中，配置模块是采用计算机语言进行代码编辑，用户获取配置参数名称、描述信息及类型接口可自定义编程，包括

15、/***@brief配置变量的基类*/

16、classconfigvarbase{public:

17、typedefstd::shared_ptr<configvarbase>ptr；/**

18、*@brief构造函数

19、*@param[in]name配置参数名称

20、*@param[in]description配置参数描述*/

21、configvarbase(conststd::string&name,conststd::string&descripti on＝""):m_name(name),m_description(description){

22、std::transform(m_name.begin(),m_name.end(),m_name.begin(),::tolower)；}

23、/***@brief析构函数*/

24、virtual～configvarbase(){}

25、/***@brief返回配置参数名称*/

26、conststd::string&getname()const{returnm_name；}

27、/***@brief返回配置参数的描述*/

28、conststd::string&getdescription()const{returnm_description；}

29、/***@brief转成字符串*/

30、virtualstd::stringtostring()＝0；

31、/***@brief从字符串初始化值*/

32、virtualboolfromstring(conststd::string&val)＝0；

33、/***@brief返回配置参数值的类型名称*/

34、virtualstd::stringgettypename()const＝0；

35、protected:

36、///配置参数的名称

37、std::stringm_name；

38、///配置参数的描述

39、std::stringm_description；}；所述检测模块是基于人工智能技术的图形分类算法、图像匹配算法和目标跟踪算法，来对配置模块中的数据目标进行关键特征点定位，用于识别和检测图像中的目标对象；其中，图形分类算法包括svm、knn、cnn及rnn算法，通过对图像进行特征提取和分类，识别图像中的不同对象，从而将给定的图像分为不同的预定义类别，对于cnn计算公式为式中，yk是网络的输出值，xi是输入的图像像素值，wi,k是卷积核的权重，bk是偏置项，σ是激活函数。

40、进一步地，所述图像算法模块是利用数字信号处理技术，处理检测模块采集到的图像中的信息，包括频率域滤波、图像增强、几何变换和形态学处理，所述频率域滤波是对图像的傅里叶变换计算，将图像转换到频域，进行滤波操作后再转换回时域，用于去除噪声和锐化图像；所述图像增强是采用直方图均衡化、灰度变换算法，将改善图像质量，使图像中的信息更容易观察；所述几何变换是采用缩放、旋转、仿射变换和投影变换模型改变图像的几何形状；所述形态学处理是采用腐蚀、膨胀、开运算和闭运算对像素点的分类、连接、分离、填补以及重构；所述ai模块是运用深度学习算法，通过大量的图像数据训练模型，对图像算法模块计算的图像数据进行训练，实现所需目标的智能判断和识别，并将训练结果结合图像算法处理信息传输到统计分析模块中进行下一步的分析；所述深度学习算法是利用算法公式对图像数据中提取特征数据进行处理和分析，并用于训练模型以识别和分类不同的图像，算法公式包括卷积神经网络、残差网络、循环神经网络、长短期记忆网络、生成对抗网络、神经网络语言模型及自编码器。

41、进一步地，所述统计分析模块是接收图像算法模块和ai模块处理的信息，通过采集工业装置中的缺陷和异常检测、质量控制和工艺改进的实际状态数据并进行分析和统计，并将分析结果传输到设备控制模块中进行控制管理，用于优化生产效率和提高产品质量；所述设备控制模块是接收统计分析模块的指令，控制和管理工业互联网的机器视觉系统的相机、光源、机器的硬件设备。

42、本发明提供了一种基于机器视觉的工业互联网系统，相对于现有技术，具备以下有益效果：

43、本发明通过采用cloudfactory平台，结合工业设备生产过程的时间维度，实现了考核生产的成本，进度与质量，为企业采购，销售与计划部门提供决策功能，通过插入snapcheck视觉软件，利用其模块化设计和深度学习算法，拖拽配置，参数驱动及建模计算，实现了远程调试部署和浏览器运行界面的功能，达到了满足下游客户对企业生产能力预测与质量追溯的要求；支持小批量，多批次的柔性生产模式下的生产流程与成本核算管理；引进先进的软件开发与运维能力，实现ot与it融合，提高工艺水平的效果。