一种应用于制造业的可溯源工业互联网系统

1.本发明涉及一种应用于制造业的可溯源工业互联网系统，属于一种融合视觉感知的可溯源工程机械工业互联网技术。


背景技术：

2.工程机械制造产业在我国工业生产中具有极其重要的地位，为国家工业化现代化建设提供保障。现阶段大型工程装备的自动化制造和生产已经逐步发展为世界领先水平，但是部分厂房网络化与智能化水平受限。工业互联网平台作为工程机械制造产业现代化发展的未来发展方向逐步成为基础建设之一，为工业生产提供数据分析支撑，指导生产决策，可以为企业提供更高的经济效益。
3.然而目前面向制造业的工业互联网受限于封闭的工业系统，采集方式和传输数据形式局限于加工控制参数，缺少对加工流程中人员与工件等影响生产实体的感知。并且由于生产流程复杂多变，生产中具体过程信息难以有效地组织和采集，不利于生产工序的细粒度分析优化与责任问询。如何构建包含加工行为细粒度智能感知且具备信息溯源能力的工业互联网平台，是促进工程机械制造业发展的关键之一。


技术实现要素：

4.发明目的：为了克服现有技术中存在的不足，本发明提供一种工程机械制造业工业互联网系统，依赖智能视觉感知提取生产过程中的人员与工件信息，利用区块链技术记录生产数据，依托边云协同工业互联网基础设施构建可溯源的互联网平台。
5.技术方案：为实现上述目的，本发明采用的技术方案为：
6.一种应用于制造业的可溯源工业互联网系统，包括边云协同工业互联网基础设施和智能可溯源信息平台；
7.所述边云协同工业互联网基础设施，用于收集加工过程中的视觉感知信息与加工监控信息，并管理加工程序，主要包括生产行为智能视觉感知装置和边缘计算装置；
8.所述生产行为智能视觉感知装置主要包括厂房监控模块和加工监控模块；所述厂房监控模块部署在厂房四周对厂房进行全覆盖监控，用于工件和人员的识别，并通过识别信息获取人员操作行为信息和工件流程状态；所述加工监控模块部署在加工设备旁的非人员活动区域，用于工件加工过程的监控与识别，并通过识别信息获取加工监控信息；
9.所述边缘计算装置使用面向工程机械制造的加工全流程智能识别算法对人员操作行为信息和工件流程状态进行处理以提取视觉感知信息，使用区块链记录模块记录视觉感知信息和加工监控信息；
10.所述智能可溯源信息平台主要包括加工信息聚合工控机和本地调度服务器，加工信息聚合工控机通过部署在厂房内部的光纤网络与本地调度服务器连接；所述加工信息聚合工控机部署在加工设备旁，与边缘计算装置和加工监控模块相连；所述加工信息聚合工控机通过部署在厂房内部的光纤网络采集包括视觉感知信息与加工监控信息在内的现场
信息，并将采集到的现场信息传输至本地调度服务器，通过本地调度服务器将现场信息传输至云端，由智能可溯源信息平台统一管理调度。
11.优选的，所述厂房监控模块包括球形摄像头，加工监控模块包括球形摄像头、固态激光雷达加工控制器；球形摄像头部署在厂房四周并以一定倾斜角度安装在防护盖的下方，用于获取工件和人员的视频流；固态激光雷达安装在防护盖的上方，用于获取工件的点云信息。更为优选的，所述边缘计算装置置于保护盒内，保护盒设置在支撑杆上，边缘计算装置通过支撑杆的内部线路与球形摄像头和固态激光雷达相连接。
12.更为优选的，部分防护盖通过电动滑轨安装在支撑杆，在电动滑轨的上下两端各设置一个限位环，在防护盖的上方和下方分别安装有固态激光雷达和球形摄像头，在支撑杆的底部设置有底盘；部分防护盖通过可拆卸连接器悬置于厂房顶部或安装在支撑杆端部，在防护盖的下方安装有球形摄像头。
13.优选的，使用区块链记录模块记录工件全流程的人员操作行为信息、工件流程状态信息和加工监控信息，每个工件在每个工序中拥有唯一的区块链标识码，采用加工过程区块链唯一标识算法计算工件在当前工序中的区块链标识码：工件在当前工序中的区块链标识码为h1＝h(h(p1),h(s1),h0,tx0)，h(
·
)表示哈希函数，p1表示当前工序的工件流程状态信息，s1表示当前工序的人员操作行为信息，h0表示工件在上一工序中的区块链标识码，tx0表示工件在上一工序中的交易地址。
14.优选的，所述面向工程机械制造的加工全流程智能识别算法包括人员识别追踪算法、人员操作行为识别算法、工件识别追踪算法和工件流程状态评估算法；
15.所述人员识别追踪算法，基于已有公开数据集、现场背景数据集和现场人员数据集，利用优化后的yolox模型训练人员识别网络以识别人员位置，利用基于识别特征复用的卡尔曼滤波追踪算法对视频流中的人员进行追踪；
16.所述人员操作行为识别算法，首先基于人员识别追踪算法对视频流中的人员进行追踪，再利用自监督视频特征提取网络提取人员行为特征，然后利用人员操作行为识别算法对人员操作行为信息进行识别，识别结果以新区块的形式更新对应工件的区块链标识码；
17.所述工件识别追踪算法，基于工件cad模型，并利用真实数据贴图与随机背景进行场景渲染，在多个视角(根据工件特征等条件选择一个、两个或更多个视角)下采集用于训练工件识别网络的仿真数据集，利用优化后的yolox模型训练工件识别网络以识别工件位置，利用基于识别特征复用的卡尔曼滤波追踪算法对视频流中的工件进行追踪；
18.所述工件流程状态评估算法，基于扫描得到的工件点云，经过点云去噪后，利用cad先验的表面点云，通过icp算法匹配，获取工件位姿并对比cad模型评估工件流程状态，识别工件流程状态信息，识别结果按照加工工序以新区块的形式更新对应工件的区块链标识码。
19.更为优选的，所述优化后的yolox模型，先针对yolox模型，利用无跨层残差的多分组卷积模块替换cspdarknet53的基础模块以提高yolox模型的性能；再在yolox模型训练完成后利用结构重参数化方法合并多分组卷积以降低yolox模型的规模。
20.更为优选的，在人员识别追踪算法和工件识别追踪算法中，先利用优化后的yolox模型对识别物进行解耦，得到分类头特征图和检测头特征图，再结合识别物的位置分别提
取对应分类头特征图和对应检测头特征图的矩阵数据，最后对两个矩阵数据进行l2正则化处理即可构建识别物的描述特征；采用卡尔曼滤波算法，根据识别物在前一图片中的位置计算识别物在当前图片中的预测位置，计算识别物在当前图片中的预测位置与实际位置的马氏距离为d1；记识别物在当前图片中的描述特征为f，识别物在前m幅图片中的描述特征为(f
′1,f
′2,...,f
′m)，计算f与(f
′1,f
′2,...,f
′m)的平均距离为d2；利用匈牙利算法实现对识别物的追踪，即min d＝d1+d2。
21.更为优选的，利用射频收发器识别人员携带的电子身份标签进行身份识别。
22.有益效果：本发明提供的应用于制造业的可溯源工业互联网系统，基于面向人员、工件目标检测与追踪算法，结合人员行为理解与加工工序识别，利用区块链技术将操作流程信息与具体工件绑定，形成可溯源的唯一标识码，利用在原有厂房基础上改造的边云协同工业互联网基础设施，传输现场信息至云端平台统一管理调度，能够进一步提升工业互联网智能化水平。
附图说明
23.图1为本发明系统在工厂内的部署示意图；
24.图2为生产行为智能视觉感知装置的系统框架示意图；
25.图3为采用本发明系统的工件加工台部署示意图；
26.图4为本发明中加工监控模块的部署示意图；
27.图5为本发明中边缘计算装置的部署示意图；
28.图6为本发明中厂房监控模块的部署示意图；
29.图7为本发明的系统框架示意图；
30.图中包括：1-厂房监控模块；2-加工监控模块；3-加工设备；4-人员活动区域；5-本地调度服务器；6-工件；7-人员；8-加工机床；9-加工控制器；10-加工信息聚合工控机；11-固态激光雷达；12-球形摄像头；13-防护盖；14-电动滑轨；15-限位环；16-底盘；17-支撑杆；18-保护盒；19-边缘计算装置；20-射频收发器；21-可拆卸连接器。
具体实施方式
31.以下结合附图和具体实施例对本发明作具体的介绍。
32.在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
33.如图1、图2所示为一种应用于制造业的可溯源工业互联网系统，包括边云协同工业互联网基础设施和智能可溯源信息平台。
34.所述边云协同工业互联网基础设施，用于收集加工过程中的视觉感知信息与加工监控信息，并管理加工程序，主要包括生产行为智能视觉感知装置和边缘计算装置19。
35.所述生产行为智能视觉感知装置主要包括厂房监控模块1和加工监控模块2；所述
厂房监控模块1部署在厂房四周对厂房进行全覆盖监控，用于工件6和人员7的识别，并通过识别信息获取人员操作行为信息和工件流程状态；所述加工监控模块2部署在加工设备3旁的非人员活动区域(人员活动区域4以外的区域)，用于工件6加工过程的监控与识别，并通过识别信息获取加工监控信息。
36.所述边缘计算装置19使用面向工程机械制造的加工全流程智能识别算法对人员操作行为信息和工件流程状态进行处理以提取视觉感知信息，使用区块链记录模块记录视觉感知信息和加工监控信息。
37.所述智能可溯源信息平台主要包括加工信息聚合工控机10和本地调度服务器5，加工信息聚合工控机10通过部署在厂房内部的光纤网络与本地调度服务器5连接；所述加工信息聚合工控机10部署在加工设备3旁，与边缘计算装置19和加工监控模块2相连；所述加工信息聚合工控机10通过部署在厂房内部的光纤网络采集包括视觉感知信息与加工监控信息在内的现场信息，并将采集到的现场信息传输至本地调度服务器5，通过本地调度服务器5将现场信息传输至云端，由智能可溯源信息平台统一管理调度。
38.如图4所示，所述厂房监控模块1包括球形摄像头12，加工监控模块2包括球形摄像头12、固态激光雷达11和加工控制器9；球形摄像头12部署在厂房四周并以一定倾斜角度安装在防护盖13的下方，用于获取工件6和人员7的视频流；固态激光雷达11安装在防护盖13的上方，用于获取工件6的点云信息。
39.如图5所示，所述边缘计算装置19置于保护盒18内，保护盒18设置在支撑杆17上，边缘计算装置19通过支撑杆17的内部线路与球形摄像头12和固态激光雷达11相连接。
40.如图4所示，部分防护盖13通过电动滑轨14安装在支撑杆17，在电动滑轨14的上下两端各设置一个限位环15，在防护盖13的上方和下方分别安装有固态激光雷达11和球形摄像头12，在支撑杆17的底部设置有底盘16。如图5所示，部分防护盖13通过可拆卸连接器21悬置于厂房顶部或安装在支撑杆17端部，在防护盖13的下方安装有球形摄像头12。
41.所述区块链记录模块用于记录工件全流程的人员操作行为信息、工件流程状态信息和加工监控信息，每个工件在每个工序中拥有唯一的区块链标识码，采用加工过程区块链唯一标识算法计算工件在当前工序中的区块链标识码：工件在当前工序中的区块链标识码为h1＝h(h(p1),h(s1),h0,tx0)，h(
·
)表示哈希函数，p1表示当前工序的工件流程状态信息，s1表示当前工序的人员操作行为信息，h0表示工件在上一工序中的区块链标识码，tx0表示工件在上一工序中的交易地址。
42.所述面向工程机械制造的加工全流程智能识别算法包括人员识别追踪算法、人员操作行为识别算法、工件识别追踪算法和工件流程状态评估算法。
43.所述人员识别追踪算法，基于已有公开数据集、现场背景数据集和现场人员数据集，利用优化后的yolox模型训练人员识别网络以识别人员位置，利用基于识别特征复用的卡尔曼滤波追踪算法对视频流中的人员进行追踪，利用射频收发器20识别人员携带的电子身份标签进行身份识别。
44.所述人员操作行为识别算法，首先基于人员识别追踪算法对视频流中的人员进行追踪，再利用自监督视频特征提取网络提取人员行为特征，然后利用人员操作行为识别算法对人员操作行为信息进行识别，识别结果以新区块的形式更新对应工件的区块链标识码。
45.所述工件识别追踪算法，基于工件cad模型，并利用真实数据贴图与随机背景进行场景渲染，在多个视角下采集用于训练工件识别网络的仿真数据集，利用优化后的yolox模型训练工件识别网络以识别工件位置，利用基于识别特征复用的卡尔曼滤波追踪算法对视频流中的工件进行追踪。
46.所述工件流程状态评估算法，基于扫描得到的工件点云，经过点云去噪后，利用cad先验的表面点云，通过icp算法(iterative closest point，最近点迭代算法)匹配，获取工件位姿并对比cad模型评估工件流程状态，识别工件流程状态信息，识别结果按照加工工序以新区块的形式更新对应工件的区块链标识码。
47.所述优化后的yolox模型，先针对yolox模型，利用无跨层残差的多分组卷积模块替换cspdarknet53的基础模块以提高yolox模型的性能；再在yolox模型训练完成后利用结构重参数化方法合并多分组卷积以降低yolox模型的规模。
48.在人员识别追踪算法和工件识别追踪算法中，先利用优化后的yolox模型对识别物进行解耦，得到分类头特征图和检测头特征图，再结合识别物的位置分别提取对应分类头特征图和对应检测头特征图的矩阵数据，最后对两个矩阵数据进行l2正则化处理即可构建识别物的描述特征；采用卡尔曼滤波算法，根据识别物在前一图片中的位置计算识别物在当前图片中的预测位置，计算识别物在当前图片中的预测位置与实际位置的马氏距离为d1；记识别物在当前图片中的描述特征为f，识别物在前m幅图片中的描述特征为(f
′1,f
′2,...,f
′m)，计算f与(f
′1,f
′2,...,f
′m)的平均距离为d2；利用匈牙利算法实现对识别物的追踪，即min d＝d1+d2。
49.本案提供的应用于制造业的可溯源工业互联网系统，如图7所示，可以划分为现场智能感知模块、边缘信息协同模块和云端聚合调度模块三个部分。
50.所述现场智能感知模块，通过本地有线网络，从加工控制器9、球形摄像头12与固态激光雷达11中采集信息，在加工信息聚合工控机10和边缘计算装置19上部署加工过程信息采集、人员操作行为识别算法与工件流程状态评估算法，相关信息传输到本地调度服务器5。
51.所述边缘信息协同模块，基于加工过程区块链唯一标识算法，汇集工件的区块链标识码和现场信息上传云端，根据厂房的总体加工状态与云端加工需求对本地生产工序进行调度，同时存储厂房所产生信息。
52.所述云端聚合调度模块，经过边云协同管理，在云端对工件的区块链标识码进行解析，获取工件的全流程加工信息，结合本地工厂信息对全局信息进行分析和展示，便于对接供应链；利用唯一的区块链标识码，结合区块链分布式账本、智能合约技术和共识机制，能够构建一个包括供应商、制造商、分销商、零售商、物流等供应链环节的平台，对生产销售进行全流程可溯源管理。
53.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
54.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
55.以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，上述实施例不以任何形式限制本发明，凡采用等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。