一种基于深度学习的数控机床断刀检测系统及方法与流程

本发明属于刀具断裂智能检测领域，更具体地，涉及一种基于深度学习的数控机床断刀检测系统及方法。

背景技术：

随着数控机床在制造业中使用的快速普及，运用智能化方法监测，维护数控机床加工过程的持续、健康运行，提高数控机床生产率成为智能制造领域的重要课题。机床刀具断裂的实时检测是数控加工中需要解决的重要问题，特别是在“无人工厂”或“一人多机”的生产模式下，若机床刀具发生断裂，需要及时发现并进行更换，否则将破坏当前正在加工的和后续上料的工件，产生废品或残次品，严重影响加工效率，浪费材料，提高时间和物料成本。

传统加工过程中由于每台机器都有专人负责，在机床加工过程中，工人能够及时发现刀具断裂的发生，并及时更换刀具。然而，在集成了自动物料运输小车，自动上下料机器人，工件质量自动检测等设备的无人工厂中，刀具断裂的实时检测成为保证加工过程持续正常进行的关键。

现有的数控机床自动断刀检测技术种类众多，主要基于探针位移、切削力变化、功率信号变化等传感器信号，在限定的条件下能够起到较好的检测效果，但还存在传感器安装复杂，较易受噪声影响，检测准确度不高等问题。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于深度学习的数控机床断刀检测系统及方法，其利用图像数据结合卷积神经网络实现数控机床加工过程中刀具状态的自动、实时、准确监控，具有自动化程度高，易于实施，准确率高等优点。

为实现上述目的，按照本发明的一个方面，提出了一种基于深度学习的数控机床断刀检测系统，其包括：

图像数据采集模块，用于拍摄切削加工过程中刀具切削工件的视频；

图像数据预处理模块，用于提取视频中的图像，并对提取的图像进行定位、裁剪和归一化处理，然后将处理后的图像传输至边缘计算模块中；

集成有断刀判别器的边缘计算模块，用于接收处理后的图像，并利用断刀判别器中预先训练的卷积神经网络前向推理得到断刀判别结果；

机床报警模块，用于根据断刀判别结果实现机床的控制。

作为进一步优选的，所述卷积神经网络以图像数据预处理模块输出的图像为输入，以刀具判别结果为输出，其包括卷积层、池化层和全连接层，其中卷积层和池化层用于提取输入图像的特征，全连接层用于根据提取的图像特征对图像中所示刀具是否折断进行分类。

作为进一步优选的，所述定位具体为在图像中搜索刀具出现的位置，其包括手动定位和自动定位；所述裁剪具体为根据定位出的刀具位置剪裁出以刀具为中心的图像；所述归一化处理具体为将裁剪出的图像的每个像素点值减去整张图像像素点的均值再除以方差。

作为进一步优选的，所述自动定位通过模板匹配法或卷积神经网络法实现，其中，模板匹配法是指使用事先录入的刀柄图像在原图上进行窗口滑动的图像模板匹配，匹配度最高的位置即为刀柄位置，然后再利用固定偏置找到刀尖位置，确定剪裁坐标；卷积神经网络法是指用大量刀柄图像训练一个基于卷积神经网络的图像特征提取器，该图像特征提取器能够判断输入的图片是刀柄的概率，然后利用该提取器在原图上做窗口滑动，求出每个窗口图片是刀柄的概率，概率最大处即为刀柄位置，然后再利用固定偏置找到刀尖位置，确定剪裁坐标。

作为进一步优选的，所述边缘计算模块包括硬件模块和软件模块，其中，所述硬件模块包括装有图像处理器或张量处理器的计算机及路由器，所述计算机用于提供卷积神经网络前向推理的计算能力，路由器用于建立局域网，为图像数据采集模块、图像数据预处理模块、边缘计算模块和机床报警模块之间提供传输方法；所述软件模块是运行于边缘计算模块上的程序，用于接收图像数据预处理模块提供的图像，并将其送入断刀判别器的卷积神经网络中进行前向推理，得出结果后传输给运行于数控机床中的机床报警模块。

作为进一步优选的，所述机床报警模块是运行于数控系统的软件模块，其用于接收边缘计算模块得出的断刀判别结果，并根据断刀判别结果操控机床，若断刀判别结果为断刀，则操控机床立即停机，并在数控系统的人机交互界面上显示断刀警报，若断刀判别结果为未断刀，则不作处理。

按照本发明的另一方面，提供了一种基于深度学习的数控机床断刀检测方法，其包括如下步骤：

s1拍摄切削加工过程中刀具切削工件的视频；

s2提取视频中的图像，并对提取的图像进行定位、裁剪和归一化处理；

s3将处理后的图像输入预先训练的卷积神经网络中以得到断刀判别结果；

s4根据断刀判别结果实现机床的控制。

作为进一步优选的，采用如下步骤对卷积神经网络进行训练：

1)采集刀具未断裂样本和刀具断裂样本，并对刀具未断裂样本和刀具断裂样本进行图像预处理以构建训练集；

2)构建卷积神经网络结构，将训练集中的样本输入卷积神经网络结构中进行训练，以训练获得刀具断裂概率关于输入图像的分布。

作为进一步优选的，刀具断裂样本采用如下方式采集：利用正常刀具对工件进行切削，当切削到采样点处停机并撤下正常刀具，然后采用同型号折断刀具从采样点处开始运行完剩下的切削路径，模拟刀具切削时在该采样点处断裂的情况，换上折断刀具后的一段时间内的视频中的图像作为训练使用的刀具断裂样本。

作为进一步优选的，刀具未断裂样本采用如下方式采集：利用正常刀具对工件进行一次完整的正常切削，视频中的每一帧图像作为刀具未断裂样本。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明提出的技术方案采用图像直接判别的方法，相对于其他的断刀检测方法更为直接，更为简单，易于推广，稳定性高。

2.本发明提出的技术方案运用先进的卷积神经网络算法，提高了断刀检测的准确率。

3.本发明提出的技术方案引入边缘计算的信息处理方案，解决了数控机床计算能力缺失带来的功能限制，边缘计算模块同样可以扩展用于数控机床需要的其他功能模块的计算，并有效控制了系统的投入成本。

附图说明

图1为本发明的基于深度学习的数控机床断刀检测系统的示意图；

图2为本发明的基于深度学习的数控机床断刀检测方法的流程图；

图3a为本发明实施例的卷积神经网络输入的刀具断裂正样本特征示意图；

图3b为本发明实施例的卷积神经网络输入的刀具未断裂负样本特征示意图；

图4为本发明实施例的数据采集采样点分布示意图，其中(a)～(c)为切痕在工件正面的采样点分布图，(d)～(f)为切痕在工件左侧的采样点分布图，(g)～(i)为切痕在工件后面的采样点分布图；

图5为本发明实施例的断刀判别器的卷积神经网络结构示意图；

图6为本发明实施例剪裁后的正负样本图像，其中(a)为刀具断裂正样本，(b)为刀具未断裂负样本；

图7为本发明实施例在数控机床上实时检测出刀具断裂所显示的效果图，其中，(a)为刀具正常切削时图像，(b)为刀具断裂时刻图像，(c)为刀具已断裂，并且系统实时检测到断刀并在数控系统界面用方框提示的图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的一种基于深度学习的数控机床断刀检测系统，其包括图像数据采集模块、图像数据预处理模块、边缘计算模块和机床报警模块，其中，图像数据采集模块用于拍摄切削加工过程中刀具切削工件的视频；图像数据预处理模块用于提取视频中的图像，并对提取的图像进行预处理，包括定位、裁剪和归一化处理，然后将预处理后的图像传输至边缘计算模块中；边缘计算模块集成有断刀判别器，该边缘计算模块将接收到的预处理后的图像传输至断刀判别器中，该断刀判别器利用预先训练的卷积神经网络进行前向推理以得到断刀判别结果，并把断刀判别结果传输至机床报警模块中；机床报警模块用于接收断刀判别结果，并根据断刀判别结果实现机床的控制。

具体的，图像数据采集模块包括相机、支架、照明设备和相机控制接口，其中，相机用于拍摄机床加工过程中的视频图像；支架用于将相机固定于机床内并对准刀具；照明设备用于照亮机床内部，尤其是刀具和工件，由于工件和刀具通常都是光滑金属，反光较为严重，因而需要采用散射光源；相机控制接口是用于在计算机程序中直接控制相机拍摄动作的编程接口。

进一步的，图像数据预处理模块用于从相机拍摄到的视频中抽取一帧一帧的图像，并对图像进行输入断刀判别器前的预处理。输入断刀判别器的图像是以刀具为中心的一块图像，通常包含刀柄下端、完整刀具以及刀尖附近的部分工件，预处理流程包括定位，剪裁，归一化等。

其中，定位的目的是在图片中搜索刀具出现的位置，为剪裁操作提供坐标。定位分为手动定位和自动定位，手动定位即通过观察，人为地找出刀具在图像坐标系中的位置，输入给程序，适用于加工过程中刀具位置相对于相机位置不变的情况；自动定位通过模板匹配法或卷积神经网络实现，需要使用原图中和刀具位置关系固定，特征明显并具有唯一性的图像特征。此处以刀柄为例，模板匹配法使用事先录入的刀柄图像，在原图(即待预处理的图像)上进行窗口滑动的图像模板匹配，匹配度最高的位置即为刀柄位置，然后再利用刀柄与刀尖的固定偏置找到刀尖位置，以便于确定剪裁坐标；卷积神经网络方法即用大量刀柄图像训练一个基于卷积神经网络的图像特征提取器，该提取器能够判断输入的图片是一个刀柄的概率，该提取器在原图上做窗口滑动，求出每个窗口的图片是刀柄的概率，概率最大处即为刀柄位置，然后再利用刀柄与刀尖的固定偏置找到刀尖位置，以便于确定剪裁坐标。而剪裁是指根据定位出的刀具位置，剪裁出以刀具为中心的图像，图像大小由断刀判别器的输入要求决定。归一化操作是将待处理图像的每个像素点的值减去整张待处理图像像素点的均值再除以整张待处理图像像素点的方差，以实现图像的归一化，以此使得以图像数据为输入的基于卷积神经网络的断刀判别器更易于训练及判别。

更进一步的，断刀判别器的功能是通过卷积神经网络算法判断刀具是否折断。卷积神经网络是一种擅长于处理图像、音频、数字信号等数据的神经网络类型，其特有的卷积层、池化层等操作适合在图像、音频、数字信号等数据中提取局部特征，通过局部特征在空间位置和层次上的组合，理解数据内部不同维度和元素之间的关系，从而实现对数据进行分类、检测、分割等任务的功能需求。本发明的断刀判别器的卷积神经网络模型以图像数据预处理模块输出的图像为输入，网络结构由多层卷积层、池化层、全连接层组成，网络通过卷积层、池化层提取图像特征，全连接层根据提取的图像特征对图像中的刀具是否折断进行分类，分为断裂和未断裂两类。为了提升分类准确率和训练速度，本发明优选使用vgg、googlenet、resnet、densenet等经典卷积神经网络结构及预训练完成的模型参数进行图像特征提取，然后使用全连接层或支持向量机等方法进行分类。

更为具体的，边缘计算模块的功能是为数控机床提供额外的计算能力，以为机床切削过程中对刀具断裂情况进行实时判断提供稳定、高效的计算资源。卷积神经网络的计算需要占用大量的计算资源，其训练和推理通常是在装有高性能图形处理器(gpu)的计算机上进行，而数控机床的计算机上通常不会有多余的计算资源支持神经网络的计算，因而需要为数控机机床提供专用于断刀检测等涉及到神经网络等智能化应用的辅助边缘计算模块。本发明的边缘计算模块由硬件模块和软件模块组成，硬件模块由装有图像处理器(gpu)或张量处理器(tpu、npu等)的计算机及路由器组成，计算机上的gpu等用于提供卷积神经网络前向推理的计算能力，路由器用于建立局域网，为相机、数控机床、边缘计算模块之间提供传输方法；软件模块是运行于边缘计算模块上的程序，用于等待接收图像数据预处理模块传来的图片，将其送入断刀判别器的卷积神经网络进行前向推理，得出结果后传回运行于数控机床的机床报警模块。

此外，机床报警模块是运行于数控系统的软件模块，其功能是接受边缘计算模块传回的断刀判别结果，若断刀判别结果为断刀，则调用机床控制接口，操控机床立即停机，并在数控系统的人机交互界面上显示断刀警报，以通知维护人员进行刀具更换，若断刀判别结果为不断刀，则不作处理。

如图2所示，本发明还提供了一种基于深度学习的数控机床断刀检测方法，其包括如下步骤：

s1拍摄切削加工过程中刀具切削工件的视频；

s2提取视频中的图像，并进行定位、裁剪和归一化处理；

s3将处理后的图像输入预先训练的卷积神经网络中以得到断刀判别结果；

s4根据断刀判别结果实现机床的控制。

具体的，采用如下步骤对卷积神经网络进行训练：

1)采集刀具未断裂样本(刀具未断裂图像)和刀具断裂样本(刀具断裂图像)，并对刀具未断裂样本和刀具断裂样本进行图像预处理以构建训练集；

2)构建卷积神经网络结构，将训练集中的样本输入卷积神经网络结构中进行训练，以训练获得刀具断裂概率关于输入图像的分布。

图3a和图3b分别为卷积神经网络输入的刀具断裂正样本和刀具未断裂负样本特征示意图，从图中可以看出，能够表示刀具断裂的图像特征主要集中在两处：一是刀具的长度，断刀后的刀具长度比正常刀具短，且刀具和工件不接触；二是刀具位置和刀具在工件上的切削痕迹末端不在相同位置，这是因为刀具在断裂之前是正常切削，走过的路径会留下切削痕迹，当刀具断裂后，刀具和工件不接触，虽然仍在走刀，但工件上的刀痕不再变化。

图4为数据采集采样点分布示意图，其中(a)～(c)为切痕在工件正面的采样点分布，(d)～(f)为切痕在工件左侧的采样点分布，(g)～(i)为切痕在工件后面的采样点分布。在实际加工过程中，刀具可能在切削路径中的任意位置断裂，为了使刀尖附近的图像特征更加显著，只取刀尖附近的图像作为卷积神经网络的输入，因而除了刀具、刀柄特征外，作为背景的工件和机床图像特征在切削路径上的不同位置是不一样的，如图4中所示。由于卷积神经网络等深度学习算法的实质是学习目标函数值(即刀具断裂的概率值p)关于输入数据(输入图像)的分布，因而对于特定工件的特定加工过程，理论上训练集中需要包含所有位置断刀和没断刀的样本，但考虑到可操作性，实际操作中，将刀具路径进行均匀分割，每隔30～50mm设置一个采样点，例如，在图4所示的铣削长方体的加工过程中，在铣削路径的四条边上各取三个采样点(图中只画出了前，左，后三个面的情况)。

在数据采集过程中，为了采集刀具断裂的正样本，先使用正常刀具对新工件进行切削，当切削到采样点处停机，撤下正常刀具，换成同型号的折断刀具，从采样点处开始走完剩下的切削路径，模拟刀具切削时在该采样点处断裂的情况，由此，换上折断刀具后的一段时间内的视频中的图像可作为训练使用的断刀正样本。为了得到刀具未断裂的负样本，需要用正常刀具对新工件进行一次完整的正常切削，视频中的每一帧图像均可作为未断刀的负样本。但是，由于视频中相邻帧图像太过相似，为了避免网络产生过拟合，对正常加工的视频每隔3～8帧取一帧放入训练集。

图5是断刀判别器的卷积神经网络结构示例图。网络的输入是单张预处理后的图像数据，中间层是卷积、池化、全连接等隐藏层，输出是代表刀具断裂的概率值p。通过输入训练集中的样本对卷积神经网络进行训练，以训练获得参数已知的卷积神经网络，训练结束后在进行断刀检测时只需将预处理后的刀具图像输入该参数已知的卷积神经网络中即可得到刀具断裂概率值p，通常，若p≥0.5则判定刀具断裂；若p<0.5，则判定为刀具未断裂，即该参数已知的卷积神经网络可根据输入的图像判断出刀具是断裂还是未断裂。需要说明的是，为了保证判定的稳定性，减少误报，在实际使用中，利用参数已知的卷积神经网络对实时采集的切削视频中抽取的图片进行断刀判别，当连续5～10张图片判定为断刀时，才通知机床停机，否则，不认定为真实断刀，机床继续工作。在本发明中使用经典的图像分类网络resnet-v1-50(k.he,x.zhang,s.ren,andj.sun.deepresiduallearningforimagerecognition.incvpr,2016.)的结构，并迁移了基于imagenet预训练完成的网络参数进行网络参数初始化，分段进行四轮训练，从后向前每次多开放一个block参与训练，使用momentum算法对网络进行优化，学习率设为0.05，动量权重设为0.9。具体利用训练集如何对卷积神经网络进行训练，其是现有技术，在此不赘述。

在样本数据进入神经网络训练之前，进行一系列图像预处理，其处理方法与步骤s2中的方法一致，即进行定位、裁剪和归一化处理。具体而言：

1)定位

原图像使用模板匹配法定位到刀柄位置，向下进行固定偏置后定位到刀尖位置；

2)裁剪

以刀尖点为中心，剪裁出140×140像素大小的图像；

将图片绕中心进行任意角度旋转，旋转角度范围优选为[-4°，4°]；

将图片剪裁至128×128，剪裁中心x、y轴相对原图像中心偏移范围为[-3，3]mm；

随机改变图像亮度，差值范围为[-3，3]，即对图像中每一像素点同时增加一个数，该数的范围为-3～3间的任意整数；

随机改变图像对比度，改变的量根据实际需要进行设定，如图6所示，裁剪获得所需的刀具断裂正样本和刀具未断裂负样本；

3)归一化

将图像中每一个像素点减去整张图像的均值，再除以标准差，实现图像的归一化处理。

训练数据的图像预处理过程有效提升了网络的泛化能力，网络训练完成后，在实际使用中，实时采集的图像每隔10帧进行一次断刀预测，预测前的预处理则是直接以刀尖点为中心剪裁出128×128的图像并做归一化。

在本发明实施例中，训练集包含11940张正样本图片，6355张负样本图片，训练完成的网络在包含5750个正样本，3325个负样本的验证集上获得了98％的准确率，在配备了一块inteli7-6700cpu的边缘计算模块上获得了25fps的计算速度，满足机床断刀检测的实时性要求。

目前，本发明所述技术已在武汉华中数控股份有限公司开发的华中9型智能数控机床上成功应用，图7是本发明在华中9型智能数控机床上实时检测出的刀具断裂所显示的效果图，其中，(a)为刀具正常切削时图像，(b)为刀具断裂时刻图像，(c)为刀具已断裂并且系统实时检测到断刀并在数控系统界面用方框提示的图像。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。