老旧机床OCR数据采集方法与流程

老旧机床ocr数据采集方法
技术领域
1.本发明涉及智能工厂数字化改造领域，具体的说，涉及了一种老旧机床ocr数据采集方法。


背景技术：

2.智能工厂的建设前提是实现数字化工厂，从顶层到底层的系统集成和数据贯通，将数字信息和人工智能的算法，深度挖掘方法相结合，才能逐步形成智能化的应用。
3.全面实现数字化是通向智能制造的必由之路，“数据”是智能化的基础，数据的应用关系到智能工厂的质量、效率和效益，也是迈向智能制造的必经之路。
4.其中，最主要的制造执行系统(mes)需要底层生产线的业务流全部实现数字化并且能够进行传输交互，以保证能够实时精确的获取生产数据，以实现对生产过程的精确控制。
5.但在实际应用中，因为历史原因，机加工企业一些老旧机床没有通信接口，或者其它一些原因导致通信接口不能正常使用，机床无法实现联网，无法传输机床的实时生产数据。
6.这些机床成为了智能工厂的信息孤岛，独立在工厂的智能体系之外，阻碍智慧工厂的渗透力度，制约了工厂通过智慧生产、精益生产来实现降本增效的目标。
7.为了解决以上存在的问题，人们一直在寻求一种理想的技术解决方案。


技术实现要素：

8.本发明的目的是针对现有技术的不足，从而提供一种通过数字图像检测技术，从老旧机床的显示器参数显示界面入手，将难以直接调用的老旧机床上的运行参数数据进行采集和调用的老旧机床ocr数据采集方法。
9.本发明的基本构思是基于以下内容：老旧机床ocr由于年代久远，缺少数控系统的数据导出或提取的手段，但是老旧机床上普遍都设置有用于显示和控制设备参数信息的显示屏，但显示屏中除显示参数界面外，还有其它过渡界面或装饰界面，其中，参数界面的格式模板大多有固定格式，参数多以键值对的形式出现，即参数名字的右侧或下侧紧跟参数值，因此，采用图像识别的技术，对其界面信息进行提取是可能且有法可循的，特提出以下采集方法。
10.为了实现上述目的，本发明所采用的技术方案是：一种老旧机床ocr数据采集方法，包括工业相机、机床边缘端服务器、云端服务器和数据存储系统，通过以下方法进行采集：1）将工业相机正对机床的显示屏设置，并调整角度和距离，对机床的显示屏进行实时的拍摄，以采集包含机床的显示屏内容的图像；2）工业相机将拍摄得到的图像发送至机床边缘端服务器，机床边缘端服务器需要进行以下处理过程：
2.1）筛选，在边缘服务器中储存有包含有效参数的若干种图像分布模板，通过对比拍摄到的图像中是否包含存储的图像分布模板类型，来选出有效图像；2.2）对有效图像进行预处理，所述预处理过程包括有效区域的分割提取、透视矫正、水平矫正、畸变校正、灰度处理、背景处理、特征增强方法中的一种或几种；3）将通过步骤2）获得的预处理后的图像发送至云端服务器，云端服务器对有效区域内包含文字的区域进行检测和裁剪；4）对裁剪后包含文字的内容进行识别，获得参数；5）将获取的参数录入数据存储系统中，以备调用。
11.本发明相对现有技术具有突出的实质性特点和显著的进步，具体的说，本发明具有以下优点：1.利用老旧机床配置有显示屏的特点，以及参数显示多以键值对的形式出现的特定模板形式出发，使针对老旧机床的显示屏进行图像拍摄和键值提取成为可能且提取难度降低，使得该方法得以应用；2.针对拍摄得到的图像，采用边缘端服务器的形式，进行边缘计算，对图片进行预处理，以降低云端服务器的压力；3.通过对老旧机床参数界面的统计，获取套路模板，再通过拍摄图像与套路模板的对比，获取有效图像，降低边缘计算的数据量，使运算更高效；4.依据显示屏的边界进行裁剪，校正，获取较为标准的俯视图；5.对显示屏内容进行图像文字区域的检测，得到需要识别的图像，降低图像识别难度。
附图说明
12.图1是本发明中老旧机床ocr数据采集方法对系统进行部署的框架图。
13.图2是本发明中老旧机床ocr数据采集方法中对有效区域切割和矫正的原理图。
14.图3是本发明中对文字区域检测的原理图。
15.图4是本发明中对文字进行识别的效果图。
具体实施方式
16.下面通过具体实施方式，对本发明的技术方案做进一步的详细描述。
17.如图1-图4所示，一种老旧机床ocr数据采集方法，包括工业相机、机床边缘端服务器、云端服务器和数据存储系统，其中，工业相机通过强磁万向支架安装在老旧机床的显示屏区域，调整工业相机的角度和距离显示屏的位置，使两者相对稳定，针对老旧机床的显示屏进行遮光或补光处理，以消除光线的干扰。
18.另外，该方法还需要基于三个主要原则：(1)因为不同机床的相机与采集区域的工作距离不一致，机床显示器尺寸各异，相机固定角度也有差异。这导致通过相机视野获取的图像并非是中规中矩的俯视图。
19.(2)机床在使用过程中，显示屏会显示多个界面，而有效参数多集中在一个界面上，其它界面为机床加工的中间过程，要确保有效参数界面能够被采集。
20.(3) 机床界面参数多以键值对的方式出现，即参数名字的右侧或者下侧紧跟参数
值。
21.基于上述三个基本原则，需要一种具有一定适应性的方法，来解决对拍摄图像进行处理并获取文字信息的问题。
22.具体过程包括：1）将工业相机正对机床的显示屏设置，并调整角度和距离，对机床的显示屏进行实时的拍摄，以采集包含机床的显示屏内容的图像。
23.2）工业相机将拍摄得到的图像发送至机床边缘端服务器，机床边缘端服务器需要进行以下处理过程：2.1）筛选，在边缘服务器中储存有包含有效参数的若干种图像分布模板，通过对比拍摄到的图像中是否包含存储的图像分布模板类型，来选出有效图像，该过程中，是基于机床上显示屏对参数显示的固定套路所设置的模板样式，在面对固定型号的设备进行提取时，甚至可以重新绘制一套与该设别型号相同的显示屏图像界面模板，来提升对比筛选的准确度，对比筛选的原理则通过图像识别来完成，由于所需识别的内容主要是图像中简单线条轮廓的识别，难度较低，对边缘端服务器而言压力不大。
24.2.2）对有效图像进行预处理，所述预处理过程包括有效区域的分割提取、透视矫正、水平矫正、畸变校正、灰度处理、背景处理、特征增强方法中的一种或几种。
25.由于相机焦距、相机的部署角度、相机工作距离、机床显示屏尺寸等因素差异，采集的图像包含无效的区域，比如显示屏周边按键，且图像存在一定的变形与畸变，或者图像不是水平的。同时由于机床所处的光线环境，存在一定的特征不明显的问题。因此要通过轮廓检测的方法定位图像中显示屏的有效区域，并根据直线角度进行适当的水平修正，对角度不佳的图像进行透视矫正。
26.在本实施例中，首先对有效图像的有效区域的分割提取：
27.对图像进行高斯模糊后进行边缘检测和轮廓检测，对轮廓ci寻找轮廓点中 minmx
ij
,maxmx
ij
,minmy
ij
,maxmy
ij
,基于此坐标构成的方形区域,计算方 形区域面积si,寻找最大si作为有效区域：
[0028][0029]
其中，n为检测到的轮廓个数，m为该轮廓中的轮廓点个数。然后对有效区域进行分割提取后的图像进行水平矫正：首先用霍夫线变化探测图像中的所有直线，计算每条直线的倾斜角δi求均值， 然后计算仿射变化矩阵，最后对图像进行水平矫正：l为检测到的直线个数：其中，l为检测到的直线个数。继续对水平矫正后的图像进行透视矫正：基于世界坐标系、相机坐标系、图像坐标系和像素坐标系，将三维世界 中的坐标点通过小孔成像原理映射到平面图像坐标系中，构建基于图像的像 素坐标，计算有效轮廓c四角坐标，计算四个坐标之间的空间距离，基于此 闭合区间构件仿射矩阵后进行转换，获
得标准的俯视图。3)将通过步骤2)获得的预处理后的图像发送至云端服务器，云端服务 器对有效区域内包含文字的区域进行检测和裁剪，对有效区域内包含文字的 区域进行检测的过程如下：对图像进行采样卷积后再使用反卷积生成概率图和阈值图，基于图像差 分构成二值化图，使用概率图、阈值图和二值化图组合损失函数，损失函数 使用交叉熵，损失函数表达如下：l＝ls+α
×
lb+βl
t
其中，ls为概率图损失，lb为二值化图损失，l
t
为阈值图损失。
[0030]
4）对裁剪后包含文字的内容进行识别，获得参数，对文字进行识别的方法为：使用卷积递归神经网络识别序列式中的对象，根据多通道识别的概率确定识别结果，最终获得文本格式的数据。
[0031]
5）将获取的参数录入数据存储系统中，以备调用。
[0032]
该方法能够使用较少的资源，较为灵活的解决老旧机床无法进行数据采集的问题。该方法具有普遍的适用性，需要的设备成本较低，能够适用多数的数据采集需求，且可以适用于不同的工作环境、不同角度的相机位置、型号不同的机床。
[0033]
另外，本方法采用了必要的图像预处理模块，对图像的采集标准要求较低，无需精确固定相机以确保相机视野，且能够适用4-10mm焦距范围各种类型的相机。
[0034]
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制；尽管参照较佳实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者对部分技术特征进行等同替换；而不脱离本发明技术方案的精神，其均应涵盖在本发明请求保护的技术方案范围当中。