模具机床内人员数量数据处理方法、系统、终端、介质与流程

本发明涉及人员数量统计在工业场景的应用技术领域，尤其涉及一种模具机床内人员数量数据处理方法、系统、终端、介质。

背景技术：

目前，在冲压车间，安全是重中之重，为保证冲压模具内的人身安全，安全锁的应用，能保证模具安全门的安全开启与工作。但现有技术无法实现数字化、可视化统计。随着视频监控技术的不断发展，目前视频监控在智慧城市、数字城市、平安园区等各类项目得以广泛应用。

视频监控于20世纪80年代开始启用，用于监控图像情况。随着社会的发展，视频监控已经广泛应用于多个领域具体业务工作中。但由于目前视频监控模糊图像的识别率不高，缺乏有效的信息技术支撑，在视频分析过程中仍然面临图像调取及格式不统一、视频信息管理及协同难、效率不高等问题，因此对动态捕捉、预警等必要的视频图像处理技术，显得尤为重要。

神经网络在工程中的应用是从20世纪90年代才开始的，一般为多层前馈的bp神经网络，但bp神经网络存在局部最优问题，并且训练速度慢、效率低，而模糊神经网络在一定程度上克服了这些问题，它在逼近能力、分类能力和学习速度等方面均优于bp神经网络。而roughsets理论(简称rs理论)在操作时无须提供除问题所需处理的数据集合之外的任何先验信息，可以直接对多维数据实施基于属性和元组两个方向上的一致数据浓缩或不一致数据浓缩，从中发现隐含的知识，揭示潜在的规律。

通过上述分析，现有技术存在的问题及缺陷为：现有技术没有利用双目摄像头实现对人员进出的实时统计，对联动机床安全装置不能给出当前模具机床内人员数量，造成安全问题。

技术实现要素：

为克服相关技术中存在的问题，本发明公开实施例提供了一种模具机床内人员数量数据处理方法、系统、终端、介质。所述技术方案如下：

根据本发明公开实施例的第一方面，提供一种模具机床内人员数量数据处理方法，应用于数据处理终端，所述模具机床内人员数量数据处理方法利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令；具体包括：

步骤一，所述数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；

步骤二，通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；

对于图像序列在时间间隔很小的情况下，进出模具机床人员的体表特征和轮廓外接矩形不发生很大变化；用下式的状态模型来预测；

s(n)＝φ·s(n-1)+w(n-1)

其中s(n)表示在第n个人员图像中的系统状态，w(n-1)表示的是系统的估计误差，φ是状态转换矩阵；进出模具机床人员用其体表特征位置、位移量、外接矩阵的周长、外接矩阵的长宽比特性来反映，则：

其中，δx(n)、δy(n)是进出模具机床人员体表特征在相邻两个人员间x和y方向的位移量，δx'(n)、δy'(n)是其x和y方向的位移量变化率，xs(n)、ys(n)表示进出模具机床人员的模具机床人员位置、人数数量识别矩阵的长度和宽度，x's(n)、y's(n)表示其模具机床人员位置、人数数量识别矩阵的长度和宽度的变化率；

在采样时间δt很小且矩形变化为线性时，则：

当系统状态与观测值之间是线性关系时，系统量测方程为：

m(n)＝h·s(n)+v(n)

m(n)表示量测向量，h是量测矩阵，v(n)是量测误差，且：

步骤三，再对不同状态实施相应的双目摄像头多视角的监控跟踪；

步骤四，根据步骤三监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。

优选地，所述步骤二构建模具机床人员位置、人数数量识别矩阵方法包括：

利用进出模具机床人员的特征与目前进出模具机床人员所处的区域特点构建新矩阵，利用矩形跟踪法判别进出模具机床人员是否产生、是否消失；并分析进出模具机床人员特征，预判进出模具机床人员状态空间，判断进出模具机床人员的所处运动状态；具体包括：

第一步，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和；

第二步，当求得的和大于所设定阈值时，认为这一点在进出模具机床人员的边界上；

第三步，对这一点计算它的左上与左下的像素灰度值差，正上与正下的像素灰度值差，右上与右下的像素灰度值差，并将它们之差的绝对值求和；

第四步，当求得的和大于所设定阈值时，认为这一点是进出模具机床人员的特征点；否者不是进出模具机床人员的特征点；

其中，设定m和n为图像子块矩形的长和宽，k和l为搜索范围矩形的长和宽，根据构建过程及实际匹配情况，找到与当前个人员当前块相似度最高的子块当作匹配块，由上一个人员或者下一个人员得到的匹配块和当前块的相对位置，得到这两个人员的进出模具机床人员运动位移，当作当前块运动矢量d。

优选地，所述步骤二分析进出模具机床人员运动状态的方法包括：

将进出模具机床人员分为新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失；当新进出模具机床人员出现时，立刻构建新进出模具机床人员的信息；当进出模具机床人员出现分裂时，分析产生分裂的原因，跟踪分裂；当不同进出模具机床人员出现相互融合时，对融合后的进出模具机床人员进行融合处理；当跟踪的进出模具机床人员消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。

优选地，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法包括：

首先，对运动进出模具机床人员的阴影光照和颜色特征进行分析，即在前述方法基础上，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和，然后外加对运动进出模具机床人员的阴影光照和颜色特征的考虑，进行微调，使得阈值在原来基础上上下浮动10％，通过实际实验效果改进原有的检测方法；

其次，在针对不同的进出模具机床人员分别进行检测识别的基础上，其运动状态也不相同，构建的特征辨识矩阵也不相同，此时分别在不同的特征辨识矩阵的基础上，假设任一特征辨识矩阵为当前状态，对其它辨识矩阵做相对运动，即利用矩阵的加减运算，达到多个进出模具机床人员之间的跟踪；

再次，构建符合进出模具机床人员颜色的模型，这里用y,cb,cr分量彩色来表示，与常见的r,g,b三原色的关系如下：

其中y,cb,cr分别表示流明，蓝色浓度偏移量红色浓度偏移量，r,g,b分别表示红，绿、蓝三个颜色浓度；运用颜色的特点克服对进出模具机床人员的遮挡；

最后，分析双目摄像头多视角的监控系统应用需求，实现不同视角的信息传递，一边利用矩阵的空间转换实现。

优选地，所述步骤三所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法还包括：采用模糊神经网络对进出模具机床人员进行检测识别；

所述模糊神经网络的运算方法为：

模糊神经网络结构由输入层、模糊化层、模糊推理层及输出层构成；

第一层输入层的各个节点直接与输入量的各个分量连接，将输入量传到下一层模糊化层；

第二层模糊化层采用高斯型函数作为隶属函数，其中参数σ通常为正，参数c用于确定曲线的中心，x表示横轴；

第三层模糊推理层通过与模糊化层的连接来完成模糊规则的匹配，当满足不同阈值条件时，就新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失三种情况进行不同匹配，达到对新进出模具机床人员、进出模具机床人员融合及进出模具机床人员消失的判断，各个节点之间实现模糊运算并通过各个模糊节点的组合得到相应的激活强度；

第四层输出层输出运算结果；

优选地，所述步骤四建立初始模具机床人员内数量预测模型具体方法包括：

1)将每次进行出模具的时间数据样本看为一个时间序列，时间序列为：

{ht|t＝1,2,3,…,n}；

则自回归模型为：

ht＝λ1ht-1+λ2ht-2+…+λnht-n+βt；

式中：βt满足独立正态分布，其中均值为零，方差为σ²；λ1,λ2,…,λn为自回归模型参数，n为模型的阶数；

2)自回归模型的阶数n通过最小信息准则来确定，即寻求模型在不同阶数下的最小值；参数λ运用最小二乘法来估计，估计值为：

λ＝(x^tx)^-1x^ty；

其中：y＝(hn+1hn+2…hm)；

3)模型建立后运用检验βt是否为白噪声的办法，即检验βt是否与βt-1,βt-2,…,βt-n无关；

4)建立自回归模型递推公式对结果进行预测；定义为在ht(k)为在t时刻对未来k步的预测值，et(k)为预测误差，即：

et(k)＝ht+k-ht(k)；

预测误差et(k)的方差为最小时的ht(k)值为最佳预测，对于所给出的自回归模型，最佳预测递推公式为：

将动态特性融入初始预测模型，建立动态预测模型，动态特性融入即样本间隔时间和数据样本集合的求解；

样本数据平均间隔时间为m，当前时间间隔为y，动态特性融入规则是将数据样本变为动态样本，即选择下面的数据样本集合中的数据：

{[(y-m-n)-(y-n)],……,[(y-m-1)-(y-1)],[(y-m)-y)]}；

依据动态特性融入规则，将建立的初始预测模型变换为动态预测模型，使得预测模型能够适应时间推移变化。

根据本发明公开实施例的第二方面，提供一种模具机床内人员数量数据处理系统，所述模具机床内人员数量数据处理系统包括：双目摄像头，用于采集进出模具机床人员图像数据；

数据处理终端，与双目摄像头链接，用于实时对进出模具机床人员数据进行实时统计；给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出对联动机床安全装置的安全门关闭控制指令。

根据本发明公开实施例的第三方面，提供一种数据处理终端，所述数据处理终端与双目摄像头连接，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述模具机床内人员数量数据处理方法。

根据本发明公开实施例的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述模具机床内人员数量数据处理方法。

根据本发明公开实施例的第五方面，提供一种智能冲压模具，所述智能冲压模具搭载所述模具机床内人员数量数据处理系统，并实施所述模具机床内人员数量数据处理方法。

本发明公开的实施例提供的技术方案可以包括以下有益效果：

本发明通过双目摄像头的加入，实现对人员进出的实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，方可关闭安全门，保证了安全。

本发明中，通过图像处理和计算机视觉技术，在监控系统中增加智能分析功能模块，借助计算机的数据处理能力进而过滤掉视频图像中无用的信息或干扰信息、自动识别物体或人的数量，分析抽取视频中关键有用信息，快速、准确得定位人员是否在模具机床内现场，判断监控画面中的异常情况，并以最快和最佳的方式发出警报或触发其它动作，从而有效进行预警。模糊神经网络使系统的容错能力得到提高，误报率相较传统视频监控减少60％，rs理论的应用，在不减少识别率的前提下，自动识别人员数量速度整体提高近30％。

本发明支持与前端视频监控的对接，自动将有价值的视频联网采集到搜索视频中，减少视频采集的工作量；

快速定位进出模具机床人员出现区域及数量，有针对性的加强双目摄像头摄像功能，对视频比对分析处理，找到有价值的线索等；便于安全门是否需要关闭。

相比于现有技术，本发明地优点进一步包括：

本发明根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。

当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本发明实施例提供的模具机床内人员数量数据处理方法流程图。

图2是本发明实施例提供的判断进出模具机床人员的所处运动状态流程图。

图3是本发明实施例提供的对不同状态实施相应的双目摄像头多视角的监控跟踪的方法流程图。

图4是本发明实施例提供的模具机床内人员数量数据处理系统示意图。

图4中：1、双目摄像头；2、数据处理终端；3、处理器；4、联动机床安全装置；5、安全门。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

如图1所示，本发明公开实施例所提供的一种模具机床内人员数量数据处理方法，应用于数据处理终端，所述模具机床内人员数量数据处理方法利用双目摄像头搭载的数据处理终端实时对进出模具机床人员数据进行实时统计，并通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器发出安全门关闭控制指令；具体包括：

s101，所述数据处理终端采用卡尔曼滤波法与矩形跟踪法结合，分离进出模具机床人员位置、人数数量的特征；

s102，通过构建模具机床人员位置、人数数量识别矩阵分析进出模具机床人员运动状态；

对于图像序列在时间间隔很小的情况下，进出模具机床人员的体表特征和轮廓外接矩形不发生很大变化；用下式的状态模型来预测；

s(n)＝φ·s(n-1)+w(n-1)

其中s(n)表示在第n个人员图像中的系统状态，w(n-1)表示的是系统的估计误差，φ是状态转换矩阵；进出模具机床人员用其体表特征位置、位移量、外接矩阵的周长、外接矩阵的长宽比特性来反映，则：

其中，δx(n)、δy(n)是进出模具机床人员体表特征在相邻两个人员间x和y方向的位移量，δx'(n)、δy'(n)是其x和y方向的位移量变化率，xs(n)、ys(n)表示进出模具机床人员的模具机床人员位置、人数数量识别矩阵的长度和宽度，x's(n)、y's(n)表示其模具机床人员位置、人数数量识别矩阵的长度和宽度的变化率；

在采样时间δt很小且矩形变化为线性时，则：

当系统状态与观测值之间是线性关系时，系统量测方程为：

m(n)＝h·s(n)+v(n)

m(n)表示量测向量，h是量测矩阵，v(n)是量测误差，且：

s103，再对不同状态实施相应的双目摄像头多视角的监控跟踪；

s104，根据步骤s103监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。

所述s102构建模具机床人员位置、人数数量识别矩阵方法包括：

利用进出模具机床人员的特征与目前进出模具机床人员所处的区域特点构建新矩阵，利用矩形跟踪法判别进出模具机床人员是否产生、是否消失；并分析进出模具机床人员特征，预判进出模具机床人员状态空间，判断进出模具机床人员的所处运动状态；如图2所示。

具体包括：

s201，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和；

s202，当求得的和大于所设定阈值时，认为这一点在进出模具机床人员的边界上；

s203，对这一点计算它的左上与左下的像素灰度值差，正上与正下的像素灰度值差，右上与右下的像素灰度值差，并将它们之差的绝对值求和；

s204，当求得的和大于所设定阈值时，认为这一点是进出模具机床人员的特征点；否者不是进出模具机床人员的特征点。

其中，设定m和n为图像子块矩形的长和宽，k和l为搜索范围矩形的长和宽，根据构建过程及实际匹配情况，找到与当前个人员当前块相似度最高的子块当作匹配块，由上一个人员或者下一个人员得到的匹配块和当前块的相对位置，得到这两个人员的进出模具机床人员运动位移，当作当前块运动矢量d。

所述步骤s102分析进出模具机床人员运动状态的方法包括：

将进出模具机床人员分为新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失；当新进出模具机床人员出现时，立刻构建新进出模具机床人员的信息；当进出模具机床人员出现分裂时，分析产生分裂的原因，跟踪分裂；当不同进出模具机床人员出现相互融合时，对融合后的进出模具机床人员进行融合处理；当跟踪的进出模具机床人员消失时，首先判断是否真消失，如果真消失，再删除原有的数据信息。

如图3所示，所述步骤s103所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法包括：

s301,对运动进出模具机床人员的阴影光照和颜色特征进行分析，即在前述方法基础上，定义进出模具机床人员像素值为255，背景像素值为0，进行图像搜索，计算矩形左上与右上像素灰度值的差，正前与正后的像素灰度值差，左下与右下的像素灰度值差，并将它们之差的绝对值求和，然后外加对运动进出模具机床人员的阴影光照和颜色特征的考虑，进行微调，使得阈值在原来基础上上下浮动10％，通过实际实验效果改进原有的检测方法；

s302，在针对不同的进出模具机床人员分别进行检测识别的基础上，其运动状态也不相同，构建的特征辨识矩阵也不相同，此时分别在不同的特征辨识矩阵的基础上，假设任一特征辨识矩阵为当前状态，对其它辨识矩阵做相对运动，即利用矩阵的加减运算，达到多个进出模具机床人员之间的跟踪；

s303，构建符合进出模具机床人员颜色的模型，这里用y,cb,cr分量彩色来表示，与常见的r,g,b三原色的关系如下：

其中y,cb,cr分别表示流明，蓝色浓度偏移量红色浓度偏移量，r,g,b分别表示红，绿、蓝三个颜色浓度；运用颜色的特点克服对进出模具机床人员的遮挡；

s304，分析双目摄像头多视角的监控系统应用需求，实现不同视角的信息传递，一边利用矩阵的空间转换实现。

所述步骤s103所述再对不同状态实施相应的双目摄像头多视角的监控跟踪的方法还包括：采用模糊神经网络对进出模具机床人员进行检测识别；

所述模糊神经网络的运算方法为：

模糊神经网络结构由输入层、模糊化层、模糊推理层及输出层构成；

第一层输入层的各个节点直接与输入量的各个分量连接，将输入量传到下一层模糊化层；

第二层模糊化层采用高斯型函数作为隶属函数，其中参数σ通常为正，参数c用于确定曲线的中心，x表示横轴；

第三层模糊推理层通过与模糊化层的连接来完成模糊规则的匹配，当满足不同阈值条件时，就新进出模具机床人员、进出模具机床人员的融合与进出模具机床人员的消失三种情况进行不同匹配，达到对新进出模具机床人员、进出模具机床人员融合及进出模具机床人员消失的判断，各个节点之间实现模糊运算并通过各个模糊节点的组合得到相应的激活强度；

第四层输出层输出运算结果；

所述步骤s104建立初始模具机床人员内数量预测模型具体方法包括：

1)将每次进行出模具的时间数据样本看为一个时间序列，时间序列为：

{ht|t＝1,2,3,…,n}；

则自回归模型为：

ht＝λ1ht-1+λ2ht-2+…+λnht-n+βt；

式中：βt满足独立正态分布，其中均值为零，方差为σ²；λ1,λ2,…,λn为自回归模型参数，n为模型的阶数；

2)自回归模型的阶数n通过最小信息准则来确定，即寻求模型在不同阶数下的最小值；参数λ运用最小二乘法来估计，估计值为：

λ＝(x^tx)^-1x^ty；

其中：y＝(hn+1hn+2…hm)；

3)模型建立后运用检验βt是否为白噪声的办法，即检验βt是否与βt-1,βt-2,…,βt-n无关；

4)建立自回归模型递推公式对结果进行预测；定义为在ht(k)为在t时刻对未来k步的预测值，et(k)为预测误差，即：

et(k)＝ht+k-ht(k)；

预测误差et(k)的方差为最小时的ht(k)值为最佳预测，对于所给出的自回归模型，最佳预测递推公式为：

将动态特性融入初始预测模型，建立动态预测模型，动态特性融入即样本间隔时间和数据样本集合的求解；

样本数据平均间隔时间为m，当前时间间隔为y，动态特性融入规则是将数据样本变为动态样本，即选择下面的数据样本集合中的数据：

{[(y-m-n)-(y-n)],……,[(y-m-1)-(y-1)],[(y-m)-y)]}；

依据动态特性融入规则，将建立的初始预测模型变换为动态预测模型，使得预测模型能够适应时间推移变化。

如图4所示，本发明提供一种模具机床内人员数量数据处理系统，所述模具机床内人员数量数据处理系统包括：

双目摄像头1，用于采集进出模具机床人员图像数据；

数据处理终端2，与双目摄像头链接，用于实时对进出模具机床人员数据进行实时统计；给出当前模具机床内人员数量，当人数为0时，通过所述数据处理终端包括的处理器3发出对联动机床安全装置4的安全门5关闭控制指令。

仿真实验表明，本发明根据监控跟踪的结果，采用适应时间推移的动态模型进行模具机床人员内数量预测；选取样本数据，进行训练，建立基于自回归模型的初始预测模型；将动态特性融入初始预测模型，建立模具机床人员内数量的动态预测模型；根据所述动态预测模型，所述处理器通过联动机床安全装置，给出当前模具机床内人员数量，当人数为0时，发出安全门关闭控制指令。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围应由所附的权利要求来限制。