基于卷积神经网络算法的设备形变检测方法和装置与流程

本公开涉及视频图像检测的领域，尤其涉及一种基于卷积神经网络算法的设备形变检测方法和装置。

背景技术：

全球已经掀起行业数字化转型的浪潮，数字化是基础，网络化是支撑，智能化是目标。通过对人、物、环境、过程等对象进行数字化产生数据，通过网络化实现数据的价值流动，以数据为生产要素，通过智能化为各行业创造经济和社会价值。以大数据、机器学习、深度学习为代表的智能技术已经在语音识别、图像识别、用户画像等方面得到应用，在算法、模型、架构等方面取得了较大的进展。

设备形变是指设备在长期运行中，由于过冷或过热会导致设备形体发生热胀冷缩变化，但开始都是非常细微的变化肉眼很难判断，往往这些细微的变化是长年累月后导致设备损耗的主要原因，如何防止或避免长期肉眼无法识别的细微变化来延长设备的使用寿命，本发明人经过大量的研发和设计，提出了一种基于卷积神经网络算法的设备形变检测方法和装置。

技术实现要素：

为解决上述技术问题，本公开提供一种基于卷积神经网络算法的设备形变检测方法和装置。

本公开具体采用如下技术方案实现：

根据本公开的一个方面，本公开提出了一种基于卷积神经网络算法的设备形变检测方法，包括以下步骤：

步骤一、获取至少一个定点的摄像头所拍摄的视频数据，其中定点包括在设备上方的摄像头所拍摄的单个视角的位置；

步骤二、提取视频数据中的图像，通过卷积神经网络算法对图像进行检测，识别出设备细微形变并进行提示；

步骤三、对至少一个定点检测到的的提示信息进行合并统计，得到设备细微形变信息。

通过在至少一个定点上识别设备形变，并进行实时监测和提示，使设备的细微形变得到识别，并通过提示提示人们及时对设备进行保护。

作为实施例的优选方式，所述步骤一包括以下步骤：

a、通过对设备上方的摄像头设置至少一个定点；

b、使摄像头在至少一个定点上进行轮询跟踪监测，并实时获得摄像头在至少一个定点上所拍摄的视频数据。

通过设置至少一个定点进行轮询跟踪，使获得的视频数据更加全面，对设备细微形变识别更加精准。

作为实施例的优选方式，所述步骤二包括以下步骤：

a、获得图像中的设备轮廓特征数据，将设备轮廓特征数据通过卷积神经网络cnn进行训练，得到训练模型；

b、将设备轮廓特征数据在所述训练模型中回测，检测视频数据图像中的设备轮廓像素点的变化；

c、当设备轮廓像素点超过预设的阈值时，则判定设备发生形变并进行提示。

卷积神经网络算法由卷积神经网络cnn训练得到，因此图像处理更加准确和简单，能有效识别肉眼无法观察的设备的细微形变。

作为实施例的优选方式，所述卷积神经网络cnn包括特征提取及分类识别，所述特征提取包括卷积层、激活函数层及池化层，所述分类识别包括全连接层；视频数据中的图像通过卷积层提取图像的特征图，特征图经过激活函数层进行非线性化处理，再通过池化层将图像进行缩小，减少像素信息。

作为实施例的优选方式，所述特征提取包括2个卷积层、2个激活函数层及2个池化层。

作为实施例的优选方式，所述步骤三包括以下步骤：

a、判断提示是否是同一个摄像头或同一类型的提示，若是，则累加摄像头同一类型的提示次数；

b、计算出摄像头的同一类型的提示和首次提示之间的时间差，得到提示持续时间；

c、合并展示出提示的地点，首次提示时间、类型及提示持续时间。

对不同摄像头在不同的定点上所述拍摄的视频图像进行检测识别出不同设备的细微形变，因此通过统计检测可以获得不同设备的提示次数和时间等信息，便于后台管理人员对设备进行及时有效地保护。

根据本公开的另一个方面，本公开还提出了一种基于卷积神经网络算法的设备形变检测装置，包括：

至少一摄像头，所述摄像头设置于定点上，其中定点包括在设备上方的摄像头所拍摄的单个视角的位置；

视频图像采集模块，所述视频图像采集模块与所述摄像头连接，用于获取所述摄像头所拍摄的视频数据；

卷积神经网络处理模块，所述卷积神经网络处理模块与所述视频图像采集模块连接，用于提取视频数据中的图像，通过卷积神经网络算法对图像进行检测，识别出设备细微形变并进行提示；

结果接收模块，所述结果接收模块与所述卷积神经网络处理模块连接，用于对至少一个定点检测得到的提示信息进行合并统计，得到设备细微形变信息。

作为实施例的优选方式，所述设备形变检测装置还包括ttl/tcp通信模块，所述ttl/tcp通信模块与所述卷积神经网络处理模块连接，用于将所述卷积神经网络处理模块输出的ttl信号转换为tcp信号，使得后台操作人员可远程实现对所述设备形变检测装置进行控制。

根据本公开的另一个方面，本公开还提出了一种计算机储存介质，其上存储有计算机程序，所述计算机程序被计算机执行时实现如前所述的一种基于卷积神经网络算法的设备形变检测方法提到的步骤。

根据本公开的另一个方面，本公开还提出了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器实现如前所述的一种基于卷积神经网络算法的设备形变检测方法提到的步骤。

本公开提供了一种基于卷积神经网络算法的设备形变检测方法和装置，通过设置在定点上的摄像头，摄像头固定单一视角拍摄设备轮廓，视频图像采集模块获取摄像头所拍摄的视频数据，卷积神经网络处理模块获取视频数据中的图像，并通过卷积神经网络算法对图像的像素点进行检测，识别出设备细微形变并进行提示，达到提前保护设备的目的，避免了出现严重形变才发现问题。

附图说明

附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。

图1是本公开基于卷积神经网络算法的设备形变检测装置的结构示意图。

具体实施方式

下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。

需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。

本公开的实施例提出了一种基于卷积神经网络算法的设备形变检测方法，包括以下步骤：

step1、获取至少一个定点的摄像头所拍摄的视频数据，其中定点包括在设备上方的摄像头所拍摄的单个视角的位置；

step2、提取视频数据中的图像，通过卷积神经网络算法对图像进行检测，识别出设备细微形变并进行提示；

step3、对至少一个定点检测到的的提示信息进行合并统计，得到设备细微形变信息。

本实施例通过在至少一个定点上设置摄像头，当然，可以设置多个摄像头从不同视角拍摄设备轮廓，通过卷积神经网络算法对图像像素点进行实时监测，使设备的细微形变得到识别，并通过提示提示人们及时对设备进行保护。通过设置多个摄像头可以提高识别的准确率。

在具体的实施例中，所述step1包括以下步骤：

a、通过对设备上方的摄像头设置至少一个定点；

b、使摄像头在至少一个定点上进行轮询跟踪监测，并实时获得摄像头在至少一个定点上所拍摄的视频数据。

本实施例通过设置至少一个定点进行轮询跟踪，使获得的视频数据更加全面，对设备细微形变识别更加精准。

在具体的实施例中，所述step2包括以下步骤：

a、获得图像中的设备轮廓特征数据，将设备轮廓特征数据通过卷积神经网络cnn进行训练，得到训练模型；

b、将设备轮廓特征数据在所述训练模型中回测，检测视频数据图像中的设备轮廓像素点的变化；

c、当设备轮廓像素点超过预设的阈值时，则判定设备发生形变并进行提示。

本实施例的卷积神经网络算法由卷积神经网络cnn训练得到，因此图像处理更加准确和简单，能有效识别肉眼无法观察的设备的细微形变。

在具体的实施例中，所述卷积神经网络cnn包括特征提取及分类识别，所述特征提取包括卷积层、激活函数层及池化层，所述分类识别包括全连接层；视频数据中的图像通过卷积层提取图像的特征图，特征图经过激活函数层进行非线性化处理，再通过池化层将图像进行缩小，减少像素信息。

在具体的实施例中，所述特征提取包括2个卷积层、2个激活函数层及2个池化层。

具体而言，所述卷积神经网络cnn的特征提取过程为：

首先，定义输入的placeholder：

xs＝tf.placeholder(tf.float32,[none,784])；

ys＝tf.placeholder(tf.float32,[none,10])；

其次，再定义dropout的placeholder，它是解决过拟合的有效手段：

keep_prob＝tf.placeholder(tf.float32)；

需要处理图像，把图像的形状变成矩阵[1,224,224,3]；

x_image＝tf.reshape(xs,[1,28,28,3])

建立卷积层：

定义第一层卷积,先定义本层的weight,本层卷积核patch的大小是224x224，输出是32个featuremap；

w_conv1＝weight_variable([224,224,3,32])

接着定义bias，它的大小是32个长度，因此传入它的shape为[32]；

b_conv1＝bias_variable([32])；

定义好了weight和bias，定义卷积神经网络的第一个卷积层h_conv1＝conv2d(x_image,w_conv1)+b_conv1；

同时对h_conv1进行非线性处理，也就是激活函数来处理，这里用的是tf.nn.relu(修正线性单元)来处理，因为采用了same的padding方式，输出图片的大小没有变化依然224x224，只是厚度变厚了，因此现在的输出大小就变成了224x224x32；

h_conv1＝tf.nn.relu(conv2d(x_image,w_conv1)+b_conv1)；

最后再进行池化pooling的处理，经过pooling的处理，输出大小就变为了14x14x32；

h_pool＝max_pool_2x2(h_conv1)；

同样的形式，定义第二层卷积，本层输入就是上一层的输出，本层卷积核patch的大小是224x224，有32个featuremap；所以输入就是32，输出定为64；

w_conv2＝weight_variable([224,224,32,64])；

b_conv2＝bias_variable([64])；

接着可以定义卷积神经网络的第二个卷积层，这时的输出的大小就是14x14x64；

h_conv2＝tf.nn.relu(conv2d(h_pool1,w_conv2)+b_conv2)

最后也是一个pooling处理，输出大小为7x7x512；

h_pool2＝max_pool_2x2(h_conv2)。

通过上述特征提取，将7x7x512的输出作为全连接层的输入，进行分类识别，判断设备是否发生细微形变。全连接层包括输入层，隐藏层及输出层。在输入层中输入7x7x512的像素信息，经过权重矩阵u后送到隐藏层，隐藏层的计算结果经权重矩阵w后到达输出层并得到输出结果。通过输出结果以判别待检测设备是否发生细微形变。

在具体的实施例中，所述step3包括以下步骤：

a、判断提示是否是同一个摄像头或同一类型的提示，若是，则累加摄像头同一类型的提示次数；

b、计算出摄像头的同一类型的提示和首次提示之间的时间差，得到提示持续时间；

c、合并展示出提示的地点，首次提示时间、类型及提示持续时间。

本实施例对不同摄像头在不同的定点上所述拍摄的视频图像进行检测识别出设备的不同细微形变，因此通过统计检测可以获得设备的提示次数和时间等信息，便于后台管理人员对设备进行及时有效地保护。

根据本公开的另一个方面，如图1所示，本公开的实施例还提出了一种基于卷积神经网络算法的设备形变检测装置，包括：

至少一摄像头1，所述摄像头设置于定点上，其中定点包括在设备上方的摄像头所拍摄的单个视角的位置；

视频图像采集模块2，所述视频图像采集模块2与所述摄像头1连接，用于获取所述摄像头所拍摄的视频数据；

卷积神经网络处理模块3，所述卷积神经网络处理模块3与所述视频图像采集模块2连接，用于提取视频数据中的图像，通过卷积神经网络算法对图像进行检测，识别出设备细微形变并进行提示；

结果接收模块4，所述结果接收模块4与所述卷积神经网络处理模块3连接，用于对至少一个定点检测得到的提示信息进行合并统计，得到设备细微形变信息。

本实施例的装置基于卷积神经网络算法，实现了提前对设备的细微形变进行识别，便于后台操作人员提前对设备进行保护，防微杜渐，避免等到出现严重问题才采取亡羊补牢的措施。

在具体的实施例中，所述设备形变检测装置还包括ttl/tcp通信模块5，所述ttl/tcp通信模块5与所述卷积神经网络处理模块3连接，用于将所述卷积神经网络处理模块输出的ttl信号转换为tcp信号，使得后台操作人员可远程实现对所述设备形变检测装置进行控制。

根据本公开的另一个方面，本公开的实施例还提出了一种计算机储存介质，其上存储有计算机程序，所述计算机程序被计算机执行时实现如前所述的一种基于卷积神经网络算法的设备形变检测方法提到的步骤。

根据本公开的另一个方面，本公开的实施例还提出了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得一个或多个处理器实现如前所述的一种基于卷积神经网络算法的设备形变检测方法提到的步骤。

以本申请的检测装置及检测方法为例，对厦门某三甲医院的大型设备冷凝器进行检测，由于热胀冷缩，冷凝器经过长期的运行之后，其形状会发生明显的形变，传统的检测方式是通过仪器测量或肉眼观察，这种检测方式只有等到设备发生明显形变时，才能检测出来，这样为时已晚，不利于后台维修人员的及时维护。本申请通过在冷凝器的上方外周设置3个摄像头，当设备未投入使用时，摄像头所拍摄的图像，经过卷积云神经网络的深度学习，得到训练模型；当设备投入使用后，由于热胀冷缩的变化，导致设备外形发生细微的变化，这些变化通过训练的模型的回测得以检测出来，得到维修人员的及时维护，大大延长了冷凝器的使用寿命。

本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。