一种人工智能机械设备监测系统及监测方法与流程

1.本发明涉及工业制造技术领域，特别涉及一种人工智能机械设备监测系统及监测方法。


背景技术：

2.随着工业4.0概念的提出，工业制造从信息化时代大步迈向了智能化时代。在工业4.0时代，通过感知设备以及信息网络将生产设备与生产设备、生产设备与控制设备进行无缝融合的同时，也将人工智能引入到工业制造系统中，实现了对工业制造系统实时感知、识别、跟踪、检测和智能化管理。现有的机械设备监测系统，通过监测装置对机械设备的工作参数如功率、电压、温度或者外观等进行监测以判断机械设备是否存在故障。采用这类检测方案，无法及时和精准地预知机械设备存在的潜在故障风险。


技术实现要素：

3.本发明正是基于上述问题，提出了一种人工智能机械设备监测系统及监测方法，可以及时和精准地预知机械设备存在的潜在故障风险。
4.有鉴于此，本发明的一方面提出了一种人工智能机械设备监测系统，包括数据处理装置以及与所述数据处理装置通信连接的被安装于与所述机械设备相邻的一侧的音频采集装置、第一影像采集装置和第二影像采集装置，所述音频采集装置被配置为采集所述机械设备工作状态下产生的音频数据发送给所述数据处理装置，所述第一影像采集装置被配置为采集所述机械设备工作状态下整体或局部运动状态的第一影像数据发送给所述数据处理装置，所述第二影像采集装置被配置为采集所述机械设备输出工件的第二影像数据发送给所述数据处理装置，所述数据处理装置被配置为：
5.s100：接收所述音频采集装置、所述第一影像采集装置和所述第二影像采集装置的所述音频数据、所述第一影像数据和所述第二影像数据；
6.s200：从所述第一影像数据中提取所述机械设备的运动特征；
7.s300：从所述第二影像数据中提取所述输出工件的外观特征；
8.s400：基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类；
9.s500：以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练；
10.s600：采用所述机械设备的声音模型对所述机械设备的声音进行监测。
11.进一步的，在上述机械设备监测系统中，在从所述第一影像数据中提取所述机械设备的运动特征的步骤之前，所述数据处理装置被配置为：
12.s110：以同一所述机械设备的一个或一组工件的生产周期为基础对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，并以生成时间为依据保存所述音频数据、所述第一影像数据和所述第二影像数据的关联关系。
13.进一步的，在上述机械设备监测系统中，在从所述第一影像数据中提取所述机械
设备的运动特征的步骤中，所述数据处理装置被配置为：
14.s210：从所述第一影像数据中识别所述机械设备或所述机械设备局部位置的本体；
15.s220：获取所述机械设备或所述机械设备局部位置的本体相对于当前生产周期对应时间点的标准位置的偏移值；
16.s230：基于所述偏移值得到当前生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线；
17.s240：从所述偏移曲线中提取所述机械设备的运动特征。
18.进一步的，在上述机械设备监测系统中，从所述第二影像数据中提取所述输出工件的外观特征的步骤中，所述数据处理装置被配置为：
19.s310：从所述第二影像数据中提取所述输出工件的整体或局部的形状、尺寸、纹理、颜色参数中的一个或多个作为所述输出工件的外观特征。
20.进一步的，在上述机械设备监测系统中，以所述音频数据和所述音频数据的分类信息作为训练样本数据对所述机械设备的声音模型进行训练的步骤中，所述数据处理装置被配置为：
21.s510：对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度以形成归一化音频样本数据；
22.s520：将所述归一化音频样本数据输入到预设的神经网络模型中进行训练；
23.s530：计算所述归一化音频样本数据的训练误差；
24.s540：当所述训练误差大于预设值时，调整所述神经网络模型中各层神经元间的连接权重并返回所述将所述归一化音频样本数据输入到预设的神经网络模型中进行训练的步骤。
25.本发明的另一方面提出了一种人工智能机械设备监测方法，包括：
26.s100：接收音频采集装置、第一影像采集装置和第二影像采集装置的机械设备工作状态下产生的音频数据、所述机械设备工作状态下整体或局部运动状态的第一影像数据和所述机械设备输出工件的第二影像数据；
27.s200：从所述第一影像数据中提取所述机械设备的运动特征；
28.s300：从所述第二影像数据中提取所述输出工件的外观特征；
29.s400：基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类；
30.s500：以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练；
31.s600：采用所述机械设备的声音模型对所述机械设备的声音进行监测。
32.进一步的，在上述机械设备监测方法中，在从所述第一影像数据中提取所述机械设备的运动特征的步骤之前，还包括：
33.s110：以同一所述机械设备的一个或一组工件的生产周期为基础对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，并以生成时间为依据保存所述音频数据、所述第一影像数据和所述第二影像数据的关联关系。
34.进一步的，在上述机械设备监测方法中，从所述第一影像数据中提取所述机械设备的运动特征的步骤具体包括：
35.s210：从所述第一影像数据中识别所述机械设备或所述机械设备局部位置的本体；
36.s220：获取所述机械设备或所述机械设备局部位置的本体相对于当前生产周期对应时间点的标准位置的偏移值；
37.s230：基于所述偏移值得到当前生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线；
38.s240：从所述偏移曲线中提取所述机械设备的运动特征。
39.进一步的，在上述机械设备监测方法中，从所述第二影像数据中提取所述输出工件的外观特征的步骤具体包括：
40.s310：从所述第二影像数据中提取所述输出工件的整体或局部的形状、尺寸、纹理、颜色参数中的一个或多个作为所述输出工件的外观特征。
41.进一步的，在上述机械设备监测方法中，以所述音频数据和所述音频数据的分类信息作为训练样本数据对所述机械设备的声音模型进行训练的步骤具体包括：
42.s510：对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度以形成归一化音频样本数据；
43.s520：将所述归一化音频样本数据输入到预设的神经网络模型中进行训练；
44.s530：计算所述归一化音频样本数据的训练误差；
45.s540：当所述训练误差大于预设值时，调整所述神经网络模型中各层神经元间的连接权重并返回所述将所述归一化音频样本数据输入到预设的神经网络模型中进行训练的步骤。
46.本发明提出一种人工智能机械设备监测系统及监测方法，通过接收音频采集装置、第一影像采集装置和第二影像采集装置的机械设备工作状态下产生的音频数据、所述机械设备工作状态下整体或局部运动状态的第一影像数据和所述机械设备输出工件的第二影像数据，从所述第一影像数据中提取所述机械设备的运动特征，从所述第二影像数据中提取所述机械设备输出工件的外观特征，基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类，以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练，采用所述机械设备的声音模型对所述机械设备的声音进行监测，可以及时和精准地预知机械设备存在的潜在故障风险。
附图说明
47.图1是本发明一个实施例提供的一种人工智能机械设备监测系统的示意框图；
48.图2是本发明一个实施例提供的一种人工智能机械设备监测方法的示意流程图；
49.图3是本发明一个实施例提供的机械设备的运动特征提取方法的示意流程图；
50.图4是本发明一个实施例提供的机械设备的运动特征提取的示意图；
51.图5是本发明一个实施例提供的机械设备声音模型训练方法的示意流程图。
具体实施方式
52.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施
例及实施例中的特征可以相互组合。
53.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
54.在本发明的描述中，术语“多个”则指两个或两个以上，除非另有明确的限定，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。术语“连接”、“安装”、“固定”等均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
55.在本说明书的描述中，术语“一个实施例”、“一些实施方式”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
56.下面参照图1至图5来描述根据本发明一些实施方式提供的一种人工智能机械设备监测系统及监测方法。
57.如图1所示，本发明的一方面提出了一种人工智能机械设备监测系统，包括数据处理装置以及与所述数据处理装置通信连接的被安装于与所述机械设备相邻的一侧的音频采集装置、第一影像采集装置和第二影像采集装置，所述音频采集装置被配置为采集所述机械设备工作状态下产生的音频数据发送给所述数据处理装置，所述第一影像采集装置被配置为采集所述机械设备工作状态下整体或局部运动状态的第一影像数据发送给所述数据处理装置，所述第二影像采集装置被配置为采集所述机械设备输出工件的第二影像数据发送给所述数据处理装置。
58.在本发明的技术方案中，所述机械设备为制造系统各生产环节的机械设备。所述音频采集装置被安装于与所述机械设备相邻的一侧，用于采集所述机械设备工作状态下产生的音频数据。在工业制造系统中，各制造/加工设备在工作状态下随着其自身整体或者局部的运动，由于各部分之间或者与周边其它物体如地面、传送带甚至是空间之间的摩擦或者碰撞等，都会发出大小、频率、持续时长不同的各种声音。在同一个或同一组工件的一个制造/加工处理周期中，有些声音与所述工件的制造/加工处理周期同步，固定在每一个周期中出现一次或多次；有些声音同样是周期性出现，但其与工件的制造/加工处理周期无关，而是所述机械设备本身的物理结构属性或电气属性所引起的；有些声音则是偶发性而非周期性出现，其有可能是所述机械设备的内部或者外部各种原因造成，例如所述机械设备零部件的老化甚至破裂造成，或者由于工件材料中存在杂质造成，或者由于所述机械设备的运作部件异常偏移所造性等。通过对这些周期性或非周期性的声音采集、处理和分析，
可以实现对所述机械设备的工作状态的监测，及时和精准地预知机械设备存在的潜在故障风险。
59.如前所述，机械设备在工作过程中由于不同的原因会发出各种各样的声音，这些声音混合在一起后，其声音特征的提取较为困难，且单纯依赖于所述音频采集设备所采集到的音频数据中提取到的声音特征，并不足以得到所述机械设备发出所述声音的原因，从而也难以据此对所述机械设备进行监测从而预知故障风险。在本发明的技术方案中，通过设置所述第一影像采集装置采集所述机械设备工作状态下整体或局部运动状态的第一影像数据，以及设置所述第二影像采集装置采集所述机械设备输出工件的第二影像数据，结合所述音频数据、所述第一影像数据以及所述第二影像数据，可以实现对所述机械设备的工作状态进行监测，及时发现异常情况，精准地预知机械设备存在的潜在故障风险。
60.在本发明的技术方案中，所述第一影像采集装置被安装于与所述机械设备相邻的一侧，其影像采集范围覆盖所述机械设备的整体或者局部的关键部件。所述第一影像采集装置可以为一个独立的影像采集装置或者多个影像采集装置的组合，例如，可以设置多个影像采集装置分别采集多个不同部件的影像数据。通过所述第一影像采集装置，可以获取到所述机械设备整体或者局部的震动状态、震动幅度或者运动路径等第一影像数据，从所述第一影像数据中可以分析得到所述机械设备整体或者局部的震动或者运动是否存在异常情况。
61.在本发明的技术方案中，在所述机械设备的工件出口位置安装第二影像采集装置以采集所述机械设备输出工件的第二影像数据，从而使得所述数据处理装置可以对制造系统中的各生产环节的工件输出情况特别是工件的外观情况进行监测。机械设备及其下料方式的不同，比如不同类型的数控机床，其工件出口是指其制造、加工完毕的工件的下料位置，例如对于采用传送带进行进料、出料的数控机床，所述影像采集装置可以安装在所述数控机床出料口的位置的传送带两侧；而对于如机械臂等采用夹取或者磁吸等方式下料的制造系统，所述第二影像采集装置可以安装在所述机械臂移动所述工件的初始位置或者目标位置。在本发明一些实施方式的技术方案中，所述第二影像采集装置可以为一个独立的影像采集装置或者多个影像采集装置的组合，例如，在本发明一些可能的实施方式中，在每个所述机械设备的工件出口位置布置三个或三个以上固定位置的影像采集装置，通过将所述三个或三个以上固定位置的影像采集装置所采集到的工件影像数据进行结合以获取所述工件的立体影像，采用该实施方式虽然布置成本更高，但其可以在更短时间以更高效率的方式获取所述工件的立体影像。在本发明一些可能的实施方式中，在每个所述机械设备的工件出口位置布置一个可小范围移动的影像采集装置，通过移动所述影像采集装置以获取所述工件的立体影像。在本发明一些可能的实施方式中，在每个所述机械设备的工件出口位置布置一个固定的影像采集装置，通过使用机械臂等夹取装置移动或旋转所述工件以使所述影像采集装置获取所述工件的立体影像。为了方便理解，在未另行说明的情况下，本发明后续提出的实施方式均以所述影像采集装置及所述工件均为固定位置的情况下采集工件影像数据进行举例，从而说明本发明在该场景下获取工件的外观特征后，采用这些数据对所述机械设备进行监测的技术方案，但并不意味着本发明的保护范围仅限于所述影像采集装置及所述工件均为固定位置的情况。本领域的技术人员通过移动所述影像采集装置或移动所述工件，或者通过设置围绕所述工件的多个影像采集装置可以获得所述工件的立体
影像。通过所述第二影像采集装置，可以获取到所述机械设备输出工件的外观特征包括形状、尺寸、纹理以及颜色等第二影像数据，从所述第二影像数据中可以分析得到所述机械设备的工件制造、加工过程是否存在异常情况。
62.在本发明的技术方案中，所述数据处理装置可以为通过互联网与所述制造系统连接的云服务器，或者安装于生产环境内的控制终端或者工作站等。在本发明的一些实施方式中，所述数据处理装置与控制装置连接，同样的，所述控制装置也可以为通过互联网与所述制造系统连接的云服务器，或者安装于生产环境内的控制终端或者工作站等，所述数据处理装置将对所述机械设备的监测结果发送至所述控制装置，通过所述控制装置控制所述机械设备以响应所述监测结果。在本发明的另一些实施方式中，所述数据处理装置可以直接与所述机械设备连接以控制所述机械设备。
63.在本发明提供的机械设备监测系统中，所述数据处理装置包括处理器和存储器，如图2所示，所述数据处理装置被配置为通过所述处理器运行存储于所述存储器上的程序以执行以下步骤：
64.s100：接收所述音频采集装置、所述第一影像采集装置和所述第二影像采集装置的所述音频数据、所述第一影像数据和所述第二影像数据；
65.s200：从所述第一影像数据中提取所述机械设备的运动特征；
66.s300：从所述第二影像数据中提取所述输出工件的外观特征；
67.s400：基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类；
68.s500：以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练；
69.s600：采用所述机械设备的声音模型对所述机械设备的声音进行监测。
70.本发明提出一种人工智能机械设备监测系统及监测方法，通过接收音频采集装置、第一影像采集装置和第二影像采集装置的机械设备工作状态下产生的音频数据、所述机械设备工作状态下整体或局部运动状态的第一影像数据和所述机械设备输出工件的第二影像数据，从所述第一影像数据中提取所述机械设备的运动特征，从所述第二影像数据中提取所述机械设备输出工件的外观特征，基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类，以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练，采用所述机械设备的声音模型对所述机械设备的声音进行监测，可以及时和精准地预知机械设备存在的潜在故障风险。
71.在上述机械设备监测系统中，在从所述第一影像数据中提取所述机械设备的运动特征的步骤之前，所述数据处理装置被配置为：
72.s110：以同一所述机械设备的一个或一组工件的生产周期为基础对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，并以生成时间为依据保存所述音频数据、所述第一影像数据和所述第二影像数据的关联关系。
73.有的机械设备一次只能制造、加工一个工件，有的机械设备可以同时制造、加工一组多个相同的工件，以一个或一组工件输出的最小周期为所述生产周期，对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，以获取每个所述生产周期中所述机械设备工作状态下产生的音频数据、整体或局部运动状态的第一影像数据以及所述机械设备输出工件的第二影像数据。以生成时间为依据保存所述音频数据、所述第一影像数据和所述
第二影像数据的关联关系，从而可以在所述第一影像数据、所述第二影像数据中分析得到所述机械设备的异常情况时，通过对应的影像生成时间得到对应时间的音频数据，使得所述机械设备的声音模型的训练样本数据更具有针对性。
74.如图3所示，在上述机械设备监测系统中，在从所述第一影像数据中提取所述机械设备的运动特征的步骤中，所述数据处理装置被配置为：
75.s210：从所述第一影像数据中识别所述机械设备或所述机械设备局部位置的本体。在本发明的一些实施方式中，所述第一影像采集装置采用固定位置以及固定视角的安装方式，其拍摄范围覆盖所述机械设备或所述机械设备局部位置在每个生产周期中的运动范围。通过对所述第一影像数据中的多帧图像进行边缘识别和对比，可以将环境图像与所述机械设备或所述机械设备局部位置的本体图像进行区分，从而将环境图像中所述第一影像数据中剔除以避免数据处理过程中带来干扰。
76.s220：获取所述机械设备或所述机械设备局部位置的本体相对于当前生产周期对应时间点的标准位置的偏移值。在步骤s210的处理过程中已经获得了所述机械设备或所述机械设备局部位置的本体的边缘图像，在所述第一影像采集装置采用固定位置以及固定视角的安装方式的情况下，通过对所述第一影像数据中所述机械设备或所述机械设备局部位置的本体的边缘图像与当前生产周期对应时间点的标准位置进行对比，可以得到相应的偏移值。对于在工作状态下静止不动(不包括工作状态下的震动情况)的所述机械设备或所述机械设备局部位置，其在生产周期内的标准位置不发生变化，通过所述第一影像采集装置获取其非工作状态下的影像数据即可计算得到所述机械设备的标准位置。对于在工作状态下需要主动产生移动的所述机械设备或所述机械设备局部位置，其每个生产周期的标准位置为一条周期性的运动路径，不同生产周期内对应时间点的标准位置相同。图4示出了本发明一个实施例下一个圆柱形的机械设备部件(所述机械设备局部位置)的运动路径和生产周期的对应关系，其中a点为所述圆柱形部件的中心点的运动路径起点位置，b点为所述圆柱形部件的中心点的运动路径最远点位置，ab两点间的实线为所述圆柱形部件的中心点的标准运动路径，所述标准运动路径上的每个点即为对应生产周期每个时间点的标准位置，箭头方向为所述中心点的运动方向。ab两点间的虚线为所述第一影像采集装置所获取到的所述圆柱形部件的中心点的在工作状态下的实际的运动路径。t0-》t1-》t2为一个完整的生产周期，其中t0为一个生产周期的开始时间点，t1为所述圆柱形部件运动到最远点位置b点开始复位的时间点，t2为一个生产周期的结束时间点。应当注意的是，图中的平滑曲线仅为示意，由于所述机械设备或所述机械设备局部位置在工作状态下的震动幅度和震动频率具备较大的随机性，其实际运动路径会更为复杂。
77.s230：基于所述偏移值得到当前生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线。在每一个完整的生产周期下，以时间为x值，以每个时间点对应的偏移值为y值可以拟合得到函数y(x)对应的曲线作为该生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线。
78.s240：从所述偏移曲线中提取所述机械设备的运动特征。具体的，对多个生产周期的所述偏移曲线进行对比和分析，确定所述多个偏移曲线中具有相似偏移特征的时间段，将该时间段内的偏移曲线提取为所述机械设备的运动特征。所述相似偏移特征包括偏移曲线的局部具有相近似的频率、峰谷值幅度等。继续参见图4，例如，经过对多个生产周期的所
述偏移曲线进行对比和分析，确定时间段(t3,t4)间的偏移曲线具有相同的偏移特征，则将时间段(t3,t4)间的偏移曲线提取为所述机械设备的运动特征。当所述机械设备出现异常，如部件老化或损伤等，而当这些异常情况在所述机械设备工作状态下的震动情况中能够反映出来时，则说明这些异常情况已经到了较为严重需要关注的程度。
79.在上述机械设备监测系统中，从所述第二影像数据中提取所述输出工件的外观特征的步骤中，所述数据处理装置被配置为：
80.s310：从所述第二影像数据中提取所述输出工件的整体或局部的形状、尺寸、纹理、颜色参数中的一个或多个作为所述输出工件的外观特征。所述输出工件的外观特征指的是当前输出工件的外观与标准输出工件的外观具有差异的特征，例如当前输出工件在形状或尺寸上与标准输出工件不同，或者当前输出工件上出现了标准输出工件上不具备的纹理如划痕等，或者出现了不同的表面粗糙度。同样的，当所述机械设备出现异常，如部件老化或损伤等，当这些异常情况在所述机械设备输出工件的外观特征中能够反映出来时，则说明这些异常情况已经到了较为严重需要关注的程度。
81.在上述机械设备监测系统中，在基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类的步骤中，所述数据处理装置被配置为：
82.s410：确定具有相似偏移特征的多个所述第一影像数据或者具有相似外观特征的多个所述第二影像数据，将多个所述第一影像数据或多个所述第二影像数据对应的多个所述音频数据划分为同一分类并生成对应的分类标签。以所述偏移特征或所述外观特征为基础对所述音频数据进行分类，从而以这些分类和所述音频数据作为训练样本对所述机械设备的声音模型进行训练。
83.如图5所示，在上述机械设备监测系统中，以所述音频数据和所述音频数据的分类信息作为训练样本数据对所述机械设备的声音模型进行训练的步骤中，所述数据处理装置被配置为：
84.s510：对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度以形成归一化音频样本数据；
85.s520：将所述归一化音频样本数据输入到预设的神经网络模型中进行训练；
86.s530：计算所述归一化音频样本数据的训练误差；
87.s540：当所述训练误差大于预设值时，调整所述神经网络模型中各层神经元间的连接权重并返回所述将所述归一化音频样本数据输入到预设的神经网络模型中进行训练的步骤。
88.由于采集环境差异以及音频裁剪算法的原因，分割后得到的每个生产周期的音频数据长度并不会完全一致，为了使后续训练过程能够采用统一的权重矩阵进行计算，需要对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度。在本发明一些实施例的技术方案中，可以以所述具有相同的偏移特征的时间段对应的音频数据作为训练样本。由于音频数据的特殊性，所述音频采集装置使用的采样率，或者通过所述处理装置对所述音频数据进行处理以降低采样率时，为了能够获得足够的声音特征，其采样率仍然需要高于一特定值，将所述音频数据转化为输入向量后，仍然是一个体量较为庞大的数据。使用完整生产周期的音频数据作为训练样本数据，对所述处理装置的配置和性能要求较高，而截取其中具有相同的偏移特征的时间段对应的音频数据作为训练样本，则
可以降低所述处理装置的配置和性能要求。
89.如图2所示，本发明的另一方面提出了一种人工智能机械设备监测方法，包括：
90.s100：接收音频采集装置、第一影像采集装置和第二影像采集装置的机械设备工作状态下产生的音频数据、所述机械设备工作状态下整体或局部运动状态的第一影像数据和所述机械设备输出工件的第二影像数据；
91.s200：从所述第一影像数据中提取所述机械设备的运动特征；
92.s300：从所述第二影像数据中提取所述机械设备输出工件的外观特征；
93.s400：基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类；
94.s500：以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练；
95.s600：采用所述机械设备的声音模型对所述机械设备的声音进行监测。
96.本发明提出一种人工智能机械设备监测系统及监测方法，通过接收音频采集装置、第一影像采集装置和第二影像采集装置的机械设备工作状态下产生的音频数据、所述机械设备工作状态下整体或局部运动状态的第一影像数据和所述机械设备输出工件的第二影像数据，从所述第一影像数据中提取所述机械设备的运动特征，从所述第二影像数据中提取所述机械设备输出工件的外观特征，基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类，以所述音频数据作为训练样本数据对所述机械设备的声音模型进行训练，采用所述机械设备的声音模型对所述机械设备的声音进行监测，可以及时和精准地预知机械设备存在的潜在故障风险。
97.在上述机械设备监测方法中，在从所述第一影像数据中提取所述机械设备的运动特征的步骤之前，还包括：
98.s110：以同一所述机械设备的一个或一组工件的生产周期为基础对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，并以生成时间为依据保存所述音频数据、所述第一影像数据和所述第二影像数据的关联关系。
99.有的机械设备一次只能制造、加工一个工件，有的机械设备可以同时制造、加工一组多个相同的工件，以一个或一组工件输出的最小周期为所述生产周期，对所述音频数据、所述第一影像数据和所述第二影像数据进行分割，以获取每个所述生产周期中所述机械设备工作状态下产生的音频数据、整体或局部运动状态的第一影像数据以及所述机械设备输出工件的第二影像数据。以生成时间为依据保存所述音频数据、所述第一影像数据和所述第二影像数据的关联关系，从而可以在所述第一影像数据、所述第二影像数据中分析得到所述机械设备的异常情况时，通过对应的影像生成时间得到对应时间的音频数据，使得所述机械设备的声音模型的训练样本数据更具有针对性。
100.如图3所示，在上述机械设备监测方法中，从所述第一影像数据中提取所述机械设备的运动特征的步骤具体包括：
101.s210：从所述第一影像数据中识别所述机械设备或所述机械设备局部位置的本体。在本发明的一些实施方式中，所述第一影像采集装置采用固定位置以及固定视角的安装方式，其拍摄范围覆盖所述机械设备或所述机械设备局部位置在每个生产周期中的运动范围。通过对所述第一影像数据中的多帧图像进行边缘识别和对比，可以将环境图像与所述机械设备或所述机械设备局部位置的本体图像进行区分，从而将环境图像中所述第一影
像数据中剔除以避免数据处理过程中带来干扰。
102.s220：获取所述机械设备或所述机械设备局部位置的本体相对于当前生产周期对应时间点的标准位置的偏移值。在步骤s210的处理过程中已经获得了所述机械设备或所述机械设备局部位置的本体的边缘图像，在所述第一影像采集装置采用固定位置以及固定视角的安装方式的情况下，通过对所述第一影像数据中所述机械设备或所述机械设备局部位置的本体的边缘图像与当前生产周期对应时间点的标准位置进行对比，可以得到相应的偏移值。对于在工作状态下静止不动(不包括工作状态下的震动情况)的所述机械设备或所述机械设备局部位置，其在生产周期内的标准位置不发生变化，通过所述第一影像采集装置获取其非工作状态下的影像数据即可计算得到所述机械设备的标准位置。对于在工作状态下需要主动产生移动的所述机械设备或所述机械设备局部位置，其每个生产周期的标准位置为一条周期性的运动路径，不同生产周期内对应时间点的标准位置相同。图4示出了本发明一个实施例下一个圆柱形的机械设备部件(所述机械设备局部位置)的运动路径和生产周期的对应关系，其中a点为所述圆柱形部件的中心点的运动路径起点位置，b点为所述圆柱形部件的中心点的运动路径最远点位置，ab两点间的实线为所述圆柱形部件的中心点的标准运动路径，所述标准运动路径上的每个点即为对应生产周期每个时间点的标准位置，箭头方向为所述中心点的运动方向。ab两点间的虚线为所述第一影像采集装置所获取到的所述圆柱形部件的中心点的在工作状态下的实际的运动路径。t0-》t1-》t2为一个完整的生产周期，其中t0为一个生产周期的开始时间点，t1为所述圆柱形部件运动到最远点位置b点开始复位的时间点，t2为一个生产周期的结束时间点。应当注意的是，图中的平滑曲线仅为示意，由于所述机械设备或所述机械设备局部位置在工作状态下的震动幅度和震动频率具备较大的随机性，其实际运动路径会更为复杂。
103.s230：基于所述偏移值得到当前生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线。在每一个完整的生产周期下，以时间为x值，以每个时间点对应的偏移值为y值可以拟合得到函数y(x)对应的曲线作为该生产周期下所述机械设备或所述机械设备局部位置的本体的偏移曲线。
104.s240：从所述偏移曲线中提取所述机械设备的运动特征。具体的，对多个生产周期的所述偏移曲线进行对比和分析，确定所述多个偏移曲线中具有相似偏移特征的时间段，将该时间段内的偏移曲线提取为所述机械设备的运动特征。所述相似偏移特征包括偏移曲线的局部具有相近似的频率、峰谷值幅度等。继续参见图4，例如，经过对多个生产周期的所述偏移曲线进行对比和分析，确定时间段(t3,t4)间的偏移曲线具有相同的偏移特征，则将时间段(t3,t4)间的偏移曲线提取为所述机械设备的运动特征。当所述机械设备出现异常，如部件老化或损伤等，而当这些异常情况在所述机械设备工作状态下的震动情况中能够反映出来时，则说明这些异常情况已经到了较为严重需要关注的程度。
105.在上述机械设备监测方法中，从所述第二影像数据中提取所述输出工件的外观特征的步骤具体包括：
106.s310：从所述第二影像数据中提取所述输出工件的整体或局部的形状、尺寸、纹理、颜色参数中的一个或多个作为所述输出工件的外观特征。所述输出工件的外观特征指的是当前输出工件的外观与标准输出工件的外观具有差异的特征，例如当前输出工件在形状或尺寸上与标准输出工件不同，或者当前输出工件上出现了标准输出工件上不具备的纹
理如划痕等，或者出现了不同的表面粗糙度。同样的，当所述机械设备出现异常，如部件老化或损伤等，当这些异常情况在所述机械设备输出工件的外观特征中能够反映出来时，则说明这些异常情况已经到了较为严重需要关注的程度。
107.在上述机械设备监测方法中，在基于所述机械设备的运动特征和/或所述输出工件的外观特征对所述音频数据进行分类的步骤中，所述数据处理装置被配置为：
108.s410：确定具有相似偏移特征的多个所述第一影像数据或者具有相似外观特征的多个所述第二影像数据，将多个所述第一影像数据或多个所述第二影像数据对应的多个所述音频数据划分为同一分类并生成对应的分类标签。以所述偏移特征或所述外观特征为基础对所述音频数据进行分类，从而以这些分类和所述音频数据作为训练样本对所述机械设备的声音模型进行训练。
109.如图5所示，在上述机械设备监测方法中，以所述音频数据和所述音频数据的分类信息作为训练样本数据对所述机械设备的声音模型进行训练的步骤具体包括：
110.s510：对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度以形成归一化音频样本数据；
111.s520：将所述归一化音频样本数据输入到预设的神经网络模型中进行训练；
112.s530：计算所述归一化音频样本数据的训练误差；
113.s540：当所述训练误差大于预设值时，调整所述神经网络模型中各层神经元间的连接权重并返回所述将所述归一化音频样本数据输入到预设的神经网络模型中进行训练的步骤。
114.由于采集环境差异以及音频裁剪算法的原因，分割后得到的每个生产周期的音频数据长度并不会完全一致，为了使后续训练过程能够采用统一的权重矩阵进行计算，需要对所述音频数据进行常数边缘值填充使得同一分类下的音频数据具有相同的数据长度。在本发明一些实施例的技术方案中，可以以所述具有相同的偏移特征的时间段对应的音频数据作为训练样本。由于音频数据的特殊性，所述音频采集装置使用的采样率，或者通过所述处理装置对所述音频数据进行处理以降低采样率时，为了能够获得足够的声音特征，其采样率仍然需要高于一特定值，将所述音频数据转化为输入向量后，仍然是一个体量较为庞大的数据。使用完整生产周期的音频数据作为训练样本数据，对所述处理装置的配置和性能要求较高，而截取其中具有相同的偏移特征的时间段对应的音频数据作为训练样本，则可以降低所述处理装置的配置和性能要求。
115.应当说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
116.依照本发明的实施例如上文所述，这些实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施例。显然，根据以上描述，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属
技术领域技术人员能很好地利用本发明以及在本发明基础上的修改使用。本发明仅受权利要求书及其全部范围和等效物的限制。