一种振动试验中驾驶室运动姿态检测方法及系统与流程

1.本发明涉及卡车试验领域，具体涉及一种振动试验中驾驶室运动姿态检测方法及系统。


背景技术：

2.卡车驾驶室振动试验是产品投产之前必须进行的试验，在试验过程中可能会出现悬置气囊漏气、支架断裂等失效模式，此类比较严重的失效模式往往会使驾驶室姿态发生异常(如倾斜、晃动量变大等)，因此在振动试验过程中需要试验人员及时的发现并进行点检，以保护试验零件、工作人员、设备的安全。
3.卡车驾驶室振动试验因试验过程中存在零件异常或者失效会导致驾驶室姿态异常，目前采用人工值守的方式进行检查，但存在以下问题：(1)微小的姿态异常人眼无法识别，无法第一时间进行处理；(2)值守人员无法时时刻刻进行观测与检核，无法实时识别故障。以上两个问题导致试验过程中无法第一时间识别故障、保护零件，且试验过程中存在安全风险(驾驶室掉落等)，无法保证值守人员的安全。


技术实现要素：

4.针对现有技术中存在的缺陷，本发明的目的在于提供一种振动试验中驾驶室运动姿态检测方法及系统，能够有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
5.为达到以上目的，本发明提供的一种振动试验中驾驶室运动姿态检测方法，具体包括以下步骤：
6.获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；
7.基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
8.将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
9.实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
10.在上述技术方案的基础上，
11.所述神经网络模型基于mask rcnn算法实现；
12.所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
13.在上述技术方案的基础上，所述基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
14.基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。
15.在上述技术方案的基础上，所述将得到的驾驶室图像的驾驶室轮廓构成轮廓集
合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
16.基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；
17.根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。
18.在上述技术方案的基础上，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
19.在上述技术方案的基础上，所述实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
20.实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
21.若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
22.若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
23.本发明提供的一种振动试验中驾驶室运动姿态检测系统，包括：
24.上位机，所述上位机用于获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，以及驱使神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，以及将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
25.图像采集器，所述图像采集器用于实时采集振动试验中的驾驶室图像，并将实时采集的振动试验中的驾驶室图像发送至上位机；
26.所述上位机还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
27.在上述技术方案的基础上，
28.所述上位机包括算法模块和应用程序模块；
29.所述算法模块包括神经网络模型，所述神经网络模型用以对正常振动试验下的驾驶室图像和振动试验中实时采集的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
30.所述应用程序模块将正常振动试验下驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，所述应用程序模块还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
31.在上述技术方案的基础上，
32.所述神经网络模型基于mask rcnn算法实现；
33.所述神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
34.在上述技术方案的基础上，
35.还包括报警器；
36.所述报警器用于当实时采集的驾驶室图像的驾驶室轮廓不位于包络线内时进行报警。
37.与现有技术相比，本发明的优点在于：通过获取多张正常振动试验下的驾驶室图
像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例中一种振动试验中驾驶室运动姿态检测方法的流程图；
40.图2为本发明实施例中一种振动试验中驾驶室运动姿态检测系统的结构示意图。
具体实施方式
41.本发明实施例提供一种振动试验中驾驶室运动姿态检测方法，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。本发明实施例相应地还提供了一种振动试验中驾驶室运动姿态检测系统。
42.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。
43.参见图1所示，本发明实施例提供的一种振动试验中驾驶室运动姿态检测方法，具体包括以下步骤：
44.s1：获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；即在历史振动试验中，获取多张驾驶室姿态正常情况下的驾驶室图像，然后将获取的驾驶室图像发送至神经网络模型，由神经网络模型进行驾驶室轮廓提取，以便为后续的驾驶室姿态是否正常提供基准。
45.本发明实施例中，神经网络模型基于mask rcnn算法(一种实例分割算法)实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像，即将多张已进行驾驶室轮廓标注的驾驶室图像作为训练集对神经网络模型进行训练，使得神经网络模型具有识别驾驶室轮廓的能力。
46.在实际的训练过程中，通过使用400+张已标注的图片对神经网络的参数进行迭代；通过增加神经网络中rpn(regions of proposal，感兴趣区域)层iou(交并比)至大于
0.9，提升神经网络模型对单一大尺寸物理的识别精度达到97.1％以上。
47.s2：基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
48.本发明实施例中，基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
49.基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。采集的正常振动试验下的驾驶室图像为多张，通过神经网络模型对每张驾驶室图像均进行识别，每张驾驶室图像均得到驾驶室轮廓，从而得到多个驾驶室轮廓。
50.s3：将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
51.本发明实施例中，将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
52.s301：基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；每个驾驶室轮廓为轮廓集合的一个子集。
53.s302：根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。生成的包络线为一个轮廓线范围，振动试验中，正常情况下的驾驶室姿态的轮廓均位于包络线内。
54.s4：实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
55.本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
56.本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
57.实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
58.若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
59.若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
60.在实际的振动试验过程中，对于驾驶室图像的实际采集会持续进行，即每间隔设定时间采集得到一张驾驶室图像，通过神经网络模型对该驾驶室图像进行识别得到驾驶室轮廓，然后判断驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常，并进行报警处理。
61.本发明实施例的振动试验中驾驶室运动姿态检测方法，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
62.在一种可能的实施方式中，本发明实施例还提供一种可读存储介质，可读存储介质位于plc(programmable logic controller，可编程逻辑控制器)控制器中，可读存储介质上存储有计算机程序，该程序被处理器执行时实现以下所述振动试验中驾驶室运动姿态检测方法的步骤：
63.获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型；即在历史振动试验中，获取多张驾驶室姿态正常情况下的驾驶室图像，然后将获取的驾驶室图像发送至神经网络模型，由神经网络模型进行驾驶室轮廓提取，以便为后续的驾驶室姿态是否正常提供基准。
64.基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；
65.将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；
66.实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。
67.本发明实施例中，神经网络模型基于mask rcnn算法实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像，即将多张已进行驾驶室轮廓标注的驾驶室图像作为训练集对神经网络模型进行训练，使得神经网络模型具有识别驾驶室轮廓的能力。
68.本发明实施例中，基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，具体步骤包括：
69.基于神经网络模型对每张驾驶室图像均进行识别，得到每张驾驶室图像中的驾驶室轮廓。
70.本发明实施例中，将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，具体步骤包括：
71.基于得到的每张驾驶室图像中的驾驶室轮廓，组成轮廓集合；
72.根据轮廓集合生成轮廓的包络线，且每张驾驶室图像中的驾驶室轮廓均位于包络线内。
73.本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，其中，实时采集的驾驶室图像的驾驶室轮廓由神经网络模型识别得到。
74.本发明实施例中，实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，具体步骤包括：
75.实时采集振动试验中的驾驶室图像，然后根据实时采集的驾驶室图像的驾驶室轮廓：
76.若实时采集的驾驶室图像的驾驶室轮廓位于包络线内，则驾驶室姿态正常；
77.若实时采集的驾驶室图像的驾驶室轮廓不位于包络线内，则驾驶室姿态不正常。
78.通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
79.存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机
可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
80.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
81.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
82.参见图2所示，本发明实施例提供的一种振动试验中驾驶室运动姿态检测系统，包括上位机和图像采集器。
83.上位机用于获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，以及驱使神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，以及将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线；图像采集器用于实时采集振动试验中的驾驶室图像，并将实时采集的振动试验中的驾驶室图像发送至上位机；上位机还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。上位机具体为x86计算机。
84.具体的，图像采集器为摄像头，其布置于台架后方，从而实现对振动试验中驾驶室图像的采集。
85.上位机包括算法模块和应用程序模块；算法模块包括神经网络模型，所述神经网络模型用以对正常振动试验下的驾驶室图像和振动试验中实时采集的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓；应用程序模块将正常振动试验下驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，所述应用程序模块还用于根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常。神经网络模型基于mask rcnn算法实现；神经网络模型的训练集为多张已进行驾驶室轮廓标注的驾驶室图像。
86.具体的，本发明实施例的振动试验中驾驶室运动姿态检测系统还包括网络通信系统，网络通信系统包括交换机和路由器，网络通信系统用于实现上位机和图像采集器之间
的通讯。在振动试验过程中，上位机通过网络通信系统控制图像采集器采集驾驶室图像，采集的间隔时间可调，且为自动采集。
87.本发明实施例的振动试验中驾驶室运动姿态检测系统还包括报警器，报警器用于当实时采集的驾驶室图像的驾驶室轮廓不位于包络线内时进行报警。即当图像采集器采集得到驾驶室图像后，将采集的驾驶室图像发送至上位机，上位机对图像采集器发送的驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后上位机判断得到的驾驶室轮廓是否位于包络线内，若位于包络线内，则表明驾驶室姿态正常，若不位于包络线内，则表明驾驶室姿态异常，则报警器进行报警。
88.本发明的振动试验中驾驶室运动姿态检测系统，包括上位机、图像采集器、网络通信系统和报警器，上位机采用x86计算机，其上部署有算法模块和应用程序模块，通过图像采集器采集驾驶室图像，然后发送至上位机，然后自动实时判断驾驶室姿态是否存在问题，并在姿态存在问题时报警。
89.本发明实施例的振动试验中驾驶室运动姿态检测系统，通过获取多张正常振动试验下的驾驶室图像，并将获取的驾驶室图像输至神经网络模型，然后基于神经网络模型对驾驶室图像进行识别，得到驾驶室图像中的驾驶室轮廓，然后将得到的驾驶室图像的驾驶室轮廓构成轮廓集合，并根据轮廓集合生成轮廓的包络线，然后实时采集振动试验中的驾驶室图像，根据实时采集的驾驶室图像的驾驶室轮廓是否位于包络线内以判断驾驶室姿态是否正常，通过采集驾驶室图像，并结合神经网络模型实现对驾驶室姿态的自动实时识别，有效保证驾驶室姿态识别的准确性和及时性，并保证振动试验中工作人员和设备的安全。
90.以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
91.本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。