基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统与流程

本发明涉及薄壁件振动测量技术领域，特别是涉及一种基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统。

背景技术：

薄壁件以其具有质量轻、结构紧凑与承载能力强等诸多优点，已被广泛应用于工程领域。同时，薄壁件还具有相对刚度低、强度弱和尺寸大等特点，容易引起噪声、失稳等问题，设备在运行过程中甚至可能造成严重机械故障，从而引发重大安全事故，需高效准确地进行薄壁件振动测量来实现实时监控。而常规振动测量方法往往采用加速度计传感器、陀螺仪传感器和压电陶瓷传感器等接触式测量，这些方法均采用传感器，增加了结构的质量，产生负载效应改变了薄壁件原有动态性能，同时还存在空间分辨率低、传感器安装困难等问题。

技术实现要素：

针对现有技术存在的问题，本发明的目的是提供一种基于双目视觉光流跟踪的薄壁件振动测量方法及系统，该方法在进行薄壁件振动测量的同时，不产生负载效应，操作简单，测量精度高。

为实现上述目的，本发明提供了如下方案：

一种基于双目视觉光流跟踪的薄壁件全向振动测量方法，包括：

获取第一薄壁件振动视频数据和第二薄壁件振动视频数据；所述第一薄壁件振动视频数据是通过第一相机拍摄薄壁件振动得到的，所述第二薄壁件振动视频数据是通过第二相机拍摄薄壁件振动得到的；其中，所述第一相机和所述第二相机拍摄的薄壁件为同一薄壁件；

对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点以及在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标；

采用光流跟踪算法，确定所述待测振动特征点对应的第一像素坐标集合；所述第一像素坐标集合为在所述第一薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第一像素坐标组成的集合；

将所述第二薄壁件振动视频数据的第一帧图片与所述第一薄壁件振动视频数据的第一帧图片进行特征匹配，确定在所述第二薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第二像素坐标；

采用光流跟踪算法，确定所述待测振动特征点对应的第二像素坐标集合；所述第二像素坐标集合为在所述第二薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第二像素坐标组成的集合；

根据像素坐标与世界坐标转换公式，确定每个所述第一像素坐标对应的第一直线和每个所述第二像素坐标对应的第二直线；

根据所述第一直线和所述第二直线，计算每帧图片对应的第一直线与第二直线的公垂线段，并将所述公垂线段的中点坐标确定为所述待测振动特征点对应的空间点三维坐标；其中，每帧图片对应的第一直线与第二直线均为异面直线；

根据每个所述空间点三维坐标，计算薄壁件在每帧时间内的振动位移；所述振动位移包括振动距离和振动方向。

可选的，在对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测之前，所述薄壁件全向振动测量方法还包括：

对所述第一薄壁件振动视频数据和所述第二薄壁件振动视频数据进行预处理；其中，预处理的算法包括图像增强法和滤波去噪法。

可选的，当所述第一相机为左相机时，所述第二相机为右相机；当所述第一相机为右相机时，所述第二相机为左相机。

可选的，所述对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点以及在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标，具体包括：

采用哈里斯角点检测算法，对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点；

根据所述待测振动特征点，确定在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标。

可选的，所述采用光流跟踪算法，确定所述待测振动特征点对应的第一像素坐标集合，具体包括：

从第二帧图片开始，选取所述第一薄壁件振动视频数据中的前一帧图片和当前帧图片并计算灰度变化值；

根据所述灰度变化值，确定当前帧图片上所述待测振动特征点对应的第一像素坐标；

重复上述步骤，直至当前帧图片为所述第一薄壁件振动视频数据的最后一帧图片，并将确定的所有所述第一像素坐标存储到第一像素坐标集合内。

可选的，所述根据像素坐标与世界坐标转换公式，确定每个所述第一像素坐标对应的第一直线和每个所述第二像素坐标对应的第二直线，具体包括：

所述第一直线的表达式为：

其中，(xi,yi,zi)表示待测振动特征点在第i帧图片上的空间三维坐标，(ui1,vi1)表示待测振动特征点在第i帧图片上对应的第一像素坐标；表示第一相机的参数矩阵；

所述第二直线的表达式为：

其中，(xi,yi,zi)表示待测振动特征点在第i帧图片上的空间三维坐标，(ui2,vi2)表示待测振动特征点在第i帧图片上对应的第二像素坐标；表示第二相机的参数矩阵。

可选的，所述根据每个所述空间点三维坐标，计算薄壁件在每帧时间内的振动位移，具体包括：

根据公式计算薄壁件在第i+1帧时间内的振动距离；

其中，(xi+1,yi+1,zi+1)表示第i+1帧时间内待测振动特征点对应的空间三维坐标；(xi,yi,zi)表示第i帧时间内待测振动特征点对应的空间三维坐标；di+1表示薄壁件在第i+1帧时间内的振动距离；

在第i+1帧时间内，薄壁件振动位移在各坐标轴方向上的振动投影距离为(δxi+1,δyi+1,δzi+1)，计算公式为

在第i+1帧时间内，薄壁件振动位移与各个坐标轴的夹角为计算公式

一种基于双目视觉光流跟踪的薄壁件全向振动测量系统，包括：

视频数据获取模块，用于获取第一薄壁件振动视频数据和第二薄壁件振动视频数据；所述第一薄壁件振动视频数据是通过第一相机拍摄薄壁件振动得到的，所述第二薄壁件振动视频数据是通过第二相机拍摄薄壁件振动得到的；其中，所述第一相机和所述第二相机拍摄的薄壁件为同一薄壁件；

待测振动特征点确定模块，用于对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点以及在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标；

第一像素坐标集合确定模块，用于采用光流跟踪算法，确定所述待测振动特征点对应的第一像素坐标集合；所述第一像素坐标集合为在所述第一薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第一像素坐标组成的集合；

特征匹配模块，用于将所述第二薄壁件振动视频数据的第一帧图片与所述第一薄壁件振动视频数据的第一帧图片进行特征匹配，确定在所述第二薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第二像素坐标；

第二像素坐标集合确定模块，用于采用光流跟踪算法，确定所述待测振动特征点对应的第二像素坐标集合；所述第二像素坐标集合为在所述第二薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第二像素坐标组成的集合；

第一直线和第二直线确定模块，用于根据像素坐标与世界坐标转换公式，确定每个所述第一像素坐标对应的第一直线和每个所述第二像素坐标对应的第二直线；

空间点三维坐标计算模块，用于根据所述第一直线和所述第二直线，计算每帧图片对应的第一直线与第二直线的公垂线段，并将所述公垂线段的中点坐标确定为所述待测振动特征点对应的空间点三维坐标；其中，每帧图片对应的第一直线与第二直线均为异面直线；

薄壁件振动位移计算模块，用于根据每个所述空间点三维坐标，计算薄壁件在每帧时间内的振动位移；所述振动位移包括振动距离和振动方向。

可选的，所述薄壁件全向振动测量系统还包括：

预处理模块，用于对所述第一薄壁件振动视频数据和所述第二薄壁件振动视频数据进行预处理；其中，预处理的算法包括图像增强法和滤波去噪法。

可选的，所述待测振动特征点确定模块，具体包括：

待测振动特征点确定单元，用于采用哈里斯角点检测算法，对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点；

第一像素坐标确定单元，用于根据所述待测振动特征点，确定在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种基于双目视觉光流跟踪的薄壁件全向振动测量方法及系统，实时获取双目相机中特征点振动的像素坐标，将异面直线之间公垂线段的中点坐标作为特征点三维坐标，降低测量过程中噪声影响，测量精度高。

另外，相机可以安装在工作恶劣环境下，能够有效实时监控薄壁件的振动位移，操作简单，实用性高，耐用性强，且相机不与薄壁件接触，不会产生负载效应。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例基于双目视觉光流跟踪的薄壁件全向振动测量方法的流程示意图；

图2为本发明实施例待测振动特征点进行光流跟踪算法的流程示意图；

图3为本发明实施例基于双目视觉光流跟踪的薄壁件全向振动测量系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本实施例提供的一种基于双目视觉光流跟踪的薄壁件全向振动测量方法，包括：

步骤101：获取第一薄壁件振动视频数据和第二薄壁件振动视频数据；第一薄壁件振动视频数据是通过第一相机拍摄薄壁件振动得到的，第二薄壁件振动视频数据是通过第二相机拍摄薄壁件振动得到的；其中，第一相机和第二相机拍摄的薄壁件为同一薄壁件。

步骤102：对第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点以及在第一薄壁件振动视频数据的第一帧图片上待测振动特征点对应的第一像素坐标。

步骤103：采用光流跟踪算法，确定待测振动特征点对应的第一像素坐标集合；第一像素坐标集合为在第一薄壁件振动视频数据的第二帧图片到最后一帧图片上待测振动特征点对应的第一像素坐标组成的集合。

步骤104：将第二薄壁件振动视频数据的第一帧图片与第一薄壁件振动视频数据的第一帧图片进行特征匹配，确定在第二薄壁件振动视频数据的第一帧图片上待测振动特征点对应的第二像素坐标。

步骤105：采用光流跟踪算法，确定待测振动特征点对应的第二像素坐标集合；第二像素坐标集合为在第二薄壁件振动视频数据的第二帧图片到最后一帧图片上待测振动特征点对应的第二像素坐标组成的集合；

步骤106：根据像素坐标与世界坐标转换公式，确定每个第一像素坐标对应的第一直线和每个第二像素坐标对应的第二直线。

步骤107：根据第一直线和第二直线，计算每帧图片对应的第一直线与第二直线的公垂线段，并将公垂线段的中点坐标确定为待测振动特征点对应的空间点三维坐标；其中，每帧图片对应的第一直线与第二直线均为异面直线。

步骤108：根据每个空间点三维坐标，计算薄壁件在每帧时间内的振动位移；该振动位移包括振动距离和振动方向。

本发明的原理为：利用两个相机拍摄薄壁件振动，取两个相机的第一帧图片，对其中一个相机第一帧图片进行特征检测，另外一个相机第一帧图片进行对应匹配，选取待测的特征点，分别通过光流跟踪算法获得第二帧到最后一帧图片上特征点像素坐标，结合双目视觉中异面直线最近距离原理，获得公垂线段的中点坐标，并将该中点坐标确定为待测特征点在该拍摄该帧图片时对应三维空间坐标，最后计算出在每帧时间内的薄壁件振动的距离和方向。

在执行步骤101之前，还需要对第一薄壁件振动视频数据和第二薄壁件振动视频数据进行预处理；其中，预处理的算法包括图像增强法和滤波去噪法。

左右相机光流跟踪的前后顺序没有要求，也可以先进行右相机拍摄的第一帧图片的特征检测，即当第一相机为左相机时，第二相机为右相机；当第一相机为右相机时，第二相机为左相机。

步骤102具体包括：

采用哈里斯角点检测算法(harris角点检测算法)，对第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点。

根据待测振动特征点，确定在第一薄壁件振动视频数据的第一帧图片上待测振动特征点对应的第一像素坐标。

如图2所示，采用光流跟踪算法，确定待测振动特征点对应的第一像素坐标集合，具体包括：

步骤201：从第二帧图片开始，选取第一薄壁件振动视频数据中的前一帧图片和当前帧图片并计算灰度变化值。

步骤202：根据灰度变化值，确定当前帧图片上待测振动特征点对应的第一像素坐标。

步骤203：判断当前帧图片是否为第一薄壁件振动视频数据的最后一帧图片，若是执行步骤204，若否则返回步骤201，直至当前帧图片为第一薄壁件振动视频数据的最后一帧图片。

步骤204：退出循环，结束光流跟踪，并将确定的所有第一像素坐标存储到第一像素坐标集合内。

步骤106具体包括：

空间点p的三维坐标为p(xw,yw,zw)，其像素坐标与世界坐标转换公式为：

左右相机的像素点分别为pl(u1,v1)和pr(u2,v2)，为内参矩阵，为左相机坐标系到右相机坐标系的旋转平移矩阵。

上述公式可写为

接着，左相机中的像素坐标与世界坐标转换公式可化简为：

上面两个式子从数学在上相当于是左相机确定的两个平面方程，相交于世界坐标系里一条直线。

上面两个式子从数学上相当于是右相机确定的两个平面方程，相交于世界坐标系里一条直线。

空间点p是两个相机中确定两条直线相交的点。由于存在噪声影响以及标定误差，也就是说，这两条光路直线是异面直线，在本发明中，可以将异面直线的公垂线段的中点坐标作为实际空间点三维坐标。

基于以上原理，在本实施例中，根据像素坐标与世界坐标转换公式，确定每个第一像素坐标对应的第一直线和每个第二像素坐标对应的第二直线。

其中，所述第一直线的表达式为：

(xi,yi,zi)表示待测振动特征点在第i帧图片上的空间三维坐标，(ui1,vi1)表示待测振动特征点在第i帧图片上对应的第一像素坐标；表示第一相机的参数矩阵。

所述第二直线的表达式为：

(xi,yi,zi)表示待测振动特征点在第i帧图片上的空间三维坐标，(ui2,vi2)表示待测振动特征点在第i帧图片上对应的第二像素坐标；表示第二相机的参数矩阵。

本实施例中是根据第一直线和第二直线，计算每帧图片对应的第一直线与第二直线的公垂线段，进而将公垂线段的中点坐标确定为待测振动特征点对应的空间点三维坐标。此计算过程虽然精度很高，但是计算比较复杂。为了简便计算，同时保证一定的精准度，基于以上原理，本实施例提供了采用迭代循环计算方法，计算异面直线间最近距离||m1m2||，近似相当于异面直线间的公垂线段，并将最近距离||m1m2||的中点坐标为待测振动特征点的空间三维坐标，提高计算精度，减小误差。具体包括：

输入左右相机拍摄图片上待测振动特征点对应的像素坐标；

利用待测振动特征点对应的像素坐标，构建目标函数；该目标函数为异面直线间距离长度||m1m2||函数；

输入异面直线上的点的位置坐标，计算异面直线间距离长度||m1m2||

通过一定的阈值ε来确定三维坐标计算精度；

如果||m1m2||≤ε，则取距离长度||m1m2||对应的中点坐标为待测振动特征点的空间实际位坐标置，估计薄壁件上待测振动特征点对应的三维坐标为拍摄该帧图片时对应的空间实际位置；

如果||m1m2||＞ε，则重新输入异面直线上的点的位置坐标，返回计算异面直线间距离长度的步骤，直至满足条件为止。

其中，ε为预设的异面直线间距离长度的阈值，设置合理的ε可以一定程度上提高计算精度。

步骤108具体包括：

根据公式计算薄壁件在第i+1帧时间内的振动距离。

其中，(xi+1,yi+1,zi+1)表示第i+1帧时间内待测振动特征点对应的空间三维坐标；(xi,yi,zi)表示第i帧时间内待测振动特征点对应的空间三维坐标；di+1表示薄壁件在第i+1帧时间内的振动距离。

在第i+1帧时间内，薄壁件振动位移在各坐标轴方向上的振动投影距离为(δxi+1,δyi+1,δzi+1)，计算公式为

在第i+1帧时间内，薄壁件振动位移与各个坐标轴的夹角为计算公式

为实现上述目的，本实施例还提供了一种基于双目视觉光流跟踪的薄壁件全向振动测量系统。

如图3所示，一种基于双目视觉光流跟踪的薄壁件全向振动测量系统，包括：

视频数据获取模块100，用于获取第一薄壁件振动视频数据和第二薄壁件振动视频数据；所述第一薄壁件振动视频数据是通过第一相机拍摄薄壁件振动得到的，所述第二薄壁件振动视频数据是通过第二相机拍摄薄壁件振动得到的；其中，所述第一相机和所述第二相机拍摄的薄壁件为同一薄壁件。

待测振动特征点确定模块200，用于对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点以及在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标。

第一像素坐标集合确定模块300，用于采用光流跟踪算法，确定所述待测振动特征点对应的第一像素坐标集合；所述第一像素坐标集合为在所述第一薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第一像素坐标组成的集合。

特征匹配模块400，用于将所述第二薄壁件振动视频数据的第一帧图片与所述第一薄壁件振动视频数据的第一帧图片进行特征匹配，确定在所述第二薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第二像素坐标。

第二像素坐标集合确定模块500，用于采用光流跟踪算法，确定所述待测振动特征点对应的第二像素坐标集合；所述第二像素坐标集合为在所述第二薄壁件振动视频数据的第二帧图片到最后一帧图片上所述待测振动特征点对应的第二像素坐标组成的集合。

第一直线和第二直线确定模块600，用于根据像素坐标与世界坐标转换公式，确定每个所述第一像素坐标对应的第一直线和每个所述第二像素坐标对应的第二直线。

空间点三维坐标计算模块700，用于根据所述第一直线和所述第二直线，计算每帧图片对应的第一直线与第二直线的公垂线段，并将所述公垂线段的中点坐标确定为所述待测振动特征点对应的空间点三维坐标；其中，每帧图片对应的第一直线与第二直线均为异面直线。

薄壁件振动位移计算模块800，用于根据每个所述空间点三维坐标，计算薄壁件在每帧时间内的振动位移；所述振动位移包括振动距离和振动方向。

所述薄壁件全向振动测量系统还包括：

预处理模块，用于对所述第一薄壁件振动视频数据和所述第二薄壁件振动视频数据进行预处理；其中，预处理的算法包括图像增强法和滤波去噪法。

所述待测振动特征点确定模块200，具体包括：

待测振动特征点确定单元，用于采用哈里斯角点检测算法，对所述第一薄壁件振动视频数据的第一帧图片进行特征点检测，确定待测振动特征点。

第一像素坐标确定单元，用于根据所述待测振动特征点，确定在所述第一薄壁件振动视频数据的第一帧图片上所述待测振动特征点对应的第一像素坐标。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。