基于粒子图像测速的嵌入式图像采集与处理系统及方法与流程

本发明属于图像采集与处理系统领域，更具体地，涉及一种基于粒子图像测速的嵌入式图像采集与处理系统及方法。

背景技术：

在高速流场的研究中，粒子图像测速作为一种测试手段，具有高精度、瞬态、无接触、全场测量等特点，被广泛运用于高速流场的测量。一般的粒子图像测速系统，由粒子生成与投射系统、激光照明系统、图像采集系统和粒子图像处理系统组成，在粒子图像处理系统中，多采用pc进行图像处理算法。由于超高速流场的速度随时间不断变化的特性，pc在处理流场图像上，速度不够快，也无法实现实时处理与控制，且高性能的pc机携带起来并不方便，无法适用于多种检测场合。

目前在粒子图像测速的图像处理中，多采用光流法与互相关算法。互相关算法基本原理是通过计算相邻图像对的对应位置处的两个微小图像区域(查询窗口)的互相关函数，通过对互相关结果的分析，得到图像查询窗口中各粒子的平均位移，因为相邻两幅图片的时间间隔已知，可以求出粒子的实际速度矢量，该互相关算法利用fft(快速傅里叶变换)，匹配时由于选定的模板，可能导致精度不够高的问题；此外，在目前粒子图像测速中的图像采集系统上所使用的相机曝光时间固定，而针对于高速流场的测量，需要帧率很高的相机，成本较高，对于速度实时变化的流场，固定曝光时间会影响流场测量的准确度。

基于上述缺陷和不足，本领域亟需对现有的粒子图像测速处理系统及图像处理方法做出进一步的改进，以获得检测方便、检测精度高、准确度高的粒子图像测速处理系统及处理方法。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种图像采集与处理系统及方法，其中结合粒子图像采集特点，相应设计了基于粒子图像测速的嵌入式图像采集与处理系统及方法，其通过改进的算法与硬件平台结合，提高了互相关峰值检测的准确度，提高了流场速度测量的精度，并将通过图像采集时间间隔控制相机的曝光，有效地解决了高速非定常流场，速度测量不准确的问题。

为实现上述目的，按照本发明的一个方面，提出了一种基于粒子图像测速的嵌入式图像采集与处理系统，其特征在于，包括分光相机和嵌入式图像采集处理模块，其中：

该分光相机包括依次设置的镜头、滤光片、半反射棱镜和两个ccd相机，该分光相机通过所述半反射棱镜调节光路，将一束光分成两路供所述ccd相机使用，所述ccd相机分时曝光采集粒子图像，并将采集的粒子图像传送至所述嵌入式图像采集处理模块中；

该嵌入式图像采集处理模块包括图像预处理子模块和图像采集时间预测子模块，其中，所述图像预处理子模块用于完成所述粒子图像的预处理，并将预处理后的粒子图像发送至所述图像采集时间预测子模块中；所述图像采集时间预测子模块用于进行基于fft的改进的互相关算法计算所述预处理后的粒子图像当前时刻的速度场，并对下一时刻的速度场进行预测，然后计算出预测速度场下的图像采集时间间隔，并将时间间隔信号发送至所述分光相机中以实现所述两个ccd相机曝光时间间隔的控制。

作为进一步优选的，所述基于fft的改进的互相关算法计算所述预处理后的粒子图像当前时刻的速度场具体为：分别对当前时刻和下一时刻采集的粒子图像的查询窗口进行快速傅里叶变换，得到两个查询窗口的频域函数，并计算当前时刻查询窗口频域函数与下一时刻查询窗口频域函数的共轭的乘积；采用零填充矩阵的方式对该乘积做2倍上采样，再进行傅里叶反变换，得到互相关峰值位置(x0,y0)，并获得窗口峰值位置再以该窗口峰值位置为中心获取当前时刻和下一时刻采集的粒子图像中的1.5×1.5邻域内的像素窗口m；分别对当前时刻和下一时刻两幅图像中的像素窗口m求傅里叶变换，得到两个窗口m的频域函数，并计算当前时刻窗口m的频域函数和下一时刻窗口m的频域函数的共轭的乘积；采用零填充的方式对该乘积做k倍上采样，再进行傅里叶反变换，得到互相关峰值位置(x1,y1)；根据所述(x0,y0)与(x1,y1)求得精定位位置：根据所述精定位位置求得当前时刻速度场。

作为进一步优选的，所述图像预处理子模块具体为fpga芯片，所述图像采集时间预测子模块具体为dsp芯片；所述ccd相机通过cameralink接口将图像传送到嵌入式图像采集处理模块中，实现最高5.4gbps的传输速率；所述嵌入式图像采集处理模块通过gpio接口实现对分光相机的控制。

作为进一步优选的，所述fpga芯片和dsp芯片通过srio接口实现高速通信，具体的，实现最高4路5gbps的传输速率。

作为进一步优选的，通过以太网接口利用以太网协议将图像采集处理模块的计算结果发送到pc；所述预处理为高斯滤波或中值滤波。

按照本发明的另一方面，提供了一种基于粒子图像测速的嵌入式图像采集与处理方法，其特征在于，包括如下步骤：

(1)利用分光相机中的两个ccd相机分时曝光采集粒子图像，并将采集的粒子图像传送至嵌入式图像采集处理模块中；

(2)利用图像预处理子模块完成所述粒子图像的预处理，并将预处理后的粒子图像发送至图像采集时间预测子模块，该图像采集时间预测子模块用于进行基于fft的改进的互相关算法计算所述预处理后的粒子图像当前时刻的速度场，并对下一时刻的速度场进行预测计算，然后计算出预测速度场下的图像采集时间间隔，并将时间间隔信号发送至所述分光相机中以实现所述两个ccd相机的曝光时间间隔的控制。

作为进一步优选的，所述基于fft的改进的互相关算法计算所述预处理后的粒子图像当前时刻的速度场具体为：分别对当前时刻和下一时刻采集的粒子图像的查询窗口进行快速傅里叶变换，得到两个查询窗口的频域函数，并计算当前时刻查询窗口频域函数与下一时刻查询窗口频域函数的共轭的乘积；采用零填充矩阵的方式对该乘积做2倍上采样，再进行傅里叶反变换，得到互相关峰值位置(x0,y0)，并获得窗口峰值位置再以该窗口峰值位置为中心获取当前时刻和下一时刻采集的粒子图像中的1.5×1.5邻域内的像素窗口m；分别对当前时刻和下一时刻两幅图像中的像素窗口m求傅里叶变换，得到两个窗口m的频域函数，并计算当前时刻窗口m的频域函数和下一时刻窗口m的频域函数的共轭的乘积；采用零填充的方式对该乘积做k倍上采样，再进行傅里叶反变换，得到互相关峰值(x1,y1)；根据所述(x0,y0)与(x1,y1)求得精定位位置：根据所述精定位位置求得当前时刻速度场。

作为进一步优选的，所述图像预处理子模块具体为fpga芯片，所述图像采集时间预测子模块具体为dsp芯片；所述分光相机包括依次设置的镜头、滤光片、半反射棱镜和两个ccd相机，该分光相机通过所述半反射棱镜调节光路，将一束光分成两路供所述ccd相机使用。

作为进一步优选的，所述ccd相机通过cameralink接口将图像传送到嵌入式图像采集处理模块中，实现最高5.4gbps的传输速率；所述嵌入式图像采集处理模块通过gpio接口实现对分光相机的控制；所述fpga芯片和dsp芯片通过srio接口实现高速通信，具体的，实现最高4路5gbps的传输速率。

作为进一步优选的，通过以太网接口利用以太网协议将图像采集处理模块的计算结果发送到pc；所述预处理为高斯滤波或中值滤波。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，主要具备以下的技术优点：

1.本发明的互相关算法是基于fft改进的互相关算法，提高了互相关峰值检测的准确度，提高了流场速度测量的精度，加快了算法处理时间，并且针对于粒子图像测速的非定常流场，将计算出的采集两幅图像的间隔时间反馈给相机，控制相机曝光，以形成闭环控制，采用闭环的时间间隔反馈控制，不断修正图像采集时间间隔，提高粒子流场测速的准确性，有效地解决了高速非定常流场，速度测量不准确的问题。

2.本发明利用fpga并行处理的能力，快速处理简单算法，利用dsp开发复杂算法的灵活性与实时性，实现更高精度的互相关算法；嵌入式的图像采集处理板卡系统体积小，性能高，便于携带，适合各种场合的粒子流场测速。

附图说明

图1是本发明的基于粒子图像测速的嵌入式图像采集与处理系统的结构示意图；

图2是本发明的分光相机结构示意图；

图3是本发明的流场算法流程图；

图4是本发明的系统工作流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明实施例提供的一种基于粒子图像测速的嵌入式图像采集与处理系统，其包括分光相机和嵌入式图像采集处理模块，其中，如图2所示，分光相机包括依次设置的镜头、滤光片、半反射棱镜和两个ccd相机，该分光相机通过半反射棱镜调节光路，将一束光分成两路供ccd相机使用，两个ccd相机光路的长度相等，该ccd相机分时曝光采集粒子图像，并将采集的粒子图像传送至嵌入式图像采集处理模块中；嵌入式图像采集处理模块包括图像预处理子模块和图像采集时间预测子模块，图像预处理子模块具体为fpga(现场可编程门阵列)芯片，图像采集时间预测子模块具体为dsp(数字信号处理器)芯片，其中fpga芯片用于完成粒子图像的预处理，并将预处理后的粒子图像发送至dsp芯片，dsp芯片用于完成基于fft的改进的互相关算法与速度预测计算，具体的，dsp芯片用于进行基于fft的改进的互相关算法计算速度场，并对速度场进行预测计算，然后计算出预测速度场下的图像采集时间间隔，并将时间间隔信号发送至分光相机中以实现两个ccd相机的曝光时间间隔的控制。

进一步的，fpga芯片采用赛灵思(xilinx)公司的型号6vlx240tff1156(v6)的处理器，用于实现图像预处理算法，fpga接收到图像以后，如果图像过大，就存到fpga使用的ddr3中，之后对图像进行预处理操作，比如去除噪声的高斯滤波，中值滤波等，fpga良好的并行处理计算功能可以极大地缩短预处理算法的时间；dsp采用德州仪器(ti)公司型号为tms320c6678(c6678)的处理器，该dsp为8核处理器，单核能达到1.25ghz的主频，能够灵活有效地处理复杂算法，并且操作具有实时性。

更为具体的，嵌入式图像采集处理模块还可以包括两个cameralink接口、serialrapidio(srio)接口、以太网接口、gpio(通用输入/输出)接口、时钟模块、电源模块与存储模块，上述这些部件均安装在机械外壳内。其中，cameralink接口用于接收ccd相机拍摄的图像，最高可实现5.4gbps传输速率；srio接口用于fpga和dsp的高速通信，基于srio协议，最高能够实现4路5gbps的传输速率；以太网接口用于通过以太网协议将图像处理模块的计算结果即粒子图像的速度分布发送到pc；gpio接口用于实现嵌入式图像采集处理模块计算出流场结果后对分光相机进行反馈控制；时钟模块用于为整个板卡提供稳定的时钟，保证各器件正常工作；电源模块用于给不同的器件电路分配不同的电压，为整个板卡提供稳定的电源；存储模块由2块1gb的ddr3和两块64mb的flash组成，分别用于fpga与dsp的存储访问。本实施例中，以太网口为通用千兆以太网口，以太网控制芯片为88e1111；时钟模块主要由晶振以及cdce62005芯片组成。

具体的，图像采集处理板卡可以配置有jtag(联合测试工作组)接口，jtag接口用于用户把算法程序烧写到fpga与dsp以实现算法流场与控制功能，便于用户在fpga与dsp中对图像预处理算法以及粒子图像测速算法和流场速度预测算法进行二次开发，方便维护。本实施例中，所选的jtag为通用10pinjtag接口。

作为本发明的优选实施例，基于fft的改进的互相关算法计算速度场，如图3所示，具体为：分别对相邻时刻t1,t2采集的粒子图像中的互相关查询窗口进行离散傅里叶变换，计算其互相关函数；采用零填充矩阵的方式做2倍上采样，再进行傅里叶反变换，得到互相关峰值的位置(x0,y0)；由于进行了2倍上采样，则实际互相关位置的初步位移为x0/2,y0/2；再以位置为中心获取1.5×1.5邻域内的像素窗口m，分别对相邻时刻两幅图像中的该像素窗口m求傅里叶变换，得到两个频域函数，计算当前时刻窗口m的频域函数和后一时刻窗口m的频域函数的共轭的乘积，采用零填充的方式对该乘积做k倍上采样，再进行傅里叶反变换，得到互相关峰值x1,y1，即峰值位置为(x1,y1)；根据(x0,y0)与(x1,y1)求得精定位峰值位置：计算出互相关峰值最大位置就可以求得一幅图片的速度矢量场分布图，具体的求出精定位峰值位置之后，峰值位置表明互相关系数最大，即查询窗口位移到了这里，由于相邻的两幅粒子图像时间间隔是已知的，根据位移除以时间等于速度，从而得到速度。对两幅粒子图像的相互对应的所有查询窗口进行互相关运算，即可得到整幅图像的速度场。

具体的，基于fft的改进的互相关算法主要包括以下步骤：

(1)对相邻时刻采集的两幅粒子图像的互相关查询窗口进行二维快速傅里叶变换(2d-fft)，并求互相关函数，其中t1时刻粒子图像中的查询窗口图像灰度函数为f(x,y)，窗口尺寸为m×m，t2时刻粒子图像中的查询窗口图像灰度函数为g(x,y)，窗口尺寸为m×m，m的大小一般取16，32或者64。

对窗口尺寸为m×m的函数f(x,y)(x,y代表空间域中的坐标)进行dft变换，可以得到其变换函数为f(u,v)：

其中：u、v是频域的坐标，j为虚数单位。

对函数f(u,v)进行dft反变换，可以得到其变换函数为f(x,y)：

对于t1时刻粒子图像中的查询窗口图像灰度函数f(x,y)和对于t2时刻粒子图像中的查询窗口图像灰度函数g(x,y)之间的互相关函数rfg(x,y)为：

其中，m和n为待求参数，令f(u,v)和g(u,v)分别是f(x,y)和g(x,y)的傅里叶变换，则：

由上式可知互相关函数rfg(x,y)为f(u,v)g*(u,v)反傅里叶变换，*表示复数共轭；

(2)采用零填充的方法对f(u,v)g*(u,v)进行2倍上采样，对上采样的互相关函数进行傅里叶反变换，检测傅里叶反变换后的互相关函数的峰值，得到(x0,y0)，然后获得窗口峰值位置

(3)进一步精定位，以(2)中峰值位置为基准获取1.5×1.5邻域内的像素窗口矩阵m，m在两幅图像中的函数分别为f'(x,y)和g'(x,y)，对f'(x,y)和g'(x,y)求傅里叶变换，得到两个频域函数f'(u,v)和g'(u,v)，

g*'(u,v)为g'(u,v)的共轭，计算当前时刻窗口m的频域函数f'(u,v)和后一时刻窗口m的频域函数的共轭g*'(u,v)的乘积f'(u,v)g*'(u,v)，采用零填充的方式对f'(u,v)g*'(u,v)做k倍上采样，再进行傅里叶反变换，得到互相关峰值(x1,y1)。

(4)根据峰值位置(x0,y0)，(x1,y1)计算得出查询窗口1和查询窗口2的峰值位置x，y为：

通过该步骤进行互相关算法，能够提高峰值检测精确度，在dsp上实现计算速度大幅提升，为粒子图像测速带来有益效果。

下面对采用本发明的嵌入式图像采集与处理系统进行图像采集与处理的具体过程进行详细描述，包括如下步骤：

(1)利用分光相机中的两个ccd相机分时曝光采集粒子图像，并将采集的粒子图像传送至嵌入式图像采集处理模块中；

(2)利用fpga芯片完成所述粒子图像的预处理，并将预处理后的粒子图像发送至dsp芯片，该dsp芯片用于进行基于fft的改进的互相关算法计算速度场，并对速度场进行预测计算，然后计算出预测速度场下的图像采集时间间隔，并将时间间隔信号发送至所述分光相机中以实现所述两个ccd相机的曝光时间间隔的控制。

具体的，如图4所示，分光相机中两个独立的ccd相机通过cameralink接口将采集的图像传输给fpga；fpga接收到图像以后，如果图像过大，就存到fpga使用的ddr3中，之后对图像进行预处理操作，比如去除噪声的高斯滤波，中值滤波等；图像预处理之后，fpga通过srio将图像传输到dsp的ddr3中，srio最大可支持20gbps的传输速率；dsp对它的ddr3访问并取出图像，进行基于fft的改进的互相关算法操作，计算出互相关峰值最大位置，就可以求得一幅图片的速度矢量场分布图；计算出图像速度场后，dsp通过卡尔曼滤波算法预测下一时刻的速度场，根据预测的速度场可找出速度标量最大值vw，由piv速度标量的最大值不能超过1/4查询窗口m的边长像素数量的原理计算出下一时刻两幅图像所需要的图像采集时间间隔xw/vw，其中xw＝1/4×窗口m的边长，例如窗口m的尺寸为16×16，则xw＝1/4×16＝4；然后将计算获得的时间间隔通过图像采集处理模块上的gpio接口反馈给分光相机，并控制两个ccd相机的分时曝光，使曝光时间间隔尽最大可能等于预测出的图像采集间隔时间，以此完成闭环控制。此外，dsp进行图像速度场的计算以及图像速度场和采集时间间隔的预测都可以通过图像采集处理板卡的以太网接口传送到pc，便于人机交互。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。