一种基于卷积神经网络的低质量粒子速度场图像修正方法

1.本发明涉及粒子图像测速的技术领域，特别涉及一种基于卷积神经网络 的低质量粒子速度场图像修正方法。


背景技术：

2.粒子图像测速(particle image velocimetry,piv)技术是基于计算机图像处 理和流动显示的一项无干扰、非接触式流场测试技术，目前piv技术已经被 广泛用于流体力学、空气动力学以及生命科学等领域，且新的应用领域仍在 不断扩展，成为现代流体测量的重要方法。然而，由于采集粒子图像过程不 可避免地受到不均匀光照、颗粒飞溅、视野盲区等不利因素影响，所获取的 粒子图像会模糊不清、目标难以辨识，造成测量盲区，从而影响颗粒速度场 分布的准确性，给科研实验人员带来难以避免的误差干扰。目前的piv技术 只能用于非剧烈运动的、高质量颗粒流场图像的速度分布测量。因此，在此 类低质量图像中修正粒子速度场尤为重要。
3.随着人工智能技术的发展，基于深度学习的粒子图像分析技术是新的研究 领域，设计用于粒子图像测速的深度学习技术具有广泛的应用前景和研究价 值。卷积神经网络是深度学习的关键技术，利用卷积神经网络可以从大量训 练数据中有效获取复杂非线性的映射模型，从而较为理想地实现对被干扰粒 子产生的低质量速度场图像的修正，为解决在较大面积遮挡或模糊的低质量 粒子速度场图像测量问题成为可能。目前，神经网络在低质量图像中多用于 图像增强、低质量文本、指纹、人脸识别和医疗图像分析处理等方面，而应 用于粒子被干扰情况下的低质量速度场图像的测量和修正较为少见。
4.由于采集粒子图像过程不可避免地受到不均匀光照、颗粒飞溅、视野盲区 等不利因素影响，所获取的粒子图像会模糊不清、目标难以辨识，造成测量 盲区，从而影响颗粒速度场分布的准确性，给科研实验人员带来难以避免的 误差干扰。目前的piv技术只能用于非剧烈运动的、高质量颗粒流场图像的 速度分布测量。


技术实现要素：

5.针对现有技术中存在的不足之处，本发明的目的是提供一种基于卷积神经 网络的低质量粒子速度场图像修正方法，有效解决了piv测量技术中的低质 量粒子速度场图像修正问题和在遮挡限制情况下的粒子速度场测量问题。为 了实现根据本发明的上述目的和其他优点，提供了一种基于卷积神经网络的 低质量粒子速度场图像修正方法，包括以下步骤：
6.s1、获取粒子图像；
7.s2、对图像遮挡处理，并用piv计算；
8.s3、通过步骤s2计算得到微观的速度矢量；
9.s4、将得到的数据集作为网络输入；
10.进行步骤s1
‑
s4同时进行如下的步骤：
11.s5、定义流场域；
12.s6、进行无遮挡处理且用piv计算；
13.s7、计算得到准确的粒子速度场的s
label
；
14.s8、通过步骤s7作为网络训练的标签；
15.s9、通过步骤s1
‑
s4与s5
‑
s8搭建网络且建立训练模型；
16.s10、进行网络模型应用。
17.优选的，所述步骤s5中定义全域颗粒的速度场集合为s，未被遮挡的颗 粒的速度场集合为s1，被遮挡的颗粒的速度场集合为s2，s为s1和s2的叠 加。
18.优选的，所述步骤s3包括对连续帧的图像进行时间标记t1,t2,...,tn，每一 张图像的时间间隔为δt，用piv技术对图像处理，获得每两帧的一个速度场 s，速度场s包含两帧图像中的每一个颗粒m的速度矢量其中分解为x 轴方向和y轴方向上的速度分量v
x
和v
y
，则有微观速度矢量 19.优选的，还包括对全域速度场s和与s对应的连续两帧图像做遮挡处理， 得到只剩下未被遮挡的颗粒的速度场s1和与s1对应的连续两帧图像i1，i2。
20.优选的，所述步骤s6包括选取步骤s1中获得的无遮挡的、清晰的粒子 图像，用piv技术处理得到准确的粒子速度场集合s
label
，把s
label
作为神经 网络训练时的标签；并将由步骤3获得的连续两帧图像i1，i2作为卷积神经 网络训练时的输入。
21.优选的，所述步骤s9包括搭建卷积神经网络，设置网络训练的目标函数， 采用上述的数据集对所述的卷积神经网络进行训练，从而得到训练好的卷积 神经网络模型。
22.优选的，还包括以下步骤：
23.s91、获取网络模型s
label
＝f(i1，i2)，i1，i2表示连续两帧二维图像，s
label
表示为输入图像之间准确的全域速度矢量场集合，f表示深度神经网络的映 射函数关系；
24.s92、设置网络训练的目标函数：该目标函数为输出的速度场与标签速度 场的误差，按以下公式进行：
25.l＝∑λ
i
e
i
26.其中，i代表不同层级，e为每一层输出的速度场与标签速度场的误差，λ 是每一层误差的权重；
27.s93、采用自适应动量优化算法训练参数，从而得到可用于粒子图像测速 的卷积神经网络模型。
28.优选的，所述步骤10包括将获取的图像中包含但不限于颗粒飞溅等因素 遮挡其他粒子而产生的测量盲区进行标记处理为s1和与之对应的连续两帧 图像i1，i2，将i1，i2输入到训练好的卷积神经网络模型中，用训练好的模 型计算/预测被遮挡的粒子速度场s2，再把s1与s2叠加，输出被修正的全域 速度场s。
29.本发明与现有技术相比，其有益效果是：解决了实验过程中包含但不限 于颗粒飞溅等因素遮挡其他粒子而产生的测量盲区的低质量粒子速度场图像 分布问题，提高了低质量粒子图像在盲区测速的准确性，完善了piv速度场 测量技术。通过卷积神经网络训练部分，二使网络模型应用部分。网络模型 是采用卷积神经网络，通过训练参数得到卷积神经网络模型，其输入是两幅 图像，输出是被修正的全域速度场。应用本发明，可以提高低质
量粒子图像 测速的准确性，同时能完善piv速度场测量技术。
附图说明
30.图1为根据本发明的基于卷积神经网络的低质量粒子速度场图像修正方 法的原理框图；
31.图2为根据本发明的基于卷积神经网络的低质量粒子速度场图像修正方 法的图像采集装置结构示意图；
32.图3为根据本发明的基于卷积神经网络的低质量粒子速度场图像修正方 法的全域速度场s产生过程示意图；
33.图4为根据本发明的基于卷积神经网络的低质量粒子速度场图像修正方 法的速度场修正过程示意图；
34.图5为根据本发明的基于卷积神经网络的低质量粒子速度场图像修正方 法的卷积神经网络的输入与输出结果图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.参照图1
‑
5，一种基于卷积神经网络的低质量粒子速度场图像修正方法， 包括以下步骤：s1、获取粒子图像；
37.s2、对图像遮挡处理，并用piv计算；
38.s3、通过步骤s2计算得到微观的速度矢量；
39.s4、将得到的数据集作为网络输入；
40.进行步骤s1
‑
s4同时进行如下的步骤：
41.s5、定义流场域；
42.s6、进行无遮挡处理且用piv计算；
43.s7、计算得到准确的粒子速度场的s
label
；
44.s8、通过步骤s7作为网络训练的标签；
45.s9、通过步骤s1
‑
s4与s5
‑
s8搭建网络且建立训练模型；
46.s10、进行网络模型应用。
47.进一步的，所述步骤s5中定义全域颗粒的速度场集合为s，未被遮挡的 颗粒的速度场集合为s1，被遮挡的颗粒的速度场集合为s2，s为s1和s2的 叠加。
48.进一步的，所述步骤s3包括对连续帧的图像进行时间标记t1,t2,...,tn，每 一张图像的时间间隔为δt，用piv技术对图像处理，获得每两帧的一个速度 场s，速度场s包含两帧图像中的每一个颗粒m的速度矢量其中分解为 x轴方向和y轴方向上的速度分量v
x
和v
y
，则有微观速度矢量 49.进一步的，还包括对全域速度场s和与s对应的连续两帧图像做遮挡处 理，得到只
剩下未被遮挡的颗粒的速度场s1和与s1对应的连续两帧图像i1， i2。
50.进一步的，所述步骤s6包括选取步骤s1中获得的无遮挡的、清晰的粒 子图像，用piv技术处理得到准确的粒子速度场集合s
label
，把s
label
作为神 经网络训练时的标签；并将由步骤3获得的连续两帧图像i1，i2作为卷积神 经网络训练时的输入。
51.进一步的，所述步骤s9包括搭建卷积神经网络，设置网络训练的目标函 数，采用上述的数据集对所述的卷积神经网络进行训练，从而得到训练好的 卷积神经网络模型。
52.进一步的，还包括以下步骤：
53.s91、获取网络模型s
label
＝f(i1，i2)，i1，i2表示连续两帧二维图像，s
label
表示为输入图像之间准确的全域速度矢量场集合，f表示深度神经网络的映 射函数关系；
54.s92、设置网络训练的目标函数：该目标函数为输出的速度场与标签速度 场的误差，按以下公式进行：
55.l＝∑λ
i
e
i
56.其中，i代表不同层级，e为每一层输出的速度场与标签速度场的误差，λ 是每一层误差的权重；
57.s93、采用自适应动量优化算法训练参数，从而得到可用于粒子图像测速 的卷积神经网络模型。
58.进一步的，所述步骤10包括将获取的图像中包含但不限于颗粒飞溅等因 素遮挡其他粒子而产生的测量盲区进行标记处理为s1和与之对应的连续两 帧图像i1，i2，将i1，i2输入到训练好的卷积神经网络模型中，用训练好的 模型计算/预测被遮挡的粒子速度场s2，再把s1与s2叠加，输出被修正的全 域速度场s。
59.实验中采集粒子图像，选取无颗粒遮挡的图像进行无遮挡和遮挡处理， 分别用piv技术进行计算其粒子速度场s
label
和s1，将上述速度场分别作为 标签和输入用于神经网络的训练，得到训练好的卷积神经网络模型，将颗粒 飞溅而造成遮挡的具有干扰因素的低质量粒子图像输入到训练好的卷积神经 网络模型中，从而输出被修正的粒子速度场s。
60.实施例1
61.1)获取粒子图像，对颗粒进行实验包括但不限于斜面颗粒崩塌实验、小 球冲击颗粒层实验时，如图2，由高速摄像机采集崩塌、冲击的过程图像(图 像中包含可能的飞溅颗粒等因素造成的测量盲区，降低了粒子速度场图像的 质量)；
62.2)定义全域颗粒的速度场集合为s(全为已知/可准确计算的速度场)， 未被遮挡的颗粒的速度场集合为s1，被遮挡的颗粒的速度场集合为s2，s为 s1和s2的叠加，具有如下关系：
63.s＝s1+s2
64.其中，如图3所示，第一图为速度场s1，4处云状为被遮挡区域， 第二张图为被遮挡区域的速度场s2，第三张图为s1和s2叠加后的 全域速度场s；
65.3)对连续帧的图像进行时间标记t1,t2,...,tn，每一张图像的时间间隔为δt， 用piv技术对图像处理，获得每两帧的一个速度场s，速度场s包含两帧图 像中的每一个颗粒m的速度矢量其中分解为x轴方向和y轴方向上的速 度分量v
x
和v
y
，则有微观速度矢量对全域速度场s和与s 对应的连续两帧图像做遮挡处理，得到只剩
下未被遮挡的颗粒的速度场s1和 与s1对应的连续两帧图像i1，i2；
66.4)选取步骤1中获得的无遮挡的、清晰的粒子图像，用piv技术处理得 到准确的粒子速度场集合s
label
，把s
label
作为神经网络训练时的标签；并将由 步骤3获得的连续两帧图像i1，i2作为卷积神经网络训练时的输入；
67.5)搭建卷积神经网络，设置网络训练的目标函数，采用上述的数据集对 所述的卷积神经网络进行训练，从而得到训练好的卷积神经网络模型，其中，
68.(5.1)获取网络模型s
label
＝f(i1，i2)，i1，i2表示连续两帧二维图像，s
label
表示为输入图像之间准确的全域速度矢量场集合，f表示深度神经网络的映 射函数关系；
69.本实例采用的卷积神经网络具有全卷积神经网络结构，即输出的粒子图 像速度场的尺寸与输入图像尺寸相同；
70.(5.2)设置网络训练的目标函数：该目标函数为输出的速度场与标签速度 场的误差，按以下公式进行：
71.l＝∑λ
i
e
i
72.其中，i代表不同层级，e为每一层输出的速度场与标签速度场的误差，λ 是每一层误差的权重；
73.(5.3)本实施例用步骤4产生的piv数据集，采用自适应动量优化算法训 练参数，从而得到可用于粒子图像测速的卷积神经网络模型。
74.6)将获取的图像中包含但不限于颗粒飞溅等因素遮挡其他粒子而产生的 测量盲区进行标记处理为s1和与之对应的连续两帧图像i1，i2；
75.7)将i1，i2输入到训练好的卷积神经网络模型中，用训练好的模型计算/ 预测被遮挡的粒子速度场s2，再把s1与s2叠加，输出被修正的全域速度场 s；
76.本实施例如图4所示，(a)，(b)，(c)分别是t1，t2，t3时刻的粒子图像， 其中，t2时刻粒子图中云状为遮挡的测速盲区，直接用piv计算得到的粒子 速度矢量方向为m1粒子从t1到t3的直线方向，(d)是修正后的粒子速度场。
77.实例：试验采用图2所示装置采集粒子图像，电磁铁吸合钢珠静止在拍 摄平面的正上方高度h＝50cm处，钢珠直径3.0cm，断电后钢珠由静止开始 自由落体运动，对流体区域的粒子层撞击，粒子层厚度为1.2cm，粒子直径 在0.8mm
‑
1.0mm之间，粒子被撞击后发生运动，高速相机以586帧/秒的帧 频拍摄粒子图像。图像采集后选取清晰的粒子图做无遮挡和遮挡处理，每帧 图像的时间间隔t＝1.7065ms，用piv技术进行计算得到其粒子速度场s
label
和 s1，将速度场s
label
和s1分别作为标签和网络输入训练神经网络，调整并优 化参数后得到符合本试验的卷积神经网络模型；神经网络模型训练好后，如 图5所示，i1和i2分别是连续拍摄的两张粒子图像，时间间隔t＝1.7065ms， i1和i2中存在许多由于撞击而飞溅的颗粒，给图像中被测粒子造成测量盲区 或粒子模糊，将之输入到训练好的卷积神经网络模型中，最后得到被修正的 全域的速度场s。
78.这里说明的设备数量和处理规模是用来简化本发明的说明的，对本发明 的应用、修改和变化对本领域的技术人员来说是显而易见的。
79.尽管本发明的实施方案已公开如上，但其并不仅限于说明书和实施方式 中所列运用，它完全可以被适用于各种适合本发明的领域，对于熟悉本领域 的人员而言，可容易地实现另外的修改，因此在不背离权利要求及等同范围 所限定的一般概念下，本发明并不
限于特定的细节和这里示出与描述的图例。