一种基于计算机视觉的材料几何特征参数提取方法

1.本发明涉及机械工程领域，具体为一种基于计算机视觉的材料几何特征参数提取方法。


背景技术：

2.机织复合材料因其优异的力学性能而在许多行业中得到广泛应用。针对这类材料，国内外学者皆建立了诸多方法用于宏、细观数值模拟。对于细观数值模拟而言，有必要建立高精度的细观有限元模型，即从ct图像中获取材料组分真实的几何参数。
3.常用的方法是人为使用光学显微镜对ct图像中材料组分结构进行测定。该方法受限于测定人选取的测定标准，不同的测定人在测定同一物体时会存在些许误差。而且，从经济效益的角度考虑，该方法的测定样本通常较小，置信度会有所欠缺。


技术实现要素：

4.本发明的目的在于提供一种基于计算机视觉的材料几何特征参数提取方法，可实现从ct图像中快速精确地识别并分割出纱线横截面区域；可提高测定的样本量，减少人为机械性操作，提高置信度；可通用于任何机织复合材料细观组分结构测定，适用性更强。
5.为达到上述目的，根据本发明的一个方面，本发明提供如下技术方案：
6.一种基于计算机视觉的材料几何特征参数提取方法，包括以下步骤：
7.1)提取每张机织复合材料ct图像中比例尺两端的像素点坐标，计算纬向ct和经向ct的尺寸缩放系数；
8.2)截取每张ct图像中的材料主体结构区域；
9.3)将材料主体结构区域裁剪出规定尺寸的组分图像；
10.4)搭建以hrnet为骨干网络的ocrnet图像语义分割神经网络；
11.5)使用组分图像建立神经网络的训练集，并训练神经网络；
12.6)使用神经网络对需要识别材料ct图像中材料主体结构进行纱线横截面分割；
13.7)对分割后的纱线横截面进行轮廓识别和拟合，并提取轮廓的几何特征参数；
14.8)将提取的几何特征参数乘以缩放系数，得到材料内部结构的真实参数。
15.本发明进一步设置为，所述步骤1)提取机织复合材料ct图像中比例尺两端的像素点坐标，计算纬向ct和经向ct的尺寸缩放系数，具体为，
16.调用python和opencv库，分别选取每张机织复合材料ct图中比例尺的左右端点，使用图像处理算法提取左右端点的像素点坐标，并利用横坐标差值计算纬向ct和经向ct的尺寸缩放系数。
17.本发明进一步设置为，所述步骤2)截取ct图像中的材料主体结构区域，具体为，
18.调用python和opencv库，分别选取每张ct图中材料主体结构区域的两个斜对顶点，提取两点的坐标，并利用两点的坐标生成矩形的裁剪区域，截取每张ct图中的材料主体结构区域。
19.本发明进一步设置为，所述步骤3)将材料主体结构区域裁剪出规定尺寸的组分图像，具体为，
20.调用python和opencv库，读取材料主体结构区域图像的宽度尺寸，并以所述宽度尺寸作为正方形裁剪区域的边长，从图像中包含一个完整结构周期的区域内等间距裁取多张正方形组分图像，并将多张所述组分图像等比例缩放。
21.本发明进一步设置为，所述步骤4)搭建以hrnet为骨干网络的ocrnet图像语义分割神经网络，具体为，
22.构建包含粗分割分支和细分割分支的ocrnet网络框架，且ocrnet网络框架的骨干网络采用保持高分辨率特征的hrnet。
23.本发明进一步设置为，所述步骤5)使用组分图像建立神经网络的训练集，并训练神经网络，具体为，
24.使用软件labelme，描出各组分图像中所有纱线横截面的外轮廓，生成带标签的灰度图，以生成带标签的各灰度图建立神经网络的训练集，并从训练集中选取设定比例的图像进行缩放和水平旋转变换，实现数据增强，将数据增强后的训练集交予神经网络训练，获得输出图像。
25.本发明进一步设置为，所述步骤6)使用神经网络对需要识别材料ct图像中材料主体结构进行纱线横截面分割，具体为，
26.将需要识别的材料ct图像输入神经网络，由神经网络对纱线轮廓进行分割。
27.本发明进一步设置为，所述步骤7)对分割后的纱线横截面进行轮廓识别和拟合，并提取轮廓的几何特征参数，具体为，
28.调用python和opencv库，对神经网络输出图像依次进行二值化、中值滤波平滑、边界识别和边界最小外接矩形拟合的操作，并提取该轮廓的几何特征参数。
29.本发明进一步设置为，所述几何特征参数包括重心坐标、最小外接矩形的长宽尺寸和面积。
30.本发明进一步设置为，所述步骤8)将提取的几何特征参数乘以缩放系数，得到材料内部结构的真实参数，具体为，
31.将经向ct和纬向ct提取的几何特征参数，乘以对应方向上的缩放系数，即可得到真实尺寸值。
32.与现有技术相比，本发明具有的有益之处是：1、可实现从ct图像中快速精确地识别并分割出纱线横截面区域；2、可提高测定的样本量，减少人为机械性操作，提高置信度；3、可通用于任何机织复合材料细观组分结构测定，适用性更强。
附图说明
33.图1为本发明步骤流程图；
34.图2为缩放系数提取图；
35.图3为材料主体结构区域截取图；
36.图4为ocrnet结构示意图；
37.图5为hrnet结构示意图；
38.图6为训练集制作示意图；
39.图7为神经网络分割结果图；
40.图8为几何特征参数提取流程图。
具体实施方式
41.下面结合说明书附图，对本发明作进一步的说明。
42.本发明提供了一种基于计算机视觉的材料几何特征参数提取方法，可实现从ct图像中快速精确地识别并分割出纱线横截面区域；可提高测定的样本量，减少人为机械性操作，提高置信度；可通用于任何机织复合材料细观组分结构测定，适用性更强，如图1所示，本发明专利的具体步骤包括，
43.1)提取每张机织复合材料ct图像中比例尺两端的像素点坐标，计算纬向ct和经向ct的尺寸缩放系数，具体为，
44.调用python和opencv库，如图2所示，选取每张机织复合材料ct图中比例尺的左右端点，用event函数中的cv2.event_lbuttondown识别鼠标左键单击动作，用cv2.circle函数对单机点位进行标记，用append函数将点位坐标记录到points数组中，并利用横坐标差值计算纬向ct和经向ct的尺寸缩放系数，缩放系数计算公式为：
[0045][0046]
式中，α为缩放系数，d为比例尺实际长度，x
l
为左端点横坐标，xr为右端点横坐标。
[0047]
2)截取每张ct图像中的材料主体结构区域，具体为，
[0048]
调用python和opencv库，分别选取ct图中材料主体结构区域的两个斜对顶点，用event函数中的cv2.event_lbuttondown识别鼠标左键单击动作，用cv2.circle函数对单机点位进行标记，用append函数将点位坐标记录到points数组中。如图3所示，鼠标分别单击ct图中材料主体结构区域的左上顶点和右下顶点，使用图像处理算法提取两点的坐标，并利用两点的坐标生成矩形的裁剪区域，批量截取所有ct图中的材料主体结构区域。
[0049]
3)将材料主体结构区域裁剪出规定尺寸的组分图像，具体为，
[0050]
调用python和opencv库，用img.shape函数读取材料主体结构区域图像的宽度尺寸，并保存在img数组中，并以所述宽度尺寸作为正方形裁剪区域的边长，用image函数从图像中包含一个完整结构周期的区域内等间距裁取多张正方形组分图像，并用cv2.resize函数将所述组分图像等比例缩放至512
×
512像素。
[0051]
4)搭建以hrnet为骨干网络的ocrnet图像语义分割神经网络，具体为，
[0052]
构建如图4所示包含粗分割分支和细分割分支的ocrnet网络框架，且如图5所示，ocrnet网络框架的骨干网络采用保持高分辨率特征的hrnet。
[0053]
5)使用组分图像建立神经网络的训练集，并训练神经网络，具体为，
[0054]
使用软件labelme，描出各组分图像中所有纱线横截面的外轮廓，生成带标签的灰度图，以生成带标签的各灰度图建立神经网络的训练集，如图6所示，并从训练集中选取20％比例的图像进行缩放，缩放比例：0.8～1.2，以及进行水平旋转变换，从而实现数据增强，将数据增强后的训练集交予神经网络训练，训练循环次数设置为20000次，获得输出图像。
[0055]
6)将需要识别的材料ct图像输入神经网络，由神经网络对纱线轮廓进行分割，如图7所示。
[0056]
7)对分割后的纱线横截面进行轮廓识别和拟合，并提取轮廓的几何特征参数，具体为，
[0057]
调用python和opencv库，对神经网络输出图像依次使用函数cv2.threshold、cv2.medianblur、cv2.findcontours、cv2.minarearect进行二值化、中值滤波平滑、边界识别和边界最小外接矩形拟合的操作，如图8所示，并提取该轮廓的几何特征参数，最终获得各组分纱线横截面的重心坐标、最小外接矩形的长宽尺寸和面积。
[0058]
8)将提取的几何特征参数乘以缩放系数，得到材料内部结构的真实参数，具体为，
[0059]
将经向和纬向ct所提取的几何特征参数，乘以对应方向上的缩放系数，即可得到真实尺寸值。
[0060]
以上显示和描述了本发明的基本原理、主要特征及优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。