一种指针式仪表图像数据合成方法

1.本发明涉及图像处理与神经网络的技术领域，尤其是指一种指针式仪表图像数据合成方法。


背景技术：

2.仪表作为一种监测装置，主要有压力仪表、温度仪表、流量仪表、电工仪表、电子测量仪表，它也被广泛应用于工业生产和社会生活的各个方面，为生产生活提供了极大的便利。通过图像采集设备采集仪表图像进行检测分类读数，相较于人工分类读数方法具有适用范围广、分类读数效率高的优势，随着图像处理技术和神经网络技术的发展，这种方法也在逐步成为主流，该方法中的关键环节就包括仪表的定位与识别，仪表图像数据集的质量对于仪表的定位和分类网络的训练具有重要影响。
3.目前对于仪表分类方法的研究与实现，主要集中在使用神经网络网络对不同类型的仪表图像进行分类训练，这种方法需要一定量的训练集对神经网络进行训练，需要识别的仪表图像都需要训练，不同类型的仪表在图像数据不足一直是神经网络中的一个热点问题，缺乏优质数据集时神经网络对不同的仪表的识别分类性能并不理想。目前对于仪表数据增强的方法的研究与实现，主要集中在传统图像处理技术的应用上，具体通过翻转、旋转、缩放、颜色扰动一系列图像处理技术实现数据集的增强，这种方法虽然简单易行，但是泛化能力不足，对于仪表的数据增强效果并不明显，并且指针式仪表并不适用于翻转、旋转的变换。随着近年来gan(generative adversarial networks)技术和图像处理技术的迅猛发展，使得使用神经网络对抗生成图像扩增数据集产生可能。
4.综合以上论述，发明一种具备多样性的指针式仪表数据合成方法具有较高的实际应用价值。


技术实现要素：

5.本发明的目的在于克服现有技术的缺点与不足，提出了一种指针式仪表图像数据合成方法，主要利用神经网络和图像处理技术设计实现对指针式仪表仪表图像数据的合成，从而扩增数据集，该方法具有多样性、灵活性以及在不同背景下有更好的泛化能力，可大大增加指针式仪表读数系统的训练、测试数据，提高人工智能在仪表检测、识别、读数的能力，提升网络的鲁棒性，有效推动自动化仪表识别的发展。
6.为实现上述目的，本发明所提供的技术方案为：一种指针式仪表图像数据合成方法，包括以下步骤：
7.1)对仪表图像上的表盘进行标注构建表盘定位数据集及准备待增强数据集，装载训练参数使用表盘定位数据集训练表盘检测网络，训练完毕后得到最优的表盘检测网络，将待增强仪表数据集输入最优的表盘检测网络，输出表盘图像并将表盘图像裁剪出来；其中，所述表盘检测网络采用yolo网络，并将yolo网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度；
8.2)将步骤1)标注的表盘图像裁剪出来，对表盘图像上的量程量纲进行标注，标注内容为量程量纲的位置和文字信息，构建量程量纲数据集，装载训练参数使用量程量纲数据集训练字符识别网络，训练完毕后得到最优的字符识别网络，将步骤1)输出的表盘图像输入字符识别网络，输出表盘图像上的量程量纲的文字信息；其中，所述字符识别网络采用yolo网络，并将yolo网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度；
9.3)在网上下载不同风格字符数据集，分别用不同风格字符数据集装载训练参数训练字符生成gan网络，训练完毕后得到多个相应的字符生成gan网络，将步骤2)输出的量程量纲的文字信息输入任意一个训练完的字符生成gan网络，生成新的字符风格的量程量纲图像，并替代步骤1)输出的表盘图像上的原量程量纲图像，输出量程量纲增强表盘图像；
10.4)将步骤1)标注的表盘图像裁剪出来，对表盘上的指针和刻度进行掩模的标注，构建指针刻度数据集，装载参数使用指针刻度数据集训练mask r
‑
cnn网络，训练完毕后得到最优的mask r
‑
cnn网络，将步骤3)输出的量程量纲增强表盘图像输入最优的mask r
‑
cnn网络，输出指针和刻度的掩模，根据刻度掩模获得刻度图像，对刻度图像进行形态学变换生成新的刻度图像并替换原刻度图像，根据指针掩模获得指针图像，对指针图像进行形态学变换再进行旋转后生成新的指针图像替换原指针图像，输出指针刻度增强表盘图像；将指针刻度增强表盘图像嵌入原仪表图像表盘位置，完成指针式仪表图像数据合成。
11.进一步，在步骤1)中，通过摄像机采集不同环境下的各类仪表图像，对仪表图像进行滤波、图像增强和灰度化的预处理操作，从而构建表盘定位数据集，然后再将其中的异常数据剔除，包括存在表面脏污、光照极端以及拍摄不全的异常图像，再对其余数据进行标注，标注内容为表盘位置。
12.进一步，在步骤1)中，所述表盘检测网络的具体情况如下：
13.a、根据实时性和高精度要求构建特征提取网络，特征提取网络由多个组合卷积模块组成，具体如下：
14.第一层为组合卷积模块a，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；
15.第二层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
16.第三层为组合卷积模块c，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
17.第四层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
18.第五层为组合卷积模块c，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
19.第六层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
20.第七层为组合卷积模块c，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
21.第八层为组合卷积模块d，它由五个组合卷积模块b组成；
22.第九层为组合卷积模块c，它由一个零填充层、一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
23.第十层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
24.b、根据特征提取网络不同层的输出构建输出预测不同尺寸目标的预测网络，有大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络；
25.b1、大尺寸目标预测网络的输入为特征提取网络的第十层输出，大尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：
26.第一层为组合卷积模块d，它由五个组合卷积模块b组成；
27.第二层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
28.第三层为一个卷积层；
29.b2、中等尺寸目标预测网络的输入为特征提取网络的第八层输出和大尺寸目标预测网络的第一层输出，中等尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：
30.第一层为输入融合模块a，它由一个组合卷积模块b、一个上采样层和一个张量拼接层组成；
31.第二层为组合卷积模块d，它由五个组合卷积模块b组成；
32.第三层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
33.第四层为一个卷积层；
34.b3、小尺寸目标预测网络的输入为特征提取网络的第六层输出和中等尺寸目标预测网络的第二层输出，小尺寸目标预测网络由多种组合卷积模块和卷积层组成，具体如下：
35.第一层为输入融合模块a，它由一个组合卷积模块b、一个上采样层和一个张量拼接层组成；
36.第二层为组合卷积模块d，它由五个组合卷积模块b组成；
37.第三层为组合卷积模块b，它由一个深度卷积层、两个批归一化层、两个激活层和一个卷积层组成；
38.第四层为一个卷积层；
39.最后，将大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络的输出通过非极大值抑制层得到预测目标位置和类别；
40.c、设置损失函数有中心坐标损失函数、宽高损失函数、置信度损失函数和类别损失函数；
41.中心坐标损失函数公式如下：
42.loss
xy
＝mark
object
*(2
‑
w*h)*loss
log
(xy
true
,xy
predict
)
43.式中，loss
xy
代表中心坐标损失，mark
object
代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，loss
log
代表二值交叉熵损失，xy
true
代表真实中心坐标值，xy
predict
代表预测中心坐标值；
44.宽高损失函数公式如下：
45.loss
wh
＝0.5*mark
object
*(2
‑
w*h)*(wh
true
‑
wh
predict
)246.式中，loss
wh
代表宽高损失，wh
true
代表真实宽高值，wh
predict
代表预测宽高值；
47.置信度损失函数公式如下：
48.loss
confidence
＝mark
object
*loss
log
(mark
object
,c
predict
)
49.+(1
‑
mark
object
)*loss
log
(mark
object
,c
predict
)*mark
ignore
50.式中，loss
confidence
代表置信度损失，c
predict
代表预测框的置信度值，mark
ignore
代表iou小于阈值的锚点框的标志位；
51.类别损失函数公式如下：
52.loss
cls
＝mark
object
*loss
log
(cls
true
,cls
predict
)
53.式中，loss
cls
代表类别损失，cls
true
代表真实类别，cls
predict
代表预测类别；
54.总损失函数公式如下：
55.loss＝(loss
xy
+loss
wh
+loss
confidence
+loss
cls
)/numf
56.式中，loss代表总损失，numf代表输入总数的浮点数；
57.装载训练参数训练所设计的表盘检测网络，训练参数的设置如下：设置训练优化器为adam、初始学习率为0.001、最大训练周期为500以及批次大小为8；并设置验证集间隔检测训练精确度，训练完成标志为达到最大训练周期或均交并比满足要求，训练完成后保存网络。
58.进一步，在步骤3)中，所述字符生成gan网络由生成式网络和判别式网络组成，其具体情况如下：
59.a、根据生成字符图像的需求构建生成式网络，生成式网络由多个组合卷积模块组合，具体如下：
60.第一层为全连接层；
61.第二层为重构层；
62.第三层为组合卷积模块a，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；
63.第四层为上采样层；
64.第五层为组合卷积模块a，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；
65.第六层为上采样层；
66.第七层为组合卷积模块a，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；
67.第八层为组合卷积模块a，它由一个零填充层、一个卷积层、一个批归一化层和一个激活层组成；
68.b、根据判别字符图像的有效性构建判别式网络，输入为生成式网络输出图像，判别式网络由多个组合卷积模块组合，具体如下：
69.第一层为组合卷积模块e，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个dropout层组成；
70.第二层为组合卷积模块e，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个dropout层组成；
71.第三层为零填充层；
72.第四层为组合卷积模块e，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个dropout层组成；
73.第五层为组合卷积模块e，它由一个零填充层、一个卷积层、一个批归一化层、一个激活层和一个dropout层组成；
74.第六层为全局池化层；
75.第七层为全连接层；
76.c、设置损失函数为多分类交叉熵，公式如下：
[0077][0078]
式中，loss代表损失，n代表类别数，y
i
代表对应i类别的真实概率，代表对应i类别的预测概率。
[0079]
进一步，在步骤4)中，所述mask r
‑
cnn网络为深层mask r
‑
cnn网络，由基网络、区域建议网络(rpn)、区域特征聚集模块(roialign)、分类分支、坐标回归分支以及mask分支组成，其具体情况如下：
[0080]
a、输入图像先通过基网络提取特征，获得不同尺度的特征图；
[0081]
b、rpn进行区域建议，其在特征图上每个点生成不同尺度的候选框，并通过rpn进行粗分类和粗定位，基于置信度和非极大抑制思想筛除大量候选框，将剩余候选框送入后续网络中；
[0082]
c、将不同大小和尺度的候选框所在的特征图区域通过roialign输出得到固定尺寸的特征图；其中，roialign先将候选框分割成固定个数的单元，每个单元的边界不进行量化，在每个单元中计算固定四个坐标位置，然后采用双线性内插的方法计算这四个位置的值，并基于这四个位置的值进行最大池化操作；
[0083]
d、将固定大小的特征图作为分类分支、坐标回归分支和mask分支的输入；其中，分类分支是以热编码形式输出特征图类别，坐标回归分支为预测候选框与真实目标区域的坐标、宽高偏差值，mask分支输出以0、1值表述的目标的二值化掩膜图像；
[0084]
深层mask r
‑
cnn网络的深层体现在基网络与mask分支均采用深层的卷积神经网络，采用resnet
‑
50作为基网络和mask分支的主网络结构。
[0085]
进一步，在步骤4)中，根据刻度掩模获得刻度图像，对刻度图像进行形态学变换，生成新的刻度图像，形态学变换方法有腐蚀、膨胀、对比度调整、缩放和拉伸；将新刻度图像替换掉原刻度图像，其中超出原刻度图像部分则覆盖，少于原刻度图像部分则根据附近非刻度区域图像像素值自适应变化；根据指针掩模获得指针图像，同样对指针图像进行形态学变换，生成新的指针图像，再对新的指针图像进行顺时针旋转，范围为0到45度，将旋转后的新的指针图像替换掉原指针图像，输出指针刻度增强表盘图像；将指针刻度增强表盘图像嵌入原仪表图像表盘位置，即可完成指针式仪表图像数据合成。
[0086]
本发明与现有技术相比，具有如下优点与有益效果：
[0087]
1、本发明使用神经网络、图像处理结合的方法实现指针式仪表图像数据合成，从而扩增数据集，其与传统图像处理方法相比具有多样性、灵活性以及在不同背景下有更好的泛化能力。
[0088]
2、本发明通过对指针式仪表图像数据合成，增加了可供检测、识别、读数的仪表数据，大大增加了指针式仪表读数系统的训练、测试数据，提高人工智能在仪表检测、识别、读数的能力，提升网络的鲁棒性，有效推动自动化仪表识别的发展。
附图说明
[0089]
图1为本发明方法的流程图。
[0090]
图2为组合卷积模块示意图。
[0091]
图3为输入融合模块示意图。
[0092]
图4为mask r
‑
cnn网络结构图。
[0093]
图5为resnet
‑
50整体结构图。
[0094]
图6为id block结构图。
[0095]
图7为conv block结构图。
[0096]
图8为mask分支结构图。
具体实施方式
[0097]
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0098]
如图1所示，本实施例所提供的指针式仪表图像数据合成方法，包括以下步骤：
[0099]
1)准备表盘定位数据集和待增强数据集；其中通过摄像机采集不同环境下的各类仪表图像，通过图像处理技术对表盘图像进行滤波、图像增强和灰度化等预处理操作，从而构建表盘定位数据集，然后再将其中的异常数据剔除，包括存在表面脏污、光照极端以及拍摄不全的异常图像，再对其余数据进行标注，标注内容为表盘位置。
[0100]
装载训练参数使用表盘定位数据集训练表盘检测网络，训练完毕后得到最优的表盘检测网络，将待增强仪表数据集输入最优的表盘检测网络，输出表盘图像并将表盘图像裁剪出来。
[0101]
所述表盘检测网络采用yolo网络，并将yolo网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度。步骤1)中激活层若未额外声明，均为leaky relu激活函数，构建表盘检测网络，包括以下步骤：
[0102]
a、构建特征提取网络
[0103]
根据实时性和高精度要求构建特征提取网络。特征提取网络主要由多个组合卷积模块组成。
[0104]
特征提取网络结构如下：
[0105]
输入图像为416
×
416
×
3。
[0106]
第一层为组合卷积模块a，如图2中(a)所示。模块首先经过零填充层，输出为418
×
418
×
3。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为32，输出为208
×
208
×
32。
[0107]
第二层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为208
×
208
×
32。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为64，使用填
充使得输入输出大小一致，输出为208
×
208
×
64。
[0108]
第三层为组合卷积模块c，如图2中(c)所示。模块首先经过零填充层，输出为210
×
210
×
64。再经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为2，输出为104
×
104
×
64。最后经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为104
×
104
×
128。
[0109]
第四层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为104
×
104
×
128。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为104
×
104
×
128。
[0110]
第五层为组合卷积模块c，如图2中(c)所示。模块首先经过零填充层，输出为106
×
106
×
128。再经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为2，输出为52
×
52
×
128。最后经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52
×
52
×
256。
[0111]
第六层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为52
×
52
×
256。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52
×
52
×
256。
[0112]
第七层为组合卷积模块c，如图2中(c)所示。模块首先经过零填充层，输出为54
×
54
×
256。再经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为2，输出为26
×
26
×
256。最后经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26
×
26
×
512。
[0113]
第八层为组合卷积模块d，如图2中(d)所示。模块依次经过五个组合卷积模块b，如图2中(b)所示。其中在每个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为26
×
26
×
512。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26
×
26
×
512。依次经过相同的组合卷积模块b后，输出为26
×
26
×
512。
[0114]
第九层为组合卷积模块c，如图2中(c)所示。模块首先经过零填充层，输出为28
×
28
×
512。再经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为2，输出为13
×
13
×
512。最后经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。
[0115]
第十层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。
[0116]
b、构建预测网络
[0117]
根据特征提取网络不同层的输出构建输出预测不同尺寸目标的预测网络，有大尺寸目标预测网络、中等尺寸目标预测网络和小尺寸目标预测网络。
[0118]
b1、大尺寸目标预测网络
[0119]
输入为特征提取网络第十层输出，大尺寸目标预测网络主要由多种组合卷积模块和卷积层组成。
[0120]
输入图像为13
×
13
×
1024。
[0121]
大尺寸目标预测网络结构如下：
[0122]
第一层为组合卷积模块d，如图2中(d)所示。模块依次经过五个组合卷积模块b，如图2中(b)所示。在第一个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为13
×
13
×
512。在第二个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为13
×
13
×
512。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。之后交替输入两种不同参数的组合卷积模块b后，输出为13
×
13
×
512。
[0123]
第二层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为13
×
13
×
512。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为1024，使用填充使得输入输出大小一致，输出为13
×
13
×
1024。
[0124]
第三层为一个卷积层。卷积核为(1，1)，步长为1，滤波器数量为255，输出为13
×
13
×
255。
[0125]
b2、中等尺寸目标预测网络
[0126]
输入为特征提取网络第八层输出和大尺寸目标预测网络第一层输出，中等尺寸目标预测网络主要由多种组合卷积模块和卷积层组成。
[0127]
输入图像为26
×
26
×
512和13
×
13
×
512。
[0128]
中等尺寸目标预测网络结构为：
[0129]
第一层为输入融合模块，如图3所示。输入13
×
13
×
512首先经过组合卷积模块b，在其中首先经过深度卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，使用填充使得输入输出大小一致，输出为13
×
13
×
512。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为13
×
13
×
512。再经过上采样层，采样因子为2，输出为26
×
26
×
512。最后该输出和输入26
×
26
×
512经过张量拼接层，输出为26
×
26
×
1024。
[0130]
第二层为组合卷积模块d，如图2中(d)所示。模块依次经过五个组合卷积模块b，如图2中(b)所示。在第一个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，使用填充使得输入输出大小一致，输出为26
×
26
×
1024。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为26
×
26
×
256。在第二个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为26
×
26
×
256。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26
×
26
×
512。之后交替输入两种不同参数的组合卷积模块b后，输出为26
×
26
×
256。
[0131]
第三层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为26
×
26
×
256。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为512，使用填充使得输入输出大小一致，输出为26
×
26
×
512。
[0132]
第四层为一个卷积层。卷积核为(1，1)，步长为1，滤波器数量为255，输出为26
×
26
×
255。
[0133]
b3、小尺寸目标预测网络
[0134]
输入为特征提取网络第六层输出和中等尺寸目标预测网络第二层输出，小尺寸目标预测网络主要由多种组合卷积模块和卷积层组成。
[0135]
输入图像为52
×
52
×
256和26
×
26
×
256。
[0136]
小尺寸目标预测网络结构为：
[0137]
第一层为输入融合模块，如图3所示。输入26
×
26
×
256首先经过组合卷积模块b，在其中首先经过深度卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，使用填充使得输入输出大小一致，输出为26
×
26
×
256。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为26
×
26
×
256。再经过上采样层，采样因子为2，输出为52
×
52
×
256。最后该输出和输入52
×
52
×
256经过张量拼接层，输出为52
×
52
×
512。
[0138]
第二层为组合卷积模块d，如图2中(d)所示。模块依次经过五个组合卷积模块b，如图2中(b)所示。在第一个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，使用填充使得输入输出大小一致，输出为52
×
52
×
512。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为128，使用填充使得输入输出大小一致，输出为52
×
52
×
128。在第二个组合卷积模块b中，输入首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为52
×
52
×
128。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52
×
52
×
256。之后交替输入两种不同参数的组合卷积模块b后，输出为52
×
52
×
128。
[0139]
第三层为组合卷积模块b，如图2中(b)所示。模块首先经过深度卷积、批归一化层和激活层，卷积核为(3，3)，步长为1，使用填充使得输入输出大小一致，输出为52
×
52
×
128。再经过卷积、批归一化层和激活层，卷积核为(1，1)，步长为1，滤波器数量为256，使用填充使得输入输出大小一致，输出为52
×
52
×
256。
[0140]
第四层为一个卷积层。卷积核为(1，1)，步长为1，滤波器数量为255，输出为52
×
52
×
255。
[0141]
最后，将大尺寸目标预测网络的输出13
×
13
×
255、中等尺寸目标预测网络的输出26
×
26
×
255和小尺寸目标预测网络的输出52
×
52
×
255通过非极大值抑制层得到预测目标位置和类别。
[0142]
c、设置损失函数
[0143]
设置损失函数为中心坐标损失函数、宽高损失函数、置信度损失与类别损失函数的求和均值。损失函数公式如下：
[0144]
loss＝(loss
xy
+loss
wh
+loss
confidence
+loss
cls
)/numf
[0145]
其中loss代表总损失，loss
xy
代表中心坐标损失，loss
wh
代表宽高损失，loss
confidence
代表置信度损失，loss
cls
代表类别损失，numf代表输入总数的浮点数。各个损失函数公式如下：
[0146]
loss
xy
＝mark
object
*(2
‑
w*h)*loss
log
(xy
true
,xy
predict
)
[0147]
loss
wh
＝0.5*mark
object
*(2
‑
w*h)*(wh
true
‑
wh
predict
)2[0148]
loss
confidence
＝mark
object
*loss
log
(mark
object
,c
predict
)
[0149]
+(1
‑
mark
object
)*loss
log
(mark
object
,c
predict
)*mark
ignore
[0150]
loss
cls
＝mark
object
*loss
log
(cls
true
,cls
predict
)
[0151]
其中mark
object
代表锚点框否存在物体的标志位，w代表锚点框的宽，h代表锚点框的高，loss
log
代表二值交叉熵损失，xy
true
代表真实中心坐标值，xy
predict
代表预测中心坐标值，wh
true
代表真实宽高值，wh
predict
代表预测宽高值，c
predict
代表预测框的置信度值，mark
ignore
代表iou小于阈值的锚点框的标志位，cls
true
代表真实类别，cls
predict
代表预测类别。
[0152]
训练过程包括以下步骤：
[0153]
d1、设置训练参数
[0154]
设置训练优化器为adam、初始学习率为0.001、迭代次数为500、批次大小为8以及对所有标签进行k means聚类生成初始先验框为(38，29)、(65，52)、(94，87)、(142，134)、(195，69)、(216，206)、(337，320)、(397，145)、(638，569)。
[0155]
d2、在线数据增强
[0156]
对输入图像进行数据增强，扩充数据集，数据增强的方法如下：随机镜像翻转、随机添加噪声、随机调整对比度
[0157]
d3、设置训练完成标志
[0158]
设置验证集间隔检测训练精确度，训练完成标志为达到最大迭代次数500以及精确度满足要求，训练完成后保存网络。
[0159]
2)使用步骤1)标注的表盘，对表盘上的量程量纲进行标注，标注内容为量程量纲的位置和文字信息，构建量程量纲数据集，装载训练参数使用量程量纲数据集训练字符识别网络，训练完毕后得到最优的字符识别网络；所述字符识别网络采用yolo网络，并将yolo网络的骨干网络改进为mobilenet轻量化网络以减少网络参数和计算量，提高运算速度。将步骤1)输出的表盘图像输入字符识别网络，输出表盘中的量程量纲的文字信息。
[0160]
3)在网上下载不同风格字符数据集，分别用不同风格字符数据集装载训练参数训练字符生成gan网络，训练完毕后得到多个相应的字符生成gan网络，将步骤2)输出的量程量纲的文字信息输入任意一个训练完的字符生成gan网络，生成新的字符风格的量程量纲图像，并替代步骤1)输出的表盘图像上的原量程量纲图像，输出量程量纲合成表盘图像，即量程量纲增强表盘图像。
[0161]
构建字符生成gan网络，由生成式网络和判别式网络组成，包括以下步骤：
[0162]
a、构建生成式网络
[0163]
根据生成字符图像的需求构建生成式网络。生成式网络主要由多个组合卷积模块组合。
[0164]
生成式网络结构如下：
[0165]
输入随机噪声图像为28
×
28
×
1。
[0166]
第一层为全连接层。
[0167]
第二层为重构层，输出为7
×7×
32。
[0168]
第三层为组合卷积模块a，如图2中(a)所示。模块首先经过零填充层，输出为9
×9×
32。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为64，输出为7
×7×
64。
[0169]
第四层为上采样层，输出为14
×
14
×
64。
[0170]
第五层为组合卷积模块a，如图2中(a)所示。模块首先经过零填充层，输出为16
×
16
×
64。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为128，输出为14
×
14
×
128。
[0171]
第六层为上采样层，输出为28
×
28
×
128。
[0172]
第七层为组合卷积模块a，如图2中(a)所示。模块首先经过零填充层，输出为30
×
30
×
128。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为64，输出为28
×
28
×
64。
[0173]
第八层为组合卷积模块a，如图2中(a)所示。模块首先经过零填充层，输出为30
×
30
×
64。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为1，输出为28
×
28
×
1。
[0174]
b、构建判别式网络
[0175]
根据判别字符图像的有效性构建判别式网络。输入为生成式网络输出图片，判别式网络主要由多个组合卷积模块组合，具体如下：
[0176]
输入图像为28
×
28
×
1。
[0177]
第一层为组合卷积模块e，如图2中(e)所示。模块首先经过零填充层，输出为30
×
30
×
1。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为16，输出为14
×
14
×
16。
[0178]
第二层为组合卷积模块e，如图2中(e)所示。模块首先经过零填充层，输出为30
×
30
×
1。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为32，输出为7
×7×
32。
[0179]
第三层为零填充层，输出为8
×8×
32。
[0180]
第四层为组合卷积模块e，如图2中(e)所示。模块首先经过零填充层，输出为10
×
10
×
32。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为2，滤波器数量为64，输出为4
×4×
64。
[0181]
第五层为组合卷积模块e，如图2中(e)所示。模块首先经过零填充层，输出为6
×6×
64。再经过卷积层、批归一化层和激活层，卷积核为(3，3)，步长为1，滤波器数量为128，输出为4
×4×
128。
[0182]
第六层为全局池化层，输出为1
×1×
128。
[0183]
第七层为全连接层，输出为1+10+m，m为可识别的量纲数。
[0184]
c、设置损失函数
[0185]
设置损失函数为多分类交叉熵
[0186]
其中loss代表损失，n代表类别数，y
i
代表对应i类别的真实概率，代表对应i类别的预测概率。
[0187]
将生成的图像转换为三通道图像，并对图像进行颜色空间变换，替换原表盘图像中的量程量纲图像。
[0188]
4)使用步骤1)标注的表盘，对表盘上的指针和刻度进行掩模的标注，构建指针刻度数据集，装载参数使用指针刻度数据集训练深层mask r
‑
cnn网络，训练完毕后得到最优的深层mask r
‑
cnn网络，将步骤3)输出的量程量纲增强表盘图像输入最优的深层mask r
‑
cnn网络，输出指针图像和刻度图像的掩模。
[0189]
深层mask r
‑
cnn网络结构如图4所示，主要由基网络resnet
‑
50、区域建议网络(rpn)和区域特征聚集模块(roialign)、分类分支、坐标回归分支、mask分支组成。图中，conv为传统卷积层，softmax为用于分类输出层，fc为全连接层。整体网络其主要结构介绍如下：
[0190]
基网络resnet
‑
50整体结构如图5所示，主要由id block和conv block组成，id block和conv block主要由非线性激活函数relu和组合卷积模块f组成，id block如图6所示，conv block如图7所示。图中conv2d为传统卷积层，batchnorm为批归一化层，relu为非线性激活函数，maxpool为最大池化层，avgpool为平均池化层，fc为全连接层。
[0191]
rpn由1个3
×
3、两个1
×
1卷积层和非线性函数softmax构成，主要用于对基网络中最后特征图上生成的先验的候选框进行粗分类和坐标回归，并基于分类置信度和矩形框的重叠度进行筛选，得到一定数量的潜在候选框，用于后续处理。
[0192]
roialign主要是将候选框所在的特征图进行池化得到固定大小的特征图。即将每个候选框中的特征图先平均划分为14
×
14的单元格，对每个单元的边界不进行量化操作，然后在每个单元中计算固定四个坐标位置，双线性插值计算四个坐标的值，基于四个坐标的值进行最大池化操作。
[0193]
分类分支由3
×
3、1
×
1卷积层和输出层softmax组成，输出候选框中的目标类别以及置信度。坐标回归分支同样由3
×
3、1
×
1卷积层和输出层softmax组成，输出候选框与真实框之间的坐标、宽高偏差值。mask分支用于预测目标的二值化掩膜，为一个全卷积的网络结构，同样采用resnet
‑
50网络结构，中间网络层的通道数channel均为256，其最后一层的通道数为类别数量，此处为2，结构示意图如图8所示。
[0194]
输入图像先通过resnet
‑
50提取特征，rpn进行区域建议，获得大量潜在候选框，然后每个候选框所在特征图区域通过roialign得到固定尺寸的特征图，将该特征图作为分类分支、坐标回归分支和mask分支的输入，在mask分支获得目标的二值化掩膜，在分类分支获得目标的类别结果，在坐标回归分支获得目标定位偏差值用于坐标校正。
[0195]
将表盘刻度掩模提取出来。根据刻度掩模获得刻度图像，对刻度图像进行随机选取几种形态学变换方法，生成新的刻度图像，形态学变换方法有：腐蚀、膨胀、对比度调整、缩放、拉伸。
[0196]
根据指针掩模获得指针图像，同样对指针图像进行形态学变换，生成新的指针图像，再对新的指针图像进行顺时针旋转，范围为0到45度，其中，旋转中心是根据获取的刻度图像拟合得到的中心点，即指针中心，将旋转后的指针图像替换掉原指针图像，输出指针刻度增强表盘图像。
[0197]
将指针刻度增强表盘图像嵌入原仪表图像表盘位置，完成指针式仪表图像数据合成。
[0198]
综上所述，在采用以上方案后，本发明为指针式仪表图像数据增强提供了新的方法，将合成数据作为数据增强的一种有效手段，能够有效解决指针式仪表图像数据不足问题，有效推动自动化仪表识别的发展，具有实际推广价值，值得推广。
[0199]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。