1.本发明属于物联网应用技术领域，具体涉及一种物联网应用中图像语义分割方法。
背景技术：
2.目前计算机视觉图像中，主流的高性能模型训练依靠大量有标签数据，但是这种带标签的数据成本高，且难以跟上数据增长的速度。因此，针对目前领域中这一重要问题，研究高性能的半监督图像分类算法，使得模型训练能够有效地利用无标签数据中的潜在信息。现有的物联网应用场景中基于半监督图像分类，图像语义分割方法还不够优化。
技术实现要素：
3.为了克服现有的技术存在的不足,本发明提供一种物联网应用中图像语义分割方法。本发明解决其技术问题所采用的技术方案是：
4.物联网应用中图像语义分割方法，包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合dnn先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用dnn对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用cnn对每个候选区域提取图像特征和语义信息，接着利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果；基于分割掩膜的方法包括，首先，在图像中检测出所有潜在的目标候选对象，将原图像划分为一系列大小不等的图像块，每个图像块包含一个潜在的目标候选对象；将产生的图像块送入cnn进行处理，其每个像素经过“是否属于该目标候选对象”的二分类判断后得到分割掩膜，再将多张分割掩膜进行优化处理得到最终分割结果。运用cnn对每个候选区域提取图像特征和语义信息包括：
5.建设cnn：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的vgg卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对cnn进行学习：利用数据扩充后的学习数据库中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代若干次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库进行验证，当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
6.选用第一级网络模型、第二级网络模型和第三级网络模型分别选择icnet模型、pspnet模型和基于编码器表示的连接网络模型。
7.建设cnn前：构建学习数据库和实验数据库：获取物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库；选择大部分的数据图作为学习数据库，其余的数据图作为实验数据库；对学习数据库进行预处理；对学习数据库进行数据平衡处理，获取数据平衡处理后的学习数据库；随机改变学习数据库中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库。
8.建设cnn前具体的：构建学习数据库和实验数据库：获取n页物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库f；从f中选择大部分的数据图作为学习数据库f1，其余的数据图作为实验数据库f2；对学习数据库f1进行预处理；对学习数据库f1进行数据平衡处理，获取数据平衡处理后的学习数据库f1
′
；随机改变f1
′
中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库f
″
1。
9.建设cnn具体的：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的vgg卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对cnn进行学习：利用数据扩充后的学习数据库f
″
1中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代w次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库f2进行验证，w大于阈值且,当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
10.有益效果
11.本技术针对基于深度学习的图像语义分割方法、基于区域分类的图像语义分割进行了改进，研究视觉图像处理中的关键技术问题，根据具体的物联网应用场景实现基于半监督图像分类，图像语义分割高性能方法，也能有效辅助物联网应用在智能视觉信息处理、智能视觉识别及追踪等产业进行研发。
具体实施方式
12.在具体实施中，物联网应用中图像语义分割方法，包括基于深度学习的图像语义分割和基于区域分类的图像语义分割，在基于深度学习的图像语义分割中，结合dnn先将原始图像划分成不同的目标候选区域，得到一系列图像块，再利用dnn对图像块或图像块中的每个像素进行语义分类，最后根据分类结果对原始图像进行标注，得到最终分割结果；在基于区域分类的图像语义分割中，包括应用基于候选区域的方法和基于分割掩膜的方法，基于候选区域的方法首先利用相应的算法生成大量候选区域并筛选出合理的候选区域，再运用cnn对每个候选区域提取图像特征和语义信息，接着利用分类器对候选区域中的图像块或像素进行分类，最后输出分割结果；基于分割掩膜的方法包括，首先，在图像中检测出所有潜在的目标候选对象，将原图像划分为一系列大小不等的图像块，每个图像块包含一个
潜在的目标候选对象；将产生的图像块送入cnn进行处理，其每个像素经过“是否属于该目标候选对象”的二分类判断后得到分割掩膜，再将多张分割掩膜进行优化处理得到最终分割结果。
13.本技术针对基于深度学习的图像语义分割方法、基于区域分类的图像语义分割进行了改进，
14.研究视觉图像处理中的关键技术问题，根据具体的物联网应用场景实现基于半监督图像分类，图像语义分割高性能方法，也能有效辅助物联网应用在智能视觉信息处理、智能视觉识别及追踪等产业进行研发。
15.进一步的实施中，运用cnn对每个候选区域提取图像特征和语义信息包括：
16.建设cnn：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的vgg卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对cnn进行学习：利用数据扩充后的学习数据库中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代若干次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库进行验证，当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
17.进一步的实施中，选用第一级网络模型、第二级网络模型和第三级网络模型分别选择icnet模型、pspnet模型和基于编码器表示的连接网络模型。则具体的建设cnn：选用icnet模型、pspnet模型和基于编码器表示的连接网络模型，icnet模型的所有网络层的参数随机初始化；用预学习过的权重初始化pspnet模型；用预学习过的vgg卷积网络的权重初始化基于编码器表示的连接网络模型，pspnet模型和基于编码器表示的连接网络模型其他网络层参数随机初始化；对cnn进行学习：利用数据扩充后的学习数据库中物联网数据图及其对应的分类标签图像，对icnet模型、pspnet模型和基于编码器表示的连接网络模型，分别进行迭代学习；每迭代若干次后分别用学习过的icnet模型pspnet模型和基于编码器表示的连接网络模型对实验数据库进行验证，当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的icnet模型、pspnet模型和基于编码器表示的连接网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
18.进一步的实施中，建设cnn前：构建学习数据库和实验数据库：获取物联网数据图以及每页物联网数据图对应的分类标签图像，构成数据库；选择大部分的数据图作为学习数据库，其余的数据图作为实验数据库；对学习数据库进行预处理；对学习数据库进行数据平衡处理，获取数据平衡处理后的学习数据库；随机改变学习数据库中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库；
19.进一步的实施中，建设cnn前具体的：构建学习数据库和实验数据库：获取n页物联
网数据图以及每页物联网数据图对应的分类标签图像，构成数据库f；从f中选择大部分的数据图作为学习数据库f1，其余的数据图作为实验数据库f2；对学习数据库f1进行预处理；对学习数据库f1进行数据平衡处理，获取数据平衡处理后的学习数据库f1
′
；随机改变f1
′
中的物联网数据图清晰度、对比度和色度，获取数据扩充处理后的学习数据库f
″
1；
20.建设cnn具体的：选用第一级网络模型、第二级网络模型和第三级网络模型，第一级网络模型的所有网络层的参数随机初始化；用预学习过的权重初始化第二级网络模型；用预学习过的vgg卷积网络的权重初始化第三级网络模型，第二级网络模型和第三级网络模型其他网络层参数随机初始化；对cnn进行学习：利用数据扩充后的学习数据库f
″
1中物联网数据图及其对应的分类标签图像，对第一级网络模型、第二级网络模型和第三级网络模型，分别进行迭代学习；每迭代w次后分别用学习过的第一级网络模型、第二级网络模型和第三级网络模型对实验数据库f2进行验证，w大于阈值且,当三个网络模型的验证结果的准确率均达到阈值时停止学习，获取学习好的三个网络模型；将待实验的物联网数据图分别输入到学习好的第一级网络模型、第二级网络模型和第三级网络模型获取语义分割图；对获取的语义分割图然后完成决策融合，然后进行腐蚀、膨胀、开运算、闭运算、击中、细化和粗化处理获取语义分割图。
21.基于深度学习的图像语义分割中作为优选可以选择现有技术中的，一种基于深度学习的深度图语义分割方法，具体包括如下步骤：
22.步骤1：处理数据集并将处理后的数据集输入到resnet网络模型中。
[0023]1‑
1数据集主要来源于nyu
‑
depthv2数据集由microsoft kinect的rgb和depth摄像机记录的各种室内场景的视频序列组成。它具有以下特点：1449张详细标记的rgb和深度图像；来自多个城市的464个不同场景；对每个具体的分类有一个实例号(如1号床、2号床、3号床等)
[0024]1‑
2数据集中的数据进行预处理，删除冗余特征、处理缺失值、去除不合理数据、特征归一化。对于缺失的数据通过着色方案进行了填充。再把带有标签的数据集作为matlab的.mat文件中。
[0025]1‑
3将处理后的数据集分类标签化，由于原数据集的标签过于细化，场景覆盖了常见的室内环境，包括办公室工作空间、会议室和厨房区域。并且对象之间有所遮挡，所以把数据集通过归并分类的方法，分类成wall、floor、bed、chair等40个类。
[0026]
步骤2：将步骤1中处理好的数据集输入到resnet网络下采样阶段，在下采样编码阶段使用分别训练逐渐融合的方式将rgb图像和深度图像的信息进行融合，得到下采样编码阶段提取到的特征。resnet网络模型包括主要分支结构和次要分支结构，其中主要分支结构包括首个卷积层conv1、池化层pool1以及残差层layer1～layer4。
[0027]2‑
1主要分支结构的池化层pool1输出和次要分支结构的池化层pool1
‑
d输出以元素相加的形式融合，并把融合结果作为主要分支结构的残差层layer1的输入。
[0028]2‑
2以此类推，主要分支结构的残差层layer2、layer3、layer4和上采样解码阶段的上采样层trans1输入数据分别来自主要分支结构的残差层layer1和次要分支结构layer1
‑
d元素相加的融合、主要分支结构的残差层layer2和次要分支结构layer2
‑
d元素相加的融合、主要分支结构的残差层layer3和次要分支结构layer3
‑
d元素相加的融合、主要分支结构的残差层layer4和次要分支结构layer4
‑
d元素相加的融合；
[0029]2‑
3将所有数据信息汇集到上采样解码阶段的主要分支结构，下采样编码阶段的次要分支结构完结。
[0030]
步骤3：将步骤2中由resnet网络下采样编码阶段提取到的特征输入到上采样编码阶段，在上采样编码阶段过程加入强化监督模块，优化语义分割结果，进行更深层的特征提取。
[0031]3‑
1在上采样编码阶段，resnet网络采用3个跳跃结构保留精细特征用以提高分割精度。但主要分支结构的残差层layer4之后的结构被带有反残差模块的反卷积层代替。
[0032]3‑
2上采样解码阶段的上采样层trans2输入是主要分支结构的残差层layer3与次要分支结构的残差层layer3
‑
d层信息融合后再与上采样解码阶段的上采样层trans1的输出信息融合产生的。
[0033]
上采样解码阶段的上采样层trans3输入是主要分支结构的残差层layer2与次要分支结构的残差层layer2
‑
d层信息融合后再与上采样解码阶段的上采样层trans2的输出信息融合产生的。
[0034]
上采样解码阶段的上采样层trans4输入是主要分支结构的残差层layer1与次要分支结构的残差层layer1
‑
d层信息融合后再与上采样解码阶段的上采样层trans3的输出信息融合产生的。
[0035]
以此类推的，将这种信息融合模式在上采样解码阶段的上采样层trans1～trans4贯穿始终，其作用是，优化语义推断的分割细节。
[0036]3‑
3最后上采样解码阶段的上采样层trans4的输出经过反卷积层final trans后输出最终数据；
[0037]
步骤4：利用步骤3所训练获得的网络模型进行深度图像语义分割。
[0038]4‑
1将步骤3中提取出的深层特征用损失函数来衡量模型的表现，损失函数越低代表模型在分割任务中的表现越好。
[0039]
实践中，物联网应用中图像语义分割方法中基于深度学习的图像语义分割和基于区域分类的图像语义分割均有较好的优化。