1.本发明涉及语义分割技术领域，尤其是一种基于层次化语义先验的语义分割方法。
背景技术：
2.语义分割是指对图像中每一个像素点的语义类别进行理解与预测。语义分割是一种稠密的像素点预测问题，既需要高层次的语义信息，又需要低层次的细节信息，技术上具有很大挑战。
3.随着深度学习的快速发展，许多基于深度学习的方法被应用于语义分割，语义分割方法的性能也不断提升。特别是街景语义分割的发展，促进了自动驾驶等领域的进一步发展。
4.现有的基于深度学习的语义分割方法尝试融入人类的先验知识引导分割过程。但大多数人类先验知识难以在深度网络中进行表达、而且标注成本较高，限制了人类先验的应用。
技术实现要素：
5.为了解决现有技术中存在的上述技术问题，本发明提出了一种基于层次化语义先验的语义分割方法，利用层次化语义先验知识对图像进行由粗到细的理解与分割，并且使用一种双向循环正则方法对网络进行训练，在不增加模型复杂度的情形下可以使之学会层次化语义知识，使得该系统能够模仿人类思考过程进行语义分割,其具体技术方案如下：一种基于层次化语义先验的语义分割方法，包括如下步骤：步骤1，采用数学描述层次化语义先验；步骤2，利用任意已知网络分别学习粗语义类别特征与细语义类别特征；步骤3，利用学习到的粗语义类别特征与层次化语义先验构建一个伪造的细语义类别特征；步骤4，利用学习到的细语义类别特征与层次化语义先验构建一个伪造的粗语义类别特征；步骤5，采用双向循环正则方法对网络进行训练，将学习的粗语义类别特征和细语义类别特征分别用人工标签进行监督训练，将伪造的语义类别特征和学习到的语义类别特征分别进行对比，使得构建的语义类别特征逼近正确结果。
6.进一步的，所述步骤1具体包括如下步骤：s101）对语义类别进行人为归类，将精细化的类别以人类经验划分为若干组粗类别；s102）将层次化语义先验知识定义为向量v，v={n1，n2，
…
，nm}，表示共有m个粗类别语义，n1的值等于在第一个粗类别下精细类别的个数，以此类推。
7.进一步的，所述步骤2具体包括如下步骤：
s201）将原图输入任意已知网络，输出一个有m个通道的特征图，并用对应的粗语义标签进行监督，该特征图定义为粗语义类别特征fc；s202）将粗语义类别特征继续输入一个任意已知网络，输出一个有f个通道的特征图，并用对应的细语义标签进行监督，f是n1，n2
…
nm所有值的和，表示细语义类别个数，该特征图被定义为细语义类别特征ff。
8.进一步的，所述步骤3具体包括如下步骤：s301）以学习到的粗语义类别特征fc作为输入，粗语义类别标签作为掩码；s302）将粗语义类别特征输入到m个卷积层中，每个卷积层的卷积核大小均为k，通道数分别为n1，n2，
…
nm，以得到m个特征图，所述特征图均继承粗语义类别类中的信息，但通道数不一致；s303）对粗语义类别标签掩码进行处理，将其转换为m个不同的子掩码，每个子掩码只对一种粗语义类别置为1，其余类别均置为0；s304）将得到的m个特征图分别通过softmax函数，使每个特征图表示出现不同类别的概率，将概率图与对应的掩码相乘，得到的每个概率图只表达一种类别的概率，而对其他类别的概率均为0；s305）将m个最新的概率图依序拼接，拼接后的特征图尺寸与原输入的粗语义类别特征fc一致，通道数目为精细标签数目f，该特征图表述了每个像素是不同类别的概率，定义拼接后的特征图为伪造细语义类别特征ff0。
9.进一步的，所述的掩码为二值化图，由标签生成，在训练过程中引导特征图的融合与切分，以将层次化语义先验融入到网络中，但在测试过程中，则不需要。
10.进一步的，所述步骤4具体包括如下步骤：s401）以学习到的细语义类别特征ff作为输入,将其通过softmax函数，得到的是每个像素分属不同类别的概率；s402）以切片（slice）操作，将ff切分为m个不同通道的特征图，通道数目依次为n1，n2，
…
nm；s403)将每个特征图各自通过池化层，通道数变为1，以提取不同类别的特征，现在得到m个通道数为1的特征图；s404）将m个通道数为1的特征图依序拼接，得到一个m通道的特征图,将这个特征图定义为伪造粗语义类别特征fc0。
11.进一步的，所述步骤5具体包括如下步骤：s501）将伪造细语义类别特征ff0与学习到的细语义类别特征ff进行比较，以l1损失计算，并参与反向传播更新网络参数；s502）将伪造粗语义类别特征fc0与学习到的粗语义类别特征fc进行比较，以l1损失计算，并参与反向传播更新网络参数；s503）将学习到粗语义类别特征fc通过softmax函数，得到每个点处于不同粗类别的概率，再通过余弦交叉熵损失函数与粗语义标签对比，并参与反向传播更新参数；s504）将学习到细语义类别特征ff通过softmax函数，得到每个点处于不同细类别的概率，再通过余弦交叉熵损失函数与细语义标签对比，并参与反向传播更新参数。
12.进一步的，所述网络在训练过程中，形成fc
‑
ff0
‑
ff和ff
‑
fc0
‑
fc两条传播路径，融
合了层次化语义先验知识来更新网络参数，在测试过程中，循环通路不参与计算，输入的图像的路径为“输入
‑
fc
‑
ff
‑
输出”，没有额外增加网络复杂度。
13.本发明的优点：本发明解决了人类的层次化语义先验无法融合进深度网络的问题，利用了人类的层次化语义先验来引导语义分割。
附图说明
14.图1为伪造细语义类别特征的构建流程图；图2为伪造粗语义类别特征的构建流程图；图3为本发明流程图。
具体实施方式
15.为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图，对本发明作进一步详细说明。
16.如图3所示，一种基于层次化语义先验的语义分割方法，包括如下步骤：步骤1，采用数学描述层次化语义先验，具体包括如下步骤：s101）对语义类别进行人为归类，将精细化的类别以人类经验划分为若干组粗类别。例如汽车（car），摩托车（motorcycle），自行车（bicycle）均归类为交通工具（vehicle）。
17.s102）将层次化语义先验知识定义为向量v，v={n1，n2，
…
，nm}，表示共有m个粗类别语义，n1的值等于在第一个粗类别下精细类别的个数，以此类推。
18.综上，所述的层次化语义分类是按照人类经验将细语义类别归类为粗语义类别，这种分类方法不固定且不唯一。本发明方法支持细语义类别按照不同的逻辑，包括随机，分为不同组的粗语义类别。
19.步骤2，利用任意已知网络分别学习粗语义类别特征与细语义类别特征，具体包括如下步骤：s201）将原图输入任意已知网络，输出一个有m个通道的特征图，并用对应的粗语义标签进行监督，该特征图定义为粗语义类别特征fc。
20.s202）将粗语义类别特征继续输入一个任意已知网络，输出一个有f个通道的特征图，并用对应的细语义标签进行监督，f是n1，n2
…
nm所有值的和，表示细语义类别个数，该特征图被定义为细语义类别特征ff。
21.步骤3，伪造细语义类别特征的构建，如图1所示，具体包括如下步骤：s301）以学习到的粗语义类别特征fc作为输入，粗语义类别标签作为掩码。
22.s302）将粗语义类别特征输入到m个卷积层中，每个卷积层的卷积核大小均为k,通道数分别为n1，n2，
…
nm，以得到m个特征图，所述特征图均继承了粗语义类别类中的信息，但通道数不一致。
23.s303）对粗语义类别标签掩码进行处理，将其转换为m个不同的子掩码，每个子掩码只对一种粗语义类别置为1，其余类别均置为0。
24.s304）将得到的m个特征图分别通过softmax函数，使每个特征图表示出现不同类别的概率。将概率图与对应的掩码相乘，得到的每个概率图只表达一种类别的概率，而对其
他类别的概率均为0。
25.s305）将m个最新的概率图依序拼接，拼接后的特征图尺寸与原输入的粗语义类别特征fc一致，通道数目为精细标签数目f，该特征图表述了每个像素是不同类别的概率，定义拼接后的特征图为伪造细语义类别特征ff0。
26.综上，所述的掩码是一种二值化图，这是由标签生成的。在训练过程中可以引导特征图的融合与切分，以将层次化语义先验融入到网络中，但在测试过程中，这是不需要的。
27.步骤4，伪造粗语义类别特征的构建，如图2所示，具体包括如下步骤： s401）以学习到的细语义类别特征ff作为输入，将其通过softmax函数，得到的是每个像素分属不同类别的概率。
[0028] s402）以切片（slice）操作，将ff切分为m个不同通道的特征图，通道数目依次为n1，n2，
…
nm。
[0029]
s403)将每个特征图各自通过池化层，通道数变为1，以提取不同类别的特征，现在得到m个通道数为1的特征图。
[0030]
s404）将m个通道数为1的特征图依序拼接，得到一个m通道的特征图,将这个特征图定义为伪造粗语义类别特征fc0。
[0031]
步骤5，双向循环正则，将学习的两个粗和细语义类别特征分别用人工标签进行监督训练，将伪造的语义类别特征和学习到的语义类别特征分别进行对比，使得构建的语义类别特征逼近正确结果，具体包括如下步骤：s501）将伪造细语义类别特征ff0与学习到的细语义类别特征ff进行比较，以l1损失计算，并参与反向传播更新网络参数。
[0032]
s502）将伪造粗语义类别特征fc0与学习到的粗语义类别特征fc进行比较，以l1损失计算，并参与反向传播更新网络参数。
[0033] s503）将学习到粗语义类别特征fc通过softmax函数，得到每个点处于不同粗类别的概率，再通过余弦交叉熵损失函数与粗语义标签对比，并参与反向传播更新参数。
[0034]
s504）将学习到细语义类别特征ff通过softmax函数，得到每个点处于不同细类别的概率，再通过余弦交叉熵损失函数与细语义标签对比，并参与反向传播更新参数。
[0035]
综上，网络在训练过程中，形成了fc
‑
ff0
‑
ff和ff
‑
fc0
‑
fc两条传播路径，融合了层次化语义先验知识来更新网络参数。在测试过程中，循环通路不参与计算，输入的图像的路径为“输入
‑
fc
‑
ff
‑
输出”，没有额外增加网络复杂度。
[0036]
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。