模型训练方法、图像分割方法、图像矢量化方法及其系统与流程

本发明涉及图像处理技术领域，具体地涉及一种图像分割模型的训练方法、图像分割方法、图像矢量化方法及其系统。

背景技术：

目前，大部分户型图的存储和流通都是基于栅格化的图像进行的，其中所述栅格化的图像主要包括cad图、渲染图、甚至是手绘图等等。但所述栅格化的图像通常存在以下缺点：非标准化以及信息密度底等缺点。如果想要根据栅格化的户型图匹配相似的户型，通常会采用不同的识别方法对户型图中的相应元素进行识别(或分割)，然后根据所识别的元素进行户型的匹配。其中，不同的识别方法的过程完全不同，并且所识别的结果的准确性相差较大，由此根据上述识别方式确定的户型特征的准确性也非常低。若根据上述识别结果检索相似户型，其相应的准确性也会非常低。

如果可以将这些栅格化的户型图转变为矢量化图像，就可以对户型图进行更加高密度的存储、更深层次的理解、更标准化的解读，甚至可以延伸出根据转变后的矢量化图像检索相似的户型、相似的装修方案及相似的改造方案等等。

技术实现要素：

本发明的目的是提供一种图像分割模型的训练方法、图像分割方法、图像矢量化方法及其系统，其可使用深度神经网络分割得到图像的多个元素，从而可高精确地实现栅格化户型图的矢量化，进而通过矢量化的户型图实现相似户型的高召回。

为了实现上述目的，本发明第一方面提供一种图像分割模型的训练方法，所述训练方法包括：基于深度神经网络，采用第一训练样本集对所述图像分割模型进行训练；确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失；基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第一训练样本集的总识别损失；以及根据所述第一训练样本集的总识别损失，对所述图像分割模型的参数进行调整。

优选地，在所述图像为户型图像的情况下，所述多个预设对象至少包括：角点及多个墙体元素，相应地，所述确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失包括：确定所述第一训练样本集中的角点样本的识别损失；以及确定所述第一训练样本集中的多个墙体元素样本中的每一者的识别损失。

优选地，所述确定所述第一训练样本集中的角点样本的识别损失包括：确定所述角点样本中的角点正样本被识别为正样本的概率；以及基于焦点损失算法及所述角点正样本被识别为正样本的概率，获取所述角点样本的识别损失。

优选地，所述确定所述第一训练样本集中的多个墙体元素样本中的每一者的识别损失包括：针对所述多个墙体元素样本中的每个墙体元素样本，确定所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率；以及基于交叉熵损失算法及所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率，获取所述每个墙体元素样本的识别损失。

优选地，所述多个预设对象还包括：户型的几何尺寸，相应地，所述确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失还包括：确定所述第一训练样本集中的户型图像样本的几何尺寸的识别损失。

优选地，所述确定所述第一训练样本集中的户型图像样本的几何尺寸的识别损失包括：针对所述户型图像样本中的各个类型户型图像样本，确定所述各个类型户型图像样本的几何尺寸的预测值；以及基于二次损失算法及所述各个类型户型图像样本的几何尺寸的预测值与实际值，获取所述几何尺寸样本的识别损失。

优选地，所述多个墙体元素包括：墙体及墙体类型、墙体附件、分间与摆件中的至少一者。

优选地，所述对所述图像分割模型的参数进行调整还包括：在所述第一训练样本集的总识别损失小于或等于损失阈值的情况下，确定所述图像分割模型已被训练完成。

优选地，所述对所述图像分割模型的参数进行调整包括：在所述第一训练样本集的总识别损失大于损失阈值的情况下，调整所述图像分割模型的参数，相应地，所述训练方法还包括：基于深度神经网络，采用第二训练样本集对调整后的图像分割模型进行训练；确定所述第二训练样本集中的多个预设对象样本中的每一者的识别损失；基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第二训练样本集的总识别损失；以及根据所述第二训练样本集的总识别损失，对所述调整后的图像分割模型的参数进行调整。

优选地，在执行所述采用第一训练样本集对所述图像分割模型进行训练的步骤之前，所述训练方法还包括：对所述第一训练样本集进行图像膨胀；和/或采用高斯卷积核与菱形卷积核对所述第一训练样本集中的角点样本中的角点正样本进行膨胀。

通过上述技术方案，本发明创造性地基于深度神经网络对图像分割模型进行训练，并确定第一训练样本集中的每个预设对象样本的识别损失，基于所述每个预设对象样本的识别损失及其所占的预设权重，确定所述第一训练样本集的总识别损失，然后根据所述总识别损失对图像分割模型的参数进行调整，由此基于所训练的图像分割模型可对栅格化的户型图的多通道元素进行鲁棒且准确的识别，从而可高精确地实现栅格化户型图的矢量化，进而通过矢量化的户型图实现相似户型的高召回。

本发明第二方面提供一种图像分割方法，所述图像分割方法包括：将图像输入根据所述的图像分割模型的训练方法训练的图像分割模型；以及通过所述图像分割模型，分割并输出所述图像中的多个预设对象。

通过上述技术方案，本发明创造性地可采用训练好的图像分割模型对图像进行分割，以准确地获取关于图像的多通道元素，从而可高精确地实现栅格化户型图的矢量化，进而通过矢量化的户型图实现相似户型的高召回。

本发明第三方面提供一种图像矢量化方法，所述图像矢量化方法包括：根据所述的图像分割方法，对所述图像进行分割，以获取所述图像中的多个预设对象；对所获取的所述多个预设对象进行组合，以形成组合图像；以及对所述组合图像进行后处理，以获取矢量化图像。

优选地，所述对所获取的所述多个预设对象进行组合包括：通过整数优化模型并采用多个预设约束条件，对所述多个预设对象进行组合。

优选地，在所述图像为户型图像的情况下，所述对所述组合图像进行后处理包括：建立所述图像的面语义；采用广度遍历算法建立所述图像的分间图关系；和/或基于所述图像中的特定对象，确定所述图像的几何尺寸。

优选地，在所述多个预设对象包括分间和摆件的情况下，所述建立所述图像的面语义包括：建立所述组合图像中的双向链接边表；以及基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

优选地，在所述多个预设对象包括分间和摆件的情况下，所述建立所述图像的面语义包括：建立所述组合图像中的双向链接边表；采用光学字符识别技术对所述图像中的字段进行识别，以确定所述分间的语义及所述摆件的语义；以及基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

优选地，所述确定所述图像的几何尺寸包括：根据所述的图像分割方法及所述图像，分割并输出所述图像的几何尺寸；基于所述图像中的具有特定尺度的特定对象，推定所述图像的几何尺寸；和/或采用光学字符识别技术对所述图像中的字段进行识别，以确定所述图像的几何尺寸。

通过上述技术方案，本发明创造性地根据上述图像分割方法对图像进行分割，并对分割得到的多个预设对象进行组合，以形成组合图像，然后对所述组合图像进行后处理，从而获取矢量化图像(例如矢量化的户型图)，进而通过矢量化的户型图实现相似户型的高召回。

本发明第四方面提供一种图像分割模型的训练系统，所述训练系统包括：训练装置，用于基于深度神经网络，采用第一训练样本集对所述图像分割模型进行训练；第一损失确定装置，用于确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失；第二损失确定装置，用于基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第一训练样本集的总识别损失；以及调整装置，用于根据所述第一训练样本集的总识别损失，对所述图像分割模型的参数进行调整。

有关本发明提供的图像分割模型的训练系统的具体细节及益处可参阅上述针对图像分割模型的训练方法的描述，于此不再赘述。

本发明第五方面提供一种图像分割系统，所述图像分割系统包括：输入装置，用于将图像输入由所述的图像分割模型的训练系统训练的图像分割模型；以及分割装置，用于通过所述图像分割模型，分割并输出所述图像中的多个预设对象。

有关本发明提供的图像分割系统的具体细节及益处可参阅上述针对图像分割方法的描述，于此不再赘述。

本发明第六方面提供一种图像矢量化系统，所述图像矢量化系统包括：所述的图像分割系统，用于对所述图像进行分割，以获取所述图像中的多个预设对象；组合装置，用于对所获取的所述多个预设对象进行组合，以形成组合图像；以及后处理装置，用于对所述组合图像进行后处理，以获取矢量化图像。

有关本发明提供的图像矢量化系统的具体细节及益处可参阅上述针对图像矢量化方法的描述，于此不再赘述。

本发明第七方面提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器执行所述的图像分割模型的训练方法、所述的图像分割方法和/或所述的图像矢量化方法。

本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明实施例，但并不构成对本发明实施例的限制。在附图中：

图1是本发明一实施例提供的图像分割模型的训练方法的流程图；

图2是本发明一实施例提供的由图像分割模型提取的墙体的示意图；

图3是本发明一实施例提供的图像矢量化系统的示意图；

图4是本发明一实施例提供的图像矢量化方法的流程图；

图5是本发明一实施例提供的图像分割模型的训练系统的结构图；以及

图6是本发明一实施例提供的图像矢量化系统的结构图。

具体实施方式

以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。

在介绍本发明各个实施例之前，先对本发明所涉及的图像矢量化系统进行简要的说明。

如图6所示，本发明所涉及的图像矢量化系统可包括：图像分割系统10(例如，图3所示的深度神经网络分割(dnn)模块)、组合装置20(例如，图3所示的整数优化(ip)模块)及后处理装置30(例如，图3所示的矢量化后处理(vetor-processing)模块)。所述图像矢量化系统的输入是栅格化的户型图，首先，图像分割系统10(例如，dnn模块)进行角点位置回归以及高层语义(例如，墙体、墙体类型、墙体附件等元素及其语义)分割。其中，所述图像分割系统所依赖的图像分割模型是被训练好的，所述图像分割模型的训练过程也是本发明的重要改进点之一。其次，在得到低级和高级语义元素之后，组合装置20(例如，ip模块)会进行这些语义元素进行优化组合，以得到符合多个户型语义约束和先验的最优解，即中间矢量。最终，通过后处理装置30(例如，矢量化后处理模块)得到最终的标准矢量。相对于中间矢量，标准矢量可包含户型的诸多更高级的语义，例如面语义(附件之间的图(graph)关系、户型的几何尺寸等等)。由此，本发明不需要任何人工介入修正，可高精度地将栅格化的户型图转换为具有丰富语义信息的结构化数据(标准矢量)。

图1是本发明一实施例提供的图像分割模型的训练方法的流程图。所述训练方法可包括步骤s101-s104。其中，所述图像分割模型采用深度神经网络(其以基于gpu并行运算的drn(dilatedresidualnetwork)为骨干网络)，对于各类元素进行分割(即特征提取)。

在执行所述步骤s101之前，需要对第一训练样本集中的图像上的各个元素进行标注。具体地，可采用现有的各种方式对所述多个元素进行标注。

下面以户型图为例对该户型图中的各个元素进行简单的说明。

(a)角点：指户型元素的连接点。

i.基于曼哈顿假设，即所有墙体都是横平竖直的。

ii.角点分为3大类：

1.墙体角点：l型、t型、x型。

2.墙体附件角点：上、下、左、右。

3.摆件角点：上、下、左、右。

iii.每个大类的角点，除了x型外分别有4种可能的朝向。

(b)墙体：指户型中墙体。

(c)墙体类型：分别是承重墙、非承重墙及栅栏等。

(d)墙体附件：依附与墙体上的附件可包括门、窗与垭口。其中，门可有3大类，以及窗可有4类。

(e)分间：分间是指一个户型的独立的房间。例如卧室、卫生间等。

(f)摆件：摆件是指户型图中的摆件。例如沙发、马桶等。

在对图像分割模型进行训练之前，可先对用于对该模型进行训练的训练样本集中的图像进行预处理。

例如，为了将图像中的干扰因素(例如干扰点或干扰线)去掉，在一实施例中可提前对图像进行预处理，例如图像膨胀处理。所述训练方法还可包括：对所述第一训练样本集进行图像膨胀。具体地，可采用预设膨胀半径对所述第一训练样本集进行图像膨胀，其中所述预设膨胀半径可为各个图像的对角线长度的0.01倍。为了增加角点的样本量，在另一实施例中可对图像中的角点区域进行膨胀。所述训练方法还可包括：采用高斯卷积核与菱形卷积核对所述第一训练样本集中的角点样本中的角点正样本进行膨胀。当然，在又一实施例中，所述训练方法还可包括：对所述第一训练样本集进行图像膨胀；以及采用高斯卷积核与菱形卷积核对所述第一训练样本集中的角点样本中的角点正样本进行膨胀。

步骤s101，基于深度神经网络，采用第一训练样本集对所述图像分割模型进行训练。

可采用深度神经网络提取所述第一训练样本集中的多个预设对象样本。在所述图像为户型图像的情况下，以提取角点样本为例，深度神经网络根据角点的标注生成像素级的角点样本；以提取墙体样本为例，深度神经网络根据墙体的标注生成像素级的墙体样本，如图2所示；或者，以提取墙体附件为例，深度神经网络根据墙体附件的标注生成像素级的墙体附件样本。类似地，可通过深度神经网络根据其他类型的标注识别相应样本。

步骤s102，确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失。

在所述图像为户型图像的情况下，所述多个预设对象至少可包括：角点及多个墙体元素。

相应地，所述步骤s102可包括：确定所述第一训练样本集中的角点样本的识别损失；以及确定所述第一训练样本集中的多个墙体元素样本中的每一者的识别损失。

由于学习目标区域(例如，角点区域)占图像区域的比例过小，因此可采用自定义因子γ的焦点损失(focalloss)算法来学习关键小目标，以此实现高精度户型元素识别。其中所述自定义因子γ可按照户型元素的重要性和像素分布动态设定(例如γ＝1.5)。在一实施例中，所述确定所述第一训练样本集中的角点样本的识别损失可包括：确定所述角点样本中的角点正样本被识别为正样本的概率；以及基于焦点损失算法及所述角点正样本被识别为正样本的概率，获取所述角点样本的识别损失。

由于角点样本具有多种类型的样本且难以被正确识别，故在本实施例中可针对同类型的角点样本，采用二分类预测方式对其进行分类。所述确定所述角点样本中的角点正样本被识别为正样本的概率可包括：采用二分类预测的方式对每个角点类型所对应的角点样本进行分类；以及根据所述每个角点类型所对应的角点样本的分类结果，确定所述角点正样本被识别为正样本的概率。

具体地，针对x型角点，通过深度神经网络对多个角点样本进行二分类预测，以确定其是否为x型角点；然后并在二分类预测结果显示某角点样本为x型角点且该角点样本为正样本的情况下，确定该角点正样本被识别为正样本，类似地可确定多个角点样本中的任意样本是否被识别为正样本；最后，在确定多个角点样本的识别结果的情况下，输出所述多个角点样本中的角点正样本被识别为正样本的概率pt。

在获取角点正样本被识别为正样本的概率pt的情况下，根据焦点损失算法公式及pt，计算所述角点样本的识别损失fl(pt)，

fl(pt)＝-(1-pt)^γlog(pt)。

在上述实施例中，采用焦点损失算法学习关键小目标，实质上是给小目标的错误识别结果以更大的惩罚(即损失较大)，由此可实现针对关键小目标的有效且精确的学习效果。

在一实施例中，所述确定所述第一训练样本集中的多个墙体元素样本中的每一者的识别损失可包括：针对所述多个墙体元素样本中的每个墙体元素样本，确定所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率；以及基于交叉熵损失算法及所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率，获取所述每个墙体元素样本的识别损失。

其中，所述多个墙体元素可包括：墙体及墙体类型、墙体附件、分间与摆件中的至少一者。

具体地，通过深度神经网络对多个墙体元素样本中的每个墙体元素样本进行多分类预测，以确定所述每个墙体元素样本的分类结果；然后根据每个墙体元素样本的分类结果，确定所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率pt。

在获取墙体元素正样本被识别为正样本的概率pt的情况下，根据交叉熵损失算法公式及pt，计算所述角点样本的识别损失ce(pt)，

ce(pt)＝-log(pt)。

在另一实施例中，所述多个预设对象还可包括：户型的几何尺寸。相应地，所述步骤s102还可包括：确定所述第一训练样本集中的户型图像样本的几何尺寸的识别损失。其中，所述确定所述第一训练样本集中的户型图像样本的几何尺寸的识别损失可包括：针对所述户型图像样本中的各个类型户型图像样本，确定所述各个类型户型图像样本的几何尺寸的预测值；以及基于二次损失算法及所述各个类型户型图像样本的几何尺寸的预测值与实际值，获取所述几何尺寸样本的识别损失。其中，所述几何尺寸可包括户型的面积或(与原户型图像的几何尺寸相比的)缩小比例。

具体地，通过深度神经网络确定各个类型户型图像样本的几何尺寸的预测值f(i)；然后根据各个类型户型图像样本的几何尺寸的预测值f(i)与实际值y(i)及二次损失算法公式，计算所述几何尺寸的识别损失l2，

其中，n为所述第一训练样本集中的户型图像的类型的总个数。不同户型图像的类型是指户型的类型，例如一室一厅或二室一厅等类型

由于不同预设对象样本的分布比重不均衡，可能导致不同预设对象样本的识别损失差异较大(例如某个预设对象样本的识别损失非常大，而某个预设对象样本的识别损失非常小)，故若直接通过将各个识别损失进行加和的方式求得总识别损失，则该总识别损失不能合理且准确地评价整个图像的识别损失，从而导致无法通过总识别损失准确地评价图像分割模型的识别能力。由此，在步骤s103中通过设置与每个预设对象样本的识别损失相关的预设权重，来平衡各个预设对象样本的不均衡分布。

步骤s103，基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第一训练样本集的总识别损失。

其中，所述多个预设对象中的每一者的识别损失的预设权重可通过以下方式获取：通过所述图像分割模型对标准训练样本集进行识别，以获取所述多个预设对象样本；确定所述多个预设对象样本中的每一者的识别损失；根据所述多个预设对象样本中的每一者的识别损失，确定每个预设对象的识别损失的预设权重。例如，可将每个预设对象样本的识别损失的数量级作为每个预设对象样本的识别损失的预设权重。

具体地，可对每个预设对象样本的识别损失与相应的预设权重的乘积进行加和，以计算整个第一训练样本集的总识别损失。

步骤s104，根据所述第一训练样本集的总识别损失，对所述图像分割模型的参数进行调整。

对于步骤s104，所述对所述图像分割模型的参数进行调整可包括：在所述第一训练样本集的总识别损失小于或等于损失阈值的情况下，确定所述图像分割模型已被训练完成。也就是说，若总识别损失满足预设的损失阈值，则表明图像分割模型已被训练好，即后续可直接采用该训练好的图像分割模型对图像进行分割。

若总识别损失不满足预设的损失阈值，则表明图像分割模型未被训练好，需要根据总识别损失对该模型进行调整，并继续对调整后的模型进行下述迭代训练(与上述对模型进行训练的过程类似，只不过使用的训练样本集可能不同)。

所述对所述图像分割模型的参数进行调整还可包括：在所述第一训练样本集的总识别损失大于损失阈值的情况下，调整所述图像分割模型的参数。相应地，所述训练方法还可包括：基于深度神经网络，采用第二训练样本集对调整后的图像分割模型进行训练；确定所述第二训练样本集中的多个预设对象样本中的每一者的识别损失；基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第二训练样本集的总识别损失；以及根据所述第二训练样本集的总识别损失，对所述调整后的图像分割模型的参数进行调整。

也就是说，采用调整后的图像分割模型对第二训练样本集进行识别处理之后，确定第二训练样本集的总识别损失；若第二训练样本集的总识别损失大于所述损失阈值，则继续采用上述迭代训练方式对模型进行调整，而若第二训练样本集的总识别损失小于或等于所述损失阈值，则确定所述模型已被训练完成。

综上所述，本发明创造性地基于深度神经网络对图像分割模型进行训练，并确定第一训练样本集中的每个预设对象样本的识别损失，基于所述每个预设对象样本的识别损失及其所占的预设权重，确定所述第一训练样本集的总识别损失，然后根据所述总识别损失对图像分割模型的参数进行调整，由此基于所训练的图像分割模型可对栅格化的户型图的多通道元素进行鲁棒且准确的识别，从而可高精确地实现栅格化户型图的矢量化，进而通过矢量化的户型图实现相似户型的高召回。

本发明一实施例还提供一种图像分割方法，所述图像分割方法包括：将图像输入根据所述的图像分割模型的训练方法训练的图像分割模型；以及通过所述图像分割模型，分割并输出所述图像中的多个预设对象。

具体地，采用区域插值(inter_area)方法，将待预测图像放缩到网络输入大小；通过图像分割模型获取多通道热力分割图，如图3所示的角点、附件、墙体类型等热力分割图；以及提取分割得到的点(例如角点)、线(例如墙体)、面(例如分间)等原始元素以及各元素对应的户型语义(例如对于墙体类型而言，户型语义可为承重墙、非承重墙等)。在对图像进行缩小处理时，采用区域插值方法可避免出现波纹现象。

综上所述，本发明创造性地可采用训练好的图像分割模型对图像进行分割，以准确地获取关于图像的多通道元素，从而可高精确地实现栅格化户型图的矢量化，进而通过矢量化的户型图实现相似户型的高召回。

图4是本发明一实施例提供的图像矢量化方法的流程图。如图4所示，所述图像矢量化方法可包括步骤s401-s403。

步骤s401，根据所述的图像分割方法，对所述图像进行分割，以获取所述图像中的多个预设对象。

对于步骤s401的具体分割过程可参见上述图像分割方法的相关描述内容，于此不再对其进行赘述。

步骤s402，对所获取的所述多个预设对象进行组合，以形成组合图像。

对于步骤s402，所述对所获取的所述多个预设对象进行组合可包括：通过整数优化模型并采用多个预设约束条件，对所述多个预设对象进行组合。

也就是说，将dnn模块生成的户型基本元素和语义进行组合优化,得到最优解。具体地，所述多个预设约束条件可包括以下内容(a)-(d)：

(a)独热约束(one-hotencodingconstraints)：所有墙体角点必须只能且只能用一次。

(b)连接性约束：约束连接点的度数(几条墙体)。

(c)近邻互斥：近距离元素互斥。

(d)墙体附件依附约束：开口必须在墙上。

步骤s402的优化目标为在满足约束条件下，角点(连接点)及各个元素的语义的数量越多越好。该步骤s402的优化结果为得到一个符合多个预设预设条件和先验的最优解(即中间矢量)。也就是说，该中间矢量具有语义信息的户型基本元素，具体包括：户型不同类型的角点以及角点对应的户型元素(墙体、墙体附件、摆件、分间等)。

步骤s403，对所述组合图像进行后处理，以获取矢量化图像。

该步骤s403是将通过步骤s402求解出的最优的户型基本元素组合，进行矢量化后处理。后处理目的是获取户型的标准矢量，其可包含户型的诸多更高级的语义(例如面语义、附件之间的图(graph)关系、户型的几何尺寸等等)。

在一实施例中，在所述图像为户型图像的情况下，所述对所述组合图像进行后处理包括：建立所述图像的面语义。其中，面可包括分间与摆件。所述建立图像的面语义是指建立这些面语义的线段，换言之，建立分间的墙线与摆件的边框线；并根据所述分间的语义及所述摆件的语义，分别标记所述墙线围成的分间的语义与所述边框线的语义。

其中所述分间的语义及所述摆件的语义可由上述图像分割模型直接预测，也可采用其他技术手段对述分间的语义及所述摆件的语义进行识别。

具体地，在所述多个预设对象包括分间和摆件的情况下，所述建立所述图像的面语义包括：建立所述组合图像中的双向链接边表；以及基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

若认为根据图像分割模型中的语义预测不准确，则在本实施例中还可使用定制化的光学字符识别(ocr)技术来对语义文字进行识别，以识别到的分间/摆件中的文字作为分间/摆件的语义(或类型)(例如，识别手绘户型图中标注有“卧室”的多边形为卧室(分间类型)以及标注有“沙发”的多边形为沙发(摆件类型))。在所述多个预设对象包括分间的语义和摆件的语义的情况下，所述建立所述图像的面语义包括：建立所述组合图像中的双向链接边表；采用光学字符识别技术对所述图像中的字段进行识别，以确定所述分间的语义及所述摆件的语义；以及基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

在上述实施例中，定制化的ocr方法并非通用的ocr，定制化的ocr方法需要对已知户型中的文字进行针对性训练和优化。由于仅涉及到特定文字的识别，故本实施例可精确识别户型图中的语义信息。

在另一实施例中，在所述图像为户型图像的情况下，所述对所述组合图像进行后处理可包括：采用广度遍历算法建立所述图像的分间图关系。

所述分间图关系是指在户型的分间之间的拓扑关系。具体地，(例如，采用广度遍历算法)通过邻接矩阵来表示不同的分间，并且将各个分间的类型标注在相应的邻接矩形中。由此，在后续根据矢量化图像进行户型匹配的过程中，无需遍历各个分间来确定特定类型的分间，而可通过分间图关系直接确定特定类型的分间，从而可实现户型的快速召回。

在组合得到与栅格化的户型图相对应的组合图像后，相当于得到一个无(真实)尺寸的户型图，但这对于后续的应用会非常极大的障碍。例如，在户型改造/装修中，如果不能得到真实的尺寸也就无法做二次加工，因为相同布局的50平和100平的户型在方案和设计上会有很大的区别。又如，在户型找房的场景中，户型的面积会直接关系到找到相似房源的准确性。

在再一实施例中，在所述图像为户型图像的情况下，所述对所述组合图像进行后处理可包括：基于所述图像中的特定对象，确定所述图像的几何尺寸。

所述确定所述图像的几何尺寸可包括：根据所述的图像分割方法及所述图像，分割并输出所述图像的几何尺寸；基于所述图像中的具有特定尺度的特定对象，推定所述图像的几何尺寸；和/或采用光学字符识别技术对所述图像中的字段进行识别，以确定所述图像的几何尺寸。

具体地，户型中存在很多几何尺寸不变的元素，例如门宽一般是80～90cm，马桶宽读一般在30～40cm。因此，根据这些元素的几何尺寸，可以通过比例关系可反推出户型的几何尺度。由于上述元素的几何尺寸均符合国家标准，通常这种反推结果的误差会比较小。或者，也可采用定制化的ocr技术对户型的几何尺度进行推理。例如，可通过所述定制化的ocr技术识别户型中的标注线以及面积关键字的标注。当然，还可通过上述图像分割模型的推理能力，推断户型的几何尺寸。由于模型经过数百万张户型的训练，因此对于户型布局与尺寸之间的模式已经有了置信度非常高的判断，例如，某种一室一厅的户型一般都是在40～50平之间。

在又一实施例中，所述对所述组合图像进行后处理还可包括：建立所述图像的面语义；采用广度遍历算法建立所述图像的分间图关系；以及基于所述图像中的特定对象，确定所述图像的几何尺寸。

综上所述，本发明创造性地根据上述图像分割方法对图像进行分割，并对分割得到的多个预设对象进行组合，以形成组合图像，然后对所述组合图像进行后处理，从而获取矢量化图像(例如矢量化的户型图)，进而通过矢量化的户型图实现相似户型的高召回。

图5是本发明一实施例提供的图像分割模型的训练系统的结构图。如图5所示，所述训练系统包括：训练装置1，用于基于深度神经网络，采用第一训练样本集对所述图像分割模型进行训练；第一损失确定装置2，用于确定所述第一训练样本集中的多个预设对象样本中的每一者的识别损失；第二损失确定装置3，用于基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第一训练样本集的总识别损失；以及调整装置4，用于根据所述第一训练样本集的总识别损失，对所述图像分割模型的参数进行调整。

优选地，在所述图像为户型图像的情况下，所述多个预设对象至少包括：角点及多个墙体元素，相应地，所述第一损失确定装置2包括：第一损失确定模块(未示出)，用于确定所述第一训练样本集中的角点样本的识别损失；以及第二损失确定模块(未示出)，用于确定所述第一训练样本集中的多个墙体元素样本中的每一者的识别损失。

优选地，所述第一损失确定模块包括：第一概率确定单元，用于确定所述角点样本中的角点正样本被识别为正样本的概率；以及第一损失获取单元，用于基于焦点损失算法及所述角点正样本被识别为正样本的概率，获取所述角点样本的识别损失。

优选地，所述第二损失确定模块包括：第二概率确定单元，用于针对所述多个墙体元素样本中的每个墙体元素样本，确定所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率；以及第二损失获取单元，用于基于交叉熵损失算法及所述每个墙体元素样本中的墙体元素正样本被识别为正样本的概率，获取所述每个墙体元素样本的识别损失。

优选地，所述多个预设对象还包括：户型的几何尺寸，相应地，所述第一损失确定装置2还包括：第三损失确定模块，用于确定所述第一训练样本集中的户型图像样本的几何尺寸的识别损失。

优选地，所述第三损失确定模块包括：第三概率确定单元，用于针对所述户型图像样本中的各个类型户型图像样本，确定所述各个类型户型图像样本的几何尺寸的预测值；以及第三损失获取单元，用于基于二次损失算法及所述各个类型户型图像样本的几何尺寸的预测值与实际值，获取所述户型图像样本的几何尺寸的识别损失。

优选地，所述多个墙体元素包括：墙体及墙体类型、墙体附件、分间与摆件中的至少一者。

优选地，所述调整装置4用于对所述图像分割模型的参数进行调整包括：在所述第一训练样本集的总识别损失小于或等于损失阈值的情况下，确定所述图像分割模型已被训练完成。

优选地，所述调整装置4用于对所述图像分割模型的参数进行调整包括：在所述第一训练样本集的总识别损失大于损失阈值的情况下，调整所述图像分割模型的参数，相应地，所述训练装置1还用于，基于深度神经网络，采用第二训练样本集对调整后的图像分割模型进行训练；所述第一损失确定装置2还用于，确定所述第二训练样本集中的多个预设对象样本中的每一者的识别损失；所述第二损失确定装置3还用于，基于所述多个预设对象样本中的每一者的识别损失及所述多个预设对象中的每一者的识别损失所占的预设权重，确定所述第二训练样本集的总识别损失；以及所述调整装置4还用于，根据所述第二训练样本集的总识别损失，对所述调整后的图像分割模型的参数进行调整。

所述训练系统还包括：第一预处理装置(未示出)，用于对所述第一训练样本集进行图像膨胀；和/或第二预处理装置(未示出)，用于采用高斯卷积核与菱形卷积核对所述第一训练样本集中的角点样本中的角点正样本进行膨胀。

有关本发明提供的图像分割模型的训练系统的具体细节及益处可参阅上述针对图像分割模型的训练方法的描述，于此不再赘述。

本发明一实施例还提供一种图像分割系统10，所述图像分割系统10可包括：输入装置(未示出)，用于将图像输入由所述的图像分割模型的训练系统训练的图像分割模型；以及分割装置(未示出)，用于通过所述图像分割模型，分割并输出所述图像中的多个预设对象。

有关本发明提供的图像分割系统的具体细节及益处可参阅上述针对图像分割方法的描述，于此不再赘述。

图3是本发明一实施例提供的图像矢量化系统的结构图。如图3所示，所述图像矢量化系统可包括：所述的图像分割系统10，用于对所述图像进行分割，以获取所述图像中的多个预设对象；组合装置20，用于对所获取的所述多个预设对象进行组合，以形成组合图像；以及后处理装置30，用于对所述组合图像进行后处理，以获取矢量化图像。

优选地，所述组合装置20用于对所获取的所述多个预设对象进行组合包括：通过整数优化模型并采用多个预设约束条件，对所述多个预设对象进行组合。

优选地，在所述图像为户型图像的情况下，所述后处理装置30包括：面语义建立模块(未示出)，用于建立所述图像的面语义；图关系建立模块(未示出)，用于采用广度遍历算法建立所述图像的分间图关系；和/或尺寸确定模块(未示出)，用于基于所述图像中的特定对象，确定所述图像的几何尺寸。

优选地，在所述多个预设对象包括分间和摆件的情况下，所述面语义建立模块包括：第一建立单元，用于建立所述组合图像中的双向链接边表；以及第二建立单元，用于基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

优选地，在所述多个预设对象包括分间和摆件的情况下，所述面语义建立模块包括：第三建立单元，用于建立所述组合图像中的双向链接边表；类型确定单元，用于采用光学字符识别技术对所述图像中的字段进行识别，以确定所述分间的语义及所述摆件的语义；以及第四建立单元，用于基于所述分间的语义、所述摆件的语义及所述双向连接边表，建立所述图像的面语义。

优选地，所述尺寸确定模块包括：第一尺寸确定单元，用于由所述的图像分割系统及所述图像，分割并输出所述图像的几何尺寸；第二尺寸确定单元，用于基于所述图像中的具有特定尺度的特定对象，推定所述图像的几何尺寸；和/或第三尺寸确定单元，用于采用光学字符识别技术对所述图像中的字段进行识别，以确定所述图像的几何尺寸。

有关本发明提供的图像矢量化系统的具体细节及益处可参阅上述针对图像矢量化方法的描述，于此不再赘述。

本发明一实施例还提供一种机器可读存储介质，所述机器可读存储介质上存储有指令，该指令用于使得机器执行所述的图像分割模型的训练方法、所述的图像分割方法和/或所述的图像矢量化方法。

以上结合附图详细描述了本发明实施例的可选实施方式，但是，本发明实施例并不限于上述实施方式中的具体细节，在本发明实施例的技术构思范围内，可以对本发明实施例的技术方案进行多种简单变型，这些简单变型均属于本发明实施例的保护范围。

另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本发明实施例对各种可能的组合方式不再另行说明。

本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。