对墙体进行人工智能语义分割的方法与流程

1.本发明涉及一种对建筑体构件进行高效的语义分割方法，尤其涉及一种对墙体进行人工智能语义分割的方法，属于图形人工智能处理领域。


背景技术：

2.在分层分户建模过程中，需要根据“户”这个语义对需要建模的实体进行分割，以弄清每一种墙体的分布以及窗体的位置大小，为后期施工带来施工参考图样。因为对于现代家庭装潢，一些墙体并非是业主一开始就理想的存在，敲墙和重新砌墙大多数情况下是需要的。因此如何在原始建筑图纸中进行高效地不同墙体材料构成的墙体进行标注，例如非承重墙和承重墙，空心砖墙体、二次结构等。由于建筑平面图在绘制时，是不考虑分户的，它是一个整层的平面图，而且一个小区甚至一个建造单位所建造的各类房屋的结构中墙体的分布多样，这对于大量时空部分不同的需要完成上述待标注墙体的建筑来说，人工是不可能低成本地完成的。因此如何考虑高效地完成所有小区或者某一个建造单位所建造的所有建筑的墙体标注，成为了当下建筑图纸绘制亟待解决的技术问题。
3.而现有技术针对该问题，一方面，往往是注意力集中在每一栋大楼中的每一楼层的墙体标注，而当换一栋楼标注时，又要设计师重新在图纸上进行标绘，实际上是在绘制建筑图纸时进行了人工的额外标注操作。这样总体上降低了建筑图纸的标绘。
4.另一方面，现有技术都是考虑在设计房屋图纸之后进行语义分割，属于事后处理，整体语义分割效率低。现有技术没有注意到在设计之时就积累语义分割所需要的数据，从而在设计完成时即可通过人工智能算法，尤其是图像识别算法而获得相当于利用语义分割算法而获得的相对精确的分割结果。


技术实现要素：

5.针对上述问题，本发明考虑如下三个方面，第一对于每一个小区进行楼栋分区，每个楼栋进行分层，并且每一层中进行分户，形成多维度的墙体标绘图像，为整体高效地标绘大小图形结构基础；第二，对于每一种墙体进行定位和在多维度标绘图像进行排布，作为人工智能识别的特征形成的基础，第三，对于多维度标绘图像中的被定位和排布的墙体进行语义赋予以及包围盒处理以形成。本发明的墙体包括墙和窗，但不包括门。本发明所指的材料包括非承重墙和承重墙，空心砖墙体、二次结构等分类下的材料，以表示该材料是属于非承重墙和承重墙，空心砖墙体、二次结构等结构类型。
6.鉴于此，本发明提供了一种对墙体进行人工智能语义分割的方法，其特征包括如下步骤，
7.s1获取一个小区的每一栋楼的多图层建筑图纸，几何类型为polygon；其中多图层包括顶图层数据、基底图层数据、墙图层数据、窗图层数据、门图层数据；
8.s2对步骤s1的数据进行楼栋字段、户字段进行赋值，形成楼栋语义和户语义；
9.s3对于墙图层数据和窗图层数据进行语义分割，并且形成生成的最终模型包围盒
数据。用于后继的要素构造实体算法。
10.优选地，在步骤s3对于墙图层数据和窗图层数据进行语义分割之后，形成生成的最终模型包围盒数据之前还包括如下步骤：
11.s4对于多个不同小区的每一栋建筑进行步骤s1-s3，形成小区语义，同时基于已经分割的墙语义以及窗语义生成多维度标绘图像，划分成训练集、验证集、测试集，比例为5-1:1:1-3，并且以多维度标绘图像的训练集为输入端进行生成对抗网络的训练，形成墙体语义分割模型；
12.s5根据待语义标注的建筑图纸中根据设计需要而设置墙体的位置或寻找到已设计完成的图纸中需要标注的墙体的位置，以及墙体材料，而将墙、窗、坐标对应的彩色值填入具有步骤s4中划分样式的空白多维度标绘图像像素中，并且将填满颜色值的多维度标绘图像输入墙体语义分割模型中以完成墙体语义分割。
13.其中，步骤s3中墙图层数据和窗图层数据进行语义分割具体包括：
14.s3-1：整个流程的预备输入一个参数对象；
15.s3-2：根据s3-1，分析出输入图层，后继将会对此图层进行语义分割处理。此图层可以是持久化图层、内存图层、上下文图层、数据库图层；
16.s3-3：根据s3-1，分析出被延长长度参数；应当理解的是，不同的输入参数对象可能不能准确匹配图纸上墙体真实尺寸，因此需要延长长度使得尺寸配准。
17.s3-4：对s3-2的输入图层进行几何融合处理，使之成为一个多边形的单独的要素；
18.s3-5：对s3-4的单独要素剔除其多边形中间的洞；
19.s3-6：对s3-5、s3-2的输入图层的面数据，进行线抽稀，形成一个线数据，线数据中的每段和其相邻段的角度差小于预设的角度δ
angle
，δ
angle
＜0.1
°
；
20.s3-7：对s3-6的线数据，进行延长，长度为步骤s3-3的参数；
21.s3-8：对s3-7延长后的线数据，进行多边形化处理，形成新的多边形数据；
22.s3-9：对s3-8的多边形数据进行墙体提取，此时所有墙体均基于户语义进行了几何切割；也即户语义下不同户中进行的几何切割操作与该被几何切割的户相对应。
23.其中切割的方法如下：
24.对于所述小区中的每一栋中的每一非公共户的墙体，在图纸俯视视角，先从左往右或从右往左，再从上往下或从下往上进行切割，所述切割的原则是设定一条直线切割线，在切割线竖直状态下，从左往右或从右往左进行移动过程中，只要遇到所述视角下水平的墙体或窗体的一末端即进行竖直分割；而在切割线水平状态下，从上往下或从下往上移动过程中，只要遇到所述水平的墙体的墙面即进行水平分割，以最终生成对于所有非公共户套内墙体的矩形切割几何图形；
25.s3-10：对s3-9切割后的数据进行语义赋值，形成墙语义和窗语义；所述语义赋值包括，每一个矩形切割几何图形按照材料种类进行彩色值(即墙彩色值和窗彩色值)赋予，以及矩形对角线的两个端点在小区中的地理坐标；
26.s3-11：对s3-10的所有要素数据，根据相关文件标准，进行持久化，以备后继处理。
27.可以理解的是，根据多维度标绘图像的输入语义分割模型，在步骤s5中用户可以任意设计或者在设计完成的图纸上任意标注所需要语义分格的墙体位置，只需要点击墙体的对角线端点就能确定一个矩形切割几何图形，从而根据需要选择任意多个需要语义标注
的墙体，从而输入模型中获得相当于经过步骤s3的算法对应的语义分割结果，比人工手绘标注更加精确，尽管仍然需要人工手动选择端点，但是比每个墙体的包围线段绘制要省力高效，精确得多。并且根据需要而设计墙体时，将设计时随时记录的墙体位置和材质而在设计完成时获得了多维度标绘图像，输入模型之后即在设计完成时完成了语义分割步骤s4中基于已经分割的墙语义以及窗语义生成多维度标绘图像，具体包括如下步骤：
28.s4-1根据小区语义、楼栋语义、户语义将一个空白图像区域划分为多维度的空白格点方阵；
29.s4-2对于每一个户语义格点中按照所述墙语义和窗语义中的所述地理坐标和墙和窗的水平和竖直位置情况而赋予户语义格点以墙彩色值、窗彩色值，以及根据预设映射规则由坐标而转换成的坐标彩色值，形成多像素图像，以生成多维度标绘图像。
30.其中s4-1具体包括：
31.s4-1-1按照小区语义将空白图像划分成多个小区格点，并且每个小区格点都有对应的小区语义值，所述小区语义值为小区的编号、预设代表小区的地理坐标、代表小区的小区色彩值中任一项或其组合；
32.s4-1-2对于每一个划分形成的小区格点中进一步划分多个楼栋格点，并且每个楼栋格点都有对应的楼栋语义值，所述楼栋语义值为楼栋的编号、预设代表楼栋的地理坐标、代表楼栋的楼栋色彩值中任一项或其组合；
33.s4-1-3对于每一个划分形成的楼栋格点中进一步划分多个户格点，并且每个户格点都有对应的户语义值，所述户语义值为户的编号、预设代表户的地理坐标、代表户的户色彩值中任一项或其组合；并且按照楼层排布而从楼栋格点中继续划分多个楼层格点，每个楼层格点中进行划分多个所述户格点；
34.其中s4-2具体包括：
35.s4-2-1在每个户格点中，先从左往右或者从右往左，再从上至下或从下至上，依次排布每一个墙彩色值及墙对应的两个对角线端点坐标彩色值、每一个窗彩色值及窗对应的两个对角线端点坐标彩色值，所述对角线端点坐标彩色值按照在所述视角下的左上右下，或者右上左下的顺序排布，而墙彩色值及墙对应的两个对角线端点坐标彩色值之间，以及窗彩色值及窗对应的两个对角线端点坐标彩色值之间则可以是先是排布前者再后者或者反之排布，每一个墙、窗、端点坐标，这三者对应的彩色值排布具体是对应形成一个赋予对应的彩色值的像素点而被排布在所述的每个户格点中；具体的每个墙和每个窗各自的对应的所述像素点排布是在所述视角下，同样是所述先从左往右或者从右往左，再从上至下或从下至上找到每个墙或每个窗的顺序进行排序；
36.s4-2-2将每一个楼栋格点作为多维度标绘图像，将被填充上彩色值的所述空白图像划分成多个多维度标绘图像。
37.可以理解的是，所有排布可能中总是墙及其对角线端点坐标彩色值先排布，再排布窗及其对角线端点坐标彩色值。因为墙数量大于窗数量，因此在后期模型训练中考虑优先提取墙的特征，以体现算法针对的对象特征提取的主次分明，以防意外而停止计算时能够优先保存到尽可能多的提取到的墙相关的特征数据。由此，例如可能的一种排布是，在一个户格点中从左往右，从上至下一次排布每一个墙彩色值、墙左上端点坐标彩色值、墙右上端点坐标彩色值，然后是每一个窗彩色值、窗左上端点坐标彩色值、窗右上端点坐标彩色
值。也即排布完成所有墙彩色值及墙对应的两个对角线端点坐标彩色值之后，在进行排布所有窗彩色值及窗对应的两个对角线端点坐标彩色值，以完成一个户格点的像素点排布。
38.其中坐标彩色值选择右上端点坐标彩色值左下端点坐标彩色值，或左上端点坐标彩色值右下端点坐标彩色值的顺序排布，每一个端点坐标彩色值的排序包括，在所述视角下端点的横坐标彩色值和端点的纵坐标彩色值，或反之。
39.可选地，其中所述户格点形成h
×
h的矩阵，自然数1≤h≤3，楼层格点形成j
×
j的矩阵，自然数2≤j≤6，楼栋格点为n
×
n，自然数2≤n≤10，小区格点为m
×
m，自然数m≥1，每一个户格点为5k
×
5k个像素，自然数k≥7；对于空白的户格点、楼层格点、楼栋格点、小区格点都采用白色值赋值。也即按照最多一层八户，一栋最高32层，一个小区4-100幢计算。5k是指两个端点的坐标点横坐标，纵坐标一个占4个像素，材料对应像素值占一个像素点。
40.步骤s4中以多维度标绘图像的训练集为输入端进行生成对抗网络(gan)的训练，形成墙体语义分割模型具体包括：
41.s4-3将选一组训练集中的多维度标绘图像连同给定的噪声输入生成器g中，形成一组第一赝图；
42.优选地，所述给定的噪声为均匀分布函数或正态分布函数。
43.s4-4：将一组第一赝图与多组真实的语义分割后的建筑图纸一起输入判别器d中进行识别分类，重复步骤
44.s4-3和s4-4，每次选的一组训练集中多维度标绘图像都不同，每一次计算损失函数值，反向传播依次精细调整d网络参数，直到在多组真实的语义分割后的建筑图纸中以一定正确率识别出对应的最初输入一组第一赝图为止，完成判别器d的训练形成判别器d’，其中判别器d的判别真假的依据是将赝图与真实的语义分割后的建筑图纸进行差分而输入fc中输出给softmax函数进行二分类；
45.s4-5：将选一组训练集中多维度标绘图像连同给定的噪声输入生成器g中，形成一组第二赝图；
46.s4-6：将一组第二赝图与多组真实的语义分割后的建筑图纸一起输入判别器d’中进行识别分类，重复步骤s4-5和s4-6，每次选的组训练集中多维度标绘图像都不同，每一次计算损失函数值，反向传播依次精细调整g网络参数，直到在多组真实的语义分割后的建筑图纸中以一定正确率识别出对应的最初输入一组第二赝图为止，完成生成器g的训练形成生成器g’，作为墙体语义分割模型。
47.其中，生成器g和判别器d都为卷积神经网络模型，步骤s4-4判别器d具体训练过程是，多组真实的语义分割后的建筑图纸与多组第一赝图输入cnn模型得到的特征提取结果形成各自多组特征图，作差分后形成差分图，将其输入全连接fc中经过softmax函数分类，采用验证集验证准确率，并计算损失函数值进行反向传播调整cnn网络，直到准确率达到阈值和损失函数值趋稳为止。
48.其中s5中的所述墙体的位置的所述设置(对于根据设计需要而言，即墙体设计中)和所述标注(对于已设计完成的图纸而言)是同样按照步骤s3-9中的几何切割方法分别进行绘制而设置和切割而标注，而按照s4-2-1中的排序填入具有步骤s4中划分样式的空白多维度标绘图像像素中
49.优选地，将每一个矩形切割几何图形进行编号，并以按照s4-2-1中的墙和窗的彩
色值排序进行编号，以方便矩形切割几何图的搜寻并实现各所述彩色值按照s4-2-1中的排布顺序进行排布，以快速生成多维度标绘图像。
50.有益效果
51.1)通过基于几何数据处理的语义分割算法得到了矩形分割图形，作为墙体语义分割建模的数据，形成了精确语义分割结果；
52.2)采用涉及墙体的过程中收集墙体位置，材质的信息而获得人工智能图像识别获得了相当于几何数据处理的语义分割算法实现的精确语义分割结果，提高了语义标注的效率和精确性。
附图说明
53.图1a本发明语义分割方法的总流程图，
54.图1b本发明步骤s3中具体基于输入图层的墙体几何进行语义赋值的流程图，
55.图2本发明实施例1中某小区一栋建筑一楼层的一户中的墙体语义分割前，
56.图3本发明实施例1中某小区一栋建筑一楼层的一户中的墙体语义分割后的局部放大cad图，
57.图4本发明实施例2的多维度标绘图像结构示意图，
58.图5本发明实施例3gan语义分割模型的建立流程示意图，
59.图6按照本发明实施例3的方法将一个楼层生成的多维度标绘图像输入g’后完成的墙体语义分割前后的比对图，其中6a为语义分割前，6b语义分割后，
60.图7本发明实施例3中其他小区中某一户模型g’进行墙体语义分割之后在三维重建的白模。
具体实施方式
61.实施例1
62.本实施例将描述s1-s3的语义分割方法。如图1a所示，
63.s1获取一个小区的每一栋楼的多图层建筑图纸，几何类型为polygon；其中多图层包括顶图层数据、基底图层数据、墙图层数据、窗图层数据、门图层数据；
64.s2对步骤s1的数据文件进行楼栋字段、户字段进行赋值，形成楼栋语义和户语义；
65.s3对于墙图层数据和窗图层数据进行语义分割，并且形成生成的最终模型包围盒数据。用于后继的要素构造实体算法。
66.其中，如图1b所示，步骤s3中墙图层数据和窗图层数据进行语义分割具体包括：
67.s3-1：整个流程的预备输入是一个参数对象；
68.s3-2：根据s3-1，分析出输入墙图层，此图层可以是持久化图层、内存图层、上下文图层、数据库图层；
69.s3-3：根据s3-1，分析出被延长长度参数；
70.s3-4：对s3-2的输入图层进行几何融合处理，使之成为一个单独的要素；
71.s3-5：对s3-4的单独要素，剔除其多边形中间的洞；
72.s3-6：对s3-5、s3-2的输入图层的面数据，进行线抽稀，形成一个线数据，线数据中的每段和其相邻段的角度差小于预设的角度δ
angle
＝0.05
°
；
73.s3-7：对s3-6的线数据，进行延长，长度为步骤s3-3的参数；
74.s3-8：对s3-7延长后的线数据，进行多边形化处理，形成新的多边形数据；
75.s3-9：对s3-8的多边形数据进行墙和窗的提取，此时所有墙和窗均基于户语义进行了几何切割；
76.其中切割的方法如下：
77.对于所述小区中的每一栋中的每一非公共户的墙体，在图纸俯视视角，从左往右或从右往左，再从上往下或从下往上进行切割，所述切割的原则是设定一条直线切割线，先在切割线竖直状态下从左往右或从右往左进行移动过程中，只要遇到所述视角下水平的墙体(即分别是与竖直墙体连接的部分)或窗体的一末端即进行竖直分割；再在切割线水平状态下从上往下或从下往上移动过程中，只要遇到所述水平的墙体的墙面即进行水平分割，以最终生成对于所有非公共户套内墙体的矩形切割几何图形；
78.s3-10：对s3-9切割后的数据进行语义赋值，形成墙语义和窗语义；所述语义赋值包括，每一个矩形切割几何图形按照材料种类进行彩色值赋予，以及矩形对角线的两个端点在小区中的地理坐标；
79.如图2和3所示为某小区一栋建筑一楼层的一户中的墙体语义分割前后的局部放大cad图，其中切割后多了线条分别是在水平和竖直方向切割线留下的切割结果。其中待
×
的部分为无混凝土的非承重墙，可以拆除掉。
80.s3-11：对s3-10的所有要素数据，根据相关文件标准，进行持久化，以备后继处理。
81.实施例2
82.本实施例是多维度标绘图像生成的过程。
83.在实施例1的s3步骤之后还包括s4对于多个不同小区的每一栋建筑进行步骤s1-s3，形成小区语义，同时基于已经分割的墙语义以及窗语义生成多维度标绘图像，划分成训练集、验证集、测试集，比例为4:1:1，并且以多维度标绘图像的训练集为输入端进行生成对抗网络的训练，形成墙体语义分割模型；
84.s5将待语义标注的建筑图纸中根据设计需要而设置墙体的位置或寻找到已设计完成的图纸中需要标注的墙体的位置，以及墙体材料，而将墙、窗、坐标对应的彩色值填入具有步骤s4中划分样式的空白多维度标绘图像像素中，并且将填满颜色值的多维度标绘图像输入墙体语义分割模型中以完成墙体语义分割。
85.其中，步骤s4中基于已经分割的墙语义以及窗语义生成多维度标绘图像，具体包括如下步骤：
86.s4-1根据小区语义、楼栋语义、户语义将一个空白图像区域划分为多维度的空白格点方阵；
87.s4-2对于每一个户语义格点中按照所述墙语义和窗语义中的所述地理坐标和墙和窗的水平和竖直位置情况而赋予户语义格点以墙彩色值、窗彩色值，以及根据预设映射规则由坐标而转换成的坐标彩色值，形成多像素图像，以生成多维度标绘图像。
88.其中s4-1具体包括：
89.如图4所示，s4-1-1按照小区语义将空白图像划分成4
×
4个小区格点，并且每个小区格点都有对应的小区语义值，例如采用第一预定的rgb颜色值；
90.s4-1-2对于每一个划分形成的小区格点中进一步划分4
×
4个楼栋格点，并且每个
楼栋格点都有对应的楼栋语义值，例如采用第二预定的rgb颜色值；
91.s4-1-3对于每一个划分形成的楼栋格点中进一步划分8
×
8个户格点，并且每个户格点都有对应的户语义值，，例如采用第三预定的rgb颜色值；并且按照楼层排布而从楼栋格点中继续划分4
×
4个楼层格点，例如图4右上角小框框处的表示一个楼层的格点，其中每个楼层格点中进行划分2
×
2个所述户格点，一共划分8
×
8个户格点；
92.其中s4-2具体包括：
93.如图4所示，右边部为左半部最右上角的一户的户格点放大示意图，步骤s4-2-1在每个户格点中按照箭头方向先从右往左，再从上至下，依次排布每一个墙彩色值及墙对应的两个对角线端点坐标彩色值、每一个窗彩色值及窗对应的两个对角线端点坐标彩色值，所述对角线端点坐标彩色值按照在所述视角下的左上右下的顺序排布。
94.图4右边部分从右上角开始在设计墙体过程中或已设计完毕的cad图纸中对应这一户的矩形分割几何图形墙体，进行同样是先从右往左，再从上至下搜寻而获得语义值。即从右往左第一个搜寻到的墙的材料色彩值、左上横坐标色彩值、左上纵坐标色彩值、右下横坐标色彩值、右下横坐标色彩值的顺序排布。一共5个像素点表示一个矩形分割几何图形，然后接下来是第二个墙的排布，直到排布完比所有该户的墙体。
95.s4-2-2将每一个楼栋格点作为多维度标绘图像，将被填充上彩色值的所述空白图像划分成多个多维度标绘图像。
96.实施例3
97.描述gan语义分割模型的建立和利用该模型进行语义分割的结果。
98.如图5所示，步骤s4中以多维度标绘图像的训练集为输入端进行生成对抗网络(gan)的训练，形成墙体语义分割模型具体包括：
99.s4-3：根据实施例2的步骤s1-s4-1-s4-2及各自子步骤，获得多组多维度标绘图像以及对应的根据步骤s1-s3及其子步骤获得的真实的语义分割后的建筑图纸，将两者分别分成训练集和验证集，两者比例为4:1；
100.s4-4：将选一组训练集中多维度标绘图像连同正态分布函数输入生成器g中，形成一组第一赝图；
101.s4-5：将一组第一赝图与多组真实的语义分割后的建筑图纸一起输入判别器d中进行识别分类，重复步骤s4-4和s4-5，每次选的一组训练集中多维度标绘图像都不同，每一次计算损失函数值a，反向传播依次精细调整d网络参数，直到在多组真实的语义分割后的建筑图纸中以一定正确率acc1(＞90％)识别出对应的最初输入一组第一赝图为止，完成判别器d的训练形成判别器d’。
102.具体训练过程是，多组真实的语义分割后的建筑图纸与多组第一赝图输入cnn模型得到的特征提取结果形成各自多组特征图，作差分后形成差分图，将其输入全连接fc中经过softmax函数分类，采用验证集验证准确率，并计算损失函数值a进行反向传播调整cnn网络，直到准确率达到阈值(＞90％)和损失函数值趋稳为止。
103.s4-6：将选一组训练集中多维度标绘图像连同正态分布函数输入生成器g中，形成一组第二赝图；
104.s4-7：将一组第二赝图与多组真实的语义分割后的建筑图纸一起输入判别器d’中进行识别分类，重复步骤s4-6和s4-7，每次选的组训练集中多维度标绘图像都不同，每一次
计算损失函数值b，反向传播依次精细调整g网络参数，直到在多组真实的语义分割后的建筑图纸中以一定正确率acc2(＞95％)识别出对应的最初输入一组第二赝图为止，完成生成器g的训练形成生成器g’，墙体语义分割模型。
105.s5将待语义标注的建筑图纸中根据设计需要而设置墙体的位置，以及墙体材料，而将墙、窗、坐标对应的彩色值填入具有步骤s4中划分样式的空白多维度标绘图像像素中，并且将填满颜色值的多维度标绘图像输入墙体语义分割模型中以完成墙体语义分割。
106.其中，所述墙体的位置同样按照实施例2中步骤s3-9中的几何切割方法进行绘制而设置，而按照s4-2-1中的排序填入图4右半部划分样式的空白多维度标绘图像像素中。
107.并且，对几何切割方法形成的每一个矩形切割几何图形进行编号，按照图4右半部中描述的每一个墙体排序顺序进行编号，即5个像素点对应一个编号，代表一个墙体(即一个墙或窗对应的矩形切割几何图形)。在设计墙体时，同样从右往左，再从上至下对墙体所切割形成的矩形切割几何图进行编号，以方便矩形切割几何图的搜寻并实现各所述彩色值按照s4-2-1中的排布顺序进行排布，以快速生成多维度标绘图像。
108.图6a和6b分别是按照本实施例的方法将其中一个楼层生成的多维度标绘图像输入g’后完成的墙体语义分割前后的比对图。图7为其他小区中某一户按照本实施例的模型进行墙体语义分割之后三维重建的白模。其中的数字为户的编号。
109.可见通过该模型识别，能够精确地完成墙体语义的识别，从而当所有小区的每一栋的每一户设计墙体完毕时，只要将每一楼栋生成的多维度标绘图像批量输入g’就能得到每一个小区语义、楼栋语义、以及户语义下所有建筑图纸中的墙体语义分割结果。实现事毕同步完成语义分割结果，与事后进行语义分割相比大大提高了语义分割效率。