一种具有自适应透光性的门窗AR方法及系统与流程

一种具有自适应透光性的门窗ar方法及系统
技术领域
1.本发明涉及人工智能技术领域，具体涉及一种具有自适应透光性的门窗ar方法及系统。


背景技术：

2.ar技术，即增强现实技术广泛应用于多种领域。用户可根据ar模型的展示实现多种功能。在室内装修领域中，用户可根据ar技术来挑选心仪的装修方案。通过将ar模型对齐在安装区域即可实现展示功能。但是对于门窗的ar展示目前仅通过建立门窗框架的模型来进行展示，对于门窗中的玻璃信息进行忽略或者以一种固定透明度进行展示，无法完整的展示门窗信息，无法看到对应类型的门窗安装后的实际效果。


技术实现要素：

3.为了解决上述技术问题，本发明的目的在于提供一种具有自适应透光性的门窗ar方法及系统，所采用的技术方案具体如下：
4.本发明提出了一种具有自适应透光性的门窗ar方法，所述方法包括：
5.采集场景图像；分割所述场景图像，获得门窗安装区域图像；所述门窗安装区域图像包括门窗轮廓；获取以所述门窗轮廓为参考的相机姿态信息；获取目标门窗的三维模型，根据所述相机姿态信息建立初始ar效果；
6.通过多种分割方案将所述门窗安装区域图像分割为多个初始分割图像；所述初始分割图像尺寸为预设网络输入尺寸；根据所述初始ar效果获得所述门窗安装区域图像内的玻璃区域；获得每个所述玻璃区域的参考热图；所述参考热图中像素点的热力值与对应的所述玻璃区域中像素点与中心点的距离成反比例关系；根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域；所述重叠区域与所述参考热图的乘积为分割效果图像；以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案，并获得对应的最优分割图像；
7.获取以相机为参考的所述门窗安装区域的门窗姿态信息；将所述最优分割图像、门窗姿态信息和所述目标门窗的玻璃材质输入预先训练好的透光性推理网络中，输出第一透光性图像；将所述第一透光性图像叠加拼接，获得第二透光性图像；将所述最优分割图像对应的所述重叠区域在所述第二透光性图像中对应的区域的像素值求均值，获得第三透光性图像；
8.将所述玻璃区域的所述第三透光性图像和所述初始ar效果获得最终ar效果。
9.进一步地，所述分割所述场景图像，获得门窗安装区域图像包括：
10.将所述场景图像送入预先训练好的语义分割网络中，输出所述门窗安装区域图像。
11.进一步地，所述获取以所述门窗轮廓为参考的相机姿态信息包括：
12.将所述门窗轮廓的四个夹角、所述门窗轮廓的尺寸和真实门窗轮廓的长宽比送入预先训练好的全连接网络中，获得以所述门窗轮廓为参考的所述相机姿态信息。
13.进一步地，所述获得每个所述玻璃区域的参考热图包括：
14.以所述玻璃区域中心点做所述玻璃区域边缘点的连线，获得第一连线长度和第一连线角度；以所述玻璃区域中心点做所述玻璃区域内部像素点的连线，获得第二连线长度和第二连线角度；以最接近的所述第一连线角度和所述第二连线角度对应的像素点为匹配像素点对；
15.根据热力系数获取公式获得每个所述内部像素点的热力系数；所述热力系数获取公式包括：
[0016][0017]
其中，rl为所述热力系数，dnn为所述匹配像素点对中所述内部像素点的所述第二连线距离，dbm为所述匹配像素点对中所述玻璃区域边缘点的所述第一连线距离；
[0018]
获得所述玻璃区域面积与所有玻璃区域面积和的面积比值；以所述热力系数与所述面积比值的乘积作为所述内部像素点的热力值，根据所述热力值获得所述参考热图。
[0019]
进一步地，所述根据所述初始分割图像中像素点信息获得所述门窗安装区域图像的像素点在所述分割方案中的重叠区域包括：
[0020]
统计所述门窗安装区域图像的像素点属于不同所述初始分割图像的数量，将每个像素点对应的所述数量减一后作为该像素点的像素值，获得所述重叠区域。
[0021]
进一步地，所述以最大的所述分割效果图像的总体像素值与所述初始分割图像分布离散度的和对应的所述分割方案作为最优分割方案包括：
[0022]
根据所述分割效果图像中像素值的和构建分割效果评判函数；所述分割效果评判函数与所述分割效果图像中像素值的和成正比例关系；
[0023]
将所述初始分割图像中心点位置进行聚类，获得多个聚类簇；以所述聚类簇的离散度作为分割位置评判函数；所述离散度与所述分割位置评判函数成正比例关系；
[0024]
以所述分割效果评判函数和所述分割位置评判函数的和作为分割方案目标函数；根据多个所述分割方案不断迭代更新所述分割方案目标函数，以最大的所述分割方案目标函数对应的所述分割方案作为最优分割方案。
[0025]
进一步地，所述根据所述分割效果图像中像素值的和构建分割效果评判函数包括：
[0026][0027]
其中，f为所述分割效果评判函数，(k，h)为所述分割效果图的尺寸，gi为所述分割效果图中第i个像素点的像素值，ms为所述初始分割图像的数量，(ck，ch)为所述初始分割图像的尺寸。
[0028]
进一步地，所述分割位置评判函数包括：
[0029]
[0030]
其中，f2为所述分割位置评判函数，bg为所述聚类簇数量，dbk为第k个所述聚类簇内聚类中心点到其他聚类点的距离，max(dbk)为第k个所述聚类簇内中心点到其他聚类点的最大距离，为第k个所述聚类簇内聚类中心点到其他聚类点的平均距离，α为调整系数。
[0031]
进一步地，所述获取以所述门窗轮廓为参考的相机姿态信息包括：
[0032]
以所述门窗轮廓的中心点为原点，结合所述门窗轮廓的法向量构建第一空间坐标系；以相机与所述门窗轮廓的中心点的向量在所述第一空间坐标系中的姿态信息作为所述相机姿态信息；
[0033]
所述获取以相机为参考的所述门窗安装区域的门窗姿态信息包括：
[0034]
以相机为原点构建第二空间坐标系；以所述门窗安装区域每个像素点与相机的向量在所述第二空间坐标系中的姿态信息作为所述门窗姿态信息。
[0035]
本发明还提出了一种具有自适应透光性的门窗ar系统，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现任意一项所述一种具有自适应透光性的门窗ar方法的步骤。
[0036]
本发明具有如下有益效果：
[0037]
1.本发明实施例通过相机姿态信息获得初始ar效果。考虑到图像采集时不同相机和相机参数获得的图像尺寸不同，通过玻璃区域内像素点的位置分割出拥有固定尺寸的最优分割图像。通过透光性推理网络推理玻璃的透光性，获得第一透光性图像。将第一透光性图像进行叠加拼接并分析叠加区域后获得第三透光性图像。通过第三透光性图像获得拥有玻璃透光性信息的最终ar效果。最终ar效果考虑了窗户和相机的互相的位置关系，实现了窗户ar效果的真实展现。
[0038]
2.本发明实施例以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案，保证了最优分割方案的合理性，使最优分割图像的重叠区域尽可能的都落在玻璃区域中。使后续透光性推理网络中对于重叠区域的分析大多都为对玻璃区域的分析，提高了对于玻璃区域的透光性推理的准确性。
附图说明
[0039]
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0040]
图1为本发明一个实施例所提供的一种具有自适应透光性的门窗ar方法流程图；
具体实施方式
[0041]
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种具有自适应透光性的门窗ar方法及系统，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
[0042]
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
[0043]
下面结合附图具体的说明本发明所提供的一种具有自适应透光性的门窗ar方法及系统的具体方案。
[0044]
本发明实施例的应用场景为矩形窗户的ar展示。
[0045]
请参阅图1，其示出了本发明一个实施例提供的一种具有自适应透光性的门窗ar方法流程图，该方法包括：
[0046]
步骤s1：采集场景图像；分割场景图像，获得门窗安装区域图像；门窗安装区域图像包括门窗安装区域图像和门窗轮廓；获取以门窗轮廓为参考的相机姿态信息；获取目标门窗的三维模型，根据相机姿态信息建立初始ar效果。
[0047]
通过相机采集场景图像。场景图像即当前需要装修的室内场景的图像。需要说明的是，采集的相机参数不同，所获得的场景图像的尺寸也不同。
[0048]
因为本发明实施例需要在安装门窗的区域生成ar效果，因此分割出场景图像中的门窗安装区域图像。优选的，利用语义分割网络进行对场景图像的分割，将场景图像送入预先训练好的语义分割网络中，输出门窗安装区域图像，语义分割网络具体包括：
[0049]
(1)以多张包含门窗安装区域的场景图像作为训练数据。在门窗安装区域标注为1，其他标注为0，获得标签数据。
[0050]
(2)语义分割网络采用编码-解码结构，语义分割编码器提取输入数据的特征，输出特征图。语义分割解码器将特征图进行采样变换，输出语义分割结果。根据语义分割结果获得门窗安装区域图像。
[0051]
(3)采用交叉熵损失函数进行对网络的训练。
[0052]
门窗安装区域图像为去除无关因素后的场景图像。因此门窗安装区域图像不仅包括门窗轮廓还包括门窗安装区域外的门窗安装区域图像。
[0053]
在正视角中，门窗轮廓通常为矩形，在经过视角变换后，视角拥有一定倾斜，所以门窗轮廓呈平行四边形。因此可根据门窗轮廓的形态表示当前相机的姿态信息。具体包括：
[0054]
获取门窗轮廓的四个夹角和门窗轮廓的尺寸，夹角和尺寸作为当前门窗轮廓的形态数据。将形态数据和真实门窗轮廓的长宽比送入预先训练好的全连接网络中，获得以门窗轮廓为参考的相机姿态信息，全连接网络具体包括：
[0055]
(1)以形态数据和真实门窗轮廓的长宽比作为训练数据。训练数据可通过模拟器获得。以门窗轮廓的中心点为原点，结合门窗轮廓的法向量构建第一空间坐标系，以相机与门窗轮廓的中心点的向量在第一空间坐标系中的姿态信息作为相机姿态信息，以训练数据对应的相机姿态信息作为标签数据。在本发明实施例中，以相机与门窗轮廓的中心点的向量在第一空间坐标系中三个平面下的姿态角作为相机姿态信息。
[0056]
(2)全连接网络的输入层包含七个神经元，分别对应形态数据内四个夹角。尺寸和真实门窗轮廓的长宽比。输出层为三个神经元，分别对应相机与门窗轮廓的中心点的向量的三个姿态角。
[0057]
(3)采用均方差损失函数进行训练。
[0058]
将目标门窗的三维模型根据所述相机姿态信息进行对齐和融合实现初始ar效果。在本发明实施例中，根据相机姿态信息将三维模型四个点与门窗轮廓的四个点对齐，使用
泊松融合方法将三维模型与门窗安装区域融合。ar效果的具体实现为公知技术，在此不多赘述。
[0059]
步骤s2：通过多种分割方案将门窗安装区域图像分割为多个初始分割图像；根据初始ar效果获得门窗安装区域图像内的玻璃区域；获得每个玻璃区域的参考热图；根据初始分割图像中像素点信息获得门窗安装区域图像的像素点在分割方案中的重叠区域；重叠区域与参考热图的乘积为分割效果图像；以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案，并获得对应的最优分割图像。
[0060]
因为后续需要通过透光性推理网络进行分析，透光性推理网络为预先训练好的网络，因此网络输入的尺寸已经确定，因为场景图像为实时采集到的图像，因此因为相机参数的不同，场景图像及其分割出的窗户安装区域图像的尺寸并不适合直接输入至网络中。通常来说，对于网络输入尺寸不适用的图像，需要经过压缩拉伸等多种方法将图像尺寸变化至网络输入尺寸，对于透光性分析来说会影响分析的准确性。
[0061]
因此预先根据多个分割方案将门窗安装区域图像分割为多个初始分割图像。每个初始分割图像的尺寸都为网络输入尺寸。因为分割方案并不会完整将门窗安装区域进行分割，因此存在重叠区域。因此初始分割图像的数量ms为：其中，(k，h)为门窗安装区域的尺寸，(ck，ch)为初始分割图像的尺寸，为向上取整符号。
[0062]
因为门窗中的玻璃区域并非充满整个门窗安装区域，门窗存在框架或门板等因素，因此在分割窗户安装区域图像时需要尽可能的将重叠区域分割至玻璃区域中，在保证了玻璃区域可以多次经过网络推理的过程的同时，避免了在门窗框架区域进行多次推理，浪费系统资源。分析分割方案的具体方法包括：
[0063]
(1)根据初始ar效果获得门窗安装区域图像内的玻璃区域。因为重叠区域需要尽可能分布在玻璃区域，因此越靠近玻璃区域中心叠加区域越适合分布，根据该关系获得每个玻璃区域的参考热图。参考热图中像素点的热力值与对应的玻璃区域中像素点与中心点的距离成反比例关系，即像素点距离中心点越近热力值越大。获得参考热图的方法具体包括：以玻璃区域中心点做玻璃区域边缘点的连线，获得第一连线长度和第一连线角度。以玻璃区域中心点做玻璃区域内部像素点的连线，获得第二连线长度和第二连线角度。以最接近的第一连线角度和第二连线角度对应的像素点为匹配像素点对。需要说明的是，匹配像素点对中的内部像素点可以近似认为在玻璃区域中心点做玻璃区域边缘点的连线上，但是不一定在同一连线上，因为在图像上的像素量都为整数单位，因此对应一条连线不一定完整过内部像素点和玻璃区域边缘点。
[0064]
根据热力系数获取公式获得每个内部像素点的热力系数。热力系数获取公式包括：
[0065][0066]
其中，rl为热力系数，dnn为匹配像素点对中内部像素点的第二连线距离，dbm为匹配像素点对中玻璃区域边缘点的第一连线距离。
[0067]
获得玻璃区域面积与所有玻璃区域面积和的面积比值。以热力系数与面积比值的乘积作为内部像素点的热力值，根据热力值获得参考热图。
[0068]
(2)统计门窗安装区域图像的像素点属于不同初始分割图像的数量，将每个像素
点对应的数量减一后作为该像素点的像素值，获得重叠区域。在本发明实施例中，将每个初始分割图像分配编号，统计门窗安装区域图像的像素点所属的编号数量，如一个像素点所属的编号为：2,14,9，即在三个初始分割图像上都存在该像素点，以2作为重叠区域的像素值，表示该位置重叠了两次；如一个像素点所属的编号为2，即仅存在一个初始分割图像包含该像素点，因此在重叠区域内对应的位置的像素值为0，表示不存在重叠区域。
[0069]
(3)重叠区域的像素值表示重叠区域的分布，将重叠区域与参考热图的乘积为分割效果图像。分割效果图像表示了该分割方案的分割效果，即分割效果图中的总像素值越大表示重叠区域越分布在玻璃区域上。
[0070]
(4)为了避免分割方案中初始分割图像集中分布在玻璃区域，导致其他位置没有分割，或者重叠区域少，需要获得初始分割图像的分布离散度，分布离散度越大，初始分割图像在窗户安装区域图像中分布越分散。结合分割效果图进行分析，以最大的分割效果图像的总体像素值与初始分割图像分布离散度的和对应的分割方案作为最优分割方案。具体包括：根据分割效果图像中像素值的和构建分割效果评判函数。分割效果评判函数与分割效果图像中像素值的和成正比例关系。分割效果评判函数具体包括：
[0071][0072]
其中，f为分割效果评判函数，(k，h)为分割效果图的尺寸，gi为分割效果图中第i个像素点的像素值，ms为初始分割图像的数量，(ck，ch)为初始分割图像的尺寸。
[0073]
将初始分割图像中心点位置进行聚类，获得多个聚类簇。以聚类簇的离散度作为分割位置评判函数。离散度与分割位置评判函数成正比例关系。分割位置评判函数具体包括：
[0074][0075]
其中，f2为分割位置评判函数，bg为聚类簇数量，dbk为第k个聚类簇内聚类中心点到其他聚类点的距离，max(dbk)为第k个聚类簇内中心点到其他聚类点的最大距离，为第k个聚类簇内聚类中心点到其他聚类点的平均距离，α为调整系数。分割位置评判函数通过聚类簇中聚类点的距离进行分析离散度，距离越大表示分布越离散，分割方案越好。在本发明实施例中，α＝1。
[0076]
以分割效果评判函数和分割位置评判函数的和作为分割方案目标函数f，即f＝f1+2。根据多个分割方案不断迭代更新分割方案目标函数，以最大的分割方案目标函数对应的分割方案作为最优分割方案。并获得对应的最优分割图像。
[0077]
步骤s3：获取以相机为参考的门窗安装区域的门窗姿态信息；将最优分割图像、相对姿态信息和目标门窗的玻璃材质输入预先训练好的透光性推理网络中，输出第一透光性图像；将第一透光性图像叠加拼接，获得第二透光性图像；将最优分割图像对应的重叠区域在第二透光性图像中对应的区域的像素值求均值，获得第三透光性图像。
[0078]
窗户外的背景经过玻璃的影响后进入相机内的感光元件后形成透光性图像，因此需要考虑以相机为参考的门窗安装区域的门窗姿态信息，具体包括：以相机为原点构建第二空间坐标系；以门窗安装区域每个像素点与相机的向量在第二空间坐标系中的姿态信息
作为门窗姿态信息。在本发明实施例中，与相机姿态信息相似的，以每个像素点与相机的向量在第二空间坐标系中三个平面下的姿态角作为相机姿态信息，即相机姿态信息可表示为三张通道的图像，每个通道表示一个平面，图像中的像素值表示一个平面内的姿态角。
[0079]
将最优分割图像、门窗姿态信息和目标门窗的玻璃材质输入预先训练好的透光性推理网络中，输出第一透光性图像。透光性推理网络具体包括：
[0080]
(1)以没有玻璃影响的rgb图像及其对应的门窗姿态信息和玻璃材质作为训练数据。需要说明的是，有玻璃影响的rgb图像可视为没有玻璃影响的rgb图像与影响图像相乘后的结果，即将有玻璃影响的rgb图像除以没有玻璃影响的rgb图像作为标签数据。
[0081]
(2)透光性推理网络为编码-解码结构，第一编码器用于接收没有玻璃影响的rgb图像，第二编码器用于接收门窗姿态信息，第一编码器和第二编码器处理数据后结合玻璃材质的编码数据经过解码器103处理后输出第一透光性图像。
[0082]
(3)采用均方差损失函数训练网络。
[0083]
第一透光性图像为一个最优分割图像对应尺寸的图像，因此将第一透光性图像叠加拼接后，获得与窗户安装区域等大的第二透光性图像。将最优分割图像对应的重叠区域在第二透光性图像中对应的区域的像素值求均值，获得第三透光性图像。
[0084]
步骤s4：将玻璃区域的第三透光性图像和所述初始ar效果获得最终ar效果。
[0085]
以玻璃区域作为遮罩与第三透光性图像相乘，获得玻璃区域对应的透光性图像，结合初始ar图像获得最终ar效果。
[0086]
综上所述，本发明实施例通过相机姿态信息获得初始ar效果。通过最优分割方案的筛选，确保最优分割图像的重叠区域都在玻璃区域内。结合最优分割图像、窗户姿态信息和玻璃材质进行分析获得第一透光性图像。对第一透光性图像进行叠加拼接，并对重叠区域分析后获得第三透光性图像。结合玻璃区域内的第三透光性图像获得最终ar效果。本发明实施例通过分析相机与图像的姿态信息获得包含准确玻璃信息的最终ar效果。
[0087]
本发明还提出了一种具有自适应透光性的门窗ar系统，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，其特征在于，处理器执行计算机程序时实现任意一项一种具有自适应透光性的门窗ar方法的步骤。
[0088]
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0089]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
[0090]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。