基于贝叶斯网络的室内家居风格与颜色搭配设计的方法与流程

本发明涉及对室内的家具颜色进行自动化搭配设计的技术领域，尤其是指一种基于贝叶斯网络的室内家居风格与颜色搭配设计的方法。

背景技术：

在室内设计中，除了考虑家具的布局，颜色设计也是一个很重要的因素。心理学研究指出颜色能够影响人的心情，能够激发人的某种情感。比如，暖色通常给人以暖意和积极向上的情绪；而冷色则令人感觉到清凉。在对空间的影响上，冷色能够扩展小房间的空间距离；暖色使得一个大房间看起来充满活力。然而，对一个3维空间的物体进行着色是一个很有挑战的问题。需要考虑的因素包括居住人的喜好、房间的功能、颜色对空间的影响、颜色搭配以及颜色本身等。

传统的室内设计有许多可用的经验规则。比如，对房间的着色从整个场景的颜色印象开始，或者是利用颜色弥补空间的缺陷开始(冷暖色的收缩和膨胀感)，或者按照一定的顺序：墙面和地板等背景色、主角色、辅助色和点缀色这四个角色依次着色，并在着色过程中考虑他们之间的配色关系。即使对于一个专业的设计者而言，通过人工确定房间各家具的颜色是一件相当困难和繁琐的任务。特别对于没有经过训练的普通用户，为房间内的家具选择一个颜色就更加困难了。所以，自动颜色推荐系统对于帮助非专业的普通用户设计室内空间起着非常重要的意义和作用。

目前，也有一些类似的颜色搭配的工作。不过，应用场景不一样。有的是对3D物体的不同部件进行着色[A.Jain,T.Thormahlen,T.Ritschel,H.-P.Seidel,Material memex:automatic material suggestions for 3d objects,ACM Transactions on Graphics(TOG)31(6)(2012)143.]，有的是对2D图像的图案进行颜色搭配设计[S.Lin,D.Ritchie,M.Fisher,P.Hanrahan,Probabilistic color-by-numbers:Suggesting pattern colorizations using factor graphs,ACM Transactions on Graphics(TOG)32(4)(2013)37.]，也有的为3D室内场景提供材质推荐[K.Chen,K.Xu,Y.Yu,T.-Y.Wang,S.-M.Hu,Magic decorator:automatic material suggestion for indoor digital scenes,ACM Transactions on Graphics(TOG)34(6)(2015)232.]，但是它们都没有涉及装修风格。而实际上，在房子装修和选择家具时，房子主人都会考虑自己对颜色和风格的喜好而选用不同的风格类型。因此，本系统提供了不同风格的选择，从而为室内场景推荐家具的颜色搭配方案。

技术实现要素：

本发明的目的在于克服目前室内场景的颜色设计主要依赖于手工设计，其他的自动的方式要么应用于复杂物体零部件的着色，要么只是给出没有装修风格设计的一般场景的材质推荐的问题，提供了一种基于贝叶斯网络的室内家居风格与颜色搭配设计的方法，能够按照家居装饰风格对颜色的用色偏好，实现家具颜色的自动搭配。

为实现上述目的，本发明所提供的技术方案为：基于贝叶斯网络的室内家居风格与颜色搭配设计的方法，包括以下步骤：

1)室内风格和颜色设计方案的收集

从现有的室内装修服务网站上下载不同风格和不同房间类型的颜色设计方案(图片)，作为用于机器学习的数据库；

2)对下载的设计方案进行标注

逐个场景，人工提取每个家具的颜色，包括墙面、地板的颜色；

3)对每类物体的颜色进行聚类

提取场景中物体的分类，对每类物体的颜色进行两个层次的聚类，先按照不同的风格，对每种类型的家具进行一次聚类，接着，根据每种家具在汇总所有风格的颜色聚类结果下，对每种家具的颜色再聚类一次；

4)训练贝叶斯网络

通过标注得到的颜色及其聚类的结果，进行预处理得到每个场景的记录，利用这些数据训练贝叶斯网络，得到贝叶斯网络模型及其条件概率分布；

5)为3D室内场景进行颜色推荐

建立虚拟的3D场景，并利用步骤4)中得到条件概率分布和步骤3)中关于风格的聚类结果，建立符合颜色搭配设计的目标函数，使用模拟退火算法优化，为家居场景中的各家具推荐出着色方案；

6)颜色多样化调整

在步骤5)中得出的每个家具的颜色种类有限，为了多样化而又不失去原来风格的设计，使用PCA得出每个颜色种类的局部坐标(对应于RGB的主成分)，在这个局部坐标下对颜色做扰动，生成其他丰富的颜色；

7)设计得到的颜色迁移到纹理上，并将纹理贴在3D场景模型上

将步骤6)中得到的每个家具的颜色首先迁移到用户任意选择的纹理上，再将颜色迁移后的纹理映射到单个3D模型上。

以下对每个步骤进行详细的说明。

在步骤2)中，需要专门的标注程序，首先对下载的图片中的每个家具利用“框选”操作提取其颜色。选择框的大小，由标注人员根据图片中家具的大小而定。“框选”的结果是家具的某部分像素区域，计算出区域的颜色像素平均值即可得该标注的家具的主要颜色。保存时，以每个场景为单位，视为一条记录。在一条记录中，记录场景编号、场景类型、装修风格(记为S)以及每个家具标注得到的颜色。

在步骤3)中，为了使家具聚类后得到的颜色种类更接近每类风格，对家具的颜色实行两个层次的聚类。首先，根据风格的分类，即在某种风格下，使用K-means方法对每类家具的颜色分别聚类一次，得到了在风格S下，第k类家具的颜色聚类结果，记为k＝1,...,N；接着，根据每种家具在汇总所有风格的颜色聚类结果下，对每种家具的颜色再聚类一次；

聚类中心的选择：通过设置聚类中心个数从2到9的区间变化，观察所有样本点离其对应的聚类中心的平均权重距离的曲线趋势是否稳定来确定的。例如，如果聚类个数为5时，所有样本点离其对应的聚类中心的平均权重距离的曲线是个转折点；之后，所有样本点离其对应的聚类中心的平均权重距离值趋于稳定，那么聚类个数就选择5。

在步骤4)中，经步骤3)得到每个家具的颜色后，需要重新处理原来保存的场景记录，即将对每个家具标注得到的原始家具颜色替换为颜色聚类后得到与其对应的某种颜色(聚类中心)。替换的结果记为：D＝{d_i,i＝1,2,...,M}，其中，紧接着，将得到的场景记录用于训练TAN贝叶斯网络，建立与场景记录数据一致的网络结构以及计算出条件分布概率表。

记B＝＜G,Θ＞为TAN贝叶斯网络，G表示一个有向无环图，Θ表示参数集。其中，G包含15个随机变量节点(记为{A₀,A₁,...,A_k})和节点间的有向边集。特别地，A₀表示为类别节点，A_k表示第k个类型的家具；Θ具体表示为依附于节点上的概率，即对于变量A_k的可能取值a_k∈C_k(C_k为第k类家具可以选择的颜色种类的集合)及其父节点的可能取值都有其中，代表A_k的父节点集合。

创建TAN贝叶斯网络：首先，建立最大权重生成树。生成树中两个节点间的权重为条件互信息量，按如下计算方式：

$I(A_i,A_j|A_0)=\underset{a_k\∈C_k}{\Σ}\underset{a_{\mathrm{\π}\left(k\right)}\∈C_{\mathrm{\π}\left(k\right)}}{\Σ}\underset{a_0\∈S}{\Σ}\widehat{P_S}(a_k,a_{\mathrm{\π}\left(k\right)}|a_0)log\frac{\widehat{P_S}(a_k,a_{\mathrm{\π}\left(k\right)}|a_0)}{\widehat{P_S}\left(a_k\right|a_0)\widehat{P_S}\left(a_{\mathrm{\π}\left(k\right)}\right|a_0)}$

其中，表示经验分布，实现上，统计频率作为其概率。

接着，选择其中一个节点为根，将生成树转换为有向树，方向从根指向其他节点。然后，加入类别节点，并且增加从类别节点到每个属性节点的有向边。这就建立起了TAN贝叶斯网络。最后，根据建立的TAN网络和预处理得到的数据D，利用经验概率分布，计算出整个贝叶斯网络的概率分布。

在步骤5)中，可以让用户指定某个(些)家具类别的颜色。将被用户指定颜色的家具类别集合，记为K；未知颜色的家具类别记为U。不失一般性，记a_k∈C_k由算法指定的某种颜色，其中k∈U。对于所有k∈U需要找到一个映射：A_k→a_k。最后，把对场景中每个家具的颜色选择表达为最小化目标函数的问题：

E(Φ)＝w₁E_indiv(Φ)+w₂E_joint(Φ)+w₃E_close(Φ) (1)

式中，Φ＝{A_k,k∈U}。

在总目标函数中，定义了3个子目标：

①最大化单个家具颜色出现的概率。在给定用户为某个(些)家具选择的颜色条件下，为其他单个家具选择某颜色的条件概率定义为P(A_k|{A_j＝a_j,j∈K})。该目标试图为每个家具选择的颜色在训练数据中出现的概率尽可能大，即最小化下面的目标函数：

$E_{indiv}\left(\mathrm{\Φ}\right)=1-\frac{1}{\left|U\right|}\underset{k\∈K}{\Σ}P\left(A_k\right|\{A_j=a_j,j\∈K\})---\left(2\right)$

②最大化家具间颜色搭配的联合概率。为每个家具选择颜色，使得整个场景的颜色搭配看起来是协调的。即在训练数据中，最经常出现的家具颜色搭配，选择联合概率最高的颜色组合：

E_joint(Φ)＝1-P({A_k,k∈U}|{A_l＝a_l,l∈K}) (3)

③最小化与装饰风格(颜色)的距离。在室内装饰实践中，装饰风格一般由用户指定，即A₀∈C₀已知。每种装饰风格都有其偏好的几种颜色。为了使赋予每个家具的颜色在整体上尽可能跟装饰风格一致，需要约束每种家具的颜色与所选择的装饰风格的主要颜色越接近越好，即

$E_{close}\left(\mathrm{\Φ}\right)=\frac{1}{\left|U\right|}\underset{k\∈U}{\Σ}min\left\{\frac{1}{255\sqrt{3}}\right||A_k-c||,c\∈C_k^{A_0}\}---\left(4\right)$

本发明与现有技术相比，具有如下优点与有益效果：

1、本发明方法引入了室内设计领域关于装饰风格的概念。在学习的数据集时，按照装饰风格进行分类。所训练的贝叶斯网络模型可以编码装饰风格与各家具颜色之间的内在联系。这样，使得系统推荐出来的家具颜色跟装饰风格所偏好的颜色一致，符合设计师们的设计效果。

2、本发明方法利用贝叶斯网络从优秀室内设计方案中学习家具颜色之间的搭配关系，使得系统推荐得到的室内场景中的家具颜色搭配看起来协调、好看，符合美观的设计需求。

3、本发明方法可将颜色迁移到用户喜欢的纹理上，特别适合于目前流行的产品定制需求。本系统推荐出室内协调的颜色，用户可以选择自己喜欢的纹理，将颜色的主色调迁移到选择的纹理上，满足用户的个性化需求。

附图说明

图1为本发明方法的流程图。

图2为本发明收集得到的一个室内设计方案(图片)的例子。

图3为本发明对下载的设计方案(图片)进行标注的界面。

图4为本发明对标注得到的家具颜色进行聚类的部分结果图。

图5为本发明的一个实施例对贝叶斯网络模型训练得到的结果图(只展示主要节点和关键边)。

图6为本发明的一个实施例的颜色扰动前后的对比图。

图7为本发明的一个实施例在加入纹理前后的比较图。

图8为本发明的一个实施例推荐的中式风格的效果图。

图9为本发明的一个实施例推荐的欧式风格的效果图。

图10为本发明的一个实施例推荐的现代风格的效果图。

图11为本发明的一个实施例推荐的新实用主义风格的效果图。

图12为本发明的一个实施例推荐的田园风格的效果图。

图13为本发明的推荐系统生成的设计方案用于5个SVM分类器得出正确分类的统计结果图。

图14为用户评价本发明系统推荐的方案与原设计师设计的方案在主色调上的相似程度的平均分和95％置信度区间的统计结果图。

图15为用户对本发明系统推荐的方案、邀请的设计师设计的方案、随机推荐的方案的视觉质量评价的平均分和95％置信度区间的统计结果图。

图16为用户对本发明系统推荐的方案与Magic Deocorator推荐的方案的视觉质量评价的平均分和95％置信度区间的统计结果图。

具体实施方式

下面结合具体实施例对本发明作进一步说明。

如图1所示，本实施例所述的基于贝叶斯网络的室内家居风格与颜色搭配设计的方法，包括以下步骤：

1)室内风格和颜色设计方案的收集

从国内专业的室内装修服务网站“尚品宅配”主页上下载不同风格和不同房间类型的颜色设计方案(图片)，作为用于机器学习的数据库。下载的一个设计方案例子：室内不同视角的图片及相应的家具类型，如图2所示。从下载设计师方案的这些数据中，总结了三组数据的特征，如下表。

2)对下载的设计方案图片进行标注

逐个场景，提取每个家具的颜色，包括墙面、地板的颜色。如图3所示，这是我们开发的家具颜色标注的软件界面。

3)对每类物体的颜色进行聚类

提取场景中物体的分类，对每类物体的颜色进行两个层次的聚类，先按照不同的风格，对每种类型的家具进行一次聚类，接着，根据每种家具在汇总所有风格的颜色聚类结果下，对每种家具的颜色再聚类一次；最后，得到的主要家具的颜色聚类结果，如图4所示。

4)训练贝叶斯网络

通过标注得到的颜色及其聚类的结果，进行预处理得到每个场景的记录，利用这些数据训练贝叶斯网络，得到贝叶斯网络模型及其条件概率分布。训练得到的一个贝叶斯网络模型示意图，如图5所示。

5)为3D场景进行颜色推荐

建立虚拟的3D场景，并利用步骤4)中训练得到条件概率分布和步骤3)中对于家具颜色关于风格的聚类结果，建立符合颜色搭配设计的能量函数作为目标函数。当用户为场景指定风格和为某一两个家具指定颜色后，使用模拟退火算法优化，从而系统为家居场景中的各家具推荐出颜色搭配方案，其中的两个实例对应图6的左边两张图片，其中左上场景的装饰风格属于中式风格，左下的装饰风格属于新实用主义风格。

6)颜色多样化调整

在步骤5)中得出的每个家具的颜色种类有限，为了多样化而又不失去原来风格的设计，使用PCA得出每个颜色种类的局部坐标，在这个局部坐标下对颜色做扰动，生成其他丰富的颜色。对颜色做扰动后的效果，见图6所示，左边是经直接优化的得到的两个场景，右边是经过扰动后所对应的两个场景，中间为主要家具颜色扰动前后其颜色块的对比。

7)设计得到的颜色迁移到纹理上，并将纹理贴在3D场景模型上

纹理在室内装修当中的作用非常重要。没有纹理的世界显得不真实。所以，将步骤6)中得到的每个家具的颜色首先迁移到用户任意选择的纹理上，再将该纹理映射到单个3D模型上。在3D家具模型上贴上纹理前后的结果，如图7所示，左边的两个场景只是着上颜色的结果，右边的两个场景是贴上纹理的结果，明显，右边的两个场景显得更有真实感。

为了验证本发明的提出的方法，做了以下几个实验：

1)视觉效果。建立了对应5种风格类型的5个场景模型来进行验证，最终系统推荐得出的结果经渲染后的效果，见图8，图9，图10，图11，图12，分别对应中式风格、欧式风格、现代主义风格、新实用主义风格和田园风格。

2)验证系统得出的颜色推荐结果是否符合某种风格。为了回答这个问题，训练了5个SVM分类器。每个SVM分类器负责识别一种风格。首先，把原标注得到的数据集分成两组：80％用于训练和20％用于测试。比如，将标有中式风格为正样本，其他风格为负样本的数据，用于训练一个识别中式风格的分类器。将这些标注得到的每个场景的家具颜色数据，聚成5种主题颜色，利用这5种主题色提取出334维特征[P.O'Donovan,A.Agarwala,A.Hertzmann,Color compatibility from large datasets,ACM Transactions on Graphics(TOG)30(4)(2011)63.]，用于训练SVM分类器。用20％的数据测试已训练好的分类器的可靠性。同样地，使用本发明方法，对于每种风格设计了20个场景。在每个实验中，用户首先指定风格和赋予1-2个不同家具的颜色，推荐系统以此为其他尚未着色的家具选择互相搭配的颜色。5种风格共生成了100个场景。每个场景包含直接优化的结果和经颜色扰动的结果。这两个结果分别提取出5种主题颜色，利用这5种主题色再抽取出334维特征，用于测试训练好的5个SVM分类器。测试结果见图13所示，“C，E，M，N，P”分别表示中式风格、欧式风格、现代风格、新实用主义风格、田园风格所对应的5个分类器，第一、二、三个直方图分别表示20％测试数据、直接优化得到的颜色数据、经扰动后的颜色数据所对应的中式分类器的准确率。从图中可以看出，对20％测试数据分类的准确率都在83％以上，而由本发明提出的方法所得的数据，其准确分类率超过了80％。也就是说，所提出的推荐结果接近装饰风格的颜色表达，有意思的是，通过扰动能够改进对直接优化得到的颜色数据的分类准确率。

3)用户调查研究。评价一个家具颜色推荐的结果非常困难。为此，选择用户调查研究的方式验证本发明方法能够比得上专业设计师，而且优于随机赋色的方法。

首先，要验证本发明的颜色推荐系统所产生的风格设计符合用户指定的风格。邀请了30个人，参与了这个用户调查。调查问卷共有20道题，每个问题包含3张图片。中间的图片来源于训练数据库，两边的图片则由本发明的方法和随机的方法生成。这两种方法在算法运行前的输入是一样，即需要用户指定相同的2-3个家具颜色。这两种方法生成的图片在两边的排列顺序是随机的，以避免位置顺序产生的偏差。邀请参与者评价两边图片与中间图片在颜色色调上相似的程度。0分表示一点都不像，5分表示像极了。最后，调查的结果经统计计算，本发明的方法与所学习的设计方案相似程度的平均分为3.4，高于随机的方法(1.9分)。对于每类风格场景，图14显示了2种方法中对5个场景统计的平均分与95％的置信区间。T-test的结果说明了本发明的方法远远好于随机的方法。

第二个实验用于比较用户对于我们方法的结果、专业设计师设计的结果以及随机赋色方法的结果进行评价。同样地，分别建立了5个虚拟场景，对应于5种室内风格。对于每个虚拟场景，我们邀请了一个专业设计师使用专业软件做了符合某一种风格的设计；同时，用本发明的方法根据不同的输入也生成了4个设计；另外，不考虑风格，用随机的方法也得出一个赋色的结果。所有这三个方法得到的3D场景在相同的视角和光照条件下经渲染得到2D图像。每个虚拟场景对应6张渲染的图像，其中1张来自设计师设计的，4张来自本发明的方法，另一张由随机赋色的结果。在用户调查问卷中，总共有30张渲染的图像。为了避免由于顺序产生的偏差，在每题中这6张图像以随机顺序排列。接着，邀请了80个志愿者参与调查，询问他们每张图像的视觉质量，请他们评价0(很难看)分至5分(非常好看)。最后，统计的结果见图15所示：三种方法对5类场景的平均分和对应的95％置信区间，以及对所有场景的总平均分和相应的95％的置信区间。设计师设计的结果的得分平均分比本发明的结果只多出0.1。此外，使用z-test检验，我们的结果得分比随机的好，但不超过24％(p-value＝0.028)，但设计师设计的结果得分虽比我们的好，但不超过7％(p-value＝0.031)。

4)与最新的方法比较。Magic Decorator[K.Chen,K.Xu,Y.Yu,T.-Y Wang,S.-M.Hu,“Magic decorator:automatic material suggestion for indoor digital scenes,”in ACM Transactions on Graphics,vol.34,no.6,2015,p.232.]能够直接进行材质推荐，包括材质属性及纹理。本发明的方法虽然只做颜色推荐，但通过颜色迁移到纹理图片上的方式，为用户提供材质纹理。为了完成此实验，邀请了Magic Decorator的作者来帮忙，使用Magic Decorator方法为5个卧室场景各生成2个结果。同样，使用本发明的方法根据相同的输入条件也各产生2个结果。这里的输入条件是事先指定某一两个家具的颜色作为约束条件。得到的这些3D场景在相同的视角和光照条件下进行渲染，得到2D图像。跟3)中的实验的做法一样，邀请同样的一批人参与调查，给每张图像的视觉质量评分。调查问卷共有5道题，每道题4张图像，其中两张来自Magic Decorator的方法，另两张来自于本发明的方法。统计的5个场景的平均分及95％置信区间见图16所示。使用z-test进行检验，本发明的方法所得结果的评分与Magic Decorator方法的结果的评分相当(p-value＝0.48)。

本发明方法经过以上的实验证明了其可行性、优越性。虽然本发明的例子针对的是卧室的场景，但是可以扩展到其他的场景，比如客厅，厨房，办公室等，前提是需要收集其他场景的设计方案数据。

综上所述，本发明从设计师的设计方案(图片)中通过机器学习的方法，使用贝叶斯网络模型编码家居风格与家具颜色搭配的内在联系，引导家具颜色推荐系统生成符合某种装饰风格的场景。通过用户调查研究的方式验证了本发明方法所生成场景的视觉质量接近于专业设计师的设计效果，具有实际的推广价值。

以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。