一种基于单幅图像的交互属性与三维模型联合构建方法
【专利摘要】本发明提供了一种基于单幅图像的交互属性与三维模型联合构建方法，包括如下步骤：输入单张具有交互属性对象的图像并完成对象包围盒及部件的标记；建立该对象的结构模型并完成部件尺寸、布局优化；在结构模型上对各个部件做作用力标记，构建部件受力图结构；确定各部件类型，生成具有交互属性的三维模型；迭代以上步骤，完成图像对象内部结构设计。本发明克服无法从图像上得知对象内部结构信息的限制，允许用户个性化地设计图像对象内部结构，从而得到一个完整的具有交互属性的三维模型。该方法既适用于设计师等专业用户，也适用于普通的业余用户，在三维模型快速原型设计、室内装修设计以及电子商务等领域有广阔的应用前景。
【专利说明】
一种基于单幅图像的交互属性与三维模型联合构建方法
技术领域
[0001] 本发明涉及计算机图形学领域，具体地说是一种基于单幅图像的交互属性与三维 模型联合构建方法。
【背景技术】
[0002] 三维建模一直都是计算机图形学领域的主要研究方向之一。交互属性与三维模型 的联合构建能够快速生成用户直接可交互的三维模型，因此针对日常生活中常见的具有交 互属性的对象，构建生成具有交互属性的三维模型是一项非常有趣且有意义的工作，在三 维模型快速原型设计、室内装修设计以及电子商务等领域有广阔的应用前景。
[0003] 在计算机图形学领域，基于图像的三维建模已经有了长期的发展与研究，并且现 在仍然是研究的热点，很多科研工作者致力于基于图像的三维建模研究。Byong Mok Oh等 人在2001年提出了一种基于图像的建模和编辑系统。通过对输入图像分层，重构三维场景， 使得可以直接编辑输入图像。Nianjuan Jiang等人在2009年提出了一种基于单幅图像的有 纹理的三维建模方法，建模过程中需要用户交互引导。Manfred Lau等人在2010年提出了一 个框架，允许用户以图像作为一个粗略的指导，个性化地设计三维模型。然而，以图像为输 入构建三维模型仍然是一项具有挑战性的任务。由于不同种类的模型有着不同的结构和特 征，所以很难形成一种统一的建模方法适用于不同类型的模型构建。因此，现阶段基于图像 的三维建模研究都只考虑某一种特定类型的物体，例如基于图像的植物建模，基于图像的 城市建模等。
[0004] 在具有交互属性的对象三维建模方面，也已经有了一些研究和进展。Wanbin Pan 等人在2011年提出了一种基于样例的家具建模方法，通过重用已有的三维模型，并在模型 上添加参数限制从而构建生成新的三维家具模型。Youyi Zheng等人在2013年提出了一种 基于对称性子结构匹配、替换的几何方法构建功能性合理的模型。Manfred Lau等人在2011 年提出了一种方法对输入的三维家具模型进行结构分析，分离出各个部件，并生成各个部 件之间的连接结构，使得生成的模型具有交互属性。Yuliy Schwartzburg等人在2013年提 出了一种计算设计方法，可以由"连锁平面部件"组装生成三维模型。这种建模方法可以扩 展到家具模型的组装构建。Yuliang Rong等人在2016年提出了一种从单张 RGBD图像恢复功 能性原型的交互式方法，该方法只得到了可信的功能性部件，但是并没有建模生成实际的 三维模型。
[0005]以上这些研究现状表明，目前基于图像的三维建模方法大多只针对特定类型的对 象，对于具有交互属性的对象的建模还有待深入，并且现有建模方法很少有涉及对象交互 属性与三维模型联合构建问题。
【发明内容】
[0006]本发明技术解决问题:克服现有方法的不足，本发明提供了一种基于单幅图像的 交互属性与三维模型联合构建方法，该方法以单幅具有交互属性对象的图像作为输入，通 过用户的简单标记，快速构建生成图像对象三维结构模型。然后，在图像对象结构模型上用 户再进行部件受力情况的标记，构建各个部件的受力图结构，从而确定各个部件的类型、交 互方式以及连接结构。最后，利用预设的基本部件模型生成具有交互属性的三维模型。
[0007] 为完成发明目的，本发明采用的技术方案是:一种基于单幅图像的交互属性与三 维模型联合构建方法，该方法包括以下步骤：
[0008] 步骤一:输入单张具有交互属性对象的图像并完成对象包围盒及部件的标记；
[0009] 步骤二:建立图像对象的结构模型并完成部件尺寸、布局优化；
[0010]步骤三:在结构模型上对各个部件做作用力标记，构建部件受力图结构；
[0011]步骤四：确定各部件类型，生成具有交互属性的三维模型；
[0012] 步骤五:迭代以上步骤，完成图像对象内部结构设计。
[0013] 其中，在步骤一中所述的"交互属性"，是指以平移、旋转为主的部件交互方式，如 抽屉的抽拉，门窗的旋转等。在步骤二中所述的"图像对象的结构模型"，是指将图像对象的 主体框架抽象为一个立方体，将对象的部件抽象为贴在主体框架立方体正面的一些立方体 薄块。在步骤二中所述的"部件尺寸、布局优化"，是指由于在步骤一中用户手动粗略标记的 部件可能在尺寸、布局上对不齐，所以需要考虑各个部件与其相邻部件的尺寸及位置关系， 使得各部件可以对齐。各部件边长需要满足：
[0015] 其中，一:表示优化之后第i条边的长度，h表示用户标记的第i条边的长度，表示 与第i条边相邻的所有边的集合，n表示待优化边的数量，A是平衡前后两项的参数。
[0016] 其中，在步骤三中所述的"部件受力图结构"，是指将一个部件的受力面(即一个长 方形面)的各个边抽象为一个结点，即有四个边结点，它们依次相连，此外在该受力面上添 加一个面结点，每个结点上可以标记一个作用力，标记了作用力的结点即为受力结点，由此 构成的结构即为"部件受力图结构"。通过该图结构，便可确定该部件的具体类型，不同类型 的部件有着不同的运动方式和连接结构，由此便可得到步骤四中的具有交互属性的三维模 型。
[0017] 其中，在步骤五中所述的"内部结构设计"，是因为输入图像上的对象一般都是闭 合状态的，用户无法从图像上得知对象内部到底是什么结构。因此，本发明允许用户在上述 模型的基础上更进一步的设计其内部结构。
[0018] 本发明与现有的技术相比，其有益的特点是：
[0019] 1、本发明使用单张具有交互属性对象的图像作为输入，在用户交互引导下可实现 图像对象的交互属性与三维模型联合构建。
[0020] 2、本发明提出了一种交互式引导的可交互部件建模方法，使得生成的三维模型部 件具有交互属性。
[0021] 3、本发明允许用户对图像对象模型做个性化的内部结构设计。
【附图说明】
[0022]图1是本发明方法实现流程图；
[0023]图2是本发明所述方法流程示意图；
[0024]图3是本发明的部件受力图结构示意图；
[0025] 图4是本发明定义的四种标准部件模型；
[0026] 图5是本发明的内部结构设计流程示意图。
【具体实施方式】
[0027] 为了使本发明的目的、技术方案及优点更加清楚明白，下面具体以家具建模为例， 结合附图，对本发明的方法作详细解释说明。
[0028]本发明提出了基于单幅图像的交互属性与三维模型联合构建方法。以家具建模为 例，此方法以单张家具图像作为输入，通过用户粗略的手动标记出家具的包围盒以及各个 部件，便可快速构建生成家具的结构模型，该结构模型将家具的部件抽象为一个贴在包围 盒立方体正面的立方体薄块，在用户标记部件的同时，该方法截取了各个部件的截图以便 能够生成带有纹理贴图的家具模型。此外，本发明提出了一种交互式引导的可交互部件建 模方法。用户在上述结构模型上标记各个部件的受力情况，本方法通过建立部件受力图结 构确定家具部件的具体类型，生成具有可交互部件的家具模型。由于从图像上无法得知家 具的内部结构，本发明还允许用户个性化地设计家具内部结构。本发明在少量用户交互的 引导下，可以快速、便捷地生成部件可交互的家具模型，适用于专业家具设计师，也适用于 普通的业余用户。
[0029]本发明基于单幅图像的交互属性与三维模型联合构建方法，操作流程如图、2所 示，具体实施步骤如下：
[0030] 步骤一:输入单张家具图像并完成家具包围盒及各个部件的标记。
[0031] 本发明以单张家具图像作为输入，进行家具建模。首先需要用户对输入图像进行 标记，标记分为两种:对家具包围盒的标记，以及对家具各个部件的标记。如图2中的(a)所 示，虚线构成的立方体即为家具的包围盒，实线四边形即为家具的各个部件。对家具包围盒 的标记本发明使用现有的方法，用户在图像上标记出该家具最外围的六个顶点，便可以自 动计算得到其余两个顶点的坐标，从而识别出它对应的立方体。然后，在上述包围盒立方体 的正面，用户通过标记出各个部件的四边形边界区域，完成对家具部件的标记。
[0032] 步骤二:建立家具结构模型并完成部件尺寸、布局优化。
[0033] 通过步骤一的标记，本发明可快速生成家具的结构模型。所谓家具结构模型，如图 2中的（b)所示，是指将家具的主体框架抽象为一个立方体，将家具的部件抽象为贴在主体 框架立方体正面的一些立方体薄块。此外，由于步骤一中用户手动粗略标记的部件可能在 尺寸、布局上对不齐，所以本发明提出了一种部件自动对齐算法使得相邻的部件可以对齐。 该算法需要考虑部件的相邻关系以及各个部件的边长，各边长需要满足：
[0035]其中，一:表示优化之后第i条边的长度，h表示用户标记的第i条边的长度，表示 与第i条边相邻的所有边的集合，n表示待优化边的数量，A是平衡前后两项的参数。上述公 式是一个二次函数，通过共辄梯度算法可快速求得结果。
[0036]步骤三:在结构模型上对各个部件做作用力标记，构建部件受力图结构。
[0037]在上述家具结构模型的基础上，本发明提出了一种交互式引导的可交互部件建模 方法。通过用户对结构模型中的各部件标记受力情况，构建出部件受力图结构，确定各部件 的类型。为了方便用户标记，本发明对每个家具部件引入了五个"控制点"，如图2中的(b)中 的五个黑色小方块，周围四个控制点对应家具部件的四条边，记录各边的受力情况，中心控 制点对应家具部件的面，记录该面的受力情况。每个控制点可标记某方向的作用力，如图2 中的(b)所示的箭头。完成部件受力情况的标记之后，本发明对应每个部件构建了受力图结 构，如图3所示。在部件受力图结构中包括三种类型的结点:边结点、面结点、以及受力结点。 边结点具有两种属性:与受力结点的距离、该边结点对应的边与受力方向的夹角。面结点只 能受到垂直该面的力，需要单独处理。如图3所示，图3中的（b)中结点a则为一个受力结点， 其受力方向为水平向右，图3中的(c)中结点a也是一个受力结点，其受力方向为垂直向外。 [0038]步骤四：确定各部件类型，生成具有可交互部件的家具模型。
[0039] 在上述部件受力图结构的基础上，为了确定各个部件的具体类型以及运动方式， 本发明对于部件受力图结构中的每个结点1设置参数(cU^O,其中cU是该结点距离受力结 点距离是指该节点对应的边与用户标记的作用力的夹角，由于面结点只能受到垂直于该 面的作用力，所以需要单独处理。最终通过如下公式确定部件连接结构的类型与位置。 farg max ,(^,) if 沒矣i g [1,
[0040] V:，= . . 1 " ,
[{i}, 0, = 0 else
[0041 ]其中V7为需要设置连接结构的结点的集合。如果对于所有的i都有0i辛0，则该连 接结构为铰链类型，位置在距离受力结点最远的结点处，否则，连接结构则是滑动类型，连 接结构即滑槽的位置在与用户标记作用力方向平行的结点处。此外，如果用户标记的作用 力位于一个面结点上，则该部件连接结构为沿作用力方向的滑动类型。还有一种特殊的情 况，即没用用户标记的部件受力图结构，这种情况本发明则默认此处没有可运动的部件，即 为一个空格子。
[0042] 本发明定义了四种最常见的家具部件类型:旋转门、推拉门、抽屉、以及空心格子， 并且给出了这四种部件的标准模型，如图4所示。
[0043] 在上述基础上，本发明利用构造实体几何的方法对家具主体立方体进行切割，对 上述标准部件进行变形、平移，将其组装成一个完整的家具模型，并根据部件的具体类型和 运动方式，对家具模型中的部件添加运动约束，最终得到部件可交互的家具模型，如图2中 的(c)所示。
[0044] 步骤五:迭代以上步骤，完成家具内部结构设计。
[0045] 由于无法从家具图像上得到家具内部结构，本发明允许用户个性化地设计家具的 内部结构，其操作流程如图5所示。对家具内部结构的设计包括如下步骤:在图2中的(a)用 户标记的基础上，通过用户标记子部件，建立结构模型，通过在结构模型上标记受力情况， 确定子部件类型，从而生成最终的内部结构模型。完成内部结构设计，便可以得到最终的家 具模型，如图2中的(d)所示。将步骤一中截取得到的部件贴图贴在家具模型上，便得到了带 有纹理贴图的家具模型，如图2中的（e)所示。至此，即得到了一个带有贴图、具有可交互部 件、具有内部结构的完整家具三维模型。
[0046]以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变 换，均应属于本发明的保护范围。
【主权项】
1. 一种基于单幅图像的交互属性与=维模型联合构建方法，其特征在于包括W下步 骤： 步骤(1)输入单张具有交互属性对象图像并完成对象图像包围盒及部件的标记； 步骤(2)建立图像对象的结构模型并完成部件尺寸、布局优化； 步骤(3)在结构模型上对各个部件做作用力标记，构建部件受力图结构； 步骤(4)依据部件受力图结构，确定各部件类型，生成具有交互属性的=维模型； 步骤巧)迭代W上步骤，完成图像对象的内部结构设计。2. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于:步骤(1)所述的交互属性是指W平移、旋转为主的部件交互方式，包括抽屉的抽拉，n 窗的旋转。3. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于：步骤（2)所述图像对象的结构模型建立是：将图像对象的主体框架抽象为一个立方 体，将图像对象的各个部件抽象为贴在主体框架立方体正面的一些立方体薄块，由运些立 方体所构成的模型即为图像对象的结构模型。4. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于:步骤(2)所述的部件尺寸、布局优化是:在步骤(1)中用户手动粗略标记的部件可能在 尺寸、布局上对不齐，需要考虑各个部件与其相邻部件的尺寸及位置关系，使得各部件可W 对齐，各部件边长需要满足：其中，Si表不优化之后第i条边的长度，Ii表不用户标记的第i条边的长度，Sij表不与第i 条边相邻的所有边的集合，n表示待优化边的数量，A是平衡前后两项的参数。5. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于:步骤(3)所述的部件受力图结构的构建是将一个部件的受力面，即一个长方形面的各 个边抽象为一个结点，共有四个边结点，它们依次相连，此外在该受力面上添加一个面结 点，每个结点上标记一个作用力，标记了作用力的结点即为受力结点，由此构成的结构即为 部件受力图结构。6. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于:步骤(4)所述的确定各部件类型，生成具有交互属性的=维模型，是指根据部件受力 图结构中受力结点的位置、所受作用力的信息，确定各个部件的具体类型、运动方式、W及 连接结构的位置，由此生成的=维模型中的部件便具有了可交互的属性。7. 根据权利要求1所述的基于单幅图像的交互属性与=维模型联合构建方法，其特征 在于:步骤(5)所述的图像对象内部结构设计是:无法从图像上得到对象内部结构信息，允 许用户个性化地设计图像对象的内部结构，用户在对象内部设计区域的轮廓立方体上标记 子部件，建立结构模型，通过在结构模型上标记受力情况，确定子部件的具体类型、运动方 式、W及连接结构的位置，从而生成最终的内部结构模型。
【文档编号】G06T17/10GK105913493SQ201610261400
【公开日】2016年8月31日
【申请日】2016年4月25日
【发明人】陈小武, 高博, 李健伟, 邹冬青
【申请人】北京航空航天大学