一种基于单幅线条图像的三维立体重建方法
【专利摘要】本发明公布了一种基于单幅线条图像的三维立体重建方法。该方法首先将输入的线条图像进行矢量化处理，将其转换为二维矢量线条图，然后应用子图同构的方法将二维矢量线条图与预先设定的三维模型库进行匹配，与之匹配的模型称为候选模型，最后将线条图与候选模型的坐标差距函数进行最小化求解，以选择最优的模型并得出重建结果。本发明可以有效地对单幅线条图像进行三维立体重建，极大地提高了相关文档的阅读体验。
【专利说明】一种基于单幅线条图像的三维立体重建方法
【技术领域】
[0001] 本发明属于图像处理与计算机视觉领域，涉及一种基于单幅线条图像的三维立体 重建方法。
【背景技术】
[0002] 在各式各样的电子文档中存在着大量的立体几何图形。这些文档包括教材、试题、 演示稿等等。然而，这些立体几何图形绝大部分以二维线条图像的方式存储在文档中，而无 法直接呈现物体的三维立体结构，对读者的阅读造成了不便。特别是在移动阅读设备、三维 显示设备越来越成熟的今天，以二维线条图像方式存储和显示的立体几何图形已经落后于 先进的显示技术，影响了读者的阅读体验。如果可以将这些线条图像恢复重建为三维立体， 将极大地提1?读者的阅读体验。
[0003] "线条图"是一种人造的二维图形，它能够以清晰直观的方式描述物体的结构。不 同于一般的自然图像，线条图的结构往往由点、线构成，具有清晰的几何结构，由平行投影 构成，没有透视特征，并不具有一般自然图像中的纹理信息。人们常见的线条图包括手绘图 形，工程制图，CAD制图，教材插图，等等。线条图实际上是一个含有顶点和边的连通图（对 于非连通图可以划分为连通子图分别进行处理）。对线条图进行三维重建的算法一般需要 一个预处理把图形转换为顶点二维坐标和连接边集合。顶点之间的连接边，可以是直线段， 也可以是曲线。
[0004] 过去20年，出现了大量基于单幅线条图的三维立体重建方法的研究。这些研 究采用的方法、适用对象、应用场景都不尽相同。按重建方法采用的算法分类，有基于优 化准则、基于几何假设推理、基于分治策略等方法。基于规则是早期大部分方法所采用 的，它们将三维立体定义为几何物体，并用一些几何规则对其加以约束，以在求解空间中 寻求最佳的结果。常用的规则有平面规则（文献"An optimization-based approach to the interpretation of single line drawings as3D wire frames. International Journal of Computer Vision，1992·，'）、MSDA 规则（文献"Emulating the human interpretation of line-drawings as three-dimensional objects. International Journal of Computer Vision，1991·，'）、MSDSM 规则（文献"3D Object Recovery from 2D Images : ANew Approach. SPIE Proc. Robotics and Computer Vision，1996.，'）、 MEAD 规则（文献"3_D interpretation of single line drawings based on entropy minimization principle. Computer Vision and Pattern Recognition，2001.，'）等。 求解优化函数一般是这类方法的最终步骤；基于几何假设的方法首先假设其所处理的 三维立体遵循一定的要求，如含有立方角点（文献"3D reconstruction of polyhedral objects from single parallel projections using cubic corner. Computer-Aided Design，2011. "）、有空间对称性（文献"Inferring mirror symmetric 3D shapes from sketches. Computer-Aided Design，2012·"）等。在假设的基础上，它们对整个物体的点 和边坐标进行推测，最终得到立体重建结果。这种方法中不一定包含优化求解步骤，一般 计算复杂度相对较低，但其假设条件通常较苛刻，只适用于一些特殊的图形；近年出现的一 些方法（文献 "A divide-and-conquer approach to 3D object reconstruction from line drawings. IEEE 11th International Conference on Computer Vision, 2007.，',文 献"Decomposition of complex line drawings with hidden lines for 3Dplanar-faced manifold object reconstruction. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011. ",文献 "Object cut: Complex 3d object reconstruction through line drawing separation. IEEE Conference on Computer Vision and Pattern Recognition, 2010. "）采用了分治的策略来解决一些复杂的三维立体重建问题，它们先将 复杂的图形划分为尽量简单的基本部分，然后应用一些规则来进行优化求解，最后将各个 部分求得的结果组合起来得到整个重建的结果。
[0005] 可见，目前的对单幅线条图的三维立体重建方法大多只能处理矢量化的线条图， 而无法对图像进行处理。即使可以通过一定的预处理将线条图像转化为矢量的线条图，目 前方法也高度依赖线条图的完整性和正确性，有些甚至必须依赖手工处理提取线条图，而 没有一种高效的、可以直接处理图像的、有容错能力的三维立体重建方法。
【发明内容】
[0006] 为了实现对单幅线条图像进行高效的三维立体重建，本发明提出一种基于单幅线 条图像的三维立体重建方法。该方法首先将输入的线条图像进行矢量化处理，将其转换为 二维矢量线条图，然后应用"子图匹配"的方法将二维矢量线条图与预先设定的三维模型库 进行匹配，与之匹配的模型称为候选模型，最后将线条图与候选模型的坐标差距函数进行 最小化求解，以选择最优的模型并得出重建结果。本发明可以有效地对单幅线条图像进行 三维立体重建。
[0007] 本发明的处理对象是从PDF或其它格式的电子文档中提取的几何线条图像，或通 过手机及其它照相设备拍摄，或通过扫描仪扫描纸质教材获取的几何线条图像。
[0008] 本发明提供的技术方案如下：
[0009] -种基于单幅线条图像的三维立体重建方法，其特征是，包括如下步骤：
[0010] 1)从输入图像中提取出矢量线条图；
[0011] 2)从三维模型库中为矢量线条图选取若干候选模型；
[0012] 3)将矢量线条图的顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹 配矢量线条图的二维顶点坐标，使得矢量线条图与候选模型各个顶点的坐标之方差达到最 小值；然后从若干个候选模型中选出坐标之方差最小的模型，作为三维立体重建的结果。
[0013] 优选的：
[0014] 所述的三维立体重建方法，其特征是，步骤1)的实现方法为：
[0015] 1. 1)将输入图像进行二值化处理和连通分支搜索；
[0016] 1. 2)将图像中待提取的线条分为实线和虚线进行直线的提取；
[0017] 1. 3)根据所提取的直线的交点把直线切分成线段；
[0018] 1. 4)过滤掉多余的线条，得到矢量线条图。
[0019] 所述的三维立体重建方法，其特征是，步骤2)中所述的三维模型库中，以参数化 形式保存三维模型：一个三维模型为一个三维空间中的线条图，其顶点坐标由一组参数控 制。
[0020] 所述的三维立体重建方法，其特征是，步骤2)中，使用子图同构的方法为矢量线 条图选取若干候选模型。
[0021] 所述的三维立体重建方法，其特征是，步骤2)中，需进行两次匹配，第一次将矢量 线条图作为大图，将三维模型作为小图；第二次将三维模型作为大图，将矢量线条图作为小 图。
[0022] 所述的三维立体重建方法，其特征是，步骤1)的实现方法为：
[0023] 1. 1)对输入图像的连通分支进行k-means聚类，采用连通分支的包围框大小和像 素面积作为其聚类属性，分为三类：主框架、虚线点、描述文字；
[0024] 1. 2)使用Hough变换对主框架连通分支进行实线提取，使用RANSAC方法进行虚线 提取；
[0025] 1.3)去除悬空线、停靠线、对角线等多余线条，生成矢量线条图。
[0026] 所述的三维立体重建方法，其特征是，步骤3)的实现方法为：
[0027] 3. 1)将矢量线条图顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹 配矢量线条图的二维顶点坐标；
[0028] 3. 2)计算候选模型经过平行投影到矢量线条图平面的坐标，并得到模型投影坐标 和线条图顶点坐标的方差，构成目标函数并对其进行优化求解；
[0029] 3. 3)选取使得目标函数最小的候选模型作为最优模型。
[0030] 所述的三维立体重建方法，其特征是，还包括以下步骤：
[0031] 4)输出三维立体重建的结果。
[0032] 本发明的效果在于：实现了一种基于单幅线条图像的三维立体重建方法。通过对 输入图像抽取二维矢量线条图，并将其与预先设定的三维模型库进行匹配，择出候选模型， 再通过对候选模型的旋转、平移和缩放得到三维立体重建的结果。该方法能够解决目前方 法不能直接处理图像、对输入线条图完整性要求高等缺点，可以提升处理效率并丰富移动 设备用户的阅读体验。
【专利附图】
【附图说明】
[0033] 图1为本发明的流程框架图；
[0034] 图2为本发明的从图像中提取矢量线条图的方法流程图；
[0035] 图3为从图像中提取矢量线条图的示意图。（a)输入图像（b)对连通分支聚类（c) 提取实线（d)提取虚线（e)合成矢量线条图；
[0036] 图4为预设的三维模型库示例（a)长方体（b)四棱锥（c)三棱柱（d)三棱台；
[0037] 图5为提取虚线的方法示意图（a)虚线点（b) (c)提取直线（d)离群点；
[0038] 图6为多余线条过滤的示意图；
[0039] 图7为具体实施例的输入文档图像；
[0040] 图8为抽取矢量线条图的结果示意图；
[0041] 图9为子图同构匹配候选模型的示意图；
[0042] 图10为三维立体重建输出结果示意图；
【具体实施方式】
[0043] 下面针对将文档图像作为三维立体重建系统的输入的应用场景，介绍本发明的具 体实施流程。这里的文档图像是从PDF或其它格式的电子文档中提取的几何线条图像，或 通过手机及其它照相设备拍摄，或通过扫描仪扫描纸质教材获取的几何线条图像。用户U 的设备（个人电脑、手持设备等）需要先安装实现本发明功能的执行软件，安装完毕后，用 户U可以在软件中打开PDF文档，通过鼠标或手势定位和截取图像，在软件中自动执行三维 立体重建工作并输出结果。用户U可以在屏幕上观看和旋转输出的三维图形。
[0044] 本发明的具体实施步骤为（参图1):
[0045] (1)提取矢量线条图
[0046] 方法的流程如图2所示。对于图像中的实线，将图像中的最大连通分支进行Hough 变换处理；对于图像中的虚线，通过K-means聚类将图像中较小的连通分支筛选出来，然后 通过RANSAC方法进行提取直线。然后计算所提取直线的交点，从交点处把直线切分为线 段，并合并相邻交点。最后经过过滤处理去除多余线条，生成最终的线段和矢量线条图，图3 依次显示了文档图像示例，实线、虚线的提取结果，和生成的矢量线条图。以下为具体的实 现方法：
[0047] 1. 1)连通分支聚类。如图3(b)所示，文档图像中通常有三种类型的连通分支：主 框架，虚线点，以及描述文字。使用k-means方法对图像中的连通分支进行聚类。设k = 3， 并且采取连通分支的包围框大小和像素面积作为其聚类属性。经过一轮聚类之后，成功地 将连通分支划分为三类，其中面积最大的一类被选为主框架，面积相似且最小的一类为虚 线点，其他的为描述文字。
[0048] 1. 2)实线提取。采用了 Hough变换和基于边缘线段的方法在主框架的Canny边缘 上进行直线提取。由于图像上的一条边有两条Canny边缘，因此一条边提取的直线共有两 条并且具有几乎相同的斜率与非常近的距离。根据它们的斜率和距离关系将这些直线合并 为一条。
[0049] 1. 3)虚线提取。如图5所示，采用RANSAC方法来进行虚线的提取。首先，所有被 划分为虚线点的连通分支被缩小为其中心点，然后每两点可确定一条直线。在这些直线中 寻找包含内点（离直线的距离不超过一个足够小的范围）最多的直线，取出这一直线并把 它包含的内点剔除。重复以上过程直到找不到包含3个内点以上的直线。余下的点成为离 群点。
[0050] 1.4)多余线条过滤。对于一些不必要的线条（辅助线，错误抽取的线条等等），需 要将它们除去以提高模型匹配的成功率。具体去除的线条类型如下：
[0051] A)悬空线：在抽取出的矢量线条图中，若一个线条端点的度为1，则它称为悬空 线。如图6(a)中的线条6-7就是一条悬空线，它的端点7的度为1。其他典型的悬空线多 见于坐标轴和不完整抽取的矢量线条图。对于悬空线需要将它们去除。
[0052] B)停靠线：若一个线条的端点正好在另一线条的中间部分（不是两端），则它是一 条停靠线（图eO^CE^hC^QF)。许多文档图像中的辅助线都是停靠线。这些线条也需 要被除去。
[0053] C)对角线：另一种多余线条是图中的平行四边形的对角线，如图6(c)中 ΑΛ A&。这些对角线破坏了原本物体的拓补结构，因此需要被去除。
[0054] (2)三维模型匹配
[0055] 基于对典型文档图像的分析，本发明建立了如下的三维模型库：三维模型库由若 干个三维模型组成，一个模型为一个三维空间中的线条图，其顶点坐标是由一组参数控制 的。三维模型库中的模型都是文档图像中的典型立体图形，如长方体，四棱锥，三棱台等，如 图4所示。以图4(a)为例，一个长方体模型有三个参数：a = {x，y，z}，用参数矩阵V来表 示这个模型的所有顶点坐标为
[0056]
【权利要求】
1. 一种基于单幅线条图像的三维立体重建方法，其特征是，包括如下步骤： 1) 从输入图像中提取出矢量线条图； 2) 从三维模型库中为矢量线条图选取若干候选模型； 3) 将矢量线条图的顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹配矢 量线条图的二维顶点坐标，使得矢量线条图与候选模型各个顶点的坐标之方差达到最小 值；然后从若干个候选模型中选出坐标之方差最小的模型，作为三维立体重建的结果。
2. 如权利要求1所述的三维立体重建方法，其特征是，步骤1)的实现方法为： 1. 1)将输入图像进行二值化处理和连通分支搜索； 1. 2)将图像中待提取的线条分为实线和虚线进行直线的提取； 1. 3)根据所提取的直线的交点把直线切分成线段； 1.4)过滤掉多余的线条，得到矢量线条图。
3. 如权利要求1所述的三维立体重建方法，其特征是，步骤2)中所述的三维模型库中， 以参数化形式保存三维模型：一个三维模型为一个三维空间中的线条图，其顶点坐标由一 组参数控制。
4. 如权利要求3所述的三维立体重建方法，其特征是，步骤2)中，使用子图同构的方法 为矢量线条图选取若干候选模型。
5. 如权利要求4所述的三维立体重建方法，其特征是，步骤2)中，需进行两次匹配，第 一次将矢量线条图作为大图，将三维模型作为小图；第二次将三维模型作为大图，将矢量线 条图作为小图。
6. 如权利要求1所述的三维立体重建方法，其特征是，步骤1)的实现方法为： 1. 1)对输入图像的连通分支进行k-means聚类，采用连通分支的包围框大小和像素面 积作为其聚类属性，分为三类：主框架、虚线点、描述文字； 1. 2)使用Hough变换对主框架连通分支进行实线提取，使用RANSAC方法进行虚线提 取； 1.3)去除包括悬空线、停靠线、对角线在内的多余线条，生成矢量线条图。
7. 如权利要求1所述的三维立体重建方法，其特征是，步骤3)的实现方法为： 3. 1)将矢量线条图顶点坐标固定，在三维空间中旋转、平移和缩放候选模型以匹配矢 量线条图的二维顶点坐标； 3. 2)计算候选模型经过平行投影到矢量线条图平面的坐标，并得到模型投影坐标和线 条图顶点坐标的方差，构成目标函数并对其进行优化求解； 3. 3)选取使得目标函数最小的候选模型作为最优模型。
8. 如权利要求1所述的三维立体重建方法，其特征是，还包括以下步骤： 4) 输出三维立体重建的结果。
【文档编号】G06T17/00GK104252715SQ201410450000
【公开日】2014年12月31日 申请日期:2014年9月5日 优先权日:2014年9月5日
【发明者】郑金鑫, 王勇涛, 汤帜 申请人:北京大学