一种基于单幅图像的三维场景结构建模与注册方法
【专利摘要】本发明公开了一种基于单幅图像的三维场景结构建模与注册方法，属于虚拟现实【技术领域】。本方法通过对图像中直线特征的分析来实现相机的标定；然后使用分类直线进行面支撑关系的性质分析，进而得到初步的场景结构；接下来通过少量用户交互操作，优化该场景结构，以完成对整个图像中场景结构的建模；最后通过直线特征将不同相机采集得到图像下的三维场景结构注册到一个统一三维场景之中，从而将其应用到大范围场景结构建模。本发明只需要少量的用户交互式操作，就可以快速得到相应的三维场景结构信息，既能保证场景结构建模的完整性，又可有效地降低三维建模的成本，使得大范围场景结构的三维重建变得更加容易。
【专利说明】一种基于单幅图像的三维场景结构建模与注册方法
【技术领域】
[0001] 本发明涉及基于图像的场景结构建模技术及基于线特征的场景结构注册技术，属 于虚拟现实【技术领域】。
【背景技术】
[0002] 近年来，虚拟现实技术开始大规模地应用于地图导航、智慧城市、军事仿真等领 域，由于它能给人们带来更加符合真实世界的视觉效果，而倍受现代人们的青睐。但是这些 应用都离不开接近现实世界的三维场景数据，而如何有效的根据真实世界场景构建出三维 虚拟场景就成了近年代计算机视觉方面的一个热点问题。
[0003] 目前，有很多种方式可以实现三维场景建模操作，比如使用专业的三维建模软件， 使用计算机视觉中的双目成像技术，使用航空测量技术等。对于专业的三维建模软件，如类 似3DSMAX这类的软件，在进行场景建模时，可以达到比较高的建模精度，但是却需要投入 大量的人力和物力进行实地测量，建模周期长，成本高。基于双目成像技术的建模技术，一 般应用在一些自动化建模工程中，对设备工艺要求比较高，通常情况下只适用于小场景的 建模，其建模周期相对来说比较短，根据建模场景的复杂度，一般会持续几个小时到几天的 时间，但是其建模精度相对较低。使用航空测量技术，可以有效的处理大场景的场景建模操 作，且建模周期基本不受场景大小的约束，但是其前期和后期的成本均比较高，一方面，由 于需要使用飞机进行高空数据采集，对摄像机要求会比较高，且飞行成本一直居高不下，另 外一方面，通常情况下，高空摄影采集到的是大量的点云数据，将这些点云数据处理成为能 够使用模型数据，需要复杂算法的支持，其精度一般也只能达到IOcm左右。相对来说，该类 技术具有最差的灵活性，由于其成本约束，当场景中局部结构发生变化时，通常情况下，很 难及时地反应到现有的三维场景中。
[0004] 总的来说，现有的一些场景结构建模方法基本都存在着成本、周期、灵活性、精度 等方面的问题，难以有效地应用大范围三维场景重建工作中。
【发明内容】
[0005] 本发明的目的是解决三维场景建模成本高、周期长、灵活性差的问题，针对这些问 题提出了基于单幅图像的场景结构建模与注册方法，在对图像中直线特征进行分析利用的 基础上，可以通过少量的用户交互式操作，实现对单幅图像中三维场景结构的建模与注册， 最后通过直线特征的对应关系，将其注册到一个统一的三维场景中，这样不断扩展，从而得 到更大范围三维场景。
[0006] 为完成本发明的目的，本发明采用的技术方案是：一种基于单幅图像的三维场景 结构建模与注册方法，包括以下步骤：
[0007] (1)使用普通相机采集图像数据，提取图像中的直线特征，采用组分EM迭代技术 对直线特征分组并求取灭点，然后使用灭点方向特征对相机进行标定；
[0008] (2)利用分类直线进行面支撑性分析，得到图像中每个像素所属面，根据像素所属 面对图像进行划分，从而得到初步的场景结构信息；
[0009] (3)通过用户交互式操作，从初步的场景结构信息中提取并构建图像场景图，并在 交互过程中不断优化该场景图，之后根据场景图生成最终的三维场景结构；
[0010] (4)使用单根有向线段特征将得到的三维场景结构注册到统一的三维场景中，进 而将单相机下三维场景结构建模工作扩展到更大范围。
[0011] 其中，使用普通相机采集图像数据，提取图像中的直线特征，并使用迭代最小二乘 直线拟合法优化直线特征提取结果；然后采用组分EM迭代法对提取得到的直线特征进行 分类，即每轮迭代过程中以直线分组为单位，在E步骤中求取每个分组对应的灭点，并根据 求得的灭点结合J-Linkage算法合并直线分组，在M步骤中根据合并后直线分组得到的灭 点对直线进行再分组，迭代以上过程直到直线分组稳定为止；最后根据分组结果求取灭点 方向，以完成相机的标定。
[0012] 其中，自动化构建初步的场景结构信息，在步骤（1)中提取分类直线特征基础上， 根据面支撑特性对像素所属面进行分析，进而得到初步的场景结构信息。空间中一点A和 两组共面平行线Klpl2), (13,14)}投影到图像平面后，如果点投影位置在四条直线投影形 成的四边形内部，且投影点和投影直线之间没有其它非共面投影直线阻拦其可见性，则认 为投影点被相应的投影面所支撑，反映在空间中即认为A在共面平行线Kl1, 12)，（13, 14)} 形成的面上。对图像中所有像素进行面支撑性分析，即可按照支撑性对图像进行划分，进而 得到初步的场景结构信息。
[0013] 其中，通过接收用户的交互式操作来优化步骤（2)中得到的初步场景结构，进而 得到比较精确的三维场景结构。交互操作通过定义三种类型图元实现：点图元、线图元、面 图元，通过算法我们可以将这些图元转换为与其对应的体元：点体元、线体元、面体元，并使 用场景图来组织建模过程中得到的体元。用户的一次鼠标点击操作会生成一个点图元，通 过算法可以将该图元转换为空间中与其对应的点体元。用户的一次拖拽操作，形成一个线 图元，通过线图元可以确定两个点图元之间的关系，反映在空间中即两个点体元之间的空 间位置关系。用户的多次拖拽操作可以得到一个面图元，面图元通过多个线图元来确定多 个点图元之间的关系，反映在空间中即多个点体元之间的空间位置关系。我们将这些体元 信息都存贮在场景图中，待用户交互式操作结束后，可以该场景图来生成最终的三维场景 结构信息。
[0014] 其中，可以通过单根有向线段特征对应关系将步骤（3)中得到的三维场景结构放 置到统一三维场景中。设步骤（3)得到的三维场景结构为N，统一三维场景为S，取N中一 条有向线段I，S中一条相对应的线段L，通过步骤（1)中相机标定结果可得N在S中旋转信 息，通过1与L在三个坐标轴方向上的长度比例可得，N在S中的尺度信息，通过1与L两 个顶点对应关系，可心得到N在S中的位置信息，在知道以上信息后，就可将N注册到S中， 进而实现不同相机视角下三维场景结构的融合显示
[0015] 与现有技术相比，本发明的有益效果是：
[0016] (1)数据采集比较方便，使用普通相机即可完成数据采集工作；
[0017] (2)建模周期短且灵活性高，根据场景复杂度，一幅图像的建模操作通常可以在 3-10分钟之内完成，可以比较快的完成三维场景内容的更新；
[0018] (3)可扩展性强且能适应不同大小的场景，随时对现有三维场景进行扩展，只对需 要建模的地方采集图像，完成建模后注册到现有的统一三维场景中即可；
[0019] (4)建模成本低，由于直接使用普通相机采集数据或是使用已有图像数据，使得数 据采集方面成本很低，在此基础上开发出相应的建模工具，可以使非专业人士也能很快完 成场景结构建模操作，进而降低人力成本；
[0020] (5)直接使用拍摄得到的图像作为建模依据，可以使得建模得到的三维场景结构 和真实场景的图像数据以更加理想的方式实现融合，增强了用户体验。
【专利附图】
【附图说明】
[0021] 图1为本发明的技术方案图；
[0022] 图2为本发明的组分EM迭代法求分组直线及灭点流程图；
[0023] 图3为本发明的面支撑性分析示意图；
[0024] 图4为本发明通过交互式操作构建的场景图示意图。
【具体实施方式】
[0025] 下面结合附图和实施例对本发明作进一步的描述。
[0026] 步骤1，通过普通相机采集图像数据，然后提取其中的直线特征，将得到的直线集 标记为L=ΙΛ，12,13. ..IJ，η表示直线数目，将直线集L当前一个划分可标记为Lsesnmt = ILS1,LS2,LS3. ..LSJ，m表示分组数目，则根据图2,该步骤可通过以下几步实现。
[0027] 首先使用K-Means聚类算法对L进行分组，聚类按照直线和图像宽度方向的夹角 进行，对于LSieLsegnrent，其聚类中心和直线之间距离衡量公式为：
[0028] Dist(Ci,lj) =min{abs(Ci-angle(Ij) )，180. 0_abs(Ci-angle(Ij))}
[0029] 其中，Ci表示LSi的聚类中心，Ij表示LSi中的第j条直线，angle(Ij)表示直线Ij 和图像宽度方向的夹角，abs(x)表示对X取绝对值，在定义距离公式后，定义聚类中心的更 新公式为：
【权利要求】
1. 一种基于单幅图像的三维场景结构建模与注册方法，使用普通相机采集图像数据； 利用采集图像中的直线特征对相机进行标定，在此基础上进行面支撑特性分析，初步得到 图像中的场景结构信息；然后通过用户交互式操作，形成场景图，并由场景图生成最终的 三维场景结构；最后通过一条有向线段特征将得到的三维场景结构注册到统一的三维场景 中，完成多相机视角下大范围三维场景结构的重建；其特征在于如下步骤： (1) 使用普通相机采集图像数据，提取图像中的直线特征，采用组分EM迭代技术对直 线特征分组并求取灭点，然后使用灭点方向特征对相机进行标定； (2) 利用分类直线进行面支撑性分析，得到图像中每个像素所属面，根据像素所属面对 图像进行划分，从而得到初步的场景结构信息； (3) 通过用户交互式操作，从初步的场景结构信息中提取并构建图像场景图，并在交互 过程中不断优化该场景图，之后根据场景图生成最终的三维场景结构； (4) 使用单根有向线段特征将得到的三维场景结构注册到统一的三维场景中，进而将 单相机下三维场景结构建模工作扩展到更大范围。
2. 根据权利要求1所述的一种基于单幅图像的三维场景结构建模与注册方法，其特征 在于：所述步骤（1)中使用普通相机采集图像数据，提取图像中的直线特征，并使用迭代最 小二乘直线拟合法优化直线特征提取结果；然后采用组分EM迭代法对提取得到的直线特 征进行分类，即每轮迭代过程中以直线分组为单位，在E步骤中求取每个分组对应的灭点， 并根据求得的灭点结合J-Linkage算法合并直线分组，在M步骤中根据合并后直线分组得 到的灭点对直线进行再分组，迭代以上过程直到直线分组稳定为止；最后根据分组结果求 取灭点方向，以完成相机的标定。
3. 根据权利要求1所述的一种基于单幅图像的三维场景结构建模与注册方法，其特征 在于：所述步骤（2)在步骤（1)中提取分类直线特征基础上，根据面支撑特性对像素所属面 进行分析，进而得到初步的场景结构信息；空间中一点A和两组共面平行线{(1:，12)，（13， 1 4)}投影到图像平面后，如果点投影位置在四条直线投影形成的四边形内部，且投影点和 投影直线之间没有其它非共面投影直线阻拦其可见性，则认为投影点被相应的投影面所支 撑，反映在空间中即认为A在共面平行线{(lp12)，（13, 14)}形成的面上；对图像中所有像 素进行面支撑性分析，即能按照支撑性对图像进行划分，进而得到初步的场景结构信息。
4. 根据权利要求1所述的一种基于单幅图像的三维场景结构建模与注册方法，其特征 在于：所述步骤（3)通过接收用户的交互式操作来优化步骤（2)中得到的初步场景结构，进 而得到比较精确的三维场景结构；交互操作通过定义三种类型图元实现：点图元、线图元、 面图元，通过算法可以将这些图元分别转换为与其对应的体元：点体元、线体元、面体元，并 使用场景图来组织建模过程中得到的体元；用户的一次鼠标点击操作会生成一个点图元， 通过算法将该图元转换为空间中与其对应的点体元；用户的一次拖拽操作，形成一个线图 元，通过线图元确定两个点图元之间的关系，反映在空间中即两个点体元之间的空间位置 关系；用户的多次拖拽操作得到一个面图元，面图元通过多个线图元来确定多个点图元之 间的关系，反映在空间中即多个点体元之间的空间位置关系；将这些体元信息都存贮在场 景图中，待用户交互式操作结束后，以该场景图来生成最终的三维场景结构信息。
5. 根据权利要求1所述的一种基于单幅图像的三维场景结构建模与注册方法，其特征 在于：步骤（4)通过单根有向线段特征将步骤（3)中得到的三维场景结构注册到统一三维 场景中；设步骤（3)得到的三维场景结构为N，统一三维场景为S，取N中一条有向线段1，S中一条相对应的线段L，通过步骤（1)中相机标定结果可得N在S中旋转信息，通过1与 L在三个坐标轴方向上的长度比例可得，N在S中的尺度信息，通过1与L两个顶点对应关 系，得到N在S中的位置信息，在知道以上信息后，就可将N注册到S中，进而实现不同相机 视角下三维场景结构的融合显示。
【文档编号】G06T17/00GK104376596SQ201410715176
【公开日】2015年2月25日 申请日期:2014年11月28日 优先权日:2014年11月28日
【发明者】周忠, 游景帝, 杨晋, 周颐, 吴威 申请人:北京航空航天大学