专利名称：一种从图像中恢复三维几何信息的方法
技术领域：
本发明涉及计算机视觉领域，具体涉及一种从图像中恢复三维几 何信息的方法。
背景技术：
立体匹配一直是计算机视觉和摄影测量学中的重要问题。两幅图 像在很接近的视角上分别记录了真实世界的场景，双目线索就是指物 体投影在两个成像平面的不同位置，位置的差异随着物体深度的变化 而相应变化。在过去的数十年里，大量的立体视觉系统被提出，使得 该领域的研究出现了长足的进步。但是，由于问题本身的病态性，依 旧没能得到完全的解决。在现有的立体匹配方法中，基于图的方法是当中最流行的技术。 它能得到和观察数据吻合的平滑视差图。比较典型的做法是利用图割法(graph c ut s )来优化由数据项和平滑项构成的能量函数，其中数据 项用来度量两幅图像对应像素之间的颜色一致性，平滑项则是为了保 证视差图整体的平滑，在相邻的像素点被赋予不一样的视差时给予适 当的惩罚。当然，为了能够处理遮挡问题，可以在颜色一致性约東和 平滑约束之外，加入匹配的唯一性约束。另外，也有工作利用主图像 上的颜色分块，将能量函数同时定义在像素层和颜色块层上。这样， 像素层可以很好地度量颜色一致性以及进行遮挡检测，颜色块层上则 可以更为合理地定义平滑约束。另一方面，单幅图像中丰富的紋理、色彩、焦距和雾化等信息也 可以提供重要的深度推断线索。有了足够丰富的先验知识，从单幅图 像中获取场景的整体三维结构是可以实现的，但这是 一个很难的问 题。很多的单目线索不仅依赖于先验知识，还依赖于整体的上下文信
息，因此不仅难以用启发式的约東，也很难从图像的局部出发来进行 推测。要让机器视觉的能力接近这个目标，我们需要大量的训练数据， 以及一个恰当的概率模型来描述。相对于立体视觉，该领域的研究工 作要少得多。不过随着机器学习理论的发展，已经有很好的工作相继出现。比如斯坦福大学Saxena等人的使用监督学习方法利用多尺度 的马尔科夫随机场(MRF)模型建立图像特征与深度信息之间、相邻位 置以及不同尺度下深度值之间的关系的方法，还有卡耐基梅隆大学 Hoiem等人的方法，利用图像所能提供的诸多有用线索材质、位置、 紋理梯度，阴影，消失点等来逐步地构建该图像的结构知识从像素 到超像素再到超像素簇，最后得到每个超像素的几何分类标记。双目线索是基于物体投影在两幅图像中的位置差异，是场景几何 的直接反应而与图像本身的具体内容无关。单目线索则相反，依赖于 先验知识以及图像本身局部和整体的内容和结构。可以说这两种线索 对于几何信息推断有着良好的互补性。发明内容本发明的目的是提供一种从图像当中恢复三维几何信息的方法， 通过将主图像中的单目线索加入到传统的立体视觉系统中来提供额 外的深度推断约束，将基于机器学习从单幅图像推测三维信息的方法 和基于两幅图像的立体匹配方法整合到同一框架中，达到恢复三维几 何信息的目的。为了达到以上发明目的，本发明提供了 一种从图像中恢复三维几何信息的方法，所述方法包括以下步骤Sl:获取大量场景图像及其对应的深度图作为训练库；S2:划分所述图像为图像块，利用统计学习方法以下式描述其对应于不同深度的概率并得到不同的参数值<formula>formula see original document page 6</formula>
其中，^是图像块/的四连通邻域，M是深度图中深度值的总数 目，X,是图像块Z的特征向量，包括图像块及其邻域在三个不同尺度 上滤波器返回值的绝对值和以及平方和，A^是归一化常数，& A为参数，^,4,4为图像第r行的参数；S3:对用于场景重建的图像对建立包含图像块层、像素层以及连 接像素和对应图像块的边的图结构；S4:利用S2中统计学习获得的参数定义上述图结构的能量项；S5:将所述能量项作为约東加入到传统立体匹配的描述像素和 像素之间视差关系的图中；S6:求解出两幅图像之间的视差图。其中，所述步骤S1包括Sl-l:获取场景的三维点云以及对应的彩色图片； Sl-2:转化所述三维点云为深度图； Sl-3:采集若干组彩色图片及深度图。其中，所述步骤S4包括定义图结构中图像块层的能量项、定 义图结构中像素层的能量项、定义连接图像块层与像素层的边的不一 致项以及定义全局的能量项。其中，利用下式定义图像块层的能量项其中，^AM^,为Sl中得到的参数，B为基线长度，/为焦距， 《是图像块/的视差值，械是左图像中图像块的总数目，M (/)是 图像块/的四邻域。其中，利用下式定义像素层的能量项，给出两幅图像间对应像素 点的颜色不一致性以及在相邻像素点在被赋予不一样的视差值时所 给予的惩罚<formula>formula see original document page 8</formula>其中，M2是左图像中像素的总数目，7V2(p)是像素p的四邻域,《和《分别为像素P和《的视差，^为非负常数；其中，利用下式定义所述连接像素和对应图像块的边上的不一致 项，使得视差标记在图像块层与像素层之间传播，所述不一致项定义仏<formula>formula see original document page 8</formula>其中，4w为像素层的能量项，M2是左图像中像素的总数目，VV2 (p)的四邻域，《和《分别为像素p和《的视差，^为非负常数。其中，利用下式定义全局的能量函数其中，K。w为全局能量项，^。^为图像块层的能量项，五—w为像素层的能量项，J^一。^为不一致项，W以及W2分别为两个权值。利用本发明所提供的技术方案，可以有效约束立体图像对的匹 配，大量减少匹配过程中的二义性错误，比如弱紋理区域的匹配误差， 克服了由于成像过程中的大量信息丢失，所造成的基于单幅图像的重 建结果准确度严重偏低，只能给出场景的粗略描述的缺陷。
图l为本发明从图像中恢复三维几何信息的方法的流程图。图2为本发明中将单目线索和立体线索统一到一起的图的结构。 图中1、图像块层；2、像素层；3、连接两层的边。
具体实施方式
以下实施例用于说明本发明，但不用来限制本发明的范围。 本发明的技术方案简单描述为首先，获取训练数据。用激光扫 描仪以及标定好的相机来同时获取场景的图片及其对应深度图；然后 对训练库中的每一幅图像抽取特征，用联合拉普拉斯马尔科夫随机场 模型来描述图像特征对应于不同深度的概率以及相邻位置深度值之 间的关系，模型参数通过对训练库的学习来获得。接着建立一个双层 的图结构来结合高分辨率的双目线索和低分辨率的单目线索；利用上 一步训练得到的参数来定义图像块层的能量项，并把它作为约東加入到传统的立体匹配描述像素和像素之间视差关系的图当中；最后用graph-cuts优化求解出两幅图像之间的视差图。如图1所示，本发明所提供的从图像中恢复三维几何信息的方法包括获取大量场景图像及其对应的深度图作为训练库；划分所述图像为图像块，利用统计学习方法描述其对应于不同深度的概率并得到不同的参数值；对用于场景重建的图像对建立包含图像块层、像素层 以及连接像素和对应图像块的边的图结构；利用统计学习所获的参数 定义上述图结构的能量项；将所述能量项作为约東加入到传统立体匹 配的描述像素和像素之间视差关系的图中；求解出两幅图像之间的视差图。该实施例釆用室外的建筑物场景，这些图片中的弱紋理区域给立 体匹配带来了很大的挑战。在激光扫描仪RIEGLLMS-210顶上固定安 置了事先标定好的相机，用来同时获取高精度三维点云以及对应的彩 色照片。之后，点云被转化为相对于照相机坐标的深度图。本实施例 共釆集了150组彩色图像+深度图，其分辨率分别为1504 x 1000和150 x 100。在实际的环境中，相邻区域的深度在很大程度上相互联系。马尔 科夫随机场作为机器学习中的常用模型，在很多需要同时用到局部特 征以及上下文或全局信息的问题上得到成功的应用。这里，将图像划 分为棋盘格式的图像块，给定图像块特征，其对应于不同深度的概率用联合拉普拉斯马尔科夫随机场模型来描述，模型公式如下 <formula>formula see original document page 10</formula>其中N(i)是图像块i的四连通近邻，M是深度图中深度值的总数目，Xi 是图像块i的特征向量，包括图像块及其邻域在三个不同尺度上17 个滤波器(9个Law掩模、6个方向边缘滤波器和2个颜色滤波器) 返回值的绝对值和以及平方和。N^是归一化常数，^、义就是该模型 的参数，图像的每一行用一组不同的参数(《,4,4)。在参数训练过程 中，扫描仪获取的深度图即用作为模型中z的真值。图2中给出了本发明中用于将单目线索和立体线索统一到一起 的图的结构。我们可以看到，该图由三部分组成图像块层、像素层 以及将像素连接到对应图像块的边。为了清楚起见，图中连接两层的 边只是示意性地给出了其中一部分。每一组成部分能量函数的基本构 成以及视差值的标记会在下面分别详细给出。图像块层。在这一层中，视差值被描述为图像特征的函数。我们选用了三种局部图像特征，紋理变化、紋理梯度和雾化值。首先，立体图像对中的主图像被分割成均一的矩形区域，并用17个滤波器在三个图像尺度上进行滤波，得到每一小块的特征向量。然后，每个图像块作为图结点，釆用4连通的栅格邻域结构连接起来。利用上一步中训练得到的马尔科夫随机场模型参数，我们可以对应于模型公式中的两个组成部分来定义数据项和平滑项。但有一点需要注意，统计学 习得到的概率模型推断的是深度而在这一阶段中我们需要得到的是视差图。幸运的是，对于极线校正之后的图像对，在已知图象间基线长度B以及焦距f的情况下，深度z可以很容易地由视差d导出<formula>formula see original document page 10</formula>因此，数据项ED—和平滑项ES一h定义如下<formula>formula see original document page 10</formula><formula>formula see original document page 11</formula>其中<formula>formula see original document page 11</formula>就是上一步训练得到的马尔科夫随机场模型的参数，d, 是图像块i的视差值，M,是左图像中图像块的总数目，N"i)是图像块 i的四邻域。这样，根据统计学习得到的先验知识，图像块层的能量 函数给出了各个视差值标记对应于当前图像特征的合理度量。像素层。这一层中的图结构以左图像中每个像素为结点，同样 是4连通的栅格邻域结构。类似于图像块层，能量函数也同样由数据 项ED一和平滑项ES—组成。在当前的标记下，它们分别给出了两幅 图像间对应象素点的颜色不一致性度量以及在相邻象素点被赋予不 一样的视差值时给予恰当的惩罚。<formula>formula see original document page 11</formula>其中M2是左图像中象素的总数目，N2(p)是象素p的四邻域，^是一个非负常数，其值大小直接影响平滑约東的力度。此外，还需要注意一个额外的标记，可以记为O,表示遮挡及无限远的深度(如天空 区域)。当一个象素被赋予这个特殊标记值时，我们给予的是固定的 惩罚。连接像素和对应图像块的边。在图像块层和像素层之间插入边 来连接像素和它对应的图像块，这样通过在这些边上定义一个不一致 项就能将视差标记从图像块层传播到像素层，反之亦然。这样能保证 在图像块和它包含的像素被赋予同样或相近的视差视时能量函数值 较小。这样单目线索的推断就提供了新的约東来引导立体匹配。我们 将此不一致项E,^定义为 <formula>formula see original document page 12</formula>这里惩罚系数^是一个非负常数。考虑到效率，不必要将所有的像素点连接到图像块。在实验中，在行和列方向均以3为步长来连接 像素点。视差标记。到现在为止，我们已经为图中的三个组成部分都分别 定义了能量函数。为了达到视差标记的整体能量最小，用各个部分的 加权和作为全局的能量函数Etoml = (>EDpixel + ESpiXel )+ W2 (EDpatCh + ESpatCh K Emis咖teh前两项分别作用在像素层和图像块层上，最后一项作用在连接前 两部分的边上。这里，W,、化为两个权值，用来平衡三部分能量的作 用。要找出该能量函数的全局最优解，请参见Y. Boykov, O. Veksler, R. Zabih. "Fast approximate energy minimization via graph cuts". IEEE Trans, on Pattern Analysis and Machine Intelligence (PAMI), Vol 23, No. 11， pp. 1222-1239, 2001.中提出了的基于graph cuts的优化策略，该策 略可以有效解决计算机视觉中的标记问题。这样，就求得了最终的视差图。可以看到，依照该方法，可以将 单目线索和双目线索统一到同一个框架下，同时对最终的视差图求解 起到约東作用。以上实施方式仅用于说明本发明，而并非对本发明的限制，有关 技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下， 还可以做出各种变化，因此所有等同的技术方案也属于本发明的范 畴，本发明的专利保护范围应由其权利要求限定。
权利要求
1、一种从图像中恢复三维几何信息的方法，其特征在于，所述方法包括以下步骤S1获取场景图像及其对应的深度图作为训练库；S2划分所述图像为图像块，利用统计学习方法以下式描述其对应于不同深度的概率并得到不同的参数值其中，Ni是图像块i的四连通邻域，M是深度图中深度值的总数目，xi是图像块i的特征向量，包括图像块及其邻域在三个不同尺度上滤波器返回值的绝对值和以及平方和，NL是归一化常数，θ、λ为参数，θr，λ1r，λ2r为图像第r行的参数；S3对用于场景重建的图像对，建立包含图像块层、像素层以及连接像素和对应图像块的边的图结构；S4利用步骤S2中统计学习获得的参数定义上述图结构的能量项；S5将所述能量项作为约束加入到传统立体匹配的描述像素和像素之间视差关系的图中；S6求解出两幅图像之间的视差图。
2、 如权利要求1所述的从图像中恢复三维几何信息的方法，其 特征在于，所述步骤S1包括以下步骤25 Sl-l:获取场景的三维点云以及对应的彩色图片；Sl-2:转化所述三维点云为深度图； Sl-3:釆集若干组彩色图片及深度图。
3、 如权利要求1所述的从图像中恢复三维几何信息的方法，其 特征在于，所述步骤S4包括以下步骤S4-l:定义图结构中图像块层的能量项；S4-2:定义图结构中像素层的能量项；S4-3:定义连接图像块层与像素层的边的不一致项以及定义全局 的能量项。
4、如权利要求3所述的从图像中恢复三维几何信息的方法，其 特征在于，利用下式定义图像块层的能量项<formula>formula see original document page 3</formula>其中<formula>formula see original document page 3</formula>为步骤S1中得到的参数，5为基线长度，/为焦 距，4是图像块z'的视差值，M7是左图像中图像块的总数目，M(/) 是图像块/的四邻域。
5、 如权利要求3所述的从图像中恢复三维几何信息的方法，其 特征在于，利用下式定义像素层的能量项，给出两幅图像间对应像素 点的颜色不一致性以及在相邻像素点在被赋予不一样的视差值时所 给予的惩罚<formula>formula see original document page 3</formula>其中，,为像素层的能量项，M2是左图像中像素的总数目，M (p)是像素p的四邻域，4和《分别为像素p和《的视差，h 为非负常数。
6、 如权利要求3所述的从图像中恢复三维几何信息的方法，其 特征在于，利用下式定义所述连接像素和对应图像块的边上的不一致 项，使得视差标记在图像块层与像素层之间传播，所述不一致项定义 为<formula>formula see original document page 3</formula>其中<formula>formula see original document page 3</formula>为不一致项，M2是左图像中像素的总数目，《和 《分别为像素P和/的视差，K2为非负常数。
7、如权利要求3所述的从图像中恢复三维几何信息的方法，其特征在于，所述步骤S4还包括利用下式定义全局的能量函数其中，五^为全局能量项，^^为图像块层的能量项，五—,为像素层的能量项，五^^M为不一致项，W以及^2分别为两个权值。
全文摘要
本发明涉及一种从图像中恢复三维几何信息的方法。所述方法包括获取大量场景图像及其对应的深度图作为训练库；划分所述图像为图像块，利用统计学习方法描述其对应于不同深度的概率并得到不同的参数值；对用于场景重建的图像对建立包含图像块层、像素层以及连接像素和对应图像块的边的图结构；利用统计学习所获的参数定义上述图结构的能量项；将所述能量项作为约束加入到传统立体匹配的描述像素和像素之间视差关系的图中；求解出两幅图像之间的视差图。
文档编号G06T7/00GK101398933SQ20081022434
公开日2009年4月1日 申请日期2008年10月17日 优先权日2008年10月17日
发明者李仁举, 查红彬, 英向华, 马祥音 申请人:北京大学