专利名称：一种基于区域深度边缘检测和双目立体匹配的三维重建方法
技术领域：
本发明属于双目立体视觉技术领域，涉及到基于立体匹配处理实拍图像的问题， 尤其涉及到将边缘检测技术引入立体匹配，并基于深度边缘构造像素的支持窗口，通过置 信度传播最优化算法获取像素的匹配关系并重建目标物三维点云模型的方法。
背景技术：
基于立体匹配的双目视觉技术是目前三维重建领域中的研究热点，其通过匹配 同一目标物从不同角度拍摄的两幅图像，以恢复目标的三维信息。其优势主要在于对硬 件配置要求低，安装方便快速，属于对目标物无任何影响的非接触式三维重建。并且，通 过2. 5D立体视差图，双目重建获取的目标物三维点云模型是精确多目建模(Multi-view Modeling)和构面(Surface Meshing)算法的重要基础。双目立体重建系统一般由三个主 要部分构成摄像机标定、立体匹配、三维点云重构。首先通过左右两个摄像机获取同一目 标物的两幅图像，接着基于立体匹配算法计算目标点在两幅图像中的视差，最后基于摄像 机标定信息和视差值重建目标物的三维点云。立体匹配是双目系统中最重要的步骤，也是 图像处理中的经典问题。一般情况下，双目立体重建算法针对人脸等特定目标，利用特定目标本身的特征 进行立体匹配。这些匹配算法包含有一些特殊的匹配策略或人工步骤，影响了立体重建的 鲁棒性和自动化程度；如果对象改变，可能会对算法的效能产生负面影响。重建精度方面， 由于双目系统的主要应用采取立体匹配算法，所以导致系统非常依赖像素的可靠视差。立 体匹配的三个主要问题是1)区域遮挡II)低纹理III)不平衡的光照。然而，对于双目系 统拍摄的实际图像，这些问题可能更具有挑战性。双目重建中的立体匹配作为被动式的方 法，单纯基于目标的两幅图像，没有借助结构光等辅助信息，重建系统受拍摄环境和目标本 身的影响较大。实际的环境很难满足静止的光照和平衡的颜色，导致相同场景在双目摄像 机拍摄的左右两幅图像中容易形成不同的颜色信息，以及不稳定的阴影和反光区域。并且， 实际目标物不规则的形状变化通过摄像机的拍照角度容易造成分布复杂的遮挡区域和大 范围的可能视差，进一步增加了匹配的难度。最终这些立体匹配中的问题导致双目系统重 建的目标物三维点云的质量不高。
发明内容
技术问题本发明的目的是提供一种基于区域深度边缘检测和双目立体匹配的三 维重建方法，将基于区域深度边缘检测的窗口构造、归一化互相关系数和具备加速更新制 度的置信度传播最优化方法良好结合的立体匹配算法，并且应用于双目视觉系统，可以快 速准确地重建目标物的三维模型。技术方案首先进行摄像机标定，然后从不同角度拍摄目标物的两幅图像，根据标 定数据进行极线校正和图像变换，然后在每个像素的固定邻域内利用二阶微分边缘检测算子搜索并构建一条虚拟的封闭深度边缘，形成相应的支持窗口 ；然后使用支持窗口内的支 持像素通过归一化互相关系数计算中心像素之间的匹配代价，并作为全局能量最优化方程 的数据项，接着利用置信度传播最优化算法获取视差。之后引入一种基于亚像素估计的视 差精确算法修复一些不连续的量化视差值；最后，根据双目摄像机的标定信息和像素视差 结果重建目标物的三维点云，获取目标的三维信息。该三维重建方法依次含有下列步骤步骤1)摄像机标定使用两台水平放置的双目摄像机拍摄贴有标记点的标定板， 首先调整双目摄像机的位置使其光轴近似平行，然后从左右两个角度同时拍摄标定板，接 着根据标定板图像，分别对两台摄像机进行标定，获得各自的内参数矩阵4、Ae和外参数矩 阵[Rl tJ、[Re tJ ；步骤2)目标物图像获取保持摄像机的拍摄角度不变，拍摄目标物的两幅图像， 其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤3)极线校正及图像变换基于步骤1)中标定过程得到的摄像机内外参数矩 阵，运用极线校正方法分别旋转两幅目标物图像，形成平行的极线，然后根据校正后的极线 将目标物的原始图像转换成待匹配图像，使两幅待匹配图像中对应的匹配像素具有相同的 纵坐标；步骤4)基于区域深度边缘检测构造支持窗口 将待匹配图像中每一个像素P的支 持窗口的封闭边界看成一类深度跃变像素的集合，利用二阶微分边缘检测算子从像素P开 始，向四周搜寻深度跃变像素作为支持窗口的边界点，连接这些边界点，形成一条虚拟的封 闭边缘作为窗口的边界，形成像素ρ的支持窗口 Wp ；同理，另一幅待匹配图像中每一个像素 q的支持窗口 Wq可以按同样的方法构造；步骤5)计算匹配代价，包括以下两个子步骤步骤5. 1 任取两幅经过极线校正的待匹配图像中的一幅为基准图像，另一幅为 配准图像；步骤4)得到基准图像中坐标为(X，y)的任意像素ρ的支持窗口 Wp，以及配准图 像中P的对应极线上可能的匹配点q的支持窗口 Wq，q点坐标为(x+d，y)，其中d e [dmin dfflax]，dmin为最小视差值，dmax为最大视差值；步骤5. 2 在基准图像中选取大小及形状与支持窗口 Wp和\的交集窗口一致的窗 口%，在配准图像中选取大小及形状与支持窗口 Wp和\的交集窗口一致的窗口&，根据公 式
-计算支持像素i1和r的归一化互相关
系数，作为基准像素P在视差为d时，对应配准像素q的匹配代价，记为Φ (P，d)，Ki1)和 I(ir)分别为像素i1和Γ的灰度值；7^和7分别为基准图像和配准图像在交集窗口^和& 内的灰度平均值；步骤6)置信度传播最优化能量函数在基准图像中迭代传播置信度消息，可以 获得整幅图像的能量最优化，采用加速更新制度将置信度消息从一个像素传递给下一个像 素在每一次迭代t时，分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受消息的方向，立即更新该像素的置信度消息；消息传播结束后，计算此时每一个像素P 的置信度，选取具有最大置信度的视差值为该像素的视差dp ；步骤6. 1 计算像素的平滑代价平滑代价Ψ (s，ρ)决定了相邻像素ρ和s对于置信度消息传播的支持度，首先使 用公式
^计算每个像素P和它的右相
邻像素和下相邻像素之间的平滑代价Ψ (P，S)，其中，Δ Ips为像素ρ和S之间的灰度差值， 由Δ Ips = 11 (S)-I (ρ) I计算，I (s)和I (ρ)分别为像素s和ρ的灰度值；L是一个静态阈 值，u和P是平滑补偿项，都为静态常数；ds为此时像素s的视差值，d为像素ρ的待匹配视
差值；步骤6. 2 计算像素的置信度消息在第t次迭代传播置信度消息时，像素s传递给相邻像素P的消息记为， 包括了像素S的匹配代价φ (S，ds)，平滑代价ψ (S，P)，以及像素S的4邻域中(不包括P) 的三个像素在第t-Ι次迭代时接受的消息<>“")=《？二^邓’尸沖“，式^^广二从)，其中，0(s，4)为像素s在配准
图像中的待匹配像素对应于视差值ds的匹配代价，由步骤5)得到；Ψ (s，p) = Ψ (p，s)为 平滑代价；N (s) \p表示s的相邻像素但不包括ρ ；步骤6. 3 计算像素的置信度并获取视差按照消息的加速更新制度，从基准图像的最右像素开始，依次将每一个像素的消 息传播给相邻左像素；再从最左像素开始，依次将每一个像素的消息传播给相邻右像素； 按此规则再经过下和上两个方向的传播，即完成整幅图像的置信度消息的1次迭代更新；T 次迭代更新后，像素P的置信度bp (d)由
计算，φ (ρ, d)为像素ρ的匹配代价，由步骤5得到，
(…为此时相邻像素s传递给像素P的置信度消息，接着计算视差范围内所有视差 d e [dmin dmax]对应的置信度，dmin为最小视差值，(1_为最大视差值，选取具有最大置信度 的视差值为像素P的视差dp，由《ζ-Ι Ι^)计算得到；步骤7)视差精确利用亚像素估计
岣-聯,“鄉，聊,@将步骤6)翻的難视差值
转化为小数形式，并获取更精确的亚像素视差Dispartiy (ρ)，作为像素ρ的最终视差值，其 中，三个离散视差值dp，dp+l，dp-l由步骤6得到，Φ (p，dp)、Φ (ρ，dp+l)和Φ (p，dp-l)为 步骤5得到的匹配代价； 步骤8)重建目标物的三维点云孔为目标点P在基准图像中对应的像素，Pk为目 标点P在配准图像中对应的匹配像素，&的坐标为(&，yJ，PK&坐标为(xK，yK)，通过Xk = xL+Disparity(PL)和yE = yL得到，Disparity (Pl)为步骤7)得到的像素P1^的最终视差值， 然后根据步骤1)得到的摄像机内外参数矩阵和像素匹配对(h，PK)计算目标点P的三维坐
7标；计算所有目标点的三维坐标，进而得到整个目标物的三维点云模型和三维信息。其中，步骤4)的基于区域深度边缘检测构造支持窗口包括以下三个子步骤，步骤4. 1 对经过极线校正后的两幅待匹配图像进行中值滤波，改善图像质量，降 低噪声对边缘检测算子性能的影响；步骤4. 2 搜索支持窗口八个方向上的顶点在两幅待匹配图像中，从每一个像素ρ的水平方向出发，依次逆时针旋转45°可 以得到支持窗口的8个顶点方向。在每一个顶点方向1^& = 0，1，2...7)上通过二阶微分
算子Kp+hi =VU(/ + /0 = /(芦+ ^ + /…+ ^-之八夕+夂)，从中心点ρ开始搜索该方
向上的区域深度边缘点h(ek)，其中，为像素(p+hi+1)在方向k上的二阶灰度微分值， I (p+hi+1) a (p+h^)和 I(p+hi)分别为像素(p+hi+1)、(p+hH)和(p+hi)的灰度值，hi e {1， 2,3... }k，θ k(k = 0,1,2... 7)为支持窗口的八个顶点方向，当满足式^^ xKp+fhl <0时， h(ek) =hi;并作为方向k上支持窗口的顶点；步骤4. 3 连接像素ρ八个方向上步长为h( θ k)的顶点，形成ρ点的区域深度边 缘，选取其包围的区域为相应的支持窗口 Wp。有益效果与现有技术相比，本发明具有下面的优点基于区域深度边缘检测构 造的支持窗口基于假设邻域内相似深度的像素具有相似的视差，利用区域内深度信息的 变化约束窗口的大小及形状，包含与中心像素具有相似深度的支持像素。同时结合归一化 互相关系数计算方法，可以有效克服实际环境中不平衡的光照对三维重建系统的影响，获 得稳定的匹配代价，并且适用于后续的能量最优化算法。具备加速更新制度的置信度传播 最优化算法充分利用整幅图像所有像素的纹理信息来寻找最优解，以最小化能量函数，修 复遮挡像素的匹配信息，减小了匹配不确定性和误差。基于亚像素估计的视差精确方法可 以将整数形式的视差值转化为更为精确的小数，获得更平滑的目标物三维点云。本发明充 分结合了边缘检测技术、基于深度信息的视差计算和置信度传播最优化算法的优点，克服 了现有立体匹配技术应用在实际三维重建系统时遇到的主要问题，保证重建准确度的同 时，提高了重建过程的运算速度和自动化程度。
图1本发明完整流程图。图2系统模型及原理示意图。图3极线校正示意图。图4区域深度边缘检测的原理图。图5像素的支持窗口示意图。图6置信度传播最优化算法的加速更新制度示意图。图7由匹配关系和标定数据计算图像上物点的空间三维坐标示意图。
具体实施例方式下面参照附图，对本发明具体实施方案做更为详细的描述。编程实现工具选用 Visual C++2003. net和OpenCV图像处理函数库，室内环境中选用低纹理的人脸和光照不平衡明显的西瓜作为三维重建目标。图1为本发明的完整流程图。图2为本发明的系统模型及原理示意图。使用两个CCD摄像机分别从两个不同角 度同时各拍摄一幅目标图像，0L, Ok分别为两台摄像机的光心，Ip Ik分别为两台摄像机的 成像平面，P为待重构的目标物上的一个空间物点，PL, Pe为物点P分别在两台摄像机成像 平面上所成的像点。这种由同一空间物点在不同摄像机成像平面上所成的像点为一对匹配 点。任取其中一幅为基准图像，另一幅为配准图像，为基准图像中的每个像素在配准图像中 搜索对应的匹配点的过程称为立体匹配。得到像素的匹配关系后，根据系统模型，结合标定 得到的摄像机内外参数，进行逆向运算，就可以得到对应物点的空间三维坐标，从而实现图 像的三维重建。图4是区域深度边缘检测技术的原理图，坐标中心为每一个支持窗口的中心像 素，纵坐标为像素深度，横坐标为邻域内像素与中心的空间距离。图像边缘是颜色信息出现 跃变的像素的集合，它们不仅出现在目标之间，还出现在像素之间。而每个像素的支持窗口 的封闭边界可以看成这类跃变像素的集合。这些窗口边界像素的颜色信息在与中心像素具 有相似深度和不相似深度的像素之间出现跃变。区域深度边缘检测技术利用边缘检测算子 从每个像素开始，向四周搜寻深度跃变像素作为该像素的支持窗口的边界点，在图4中标 记为“ ”。连接这些边界点，形成一条虚拟的封闭边缘，将该像素的固定邻域分割为外围区 域和中心区域，然后选择中心区域作为支持窗口，并使用其中的像素计算匹配代价。因此， 如图5(a) (b)，每一个像素的固定邻域U被构造的区域深度边缘分割为两个目标作为支持 窗口的中心区域W和外围区域W-U。边缘检测算子主要包括一阶和二阶微分算子。当进行 深度跃变像素检测时，基于一阶微分边缘算子的窗口建立只需要寻找具有最大微分值的像 素作为支持窗口的边界点；而二阶微分边缘算子只需要寻找二阶微分过零点作为支持窗口 的边界点。图5是像素的支持窗口示意图。如图5(a)所示，ρ为基准图像中一个像素，Wp为 以P为中心像素的基于深度边缘检测构造的一个支持窗口区域；图5(b)为配准图像中的支 持窗口，虚线框内区域为基准像素P对应的匹配点的视差范围即搜索范围，P的匹配点落在 这个范围内，q为搜索范围中的一个像素，Wq为以q为中心像素的支持窗口区域，图5(c)中 虚线区域『为基准图像中大小及形状与支持窗口 Wp和Wq的交集窗口一致的窗口 ；图5(d) 中虚线区域f为配准图像中大小及形状与支持窗口 Wp和Wq的交集窗口一致的窗口。基准 图像中像素P和配准图像中与其视差距离为d的像素q的匹配代价Φ (p，d)定义为
(1) 其中，I (i1)和I (Γ)分别为像素i1和Γ的灰度值；r和/分别为基准图像和配准 图像在交集窗口&和巧内的灰度平均值。本发明的方法具体包括以下几个步骤步骤1 摄像机标定使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置，使其光轴基本平行以及左右镜处于合适的拍摄角度，然后从两个 角度同时拍摄标定板。本发明中采用参考文献“A Flexible New Technique for CameraCalibration"(Zhang Z Y, IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 20 (11) =1330-1334)中提出的一种称为平面模板法的标定算法分别 根据标定板图像对两台摄像机进行标定，获得各自的内参数矩阵4、Ak和外参数矩阵 tJ、[Rr tJ。步骤2 目标物图像获取保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图 像，右镜头拍摄的为右图像；步骤3 极线校正及图像变换图3是极线校正示意图。根据极线约束原理，左图中某像素在右图上的匹配像素 位于该像素对应的一条极线上。而在实际的双目重建系统中，由于两个摄像机并不能保证 绝对的平行拍摄，需要引入参考文献“A compact algorithm for rectification ofstereo pairs. Machine Vision and Applications，，(Fusiello A, Trucco E, Verri A. 2000,12 (1) 16-22)中提出的极线校正算法，根据步骤1标定过程得到的摄像机内外参数，通过合适的 旋转，在两幅图像中形成平行的极线，然后根据校正过的极线转换原始图像，最终形成目标 物的待匹配图像。两幅待匹配图像中对应的匹配像素具有相同的纵坐标，从而将立体匹配 的搜索过程从二维降到了一维，提高了后续步骤的运算效率和精度。步骤4 根据区域深度边缘检测技术构造支持窗口，包括以下三个子步骤步骤4. 1 对两幅待匹配图像进行中值滤波，改善图像质量，降低噪声对边缘检测 算子的影响。步骤4. 2 搜索支持窗口八个方向上的顶点在经过步骤3极线校正后得到的待匹配图像中，从每一个像素ρ的 水平方向出发，按图5所示，依次逆时针旋转45 °可以得到支持窗口的8个 顶点方向。在每一个顶点方向k(k = 0，1，2. . . 7)上通过二阶微分算子 Kp+hi =▽？/(P + /0 = /(P + U + /b +、)—2/(P + A)，从中心点ρ开始搜索该方向上的区
域深度边缘点h( θ k)，其中，为像素(p+hi+1)在方向k上的二阶灰度微分值，I (p+hi+1)、 Kp+hJ 和 I(p+hi)分别为像素(p+hi+1)、(p+hH)和(p+h》的灰度值，hi e {1，2，3. ..}k， θ k(k = 0，1，2... 7)为支持窗口的八个顶点方向，按当满足式x<0时，h( θ k)= 并作为方向k上支持窗口的顶点。步骤4. 3 连接像素ρ八个方向上步长为h( θ k)的顶点，形成ρ的区域深度边缘， 将其固定邻域分割为中心区域和外围区域。选取中心区域为相应的支持窗口 Wp。接着按同 样的方法得到另一幅待匹配图像中像素q的支持窗口 \。步骤5 计算匹配代价，包括以下两个子步骤步骤5. 1 任取两幅经过极线校正的图像中一幅为基准图像，另一幅为配准图像。 经过步骤4. 3的计算，可以得到基准图像中坐标为(X，y)的任意像素ρ的支持窗口为Wp， 以及配准图像中视差范围D内可能的匹配点q的支持窗口 \ ；其中，q点坐标为(x+d，y)， d e D，D = [dmin dmax]，dmin为最小视差值，dmax为最大视差值。步骤5. 2:选取大小及形状与W1^nWq的交集窗口 一致的窗口，按公式⑴计算其中支持像素的归一化互相关系数，作为像素P视差为d时的匹配代价，记为Φ (p，d)。步骤6 置信度传播最优化能量函数置信度传播最优化算法在马尔可夫场四邻域系统中迭代传播置信度消息。算法核 心是在第t次迭代时从一个像素S传播到下一个像素P的消息，记为，以合适的方 式迭代更新。加速更新制度决定何时将消息再传递给下一个像素。如图6所示，在每一次 迭代t时，该制度分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受 消息的方向，立即更新该像素。这种更新制度的优势在于可以快速进行置信度传播最优化 算法的迭代过程，每一次迭代都需要按照图6的顺序，更新图像中所有像素的消息。像素s 在t次迭代时传递给像素ρ的消息包括了像素s的匹配代价Φ (s，d)，平滑代价Ψ (s，ρ)， 以及像素s的4邻域中(不包括ρ)的三个像素在t-Ι次迭代时接受的消息。步骤6. 1 计算像素的平滑代价平滑代价Ψ (s，ρ)决定了相邻像素ρ和s对于消息传播的支持度，限制了颜色信 息不连续的像素之间的消息传递。由于Ψ( P) = Ψ (ρ, S)，并且在消息传递过程中，平 滑代价保持恒定，所以首先计算每个像素S和它的右相邻像素和下相邻像素之间的平滑代
1/代)否则否则 像素P和S之间的灰度差值，由Δ Isp = 11 (S)-I (ρ) I计算，I (S)和I (P)分别为像素s和 P的灰度值；L是一个静态阈值，u和P是平滑补偿项，都为静态常数；ds为此时像素s的视 差值，d为像素ρ的待匹配视差值。步骤6. 2 计算像素的置信度消息t次迭代时，像素s传递给像素ρ的置信度消息为
像中的待匹配像素对应于视差4的匹配代价，由步骤5得到；Ψ(8，ρ)为平滑代价；N(s)\p 表示s的相邻像素但不包括P。步骤6. 3 计算像素的置信度并获取视差按图6的加速更新制度，依次将每一个像素的消息传播给下一个像素。经过整幅 图像的τ次迭代后，像素ρ的置信度bp(d)由MiO = CO^H)<>/々计算，φ (p，d)为
像素P的匹配代价，由步骤5得到；》C>p(句为此时相邻像素s传递给像素P的置信度消息。 接着计算视差范围内所有视差de [dmin dmax]对应的置信度，dmin为最小视差值，dmax为最大 视差值，像素P的视差值dp要求选择最大后验估计量，以最大化马尔可夫随机场的联合概
率，由S^iYi0计算。
步骤7 视差精确基于亚像素估计的视差精确可以将步骤6得到的整数视差值转化为更精确 的小数，减少立体匹配的视差量化误差，保护了目标物的三维信息。步骤6之后，基准 图像中每个像素P的三个离散视差值dp，dp+l，dp_l可以立即得到。通过亚像素估计
称◎可以获取小数形式的亚像素视差Dispartiy (p)，作为基准像素ρ的最终视差值。其中，三个离散视差值dp，dp+l，dp_l由步骤 6得到，Φ (p，dp)、Φ (ρ，dp+l)和Φ (p，dp-l)为步骤5得到的像素ρ的匹配代价。步骤8 三维信息还原根据步骤7得到的像素视差Dispartiy (ρ)，基准图像和配准图像中的匹配对
Pe)可以通过 χΕ = xl+Disparity (Pl) , yE = yL 得到，Pl 的坐标为(xL, yL)，Pe 的坐标为(xE, yK)。接着根据步骤1得到的摄像机内参数矩阵~、Ak和外参数矩阵[Rl tj、[Re tj，以及 像素匹配对(h，PK)，通过空间交汇法就可以计算出目标点的三维坐标。图7是空间交汇法 的示意图，(\、0K分别为两台摄像机的光心，SL,Se分别为两台摄像机的成像平面，PL>PE为两 台摄像机所拍摄图像中的一对匹配点。空间中物点三维坐标和成像平面上像素坐标之间有 下面的关系
Ui 其中，(u, ν)表示空间物点在成像平面上所成的像素的坐标，(Xw, Yw, Zw)表示目标 点P的空间坐标，Zp Z2分别为两个摄像机的光轴。目标点P分别与摄像机光心(\、Ok所成 的直线C\P，OeP在成像平面上的交点就是其在图像平面的投影PJu1, ν)，Pe(u2, ν)。根据公 式⑵可得到直线0J\，0KPK的方程，其交点就是P点的世界坐标。在实际计算过程中，直线 OlPl和OkPk可能不会正好相交，此时需要选取图7中异面直线的公垂线中点作为目标点。
Xw
「及 7I Yw
=Ay ι. ζ /=1'2(2)
权利要求
一种基于区域深度边缘检测和双目立体匹配的三维重建方法，其特征在于该重建方法依次含有下列步骤步骤1)摄像机标定使用两台水平放置的双目摄像机拍摄贴有标记点的标定板，首先调整双目摄像机的位置使其光轴近似平行，然后从左右两个角度同时拍摄标定板，接着根据标定板图像，分别对两台摄像机进行标定，获得各自的内参数矩阵AL、AR和外参数矩阵[RL tL]、[RR tR]；步骤2)目标物图像获取保持摄像机的拍摄角度不变，拍摄目标物的两幅图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤3)极线校正及图像变换基于步骤1)中标定过程得到的摄像机内外参数矩阵，运用极线校正方法分别旋转两幅目标物图像，形成平行的极线，然后根据校正后的极线将目标物的原始图像转换成待匹配图像，使两幅待匹配图像中对应的匹配像素具有相同的纵坐标；步骤4)基于区域深度边缘检测构造支持窗口将待匹配图像中每一个像素p的支持窗口的封闭边界看成一类深度跃变像素的集合，利用二阶微分边缘检测算子从像素p开始，向四周搜寻深度跃变像素作为支持窗口的边界点，连接这些边界点，形成一条虚拟的封闭边缘作为窗口的边界，形成像素p的支持窗口Wp；同理，另一幅待匹配图像中每一个像素q的支持窗口Wq可以按同样的方法构造；步骤5)计算匹配代价，包括以下两个子步骤步骤5.1任取两幅经过极线校正的待匹配图像中的一幅为基准图像，另一幅为配准图像；步骤4)得到基准图像中坐标为(x，y)的任意像素p的支持窗口Wp，以及配准图像中p的对应极线上可能的匹配点q的支持窗口Wq，q点坐标为(x+d，y)，其中d∈[dmin dmax]，dmin为最小视差值，dmax为最大视差值；步骤5.2在基准图像中选取大小及形状与支持窗口Wp和Wq的交集窗口一致的窗口在配准图像中选取大小及形状与支持窗口Wp和Wq的交集窗口一致的窗口根据公式计算支持像素il和ir的归一化互相关系数，作为基准像素p在视差为d时，对应配准像素q的匹配代价，记为Φ(p，d)，I(il)和I(ir)分别为像素il和ir的灰度值；和分别为基准图像和配准图像在交集窗口和内的灰度平均值；步骤6)置信度传播最优化能量函数在基准图像中迭代传播置信度消息，可以获得整幅图像的能量最优化，采用加速更新制度将置信度消息从一个像素传递给下一个像素在每一次迭代t时，分别在左、右、上和下四个方向上传播消息，并且沿着一个像素先前接受消息的方向，立即更新该像素的置信度消息；消息传播结束后，计算此时每一个像素p的置信度，选取具有最大置信度的视差值为该像素的视差dp；步骤6.1计算像素的平滑代价平滑代价Ψ(s，p)决定了相邻像素p和s对于置信度消息传播的支持度，首先使用公式计算每个像素p和它的右相邻像素和下相邻像素之间的平滑代价Ψ(p，s)，其中，ΔIps为像素p和s之间的灰度差值，由ΔIps＝|I(s) I(p)|计算，I(s)和I(p)分别为像素s和p的灰度值；L是一个静态阈值，u和P是平滑补偿项，都为静态常数；ds为此时像素s的视差值，d为像素p的待匹配视差值；步骤6.2计算像素的置信度消息在第t次迭代传播置信度消息时，像素s传递给相邻像素p的消息记为包括了像素s的匹配代价Φ(s，ds)，平滑代价Ψ(s，p)，以及像素s的4邻域中(不包括p)的三个像素在第t 1次迭代时接受的消息其中，Φ(s，ds)为像素s在配准图像中的待匹配像素对应于视差值ds的匹配代价，由步骤5)得到；Ψ(s，p)＝Ψ(p，s)为平滑代价；N(s)\p表示s的相邻像素但不包括p；步骤6.3计算像素的置信度并获取视差按照消息的加速更新制度，从基准图像的最右像素开始，依次将每一个像素的消息传播给相邻左像素；再从最左像素开始，依次将每一个像素的消息传播给相邻右像素；按此规则再经过下和上两个方向的传播，即完成整幅图像的置信度消息的1次迭代更新；T次迭代更新后，像素p的置信度bp(d)由计算，Φ(p，d)为像素p的匹配代价，由步骤5得到，为此时相邻像素s传递给像素p的置信度消息，接着计算视差范围内所有视差d∈[dmin dmax]对应的置信度，dmin为最小视差值，dmax为最大视差值，选取具有最大置信度的视差值为像素p的视差dp，由计算得到；步骤7)视差精确利用亚像素估计将步骤6)得到的整数视差值转化为小数形式，并获取更精确的亚像素视差Dispartiy(p)，作为像素p的最终视差值，其中，三个离散视差值dp，dp+1，dp 1由步骤6得到，Φ(p，dp)、Φ(p，dp+1)和Φ(p，dp 1)为步骤5得到的匹配代价；步骤8)重建目标物的三维点云PL为目标点P在基准图像中对应的像素，PR为目标点P在配准图像中对应的匹配像素，PL的坐标为(xL，yL)，PR的坐标为(xR，yR)，通过xR＝xL+Disparity(PL)和yR＝yL得到，Disparity(PL)为步骤7)得到的像素PL的最终视差值，然后根据步骤1)得到的摄像机内外参数矩阵和像素匹配对(PL，PR)计算目标点P的三维坐标；计算所有目标点的三维坐标，进而得到整个目标物的三维点云模型和三维信息。FSA00000204289500011.tif,FSA00000204289500012.tif,FSA00000204289500013.tif,FSA00000204289500014.tif,FSA00000204289500015.tif,FSA00000204289500016.tif,FSA00000204289500017.tif,FSA00000204289500021.tif,FSA00000204289500022.tif,FSA00000204289500023.tif,FSA00000204289500024.tif,FSA00000204289500025.tif,FSA00000204289500026.tif,FSA00000204289500027.tif,FSA00000204289500028.tif
2.根据权利要求1所述的基于区域深度边缘检测和双目立体匹配的三维重建方法，其 特征在于步骤4)的基于区域深度边缘检测构造支持窗口包括以下三个子步骤，步骤4. 1 对经过极线校正后的两幅待匹配图像进行中值滤波，改善图像质量，降低噪 声对边缘检测算子性能的影响；步骤4. 2:搜索支持窗口八个方向上的顶点在两幅待匹配图像中，从每一个像素P的水平方向出发，依次逆时针旋转45°可以得到支持窗口的8个顶点方向，在每一个顶点方向k上通过二阶微分算子，k = 0，1,2, ...7 ； Kp+hi = V2Jip + h,) = I(p + hl+l) + I(p + ^1)"2KP + 匆)，从中心点 ρ 开始搜索该方向上的区域深度边缘点h(ek)，其中，为像素(p+hi+1)在方向k上的二阶灰度微分值， I (p+hi+1) a (p+h^)和 I(p+hi)分别为像素(p+hi+1)、(p+hH)和(p+hi)的灰度值，hi e {1， 2，3... }k，θ k(k = 0，1，2... 7)为支持窗口的八个顶点方向，当满足式夂；^<0时，h(ek) =hi;并作为方向k上支持窗口的顶点；步骤4. 3 连接像素ρ八个方向上步长为h( θ k)的顶点，形成ρ点的区域深度边缘，选 取其包围的区域为相应的支持窗口 Wp。
全文摘要
一种基于区域深度边缘检测和双目立体匹配的三维重建方法，其实现步骤为(1)贴有标记点的标定板图像由两台黑白摄像机从两个合适角度拍摄。(2)保持拍摄角度不变，使用相同摄像机同时拍摄目标物的两幅图像；(3)根据摄像机的标定数据进行目标物两幅图像的极线校正；(4)在校正后的两幅图像中每一个像素的邻域内搜索一条封闭的区域深度边缘，构成支持窗口；(5)在构造的窗口内，计算支持像素的归一化互相关系数，得到中心像素的匹配代价；(6)利用具备加速更新制度的置信度传播最优化方法获取视差；(7)通过亚像素估计精确视差；(8)根据摄像机的标定数据和像素的匹配关系计算图像上实际物点的三维坐标，从而重建出物体的三维点云，还原目标的三维信息。
文档编号G06T17/00GK101908230SQ20101023545
公开日2010年12月8日 申请日期2010年7月23日 优先权日2010年7月23日
发明者何栿, 达飞鹏 申请人:东南大学