专利名称：一种创建深度图的方法及装置的制作方法
技术领域：
本发明涉及计算机领域，特别涉及一种创建深度图的方法及装置。
背景技术：
立体视觉就是建立多幅图像之间的对应关系，从而提取所拍摄的场景的几 何信息。在立体视觉领域里，深度图扮演着重要的角色，深度图是一张存储深 度值的图像。在立体视觉领域的多摄l象机系统(系统中的摄像机的数目多于两 个)中，深度图得到了广泛的应用，所以如何创建多摄像机系统的深度图是立 体视觉领域的一项重要的技术。
目前采用以下的方法创建多摄像机系统的深度图，具体为对多摄像机系 统拍摄的每张图像进行"过分割"，得到每张图像的若干个分割块，然后通过"由 粗到细"的方法计算每个分割块的DSD (disparity space distribution, -现差空间 分布)，根据每个分割块的DSD,并对每个分割块施加视差的平滑约束，计算得 到每张图像的深度图。 ' '
在实现本发明的过程中，发明人发现现有技术至少存在以下问题 采用目前的创建深度图的方法创建的深度图，由于深度图中的图像的轮廓 比较模糊，因而导致深度图的准确性较低。
发明内容
为了提高深度图的准确性，本发明实施例提供了 一种创建深度图的方法及 装置。所述技术方案如下
一种创建深度图的方法，所述方法包括 计算参考图像的像素点的侯选深度值；
根据所述参考图像和所述参考图像的相邻图像，创建所述像素点的打分函
数；
根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值；
存储所述深度值得到所述参考图像的深度图。 所述计算参考图像的像素点的侯选深度值，具体包括 在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样
点；
计算所述采样点到所述摄像机的距离； 根据所述采样点的距离，计算所述像素点的侯选深度值。 所述根据所述参考图像和所述参考图像的相邻图像，创建所述像素点的打
分函数，具体包括
将所述采样点投影在所述参考图像的相邻图像，得到投影点； 根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一
化互相关值NCC;
以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的 NCC函数；
将所述相邻图像的NCC函数进行融合，得到所述像素点的打分函数。
所述根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的 归一化互相关值NCC，具体包括
建立所述像素点的图像窗口与所述投影点的图像窗口 ；
根据所述像素点的图像窗口与所述投影点的图像'窗口 ，计算所述投影点与 所述像素点之间的NCC。
一种创建深度图的装置，所述装置包括
计算模块，用于计算参考图像的像素点的侯选深度值；
创建模块，用于根据所述参考图像和所述参考图像的相邻图像，创建所述 像素点的打分函数；
确定模块，用于根据所述像素点的打分函数和灰度值，利用信念传播模型
从所述侯选深度值中确定所述像素点的深度值；
存储模块，用于存储所述深度值得到所述参考图像的深度图。 所述计算模块具体包括
采样单元，用于在参考图像的像素点与摄像机的光心连线的延长线上进行 采样，得到采样点；第一计算单元，用于计算所述采样点到所述摄像机的距离；
第二计算单元，用于根据所述采样点的距离，计算所述像素点的侯选深度值。
所述创建模块具体包括
投影单元，用于将所述采样点投影在所述参考图像的相邻图像，得到投影
点；
第三计算单元，用于根据所述像素点与所述投影点，计算所述投影点与所 述像素点之间的归一化互相关值NCC;
创建单元，用于以所述侯选深度值为自变量，以所述NCC为从变量创建所 述相邻图像的NCC函数；
融合单元，用于将所述相邻图像的NCC函数进行融合，得到所述像素点的 打分函数。
所述第三计算单元具体包括
建立子单元，用于建立所述像素点的图像窗口与所述投影点的图像窗口 ； 计算子单元，用于根据所述像素点的图像窗口与所述投影点的图像窗口 ，
计算所述投影点与所述像素点之间的NCC。
通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图 像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的 打分函数，根据打分函数，it过信念传播模型确定出参考图像的像素点'的深度 值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰， 从而提高了深度图的准确性。
图1是本发明实施例4是供的一种创建深度图的方法流程图； 图2是本发明实施例提供的一种创建深度图的方法详细流程图； 图3是本发明实施例提供的一种创建深度图的装置示意图。
具体实施例方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明 实施方式作进一步地详细描述。实施例1
如图1所示，本发明实施例提供了一种创建深度的方法，包括 步骤101:计算参考图像的像素点的侯选深度值；
其中，计算参考图像的像素点的侯选深度值的详细过程参见实施例2的步 骤201-204，在此不再赘述。
步骤102:根据参考图像和参考图像的相邻图像，创建参考图像中的该像素 点的打分函数；
其中，如何创建参考图像中的该像素点的打分函数的详细过程参见实施例2 的步骤205-210,在此不再赘述。
其中，重复的按照步骤101-102得到参考图像中的剩下每个像素点的侯选深 度值和打分函数。
步骤103:根据参考图像中的每个像素点的打分函数和灰度值，利用信念传 播模型从每个像素点的侯选深度值中确定每个像素点的深度值； 步骤104:存储每个像素点的深度值得到参考图像的深度图。 在本发明实施例，通过计算参考图像的像素点的侯选深度值，根据参考图 像和参考图像的相邻图像，创建参考图像的每个像素点的打分函数，根据每个
像素点的打分函数和灰度值，通过信念传播模型确定出参考图像的每个像素点 的深度值，存储确定的深度值得到深度图，使傳创建的深度图中的图像的轮廓 清晰，从而提高了深度图的准确性。
实施例2
如图2所示，本发明实施例提供了一种创建深度图的方法，包括 步骤201:利用多视角几何的原理，针对参考图像的一个像素点，在该像素 点与采集该参考图像的摄像机的光心连线的延长线上，在物体离该摄像机的最 近距离Zmin与最远距离Z應之间，等间隔采样，得到若干个采样点；
其中，多摄像机系统(摄像机至少为三个)在不同的角度对同一物体进行 摄像，得到同一物体在不同角度的图像，在这些图像中，左右各存在N个相邻 图像的图像可以作为参考图像，其中，N为事先设置的数值。例如，对于有6 个摄像机从左到右依次采集了 A、 B、 C、 D、 E和F六张图像，设置N的取值为2,其中，只有图像C和图像D的左右相邻的图像的个数各为两个，所以可
以选择图像C和图像D作为参考图像。
其中，在本实施例中采样间隔表示为interval,其大小是事先设置的数值，
所以采样点的个数为K=Z,-Zmin 。
interval
其中，在本实施例中使用参考图像的左右相邻图像可以解决遮挡问题
(occlusionproblem)。在参考图像的某一侧的相邻图像里因为遮挡部分信息，使
该侧相邻的图像中不存在参考图像中的被遮挡的信息，但在另 一侧的相邻图像
中一定存在该部分遮挡的信息。因此使用参考图像的左右两侧的相邻图像，可
以解决遮挡问题，从而提高本实施例创建深度图的准确性。
步骤202:根据公式(l)，计算每个采样点到该摄像机的距离； Zk=Zmin+kxinterval(k=0,l..，K)……(工)
其中，k表示第k个采样点，Zk表示第k个采样点到该摄^4几的距离。
步骤203:针对一个釆样点，根据该采样点到摄像机的距离，将该采样点投 影到参考图像的左侧N张相邻图像和右侧N张相邻图像，得到该采样点在2N 张相邻图像中的投影点；其中，该采样点在每张相邻图像中对应一个投影点；
例如，步骤201中的A、 B、 C、 D、 E和F六张图像，假设，参考图像为 图像C,将采样点投影在图像C的左侧两张相邻图像和右侧两张相邻图像，即 将采样点投影在图像A、 B、 D和E。
步骤204:根据该采样点到摄像机的距离，通过公式(2)计算出该采样点 的深度值d,将该深度值d称为参考图像中的该像素点的一个侯选深度值；
<formula>formula see original document page 9</formula>
其中，由于该釆样点在每张相邻图像中存在一个投影点，所以每张相邻图 像中的该采样点的投影点与该采样点对应的侯选深度值之间存在对应关系。
其中，重复的按照步骤203和步骤204两步，将剩下的每个采样点投影在 2N张相邻图像中，得到所有的投影点，计算每个采样点的深度值，得到该像素 点的所有侯选深度值和相邻图像中的每个投影点与侯选深度值的对应关系。
步骤205:在参考图像中，以该像素点为中心建立该像素点的图像窗口；具体地，在参考图像中，以该^^素点为中心扩展成一个大小为x且形状为
正方形的像素块，将该像素块称为该像素点的图像窗口 ；
其中，X是事先设置的数值，X的取值必须是寄数，通常取值为5、 7、 9 或11等。
步骤206:针对一张相邻图像，在该相邻图像中，以该相邻图像中的每个投 影点为中心，为每个投影点建立自身的图像窗口；
具体地，在该张相邻图像中，针对该相邻图像中的一个投影点，以该投影 点为中心，扩展成一个大小为X且形状为正方形的像素块，将该像素块称为该 投影点的图像窗口 ，按上述方法为该相邻图像中剩下的每个投影点建立一个图 像窗口。
其中，步骤205与步骤206不分先后，也可以同时进行。
步骤207:根据该像素点的图像窗口与该相邻图像中每个投影点的图像窗
口，通过公式(3)计算该相邻图像中的每个投影点与该像素点之间的NCC (Normalized Cross Correlation,归一化互相关值)值，其中，由于在该张相邻
图像中的每个投影点对应 一个侯选深度值，所以计算出的每个投影点与参考图
像的该像素点之间的NCC值对应一个侯选深度值；
其中，Iu代表参考图像中的该像素点的图像窗口中的各像素点的灰度值，X 代表参考图像中的该像素点的图像窗口中的所有像素点的灰度值的平均值，I2i 代表相邻图像中的一个投影点的图像窗口中的各个像素点的灰度值，代表该 投影点的图像窗口中的所有像素点的灰度值的平均值。
其中，图像中的每个像素点都有自身的灰度值。另外，需要说明的是当 摄像机采集的图像为彩色图像时，首先应将彩色图像进行转换，使图像中的每 个像素点都有自身的灰度值。
步骤208:根据该相邻图像中的每个投影点与参考图像中的该像素点之间的 NCC值与侯选深度值的对应关系，为该相邻图像创建一个自变量为侯选深度值 且从变量为NCC值的NCC ( d)函数；
步骤209:从该相邻图像中的每个投影点与参考图像中的该投影点之间的
NCC=NCC值与侯选深度值对应关系中，挑选该张相邻图像的NCC (d)函数的极大值对应的侯选深度值dmax;
其中，重复地按照步骤206-209得出剩下2N-1张相邻图像的NCC (d)函数的极大值对应的深度值。
步骤210:根据NCC (d)函数的极大值对应的深度值，通过现有的"图像一致性计算方法"，将2N张相邻图像的NCC (d)函数进行融合，得到参考图像中的该像素点的一个打分函数S (d);
其中，通过现有的"图像一致性计算方法"融合的打分函数S(d)如公式(4)所示
S(d)=S2>CCj(d_)W(d-d_)……(4)
其中，d为参考图像中的该像素点的侯选深度值，NCCj代表由第j(j=l，2,...,2N )张相邻图像所计算得到的NCC (d)函数。dm狀代表使得NCCj函数达到极大值时对应的侯选深度值，W是一个高斯内核(Gaussian kernel)。
其中，能使S(d)值越大的侯选深度值，越有可能成为该像素点的深度值。
其中，完成此步骤后，得到该像素点的打分函数S(d)和该像素点的侯选深度值，重复的按步骤201-210得到参考图像中的剩下每个像素点的打分函数S(d)和自身的侯选深度值。
其中，在本实施例中将参考图像的左右相邻图像的NCC'(d)函数融合成一个打分函数S(d)，融合了相邻图像中的信息，使得创建的深yl图中的图像的轮廓清晰，提高了深度图的准确性。步骤211:根据参考图像中的每个像素点的打分函数和灰度值，通过现有的
BP(信念传播，BeliefPropagation)模型从每个像素点的侯选深度值中，确定每
个像素点的深度值；
其中，BP模型的能量函数如公式(5)所示E(d)=ZDp(dp)+ Z V(dp，dq) ...... (5)
peP (p,q)eN
其中，p为参考图像中的一个像素点，q为参考图像中像素点p相邻的像素点，且像素点p与像素点q满足四领域的关系；dp和dq分别为像素点p和像素点q的侯选深度值；P为参考图像的所有像素点的集合，N为参考图像中所有相邻的两像素点的集合；Dp(dp)为数据项，V(dp, dq)平滑项，数据项用于从每个像素点的侯选深度值中确定每个像素点的最有可能的深度值，平滑项用于保证每个像素点深度值与周围像素点深度值的连续性。
其中，在本实施例中配置的数据项Dp (dp)如公式(6)所示<formula>formula see original document page 12</formula>
其中，dataMax为截断值，beta为调整比例的参数，其中，dataMax和beta都是人为设置的经验值。
dataMax可以使数据项对无紋理区域的像素点不起作用，无紋理区域的像素
点的打分值较低，其中，无紋理区域是像素点的像素值没有变化的区域，无紋
理区域的每个像素点的打分值小于<formula>formula see original document page 12</formula>对于无紋理区域的〗象素点可
以通过调整参数dataMax，使得数据项Dp ( dp)为恒定值beta x dataMax ，如此使
得数据项对无紋理区域的像素点不起作用。
在本实施例中配置的光滑项V (dp， dq)如公式(7)所示<formula>formula see original document page 12</formula>
其中，在配置V(dp, dq)时，采用像素点p的侯深度值与像素点q的侯选深度值差的平方形式即(dp-dq)2的形式，可以将像素点p的侯选深度值与像素点q的侯选深度值加上二次约束，使得深度值的过渡更加平滑。另外，在配置V(dp，
dq)时，还引入了参考图像的颜色，目的是解决深度值不连续的问题。当深度值不连续时，V(dp， dq)值等于零。
其中，在本实施例中，假设，深度值不连续只可能发生在参考图像中的颜色不连续区域，也就是说，对于参考图像中的颜色不连续区域，不应该加上平
滑项的深度值连续性约束，使BP模型在这些不连续的区域上停止信息传播；而
对于其他区域，需要施加平滑项的深度值连续性约束。
其中，相邻的两个像素点的灰度值相差较大，则这两个像素点的颜色不连
续，BP模型根据上述假设，判断像素点p与像素点p的灰度值的差的绝对值是否大于或等于设置的阈值Diff—color,如果是，则认为像素点p与像素点q之间的颜色不连续，并将平滑项V(dp, dq)的值置为0，其中，Diff—color为通过实验得到的经验值。
其中，在本实施例中将参考图像中的每个像素点的S (d)和灰度值输入到BP模型中，BP模型将每个像素点的打分函数S (d)带入能量函数E(d),得到每个像素点的能量函数E(d),根据每个像素点与其相邻的像素点的灰度值，确
定能量函数E (d)的平滑项值，从每个像素点的侯选深度值中确定出能使自身的E(d)函数值达到最小时对应的侯选深度值作为自身的深度值，将每个像素点的深度值输出。
步骤212:将参考图像中的每个像素点的深度值存入图像文件中，得到参考图像的深度图。
在本发明实施例，通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的打分函数，根据打分函数，通过BP模型确定出参考图像的像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。
实施例3
如图3所示，本发明实施例提供了一种创建深度图的装置，包括计算模块301,用于计算参考图像中的像素点的侯选深度值；创建模块302，用于根据参考图像和参考图像的相邻图像，创建该像素点的打分函数；
其中，重复地利用计算模块301和创建模块302得到参考图像中剩下的每个像素点的侯选深度值和打分函数。
确定模块303，用于根据每个像素点的打分函数和灰度值，利用信念传播模型从每个像素点的侯选深度值中确定每个像素点的深度值；
存储模块304,用于存储每个像素点的深度值得到参考图像的深度图。
其中，计算模块301具体包括
采样单元，用于在参考图像的该像素点与摄像机的光心连线的延长线上进行采样，得到采样点；
第一计算单元，用于计算采样点到摄像机的距离；
第二计算单元，用于根据采样点的距离，计算该像素点的侯选深度值；
创建模块302具体包括
投影单元，用于将采样点投影在参考图像的相邻图像，得到投影点；第三计算单元，用于根据参考图像中的该像素点与投影点，计算投影点与
参考图像中的该像素点之间的NCC值；
创建单元，用于以该像素点的侯选深度值为自变量，以投影点与参考图像中的该像素点之间的NCC值为从变量创建相邻图像的NCC函数；
融合单元，用于将相邻图像的NCC函数进行融合，得到该像素点的打分函数。
第三计算单元具体包括
建立子单元，用于建立该像素点的图像窗口与投影点的图像窗口 ；计算子单元，用于根据该像素点的图像窗口与投影点的图像窗口，计算投
影点与该像素点之间的NCC。
在本发明实施例，通过采样点计算参考图像的像素点的侯选深度值，将采样点投影在参考图像的相邻图像，得到投影点，根据采样点和投影点，创建参考图像的像素点的打分函数，根据打分函数，通过BP模型确定出参考图像的像素点的深度值，存储确定的深度值得到深度图，使得创建的深度图中的图像的轮廓清晰，从而提高了深度图的准确性。
以上实施例提供的技术方案中的全部或部分内容可以通过软件编程实现，其软件程序存储在可读取的存储介质中，存储介质例如计算机中的硬盘、光盘或软盘。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1、一种创建深度图的方法，其特征在于，所述方法包括计算参考图像的像素点的侯选深度值；根据所述参考图像和所述参考图像的相邻图像，创建所述像素点的打分函数；根据所述像素点的打分函数和灰度值，利用信念传播模型从所述侯选深度值中确定所述像素点的深度值；存储所述深度值得到所述参考图像的深度图。
2、 如权利要求l所述的方法，其特征在于，所述计算参考图像的像素点的 侯选深度值，具体包括在参考图像的像素点与摄像机的光心连线的延长线上进行采样，得到采样点；计算所述采样点到所述摄像机的距离； 根据所述采样点的距离，计算所述像素点的侯选深度值。
3、 如权利要求2所述的方法，其特征在于，所述根据所述参考图像和所述 参考图像的相邻图像，创建所述像素点的打分函数，具体包括将所述采样点投影在所述参考图像的相邻图像，得到投影点； 根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一 化互相关值NCC;以所述侯选深度值为自变量，以所述NCC为从变量创建所述相邻图像的 NCC函数；将所述相邻图像的NCC函数进行融合，得到所述像素点的打分函数。
4、 如权利要求3所述的方法，其特征在于，所述根据所述像素点与所述投 影点，计算所述投影点与所述像素点之间的归一化互相关值NCC,具体包括建立所述像素点的图像窗口与所述投影点的图像窗口 ；根据所述像素点的图像窗口与所述投影点的图像窗口 ，计算所述投影点与所述^f象素点之间的NCC。
5、 一种创建深度图的装置，其特征在于，所述装置包括 计算模块，用于计算参考图像的像素点的侯选深度值；创建模块，用于根据所述参考图像和所述参考图像的相邻图像，创建所述 像素点的打分函数；确定模块，用于根据所述像素点的打分函数和灰度值，利用信念传播模型 从所述侯选深度值中确定所述像素点的深度值；存储模块，用于存储所述深度值得到所述参考图像的深度图。
6、 如权利要求5所述的装置，其特征在于，所述计算模块具体包括 采样单元，用于在参考图像的像素点与摄像机的光心连线的延长线上进行釆样，得到采样点；第一计算单元，用于计算所述采样点到所述摄像机的距离； 第二计算单元，用于根据所述采样点的距离，计算所述像素点的侯选深度值。
7、 如权利要求6所述的装置，其特征在于，所述创建模块具体包括 投影单元，用于将所述采样点投影'在所述参考图像的相邻图像，得到投影点；第三计算单元，用于根据所述像素点与所述投影点，计算所述投影点与所述像素点之间的归一化互相关值NCC;创建单元，用于以所述侯选深度值为自变量，以所述NCC为从变量创建所 述相邻图像的NCC函数；融合单元，用于将所述相邻图像的NCC函数进行融合，得到所述像素点的 打分函数。
8、 如权利要求7所述的方法，其特征在于，所述第三计算单元具体包括 建立子单元，用于建立所述像素点的图像窗口与所述投影点的图像窗口 ； 计算子单元，用于根据所述像素点的图像窗口与所述投影点的图像窗口 ，计算所述投影点与所述像素点之间的NCC。
全文摘要
本发明公开了一种创建深度图的方法及装置，属于计算机领域。所述方法包括计算参考图像的像素点的候选深度值；根据所述参考图像和所述参考图像的相邻图像，创建所述像素点的打分函数；根据所述像素点的打分函数和灰度值，利用信念传播模型从所述候选深度值中确定所述像素点的深度值；存储所述深度值得到所述参考图像的深度图。所述装置包括计算模块、创建模块、确定模块和存储模块。通过本发明创建的深度图的图像的轮廓清晰，提高了深度图的准确性。
文档编号G06T11/00GK101582171SQ20091008716
公开日2009年11月18日 申请日期2009年6月10日 优先权日2009年6月10日
发明者戴琼海, 涛 李 申请人:清华大学