两视点图像的深度图获取方法及装置制造方法
【专利摘要】本发明涉及图像处理【技术领域】，涉及两视点图像的深度图获取方法及装置。该方法包括将RGB格式的两视点图像进行分辨率归一化；将分辨率归一化后的两视点图像转换为YUV格式，并提取获得Y分量图，其中Y分量图包括左视点图像及右视点图像；将左视点图像及右视点图像进行相同格式的分割，以在左视点图像及右视点图像中形成多个子图像对；并行对多个子图像对进行运动搜索，得到左深度图及右深度图；分别将左深度图及右深度图中的深度值映射到0～255范围内，得到两视点图像的深度图。本发明实施例的两视点图像的深度图获取方法及装置，数据处理量小，数据处理实时性高，易于实现，更能满足用户获取两视点图像的深度图的实际需求。
【专利说明】两视点图像的深度图获取方法及装置
【技术领域】
[0001]本发明涉及图像处理【技术领域】，具体而言，涉及两视点图像的深度图获取方法及装置。
【背景技术】
[0002]我国3D产业发展迅猛，立体频道的开通更为3D产业的整体发展带来重大机遇。3D产业发展过程中，3D终端显示的技术飞速更新，但3D节目内容的发展却远远落后。随着数字图像采集设备技术的进步，人们获取了大量的二维视频、图像、照片等媒体素材。在利用现有庞大的二维资源来满足3D产业发展需求的过程中，需要采用3D信息恢复和场景重建等技术进行3D节目内容的制作。研究表明，三维空间中同一物体在左右眼成像时会有水平方向上的位移，这被称为“视差”。对人类生理立体视觉要素的研究指出，由于视差的存在，人类左右眼看同一场景时会产生立体感。场景中物体距离摄像机位置的远近即深度信息是产生视差的主要原因，二者之间存在着对应关系。还原二维图像原有的立体信息(即垂直于图像平面的第三维度的深度信息)是二维图像转换成三维图像的重要内容。同样的现实生活中两视点图像不断增多，但两视点图像的立体显示效果远远不及8视点之类的多视点图像的显示效果好，因此提出了将两视点图像转换成多视点图像的实际需求。在将两视点图像转换成多视点图像的过程中，重要的一项前期工作是获取两视点图像的深度图。
[0003]目前获取两视点图像的深度图的方法主要包括:(1)基于几何透视的方法，具体为利用透视成像中的几何约束关系确定目标对象的空间三维姿态和整个场景的三维深度信息，其主要适用于城市建筑物等含有较为规则形状物体的场景；(2)基于几何光学的方法，具体为聚焦法或散焦法:聚焦法是在焦距可调情况下，使图像中的目标点精确聚焦，然后根据透镜成像原理求得该点相对于相机的距离，该方法硬件昂贵、不易实现，精确聚焦定位不准会带来误差；散焦法根据模糊程度计算图像中各点相对于相机的距离，但如何准确建立散焦模型是主要难点；(3)采用机器学习和贝叶斯推断方法进行单视深度估计和场景重建，此种方法利用多种深度线索和图像特征，通过训练和学习的方法得到待测图像的深度图，但是这种方法需要采集训练数据、建立样本库，计算的性能也有待进一步提高。
[0004]由此看出，现有技术中获取两视点图像的运算量较大，而相关技术中多采用单一线程进行运算，难以及时得到深度图，不满足用户获取深度图的实际需求。
【发明内容】
[0005]本发明的目的在于提供两视点图像的深度图获取方法及装置，以解决上述的问题。
[0006]在本发明的实施例中提供了两视点图像的深度图获取方法，包括:将红绿蓝RGB格式的两视点图像进行分辨率归一化；将分辨率归一化后的所述两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中所述Y分量图包括左视点图像及右视点图像；将所述左视点图像及所述右视点图像进行相同格式的分割，以在所述左视点图像及所述右视点图像中形成位置相互对应的多个子图像对；并行对所述多个子图像对进行运动搜索，得到左深度图及右深度图；分别将所述左深度图及所述右深度图中的深度值映射到O~255范围内，得到两视点图像的深度图。
[0007]优选地，所述提取获得Y分量图，包括:所述Y分量图由Y分量值组成，所述Y分量值由RGB格式的两视点图像中转换获得，其中Y分量值的转换算法为:Y=R*I+G*J+B*K ；
[0008]其中，Y表示Y分量值，R、G及B分别表示GRB格式的两视点图像中一像素点的红色分量R值、绿色分量G值及蓝色分量B值，1、J及K分别表示红色分量R值、绿色分量G值及蓝色分量B值的权重值，且满足:I+J+K=1及1: J: K ^ 1:4.3:2.7。
[0009]优选地，并行对所述多个子图像对进行运动搜索，得到左深度图包括:对于每一个子图像对，以所述左视点图像的子图像作为用于当前操作的当前子图像；令预设的搜索模板的中心位置与所述当前子图像的满足预设规则的像素点重合；以所述右视点图像的子图像为搜索子图像；在所述搜索子图像的相同位置设置所述搜索模板；在所述搜索子图像中沿所述搜索子图像的宽度方向移动所述搜索模板的中心位置，每次移动所述搜索模板的中心位置时均计算所述搜索子图像位于所述搜索模板范围内的像素点的差值平均值，当所述差值平均值小于预设阈值时停止所述搜索模板的运动搜索，并记录所述搜索模板中心位置移动的距离；所有子图像对均完成运动搜索之后，利用记录的距离获取左深度图；并行对所述多个子图像对进行运动搜索，得到右深度图包括:对于每一个子图像对，以所述右视点图像的子图像作为搜索子图像，按照所述左深度图的获取方式得到右深度图。
[0010]优选地，所述差值平均值采用下述方法得到:建立xoy坐标系，在所述xoy坐标系中，与所述左视点图像对应的函数记为L(x, y),与所述右视点图像对应的函数记为R(x, y);每次移动所述搜索模板的中心位置时计算所述搜索子图像位于所述搜索模板范围内的像素点的差值平均值的计算公式为:
[0011]f (k)= Σ (X e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y)-M(x+k，y)*R(x，y) | ；
`[0012]其中M(x，y)为宽度为9像素，高度为5像素的搜索模板，f(k)为差值平均值，k为所述搜索模板的中心位置移动的距离。
[0013]优选地，所述满足预设规则的像素点包括:像素值不为零的像素点或像素坐标值满足x%2==0&&y%2==0的像素点。
[0014]优选地，所述将RGB格式的两视点图像进行分辨率归一化，包括:对RGB格式的两视点图像进行缩放，形成分辨率为1280*360的两视点图像。
[0015]优选地，与所述左视点图像对应的函数L(x，y)中，X的取值范围为O~639像素，y的取值范围为O~359像素；与所述右视点图像对应的函数R(x，y)中，x的取值范围为640~1279像素，y的取值范围为O~359像素。
[0016]优选地，将所述左视点图像及所述右视点图像进行相同格式的分割，包括:将所述左视点图像及所述右视点图像分别进行分割，得到子图像，所述子图像的宽度为160像素，高度为40像素。
[0017]本发明实施例还提供了两视点图像的深度图获取装置，包括:归一化模块，用于将红绿蓝RGB格式的两视点图像进行分辨率归一化；格式转换模块，用于将分辨率归一化后的所述两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中所述Y分量图包括左视点图像及右视点图像；分割模块，用于将所述左视点图像及所述右视点图像进行相同格式的分割，以在所述左视点图像及所述右视点图像中形成位置相互对应的多个子图像对；运动搜索模块，用于并行对所述多个子图像对进行运动搜索，得到左深度图及右深度图；深度图获取模块，用于分别将所述左深度图及所述右深度图中的深度值映射到O?255范围内，得到两视点图像的深度图。
[0018]优选地，所述装置采用现场可编程门阵列FPGA器件实现。
[0019]本发明实施例提供的两视点图像的深度图获取方法及装置，将提取的亮度信号Y分量图中的左视点图像和右视点图像分割为多个子图像，并且左视点图像中的子图像与右视点图像中位置相互对应的子图像形成子图像对，在获取两视点图像的深度图过程中，以子图像对作为搜索范围，并行对多个子图像对进行运动搜索，形成左深度图和右深度图，并利用获取的深度图进行深度值映射后形成两视点图像的深度图。本发明实施例的两视点图像的深度图获取方法及装置，与现有技术中的获取两视点图像的深度图的方法相比，数据处理量小，数据处理实时性高，易于实现，更能满足用户获取两视点图像的深度图的实际需求。
【专利附图】
【附图说明】
[0020]图1示出了本发明实施例中两视点图像的深度图获取方法的流程图；
[0021]图2示出了本发明实施例中搜索模板的结构示意图；
[0022]图3示出了本发明实施中像素点的标记效果示意图；
[0023]图4示出了本发明实施例中两视点图像的深度图获取装置的结
[0024]构示意图。
【具体实施方式】
[0025]下面通过具体的实施例子并结合附图对本发明做进一步的详细描述。
[0026]本发明的实施例中提供了一种两视点图像的深度图获取方法，如图1所示，主要处理步骤包括:
[0027]步骤Sll:将红绿蓝RGB格式的两视点图像进行分辨率归一化；
[0028]步骤S12:将分辨率归一化后的两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中Y分量图包括左视点图像及右视点图像；
[0029]步骤S13:将左视点图像及右视点图像进行相同格式的分割，以在左视点图像及右视点图像中形成位置相互对应的多个子图像对；
[0030]步骤S14:并行对多个子图像对进行运动搜索，得到左深度图及右深度图；
[0031]步骤S15:分别将左深度图及右深度图中的深度值映射到O?255范围内，得到两视点图像的深度图。
[0032]本发明实施例中将提取的亮度信号Y分量图中的左视点图像和右视点图像分割为多个子图像，并且左视点图像中的子图像与右视点图像中位置相互对应的子图像形成子图像对，在获取两视点图像的深度图过程中，以子图像对作为搜索范围，并行对多个子图像对进行运动搜索，形成左深度图和右深度图，并利用获取的深度图进行深度值映射后形成两视点图像的深度图。本发明实施例的两视点图像的深度图获取方法及装置，与现有技术中的获取两视点图像的深度图的方法相比，数据处理量小，数据处理实时性高，易于实现，更能满足用户获取两视点图像的深度图的实际需求。
[0033]本发明实施例中将RGB格式的两视点图像进行分辨率归一化，便于两视点图像的后期处理，具体归一化的分辨率可以根据实际需求设定，优选地在将RGB格式的两视点图像进行分辩归一化中对RGB格式的两视点图像进行缩放，形成分辨率为1280*360的两视点图像。
[0034]其中形成的分辨率为1280*360的两视点图像是指宽度为1280像素，高度为360像素的两视点图像。
[0035]在频率归一化中，将两视点图像缩放至1280*360能够同时满足图像清晰度及图像处理速度的需求。
[0036]将欲处理的RGB格式的两视点图像进行分辨率归一化后，将RGB格式的两视点图像转换为YUV格式。
[0037]其中，YUV是被欧洲电视系统所采用的一种颜色编码方法。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R -Y (即U)、B — Y (即V)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。
[0038]本发明实施例中将分辨率归一化后的两视点图像转换为YUV格式后，提取的Y分量图的分辨率与分辨率归一 化后的两视点图像的分辨率相同。
[0039]例如，分辨率归一化后，两视点图像的分辨率为1280*360，则YUV格式转换后提取的Y分量图的分辨率仍为1280*360。
[0040]从转换为YUV格式的两视点图像中提取获得Y分量图的具体步骤包括:Y分量图由Y分量值组成，Y分量值由RGB格式的两视点图像中转换获得，其中Y分量值的转换算法为:Y=R*I+G*J+B*K ;其中，Y表示Y分量值，R、G及B分别表示GRB格式的两视点图像中一像素点的红色分量R值、绿色分量G值及蓝色分量B值，1、J及K分别表示红色分量R值、绿色分量G值及蓝色分量B值的权重值，且满足:I+J+K=1及1: J: K ^ 1:4.3:2.7。
[0041]在获取左视点图像及右视点图像后，采用相同格式分别对左视点图像及右视点图像进行分割，则在左视点图像及右视点图像上分别形成多个子图像，并且左视点图像与右视点图像位置相同的子图像构成子图像对。
[0042]本发明实施例中并行对所述多个子图像对进行运动搜索得到左深度图包括:对于每一个子图像对，以所述左视点图像的子图像作为用于当前操作的当前子图像；令预设的搜索模板的中心位置与所述当前子图像的满足预设规则的像素点重合；以所述右视点图像的子图像为搜索子图像；在所述搜索子图像的相同位置设置所述搜索模板；在所述搜索子图像中沿所述搜索子图像的宽度方向移动所述搜索模板的中心位置，每次移动所述搜索模板的中心位置时均计算所述搜索子图像位于所述搜索模板范围内的像素点的差值平均值，当所述差值平均值小于预设阈值时停止所述搜索模板的运动搜索，并记录所述搜索模板中心位置移动的距离；所有子图像对均完成运动搜索之后，利用记录的距离获取左深度图；并行对所述多个子图像对进行运动搜索，得到右深度图包括:对于每一个子图像对，以所述右视点图像的子图像作为搜索子图像，按照所述左深度图的获取方式得到右深度图。[0043]本发明实施例中进一步举例说明如何通过对左视点图像及右视点图像的运动搜索获得左深度图及右深度图。
[0044]具体示例为:设定对RGB格式的两视点图像的进行频率归一化后的两视点图像的频率为1280*360，为获取的左视点图像及右视点图像建立xoy坐标系，在xoy坐标系中与左视点图像对应的函数记为L(x，y)，与右视点图像对应的函数记为R(x，y)，则与左视点图像对应的函数L(X，y)中，X的取值范围为O?639像素，y的取值范围为O?359像素；与右视点图像对应的函数R(x，y)中，X的取值范围为640?1279像素，y的取值范围为O?359像素。
[0045]在对左视点图像及右视点图像进行相同格式的分割时，具体地可以将左视点图像及右视点图像分别进行分割，得到子图像，子图像的宽度为160像素，高度为40像素。
[0046]则在左视点图像中形成36个子图像，在右视点图像中形成36个子图像，左视点图像与右视点图像的相同位置处的子图像构成子图像对，例如，左视点图像中X坐标为(O?159)像素,纵坐标为(O?39)像素的子图像与右视点图像中的X坐标为(640?799)像素，纵坐标为(O?39)像素的子图像构成子图像对。
[0047]本发明实施例中差值平均值的计算方法，包括:建立xoy坐标系，在所述xoy坐标系中，与左视点图像对应的函数记为L(x, y),与右视点图像对应的函数记为R(x, y);每次移动搜索模板的中心位置时计算搜索子图像位于搜索模板范围内的像素点的差值平均值的计算公式为:
[0048]f(k)= Σ (x e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y「M(x+k，y)*R(x，y) | ;其中 M(x’y)为宽度为9像素,高度为5像素的搜索模板，f (k)为差值平均值，k为搜索模板的中心位置移动的距离。
[0049]保存k值到一个缓冲寄存器buffer中，其中采用的buffer也是160x40,具体k的取值根据子图像的大小设定，例如可以为+/-50个像素，或者为+/-45个像素。
[0050]进一步地满足预设规则的像素点包括:像素值不为零的像素点或像素坐标值满足x%2==0&&y%2==0 的像素点。
[0051]如图2所示，当满足预设规则的像素点为像素值不为零的像素点时，即在Y分量图中满足该规则的像素点的像素值为1，利用9x5的搜索模板(即宽度为9像素,高度为5像素的搜索模板)，在搜索模板的覆盖范围内像素值为I的像素点参与计算，像素值为O的地方不参与计算。利用9x5的模板，以左视点图像中的当前子图像的每个像素值为I的像素点与搜索模板的中心点重合，在右视点图像的相同位置的子图像(即为搜索子图像)的相同位置上放置相同格式的搜索模板，并利用搜索模板沿搜索子图像的宽度方向移动，当搜索模板覆盖的搜索子图像中的像素点的差值平均值小于预设阈值或判断计算得到的差值平均值最小时，停止搜索，并记录在右视点图像中搜索模板的中心位置移动的距离。利用相同的方法对左视点图像中的所有像素值不为O的像素点对应在右视点图像中进行运动搜索，并分别记录搜索模板的中心位置移动的距离。利用左视点图像中的所有像素值不为零的像素点对应的记录的距离形成左深度图。
[0052]采用相同的方法，以右视点图像为主，在左视点图像中运动搜索，记录搜索模板中心位置记录的距离，并利用记录的距离生成右深度图。
[0053]具体地，每次的距离数据记录在与子图像格式相同的缓存空间中。[0054]为了更高的提高搜索效率，经试验验证后发现实际应用中并不需要对整个子图像都进行搜索运算，子图像中的有一些像素点可以不用搜索，通过取前后数据的值直接插值就可以了，即满足预设规则的像素点还可以为像素坐标值满足x%2==0&&y%2==0的像素点，如图3中只需对标记为Y的像素点做搜索，其他标记为X的点不做搜索，不做搜索的点，用前后点数据平均插值补充出来就可以。
[0055]本发明实施例中分别将左深度图及右深度图中的深度值映射到O?255具体可以为，设定得到的深度图中的深度值为-50?+50，则-50?O对应映射到O?127，I?50映射到128?255.[0056]本发明实施例中将左视点图像及右视点图像分别分割，左视点图像中的子图像与右视点图像中子图像构成多个子图像对，在进行运动搜索时，并行对多个子图像进行运动搜索，即左视点图像中的所有子图像均被确定为当前子图像；确定左深度图时，所有当前子图像配合与其分别对应的搜索子图像并行进行运动搜索。
[0057]在获取两视点图像的深度图的过程中，可以利用FPGA实现对多个子图像对的并行运动搜索，提高获取深度图的数据处理速度。
[0058]本发明实施例中还提供了一种两视点图像的深度图获取装置，如图4所示包括:
[0059]归一化模块21，用于将红绿蓝RGB格式的两视点图像进行分辨率归一化；
[0060]格式转换模块22，用于将分辨率归一化后的两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中Y分量图包括左视点图像及右视点图像；
[0061]分割模块23，用于将左视点图像及右视点图像进行相同格式的分割，以在左视点图像及右视点图像中形成位置相互对应的多个子图像对；
[0062]运动搜索模块24，用于并行对所述多个子图像对进行运动搜索，得到左深度图及右深度图；
[0063]深度图获取模块25，用于分别将左深度图及右深度图中的深度值映射到O?255范围内，得到两视点图像的深度图。
[0064]优选地，本发明实施例的深度图获取装置采用现场可编程门阵列FPGA器件实现，利用FPGA实现对多个子图像对的并行运动搜索，提高获取深度图的数据处理速度。
[0065]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.两视点图像的深度图获取方法，其特征在于，包括: 将红绿蓝RGB格式的两视点图像进行分辨率归一化； 将分辨率归一化后的所述两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中所述Y分量图包括左视点图像及右视点图像； 将所述左视点图像及所述右视点图像进行相同格式的分割，以在所述左视点图像及所述右视点图像中形成位置相互对应的多个子图像对； 并行对所述多个子图像对进行运动搜索，得到左深度图及右深度图； 分别将所述左深度图及所述右深度图中的深度值映射到O~255范围内，得到两视点图像的深度图。
2.根据权利要求1所述的方法，其特征在于，所述提取获得Y分量图，包括: 所述Y分量图由Y分量值组成，所述Y分量值由RGB格式的两视点图像中转换获得，其中Y分量值的转换算法为:
Y=R*I+G*J+B*K ； 其中，Y表示Y分量值，R、G及B分别表示GRB格式的两视点图像中一像素点的红色分量R值、绿色分量G值及蓝色分量B值，1、J及K分别表示红色分量R值、绿色分量G值及蓝色分量B值的权重值，且满足:I+J+K=l及1: J: K ^ 1:4.3:2.7。
3.根据权利要求2所述的方法，其特征在于，并行对所述多个子图像对进行运动搜索，得到左深度图包括:对于每一个子图像对，以所述左视点图像的子图像作为用于当前操作的当前子图像；令预设的搜索模板的中心位置与所述当前子图像的满足预设规则的像素点重合；以所述右视点图像的子图像为搜索子图像；在所述搜索子图像的相同位置设置所述搜索模板；在所述搜索子图像中沿所述搜索子图像的宽度方向移动所述搜索模板的中心位置，每次移动所述搜索模板的中心位置时均计算所述搜索子图像位于所述搜索模板范围内的像素点的差值平均值，当所述差值平均值小于预设阈值时停止所述搜索模板的运动搜索，并记录所述搜索模板中心位置移动的距离；所有子图像对均完成运动搜索之后，利用记录的距离获取左深度图； 并行对所述多个子图像对进行运动搜索，得到右深度图包括:对于每一个子图像对，以所述右视点图像的子图像作为搜索子图像，按照所述左深度图的获取方式得到右深度图。
4.根据权利要求3所述的方法，其特征在于，所述差值平均值采用下述方法得到: 建立xoy坐标系,在所述xoy坐标系中，与所述左视点图像对应的函数记为L(x, y),与所述右视点图像对应的函数记为R(x，y); 每次移动所述搜索模板的中心位置时计算所述搜索子图像位于所述搜索模板范围内的像素点的差值平均值的计算公式为:
f(k)= Σ (X e 1-9) Σ (y e 1-5) |M(x，y)*L(x，y)-M(x+k，y)*R(x，y) | ； 其中M(x，y)为宽度为9像素，高度为5像素的搜索模板，f (k)为差值平均值，k为所述搜索模板的中心位置移动的距离。
5.根据权利要求4所述的方法，其特征在于，所述满足预设规则的像素点包括:像素值不为零的像素点或像素坐标值满足x%2==0&&y%2==0的像素点。
6.根据权利要求4所述的方法，其特征在于，所述将RGB格式的两视点图像进行分辨率归一化，包括:对RGB格式的两视点图像进行缩放，形成分辨率为1280*360的两视点图像。
7.根据权利要求6所述的方法，其特征在于，与所述左视点图像对应的函数L(x，y)中，X的取值范围为O~639像素，y的取值范围为O~359像素； 与所述右视点图像对应的函数R(x，y)中，X的取值范围为640~1279像素，y的取值范围为O~359像素。
8.根据权利要求7所述的方法，其特征在于，将所述左视点图像及所述右视点图像进行相同格式的分割，包括: 将所述左视点图像及所述右视点图像分别进行分割，得到子图像，所述子图像的宽度为160像素，高度为40像素。
9.两视点图像的深度图获取装置，其特征在于，包括: 归一化模块，用于将红绿蓝RGB格式的两视点图像进行分辨率归一化； 格式转换模块，用于将分辨率归一化后的所述两视点图像转换为YUV格式，并提取获得亮度信号Y分量图，其中所述Y分量图包括左视点图像及右视点图像； 分割模块，用于将所述左视点图像及所述右视点图像进行相同格式的分割，以在所述左视点图像及所述右视点图像中形成位置相互对应的多个子图像对； 运动搜索模块，用于并行对所述多个子图像对进行运动搜索，得到左深度图及右深度图； 深度图获取模块，用于分别将所述左深度图及所述右深度图中的深度值映射到O~255范围内，得到两视点图像的深度图。`
10.根据权利要求9所述的装置，其特征在于，所述装置采用现场可编程门阵列FPGA器件实现。
【文档编号】H04N15/00GK103780897SQ201410064382
【公开日】2014年5月7日 申请日期:2014年2月25日 优先权日:2014年2月25日
【发明者】沈威, 张春光, 张涛, 李春 申请人:重庆卓美华视光电有限公司