双视点立体视频的图像匹配方法及装置与流程

本发明涉及立体图像处理
技术领域：
，尤其涉及一种双视点立体视频的图像匹配方法及装置。
背景技术：
：目前，立体视频采集设备通过双目摄像机对两组光学系统中场景进行采集，获取场景的左右视图，并显示在立体显示器上，用户佩戴3D眼镜就可以观看到立体场景。这样可以改善用户的视野，增强观看的立体效果，可以获取更为丰富的场景信息。但是立体视频的应用中，如果要实现数字化功能，获取场景的左右视图后，就不能停留在获取立体观看效果上，需要进一步的对获取的图像进行分析，提取出其中丰富的信息，以为用户提供更为精确的数字信息。现有技术中立体视频的深度信息获取，给视觉应用带来了很大的变化，无论是从工业检测还是在医疗手术的效率及安全性提高上都有了很大的进步。通过立体深度信息，用户在应用中可以获取更好的视觉体验，更逼真的立体画面，进而得到观察区域的精确信息，提高了用户对观察区的了解，也为量化判断提供了更多的支持。该深度信息可通过视场的稠密视差图来获取。稠密的视差图可以用来三维重建。由于当前立体视频图片分辨率较高，在应用中对系统又有实时性需求，立体匹配算法将是三维重建的基础问题，也是一个难点。技术实现要素：本发明的主要目的是提供一种双视点立体视频的图像匹配方法，能够获取精确快速的稠密视差图，为用户提供精确的数字信息。为实现上述目的，本发明采用的一个技术方案为：提供一种双视点立体视频的图像匹配方法，包括如下步骤：获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。优选地，所述获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧的步骤，具体包括：矫正采集的左眼及右眼两路视频；获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。优选地，所述预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点的步骤，具体包括：预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。优选地，所述根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价的步骤，具体包括：分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。优选地，所述找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化的步骤，具体包括：从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。为实现上述目的，本发明采用的另一个技术方案为：提供一种双视点立体视频的图像匹配装置，包括：获取模块，用于获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估模块，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；函数构造模块，用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；优化模块，用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。优选地，所述获取模块，包括：矫正单元，用于矫正采集的左眼及右眼两路视频；获取单元，用于获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。优选地，所述预估模块，包括：预设单元，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；匹配单元，用于计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。优选地，所述函数构造模块，包括：第一计算单元，用于分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；第二计算单元，用于分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；第三计算单元，用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；匹配代价计算单元，用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。优选地，所述优化模块，包括：筛选单元，用于从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；优化单元，用于调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。本发明的技术方案通过获取左眼及右眼两路视频并提取出感兴趣的图像帧；以及预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并找出与目标像素点对应的候选的匹配点；以及根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；能够得出找出与多组匹配代价最小的匹配对应的稠密视差图，并通过对对稠密视差图进行优化，获取精确快速的稠密视差图，为用户提供精确的数字信息。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。图1为本发明双视点立体视频的图像匹配方法一实施例的方法流程图；图2为图1中步骤S30的具体流程图；图3为本发明双视点立体视频的图像匹配装置一实施例的模块方框图；图4为图3中函数构造模块的具体模块方框图。本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。需要说明，本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。请参照图1，在本发明实施例中，该双视点立体视频的图像匹配方法，包括如下步骤：步骤S10、获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；步骤S20、预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；步骤S30、根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；步骤S40、找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。本发明的技术方案通过获取左眼及右眼两路视频并提取出感兴趣的图像帧；以及预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并找出与目标像素点对应的候选的匹配点；以及根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；能够得出找出与多组匹配代价最小的匹配对应的稠密视差图，并通过对对稠密视差图进行优化，获取精确快速的稠密视差图，为用户提供精确的数字信息。在一具体的实施例中，所述步骤S10具体包括：矫正采集的左眼及右眼两路视频；获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。本实施例中，可以通过立体视频生成设备的双目摄像头采集左眼及右眼两路视频，需要注意的是，为了使两路视频达到预期的效果，需要对该左眼及右眼的摄像头的内参数和外参数进行调整以获取矫正的左眼及右眼两路视频。该感兴趣的图像帧具体为重合可形成3D图像帧，亦可为可被观察到的图像区域。在一具体的实施例中，所述步骤20具体包括：预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。本实施例中，考虑到图像的分辨率很高，在实际中，快速获取场景的深度信息，对用户来说具有很大的意义。并且由于相邻场景深度变化有限，有效地估算视差域值，在合适的视差值范围内，计算匹配代价，以获取快速精确地匹配点对。以左眼图像为参考图，右眼图像为目标图为例，可以利用色彩信息对左眼图像中的每一个像素点在右眼图像中寻找候选的匹配点，具体计算公式如下：cost(p)=Σc∈{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左眼图像中像素点，q表示右眼图像中位于同一水平线上的像素点，遍历右图中该行像素点，求出代价函数值小于视差阈值TΤ时对应的候选像素点。TΤ的值可以随实际需要来选取。若想提高精度，则增加TΤ，这样候选的匹配点增多，减小了误匹配的可能性。反之，若想提高算法的速度，可以适当减小TΤ的值，以提高算法的运行速度。请参照图2，在一具体实施例中，所述步骤30具体包括：步骤S31、分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；步骤S32、分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；步骤S33、分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；步骤S34、根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。本实施例中，步骤S31计算出本算法构造的匹配代价函数的第一项AD(AbsoluteDifference)，像素点之间的色彩差异，具体公式如下：costAD=Σp∈Pq∈QΣc∈{r,g,b}abs(Ic(p)-Ic(q)),]]>其中，P表示左图中以p点为中心建立的支持窗口，Q表示右图中以q点为中心建立的支持窗口。需要指出的，如果单计算两个像素点间的色彩差异，结果误差会比较大，故采用该像素点的中心域来计算。步骤S32计算出本算法构造的匹配代价函数的第二项Census变换，局部关联匹配代价，具体为：先分别以p，q两点为中心，建立变换尺寸为M*N的变换窗口，分别用两个长度为(N*M-1)位的二进制表示Census变换得到的Hamming距离；然后将支持窗口中的各个像素化成灰度表示，其中N1(p)表示以P点为中心选定的Census变换的窗口，大小设为M*N,对于其中每个像素点，计算灰度强度，计算公式如下：gray(pi)＝R(pi)*0.299+G(pi)*0.587+B(pi)*0.114,pi∈N1(p)，并计算M*N窗口经Census变换得到新的矩阵C，计算公式如下：Cpipi∈N1(P)=1gray(pi)<gray(P)0gray(pi)>gray(P),]]>对于Census变换的结果用长为(M*N-1)bit的二进制序列表示，采用自上而下自左向右的扫描顺序，当C矩阵中的元素为1时，对应位置的二进制数就为1，如此得到长为M*N-1位的二进制序列表；再，求出左眼图像和右眼图像的Census变换结果后，求出二者之间的差异，即可表示两个Census变换窗口的结构差异，用Hamming距离来表示这个差异。该Hamming距离是指两个等长字符串对应位置的不同字符的个数；最后，计算出局部关联匹配代价，具体为：costCencus=Σp∈Pq∈QDiff(C(p),C(q)),]]>其中，P，Q分别表示左右图中以p和q为中心的Cencus变换窗口，C(p),C(q)表示变化后的矩阵C，二者按位比较，如果对应位相同，则函数Diff(x)为1，反之为0，即可得到Cencus变换后，左右图中p，q两像素点的局部结构相似性。步骤S33计算出本算法构造的匹配代价函数的第三项Gradient变换，局部梯度匹配代价，具体为：求出像素点在水平方向x和在垂直方向y上的梯度向量，作为局部的梯度信息，具体公式如下：costGradient=Σp∈Pq∈Q(n(p)·n(q)),n(p)=px→+py→,]]>其中，表示点在x和y方向的梯度。梯度用像素点的灰度值来求得。步骤S34计算出本算法构造的匹配代价函数，具体公式如下：costAll＝costAD+λcostCencus+μcostGradient其中，λ,μ为常数值，在后续的步骤中，可根据稠密视差图的质量不断调整二者的值，以期获取合适的权值。在一具体的实施例中，所述步骤S40具体包括：从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。本实施例中，在求出匹配代价后可根据Winners-Take-All算法，找到匹配代价最小的匹配对，匹配对在x坐标的差异即为匹配点对的视差值。本步骤中将对λ,μ进行不断的修正，以期获取质量较高的视差图。具体调整如下：采用人工交互的方式，定性判断视差图在深度不连续，纹理较少或纹理重复区域的视差值，看其是否平滑，采取控制变量法，先控制其中一个参数，改变另一个参数，分析其对视差图的影响，以期得到质量较优的结果。请参照图3，在本发明的实施例中，该双视点立体视频的图像匹配装置，包括：获取模块10，用于获取左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧；预估模块20，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并根据色彩匹配代价与视差域值的大小找出与目标像素点对应的候选的匹配点；函数构造模块30，用于根据以目标像素点为中心的中心域与以候选的匹配点为中心的中心域的所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并且根据总的代价函数计算出匹配代价；优化模块40，用于找出与多组匹配代价最小的匹配对并得到对应的稠密视差图，以及对稠密视差图进行优化。在一具体的实施例中，所述获取模块10，包括：矫正单元，用于矫正采集的左眼及右眼两路视频；获取单元，用于获取矫正的左眼及右眼两路视频，并从左眼及右眼两路视频中提取出感兴趣的图像帧。本实施例中，利用立体视频生成设备的双目摄像头采集左眼及右眼两路视频，需要注意的是，为了使两路视频达到预期的效果，通过矫正单元可以对该左眼及右眼的摄像头的内参数和外参数进行调整，并通过获取单元可以获取矫正的左眼及右眼两路视频。该感兴趣的图像帧具体为重合可形成3D图像帧，亦可为可被观察到的图像区域。在一具体的实施例中，所述预估模块20，包括：预设单元，用于预估感兴趣的图像帧中左眼图像与右眼图像的对应像素点的视差域值，并从左眼图像中选出一像素点作为目标像素点；匹配单元，用于计算出根据目标像素点的色彩匹配代价，且当该目标像素点的色彩匹配代价小于视差域值的范围时，并从右眼图像寻找出与目标像素点对应的候选的匹配点。本实施例中，考虑到图像的分辨率很高，在实际中，快速获取场景的深度信息，对用户来说具有很大的意义。并且由于相邻场景深度变化有限，有效地估算视差域值，在合适的视差值范围内，计算匹配代价，以获取快速精确地匹配点对。以左眼图像为参考图，右眼图像为目标图为例，可以利用色彩信息对左眼图像中的每一个像素点在右眼图像中寻找候选的匹配点。需要指出的是，本方案仅考虑的是左眼图像为参考图，右眼图像为目标图的情况。实际上，当右眼图像为参考图，左眼图像为目标图情况正好相反，此处不再赘述。请参照图4，在一具体的实施例中，所述函数构造模块30，包括：第一计算单元31，用于分别以目标像素点与候选的匹配点的中心域构建支持窗口，并计算支持窗口内的所有像素点的色彩匹配代价；第二计算单元32，用于分别以目标像素点与候选的匹配点的中心域构建变换窗口，并计算两个变换窗口的结构差异以得出局部关联匹配代价；第三计算单元33，用于分别以目标像素点于候选的匹配点的中心域在水平方向上和垂直方向上构建梯度向量，并计算出局部梯度匹配代价；匹配代价计算单元34，用于根据色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价构造总的匹配代价函数，并根据总的代价函数计算出匹配代价。本实施例中，通过第一计算单元31、第二计算单元32、第三计算单元33可以分别计算出所有像素点的色彩匹配代价、局部关联匹配代价以及局部梯度匹配代价，并通过匹配代价计算单元34能够计算出总的匹配代价。在一具体的实施例中，所述优化模块40，包括：筛选单元，用于从匹配代价中筛选出匹配代价最小的匹配对，并根据多组最小匹配对的视差值形成稠密视差图；优化单元，用于调整局部关联匹配代价以及局部梯度匹配代价的参数，以优化稠密视差图。本实施例中，在求出匹配代价后，通过筛选单元根据Winners-Take-All算法，找到匹配代价最小的匹配对，匹配对在x坐标的差异即为匹配点对的视差值。然后通过优化单元将对λ,μ进行不断的修正，以期获取质量较高的视差图。具体调整如下：采用人工交互的方式，定性判断视差图在深度不连续，纹理较少或纹理重复区域的视差值，看其是否平滑，采取控制变量法，先控制其中一个参数，改变另一个参数，分析其对视差图的影响，以期得到质量较优的结果。以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的
技术领域：
均包括在本发明的专利保护范围内。当前第1页1 2 3