一种立体匹配方法、装置及电子设备与流程

文档序号:32348682发布日期:2022-11-26 12:11阅读:来源:国知局

技术特征:
1.一种立体匹配方法,其特征在于,包括:获取左、右相机采集的左图像和右图像,并分别对所述左图像及所述右图像进行下采样特征提取得到相应的左图特征及右图特征;计算左图特征和所述右图特征在不同视差处的相关性,得到代价空间;对所述代价空间进行上采样至目标分辨率;其中,所述目标分辨率为可变分辨率;根据上采样后的所述代价空间估计立体匹配视差,得到所述目标分辨率下的目标视差。2.如权利要求1所述的立体匹配方法,其特征在于,所述根据上采样后的所述代价空间估计立体匹配视差,得到所述目标分辨率下的目标视差,包括:基于上采样后的代价空间估计立体匹配视差,并利用初始视差和初始隐藏特征或上一次迭代得到的视差和隐藏特征对所述立体匹配视差进行多次迭代计算,得到所述目标分辨率下的目标视差;其中,所述初始视差及所述初始隐藏特征为所述迭代计算中进行第一次迭代运算所使用,所述初始视差为第一次立体匹配得到的视差,所述初始隐藏特征为左图特征、右图特征或一个全部为零的特征中任一特征。3.如权利要求2所述的立体匹配方法,其特征在于,所述迭代计算过程包括:根据初始视差或上一次迭代得到的视差对所述右图特征进行图像仿射变换,得到理想左图特征;将所述理想左图特征和所述左图特征进行融合,得到融合特征;根据所述融合特征、所述左图特征和初始隐藏特征或上一次迭代得到的隐藏特征计算本次迭代的隐藏特征和本次迭代的视差;其中,所述隐藏特征为根据所述融合特征、所述左图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征并结合双目立体视觉的物理限制得到反馈信息。4.如权利要求2所述的立体匹配方法,其特征在于,所述迭代计算过程包括:根据初始视差或上一次迭代得到的视差对所述左图特征进行图像仿射变换,得到理想右图特征;将所述理想右图特征和所述右图特征进行融合,得到融合特征;根据所述融合特征、所述右图特征和初始隐藏特征或上一次迭代得到的隐藏特征计算本次迭代的隐藏特征和本次迭代的视差;其中,所述隐藏特征为根据所述融合特征、所述左图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征并结合双目立体视觉的物理限制得到反馈信息。5.如权利要求2所述的立体匹配方法,其特征在于,所述迭代计算过程包括:查询初始视差或上一次迭代得到的视差在所述代价空间上相对应的代价参数,将所述代价参数作为反馈特征;根据所述反馈特征、所述左图特征或所述右图特征和初始隐藏特征或上一次迭代得到的隐藏特征计算本次迭代的隐藏特征和本次迭代的视差;所述隐藏特征为根据所述反馈特征、所述左图特征或所述右图特征和所述初始隐藏特征或所述上一次迭代得到的隐藏特征并结合双目立体视觉的物理限制得到反馈信息。6.如权利要求5所述的立体匹配方法,其特征在于,所述查询上一次迭代得到的视差在
所述代价空间上相对应的代价参数,将所述代价参数作为反馈特征,包括:根据初始视差或上一次迭代得到的视差和所述左图像中像素的横坐标,计算所述右图像中对应像素的横坐标;根据所述右图像中对应像素的横坐标,确定查询索引集合;通过所述查询索引集合在所述代价空间上取相对应的代价参数,将所述代价参数作为反馈特征。7.如权利要求5所述的立体匹配方法,其特征在于,所述查询上一次迭代得到的视差在所述代价空间上相对应的代价参数,将所述代价参数作为反馈特征,包括:根据初始视差或上一次迭代得到的视差和所述右图像中像素的横坐标,计算所述左图像中对应像素的横坐标;根据所述左图像中对应像素的横坐标,确定查询索引集合;通过所述查询索引集合在所述代价空间上取相对应的代价参数,将所述代价参数作为反馈特征。8.如权利要求1至7任一项所述的立体匹配方法,其特征在于,所述根据上采样后的所述代价空间估计立体匹配视差,包括:对上采样后的所述代价空间进行softargmin操作或在通道维度上进行全连接操作以估计所述立体匹配视差。9.一种立体匹配装置,其特征在于,包括:获取模块,用于获取左、右相机采集的左图像和右图像;特征提取模块,用于分别对所述左图像及所述右图像进行下采样特征提取得到相应的左图特征及右图特征;相关模块,用于计算所述左图特征和所述右图特征在不同视差处的相关性,得到代价空间;上采样模块,用于对所述代价空间进行上采样至目标分辨率;其中,所述目标分辨率为可变分辨率;视差计算模块,用于根据上采样后的所述代价空间估计立体匹配视差,得到所述目标分辨率下的目标视差。10.如权利要求9所述的立体匹配装置,其特征在于,还包括左、右相机,所述左、右相机用于采集目标区域的所述左图像、右图像;或,还包括投影模组及左、右相机,所述投影模组用于向目标区域投影图案化光束,所述左、右相机用于接收经所述目标区域反射回的图案化光束并生成左、右图像。11.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的立体匹配方法。12.一种计算机存储介质,所述计算机存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的立体匹配方法。

技术总结
本申请涉及计算机视觉技术领域,尤其涉及一种立体匹配方法、装置及电子设备。该立体匹配方法包括:获取左、右相机采集的左图像和右图像,并分别对所述左图像及所述右图像进行下采样特征提取得到相应的左图特征及右图特征;计算左图特征和所述右图特征在不同视差处的相关性,得到代价空间;对所述代价空间进行上采样至目标分辨率;其中,所述目标分辨率为可变分辨率;根据上采样后的所述代价空间估计立体匹配视差,得到所述目标分辨率下的目标视差。本申请实施例可以输出任意分辨率的视差图,从而给实际应用带来很大的便利。从而给实际应用带来很大的便利。从而给实际应用带来很大的便利。


技术研发人员:杨晓立 赵鑫 余宇山 叶乐佳
受保护的技术使用者:奥比中光科技集团股份有限公司
技术研发日:2022.08.12
技术公布日:2022/11/25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1