一种快速视差图像计算方法及装置的制造方法_2

文档序号:8224178阅读:来源:国知局
现可W参考前述方式W及现有技术加W实现,本发明并不对此进行具 体限制。在完成双目修正处理之后,双目摄像机可W持续对外输出图像序列,一般来说,本 申请所处理的对象是一对原始图像(左目图像W及右目图像),通常都是同一时间两个摄 像机输出的图像,即在时间上是对应的,或者图像序列中的序号是对应的,因为该个序号客 观上也是有时间先后顺序的。
[0036] 针对双目摄像机输出的一对图像(即左目图像W及右目图像),本申请并非W该 两个图像作为直接处理对象,而是先将两个图像进行背景差分处理。两个图像进行背景差 分处理之后会生成左目图像的背景图像、左目图像的前景图像、右目图像的背景图像W及 右目图像的前景图像。其中左目图像的前景图像化及右目图像的前景图像称为一对前景图 像,而左目图像的背景图像化及右目图像的背景图像称为一对背景图像。W上过程称为背 景差分过程。
[0037] 在背景差分处理之后,可W进行噪点问题处理,空洞问题处理W及遮挡问题处理。 噪点一般是由视场范围内光影的变化,或者非目标物体的轻微移动(如树叶)导致的,会 在图像上产生多个斑点或小片区域,该些区域通常不是用户关注的目标,可W过滤掉。在 本申请一个优选的例子中,使用先验参数来处理,对于监控目标而言,如人或者车辆,其在 图像当中长度和宽度的最小值,假设为hO和wO,单位为像素,此时可W得到如下推理:目 标区域中的任何一点,都能在该区域边缘上找到一个点,使其相对距离大于等于血in = max(h0/2,w0/2);当然其前提条件通常是该区域边缘是连续的。
[003引此时可W对图像内部的所有区域进行扫描,对任何一个区域边缘的点,获取其外 边缘轮廓上的所有点,然后计算该些点和区域内部点的相对距离山如果有d> =血in,则保 留该区域,如果边缘上所有的点都无法满足d> =血in,则过滤该区域,该说明该区域的尺 寸不符合先验参数。对于区域内部的点,可W采取上下左右4个方向寻找最近的边缘点,找 到之后,W此点为起始,将该区域连续的边缘轮廓点获取并记录在一个集合当中,当该区域 被确认保留或者过滤之后,可W对此集合置标识位,后续只要检测到其边缘点和该集合重 复,则认为属于同一个区域,不需要进一步计算,可有效提升计算速度。
[0039] 针对左目图像和右目图像的背景差分处理可W有效地提升视差图像生成的速度, 也就是提高整体输出的实时性。在监控领域的大部分应用场景中,其背景通常对比前景图 像而言是相对静态的,所谓相对静态是相对于前景来说变化速度很慢。比如说位于银行营 业大厅的摄像机采集到的画面中,背景图像就是银行营业大厅的图像,其变化通常是因为 光线等因素引起的,很少产生瞬时的巨大变化。而摄像机采集到的前景通常大部分来银行 办理业务的客户W及银行的工作人员。前景的变化速度W及幅度都远远超过背景。
[0040] 如果未将前景和背景区分开来分别进行处理,而是按照整幅图像的方式进行处 理,一般都会采用单一的算法来处理整幅图像,为了适应快速移动目标的处理,会选择效率 上相对妥协的算法,整体计算速度较慢,难W在合理计算资源下获得较好的实时性体验。在 本申请中,将图像差分为前景和背景之后,针对一对背景图像可W采用第一视差算法进行 视差图像计算,第一视差算法通常是一些更为适宜处理变化缓慢图像的视差算法,比如说 BM3D 炬lock Method of 3-Dimension)算法、SGBlVKsemi-global block matching)算法、 GC(图割)算法等,该些算法在处理变化缓慢的图像的视差计算上具有较大的优势。在一个 例子中,本申请中相邻两个背景视差图像的生成时间相差若干图像帖的时间,也就是说背 景视差图像并不是每一帖图像都进行计算的,背景视差图像的计算结果可W在数分钟甚至 更长时间内都是可W使用的。该里的所谓可W使用是指即便背景视差图像的变化没有被非 常准确地实时地反映出来,但最终结果也能被使用者所接受,比如说某个银行大堂内背景 图像的变化(比如某个宣传牌被移开)没有被及时反映出来,其影响对于监控业务本身而 言并没有太大影响。
[0041] 请参考图3的示意,该个例子只是原理性的示例,具体参数由开发人员根据实际 需要调整。假设当前正在使用背景视差图像3,其使用的时间范围是从3001帖到4000帖, 该段时间内背景视差图像将一直是背景视差图像3,其可W存放在内存指定位置供后续步 骤使用。当3901帖到来的时候,开始计算背景视差图像4,此时有100帖的时间来计算新 的背景视差图像4,因此背景视差图像对计算资源的要求将非常低,可W节约出大量的计算 资源,新的背景视差图像4计算出来之后可W在4001帖的时候覆盖掉原来的背景视差图像 3,如此循环下去。
[0042] 从另一个角度来说,由于前景图像是变化较大的,但是经过差分之后,前景图像的 尺寸肯定小于整个原始的左目或右目图像,而且值得注意的是,有时候监控图像的前景部 分很小,甚至可能没有前景。由于处理对象变小了,那么处理速度自然可W有较大的提升, 实时性体验可W得到更好地保障。针对前景图像的视差图像计算可W采用不同于第一视差 算法的第二视差算法,比如各种动态类型的视差算法。在优选的例子中,第一视差算法在处 理背景图像上的效率一般不低于第二视差算法;而第二视差算法在处理前景图像上的效率 一般不低于第一视差算法。
[0043] 从前面的描述中可W看出,本申请采用了先图像差分处理,分别计算两个视差图 像再整合的方式。该个过程中,背景视差图像部分并不是真正的实时处理,但可W满足用户 对实时性的实际感知要求,如此可W节约大量计算资源,该些计算资源可W提升前景视差 图像的生成速度,在一个例子中,本申请提供更加优化的方案来在保障一定图像质量的基 础上提升前景视差图像生成的速度。本申请的第二视差算法包括第一维度(比如水平维 度)和/或第二维度(比如垂直维度)的扫描过程。在一个优选的例子中,可W包括在第 一维度上可W包括两个相对方向的扫描过程,比如自上而下的水平扫描W及自下而上的水 平扫描,在第二维度上有一个从左到右的扫描过程。一个或多个扫描过程可W有效地解决 空洞问题W及遮挡问题,上述扫描过程具体包括:
[0044] S1,针对前景图像进行扫描,计算扫描线上每个像素点的视差;
[0045] S2,判断当前扫描线是否具有预设的传播例外规则,如果是转S3,否则转S4 ;
[0046] S3,按照初始置信规则设置当前扫描线的置信等级,转S5 ;
[0047] S4,判断前一扫描线的置信等级是否为第一等级,如果是则将当前扫描线设置为 第一等级,否则转S3;
[0048] S5,判断当前扫描线是否为本次扫描过程的最后一条扫描线,如果是则结束,否则 转S1。
[0049] W下将W图4为例介绍第二视差算法的具体实现。在介绍之前先对一些参数W及 概念加W说明。假设前景图像(也称为"目标")是行人,其他类型的目标处理方式类似。 在图4中,有行人甲W及行人己,根据成像结果,从镜头取景方向观察,显然行人己位于行 人甲的后方,此时行人甲的下半身至少有一部分与行人己不重合,或者说没有被行人己所 遮挡。图4中,左目图像中初始扫描线0两个边缘点分别标记为fO W及gO,而在右目图像 中扫初始扫描线0两个边缘点分别为n W及gi。左目图像中扫描线A两个边缘点分别标 记为al W及bl,而在右目图像中扫描线A两个边缘点分别为a2 W及b2。左目图像中扫描 线B两个边缘点分别标记为cl W及dl,而在右目图像中扫描线B两个边缘点分别为c2 W 及d2。在计算视差的过程中,可W采用水平维度扫描和/或者垂直维度扫描的方式来计算 每个像素点的视差并确定视差的置信等级。
[0050] 在本申请中,置信等级可W分为多个等级,在一个简单的实现方式中,置信等级分 为一个较高的第一等级W及一个较低的第二等级。当然在复杂的例子中,第一等级可W细 分为第一等级A、第一等级B……,第二等级也可W细分为第二等级A、第一等级B……。先介 绍置信等级的传播规则;在本申请一个例子中,假设扫描采用从下到上的水平扫描方式,若 前一扫描线(也就是下方的扫描线)的置信等级为第一等级,且当前扫描线不存在传播例 外规则,则当前扫描线的置信等级也可W被置为第一等级。所谓传播例外规则可W包括W 下几种规则中的一种或多种,当然开发者还可W根据业务需要定义更多的传播例外规则。
[0051] 第一规则:当前扫描线相
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1