一种基于立体视觉的视频场景变化检测方法
【专利摘要】本发明公开了一种基于立体视觉的视频场景变化检测方法，包括以下步骤：(a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度信息；(b)利用双目立体匹配方法获得当前场景深度，并利用(a)得到的场景深度信息对双目立体匹配方法无法获取深度的区域进行插值；(c)将(b)得到的当前场景深度与前一时刻获得的场景深度进行比较，得到对应的场景变化。本发明计算过程收敛快速、并可减少立体视觉致密匹配方法在重复纹理区域和遮挡区域容易产生的错误。
【专利说明】一种基于立体视觉的视频场景变化检测方法
【技术领域】
[0001]本发明涉及视频内容分析技术，特别是涉及一种基于立体视觉的视频场景变化的检测方法。
【背景技术】
[0002]检测视频场景的变化是视频监控领域中视频内容自动分析技术的一个主要内容，对于在监控环境中及时发现入侵物或异物具有重要意义。
[0003]现有的单目相机只能获得场景的二维信息，这种方式下异物目标的检测最终还是需要采用目标外观建模的方式完成，因而需要事先采集异物目标在各种情况下的图像作为异物模型的训练样本，如:不同光照条件下，不同场景下的异物等。这种方式不仅费时费力而且难以穷尽各种情况。另外，传统方法只能检测学习过的场景和目标对象，当场景或目标发生外观、姿态或光照等变化时，系统就难以准确检测到异物目标，造成漏报和误报。
[0004]为了提高检测的识别率和准确性，业内已经出现了基于双目视觉的视频场景变化检测技术。从双目相机拍摄的左眼图像和右眼图像可以获取深度信息，通过检测深度信息的变化来检测场景变化。然而，现有的获取深度信息的方法，例如立体视觉致密匹配方法，对于重复纹理区域和遮挡区域处理效果不佳，并且收敛速度较慢，不利于在实时场合下的应用。
【发明内容】
[0005]针对现有技术的不足，本发明的目的在于提出一种基于立体视觉的视频场景变化检测方法。该方法将基于变分法的、通过聚焦恢复深度的方法与立体视觉致密匹配方法相结合，可以得到监控场景的深度信息，并由此实现对于视频场景变化的检测。
[0006]为了实现以上发明目的，本发明采用的技术方案如下:
[0007]一种基于立体视觉的视频场景变化检测方法，包括以下步骤:
[0008](a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度信息；
[0009](b)利用双目立体匹配方法获得当前场景深度，并用(a)中得到的场景深度信息对所述当前场景深度中遮挡部分的像素对应的深度值进行插值优化，得到优化后的当前场景深度；
[0010](C)将(b)得到的优化后的当前场景深度与前一时刻获得的场景深度进行比较，计算深度差异，得到对应的场景变化。
[0011]本发明具有以下有益的效果:计算过程收敛快速、并可减少立体视觉致密匹配方法在重复纹理区域和遮挡区域容易产生的错误。
【专利附图】
【附图说明】
[0012]图1为本发明提出的基于立体视觉的视频场景变化检测方法的整体流程示意图；[0013]图2为基于变分法的通过聚焦恢复深度信息的方法的流程示意图；
[0014]图3为基于变分法的通过聚焦恢复深度信息的方法中使用的拉普拉斯算子示意图。
【具体实施方式】
[0015]以下结合附图对本发明的技术方案进行详细说明。
[0016]参见图1，本发明提出的基于立体视觉的视频场景变化检测方法包括以下三个主要步骤:
[0017](a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度信息；
[0018](b)利用双目立体匹配方法获得当前场景深度，并用(a)中得到的场景深度信息进行插值优化；
[0019](C)将(b)得到的当前场景深度与前一时刻获得的场景深度进行比较，得到对应的场景变化。
[0020]对于步骤(a)，在当前的t时刻，双目相机获取监控场景的左眼图像和右眼图像。利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度信息。物体深度信息的一个强线索是其模糊程度，它随物体表面远离摄像机焦距而增加。连续调整摄像机成像平面到透镜的距离，图像中同一点的清晰度会随之发生变化，通过选取整个对焦过程中图像中每一点达到最大清晰度时对焦点的位置，根据镜头法则l/z_0+l/z_i=l/f，就可以计算得到该点到镜头的距离(也即深度信息)。
[0021]具体方法流程图图2所示。
[0022]首先，初始设置摄像机对焦位置为摄像机可达范围的最近点。在本特定实施例中，摄像机最近对焦点位置为1.4米。连续调整摄像机对焦位置，使摄像机对焦点距离匀速增大，并以预定帧率(例如每秒30帧)的速度采集摄像机图像。
[0023]接着，利用拉普拉斯算子计算每幅图像每个像素点的清晰度。现有方法通常使用一个区域内梯度平方的均值或者精心设计的有理多项式滤波器对图像清晰度进行评价，这些方法难以包含所有朝向的边缘响应，并且具有较高的计算复杂度。因此，本发明使用拉普拉斯算子对图像清晰度进行评价，使用的拉普拉斯算子包含所有朝向的边缘响应，并且可以利用积分图像进行快速计算，计算复杂度较低。本实施例中，使用的拉普拉斯算子核为
【权利要求】
1.一种基于立体视觉的视频场景变化检测方法，包括以下步骤: (a)在当前时刻，利用变分法通过聚焦分别恢复双目相机所获取的左眼图像和右眼图像中的场景深度息； (b)利用双目立体匹配方法获得当前场景深度，并用(a)中得到的场景深度信息对所述当前场景深度中遮挡部分的像素对应的深度值进行插值优化，得到优化后的当前场景深度； (C)将(b)得到的优化后的当前场景深度与前一时刻的场景深度进行比较，计算深度差异，得到对应的场景变化。
2.根据权利要求1所述的基于立体视觉的视频场景变化检测步骤，步骤(a)包括以下步骤: 初始设置摄像机对焦位置为摄像机可达范围的最近点，然后连续调整摄像机对焦位置，使摄像机对焦点距离匀速增大，并以预定帧率(例如每秒30帧)的速度采集摄像机图像； 利用拉普拉斯算子计算每幅图像每个像素点的清晰度，得到每个像素点在时域上的清晰度变化曲线； 根据所有图像的每个像素点的所述清晰度变化曲线，利用变分法估计场景深度。
3.根据权利要求2所述的基于立体视觉的视频场景变化检测步骤，其中，步骤(a)使用
的拉普拉斯算子核为
4.根据权利要求2所述的基于立体视觉的视频场景变化检测步骤，其中，所述根据所有图像的每个像素点的所述清晰度变化曲线，利用变分法估计场景深度具体为: 为每个图像中的像素点选取准确的对焦点位置等价于使以下能量公式(I)最小化，
E=EData+ a Esmooth (I) 其中Ellata是关于图像中每个点的清晰度的函数，计算公式如下:
5.根据权利要求1所述的基于立体视觉的视频场景变化检测步骤，所述步骤(b)包括: 对于左眼图像或右眼图像中遮挡部分的像素点q，其对应的深度值
【文档编号】H04N13/00GK103458261SQ201310405312
【公开日】2013年12月18日 申请日期:2013年9月8日 优先权日:2013年9月8日
【发明者】乐振春, 赵文彬, 吴玺宏, 粟俊 申请人:华东电网有限公司, 北京大学, 上海艾飞能源科技有限公司