基于多相机旋转扫描的实时全景监控方法和装置制造方法
【专利摘要】本发明提出了一种基于多相机旋转扫描的实时全景监控方法和装置，完成360度周视环境的全景呈现，并实现不断更新全景图像。步骤一、初始化；步骤二、每台摄像设备分别采集一帧图像，并进行像素强度补偿，每台设备的采样结果分别保存在各自的采样图像序列中，同时记录当前采样时旋转云台所处的角度信息；显示每一个图像序列的初始图像，根据相机间安装的相对位置，确定每组中初始帧在360度全景图像上的位置；步骤三、选取一个图像序列，提取上一帧A和当前帧B，检测并描述ROI区域内的特征点，再对A、B两帧中提取到的特征点进行匹配，根据匹配结果调整特征检测中的非极大值抑制阈值；步骤四、根据匹配结果计算单应性矩阵。
【专利说明】基于多相机旋转扫描的实时全景监控方法和装置
【技术领域】
[0001]本发明属于图像处理领域和视频监控【技术领域】，具体涉及多相机的旋转扫描全景监控系统。
【背景技术】
[0002]现有的全景成像设备主要分为三类，一是依靠特殊的成像设备如鱼眼镜头来获取大视角的图像；另一类是依靠覆盖不同视野区域的多个相机所摄画面拼接而成大场景图像；第三类是依靠一个不断旋转的相机拍摄周围环境的图像序列进行拼接融合完成全景成像。但是特殊成像设备如鱼眼镜头所拍摄图像有严重的畸变(CN102222337A);第二类多相机场景融合的方法想要覆盖360度范围需要很多成像设备，成本高，系统复杂(CN102117008A ；CN101866482B);最后一类单相机的旋转设备受旋转速度和拼接方法的限制实时性差，更新360度场景一次需要时间很长(CN101221351B)。360度的全景监控任务来说，不仅需要清晰完整的视野，还要考虑实时性，以及系统成本等因素。
【发明内容】
[0003]本发明旨在克服以上缺陷，提出了一种基于多相机旋转扫描的实时全景监控方法和装置，完成360度周视环境的全景呈现，并实现不断更新全景图像。在提供360度全景图像的基础上，避免了畸变，所需图像采集设备数量少、无广角、鱼眼等特殊要求，系统简单，达到了高实时性，经过校准的多成像设备成像连贯一致，系统稳定性高。
[0004]一种基于多相机旋转扫描的实时全景监控方法，包括以下步骤:
[0005]步骤一、根据转台旋转速度以及相机视场角大小确定采样间隔；根据转台旋转速度、旋转方向以及视场角大小以及确定感兴趣区域；多个图像采集设备的参数校准，在同一时刻对每个成像设备采样初始帧，根据成像设备安装位置及水平校准偏移量，显示在360度全景图像的相应初始位置上，同时记录当前采样时旋转云台所处的角度信息；
[0006]步骤二、每台摄像设备分别采集一帧图像，并进行像素强度补偿，每台设备的采样结果分别保存在各自的采样图像序列中，同时记录当前采样时旋转云台所处的角度信息；显示每一个图像序列的初始图像，根据相机间安装的相对位置，确定每组中初始帧在360度全景图像上的位置；
[0007]步骤三、选取一个图像序列，提取上一帧A和当前帧B，检测并描述ROI区域内的特征点，再对A、B两帧中提取到的特征点进行匹配，根据匹配结果调整特征检测中的非极大值抑制阈值；
[0008]步骤四、根据匹配结果计算单应性矩阵，根据单应性矩阵中的参量识别是否符合拼接条件；符合拼接条件的，根据单应性矩阵，得到B帧相对于A帧的偏移量，采用渐入渐出的方法消除拼接缝隙，根据偏移量将B帧拼接至A帧并在全景图像上显示；若不符合拼接条件的，接收当前角度信息，以此为依据，将帧B显示在全景图像的相应位置。
[0009]步骤五、检测是否有下一帧，如果有则转至步骤一，否则结束。[0010]步骤一中所述的参数校准包括:在每台成像设备旋转经过云台O位的时候各采样一帧，通过图像匹配，进行全部成像设备的参数校准，包括垂直偏移校准、水平偏移校准、亮度增益校准。
[0011]步骤三中调整特征检测中的非极大值抑制阈值采用surf (Speeded-Up RobustFeatures)算法中的特征点检测方法进行特征点的提取；再采用ORB (ComparativeEvaluation of Binary Features)特征算法对检测到的特征点进行描述；之后根据A、B两帧中的特征点进行特征匹配，并对匹配结果进行筛选；修改特征检测中的相关阈值，使特征点数量保持在满足匹配需求尽可能少的数值。
[0012]—种基于多相机旋转扫描的实时全景监控装置，包括:
[0013]输入模块，由一个或多个图像采集设备固定在转台上，成像设备拍摄不同的角度，且相对位置固定，每经过一段时间建个进行一次采样，每个成像设备的采样图像分别组成一个图像序列，要求每个序列中的相邻帧需要有足够的重叠区域，提供最新相邻两帧的缓冲存储区；
[0014]校准模块，对不同成像设备之间参数进行校准，包括垂直偏移校准、水平偏移校准、亮度增益校准；
[0015]拼接模块，每一个图像序列中，当前帧均与上一帧进行特征匹配，计算偏移量，同时消除拼接缝，确定当前帧显示位置；
[0016]拼接失败响应模块，图像处理模块中检测到线性拼接失败时，利用当前帧采集时响应的云台位置以及该图像序列对应的图像采集设备在转台上的相对位置，估计当前帧在全景图像中的显示位置；
[0017]显示模块，提供待显示图像和位置信息的缓冲存储区，根据图像处理或拼接失败处理模块提供的信息，在全景图像中用当前帧更新相应位置，完成全景图像的更新。
[0018]本发明的有益效果:
[0019]本发明公开的基于多相机旋转扫描的实时全景监控方法和装置，采用多个图像采集设备旋转抓取图像序列的方法，得到周视环境的信息，比过往的单相机旋转拼接设备成倍的提高了全景图像的更新速率，而所需成像设备数量少，普通相机即可满足要求，因此保持了低要求的硬件系统开销；基于Hessian行列式的多尺度特征点检测方法与ORB特征面熟方法使得本发明较之以往的特征匹配拼接算法有更高的尺度不变性和光照不变性，使得图像拼接更加稳定和准确；同时，利用云台回传的角度信息，可以辅助处理图像拼接失败的情况，使系统的可靠性提高。
【专利附图】
【附图说明】
[0020]图1为本发明实施例的两镜头转台装置；
[0021]图2为本发明实施例全景图像生成算法的流程图；
[0022]图3为本发明实施例360度全景拼接示意图。
[0023]具体实施方法
[0024]下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清除、完整地描述，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0025]如图1所示，本实施例中采用N个摄像设备(本实施例中取N=3)，在转台上间隔360° /N度固定，相机视场角为Vfa本实施例中取vfa=20°，采样图像分辨率为LwidthX Lheight ；相邻帧最小重叠度设定为Qniin (O < amin < 1)，其中Cinii为本方法的经验值一般取0.3，即基准帧(左图)R0I为横轴LwidthX α像素到Lwidth像素区域，当前帧(右图)R0I为横轴O像素到LwidthX (l-α)像素区域；另外，本实施例中的转台沿俯视顺时针旋转。全景显示区域的宽度为W，高度为H。
[0026]本发明了一种基于多相机旋转拍摄的全景监控方法，如图2为所示，具体包括以下步骤:
[0027]步骤一,初始化转台，从转台O位开始顺时针匀速转动,转速为W。采样初始帧并显示在360度全景图像的初始位置上，同时记录当前采样时旋转云台所处的角度信息。
[0028]其中，采样间隔需要根据转台旋转速度以及相机视场角大小确定。根据相机视场角Vfa，相邻帧重叠度α，转速《，可计算采样间隔t:
【权利要求】
1.一种基于多相机旋转扫描的实时全景监控方法，其特征在于，包括以下步骤: 步骤一、根据转台旋转速度以及相机视场角大小确定采样间隔；根据转台旋转速度、旋转方向以及视场角大小以及确定感兴趣区域；多个图像采集设备的参数校准，在同一时刻对每个成像设备采样初始帧，根据成像设备安装位置及水平校准偏移量，显示在360度全景图像的相应初始位置上，同时记录当前采样时旋转云台所处的角度信息； 步骤二、每台摄像设备分别采集一帧图像，并进行像素强度补偿，每台设备的采样结果分别保存在各自的采样图像序列中，同时记录当前采样时旋转云台所处的角度信息；显示每一个图像序列的初始图像，根据相机间安装的相对位置，确定每组中初始帧在360度全景图像上的位置； 步骤三、选取一个图像序列，提取上一帧A和当前帧B，检测并描述ROI区域内的特征点，再对A、B两帧中提取到的特征点进行匹配，根据匹配结果调整特征检测中的非极大值抑制阈值； 步骤四、根据匹配结果计算单应性矩阵，根据单应性矩阵中的参量识别是否符合拼接条件；符合拼接条件的，根据单应性矩阵，得到B帧相对于A帧的偏移量，采用渐入渐出的方法消除拼接缝隙，根据偏移量将B帧拼接至A帧并在全景图像上显示；若不符合拼接条件的，接收当前角度信息，以此为依据，将帧B显示在全景图像的相应位置。 步骤五、检测是否有下一帧，如果有则转至步骤一，否则结束。
2.如权利要求1所述的一种基于多`相机旋转扫描的实时全景监控方法，其特征在于，步骤一中所述的参数校准包括:在每台成像设备旋转经过云台O位的时候各采样一帧，通过图像匹配，进行全部成像设备的参数校准，包括垂直偏移校准、水平偏移校准、亮度增益校准。
3.如权利要求1或2所述的一种基于多相机旋转扫描的实时全景监控方法，其特征在于，步骤三中调整特征检测中的非极大值抑制阈值采用surf (Speeded-Up RobustFeatures)算法中的特征点检测方法进行特征点的提取；再采用ORB (ComparativeEvaluation of Binary Features)特征算法对检测到的特征点进行描述；之后根据A、B两帧中的特征点进行特征匹配，并对匹配结果进行筛选；修改特征检测中的相关阈值，使特征点数量保持在满足匹配需求尽可能少的数值。
4.一种基于多相机旋转扫描的实时全景监控装置，其特征在于，包括: 输入模块，由一个或多个图像采集设备固定在转台上，成像设备拍摄不同的角度，且相对位置固定，每经过一段时间建个进行一次采样，每个成像设备的采样图像分别组成一个图像序列，要求每个序列中的相邻帧需要有足够的重叠区域，提供最新相邻两帧的缓冲存储区； 校准模块，对不同成像设备之间参数进行校准，包括垂直偏移校准、水平偏移校准、亮度增益校准； 拼接模块，每一个图像序列中，当前帧均与上一帧进行特征匹配，计算偏移量，同时消除拼接缝，确定当前帧显示位置； 拼接失败响应模块，图像处理模块中检测到线性拼接失败时，利用当前帧采集时响应的云台位置以及该图像序列对应的图像采集设备在转台上的相对位置，估计当前帧在全景图像中的显示位置；显示模块，提供待显示图像和位置信息的缓冲存储区，根据图像处理或拼接失败处理模块提供的信息，在全 景图像中用当前帧更新相应位置，完成全景图像的更新。
【文档编号】H04N5/232GK103517041SQ201310454529
【公开日】2014年1月15日 申请日期:2013年9月29日 优先权日:2013年9月29日
【发明者】陈文颉, 朱皓, 窦丽华, 陈杰, 邓方, 王伟娜, 潘洁 申请人:北京理工大学