专利名称：一种广角镜头下的视频实时校正方法
技术领域：
本发明涉及广角镜头校正技术领域，特别是一种广角镜头下的视频实时校正方法。
背景技术：
广角镜头被广泛地运用于视觉监控、跟踪和机器人导航中。它具有独特的宽阔视野，可以弥补标准镜头视场较窄的缺点。但是，广角镜头具有一个很大的缺点就是所拍摄的图像存在非常严重的变形，这对我们用广角镜头下的视频装置直接进行监控、跟踪带来非常大的困难。因此，在利用广角镜头的监控技术中，很重要的一步就是如何把通过采集卡获取的动态广角图像实时地校正为一般的透视投影图像。
动态广角图像实时校正的主要难点在于以下两点1)如何校正单幅静态广角图像。由于广角图像的成像模型很复杂，图像畸变相当严重，尤其是图像边缘处，校正参数不好选取；2)校正的实时性。
目前已有了一些对视场为100度左右的广角镜头的校正方法，较常用的方法是利用平面透视投影约束，通过变形校正模型将空间直线的投影曲线映射为图像平面上的直线。但是，对于广角镜头，其视场可能达到180度，这样，如果利用已有的方法，校正后的图像大小将为无穷大，无法进行实现。
目前已有的实时视频处理系统中，常用的方法是采用每帧图像分别计算、单线程方式处理和显示视频，由于视频信息量大，处理视频要耗费大量的系统资源，因此常规方法不能达到处理后视频的流畅化显示。在许多应用中如监控、安全和军事应用中，视频处理特别强调实时性，因此每帧图像分别计算、单线程方式影响了显示效果并制约了实际应用。
发明内容
本发明提供一种动态广角图像实时校正的方法。该方法可以有效解决使用普通摄像机进行监控、跟踪时，因监控范围小不适合大范围和重要部门应用或为达到大的监控范围而使用大量摄像机的问题。
本发明方法要求有一个图像采集卡，一个广角镜头，一台计算机和一架由计算机控制的摄像机。以下分两部分具体说明该方法1.校正参数的确定如图1所示，本方法利用球面透视投影约束来校正广角图像。球面透视投影指的是，假设摄像机的光心在一个球的球心处，空间点在该球面上投影成像。这样，空间直线在球上的投影为一个大圆。假定空间直线在广角镜头下成的像，即一条曲线，与单位球上的大圆有下面的关系φ′=Σi=15ci*ri---(1)]]>θ′=Σi=15ai*θi]]>其中r，θ是广角图像上点的极坐标表示，原点位于图像的中心；φ′，θ′是单位球面上点的球坐标表示，φ′表示射线与Z轴的交角，θ′表示与X轴的交角，而X轴，Y轴所在的平面与图像平面共面；ai，ci是待求参数。
即在广角图像上同一曲线(空间直线的像)上的点经过上面的关系映射到同一个大圆上。当广角图像包含的场景范围大约是180度时，经过上述变换，图像上的点映射到同一半球上。由于模型误差的存在，经过上述映射，共线点并不严格地在同一个大圆上，即点到大圆的球面距离不等于0。因此，我们需要首先求出球上一点到一个大圆的球面距离公式。一个大圆可以用两个参数表示，即表示所在平面的单位法向量的两个参数，记为Ф，Θ，从而，点(φ′，θ′)到一个大圆(Ф，Θ)的球面距离公式近似表示为ds≈d其中d＝|sinФsinφ′cos(Θ-θ′)+cos(Ф)cosφ′|，且d的值很小。
因此，我们构造的最小化目标函数为
minΣj=1LΣi=1njdij2---(2)]]>其中dij＝|sinФjsinφi′cos(Θj-θi′)+cos(Фj)cosφi′|，其中L表示直线的条数，nj表示第j条直线上的点数。目标函数中的未知量为{ci}i＝15，{ci}i＝14，{Фj，Θj}j＝1L。但是，在{ai，ci}已知时，{Фj，Θj}j＝1L可以按下面的方法求得。
由于同一个大圆上的每一点pij都与其所在平面的法向量nj(由{Фj，Θj}确定)垂直，即pij·nj＝0 (3)因此，由两个以上的共圆点得到个约束，再运用奇异值分解的方法，就可以线性地求得nj。这样，在目标函数中，实际上只存在9个未知量，即{ci}i＝15，{ai}i＝14。利用优化算法就可以估计出参数{ai，ci}。
2.通过球面透视投影约束实时校正动态广角图像的方法，包括步骤1)在包含有较多直线的场景内，拍摄一幅广角图像；2)提取图像中的曲线，这些曲线必须是空间直线的像；3)可通过求解最小化问题(2)即minΣj=1LΣi=1njdij2]]>确定广角变形校正模型中的参数，最小化问题(2)的未知量有{ci}i＝15，{ai}i＝14，{Фj，Θj)j＝1L，在给定某组{ai，ci}时，{Фj，Θj}j＝1L可通过公式(1)(3)求得；4)根据3)中得到的参数，校正视频序列中的每帧图像；5)实时显示校正后的每帧图像，得到校正后的视频序列。
本发明可以校正各种型号的广角镜头获取的图像，并可在图像中选择任意视点实施校正和观察。通过本方法，用户只需使用装有广角镜头的摄像机，就可获得大的视场范围并可根据需要在任意视角处实时校正为清晰流畅的透视投影视频。
本发明涉及视觉监控、视频监控、图像和视频处理、跟踪和机器人导航。
可以根据需要随时转换视角，实时得到广角图像内任意区域的校正图像。
采用广角图像与透视图的映射表技术保证视频校正的实时性。
多线程编程技术保证视频校正的实时性。
本发明方法中的广角镜头包括鱼眼镜头。
图1是本发明广角镜头下的视频实时校正方法的流程图；图2是本发明广角镜头下的视频实时校正方法校正参数估计的流程图；图3是本发明广角镜头下的视频实时校正方法实时视频校正的流程图；图4是一幅广角图像；图5是选取的图4内的若干条直线；图6是校正后的图像；图7是使用本发明实施的广角镜头下的视频实时校正程序主界面。
具体实施例方式
本发明方法要求有一个图像采集卡，一个广角镜头，一台计算机和一架由计算机控制的摄像机。
图1，广角镜头下的视频实时校正方法，其步骤如下S1.1，在包含有较多直线的场景内，拍摄一幅广角图像；S1.2，手工或利用Canny算子的方法提取图像中的曲线，这些曲线必须是空间直线的像；S1.3，确定广角变形校正模型中的参数；S1.4，根据S1.3)中得到的参数，校正视频序列中的每帧图像；S1.5，实时显示校正后的每帧图像，得到校正后的视频序列。
图2，广角镜头下的视频实时校正方法校正参数估计的流程，通过球面透视投影约束和通过提取场景直线在图像中的像作为计算校正模型的基础数据，步骤如下S2.1，在含有较多直线的场景内，拍摄一幅广角图像，这是因为在透视投影下直线仍然是直线，而在广角图像中，直线变为曲线。我们需要把曲线再变回直线，以使图像具有透视效果；S2.2，提取场景直线在图像中的像，可以用手工或Canny算子的方法提取，也可以采用人机交互的方法；S2.3，通过提取空间直线在图像中的像，确定广角变形校正模型中的参数。
图3，广角镜头下的视频实时校正方法实时校正视频的流程图。实时校正的步骤如下S3.1，用户输入所需要的视野范围，即水平视角和垂直视角；S3.2，摄像机采集到视频，通过同轴电缆传送到带有图像采集卡的计算机内或从文件直接获得视频流；S3.3，从视频流获取当前帧图像；S3.4，判断是否在获取图像中选择新视点？如是，转5)；如否，转6)；S3.5，每次选择更换视点后，计算透视图中像素在鱼眼图像中的横纵坐标映射表，该映射表由图2流程所得到的参数来确定；S3.6，根据映射表，将透视图每个像素的值赋为鱼眼图像中对应像素的值；S3.7，将得到透视图显示在显示设备上或利用透视图的RGB生成视频文件数据；S3.8，判断用户是否选择停止监控？如否，转3)；如是，转9)；S3.9，在计算机上生成完整的视频文件以存档。
图4是实时获取视频的一帧图像，显然该图有很大的视野范围，但同时有很大的畸变，如天花板上的直线成像为曲线。
图5在图4中选取了空间若干条直线的像，作为求解校正参数模型(2)的基础数据。
图6利用求解的校正参数实现图4图像在某个视角的矫正，空间中的直线都很好得校正为直线，可见本发明具有很好的校正畸变效果和清晰的图像显示等优点。
图7是利用本方法实现的鱼眼实时监控系统，该图左上角为四路实时视频显示窗口，该图右上角为鱼眼视频的实时校正显示，用户可以根据需要在左上角的视频上随时转换视角，实时得到任意区域的校正图像，图7下面控件分别实现了调整视频的显示以及捕捉图像等功能。本发明具有大视野显示、用户可灵活选择观察视点、灵活性高和实时性好等一系列优点。
视频校正参数*)
*)最大校正帧率能否达到和用户计算机配置有关。上表列出常用视频分辨率下，视频采集帧率为25帧/秒时，采用本发明校正的帧率。由上表可见，当在视频分辨率在352*288、352*240、176*144、176*120下，采用本发明校正帧率等于采集帧率，即使在视频分辨率较高时如704*576，704*480，校正帧率也能达到15帧/秒，因此本发明能够很连贯的校正并显示校正后的视频，具有很好的实时性，便于实时性要求高和视野范围要求广的实际应用(如视觉监控、机器人导航等)中使用。
权利要求
1.一种通过球面透视投影约束确定广角校正模型参数的方法，包括步骤S1.1，在包含有较多直线的场景内，拍摄一幅广角图像；S1.2，手工或利用Canny算子的方法提取图像中的曲线，这些曲线必须是空间直线的像；S1.3，确定广角变形校正模型中的参数；S1.4，根据S1.3)中得到的参数，校正视频序列中的每帧图像；S1.5，实时显示校正后的每帧图像，得到校正后的视频序列。
2.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，通过球面透视投影约束和通过提取场景直线在图像中的像作为计算校正模型的基础数据，步骤如下S2.1，在含有较多直线的场景内，拍摄一幅广角图像，这是因为在透视投影下直线仍然是直线，而在广角图像中，直线变为曲线；S2.2，提取场景直线在图像中的像，可以用手工或Canny算子的方法提取，也可以采用人机交互的方法；S2.3，通过提取空间直线在图像中的像，确定广角变形校正模型中的参数。
3.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，保证校正的实时性，步骤如下S3.1，用户输入所需要的视野范围，即水平视角和垂直视角；S3.2，摄像机采集到视频，通过同轴电缆传送到带有图像采集卡的计算机内或从文件直接获得视频流；S3.3，从视频流获取当前帧图像；S3.4，判断是否在获取图像中选择新视点？如是，转5)；如否，转6)；S3.5，每次选择更换视点后，计算透视图中像素在鱼眼图像中的横纵坐标映射表；S3.6，根据映射表，将透视图每个像素的值赋为鱼眼图像中对应像素的值；S3.7，将得到透视图显示在显示设备上或利用透视图的RGB生成视频文件数据；S3.8，判断用户是否选择停止监控？如否，转3)；如是，转9)；S3.9，在计算机上生成完整的视频文件以存档。
4.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，可以根据需要随时转换视角，实时得到广角图像内任意区域的校正图像。
5.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，采用广角图像与透视图的映射表技术保证视频校正的实时性。
6.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，多线程编程技术保证视频校正的实时性。
7.根据权利要求1所述的通过球面透视投影约束实时校正动态广角图像的方法，其特征是，本方法中的广角镜头包括鱼眼镜头。
全文摘要
本发明涉及广角镜头校正技术领域，特别是一种广角镜头下的视频实时校正方法。提供一种通过球面透视投影约束实时校正动态广角图像的方法。包括步骤S1.1.包含有较多直线的场景内，拍摄一幅广角图像；S1.2.提取图像中的曲线，这些曲线必须是空间直线的像；S1.3.确定广角变形校正模型中的参数；S1.4.根据S1.3)中得到的参数，校正视频序列中的每帧图像；S1.5.实时显示校正后的每帧图像，得到校正后的视频序列。
文档编号G03B37/00GK1856094SQ20051006697
公开日2006年11月1日 申请日期2005年4月25日 优先权日2005年4月25日
发明者张彩霞, 邓小明, 胡占义 申请人:中国科学院自动化研究所