一种基于多帧的鱼眼视频校正方法
【专利摘要】本发明公开的一种基于多帧的鱼眼视频校正方法，包括以下步骤：混合多帧灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外接圆参数；然后根据所述外接圆参数采用等距投影校正鱼眼视频。本发明的基于多帧的鱼眼视频校正方法，解决了目前校正方法存在的无法准确区分成像和非成像区域和不具有容错性的缺点。本发明的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移植，可以很方便地嵌入到鱼眼相关的应用系统。
【专利说明】
-种基于多顺的鱼眼视频校正方法
技术领域
[0001] 本发明属于图像处理技术领域，具体是一种基于多帖的鱼眼视频校正方法。
【背景技术】
[0002] 鱼眼镜头是一种基于仿生学的镜头，对物理空间进行变形，具有短焦距、大视角的 优点，比广角镜头和超广角镜头具有更大的视场角，视场角一般大于等于180°。起初是应用 于摄影，尽管引入桶形崎变，但不影响分辨率，可W实现大范围的清晰成像，目前已经扩展 到虚拟实景、视频监控、建筑测量、智能交通、机器人导航、国防军事等领域。在全景监控方 面，鱼眼镜头相较于多镜头式系统还具有结构紧凑、体积较小、不易损坏、技术要求低等特 点，所W在安全和军事领域，由鱼眼镜头为核屯、的全景监控系统也成为了近年来全景监控 研究的热点之一。
[0003] 鱼眼镜头所成的像，由于景深曲率的影响，图像的桶形崎变十分严重。桶形崎变是 图像的横向放大率随视场增大而减小的崎变。在鱼眼视频中，边缘的会出现明显的失真。不 同于小孔成像线性模型，现实世界中直线，如果不是沿着径向，成像后是不可能是直线的。 所W，为了能正确地分析鱼眼视频中的信息，需要将鱼眼视频进行校正。
[0004] 鱼眼镜头采用非相似投影模型，常用的投影模型包括等距投影、等立体角投影、正 交投影、体视投影模型等。在等距投影下，相同的半视场角在像面上对应着相等的距离，故 称之为"等距投影"。等距投影成像使像高与半视场角成非常简单的正比关系，可W方便地 提取空间目标的角坐标及其随时间变化的动态信息。运是等距投影的特殊优势，并使等距 投影成为最受重视的成像方式。
【发明内容】
[0005] 本发明要解决的问题是提供一种基于多帖的鱼眼视频校正方法，该方法首先使用 混合视频的多帖灰度图，然后外接圆的参数标定，最后使用等距投影模型来进行鱼眼视频 的实时校正，该校正方法能够准确区分成像区域和非成像区域，并且不受成像区域顶点确 认错误的影响，提高鱼眼视频的校正精度。
[0006] 本发明的基于多帖的鱼眼视频校正方法，包括W下步骤：
[0007] 混合鱼眼视频的多帖灰度图得到一张灰度图，从混合后的灰度图中提取边缘图， 通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆屯、坐标;通过混合多帖 视频，可W防止单帖视频出现的成像区域灰度值低而无法区分成像区域和非成像区域，同 时可W减少提取不必要的边缘，减少噪点，提高外接圆边缘的可靠性。
[000引根据所述外接圆半径和圆屯、坐标，采用等距投影校正鱼眼视频。
[0009] 进一步的，所述混合多帖视频灰度图过程中，混合后的第n帖视频灰度图的计算公 式如下：
[0010]
公式（3)
[0011] 其中，氏,是前n-1帖的混合灰度图，Gn是第n帖的灰度图。
[0012] 进一步的，所述提取边缘图的过程采用Canny算法。Canny边缘检测算子是John F.Canny于1986年开发出来的一个多级边缘检测算法。成像区域和非成像区域的边界可能 是模糊的，造成边界处的梯度值不高，W至于不能被提取出来，所W本发明算法采取缩小图 像的方法，边界范围缩小且清晰，并且进一步采用多尺度，即在多个缩放尺度上生成边缘 图，消除了误差。
[0013] 进一步的，在通过边缘图求得所述外接圆参数前，确定成像区域的上下左右四个 顶点：Pt(xt，yt)，Pb(xb，yb)，Pi(xi，yi)，Pr(xr，yr)。
[0014] 二维坐标系下求外接圆的公式为：
[001 引（x-Xc)2+(厂 yc)2 = r2 公式（4)
[0016]
[0017] 由公式(4)可见，只要有任意=个不在一条直线的点，就可W建立=元方程组，可 W唯一确定一个圆（Xe,yc，r)，其中（Xe,yc)为圆屯、坐标，r为半径。理论情况下，所有的边缘 都应在外接圆内，所W同样可W通过采用扫描边缘图，获得成像区域的上下左右四个顶点： PtUt，yt)，PbUb，yb)，PiUi，yi)，PrUr，yr)，选择任意；个点计算得到的圆，如果第四个点也 在运个圆上或圆内，那么运个圆就是外接圆。可W防止任意一个点出现错误而造成结果错 误。
[0018] 进一步的，所述采用等距投影校正鱼眼视频，包括W下几个过程：
[0019] 根据鱼眼视频帖的外接圆半径和圆屯、坐标;然后建立等距投影模型，经过多次拉 升变换，得到最终输出的视频帖图中每个像素点在原始鱼眼视频帖中的对应点；最后采用 双线性插值算法，逐个取原始鱼眼图的像素点去填充拉升后图的像素点。进一步的，在所述 采用等距投影校正鱼眼视频的过程中，得到所述最终输出的视频帖图中每个像素点在原始 鱼眼视频帖中的对应点，计算步骤如下：
[0020] 计算鱼眼视频投影模型中的0和a:
[0021] O = JiyZh 公式(5)
[0022] Q = ^txzV 公式(6)
[0023] 所述校正后视频的分辨率为w*h。
[0024] 等距投影模型中，竺 n h
[0025] 其中h是整个弧长h;y是0角对应的弧长。
[0026] 计算鱼眼视频投影模型中的半径f (图2中线段OlPl的长度）
[0027] f =化/> 公式(7)
[002引其中，d)是是鱼眼镜头的视角，r是外接圆半径。
[00巧]计算线段0日P日的长度：
[0030] r〇 = f* 目 公式（8)
[0031] 0日为圆屯、。
[0032] 计算Po坐标： .V,, = ^sin a + .v " '、
[003；3] * ( 绽武 C9) T(,二 COS 彷 + r(
[0034] 其中（Xe, yc)是外接圆圆屯、Oo坐标。
[0035] 为了实现实时性，采用W用空间换时间的方式进行优化。通过建表，直接生成P3和 Po的对应关系表，性能上得到提升，但是需要分配w*h*4*2的字节内存空间，随着输出视频 帖的分辨率成倍增长。在使用计算机软件执行上述方法时，需要按照行和列遍历进行处理， 总共需要调用w*h次COS和Sin函数，耗费大量时间。用查表代替函数调用，性能得到很大提 高。通过公式(6)可知，X的取值范围在(0，w)，所W只需要分配W巧*4字节的内存空间，相比 较w*h*4*2，大大减少了内存的分配，一旦输出视频帖的分辨率确定，就可W重复使用COS和 Sin函数表。
[0036] 本发明的基于多帖的鱼眼视频校正方法，包括W下步骤:混合原始鱼眼视频的多 帖灰度图得到一张灰度图，从混合后的灰度图中提取边缘图，通过边缘图求得外园参数外 接圆半径和圆屯、坐标;根据所述外接圆参数包括外接圆半径和圆屯、坐标，采用等距投影校 正鱼眼视频。本发明的基于多帖的鱼眼视频校正方法解决了目前校正方法存在的问题：单 帖视频灰度低，无法区分成像和非成像区域;简单依赖扫描图像得到的成像区域上下左右 四个顶点，不具有容错性。本发明的方法大大提高了鱼眼视频校正的鲁棒性和效率，处理过 程简单，具有实时性和理想的校正效果。使用计算机软件执行本方法时，易于模块化和移 植，可W很方便地嵌入到鱼眼相关的应用系统。
【附图说明】
[0037] 图1为本发明的基于多帖的鱼眼视频校正方法一个实施例的一帖原始视频灰度 图；
[0038] 图2为本发明的基于多帖的鱼眼视频校正方法一个实施例的投影模型示意图；
[0039] 图3为本发明的基于多帖的鱼眼视频校正方法一个实施例的展开模型；
[0040] 图4为图3所示的展开模型展开后的二维平面图；
[0041] 图5为本发明的基于多帖的鱼眼视频校正方法一个实施例的流程框图。
【具体实施方式】
[0042] 下面结合附图，对本发明提出的一种基于多帖的鱼眼视频校正方法进行详细说 明。
[0043] 如图1所示，鱼眼镜头拍摄的场景，最终成像是个圆形，需要校正的是成像区域，所 W区分成像区域和非成像区域。
[0044] 已有的算法是直接扫描图像的灰度图，由于非成像区域的特征是灰度值低，设定 一定的灰度阔值来区分成像区域和非成像区域，得到成像区域的上下左右四个顶点：
[0045] Pt(xt,yt) ,Pb(xb,yb) ,Pi(xi,yi) ,Pr(xr,yr)
[0046] 圆屯、Oo坐标计算公式组（I)为：
[0047] Xc=(xr+xi)/2
[0048] yG=(yt+yb)/2 公式组（1)
[0049] 半径r计算公式为：
[0050] r=max((xr-xi)/2, (yb-yt)/2) 公式（2)
[0051] 上述方法的缺点包括：
[0052] 1、灰度阔值的设定，不是自适应生成的，如果视频成像区域的灰度值本身就低，就 无法准确的区分成像区域和非成像区域。
[0053] 2、如果成像区域的上下左右四个顶点某个点是错误的，会导致计算出来的圆形信 息的错误。
[0054] 本发明公开的一种基于多帖的鱼眼视频校正方法的一个实施例，包括W下步骤：
[0055] 如图5所示，混合多帖视频灰度图得到混合视频，从每帖混合后的灰度图中提取边 缘图，通过边缘图求得外接圆参数外接圆半径和圆屯、坐标；
[0056] 根据所述外接圆半径和圆屯、坐标，采用等距投影校正鱼眼视频。混合多帖视频灰 度图过程中，混合后的第n帖视频灰度图的计算公式如下：
[0化7]
公乂（3)
[005引其中，民,是前n-1帖的混合灰度图，Gn是第n帖的灰度图。
[0059] 提取边缘图的过程采用化nny算法。Canny边缘检测算子是化hn F.化nny于1986年 开发出来的一个多级边缘检测算法。成像区域和非成像区域的边界可能是模糊的，造成边 界处的梯度值不高，W至于不能被提取出来，所W本发明算法采取缩小图像的方法，边界范 围缩小且清晰，所W进一步采用多尺度，即在多个缩放尺度上生成边缘图。
[0060] 确定成像区域的上下左右四个顶点:Pt(xt，yt)，Pb(xb，yb)，Pi(xi,yi) ,Pr(Xr，yr)
[0061 ]二维坐标系下求外接圆的公式为：
[006^ (x-Xc)2+(厂 yc)2 = r2 公式（4)
[0063] 由公式(4)可见，只要有任意=个不在一条直线的点，就可W建立=元方程组，可 W唯一确定一个圆（Xe,yc，r)，其中（Xe,yc)为圆屯、坐标，r为半径。理论情况下，所有的边缘 都应在外接圆内，所W使用计算机软件执行本发明的方法时，可W通过采用扫描边缘图，获 得成像区域的上下左右四个顶点化(^；，71；)而(孔，71))，口1佔,71)瓜(&，71〇，选择任意^个 点计算得到的圆，如果第四个点也在运个圆上或圆内，那么运个圆就是外接圆。可W防止任 意一个点出现错误而造成结果错误。
[0064] 采用等距投影校正鱼眼视频，包括W下个过程：
[0065] 建立鱼眼视频帖的投影模型，将混合视频的其中一帖灰度图转换到鱼眼视频帖的 投影模型中，得到第二灰度图；建立展开模型，将鱼眼视频帖的投影模型中的第二灰度图转 换到展开模型中，得到第=灰度图；将展开模型展开为二维平面图，其中对应的灰度图即为 校正视频帖图；重复W上步骤，直至混合视频的所有帖灰度图均转换为校正视频帖图。
[0066] 上述从混合视频的一帖灰度图转换到校正视频帖图的过程中，将图分为像素点进 行。
[0067] 如图1所示，Io是混合灰度图上任意一条与外接圆半径重合的线段，Po是Io上任意 一个像素点。Io对应于图2(等距投影模型）中线h，而线Ii对应于图3(展开模型）中的线12， 最后图3Wb展开就是最终输出的校正视频帖图4(即展开模型展开后的二维平面图），线b 对应于线13。
[0068] 得到校正视频帖中的像素点P3在原始鱼眼视频帖中的对应点Po需要如下计算：
[0069] 计算鱼眼视频投影模型中的0和a:
[0070] 0 =JiyA 公式(5)
[0071] a =化 x/w 公式(6)
[0072] 混合视频的像素分辨率为w*h。公式巧)和公式(6)对应图I和图2,是等距投影中第 一次拉升变换。
[0073] 计算鱼眼视频投影模型中的半径f (图2中线段OlPl的长度）
[0074] f = 2r/4) 公式(7)
[007引其中，(1)是是鱼眼镜头的视角，r是外接圆半径。
[0076] 计算线段OoPo的长度：
[0077] r〇 = f* 目 公式(8)
[007引 Oo为圆屯、。
[0079] 计算Po坐标：
[0080] ? L 公式（9) 扣COS a
[0081 ]其中（Xe, yc)是外接圆圆屯、Oo坐标。
[0082] 为了实现实时性，采用W用空间换时间的方式进行优化。通过建表，直接生成P3和 Po的对应关系表，性能上得到提升，但是需要分配w*h*4*2的字节内存空间，随着输出视频 帖的分辨率成倍增长。
[0083] 创建COS和sin函数表，用于计算Po坐标。在使用计算机软件执行上述方法时，需要 按照行和列遍历进行处理，总共需要调用w*h次COS和Sin函数，耗费大量时间。用查表代替 函数调用，性能得到很大提高。通过公式(6)可知，X的取值范围在(0，w)，所W只需要分配W* 2*4字节的内存空间，相比较w*h*4*2，大大减少了内存的分配，一旦输出视频帖的分辨率确 定，就可W重复使用COS和Sin函数表。本发明具体应用途径很多，W上所述仅是本发明的优 选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提 下，还可W做出若干改进，运些改进也应视为本发明的保护范围。
【主权项】
1. 一种基于多帧的鱼眼视频校正方法，其特征在于，包括以下步骤： 混合原始鱼眼视频的多帧灰度图得到一张灰度图，从混合后的灰度图中提取边缘图， 通过边缘图求得外接圆参数，所述外接圆参数包括外接圆半径和圆心坐标； 根据所述外接圆半径和圆心坐标，采用等距投影校正鱼眼视频。2. 根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述混合多 帧灰度图过程中，混合后的第η帧灰度图的计算公式如下：其中，CL ,是前η-1_的混合灰度图，Gn是第η帧的灰度图。3. 根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述提取边 缘图的过程采用Canny算法。4. 根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，在所述通过 边缘图求得外接圆参数前，确定成像区域的上下左右四个顶点:P t(Xt，yt)，Pb(Xb，y b)，Pi(xi， yi) ,Pr(xr,Yr)〇5. 根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述通过边 缘图求得外接圆参数过程中，二维坐标系下求外接圆的公式为： (x-xc)2+(y-yc)2=r2 公式(4) 其中，（xc；，y。)是外接圆圆心Oo的坐标。6. 根据权利要求1所述的所述基于多帧的鱼眼视频校正方法，其特征在于，所述采用等 距投影校正鱼眼视频的过程如下： 根据鱼眼视频帧的外接圆半径和圆心坐标建立等距投影模型，经过多次拉升变换，得 到最终输出的视频帧图中每个像素点P3在原始鱼眼视频帧中的对应点Po;最后米用双线性 插值算法，逐个取原始鱼眼图的像素点去填充拉升后图的像素点。7. 根据权利要求6所述的所述基于多帧的鱼眼视频校正方法，其特征在于，在所述采用 等距投影校正鱼眼视频的过程中，得到所述最终输出的视频帧图中每个像素点P 3在原始鱼 眼视频帧中的对应点Ρο,计算步骤如下： 计算鱼眼视频投影模型中的Θ和α: O = JiyA 公式(5) a = 23ix/w 公式(6) 所述混合视频的像素分辨率为w*h; 计算鱼眼视频投影模型中的半径f: f = 2r/ Φ 公式(7) 其中，Φ是是鱼眼镜头的视角，r是外接圆半径； 计算线段OoPo的长度： r〇 = f*0 公式(8) Oo为圆心； 计算Po坐标： 力歸+ ( 公式⑷ V0 = r0 * cos a+ Vf 其中(Xc；，y。)是外接圆圆心Oo坐标。8.根据权利要求7所述的所述基于多帧的鱼眼视频校正方法，其特征在于，在所述采用 等距投影校正鱼眼视频的过程中，创建cos和sin函数表，用于计算Po坐标。
【文档编号】G06T5/50GK106023127SQ201610324176
【公开日】2016年10月12日
【申请日】2016年5月16日
【发明人】何健
【申请人】诚迈科技（南京）股份有限公司