基于二次折射投影模型的鱼眼图像校正方法、装置和系统的制作方法
【专利摘要】本发明公开了一种基于二次折射投影模型的鱼眼图像校正方法、装置和系统，该校正方法包括：所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面；所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面上；根据所述发光点在所述承接面上的投影点的坐标计算发光点的坐标。本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方法、装置和系统仅使用四则运算和开方运算，图像校正的运算量较少，校正速度快，便于用硬件实现，而且能实现较好的校正效果。在实际应用中，还可以采用不同的承接面来适应各种应用场合。
【专利说明】
基于二次折射投影模型的鱼眼图像校正方法、装置和系统
技术领域
[0001] 本发明设及一种数字图像处理的技术领域，具体设及一种基于二次折射投影模型 的鱼眼图像校正方法、装置及系统。
【背景技术】
[0002] 鱼眼镜头因其短焦距超广角的特性，能够获得垂直视场180°、水平视场360°的图 像，在安防监视、智能交通、医学临床、移动机器人自主导航、辅助驾驶、W及全景电影等各 个领域有很大的应用前景。然而，鱼眼镜头的超大视场特性，是W其获取的图像的桶形崎变 作为代价的，因此需要对鱼眼图像进行校正。
[0003] 目前的鱼眼图像校正方法中，校正效果好的方法的比较复杂，方法较为简单的校 正效果较差。
【发明内容】
[0004] 本发明的目的在于提供一种基于二次折射投影模型的鱼眼图像校正方法、装置和 系统，旨在解决现有鱼眼图像校正过程中计算量较大的技术缺陷。
[0005] 为了解决上述问题，本发明提供了一种基于二次折射投影模型的鱼眼图像校正方 法，包括如下步骤：
[0006] 所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向 与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面 内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球屯、；
[0007] 所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球 冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光 线与所述第二球冠面的球屯、W及所述第二球冠面的顶点连线之间夹角的一半；
[000引根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。
[0009] 优选地，还包括:遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图 像的坐标点的坐标;根据所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。
[0010] 优选地，还包括:根据所述鱼眼图像的坐标点的像素值设置该坐标点对应的投影 点的像素值。
[0011] 优选地，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为 R，所述第一球冠面的半径为^而，所述第一球冠面的高为所述第一球冠面的顶 2 2 点到所述第二球冠面的顶点之间的距离为2/?--^- 。 P：
[0012] -种基于二次折射投影模型的鱼眼图像校正系统，包括第一球冠面、与所述第一 球冠面共轴的第二球冠面和投影面。
[0013] 其中，所述鱼眼图像设于所述投影面内，所述投影面与所述第一球冠面的底面平 行并且经过所述第一球冠面的球屯、;光线沿第一方向在第一球冠面折射后，沿所述第一球 冠面的半径方向出射，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之 间的连线平行。
[0014] 光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面 折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与 所述第二球冠面的球屯、W及所述第二球冠面的顶点连线之间夹角的一半。
[0015] 优选地，所述第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为 R，所述第一球冠面的半径为，所述第一球冠面的高为，所述第一球冠面的顶 2 2 点到所述第二球冠面的顶点之间的距离为2及-^巧 一 O
[0016] 优选地，还包括若干承接面，至少一所述承接面与所述第一球冠面相切。
[0017] 优选地，包括5个与所述第二球冠面相切的承接面，所述承接面形成一敞口的长方 体，其中底面的承接面与投影面平行，且底面的边长为所述投影面内的鱼眼图像的边长的 两倍，侧面的不与中底面面相接的边的长度为底面边长的一半。
[0018] -种基于二次折射投影模型的鱼眼图像校正装置，包括：
[0019] 第一折射单元，用于将所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠 面，其中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所 述鱼眼图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球 冠面的球屯、；
[0020] 第二折射单元，用于将所述光线在所述第一球冠面折射后沿第一入射角进入第二 球冠面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述 第一入射角为所述光线与所述第二球冠面的球屯、W及所述第二球冠面的顶点连线之间夹 角的一半；
[0021] 计算单元，用于根据所述发光点在所述承接面的投影点的坐标计算所述发光点的 坐标。
[0022] 优选地，还包括:遍历单元，遍历所述发光点在所述承接面的投影点的坐标，计算 所述鱼眼图像的坐标点的坐标;成像单元，用于根据所述鱼眼图像的坐标获得所述鱼眼图 像的校正图像。
[0023] 相较于现有技术，本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方 法、装置和系统仅使用四则运算和开方运算，图像校正的运算量较少，校正速度快，便于用 硬件实现，而且能实现较好的校正效果。在实际应用中，还可W采用不同的承接面来适应各 种应用场合。
【附图说明】
[0024] 下面结合附图对本发明的【具体实施方式】作进一步详细的说明，其中：
[0025] 图1是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式的结构示 意图；
[00%]图2是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式中显示屏 的放置位置示意图；
[0027] 图3是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式中第一球 冠面、第二球冠面和投影面的结构示意图；
[0028] 图4是本发明所述于二次折射投影模型的鱼眼图像校正方法一实施方式的流程 图；
[0029] 图5是本发明所述于二次折射投影模型的鱼眼图像校正装置一实施方式的结构示 意图。
[0030] 图中；
[0031] 10:摄像头;20:处理器;21:存储模块;22:校正模块;23:显示控制模块;30:显示器 组;31:显示屏;40:第一球冠面;50:第二球冠面;51:第一折射单元;52:第二折射单元;53: 成像单元;54:计算单元;55:遍历单元。
【具体实施方式】
[0032] 本发明实施例提供的基于二次折射投影模型的鱼眼图像校正方法、装置和系统经 两次折射后投射在投影面上，通过遍历发光点在承接面的投影点的坐标，计算鱼眼图像的 坐标点的坐标，从而可W获得校正后的鱼眼图像。
[0033] 参见图1，图1是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式 的结构示意图。在图1示出的实施方式中，该鱼眼图像校正系统包括摄像头10、存储模块21、 校正模块22和视频显示模块。其中，在一些实施方式中，存储模块21、校正模块22和视频显 示模块中的显示控制模块23在同一处理器20中实现，该处理器20可W是现场可编程口阵列 (Fie 1 d - Programmab 1 e Gate Array，FPGA)。此外，本申请中所述的"图像"可W是静态的图 像，也可W是从视频流中截取的图像。
[0034] 摄像头10用于获取原始的鱼眼图像。存储模块21用于存储当前帖的鱼眼图像。校 正模块22用于采用基于二次折射投影模型的鱼眼图像校正方法，对鱼眼图像进行校正。
[0035] 视频显示模块用于显示校正后的鱼眼图像。在一些实施方式中，视频显示模块包 括显示器组30和FPGA中的显示控制模块23，其中显示器组30包括5个显示屏31，如图2所示 放置，显示屏31-侧均向内，用于显示校正后的图像视频，显示控制模块23用于将鱼眼图像 的像素值分别输出到校正图像的对应坐标点上。显示屏31可W设置为显示承接面上接受到 的校正后的鱼眼图像，承接面将在后续校正方法部分进行进一步详细描述。
[0036] 校正模块22获取存储模块21中存储的鱼眼图像后，通过一鱼眼图像校正模型进行 校正。该鱼眼图像校正模型包括投影面，W及共轴的第一球冠面40、第二球冠面50。其中，该 鱼眼图像校正模型可W是现实的，也可W是虚拟的，本领域技术人员可W根据实际情况选 择合适的器件实现该鱼眼图像矫正系统。
[0037] 参见图3,图3是本发明所述于二次折射投影模型的鱼眼图像校正系统一实施方式 中第一球冠面40、第二球冠面50和投影面的结构示意图。在图3示出的实施方式中，第一球 冠面40和第二球冠面50共轴，并且第一球冠面40设置在第二球冠面50的内侧，投影面与第 一球冠面40和第二球冠面50的底面平行。
[0038] 鱼眼图像设于投影面上，投影面与第一球冠面40的底面平行并且经过第一球冠面 40的球屯、。在本实施方式中，设置第一球冠面40具有合适的折射率，使得光线沿第一方向在 第一球冠面40折射后，沿第一球冠面40的半径方向出射，其中，第一方向与第一球冠面40的 顶点、第二球冠面50的顶点之间的连线平行。在图3示出的实施方式中，鱼眼图像设置在水 平放置的投影面上，第一方向为竖直向上的方向。此外，还设置第二球冠面50具有合适的折 射率，使得光线在第一球冠面40折射后沿第一入射角进入第二球冠面50,经第二球冠面50 折射后沿第二球冠面50的半径方向投射在承接面上，其中，第一入射角为光线与第二球冠 50的球屯、W及第二球冠面50的顶点连线之间夹角的一半。
[0039] 在一些实施方式中，还可W设置若干与第二球冠面50相切的承接面来承接鱼眼图 像的投影。例如，可W设置5个与第二球冠面50相切的承接面，承接面形成一敞口的长方体， 其中底面的承接面与投影面平行，且底面的边长为投影面上的鱼眼图像的边长的两倍，侧 面的不与中底面面相接的边的长度为底面边长的一半。
[0040] 为了便于表述，下面对第一球冠面40、第二球冠面50和投影面的一些参数进行定 义。本领域技术人员清楚，该定义仅仅是为了便于描述本发明实施例的精神和实质，并不构 成对本发明保护范围的限制。
[0041] 在图3示出的实施方式中，第二球冠面50的半径为R，第一球冠面40对应的球的半 径r为第一球冠面40的高h为第一球冠面40和第二球冠面50的顶点的距离H 化 O
[0042] 同样，为了便于描述和理解，如图3所示，W第二球冠面50的球屯、为原点0,第二球 冠面50的底面为XOy面，原点0到第二球冠面50的顶点的方向为Z轴的S维直角坐标系xOy。 此外，Wz轴与投影面交点为原点0'，平行与X轴的横轴U轴，平行于y轴的纵轴为V轴，形成直 角坐标系uO'v。
[0043] 基于图3示出的鱼眼校正系统中的第一球冠面40、第二球冠面50和投影面，可W对 鱼眼图像进行校正。
[0044] 参见图4,图4是本发明所述于二次折射投影模型的鱼眼图像校正方法一实施方式 的流程图。在图4示出的实施方式中，该基于二次折射投影模型的鱼眼图像校正方法包括步 骤S401-S404。
[0045] 在步骤S401中，鱼眼图像一坐标点的光线沿第一方向进入第一球冠面40,其中，第 一方向与第一球冠面40的顶点、第二球冠面50的顶点之间的连线平行。在本步骤中，结合图 3示出的校正系统，位于投影面上的鱼眼图像上的一坐标点Q发出的光线沿第一方向（即图3 示出的竖直向上的方向）进入第一球冠面40。
[0046] 在步骤S402中，光线在第一球冠面40折射后沿第一入射角a进入第二球冠面50。其 中，第一入射角a为光线与第二球冠面50的球屯、W及第二球冠面50的顶点连线之间夹角b的 一半，即：
[0047]
[004引光线经第二球冠面50折射后，沿第二球冠面50的半径方向投射在承接面上。
[0049] 在步骤S403中，根据发光点在承接面上的投影点的坐标计算发光点的坐标。
[0050] 为了便于理解，此处所述的"发光点"和"坐标点"均是指鱼眼图像中构成鱼眼图像 的坐标点。此外，设定P点在xOy坐标系中的坐标为P (X，y，Z)，Q点在uO' V坐标系中的坐标为Q (u，v)。根据步骤S401-S403描述的投影关系，可W得出：
[0化1] W及
[0化2]
[0053] 因此，可W根据发光点在承接面上的投影点P的坐标计算投影面上的发光点Q的坐 标。从上述实施方式中对鱼眼图像校正的过程可W看出，校正过程中仅使用四则运算和开 方运算，计算较为简单，便于用硬件实现，而且能实现较好的校正效果。
[0054] 上述描述了在承接面上的任一投影点P对应鱼眼图像中发光点Q的过程，因此，在 校正鱼眼图像的过程中，可W根据需要计算承接面上的其它投影点对应鱼眼图像中的坐标 点的坐标，从而可W得到相应的校正图像。例如，如果需要对鱼眼图像的整体进行校正，贝U 可W遍历坐标点对应的投影点的坐标，计算鱼眼图像的坐标点的坐标，根据鱼眼图像的坐 标获得鱼眼图像的校正图像。在一些实施方式中，对于彩色或者带有灰度的鱼眼图像而言， 还可W根据鱼眼图像的坐标点的像素值设置该坐标点对应的投影的像素值，运样，校正后 的鱼眼图像也具有与原始鱼眼图像相同的色彩或灰度。
[0055] 在一些实施方式中，可W设置多个与第二球冠面50相切的承接面来承接校正后的 鱼眼图像，采用不同的承接面来适应各种场合，并且将该承接面接受到的鱼眼图像显示在 显示屏31上。在一些实施方式中，承接面可W与第一球冠面40相切。一般地，承接面可W存 在一个或一个W上，例如可W采用五个矩形承接面，构成一个半立方体，其中中间的承接面 与投影面平行，且边长为投影面的鱼眼图像的边长的两倍，另外四个面的不与中间面相接 的边的长度为中间面边长的一半。如果采用了五个承接面，因此会有五个校正图像，分别对 应鱼眼图像的五个部分。各个承接面的空间坐标均有一个是定值，例如中间承接面的Z坐标 为R，左右两个承接面的X坐标分别为-R和R，前后两个承接面的y坐标分别为R和-R。
[0056] 参见图5,图5是本发明所述于二次折射投影模型的鱼眼图像校正装置一实施方式 的结构示意图。在图5示出的实施方式中，该鱼眼图像校正装置包括第一折射单元51、第二 折射单元52和计算单元54。
[0057] 第一折射单元51用于将鱼眼图像一坐标点的光线沿第一方向进入第一球冠面40。 其中，第一方向与第一球冠面40的顶点、第二球冠面50的顶点之间的连线平行。鱼眼图像设 于投影面上，投影面与第一球冠面40的底面平行并且经过第一球冠面40的球屯、。第二折射 单元52用于将光线在第一球冠面40折射后沿第一入射角进入第二球冠面50,经第二球冠面 50折射后沿第二球冠面50的半径方向投射在承接面上，其中，第一入射角为光线与第二球 冠面50的球屯、W及第二球冠面50的顶点连线之间夹角的一半。计算单元54用于根据发光点 在承接面上的投影点的坐标计算发光点的坐标。
[005引在一些实施方式中，鱼眼校正装置还可W包括遍历单元55和成像单元53。遍历单 元5 5用于遍历坐标点对应的投影点的坐标，计算鱼眼图像的坐标点的坐标。成像单元5 3用 于根据投影的坐标获得鱼眼图像的校正图像。
[0059] 该鱼眼校正装置的实施过程和相关技术细节与上述实施方式中设及的鱼眼校正 方法相同，此处不再进行寶述。
[0060] 上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施 方式，在本领域的普通技术人员所具备的知识范围内，还可W在不脱离本发明宗旨的前提 下作出各种变化。
【主权项】
1. 一种基于二次折射投影模型的鱼眼图像校正方法，其特征在于，包括如下步骤： 所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其中，所述第一方向与所 述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼图像设于投影面内，所 述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的球心； 所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面 折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与 所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半； 根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐标。2. 如权利要求1所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，还包 括： 遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标点的坐标； 根据所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。3. 如权利要求2所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，还包 括： 根据所述鱼眼图像的坐标点的像素值设置该坐标点对应的投影点的像素值。4. 如权利要求1所述的基于二次折射投影模型的鱼眼图像校正方法，其特征在于，所述 第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半 径为A/?,所述第一球冠面的高为所述第一球冠面的顶点到所述第二球冠面的 2 2 顶点之间的距离为 2 。5. -种基于二次折射投影模型的鱼眼图像校正系统，其特征在于，包括第一球冠面、与 所述第一球冠面共轴的第二球冠面和投影面， 其中，所述鱼眼图像设于所述投影面内，所述投影面与所述第一球冠面的底面平行并 且经过所述第一球冠面的球心； 光线沿第一方向在第一球冠面折射后，沿所述第一球冠面的半径方向出射，其中，所述 第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行； 光线在所述第一球冠面折射后沿第一入射角进入第二球冠面，经所述第二球冠面折射 后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一入射角为所述光线与所述 第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的一半。6. 如权利要求5所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于，所述 第一球冠面与所述第二球冠面共轴，并且所述第二球冠面的半径为R，所述第一球冠面的半 径为，所述第一球冠面的高为,所述第一球冠面的顶点到所述第二球冠面的 2 2 顶点之间的距离为2及-^/? 2 。7. 如权利要求5或6所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于， 还包括若干承接面，至少一所述承接面与所述第一球冠面相切。8. 如权利要求7所述的基于二次折射投影模型的鱼眼图像校正系统，其特征在于，包括 5个与所述第二球冠面相切的承接面，所述承接面形成一敞口的长方体，其中底面的承接面 与投影面平行，且底面的边长为所述投影面内的鱼眼图像的边长的两倍，侧面的不与中底 面面相接的边的长度为底面边长的一半。9. 一种基于二次折射投影模型的鱼眼图像校正装置，其特征在于，包括： 第一折射单元，用于将所述鱼眼图像一坐标点的光线沿第一方向进入第一球冠面，其 中，所述第一方向与所述第一球冠面的顶点、第二球冠面的顶点之间的连线平行，所述鱼眼 图像设于投影面内，所述投影面与所述第一球冠面的底面平行并且经过所述第一球冠面的 球心； 第二折射单元，用于将所述光线在所述第一球冠面折射后沿第一入射角进入第二球冠 面，经所述第二球冠面折射后沿所述第二球冠面的半径方向投射在承接面，其中，所述第一 入射角为所述光线与所述第二球冠面的球心以及所述第二球冠面的顶点连线之间夹角的 一半； 计算单元，用于根据所述发光点在所述承接面的投影点的坐标计算所述发光点的坐 标。10. 如权利要求9所述的基于二次折射投影模型的鱼眼图像校正装置，其特征在于，还 包括： 遍历单元，遍历所述发光点在所述承接面的投影点的坐标，计算所述鱼眼图像的坐标 点的坐标； 成像单元，用于所述鱼眼图像的坐标获得所述鱼眼图像的校正图像。
【文档编号】G06T3/00GK105956996SQ201610253499
【公开日】2016年9月21日
【申请日】2016年4月21日
【发明人】陈弟虎, 曹杨宇, 粟涛, 衣杨
【申请人】中山大学