一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统与流程

本发明涉及图像畸变矫正技术。

背景技术：

鱼眼镜头具有视场角广的优点，特别适合于大场景视频监控应用，近年来在视频监控领域的应用日渐广泛。但是鱼眼镜头拍摄的图像带有大量的桶形径向畸变和射影畸变，使得原来的直线变得弯曲，原本平行的直线不再平行，给后期的图像分析带来很多不便。现有的图像处理技术可以分步完成以上两种畸变的矫正，但是由于运算量较大，无法实现图像的实时转换。

技术实现要素：

本发明针对以上问题，本发明给出一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统，在模拟信号到数字信号转变的同时进行了图像的畸变校正，并可以同时输出数字模拟信号，比传统方法实时性好。

需要保护的技术方案：

本发明方法技术方案概括为：控制模拟信号的采样频率，采用非均匀采样，并利用现有的图像矫正方法将鱼眼图像经过两次畸变矫正后得到了符合欧式度量关系的图像，同时从中获得从原始图像到目标图像的坐标对应关系，通过建立起坐标对应关系的表格来实现从鱼眼图像到目标图像的快速转换。为了减少数据的存储空间，创设性提出了三维表格，并且采用记录坐标增量的方式，实现了对应关系的存储。

所述三维表格，表格大小与原图像的像素个数相同。包括第一维表格、第二维表格、第三维表格，所述第一维表格用来存储原图像中每个像素点对应到目标图像中像素点的个数，所述第二维(dx)和第三维(dy)表格用来存储像素点之间的坐标对应关系。在实际采样的过程中，对于原图像中的每个像素点首先查找其在目标图像中的个数，按照这个个数再读取相应的坐标对应关系，从而实现从鱼眼图像到目标图像的直接转换。

所述非均匀采样，通过采样时间计算出像素点的坐标值，只对特定坐标值的像素点进行采样，从而直接得到矫正的图片。具体为：模拟信号每行数据用行同步标识，通过对行同步脉冲的计数可以得到每行像素点在整个图片中的纵坐标。每个像素点的采样时间是一样的，因此通过计算像素点在其所在行的采样时刻便可以得到每个像素点的横坐标，最终得到了每个像素点的坐标值。在每个像素点的坐标值确定之后，通过查询离线表格可以得到其在目标图像中的个数以及坐标增量，由此决定了是否对其采样，以及采样之后的数量及位置，从而便实现了从模拟图像直接转换为目标图像。

基于以上方法技术方案，本发明还需要保护用于镜头畸变和摄影畸变矫正的实时采样系统，表征为：该系统结构包括开关、参数读取模块、采样控制模块、参数表、信号采样模块、视频存储区、输出控制模块、数据缓冲区，它们的逻辑关系为:该系统接受外部开关的设定，可以将该系统设置为均匀采样或非均匀采样两种模式；系统根据模式的选择，参数读取模块读取非均匀采样表或产生均匀采样参数表；采样控制模块根据参数表，发给信号采样模块指令，把采样的数据根据行列控制存放到视频存储区的正确位置；数据缓冲区保存采样后的数据；当数据可以输出时有输出控制模块读取缓冲区数据并输出；输出控制模块可以将采集到的数据同时以模拟形式和数字形式输出。

本发明在模拟信号到数字信号转变的同时进行了图像的畸变校正，并可以同时输出数字模拟信号，比传统方法实时性好，并节约资源。

附图说明

图1鱼眼镜头成像原理

图2射影畸变

图3三维表格

图4复合视频信号示意图

图5均匀采样示意图

图6鱼眼镜头均匀采样的图像

图7非均匀采样示意图

图8畸变矫正后的图像

图9系统结构框图

图10本发明畸变和摄影畸变矫正的图像处理方法流程。

具体实施方式

以下结合附图对本发明技术方案做详细介绍。

本领域公知，鱼眼镜头是人们模仿鱼眼工作原理而设计的镜头。其特点是视场角广，可以达到180°范围，但所获得的图像具有严重的径向桶形畸变。这种畸变是由于鱼眼镜头的像平面从平面变成了曲面，距离像平面中心的距离发生了不同程度的变换，使得原本的直线变得弯曲，给后期的图像处理和模式识别带来了很多不便。图1鱼眼镜头成像原理。

根据小孔成像原理，普通光学镜头远距成像像高公式为：

y0＝ftanω(1.1)

鱼眼镜头与普通相机不同之处在于鱼眼镜头的像平面是曲面，其像高公式为：

y'0＝fω(1.2)

由公式(1.1)和公式(1.2)可得从鱼眼图像矫正到正常图像的公式为：

y0＝ftan(y0′/f)(1.3)

利用公式(1.3)便可以矫正鱼眼镜头图像中的桶形径向畸变，并从中得到每个像素点间的坐标对应关系。

2、由于相机的像平面与被拍摄平面很可能不平行，将引起拍摄图像的投影畸变，这与相机本身没有任何关系，而与摄像机的安装高度和倾角有关。射影畸变校正就是恢复图像上的度量特性，比如：平行关系，大小关系等。以图2情景为例说明一维成像过程中畸变的原因。图中像平面和被拍摄平面之间的夹角w≠0，设a、b、c三点之间距离相等，而其像a、b、c之间的像素距离并不相等。现有的图像采集卡或者数字摄像机都是以相同的频率(均匀采样)对模拟信号进行采样或者均匀读取ccd、cmos的信号，使得得到的数字图像保持了这种畸变。

根据小孔成像原理，设有空间任意点[xmymzm]^t，其对应像点的坐标为[xuyv1]^t则有如下关系式：

其中k为摄像机的内参数矩阵；t为摄像机的外参数矩阵；s为比例因子，与摄像机的安装高度和倾角有关。

设z轴垂直于被拍摄平面。即在该平面上z＝0，则该平面内任意一点坐标为[xmym0]^t。令t＝[r1,r2,r3,t]，重新整理式(2.1)，可得:

记m＝[xmym1]^t，h＝k·[r1,r2,t]，则有因为单应矩阵h满秩，因此也有：

也就是说已知被拍摄平面上的任一点m，其像点之间在相差比例因子s的情况下由单应矩阵h唯一确定。同样道理，如果已知像点则其代表拍摄平面的点m，也由s和h唯一决定。单应矩阵h，在已知4个不共线的对应点后可以得到。因此图像平面和被拍摄平面之间存在一种线性变换，可以用具有八个自由度的3×3的矩阵表示，称作单应矩阵h。

当摄像机固定好后，单应矩阵h唯一确定。为了补偿透视畸变，通常先离线计算单应矩阵h，然后通过公式(2.3)实时计算每个点对应的无畸变坐标，并把当前位置的像素值写到无畸变坐标的像素即可。

3、由于原图像到矫正图像会发生一部分的信息丢失和失真，因此原图像的像素点与矫正图像的像素点并不是一一对应的关系，所以不能建立一个简单的表格来存储坐标变换。为了满足实时采样的要求，本发明提出了创新的三维表格，表格大小与原图像的像素个数相同。第一维表格用来存储原图像中每个像素点对应到目标图像中像素点的个数，第二维(dx)和第三维(dy)表格用来存储像素点之间的坐标对应关系。在实际采样的过程中，对于原图像中的每个像素点首先查找其在目标图像中的个数，按照这个个数再读取相应的坐标对应关系，从而实现从鱼眼图像到目标图像的直接转换。如图3所示。

一、非均匀采样的构思

1.1均匀采样

无论是复合视频信号还是分量信号，图像上每行的有效数据信号总可以分离出来。图像采集卡的目的就是把每行的模拟图像信号转变成数字信号，最终形成数字图像。图4为复合视频信号示意图，模拟信号中的场图像之间用场同步标识，每行数据用行同步标识，其中“图像信号”为某行的有效数据信号。

常规图像采集设备在每行的有效数据周期内，以相同的频率即等间隔对模拟信号进行采样,图5显示了均匀采样的过程。

图6显示了鱼眼镜头通过普通采集卡进行均匀采样后得到的图像，从图像中可以看出，由于桶形径向畸变使得原本的直线变得弯曲，由于射影畸变使得原本平行的棋盘格不再平行。

1.2非均匀采样(本发明创新点之一)

通常现有的图像采集卡或者数字摄像机都是以相同的频率(均匀采样)对模拟信号进行采样或者均匀读取ccd、cmos的电信号。本发明的特点是通过采样时间计算出像素点的坐标值，只对特定坐标值的像素点进行采样，从而直接得到矫正的图片，图7显示了非均匀采样的过程。

模拟信号每行数据用行同步标识，通过对行同步脉冲的计数可以得到每行像素点在整个图片中的纵坐标。每个像素点的采样时间是一样的，因此通过计算像素点在其所在行的采样时刻便可以得到每个像素点的横坐标，最终得到了每个像素点的坐标值。

在每个像素点的坐标值确定之后，通过查询离线表格可以得到其在目标图像中的个数以及坐标增量，由此决定了是否对其采样，以及采样之后的数量及位置，从而便实现了从模拟图像直接转换为目标图像。图8即是通过本发明方法畸变校正后的结果，其中图像中的线条都已符合欧式度量关系，并且图像中的物体相对大小已经与实际相符。本发明通过控制模拟信号的采样频率，实现畸变矫正。本发明方法在模拟信号到数字信号转变的同时进行了图像的畸变校正，并可以同时输出数字模拟信号，比传统方法实时性好，并节约资源。

二、系统结构

基于上述方法方案，本发明还提出的系统结构如图9所示。

该系统结构包括开关、参数读取模块、采样控制模块、参数表、信号采样模块、视频存储区、输出控制模块、数据缓冲区，它们的逻辑关系为:

该系统接受外部开关的设定，可以将该系统设置为均匀采样或非均匀采样两种模式；

系统根据模式的选择，参数读取模块读取非均匀采样表或产生均匀采样参数表；

采样控制模块根据参数表，发给信号采样模块指令，把采样的数据根据行列控制存放到视频存储区的正确位置；

数据缓冲区保存采样后的数据；

当数据可以输出时有输出控制模块读取缓冲区数据并输出；输出控制模块可以将采集到的数据同时以模拟形式和数字形式输出。