鱼眼镜头图像畸变校正方法及装置与流程

文档序号:11865856阅读:来源:国知局

技术特征:

1.一种鱼眼镜头图像畸变校正方法,其特征在于,包括:

获取正交斜网格靶标图像;

根据所述正交斜网格靶标图像提取网格中心线;

根据所述网格中心线计算畸变中心;

基于直线斜率约束根据所述网格中心线和校正公式计算畸变系数k1至k6;

根据所述畸变中心和所述畸变系数使用校正公式对鱼眼镜头所拍摄图像进行校正;

其中,所述校正公式为:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>u</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>4</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>3</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>6</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>4</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>8</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>5</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>10</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>6</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>12</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>u</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>4</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>3</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>6</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>4</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>8</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>5</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>10</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>6</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>12</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msub> <mi>r</mi> <mi>d</mi> </msub> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>x</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>y</mi> <mi>d</mi> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>,</mo> </mrow>

所述校正公式中,xu=xu'-xc,yu=yu'-yc,xd=xd'-xc,yd=yd'-yc,(xu',yu')为校正后的像素点坐标,(xd',yd')为像素点坐标,(xc,yc)为畸变中心坐标。

2.根据权利要求1所述的鱼眼镜头图像畸变校正方法,其特征在于,所述根据所述正交斜网格靶标图像提取网格中心线,包括:

根据所述正交斜网格靶标图像中网格线边缘处的最大网格线宽度确定梯度检测算子;

使用所述梯度检测算子对所述正交网格靶标图像的网格线进行卷积计算,得到粗分割网格线;

去除所述粗分割网格线的伪边缘,得到细分割网格线;

连接所述细分割网格线边缘处断裂的网格线,完成网格线分割;

对完成分割的网格线进行细化,得到网格中心线。

3.根据权利要求1鱼眼镜头图像畸变校正方法,其特征在于,所述根据所述网格中心线计算畸变中心,包括:

将网格中心线节点的坐标Xdi,以及网格中心线节点对应的世界坐标Xwi,依次代入线性超定方程(Xdi)TF(Xwi)=0中,求解得到最小二乘解F;

提取F的左极点,以所述左极点为畸变中心;

其中,i为所选取的网格中心线节点的序号,i=1、2……n,n为选取的网格中心线节点的个数。

4.根据权利要求1所述鱼眼镜头图像畸变校正方法,其特征在于,所述根据所述网格中心线计算畸变系数k1至k6中,在每条网格中心线上每隔100个像素取一个求值点(xd(i,j),yd(i,j)),并令:

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>16</mn> <mo>+</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>4</mn> <mo>/</mo> <mn>16</mn> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>6</mn> <mo>/</mo> <mn>16</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>16</mn> <mo>+</mo> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>4</mn> <mo>/</mo> <mn>16</mn> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>6</mn> <mo>/</mo> <mn>16</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中(xd(i,j),yd(i,j))为所选取的求值点的坐标,具体为第i条网格中心线上第j个求值点的坐标。

5.根据权利要求1至4任一项所述的鱼眼镜头图像畸变校正方法,其特征在于,还包括评价校正精度,所述评价校正精度,包括:

计算精度评价指标其中,r(i,j)为校正后的像素点坐标,r(i,j)'为理想的像素点坐标,(i,j)表示第i行第j列,N为选取的用于评价的点的个数;

判断σ是否大于或等于预设的阈值;

若σ大于或等于预设的阈值,则校正合格,否则,校正不合格。

6.一种鱼眼镜头图像畸变校正装置,其特征在于,包括:

靶标图像获取单元,用于获取正交斜网格靶标图像;

网格中心线提取单元,用于根据所述正交斜网格靶标图像提取网格中心线;

畸变中心计算单元,用于根据所述网格中心线计算畸变中心;

畸变系数计算单元,用于基于直线斜率约束根据所述网格中心线和校正公式计算畸变系数k1至k6;

校正单元,用于根据所述畸变中心和所述畸变系数使用校正公式对鱼眼镜头所拍摄图像进行校正;

其中,所述校正公式为:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>u</mi> </msub> <mo>=</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>4</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>3</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>6</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>4</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>8</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>5</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>10</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>6</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>12</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>u</mi> </msub> <mo>=</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <msub> <mi>k</mi> <mn>1</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>2</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>4</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>3</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>6</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>4</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>8</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>5</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>10</mn> </msubsup> <mo>+</mo> <msub> <mi>k</mi> <mn>6</mn> </msub> <msubsup> <mi>r</mi> <mi>d</mi> <mn>12</mn> </msubsup> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <msub> <mi>r</mi> <mi>d</mi> </msub> <mo>=</mo> <msqrt> <mrow> <msubsup> <mi>x</mi> <mi>d</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>y</mi> <mi>d</mi> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>,</mo> </mrow>

所述校正公式中,xu=xu'-xc,yu=yu'-yc,xd=xd'-xc,yd=yd'-yc,(xu',yu')为校正后的像素点坐标,(xd',yd')为像素点坐标,(xc,yc)为畸变中心坐标。

7.根据权利要求6所述的鱼眼镜头图像畸变校正装置,其特征在于,所述网格中心线提取单元,包括:

梯度检测算子确定模块,用于根据所述正交斜网格靶标图像中网格线边缘处的最大网格线宽度确定梯度检测算子;

粗分割模块,用于使用所述梯度检测算子对所述正交网格靶标图像的网格线进行卷积计算,得到粗分割网格线;

细分割模块,用于去除所述粗分割网格线的伪边缘,得到细分割网格线;

断裂连接模块,用于连接所述细分割网格线边缘处断裂的网格线,完成网格线分割;

细化模块,用于对完成分割的网格线进行细化,得到网格中心线。

8.根据权利要求6鱼眼镜头图像畸变校正装置,其特征在于,所述畸变中心计算单元,包括:

F求解模块,用于将网格中心线节点的坐标Xdi,以及网格中心线节点对应的世界坐标Xwi,依次代入线性超定方程(Xdi)TF(Xwi)=0中,求解得到最小二乘解F;

极点提取模块,用于提取F的左极点,以所述左极点为畸变中心;

其中,i为所选取的网格中心线节点的序号,i=1、2……n,n为选取的网格中心线节点的个数。

9.根据权利要求6所述鱼眼镜头图像畸变校正装置,其特征在于,所述畸变系数计算单元在根据所述网格中心线计算畸变系数k1至k6中,在每条网格中心线上每隔100个像素取一个求值点(xd(i,j),yd(i,j)),并令:

<mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>16</mn> <mo>+</mo> <mrow> <mo>(</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>4</mn> <mo>/</mo> <mn>16</mn> <mo>+</mo> <msub> <mi>x</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>6</mn> <mo>/</mo> <mn>16</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>2</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>/</mo> <mn>16</mn> <mo>+</mo> <mrow> <mo>(</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>-</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>+</mo> <mn>1</mn> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>4</mn> <mo>/</mo> <mn>16</mn> <mo>+</mo> <msub> <mi>y</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>i</mi> <mo>,</mo> <mi>j</mi> <mo>)</mo> </mrow> <mo>&times;</mo> <mn>6</mn> <mo>/</mo> <mn>16</mn> </mrow> </mtd> </mtr> </mtable> </mfenced>

其中(xd(i,j),yd(i,j))为所选取的求值点的坐标,具体为第i条网格中心线上第j个求值点的坐标。

10.根据权利要求6至9任一项所述的鱼眼镜头图像畸变校正装置,其特征在于,还包括评价单元,所述评价单元用于评价校正精度,所述评价单元,包括:

评价指标计算模块,用于计算精度评价指标其中,r(i,j)为校正后的像素点坐标,r(i,j)'为理想的像素点坐标,(i,j)表示第i行第j列,N为选取的用于评价的点的个数;

判断模块,用于判断σ是否大于或等于预设的阈值;

执行模块,用于若σ大于或等于预设的阈值,则校正合格,否则,校正不合格。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1