基于球面镜头图像采集方法、系统、装置及可读存储介质与流程

文档序号:15560711发布日期:2018-09-29 02:10阅读:149来源:国知局

本发明涉及图像采集领域,特别涉及一种基于球面镜头图像采集方法、系统、装置及计算机可读存储介质。



背景技术:

随着科技的发展,各式各类的摄像头应运而生,为满足大范围拍摄的需求,球面摄像头与广角摄像头成为了人们的选择。

现有技术中,当探测器使用单个球面摄像头时,由于球面摄像头在采集图像信息的过程中会因镜头或玻璃外罩等因素,导致拍摄出来的图像产生畸变,降低了图像的准确性,不便于识别。

因此,需要研发一种能够弥补球面摄像头或广角摄像头拍摄出的图像产生的畸变的方法。



技术实现要素:

有鉴于此,本发明的目的在于提供一种基于球面镜头图像采集方法、系统、装置及计算机可读存储介质,以对畸变图像进行主动补偿,弥补畸变产生的误差。其具体方案如下:

一种基于球面镜头图像采集方法,包括:

获取特征数据平面图,利用图像转换矩阵,将所述特征数据平面图转换为数据平面图;

其中,所述图像转换矩阵的生成过程包括:

获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用所述目标数据平面坐标,计算出相应的光轴空间距离,利用旋转矩阵、平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,求解出所述图像转换矩阵。

可选的,所述利用图像转换矩阵,将所述特征数据平面图转换为数据平面图的过程,包括:

将所述特征数据平面图的特征数据平面坐标代入所述图像转换矩阵,生成所述数据平面图的数据平面坐标,得到所述数据平面图;

其中,所述图像转换矩阵为:xn"=anxn';

式中,xn"表示所述特征数据平面图中数据平面坐标,an表示所述图像转换矩阵中与数据平面坐标对应的图像转换参数,xn'表示所述数据平面图中数据平面坐标。

可选的,所述利用旋转矩阵、平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,求解出所述图像转换矩阵的过程,包括:

利用所述旋转矩阵、所述平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,代入图像转换公式,对所述图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵;

利用所述显性特征参数矩阵和所述坐标参数矩阵,计算出显性特征参数;

利用所述显性特征参数、所述目标实际位置坐标、所述目标实际位置坐标和所述目标数据平面坐标,计算出所述图像转换矩阵;其中,

所述图像转换公式为:

所述显性特征参数矩阵为:f=[t11t12t21t22r1r2]t

所述坐标参数矩阵为:

式中,λn表示深度因子,sn表示所述目标实际位置坐标与所述目标数据平面坐标之间的向量,f(ρn)表示匹配误差函数,sn表示所述目标实际位置坐标投影到所述特征数据平面坐标的投影系数矩阵,xn表示所述目标实际位置坐标,rn表示平移矩阵,f表示所述显性特征参数矩阵,g表示所述坐标参数矩阵,xn'和yn'表示所述目标数据平面坐标,xn和yn表示所述目标实际位置坐标,[t1n,t2n,t3n]表示旋转矩阵。

可选的,所述对所述图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵的过程,包括:

对所述图像转换公式进行等式变换,在所述图像转换公式两边乘以sn,消除所述深度因子,得到图像转换变换公式,将所述图像转换变换公式展开,得到第一方程、第二方程和第三方程,对所述第一方程、所述第二方程和所述第三方程进行整合,得到所述显性特征参数矩阵和所述坐标参数矩阵;其中,

所述图像转换变换公式为:

所述第一方程为:xn'·(t31xn+t32yn+r3)-f(ρn)(t21xn+t22yn+r2)=0;

所述第二方程为:f(ρn)·(t11xn+t12yn+r1)-yn'(t31xn+t32yn+r3)=0;

所述第三方程为:xn'·(t21xn+t22yn+r2)-yn'(t11xn+t12yn+r1)=0。

可选的,所述利用所述显性特征参数、所述目标实际位置坐标、所述目标实际位置坐标和所述目标数据平面坐标,计算出所述图像转换矩阵的过程,包括:

利用所述第一方程和第二方程,得到第一矩阵、第二矩阵、第三矩阵和第四矩阵;

利用所述第一矩阵、所述第二矩阵、所述第三矩阵和所述第四矩阵,生成图像转换参数计算矩阵,利用最小二乘方计算所述图像转换参数计算矩阵,计算出所述图像转换矩阵;其中,

所述第一矩阵为:

所述第二矩阵为:

所述第三矩阵为:

所述第四矩阵为:

所述图像转换参数计算矩阵为:

本发明还公开了一种基于球面镜头图像采集系统,包括:

图像转换模块,用于获取特征数据平面图,利用图像转换矩阵,将所述特征数据平面图转换为数据平面图;

其中,所述转换模块包括:

光轴计算单元,用于获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用所述目标数据平面坐标,计算出相应的光轴空间距离;

矩阵计算单元,用于利用旋转矩阵、平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,求解出所述图像转换矩阵。

可选的,所述图像转换模块,具体用于将所述特征数据平面图的特征数据平面坐标代入所述图像转换矩阵,生成所述数据平面图的数据平面坐标,得到所述数据平面图;

其中,所述图像转换矩阵为:xn"=anxn';

式中,xn"表示所述特征数据平面图中数据平面坐标,an表示所述图像转换矩阵中与数据平面坐标对应的图像转换参数,xn'表示所述数据平面图中数据平面坐标。

可选的,所述矩阵计算单元,包括:

参数矩阵生成子单元,用于利用所述旋转矩阵、所述平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,代入图像转换公式,对所述图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵;

特征参数计算子单元,用于利用所述显性特征参数矩阵和所述坐标参数矩阵,计算出显性特征参数;

矩阵计算子单元,用于利用所述显性特征参数、所述目标实际位置坐标、所述目标实际位置坐标和所述目标数据平面坐标,计算出所述图像转换矩阵;其中,

所述图像转换公式为:

所述显性特征参数矩阵为:f=[t11t12t21t22r1r2]t

所述坐标参数矩阵为:

式中,λn表示深度因子,sn表示所述目标实际位置坐标与所述目标数据平面坐标之间的向量,f(ρn)表示匹配误差函数,sn表示所述目标实际位置坐标投影到所述特征数据平面坐标的投影系数矩阵,xn表示所述目标实际位置坐标,rn表示平移矩阵,f表示所述显性特征参数矩阵,g表示所述坐标参数矩阵,xn'和yn'表示所述目标数据平面坐标,xn和yn表示所述目标实际位置坐标,[t1n,t2n,t3n]表示旋转矩阵。

本发明还公开了一种基于球面镜头图像采集装置,包括:

存储器,用于存储指令;其中,所述指令包括获取特征数据平面图,利用图像转换矩阵,将所述特征数据平面图转换为数据平面图;其中,所述图像转换矩阵的生成过程包括:获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用所述目标数据平面坐标,计算出相应的光轴空间距离,利用旋转矩阵、平移矩阵、所述目标实际位置坐标、所述目标数据平面坐标、所述目标特征数据平面坐标和所述光轴空间距离,求解出所述图像转换矩阵;

处理器,用于执行所述存储器中的指令。

本发明还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有基于球面镜头图像采集程序,所述基于球面镜头图像采集程序被处理器执行时实现如前述基于球面镜头图像采集方法的步骤。

本发明中,基于球面镜头图像采集方法,包括:获取特征数据平面图,利用图像转换矩阵,将特征数据平面图转换为数据平面图;其中,图像转换矩阵的生成过程包括:获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用目标数据平面坐标,计算出相应的光轴空间距离,利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,求解出图像转换矩阵。本发明采集到产生畸变的特征数据平面图后,利用预先通过目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标计算出的图像转换矩阵,通过像素的转换,将特征数据平面图转换为无畸变数据平面图,保留了图像中物体的原貌,对特征数据平面图进行主动补偿,弥补畸变产生的误差。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本发明实施例公开的一种基于球面镜头图像采集方法流程示意图;

图2为本发明实施例公开的一种特征数据平面图示意图;

图3为本发明实施例公开的一种数据平面图示意图;

图4为本发明实施例公开的一种基于球面镜头图像采集系统结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例公开了一种基于球面镜头图像采集方法,参见图1所示,该方法包括:

s11:获取特征数据平面图,利用图像转换矩阵,将特征数据平面图转换为数据平面图;

其中,图像转换矩阵的生成过程包括:

获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用目标数据平面坐标,计算出相应的光轴空间距离,利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,求解出图像转换矩阵。

需要说明的是,球面摄像头或广角摄像头直接采集到的图像相较于普通摄像头采集到的图像具有畸变,图像会有拉伸或变形,本发明实施例中特征数据平面图为球面摄像头或广角摄像头直接采集到的存在拉伸或变形图像,数据平面图为普通摄像头采集到的无畸变图像。

具体的,球面摄像头获取参数板的特征数据平面图后,利用预先计算出的图像转换矩阵对特征数据平面图的每个特征数据平面坐标进行转换,生成数据平面图。

可以理解的是,目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标相互对应,目标实际位置坐标为参考板上目标点在参考板上的坐标,目标数据平面坐标为在普通摄像头采集参考板的数据平面图上的坐标,目标特征数据平面坐标为在球面摄像头采集参考版的特征数据平面图上的坐标,且参考板上任一点均可作为目标点。

具体的,图像转换矩阵为预先对球面摄像头进行测试生成的,可以通过预先设置参考板,使球面摄像头采集参考版的目标特征数据平面坐标,参考板的目标实际位置坐标可以通过预先测量获得,目标数据平面坐标可以通过采用普通摄像头采集参考板的图像得到目标数据平面坐标;通过预先获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用目标数据平面坐标,依据勾股定理计算出目标数据平面坐标到光轴空间距离,ρn'表示光轴空间距离,xn'和yn'分别表示目标数据平面坐标的横坐标和纵坐标,再利用预先建立的旋转矩阵和平移矩阵、已知的述目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,求解出图像转换矩阵。

可见,本发明实施例中采集到产生畸变的特征数据平面图后,利用预先通过目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标计算出的图像转换矩阵,通过像素的转换,将特征数据平面图转换为无畸变数据平面图,保留了图像中物体的原貌,对特征数据平面图进行主动补偿,弥补畸变产生的误差。

本发明实施例中,上述利用图像转换矩阵,将特征数据平面图转换为数据平面图的过程,具体为将特征数据平面图的特征数据平面坐标代入图像转换矩阵,生成数据平面图的数据平面坐标,得到数据平面图;

其中,图像转换矩阵为:xn"=anxn';

式中,xn"表示特征数据平面图中数据平面坐标,an表示图像转换矩阵中与数据平面坐标对应的图像转换参数,xn'表示数据平面图中数据平面坐标。

具体的,利用图像转换矩阵中与特征数据平面图中每个数据平面坐标对应的图像转换参数,将特征数据平面图中每个数据平面坐标转换为相应的数据平面图中的数据平面坐标,从而生成与特征数据平面图对应的数据平面图,完成图像的转换。

进一步的,上述图像转换矩阵的生成过程可以具体包括s21至s25;其中,

s21:利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,代入图像转换公式,对图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵。

具体的,利用计算出的光轴空间距离,可以生成匹配误差函数f(ρn),其中,旋转矩阵表达式为u=[t1n,t2n,t3n],平移矩阵表达式为rn;将旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和匹配误差函数代入图像转换模型,得到图像转换公式;其中,

匹配误差函数为:f(ρ')=a0+a1ρ'+a2ρ'2+…+anρ'n

图像转换模型为:λ·s=λ·h(x')=λ·h(ax")=sx,λ>0;

图像转换公式为:

式中,λn表示深度因子,sn表示目标实际位置坐标与目标数据平面坐标之间的向量,f(ρn)表示匹配误差函数,sn表示目标实际位置坐标投影到特征数据平面坐标的投影系数矩阵,xn表示目标实际位置坐标,rn表示平移矩阵,xn'和yn'表示目标数据平面坐标,xn和yn表示目标实际位置坐标,[t1n,t2n,t3n]表示旋转矩阵,h表示目标实际位置坐标到目标数据平面坐标的投影函数。

其中,对图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵的过程包括:对图像转换公式进行等式变换,在图像转换公式两边乘以sn,消除深度因子,得到图像转换变换公式,将图像转换变换公式展开,得到第一方程、第二方程和第三方程,对第一方程、第二方程和第三方程进行整合,得到显性特征参数矩阵和坐标参数矩阵;其中,

图像转换公式进行等式变换过程为:

图像转换变换公式为:

第一方程为:xn'·(t31xn+t32yn+r3)-f(ρn)(t21xn+t22yn+r2)=0;

第二方程为:f(ρn)·(t11xn+t12yn+r1)-yn'(t31xn+t32yn+r3)=0;

第三方程为:xn'·(t21xn+t22yn+r2)-yn'(t11xn+t12yn+r1)=0;

显性特征参数矩阵为:f=[t11t12t21t22r1r2]t

坐标参数矩阵为:

式中,f表示显性特征参数矩阵,g表示坐标参数矩阵。

进一步的,根据第一方程、第二方程和第三方程可知目标数据平面坐标和目标实际位置坐标已知,未知参数t1n,t1n,t2n,t2n,r1,r2为唯一的显性特征参数,整合未知参数成一个向量,结合n个目标点,得到显性特征参数矩阵和坐标参数矩阵。

s22:利用显性特征参数矩阵和坐标参数矩阵,计算出显性特征参数。

具体的,系统针对图像转换模型中的投影函数h的线性估计进行最小二乘方方法求解,并使各个特征数据点经过系统初步信号处理后产生的旋转、偏移等不良影响最小,即||f·g||2最小;同时使信号处理后使信号的能量不发生改变,即满足||f||2=1,为使显性特征参数矩阵和坐标参数矩阵满足上述条件,利用目标数据平面坐标和目标实际位置坐标,代入显性特征参数矩阵和坐标参数矩阵,从而计算出显性特征参数矩阵中的显性特征参数。

s23:利用显性特征参数、目标实际位置坐标、目标实际位置坐标和目标数据平面坐标,计算出图像转换矩阵。

具体的,利用第一方程和第二方程,将第一方程和第二方程中的坐标参数,变换为第一矩阵、第二矩阵、第三矩阵和第四矩阵;利用第一矩阵、第二矩阵、第三矩阵和第四矩阵,生成图像转换参数计算矩阵,利用最小二乘方计算图像转换参数计算矩阵,计算出图像转换矩阵;其中,

第一矩阵为:

第二矩阵为:

第三矩阵为:

第四矩阵为:

图像转换参数计算矩阵为:

相应的,本发明实施例还公开了一种基于球面镜头图像采集系统,参见图4所示,该系统包括:

图像转换模块11,用于获取特征数据平面图,利用图像转换矩阵,将特征数据平面图转换为数据平面图;

其中,图像转换模块包括:

光轴计算单元,用于获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用目标数据平面坐标,计算出相应的光轴空间距离;

矩阵计算单元,用于利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,求解出图像转换矩阵。

可见,本发明实施例中采集到产生畸变的特征数据平面图后,利用预先通过目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标计算出的图像转换矩阵,通过像素的转换,将特征数据平面图转换为无畸变数据平面图,保留了图像中物体的原貌,对特征数据平面图进行主动补偿,弥补畸变产生的误差。

本发明实施例中,上述图像转换模块11,具体用于将特征数据平面图的特征数据平面坐标代入图像转换矩阵,生成数据平面图的数据平面坐标,得到数据平面图;

其中,图像转换矩阵为:xn"=anxn';

式中,xn"表示特征数据平面图中数据平面坐标,an表示图像转换矩阵中与数据平面坐标对应的图像转换参数,xn'表示数据平面图中数据平面坐标。

上述矩阵计算单元,可以包括参数矩阵生成子单元、特征参数计算子单元和矩阵计算子单元;其中,

参数矩阵生成子单元,用于利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,代入图像转换公式,对图像转换公式进行变换,得到显性特征参数矩阵和坐标参数矩阵;

特征参数计算子单元,用于利用显性特征参数矩阵和坐标参数矩阵,计算出显性特征参数;

矩阵计算子单元,用于利用显性特征参数、目标实际位置坐标、目标实际位置坐标和目标数据平面坐标,计算出图像转换矩阵;其中,

图像转换公式为:

显性特征参数矩阵为:f=[t11t12t21t22r1r2]t

坐标参数矩阵为:

式中,λn表示深度因子,sn表示目标实际位置坐标与目标数据平面坐标之间的向量,f(ρn)表示匹配误差函数,sn表示目标实际位置坐标投影到特征数据平面坐标的投影系数矩阵,xn表示目标实际位置坐标,rn表示平移矩阵,f表示显性特征参数矩阵,g表示坐标参数矩阵,xn'和yn'表示目标数据平面坐标,xn和yn表示目标实际位置坐标,[t1n,t2n,t3n]表示旋转矩阵。

上述参数矩阵生成子单元,包括变换单元和整合单元;其中,

变换单元,用于对图像转换公式进行等式变换,在图像转换公式两边乘以sn,消除深度因子,得到图像转换变换公式,将图像转换变换公式展开,得到第一方程、第二方程和第三方程;

整合单元,用于对第一方程、第二方程和第三方程进行整合,得到显性特征参数矩阵和坐标参数矩阵;其中,

图像转换变换公式为:

第一方程为:xn'·(t31xn+t32yn+r3)-f(ρn)(t21xn+t22yn+r2)=0;

第二方程为:f(ρn)·(t11xn+t12yn+r1)-yn'(t31xn+t32yn+r3)=0;

第三方程为:xn'·(t21xn+t22yn+r2)-yn'(t11xn+t12yn+r1)=0。

上述矩阵计算子单元,包括矩阵变换单元、:

矩阵变换单元,用于利用第一方程和第二方程,得到第一矩阵、第二矩阵、第三矩阵和第四矩阵;

矩阵计算单元,用于利用第一矩阵、第二矩阵、第三矩阵和第四矩阵,生成图像转换参数计算矩阵,利用最小二乘方计算图像转换参数计算矩阵,计算出图像转换矩阵;其中,

第一矩阵为:

第二矩阵为:

第三矩阵为:

第四矩阵为:

图像转换参数计算矩阵为:

本发明实施例还公开了一种基于球面镜头图像采集装置,该装置包括:

存储器,用于存储指令;其中,指令包括获取特征数据平面图,利用图像转换矩阵,将特征数据平面图转换为数据平面图;其中,图像转换矩阵的生成过程包括:获取目标实际位置坐标、目标数据平面坐标和目标特征数据平面坐标,利用目标数据平面坐标,计算出相应的光轴空间距离,利用旋转矩阵、平移矩阵、目标实际位置坐标、目标数据平面坐标、目标特征数据平面坐标和光轴空间距离,求解出图像转换矩阵;

处理器,用于执行存储器中的指令。

关于本发明实施例中存储器中存储的存储指令具体内容,可以参考前述实施例中记载的相应内容,在此不再赘述。

本发明实施例还公开了一种计算机可读存储介质,计算机可读存储介质上存储有基于球面镜头图像采集程序,基于球面镜头图像采集程序被处理器执行时实现如前述基于球面镜头图像采集方法的步骤。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

以上对本发明所提供的一种基于球面镜头图像采集方法、系统、装置及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1