一种图像处理方法、装置及摄像设备与流程

文档序号:15523797发布日期:2018-09-25 20:15阅读:208来源:国知局

本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、装置及摄像设备。



背景技术:

随着广角镜头越来越广泛地使用,尤其在航拍设备上的推广,广角镜头所带来的镜头畸变(camera distortion)也越来越引起人们的关注。如果不进行校正,则图像和视频中会有严重的桶形畸变,如在拍摄球场时,球场上的喷涂的直线都被扭曲成了曲线。因此必须对镜头进行标定,得到其畸变系数,再对拍摄的图像和视频进行校正。

镜头畸变一般包括径向畸变和切向畸变。对广角镜头,4阶多项式的径向畸变模型已经被证明是足够的。其畸变方程为:

xd=xu(1+k1r2+k2r4), (1);

yd=yu(1+k1r2+k2r4). (2);

其中(xu,yu)为未畸变的坐标,(xd,yd)为畸变后的坐标,(cx,cy)为畸变中心,标定的目的就是要确实畸变系数k=(k1,k2)及畸变中心c=(cx,cy)。

通常畸变中心(cx,cy)都很接近图像的中心点,这里w,h分别为图像的宽、高。可以把图像的中心点作为畸变中心的初始值,再进行很少的几次迭代优化就可以得到畸变中心的最优解。比较困难的是计算得到畸变系数。

较常用的畸变系数的标定方案是对每一个镜头单独进行标定板标定,即对着标定板拍摄一系列图片或者视频,再根据几何约束计算内参和畸变系数。得出畸变系数后,再对所拍摄的视频和图像进行校正。标定板标定的优点是精确,但缺点是必须要有高精度的标定板,这给普通用户的标定造成了使用上的障碍。



技术实现要素:

本发明实施例提供了一种图像处理方法、装置及摄像机,可简便、快捷地确定出畸变系数对图像进行处理。

一方面,本发明实施例提供了一种图像处理方法,包括:

步骤一:根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数;

步骤二:根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值;

步骤三:检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件;

步骤四:若不满足,则将校正畸变系数配置为初始畸变系数,重复执行所述步骤一至步骤三,直至满足预置的校正条件;

步骤五:若满足,则根据所述校正畸变系数进行图像校正处理。

其中可选地,所述步骤一之前,还包括:

采集包括直线特征的物体的图像;

调整该采集到的图像的尺寸,得到目标图像。

其中可选地,所述调整该采集到的图像的尺寸,包括:

若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;

若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

其中可选地,所述对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数,包括:

对所述目标图像进行边缘检测,确定出所述目标图像中的交界线;

基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中可选地,所述计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数,包括:

确定出所述交界线中的直线片段;

计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;

对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

其中可选地,根据所述初始畸变系数或校正畸变系数对目标图像进行校正,包括:

根据所述初始畸变系数或校正畸变系数对所述目标图像中的交界线进行校正,以完成对所述目标图像的校正。

其中可选地,所述根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值,包括:

对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线;

基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中可选地,所述计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值,包括:

去除离群点,并确定出所述交界线中的直线片段;

计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

其中可选地,所述检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件,包括:

计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;

若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

其中可选地,所述初始畸变系数的获取,包括:

获取预置的初始畸变系数;或

检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

另一方面,本发明实施例还提供了一种图像处理装置,包括:

处理模块,用于根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数;根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值;

检测模块,用于检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件;若不满足,则将校正畸变系数配置为初始畸变系数,并根据新的初始畸变系数通知所述处理模块;

校正模块,用于在所述检测模块的检测结果为满足校正条件时,根据所述校正畸变系数进行图像校正处理。

其中可选地,本发明实施例的所述装置还包括:

图像采集模块,用于采集包括直线特征的物体的图像;

尺寸调整模块,用于调整该采集到的图像的尺寸,得到目标图像。

其中可选地,所述尺寸调整模块,具体用于若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

其中可选地,所述处理模块包括:

第一处理单元,用于对所述目标图像进行边缘检测,确定出所述目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

第一确定单元,用于计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中可选地,所述第一确定单元,具体用于确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

其中可选地,所述处理模块包括:

校正单元,用于根据所述初始畸变系数或校正畸变系数对所述目标图像中的交界线进行校正,以完成对所述目标图像的校正。

其中可选地,所述处理模块包括:

第二处理单元,用于对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

第二确定单元,用于计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中可选地,所述第二确定单元,具体用于去除离群点,并确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

其中可选地,所述检测模块包括:

变化计算单元,用于计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;

条件确定单元,用于若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

其中可选地,本发明实施例的所述装置还包括:

获取模块,用于获取预置的初始畸变系数;或检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

再一方面,本发明实施例还提供了一种摄像机,摄像镜头和图像处理器,其中,

所述图像处理器,用于根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数;根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值;检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件;若不满足,则将校正畸变系数配置为初始畸变系数,再次进行处理直至满足预置的校正条件;若满足,则根据所述校正畸变系数进行图像校正处理。

其中可选地,所述图像处理器,还用于采集包括直线特征的物体的图像;调整该采集到的图像的尺寸,得到目标图像。

其中可选地,所述图像处理器,具体用于若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

其中可选地,所述图像处理器,具体用于对所述目标图像进行边缘检测,确定出所述目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中可选地,所述图像处理器,确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

其中可选地,所述图像处理器,具体用于根据所述初始畸变系数或校正畸变系数对所述目标图像中的交界线进行校正,以完成对所述目标图像的校正。

其中可选地,所述图像处理器,具体用于对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中可选地,所述图像处理器,具体用于去除离群点,并确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

其中可选地,所述图像处理器,具体用于计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

其中可选地,所述图像处理器,还用于获取预置的初始畸变系数;或检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

附图说明

图1是本发明实施例的一种图像处理方法的流程示意图;

图2是本发明实施例的另一种图像处理方法的流程示意图;

图3是本发明实施例的对图像进行处理得到畸变系数的流程示意图;

图4是本发明实施例的对校正后的图像进行处理得到畸变系数的流程示意图;

图5是本发明实施例的一种图像处理装置的结构示意图;

图6是本发明实施例的另一种图像处理装置的结构示意图;

图7是图6中的处理模块的其中一种具体结构示意图;

图8是图6中的检测模块的其中一种具体结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参见图1,是本发明实施例的一种图像处理方法的流程示意图,本发明实施例的所述图像处理方法可以由图像处理器执行,具体的,所述方法包括:

S101:根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数。

所述初始畸变系数可以是预先配置的,具体可以是根据相机摄像头的型号来确定出畸变系数并配置得到。

所述交界线可以通过边缘检测的方式从所述目标图像中确定出来。在所述目标图像中,这些交界线实际可以是一些人工建筑的直线边缘,通过这些应当是直线的交界线来对目标图像的畸变进行校正。

所述的边缘检测可以基于像素点的位置及其像素值的变化幅度来确定,边缘检测可采用具有亚像素精度的检测方式。

对交界线的直线拟合可采用简单的多项式直线拟合,将一系列由于畸变导致的近似在一条直线上的离散像素点拟合为一条直线,该条拟合的直线用于反应这些离散像素点的基本趋势。

根据各个离散像素点到该拟合的直线的距离即可得到所述第一畸变度量值E01,例如,所述E01可以是各个离散像素点到该拟合的直线的距离平方和,E01越小该目标图像的畸变越小,反之则畸变越大。在得到E01后,通过对E01所对应的函数的非线性优化处理,可以确定出一组使E01最小的畸变系数,确定出的畸变系数即为所述校正畸变系数。在后续的实施例中会给出畸变度量值所对应的函数的其中一种表达方式以进一步详细描述。

S102:根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值。

为了节省计算时间和计算资源,在所述S102中进行目标图像校正时,可以仅对所述目标图像中的交界线进行校正。在进行直线拟合的同时,还可以去除离群点,以便于重新更快捷地计算第二畸变度量值。

其中,所述第二畸变度量值具体计算方式可参考上述对第一畸变度量值所描述的计算方式。

S103:检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件。

可以通过判断所述第一畸变度量值与所述第二畸变度量值的相对变化量是否小于预设的阈值,来判定所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件。具体的,相对变化量的计算公式可以为:(E01-E02)/E02,若计算结果为小于预设的阈值时,则满足校正条件;当计算结果为不小于预设的阈值时,即为不满足校正条件。

或者,也可以判断第二畸变度量值的大小,如果第二畸变度量值小于预设的阈值,也可以判定满足预置的校正条件。

S104:若不满足,则将校正畸变系数配置为初始畸变系数,重复执行所述S101至S103,直至满足预置的校正条件。

在上述的相对变化量不小于预设的阈值时,所述第一畸变度量值和所述第二畸变度量值之间的关系不满足预置的校正条件,表明以校正畸变系数对所述目标图像的校正还不能达到畸变校正的要求,目标图像的畸变相对来说仍然较为严重,重新根据所述校正畸变系数对所述目标图像进行校正,并计算新的畸变度量值,以判定目标图像是否达到要求。

S105:若满足,则根据所述校正畸变系数进行图像校正处理。

如果上述的相对变化量小于预设的阈值满足校正条件,或者重新执行上述步骤后得到的结果为也为小于预设的阈值满足校正条件,则所述第一畸变度量值和所述第二畸变度量值之间的关系满足预置的校正条件,表明以校正畸变系数对所述目标图像的校正已达到畸变校正的要求,输出该校正畸变系数,以进行后续的目标图像的校正以及其他相关处理。

本发明实施例的所述方法可以在对摄像机执行初始化时执行,将最后得到的校正畸变系数存储到存储器中,以便后续直接基于该校正畸变系数进行后续处理。当然,也可以在每一次拍摄时执行一次本发明所述的方法,得到最终的校正畸变系数。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

再请参见图2,是本发明实施例的另一种图像处理方法的流程示意图,本发明实施例的所述图像处理方法可以由图像处理器执行,具体的,所述方法包括:

S201:采集包括直线特征的物体的图像。

可以对采集到的多张图片进行分析,将其中的包括建筑物、操场、机动车道等带直线特征的对象物体所对应的图像作为后续畸变分析的目标图像。在本发明实施例中,可以同时或分别对多张图像进行处理,每一张图像执行相同的处理方式。

S202:调整该采集到的图像的尺寸,得到目标图像。

其中具体的,调整所述图像的尺寸的步骤具体包括:若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

由于畸变系数与图像的大小无关,因此是可以调整目标图像的大小以便于平衡计算时间和精度。如果图像太小,则通过插值将图像放大到目标尺寸,以提高计算精度;如果图像太大,则通过下采样将图像缩小到目标尺寸,以提高计算速度。

S203:根据初始畸变系数对目标图像进行校正;

其中具体的,获取预置的初始畸变系数;或检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

用户可以根据相机的实际情况,直接录入初始畸变系数,以便于缩短畸变系数的计算时间。

也可以基于相机的型号自动配置初始畸变系数。具体的同一型号的相机或镜头的畸变系数一般是相同的(差异较小),因此,可以在检测到相机或者镜头的型号后,以该型号的公共畸变系数作为初始畸变系数。

基于初始畸变系数对图像进行校正可采用现有的校正方式。另外,在本发明实施例中,在通过初始畸变系数对图像进行校正的过程中,可仅对所述目标图像中的交界线进行校正,以减少校正时间,从而使得整个畸变系数的计算时间缩短。

S204:对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数。

直线拟合可以采用简答的多项式拟合,直线拟合以及畸变度量值和校正畸变系数的其中一种具体计算方式可参考下述实施例中的描述。

S205:根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值。

同样通过得到的校正畸变系数对目标图像的校正可以采用现有的校正方式。另外,在本发明实施例中,在通过校正畸变系数对目标他U型的校正过程中,可以仅对所述目标图像中的交界线进行校正,以减少校正时间,从而使得整个畸变系数的计算时间缩短。

S206:检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件。

具体的,所述S206具体可以包括:计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

具体的,相对变化量的计算公式可以为:(E01-E02)/E02,若计算结果为小于预设的阈值时,则满足校正条件;当计算结果为不小于预设的阈值时,即为不满足校正条件。

S207:若不满足,则将校正畸变系数配置为初始畸变系数,重复执行所述S203至S206,直至满足预置的校正条件。

在上述的相对变化量不小于预设的阈值时,所述第一畸变度量值和所述第二畸变度量值之间的关系不满足预置的校正条件,表明以校正畸变系数对所述目标图像的校正还不能达到畸变校正的要求,目标图像的畸变相对来说仍然较为严重,重新根据所述校正畸变系数对所述目标图像进行校正,并计算新的畸变度量值,以判定目标图像是否达到要求。

S208:若满足,则根据所述校正畸变系数进行图像校正处理。

如果上述的相对变化量小于预设的阈值满足校正条件,或者重新执行上述步骤后得到的结果为也为小于预设的阈值满足校正条件,则所述第一畸变度量值和所述第二畸变度量值之间的关系满足预置的校正条件,表明以校正畸变系数对所述目标图像的校正已达到畸变校正的要求,输出该校正畸变系数,以进行后续的目标图像的校正以及其他相关处理。

进一步具体的,请参见图3,是本发明实施例的对图像进行处理得到畸变系数的流程示意图,本实施例对应于上述S204,所述处理方法具体包括:

S301:对所述目标图像进行边缘检测,确定出所述目标图像中的交界线。

边缘检测可采用具有亚像素精度的方式进行检测,可以根据软硬件资源情况,选择不同的边缘检测方法,如在计算资源受限的情况下,使用一般的整像素边缘检测方法来检测交界线。

S302:基于多项式直线拟合方式对所述确定出的交界线进行直线拟合。

直线拟合可以采用简单的多项式拟合,对直线i上的n个点(xi,yi),j=1,2,3,…,n,用li=(ai,bi,ci)来表示他们所在的直线,则有:

ai xj+bi yj+ci=0;

其中,估计ai、bi、ci有多种方式,具体可以包括:

ai=sinθ,bi=cosθ,

其中

通过上述计算式,可以最终估计出ai、bi、ci。

在另一种方式中,ai、bi、ci的估计方式还可以包括:

令矩阵X为这组点的齐次表达堆成的矩阵:

则有Xl=0。考虑到点不是理想的,Xl只能近似等于0,即最优解l满足有多种方法可以解这个优化问题,比如可以通过解以下优化方程得到l的表达:

s.t.||l||=1.

其解为X的最小奇异值(smallest singular value)对应的右奇异向量(right singular vector)。假设X的奇异值分解为X=UΣVT,则l=v3,其中V3为V的第3列也即最小奇异值对应的右奇异向量。为了计算点到直线的距离的方便,求得直线系数后还要将系数乘以一个比例因子,使得a2+b2=1。

另外,为使直线拟合不受离群点影响,可用RANSAC(RANdom SAmple Consensus,随机采用一致性)来选择拟合点。

S303:计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中,所述S303具体可以包括:确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

具体的,经过直线拟合后,邻近的直线的系数如果比较接近的,则将两者连接成一条直线,并对所有直线计算所述第一畸变度量值,具体为点到直线的距离平方和:

其中,ai、bi、ci是地i条直线的系数,E01越小,则畸变越小,E01越大,则畸变越大。

并且由上式可以看出,畸变度量是关于xj、yj的的函数,而在畸变方程中,xj、yj是关于畸变系数K=(k1、k2)的方程,因此,畸变度量实际是关于畸变系数的函数,通过对该畸变度量所对应的函数进行非线性优化,找到一组(k1、k2)值使畸变度量值最小,则该组K=(k1、k2)即为所述校正畸变系数。

进一步具体的,请参见图4,是本发明实施例的对校正后的图像进行处理得到畸变系数的流程示意图,本实施例对应于上述S205,所述处理方法具体包括:

S401:对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线。

S402:基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

S403:计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中,所述S403具体可以包括:去除离群点,并确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

边缘检测、直线拟合以及第二畸变度量值的处理方式可参考图3对应实施例的描述。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

下面对本发明实施例的图像处理装置和摄像机进行详细描述。

请参见图5,是本发明实施例的一种图像处理装置的结构示意图,本发明实施例的所述装置可以配置在各类摄像机中,具体的,所述装置包括:

处理模块1,用于根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数;根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值;

检测模块2,用于检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件;若不满足,则将校正畸变系数配置为初始畸变系数,并根据新的初始畸变系数通知所述处理模块1;

校正模块3,用于在所述检测模块2的检测结果为满足校正条件时,根据所述校正畸变系数进行图像校正处理。

所述处理模块1在首次进行的图像校正中所使用的所述初始畸变系数可以是预先配置的,具体可以是根据相机摄像头的型号来确定出畸变系数并配置得到。

所述处理模块1可以通过边缘检测的方式从所述目标图像中确定出所述交界线。在所述目标图像中,这些交界线实际可以是一些人工建筑的直线边缘,通过这些应当是直线的交界线来对目标图像的畸变进行校正。

所述处理模块1所使用的所述的边缘检测可以基于像素点的位置及其像素值的变化幅度来确定,边缘检测可采用具有亚像素精度的检测方式。

所述处理模块1对交界线的直线拟合可采用简单的多项式直线拟合,将一系列由于畸变导致的近似在一条直线上的离散像素点拟合为一条直线,该条拟合的直线用于反应这些离散像素点的基本趋势。

所述处理模块1根据各个离散像素点到该拟合的直线的距离即可得到所述第一畸变度量值。在得到第一畸变度量值后,通过对第一畸变度量值所对应的函数的非线性优化处理,可以确定出一组使第一畸变度量值最小的畸变系数,确定出的畸变系数即为所述校正畸变系数。

为了节省计算时间和计算资源,所述处理模块1根据第一畸变系数进行目标图像校正时,可以仅对所述目标图像中的交界线进行校正。在进行直线拟合的同时,还可以去除离群点,以便于重新更快捷地计算第二畸变度量值。

所述检测模块2可以通过判断所述第一畸变度量值与所述第二畸变度量值的相对变化量是否小于预设的阈值,来判定所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件。具体的,相对变化量的计算公式可以为:(E01-E02)/E02,若计算结果为小于预设的阈值时,则满足校正条件;当计算结果为不小于预设的阈值时,即为不满足校正条件。

在上述的相对变化量不小于预设的阈值时,所述检测模块2在检测到所述第一畸变度量值和所述第二畸变度量值之间的关系不满足预置的校正条件时,表明以校正畸变系数对所述目标图像的校正还不能达到畸变校正的要求,目标图像的畸变相对来说仍然较为严重,需要通知所述处理模块1重新根据所述校正畸变系数对所述目标图像进行校正,并计算新的畸变度量值,以判定目标图像是否达到要求。

如果上述的相对变化量小于预设的阈值满足校正条件,或者重新执行上述步骤后得到的结果为也为小于预设的阈值满足校正条件,则所述检测模块2确定所述第一畸变度量值和所述第二畸变度量值之间的关系满足预置的校正条件,表明以校正畸变系数对所述目标图像的校正已达到畸变校正的要求,所述校正模块3根据该校正畸变系数,以进行后续的目标图像的校正以及其他相关处理。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

再请参见图6,是本发明实施例的另一种图像处理装置的结构示意图,本发明实施例的所述装置可以配置在各类摄像机中,本发明实施例的所述装置包括上述实施例中的处理模块1、检测模块2以及校正模块3,在本发明实施例中,所述装置还可以包括:

图像采集模块4,用于采集包括直线特征的物体的图像;

尺寸调整模块5,用于调整该采集到的图像的尺寸,得到目标图像。

其中可选地,所述尺寸调整模块5,具体用于若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

所述图像采集模块4可以对采集到的多张图片进行分析,将其中的包括建筑物、操场、机动车道等带直线特征的对象物体所对应的图像作为后续畸变分析的目标图像。在本发明实施例中,所述尺寸调整模块5可以同时或分别对多张图像进行处理,每一张图像执行相同的处理方式。

由于畸变系数与图像的大小无关,因此,所述尺寸调整模块5可以调整目标图像的大小以便于平衡计算时间和精度。如果图像太小,所述尺寸调整模块5通过插值将图像放大到目标尺寸,以提高计算精度;如果图像太大,所述尺寸调整模块5通过下采样将图像缩小到目标尺寸,以提高计算速度。

其中可选地,如图7所示,所述处理模块1具体可以包括:

第一处理单元11,用于对所述目标图像进行边缘检测,确定出所述目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

第一确定单元12,用于计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中可选地,所述第一确定单元12,具体用于确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

其中可选地,再请参见图7,所述处理模块1还可以包括:

校正单元13,用于根据所述初始畸变系数或校正畸变系数对所述目标图像中的交界线进行校正,以完成对所述目标图像的校正。

进一步可选地,请参见图7,所述处理模块1还可以包括:

第二处理单元14,用于对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;

第二确定单元15,用于计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中可选地,所述第二确定单元15,具体用于去除离群点,并确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

进一步可选地,请参见图8,所述检测模块2具体可以包括:

变化计算单元21,用于计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;

条件确定单元22,用于若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

进一步具体的,本发明实施例的所述装置还可以包括:

获取模块6,用于获取预置的初始畸变系数;或检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

具体的,本发明实施例中关于各个模块及单元相关功能具体实现的描述可参考图1至图4对应实施例中的相关步骤的描述。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

本发明实施例还提供了一种摄像机,所述摄像机包括:摄像镜头和图像处理器,还可以包括一些存储器,所述存储器中可以存储有相应图像处理程序,所述图像处理器通过调用所述图像处理实现本发明实施例的图像处理功能。

具体的,所述图像处理器,用于根据初始畸变系数对目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第一畸变度量值及校正畸变系数;根据所述校正畸变系数对所述目标图像进行校正,并对校正后的目标图像中包括的交界线进行直线拟合,计算第二畸变度量值;检测所述第一畸变度量值与所述第二畸变度量值是否满足预置的校正条件;若不满足,则将校正畸变系数配置为初始畸变系数,再次进行处理直至满足预置的校正条件;若满足,则根据所述校正畸变系数进行图像校正处理。

其中可选地,所述图像处理器,还用于采集包括直线特征的物体的图像;调整该采集到的图像的尺寸,得到目标图像。

其中可选地,所述图像处理器,具体用于若采集到的图像的尺寸小于预设的尺寸阈值,则通过插值的方式将该采集到的图像放大至目标尺寸;若采集到的图像的尺寸大于预设的尺寸阈值,则通过下采样的方式将该采集到的图像缩小至目标尺寸。

其中可选地,所述图像处理器,具体用于对所述目标图像进行边缘检测,确定出所述目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;计算所述交界线相对于所述直线拟合所对应直线的第一畸变度量值以及该第一畸变度量值相关的校正畸变系数。

其中可选地,所述图像处理器,确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第一畸变度量值;对所述第一畸变度量值进行非线性优化,得到校正畸变系数。

其中可选地,所述图像处理器,具体用于根据所述初始畸变系数或校正畸变系数对所述目标图像中的交界线进行校正,以完成对所述目标图像的校正。

其中可选地,所述图像处理器,具体用于对校正后的目标图像进行边缘检测,确定出所述校正后的目标图像中的交界线;基于多项式直线拟合方式对所述确定出的交界线进行直线拟合;计算所述交界线相对于所述直线拟合所对应直线的第二畸变度量值。

其中可选地,所述图像处理器,具体用于去除离群点,并确定出所述交界线中的直线片段;计算所述直线片段上相关点到所述直线拟合所对应直线的距离,根据计算得到的距离值得到第二畸变度量值。

其中可选地,所述图像处理器,具体用于计算所述第一畸变度量值与所述第二畸变度量值的相对变化量;若计算得到的相对变化量小于预设的变化阈值,则满足校正条件,否则不满足校正条件。

其中可选地,所述图像处理器,还用于获取预置的初始畸变系数;或检测相机型号信息,并搜索该相机型号信息对应的畸变系数,将搜索到的畸变系数配置为初始畸变系数。

所述图像处理器的具体实现的相关描述可参考图1至图8对应实施例中的描述,在此不赘述。

本发明实施例可基于直线拟合以及畸变度量值来综合确定图像的畸变系数,优化了畸变系数计算方式,能够得到自动化、智能化地得到较为精确的畸变系数,并且不需要额外的标定板,成本低,且对于用户来讲易于使用。

在本发明所提供的几个实施例中,应该理解到,所揭露的相关装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得计算机处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1