一种图像处理装置、图像校正、标定点查找方法及系统与流程

本发明涉及图像处理领域，特别是涉及一种图像处理装置、图像校正、标定点查找方法及系统。

背景技术：

近年来，基于环视摄像头的高级辅助驾驶系统(也叫环视ADAS系统)已经被越来越多的用户所接受。通过在汽车的前后左右安装广角摄像头，采集车身四周的图像，经过算法分析处理，给驾驶员提供包括全景泊车辅助、车道偏离报警、盲区车辆检测在内的各种高级辅助驾驶功能，对于提高汽车的主动安全性具有重要的意义。

在开始使用环视ADAS系统之前，需要建立图像坐标和物理坐标之间的对应关系。所述对应关系的建立是通过摄像头的标定来完成的。由于摄像头的标定结果跟摄像头安装的角度，高度密切相关，所以在实际生产的时候，四路摄像头的标定必须在摄像头安装到车身上之后才能完成。目前的标定过程虽然为计算机软件自动标定。但其标定过程可能受到标定场地环境、光线等外界原因而致使软件的自动标定不准确，必须要人工多次干预、调整，或者标定失败，导致生产效率下降。在实际车厂的生产线上，一般一条产线只有一个标定房，这意味着每台车辆的四路摄像头的标定必须要在很短的时候内迅速地完成，如何能够快速、准确的完成标定，且如何对各摄像头拍摄的图像进行无缝拼接是本领域技术人员需要解决的问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种图像处理装置、图像校正、标定点查找方法及系统，用于解决现有技术中不能快速准确的查找到图像标定点且不能根据查找到的标定点实现各摄像头拍摄的图像的无缝拼接的问题。

为实现上述目的及其他相关目的，本发明提供一种标定点查找方法，用于从摄像头对棋盘格标定装置进行拍摄后获取的棋盘格图像中查找预设的标定点，所述棋盘格标定装置包括第一标定区域以及第二标定区域，相对应的，所述棋盘格图像包括与所述第一标定区域对应的第一标定区域图像以及与所述第二标定区域对应的第二标定区域图像，且，所述预设的标定点包括与所述第一标定区域对应的第一预设标定点，以及与所述第二标定区域对应的第二预设标定点，所述方法包括：在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；在所述第二标定区域转换图像中查找所述第二预设标定点；且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。

于本发明一具体实施例中，在所述第一标定区域图像中查找所述第一预设标定点的步骤包括：对所述第一标定区域图像中的第一颜色的格进行第一预设比例的腐蚀；获取腐蚀后的所述第一标定区域图像中所有处于独立状态的第一颜色的格与相邻第一颜色的格的对顶点的连线的中心点的图像坐标；统计与预设的所述第一预设标定点匹配的中心点，且将统计的与预设的所述第一预设标定点匹配的所述中心点的图像坐标作为相应第一预设标定点的图像坐标。

于本发明一具体实施例中，在所述第一标定区域图像中查找所述第一预设标定点的步骤还包括：判断所有所述第一预设标定点是否都查找到所述相匹配的中心点，若是，则查找结束；若否，则返回所述对所述第一标定区域图像中的第一颜色的格进行第一预设比例的腐蚀的步骤继续查找。

于本发明一具体实施例中，在所述第二标定区域转换图像中查找所述第二预设标定点的步骤包括：对所述第二标定区域转换图像进行第二预设比例的腐蚀；获取腐蚀后的所述第二标定区域转换图像中所有处于独立状态的第一颜色的格与相邻第一颜色的格的对顶点的连线的中心点的图像坐标；在腐蚀后的所述第二标定区域转换图像中统计与预设的所述第二预设标定点匹配的中心点，为在所述第二标定区域转换图像中查找的所述第二预设标定点。

于本发明一具体实施例中，在所述第二标定区域转换图像中查找所述第二预设标定点的步骤还包括：判断所有所述第二预设标定点是否都查找到所述相匹配的中心点，若是，则查找结束；若否，则返回所述对所述第二标定区域转换图像进行第二预设比例的腐蚀的步骤继续查找。

为实现上述目的及其他相关目的，本发明还提供一种图像校正方法，应用如上任一项所述的标定点查找方法查找到所有的所述预设的标定点后，获取所有所述预设的标定点的图像坐标，且根据预先存储的所有所述标定点的物理坐标，生成相应的校正规则，以对所述摄像头拍摄的图像进行校正。

为实现上述目的及其他相关目的，本发明还提供一种标定点查找系统，用于从摄像头对棋盘格标定装置进行拍摄后获取的棋盘格图像中查找预设的标定点，所述棋盘格标定装置包括第一标定区域以及第二标定区域，相对应的，所述棋盘格图像包括与所述第一标定区域对应的第一标定区域图像以及与所述第二标定区域对应的第二标定区域图像，且，所述第一标定区域对应有第一预设标定点，所述第二标定区域对应有第二预设标定点，所述系统包括：第一预设标定点查找模块，用以在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；图像转换模块，用以根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；且根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；第二预设标定点查找模块，用以在所述第二标定区域转换图像中查找所述第二预设标定点；且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。

为实现上述目的及其他相关目的，本发明还提供一种图像校正系统，包括如上所述的标定点查找系统，所述图像校正系统还包括图像校正模块，与所述标定点查找系统相连，用以在根据如上所述的标定点查找系统查找到所有所述标定点后，获取所有所述标定点的图像坐标，且根据预先存储的所有所述标定点的物理坐标，生成相应的校正规则，以对所述摄像头拍摄的图像进行校正。

为实现上述目的及其他相关目的，本发明还提供一种图像处理装置，所述图像处理装置应用于具有摄像头的汽车上，所述图像处理装置包括如上所述的图像校正系统。

如上所述，本发明的图像处理装置、图像校正、标定点查找方法及系统，在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；在所述第二标定区域转换图像中查找所述第二预设标定点；且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。本发明可以在第二标定区域图像变形较大而无法分辨标定点时，准确快速的找到第二标定区域对应的标定点的图像坐标，进而可以准确高效的对摄像头拍摄的图像进行相应的校正，且可实现各摄像头拍摄的图像间更平滑的无缝拼接。

附图说明

图1显示为本发明的标定点查找方法在一具体实施例中的流程示意图。

图2显示为本发明的标定点查找方法在一具体实施例中的应用示意图。

图3显示为本发明的一具体实施例中鱼眼摄像头拍摄的图像示意图。

图4显示为对图3所示的图像的前部中间部位进行一次腐蚀后的图像示意图。

图5显示为本发明的标定点查找系统在一具体实施例中的模块示意图。

图6显示为本发明的图像校正系统在一具体实施例中的组成示意图。

元件标号说明

11～15 方法步骤

21 汽车

22 鱼眼摄像头

23 黑白棋盘格标定布

231 前部中间部位

232 前部左边部位

233 前部右边部位

3 图像

31 中间部位

32 左边部位

33 右边部位

4 图像

5 标定点查找系统

51 第一预设标定点查找模块

52 图像转换模块

53 第二预设标定点查找模块

6 图像校正系统

61 图像校正模块61

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图示中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

现代智能汽车领域中，通常会利用设置于汽车上的摄像头获得汽车的全景视图，图像拍摄的角度广，但容易产生较大的变形，所以在投入使用前，要获取对摄像头获取的图像进行校正的规则，以在后续通过摄像头拍摄到图像时，可以自动的对拍摄图像进行校正。然后，摄像头获取的图像的中间的变形较小，一般可以较快的找到标定点，但靠近图像边缘的位置，变形非常大，很难确定标定点的位置，对该部分图像的校正效果有较大影响，会导致该摄像头拍摄的图像与相邻摄像头拍摄的图像之间的拼接效果不好，不能实现无缝拼接。所以本发明提出一种创新的标定点查找方法，用于解决上述问题。具体的参阅图1显示为本发明的标定点查找方法在一具体实施例中的流程示意图。所述标定点查找方法，用于从摄像头对棋盘格标定装置进行拍摄后获取的棋盘格图像中查找预设的标定点，所述棋盘格包括第一颜色的格以及第二颜色的格，所述棋盘格标定装置包括第一标定区域以及第二标定区域，相对应的，所述棋盘格图像包括与所述第一标定区域对应的第一标定区域图像以及与所述第二标定区域对应的第二标定区域图像，且，所述预设的标定点包括与所述第一标定区域对应的第一预设标定点，以及与所述第二标定区域对应的第二预设标定点。进一步参阅图2，显示为本发明的标定点查找方法在一具体实施例中的应用示意图。本实施例中，以所述摄像头为鱼眼摄像头，且所述第一颜色为黑色，第二颜色为白色的黑白棋盘格为例进行具体的说明，在其他应用实例中，所述摄像头还可为其他的拍摄图像会产生变形的摄像头，所述棋盘格还可为其他颜色组合的棋盘格。图2具体为对应用于汽车上的鱼眼摄像头图像进行标定，其中，汽车21上设置有鱼眼摄像头22，优选为设置有分别分布于汽车前、后、左、及右四个位置上的鱼眼摄像头，所述黑白棋盘格标定装置在本实施例中优选为铺设于所述汽车21周围的黑白棋盘格标定布23。所述黑白棋盘格标定布23的形状可以为如图2所示的多块组成，在其他实施例中，所述黑白棋盘格标定布23也可为一块棋盘格布或其他的组成形式。棋盘格的形状可以是矩形、方形、三角形等任意可以实现标定作用的形状。于本实施例中，汽车21前部的鱼眼摄像头22拍摄的图像中，黑白棋盘格标定布23的前部由前部中间部位231，前部左边部位232以及前部右边部位233组成，而实际应用中，前部由中间部位231对应图像的标定点较容易确定，而前部左边部位232以及前部右边部位233对应图像由于变形太大，标定点难以确定。所述第一标定区域例如为所述前部中间部位231，所述第二标定区域例如为所述前部左边部位232以及前部右边部位233组成。

所述方法包括：

11：在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；所述第一标定区域例如为所述黑白棋盘格标定布23的前部中间部位231对应的区域，所述第二标定区域例如为所述前部左边部位232以及前部右边部位233组成。且汽车前部鱼眼摄像头22对所述标定布23进行拍摄后的图像为图3所示的图像3。且图3中中间部位31为与所述前部中间部位231对应的图像，图3中左边部位32为与所述前部左边部位232对应的图像，图3中右边部位33为与所述前部右边部位233对应的图像。

于本发明一具体实施例中，在所述第一标定区域图像(中间部位31)中查找所述第一预设标定点的步骤包括：

对所述第一标定区域图像中的黑格进行第一预设比例的腐蚀；所述预设比例的腐蚀，例如为对黑格进行一周的一个像素点大小的腐蚀。图4所示的图像4为对图3的中间部位31进行第一次腐蚀后的结果。

获取腐蚀后的所述第一标定区域图像中所有处于独立状态的黑格与相邻黑格的对顶点的连线的中心点的图像坐标；由于黑格间的对顶点的位置相对于单个黑格的顶点的位置更好确定，所以本发明通过找寻对顶点的位置后，获取对顶点的连线的中心点的图像坐标为相应的黑格的顶点的图像坐标，具体为，分别获取独立状态的黑格与相邻黑格的对顶点的图像坐标，且对两坐标求平均值，即可获得对应的中心点的坐标。例如，对图3的中间部位31进行第一次腐蚀后，标定点A对应的相邻黑格处于独立状态，图3中的标定点A与图4中的中心点A’对应，其中相邻黑格的对顶点A1和A2的图像坐标获取到后，对两者进行平均计算，获得中心点A’的图像坐标，即将所述中心点A’的图像坐标作为所述标定点A的图像坐标。

其中，优选的，判断所述黑格是否处于独立状态的方式包括当所述黑白棋盘格图像中的一黑格与相邻的黑格的对顶点间存在白色像素点时，判断所述黑格处于独立状态。

统计与预设的所述第一预设标定点匹配的中心点，且将统计的与预设的所述第一预设标定点匹配的所述中心点的图像坐标作为相应第一预设标定点的图像坐标。

且由于距离鱼眼摄像头22的距离越远，所述黑格的尺寸越小，所以在第一次腐蚀的时候，尺寸较小的所述黑格会较容易被独立出来，而尺寸较大的黑格的对顶点间可能不存在任何白色像素点而不能被独立出来，所以在进行第一次腐蚀的时候，可能只能查找到部分的所述预设标定点。所以进一步的，于本发明一具体实施例中，在所述第一标定区域图像中查找所述第一预设标定点的步骤还包括：判断所有所述第一预设标定点是否都查找到所述相匹配的中心点，若是，则查找结束；若否，则返回所述对所述第一标定区域图像中的黑格进行第一预设比例的腐蚀的步骤。即将每次次查找后获得的标定点进行保留，并在进行多次查找后，将多次查找获得的所述标定点进行融合。例如需要查找十个标定点，第一次腐蚀后查找到两个标定点，保留该第两个标定点，进行二次腐蚀后，新查找到三个标定点，保留该三个标定点，进行第三次腐蚀后，又新找到五个标定点，即将该三次查找到的标定点进行融合或合并，即可获得所有的所述十个标定点。而传统的标定点查找方式不会对每次查找后的标定点进行保留，并在下次查找时，取用新查找到的所有标定点进行计算。而本发明采用这种标定点融合的方式进行查找，不仅可以保证查找的效率和准确性，而且可以防止由于多次腐蚀而存在部分黑格消失的情况，这样如果采用传统的标定点查找方式，就会造成部分的标定点丢失。当进行预设次数的所述判断，仍然存在没有匹配到中心点的标定点时，在未匹配到中心点的标定点一定范围内指定相应的中心点为新的标定点，且结束所述查找操作。例如第一预设标定点有5个，而经过预设次数的上述腐蚀和查找的步骤的循环后，仍然有2个标定点未找出，即在未匹配到中心点的标定点一定范围内以当前可以较为清楚的确定中心点坐标的其他的两个点作为新的第一预设标定点，且当前测量新的第一预设标定点的物理坐标，即获得所有的第一预设标定点。

12：根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；所述转换矩阵例如为图像坐标与物理坐标间的转换矩阵。

13：根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；

14：在所述第二标定区域转换图像中查找所述第二预设标定点；

于本发明一具体实施例中，在所述第二标定区域转换图像中查找所述第二预设标定点的步骤包括：对所述第二标定区域转换图像进行第二预设比例的腐蚀；获取腐蚀后的所述第二标定区域转换图像中所有处于独立状态的黑格与相邻黑格的对顶点的连线的中心点的图像坐标；在腐蚀后的所述第二标定区域转换图像中统计与预设的所述第二预设标定点匹配的中心点，为在所述第二标定区域转换图像中查找的所述第二预设标定点。

于本发明一具体实施例中，在所述第二标定区域转换图像中查找所述第二预设标定点的步骤还包括：判断所有所述第二预设标定点是否都查找到所述相匹配的中心点，若是，则查找结束；若否，则返回所述对所述第二标定区域转换图像进行第二预设比例的腐蚀的步骤。即将每次次查找后获得的标定点进行保留，并在进行多次查找后，将多次查找获得的所述标定点进行融合。例如需要查找十个标定点，第一次腐蚀后查找到两个标定点，保留该第两个标定点，进行二次腐蚀后，新查找到三个标定点，保留该三个标定点，进行第三次腐蚀后，又新找到五个标定点，即将该三次查找到的标定点进行融合或合并，即可获得所有的所述十个标定点。而传统的标定点查找方式不会对每次查找后的标定点进行保留，并在下次查找时，取用新查找到的所有标定点进行计算。而本发明采用这种标定点融合的方式进行查找，不仅可以保证查找的效率和准确性，而且可以防止由于多次腐蚀而存在部分黑格消失的情况，这样如果采用传统的标定点查找方式，就会造成部分的标定点丢失。

15：且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。

在另一具体实施例中，本发明还提出一种图像校正方法，应用如图1所述的标定点查找方法查找到所有的所述预设的标定点后，获取所有所述预设的标定点的图像坐标，且根据预先存储的所有所述标定点的物理坐标，生成相应的校正规则，以对所述鱼眼摄像头拍摄的图像进行校正。

所述图像校正方法优选可应用于所述汽车21的一图像校正装置中，对所述汽车21通过鱼眼摄像头22拍摄的图像进行校正，所述图像校正装置可集成于所述汽车21的智能控制系统中。

本发明在标定点的查找过程中，对图像进行腐蚀，且查找腐蚀后的图像中相邻黑格的对顶点的坐标，并据以计算两对顶点坐标间的中心点的坐标，相对于黑格的顶点来说，对顶点的位置可以更准确的被确认，进而可以得到更为准确的标定点的图像坐标。且由于各黑格间的大小等参数的不一致，进行一次腐蚀，可能不能查找到所有的标定点，此时可以对腐蚀后的图像进行多次的迭代腐蚀，且对每次腐蚀后的图像根据上述方式查找相应的标定点的图像坐标，直到所有的标定点均找到时，停止对图像的腐蚀操作。

且本发明对较容易确定标定点的图像部分的标定点确认后，获得图像坐标与物理坐标间的转换矩阵，且根据该转换矩阵对变形较大的图像部分(例如靠近前部左边部位232以及前部右边部位233对应的图像)进行转换，将变形较大的图像部分进行一定程度的展平，且对展平后的图像进行腐蚀以及查找标定点的方式查找相应的标定点，且在查找到对应的标定点以及获得在展平后的该图像上的坐标后，根据所述转换矩阵，获得当前查找的标定点在原始鱼眼图像中的图像坐标，进而查找到原始鱼眼图像中的所有的标定点的图像坐标。进而实现各鱼眼摄像头拍摄的图像间更平滑的无缝拼接。

进一步参阅图5，显示为本发明的标定点查找系统在一具体实施例中的模块示意。

所述标定点查找系统5，用于从摄像头对棋盘格标定装置进行拍摄后获取的棋盘格图像中查找预设的标定点，所述棋盘格标定装置包括第一标定区域以及第二标定区域，相对应的，所述棋盘格图像包括与所述第一标定区域对应的第一标定区域图像以及与所述第二标定区域对应的第二标定区域图像，且，所述第一标定区域对应有第一预设标定点，所述第二标定区域对应有第二预设标定点，所述系统5包括：

第一预设标定点查找模块51，用以在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；

图像转换模块52，用以根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；且根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；

第二预设标定点查找模块53，用以在所述第二标定区域转换图像中查找所述第二预设标定点；且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。

所述标定点查找系统5为与图1所示的标定点查找方法对应的系统项，两者技术方案一一对应，所有关于所述标定点查找方法的描述均可应用于所述标定点查找系统5中，在此不加赘述。

于另一具体实施例中，参阅图6，还提出一种图像校正系统6，包括如上所述的标定点查找系统5，所述图像校正系统6还包括图像校正模块61，用以在根据所述标定点查找系统5查找到所有所述标定点后，获取所有所述标定点的图像坐标，且根据预先存储的所有所述标定点的物理坐标，生成相应的校正规则，以对所述摄像头拍摄的图像进行校正。

同样的，所述图像校正系统6还可应用于集成于所述汽车21的所述图像处理装置上。

综上所述，本发明的图像处理装置、图像校正、标定点查找方法及系统，在所述第一标定区域图像中查找到所述第一预设标定点后，获取所述第一预设标定点的图像坐标；根据预先存储的所述第一预设标定点的物理坐标，生成相应的转换矩阵；根据所述转换矩阵对所述第二标定区域图像进行转换，生成第二标定区域转换图像；在所述第二标定区域转换图像中查找所述第二预设标定点；且根据所述转换矩阵获取所述第二预设标定点对应所述第二标定区域图像的图像坐标。本发明可以在第二标定区域图像变形较大而无法分辨标定点时，准确快速的找到第二标定区域对应的标定点的图像坐标，进而可以准确高效的对摄像头拍摄的图像进行相应的校正，且可实现各摄像头拍摄的图像间更平滑的无缝拼接。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。