用于车辆标定的图像采集控制方法和装置与流程

本发明涉及车辆测量技术领域，尤其涉及一种用于车辆标定的图像采集控制方法和装置。

背景技术：

在目前的很多乘用车辆中安装有全景泊车系统，全景泊车系统包括安装在车辆上的多个摄像头和图像处理装置，图像处理装置将多个摄像头的图像完整拼接，将摄像头采集的图像对应到世界坐标系中，从而形成能够准确显示车身周围鸟瞰环境的图像。

全景泊车系统的标定就是将视频图像里的地面还原成一个鸟瞰平面，并根据事先设定好分界线或者融合线进行图像拼接的过程。目前经常使用的车辆出厂标定方法是在车辆外部周围放置一些固定的标定物，安装在车辆上的摄像头采集包含标定物的图像通过完成多幅图像的完整拼接来确定相关的摄像参数，例如摄像头内参数、安装参数等等。

在很多情况下，需要在室外的环境下进行标定，而在室外环境下，会有很多不确定的干扰，例如，会有移动的人、车辆、动物等进入标定物附近的摄像范围，从而在图像中遮挡标定物，因此会严重影响标定结果的准确性。

技术实现要素：

为了解决现有技术中的缺陷，本发明实施例的目的是提供能够屏蔽物体遮挡干扰的用于车辆标定的图像采集控制方法和装置。

本发明实施例提供了一种用于车辆标定的图像采集控制方法，所述方法包括：采集标定物范围图像；判断所述标定物范围图像中是否有遮挡物；当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

在一种可选实施方式中，所述判断所述标定物范围图像中是否有遮挡物包括：检测所述标定物范围图像中是否有运动物体，当存在运动物体时，判断所述标定物范围图像中有遮挡物。

在一种可选实施方式中，依次比较所述标定物范围图像中前后两帧图像，通过两帧相减，如果对应像素点的灰度值大于或等于阈值，则判断存在运动物体。

在一种可选实施方式中，所述判断所述标定物范围图像中是否有遮挡物包括：采集障碍物雷达信息和摄像头图像信息，将障碍物位置信息与摄像头图像相结合，判断所述标定物范围图像中是否有遮挡物。

在一种可选实施方式中，采集标定物范围图像为：采集标定物轮廓线外预定距离内包络的图像。

本发明实施例还提供了一种用于车辆标定的图像采集控制装置，所述装置包括：图像采集单元，用于采集标定物范围图像；遮挡判断单元，用于判断所述标定物范围图像中是否有遮挡物；图像排除单元，用于当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

在一种可选实施方式中，遮挡判断单元包括运动检测模块，所述运动检测模块用于检测所述标定物范围图像中是否有运动物体，当存在运动物体时判断所述标定物范围图像中有遮挡物。

在一种可选实施方式中，所述运动检测模块用于依次比较所述标定物范围图像中前后两帧图像，通过两帧相减，如果对应像素点的灰度值大于或等于阈值，则判断存在运动物体。

在一种可选实施方式中，遮挡判断单元包括雷达检测模块、图像检测模块和数据融合模块，其中：雷达检测模块用于采集障碍物雷达信息；图像检测模块用于采集摄像头图像信息；数据融合模块用于将障碍物位置信息与摄像头图像相结合，判断所述标定物范围图像中是否有遮挡物。

在一种可选实施方式中，图像采集单元用于采集标定物轮廓线外预定距离内包络的图像。

采用本发明实施例的技术方案，如果在标定时发现有运动物体遮挡标定板时，将对这一段的影像数据不做处理，从而提高了标定的准确性。

附图说明

图1是本发明第一实施例的用于车辆标定的图像采集控制方法的流程图；

图2是本发明第二实施例的用于车辆标定的图像采集控制方法的流程图；

图3是本发明第三实施例的用于车辆标定的图像采集控制方法中雷达与摄像头的位置关系及坐标变换图；

图3a是本发明第三实施例的用于车辆标定的图像采集控制方法的流程图；

图4是本发明第四实施例的用于车辆标定的图像采集控制装置的结构示意图；

图5是本发明第五实施例的用于车辆标定的图像采集控制装置中的遮挡判断单元的结构示意图；

图6是本发明第六实施例的用于车辆标定的图像采集控制装置中的遮挡判断单元的结构示意图；

图7是本发明第七实施例的用于实现用于车辆标定的图像采集控制功能的电子设备的结构示意图。

具体实施方式

在本发明实施例的应用场景是车辆出厂前的标定环境，即，将要标定的车辆停泊在某一块场地上，并且在车辆周围放置易于识别的标定物，所述标定物可以为标定板，所述标定板具有固定的形状、尺寸，例如可以是矩形或正方形的板，标定板具有与背景反差较大、易于识别的颜色或图案，例如可以是纯白色、黄色或红色的板。

安装在车辆上的多个摄像头分别采集图像，形成不同视角的多幅图像，通过标定算法生成能够使所述多幅图像拼接成一幅完整的鸟瞰图像的摄像参数。所述标定算法可以采用目前各种适用的标定算法。本发明实施例着重于对各个摄像头采集到的图像进行取舍。

第一实施例

步骤110，采集标定物范围图像。

所述标定物范围图像的采集需要通过安装在车辆上的摄像头来实现。在本实施例中，车辆上安装有四个摄像头，四个摄像头分别安装在车前方车标附近、车后方车牌附近，以及车辆两侧的后视镜附近。摄像头采用鱼眼摄像机，以便实现大范围、大视角的监控和图像采集。每台所述鱼眼摄像机的方位视场角范围为：0°～360°；俯仰视场角范围为：0°～-90°。通过鱼眼摄像机的拍摄，采集包含标定物的图像，即采集能够清楚、完整地显示出红色矩形标定板的图像。

步骤120，判断所述标定物范围图像中是否有遮挡物。在本发明实施例中，有可能出现其他人、车辆或动物突然进入，遮挡标定板的情况。因此，在获取各个鱼眼摄像机采集的包含标定物的图像后，需要通过图像处理的方法，判断图像中是否存在遮挡或有可能遮挡标定板的物体，以便决定该幅图像或某个时段中的图像是否作为标定算法所需要利用的图像。

对于标定物范围图像的判断，可以采用各种图像处理算法来进行处理，通过相应的图像处理算法确定是否存在遮挡物遮挡了标定板，如果不存在遮挡物遮挡标定板，则该幅图像可以用于标定算法；如果存在遮挡物遮挡标定板，则该幅图像不能用于标定算法。

步骤130，当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。在经过对图像进行遮挡物识别分析后，如果确定存在遮挡物遮挡标定板，则不将该幅图像作为标记的基础。

在采用本实施例的技术方案后，通过对各摄像头采集图像的检测，识别出图像中影响标定板的障碍物，排除相应的图像，不将有障碍物的图像用于标定，从而提高了标定的准确性。

第二实施例

本实施例是在第一实施例的基础上，采用运动检测算法对遮挡物进行识别与判断。具体步骤如下：

步骤210，采集标定物范围图像。在本步骤中，为了进一步使图像集中反映标定板的，采集标定物范围图像为采集标定物轮廓线外预定距离内包络的图像。例如，标定板为800mm×1000mm的矩形板，则可以采集标定板矩形轮廓线外200mm内包络的图像，即采集以矩形标定板几何中心为中心，1000mm×1200mm的矩形区域的图像。

步骤220，判断所述标定物范围图像中是否有遮挡物。具体地，检测所述标定物范围图像中是否有运动物体。当存在运动物体时，判断所述标定物范围图像中有遮挡物。可以采用各种适用的运动检测算法实现对运动物体的识别。

在本步骤中，可以采用帧间差分法来对是否有运动物体进行检测，帧间差分法即：用图像序列中的连续两帧图像进行差分，然后二值化该灰度差分图像，从而提取出运动信息。在本方法中，通过比较图像序列中前后两帧图像对应像素点灰度值的不同，通过两帧相减，如果灰度值很小，可以认为该点无运动物体经过；反之灰度变化很大，则认为有物体经过。第k帧和k+1帧图像fk(x，y)，fk+l(x，y)之间的变化用一个二值差分图像d(x，y)表示，如下式:

d(x，y)中0对应两帧图像前后未变化的地方，1对应变化的地方。帧间差分法实现简单，运算速度快，对于动态环境自适应性很强。

在其他实施例中，也可以根据标定环境的特殊性，选择背景减除算法进行运动物体的检测。

步骤230，当所述标定物范围图像中有运动物体，即遮挡物时，将该图像从标定图像中排除。

在本实施例中，采用运动检测的算法对图像进行分析，能够快速识别出标定板背景中存在运动图像，从而辨识出遮挡物，进而排除相应的图像，不将有障碍物的图像用于标定，提高了标定的准确性。

第三实施例

本实施例是在第一实施例的基础上，采用雷达与摄像头联合检测算法对遮挡物进行识别与判断。具体步骤如下：

步骤310，采集标定物范围图像。

步骤320，判断所述标定物范围图像中是否有遮挡物。在本步骤中，分别利用雷达对标定板进行测量，并且将雷达的测量目标位置转换到图像坐标系中，从而可以进行目标识别。所述雷达可以采用毫米波雷达或激光雷达。

见图3所示，这是本实施例中雷达与摄像头的安装位置关系和坐标系设置。雷达探测面的法向量和摄像头光轴分别与车身纵向对称平面平行，在此基础上建立雷达投影坐标系orw—xrwyrwzrw，原点为雷达探测中心点在地面上的投影点，xrw轴指向车身右侧，yrw轴指向车辆前进方向，zrw轴为竖直方向；摄像头投影坐标系ocw－xcwycwzcw的原点为摄像头光心在地面的投影点，xcw轴指向车身右侧，ycw轴指向车辆前进方向，zcw轴为竖直方向。雷达投影坐标系与摄像头投影坐标系是空间中相互平行的两个坐标系。

图3中op－xpyp为图像坐标系，原点位于图像的左上角；oc－xcyczc为摄像头坐标系，zc轴与摄像头光轴重合，xc轴和yc轴分别与xp和yp轴平行。根据小孔成像模型，两个坐标系之间有如下关系:

又根据摄像头坐标系及摄像头投影坐标系之间的平移和旋转关系，可以得到二者之间的坐标转换公式如下：

假设地面为平面，并且目标在地面上，即目标在摄像机投影坐标系当中有zcw＝0，则联合式(1)和式(2)可以得到由图像坐标系到摄像头投影坐标系之间的转换公式：

雷达投影坐标系和摄像头投影坐标系的相互转换只需要平移即可实现，如式(4)

根据式(1)、(3)和(4)可以得到雷达投影坐标系中任意一点转换到图像坐标系中的转换关系：

其中：cx、cy为光轴偏移量；fx、fy为焦距，为摄像头内参数；lx、ly分别为雷达投影坐标系和摄像头投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得。

由于可以将雷达检测到的障碍物坐标映射到摄像头坐标系中，并且判断是否对标定板发生遮挡，例如，当发现障碍物坐标与标定板坐标发生重叠时，则判断对标定板发生了遮挡。

步骤330，当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

采用本实施例的技术方案，将雷达检测与摄像头检测相结合，可以将通过将毫米波雷达探测得到的目标位置转换到图像坐标系中，不仅可以判断出障碍物对标定板的遮挡关系，而且可以通过雷达探测进行目标识别。

第四实施例

相应地，本实施例提供了一种用于车辆标定的图像采集控制装置。如图4所示，所述装置包括：图像采集单元410、遮挡判断单元420和图像排除单元430。

图像采集单元410用于采集标定物范围图像。图像采集单元410可以通过安装在车辆上的摄像头来实现。在本实施例中，车辆上安装有四个摄像头，四个摄像头分别安装在车前方车标附近、车后方车牌附近，以及车辆两侧的后视镜附近。摄像头采用鱼眼摄像机，以便实现大范围、大视角的监控和图像采集。

遮挡判断单元420用于判断所述标定物范围图像中是否有遮挡物。遮挡判断单元420可以由图像识别软件模块实现。在获取各个鱼眼摄像机采集的包含标定物的图像后，通过对图像识别处理，判断图像中是否存在遮挡或有可能遮挡标定板的物体，以便决定该幅图像或某个时段中的图像是否作为标定算法所需要利用的图像。

图像排除单元430用于当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。图像排除单元430可以通过相应的图像处理软件模块实现，通过将存在遮挡物的图片删除来排除该图像，也可以用特定标识标记该图片，以使在后续的标定过程中不对该图片进行读取，从而排除所述图像。

在采用本实施例的技术方案后，遮挡判断单元420对图像采集单元410采集的图像进行检测，识别出图像中影响标定板的障碍物，图像排除单元430排除相应的图像，不将有障碍物的图像用于标定，从而提高了标定的准确性。

第五实施例

在第四实施例的基础上，第五实施例对遮挡判断单元520采用了一种可选的技术方案，所述遮挡判断单元520可以实现第二实施例中的运动检测算法。

在本实施例中，遮挡判断单元520包括运动检测模块521。所述运动检测模块521用于检测所述标定物范围图像中是否有运动物体，当存在运动物体时判断所述标定物范围图像中有遮挡物。

所述运动检测模块521可以是实现帧间差分法的软件模块或硬件逻辑电路，该运动检测模块用于依次比较所述标定物范围图像中前后两帧图像，通过两帧相减，如果对应像素点的灰度值大于或等于阈值，则判断存在运动物体。帧间差分法可以对是否有运动物体进行检测，帧间差分法为：用图像序列中的连续两帧图像进行差分，然后二值化该灰度差分图像，从而提取出运动信息。在本方法中，通过比较图像序列中前后两帧图像对应像素点灰度值的不同，通过两帧相减，如果灰度值很小，可以认为该点无运动物体经过；反之灰度变化很大，则认为有物体经过。第k帧和k+1帧图像fk(x，y)，fk+l(x，y)之间的变化用一个二值差分图像d(x，y)表示，如下式:

其中，d(x，y)中0对应两帧图像前后未变化的地方，1对应变化的地方。

在本实施例中，采用运动检测算法的模块对图像进行分析，能够快速识别出标定板背景中存在运动图像，从而辨识出遮挡物，进而排除相应的图像，不将有障碍物的图像用于标定，提高了标定的准确性。

在其他实施例中，也可以根据标定环境的特殊性，选择实现背景减除算法的软件模块或硬件逻辑电路进行运动物体的检测。

第六实施例

在第四实施例的基础上，第六实施例对遮挡判断单元620采用了一种可选的技术方案，所述遮挡判断单元620可以实现第三实施例中的

遮挡判断单元620包括雷达检测模块621、图像检测模块622和数据融合模块623。其中：

雷达检测模块621用于采集障碍物雷达信息。雷达检测模块621可以由雷达探测器实现，雷达检测模块621用过发射雷达波并且接受反射回来的回波，来判断物体的位置和形状。雷达检测模块621可以由毫米波雷达或激光雷达探测器实现。

图像检测模块622用于采集摄像头图像信息。图像检测模块622可以由摄像头实现，例如由鱼眼摄像机实现。

雷达检测模块621、图像检测模块622安装后的位置关系如图3所示。雷达探测面的法向量和摄像头光轴分别与车身纵向对称平面平行，在此基础上建立雷达投影坐标系orw—xrwyrwzrw，原点为雷达探测中心点在地面上的投影点，xrw轴指向车身右侧，yrw轴指向车辆前进方向，zrw轴为竖直方向；摄像头投影坐标系ocw－xcwycwzcw的原点为摄像头光心在地面的投影点，xcw轴指向车身右侧，ycw轴指向车辆前进方向，zcw轴为竖直方向。雷达投影坐标系与摄像头投影坐标系是空间中相互平行的两个坐标系。

图3中op－xpyp为图像坐标系，原点位于图像的左上角；oc－xcyczc为摄像头坐标系，zc轴与摄像头光轴重合，xc轴和yc轴分别与xp和yp轴平行。根据小孔成像模型，两个坐标系之间有如下关系:

又根据摄像头坐标系及摄像头投影坐标系之间的平移和旋转关系，可以得到二者之间的坐标转换公式如下：

假设地面为平面，并且目标在地面上，即目标在摄像机投影坐标系当中有zcw＝0，则联合式(1)和式(2)可以得到由图像坐标系到摄像头投影坐标系之间的转换公式：

雷达投影坐标系和摄像头投影坐标系的相互转换只需要平移即可实现，如式(4)

根据式(1)、(3)和(4)可以得到雷达投影坐标系中任意一点转换到图像坐标系中的转换关系：

其中：cx、cy为光轴偏移量；fx、fy为焦距，为摄像头内参数；lx、ly分别为雷达投影坐标系和摄像头投影坐标系x轴之间的间距和y轴之间的间距，可以通过测量获得。

数据融合模块623用于将障碍物位置信息与摄像头图像相结合，判断所述标定物范围图像中是否有遮挡物。数据融合模块623将雷达检测到的障碍物坐标映射到摄像头坐标系中，并且判断是否对标定板发生遮挡，例如，当发现障碍物坐标与标定板坐标发生重叠时，则判断对标定板发生了遮挡。

采用本实施例的技术方案，将雷达检测与摄像头检测相结合，可以将通过将毫米波雷达探测得到的目标位置转换到图像坐标系中，不仅可以判断出障碍物对标定板的遮挡关系，而且可以通过雷达探测进行目标识别。

第七实施例

本发明实施例提出一种电子设备，所述电子设备包括：

至少一个处理器710；以及，

与至少一个处理器通信连接的存储器720；其中，

存储器720存储可被一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器710能够：

采集标定物范围图像；

判断所述标定物范围图像中是否有遮挡物；

当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

所述电子设备包括输入装置730和输出装置740，输入装置730可接收输入的数字或字符信息，以及产生与用于车辆标定的图像采集控制装置的用户设置以及功能控制有关的键信号输入。输出装置740可包括显示屏等显示设备。

第八实施例

本发明实施例提出一种计算机程序产品，计算机程序产品包括存储在非暂态计算机可读存储介质上的计算程序，计算机程序包括程序指令，当程序指令被计算机执行时，使计算机执行：

采集标定物范围图像；

判断所述标定物范围图像中是否有遮挡物；

当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

第九实施例

本发明实施例提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行：

采集标定物范围图像；

判断所述标定物范围图像中是否有遮挡物；

当所述标定物范围图像中有遮挡物时，将该图像从标定图像中排除。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于计算机可读取存储介质中。执行时的程序，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory,rom)或随机存储记忆体(randomaccessmemory，ram)等。

基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台移动终端(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上具体实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。