全景泊车系统的图像拼接校准方法和图像拼接校准装置与流程

文档序号:14121459阅读:997来源:国知局
全景泊车系统的图像拼接校准方法和图像拼接校准装置与流程

本发明属于图像处理技术领域,尤其涉及全景泊车系统的图像拼接校准方法和图像拼接校准装置。



背景技术:

全景泊车系统是一种新型的车载辅助设备,由安装在车辆前后左右的4个摄像头(如超广角鱼眼摄像头)同时采集车辆四周的实时影像,经过对影像进行畸变还原-视角转化-图像拼接-图像增强,最终形成一幅车辆四周360°的全景图。驾驶员在停车过程中,可以通过全景泊车系统了解车辆周围的视线盲区,使得停车过程更加简单。

在全景泊车系统投入使用前,需要对4个摄像头拍摄的图像进行拼接校准,使得4个摄像头拍摄的图像能够准确地组合成一幅360°全景图像。目前针对全景泊车系统的图像拼接校准方式主要有两种。

第一种:在车辆四周摆放校准布,其中摆放在车辆四周的校准布要与车辆的纵向中心线严格平行或者垂直,精确测量各个校准布和车辆之间的相对距离,全景泊车系统根据前述的相对距离进行图像拼接校准。

第二种:在车辆四周摆放校准布,其中摆放在车辆四周的校准布要与车辆的纵向中心线(是指连接车头和车尾的中心线)严格平行或者垂直,保证校准布能够被摄像头的视角覆盖,在全景泊车系统的显示界面分别对各个摄像头采集的图像手动选取标定点,如果这些选定的标定点是准确的,那么全景泊车系统能够对4个摄像头采集的图像进行图像拼接校准。

上述的图像拼接校准方式,对用户摆放校准布有严格的位置要求,并且需要用户精确测量校准布与车辆之间的相对距离,或者需要用户手动选取标定点,当任意一个操作出现偏差时,都会导致图像拼接出现问题,导致图像拼接校准过程的操作复杂,难度较高。



技术实现要素:

有鉴于此,本发明的目的在于提供一种全景泊车系统的图像拼接校准方法和图像拼接校准装置,以便降低用户在图像拼接校准过程中的操作难度。

为实现上述目的,本发明提供如下技术方案:

本发明提供一种全景泊车系统的图像拼接校准方法,所述全景泊车系统包括前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置,所述图像拼接校准方法包括:

在所述车辆位于初始位置的情况下,在所述车辆的前侧、后侧、左侧和右侧分别摆放第一校准布、第二校准布、第三校准布和第四校准布,其中,所述第三校准布的右侧边的中点以及所述第四校准布的左侧边的中点均与所述车辆的轮距的中点对齐,所述第一校准布和所述第二校准布分别包括预先划分的中间区域、左侧区域和右侧区域,所述前向图像采集装置能够采集所述第一校准布的图像,所述后向图像采集装置能够采集所述第二校准布的图像,所述左向图像采集装置能够采集所述第三校准布的图像,所述右向图像采集装置能够采集所述第四校准布的图像;

根据所述车辆的车身宽度确定所述第三校准布和所述第四校准布在预先构建的世界坐标系中的位置,所述世界坐标系的原点为所述车辆的四个车轮的中心点所构成矩形的中心点;

控制所述车辆平直向前行进至第一位置,获取所述左向图像采集装置当前采集的所述第三校准布以及所述第一校准布的左侧区域的图像,获取所述右向图像采集装置当前采集的所述第四校准布以及所述第一校准布的右侧区域的图像;

分析所述左向图像采集装置和所述右向图像采集装置当前采集的图像,确定所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系;

根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第一校准布在所述世界坐标系中的位置;

控制所述车辆平直向后行进至第二位置,获取所述左向图像采集装置当前采集的所述第三校准布以及所述第二校准布的左侧区域的图像,获取所述右向图像采集装置当前采集的所述第四校准布以及所述第二校准布的右侧区域的图像;

分析所述左向图像采集装置和所述右向图像采集装置当前采集的图像,确定所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系;

根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第二校准布在所述世界坐标系中的位置;

根据所述第一校准布、所述第二校准布、所述第三校准布和所述第四校准布在所述世界坐标系中的位置,确定所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置在车身的安装信息,所述安装信息包括安装位置和安装角度;

利用所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置的安装信息,确定全景泊车图像中各像素点在所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系。

优选的,上述图像拼接校准方法中,预先构建的世界坐标系的原点为所述车辆的四个车轮的中心点所构成矩形的中心点、x轴的正方向指向所述车辆的右侧、y轴的正方向指向所述车辆的后侧、z轴的正方向竖直向上;

所述根据所述车辆的车身宽度确定所述第三校准布和所述第四校准布在预先构建的世界坐标系中的位置,包括:

根据所述车辆的车身宽度确定所述第三校准布的右侧边的中点在所述世界坐标系中的坐标,所述第三校准布的右侧边的中点在所述世界坐标系统的坐标为所述第三校准布在所述世界坐标系中的位置;

根据所述车辆的车身宽度确定所述第四校准布的左侧边的中点在所述世界坐标系中的坐标,所述第四校准布的左侧边的中点在所述世界坐标系中的坐标为所述第四校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准方法中,所述分析所述左向图像采集装置和所述右向图像采集装置采集的图像,确定所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系,包括:

分析所述左向图像采集装置采集的所述第三校准布和第一校准布的左侧区域的图像,确定所述第三校准布的第一标定点到所述第一校准布的左侧区域的第二标定点的距离,分析所述右向图像采集装置采集的所述第四校准布和所述第一校准布的右侧区域的图像,确定所述第四校准布的第三标定点到所述第一校准布的右侧区域的第四标定点的距离;

所述根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第一校准布在所述世界坐标系中的位置,包括:

根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、所述第一标定点到所述第二标定点的距离、所述第三标定点到所述第四标定点的距离、以及所述第二标定点到第四标定点的距离,确定所述第一校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准方法中,所述分析所述左向图像采集装置和所述右向图像采集装置采集的图像,确定所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系,包括:

分析所述左向图像采集装置采集的所述第三校准布和所述第二校准布的左侧区域的图像,确定所述第三校准布的第五标定点到所述第二校准布的左侧区域的第六标定点的距离,分析所述右向图像采集装置采集的所述第四校准布和所述第二校准布的右侧区域的图像,确定所述第四校准布的第七标定点到所述第二校准布的右侧区域的第八标定点的距离;

所述根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第二校准布在所述世界坐标系中的位置,包括:

根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、所述第五标定点到所述第六标定点的距离、所述第七标定点到所述第八标定点的距离、以及所述第六标定点到所述第八标定点的距离,确定所述第二校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准方法中,所述第三校准布的第一标定点和第五标定点为所述第三校准布的中心点;所述第四校准布的第三标定点和第七标定点为所述第四校准布的中心点。

优选的,上述图像拼接校准方法中,所述根据所述第一校准布、所述第二校准布、所述第三校准布和所述第四校准布在所述世界坐标系中的位置,确定所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置在车身的安装信息,包括:

确定车辆在预设位置的情况下,所述第一校准布的预设角点在所述前向图像采集装置采集的第一校准布图像中的第一实际位置,所述第二校准布的预设角点在所述后向图像采集装置采集的第二校准布图像中的第二实际位置,所述第三校准布的预设角点在所述左向图像采集装置采集的第三校准布图像中的第三实际位置,所述第四校准布的预设角点在所述右向图像采集装置采集的第四校准布图像中的第四实际位置;

设定所述前向图像采集装置的安装信息;根据所述前向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述前向图像采集装置按照当前设定的安装信息安装状态下产生的第一校准布的虚拟图像中,所述第一校准布的预设角点的第一虚拟位置;如果所述第一实际位置和所述第一虚拟位置之间的差值小于前向最小数值,则当前设定的前向图像采集装置的安装信息为所述前向图像采集装置实际的安装信息;如果所述第一实际位置和所述第一虚拟位置之间的差值大于或等于所述前向最小数值,则重新设定所述前向图像采集装置的安装信息,并执行后续步骤,直至确定所述前向图像采集装置实际的安装信息;

设定所述后向图像采集装置的安装信息;根据所述后向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述后向图像采集装置按照当前设定的安装信息安装状态下产生的第二校准布的虚拟图像中,所述第二校准布的预设角点的第二虚拟位置;如果所述第二实际位置和所述第二虚拟位置之间的差值小于后向最小数值,则当前设定的后向图像采集装置的安装信息为所述后向图像采集装置实际的安装信息;如果所述第二实际位置和所述第二虚拟位置之间的差值大于或等于所述后向最小数值,则重新设定所述后向图像采集装置的安装信息,并执行后续步骤,直至确定所述后向图像采集装置实际的安装信息;

设定所述左向图像采集装置的安装信息;根据所述左向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述左向图像采集装置按照当前设定的安装信息安装状态下产生的第三校准布的虚拟图像中,所述第三校准布的预设角点的第三虚拟位置;如果所述第三实际位置和所述第三虚拟位置之间的差值小于左向最小数值,则当前设定的左向图像采集装置的安装信息为所述左向图像采集装置实际的安装信息;如果所述第三实际位置和所述第三虚拟位置之间的差值大于或等于所述左向最小数值,则重新设定所述左向图像采集装置的安装信息,并执行后续步骤,直至确定所述左向图像采集装置实际的安装信息;

设定所述右向图像采集装置的安装信息;根据所述右向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述右向图像采集装置按照当前设定的安装信息安装状态下产生的第四校准布的虚拟图像中,所述第四校准布的预设角点的第四虚拟位置;如果所述第四实际位置和所述第四虚拟位置之间的差值小于右向最小数值,则当前设定的右向图像采集装置的安装信息为所述右向图像采集装置实际的安装信息;如果所述第四实际位置和所述第四虚拟位置之间的差值大于或等于所述右向最小数值,则重新设定所述右向图像采集装置的安装信息,并执行后续步骤,直至确定所述右向图像采集装置实际的安装信息。

本发明还提供一种全景泊车系统的图像拼接校准装置,所述全景泊车系统包括前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置,所述图像拼接校准装置包括:

第一位置确定单元,在所述车辆处于初始位置的情况下,根据所述车辆的车身宽度确定所述第三校准布和所述第四校准布在预先构建的世界坐标系中的位置,所述世界坐标系的原点为所述车辆的四个车轮的中心点所构成矩形的中心点;其中,在所述车辆位于初始位置的情况下,在所述车辆的前侧、后侧、左侧和右侧分别摆放第一校准布、第二校准布、第三校准布和第四校准布,所述第三校准布的右侧边的中点以及所述第四校准布的左侧边的中点均与所述车辆的轮距的中点对齐,所述第一校准布和所述第二校准布分别包括预先划分的中间区域、左侧区域和右侧区域,所述前向图像采集装置能够采集所述第一校准布的图像,所述后向图像采集装置能够采集所述第二校准布的图像,所述左向图像采集装置能够采集所述第三校准布的图像,所述右向图像采集装置能够采集所述第四校准布的图像;

第一位置关系确定单元,用于在所述车辆平直向前行进至第一位置时,获取所述左向图像采集装置当前采集的所述第三校准布以及所述第一校准布的左侧区域的图像,获取所述右向图像采集装置当前采集的所述第四校准布以及所述第一校准布的右侧区域的图像,分析所述左向图像采集装置和所述右向图像采集装置当前采集的图像,确定所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系;

第二位置确定单元,用于根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第一校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第一校准布在所述世界坐标系中的位置;

第二位置关系确定单元,用于在所述车辆平直向后行进至第二位置时,获取所述左向图像采集装置当前采集的所述第三校准布以及所述第二校准布的左侧区域的图像,获取所述右向图像采集装置当前采集的所述第四校准布以及所述第二校准布的右侧区域的图像,分析所述左向图像采集装置和所述右向图像采集装置当前采集的图像,确定所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系;

第三位置确定单元,用于根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、以及所述第二校准布相对于所述第三校准布和所述第四校准布的位置关系,确定所述第二校准布在所述世界坐标系中的位置;

安装信息确定单元,用于根据所述第一校准布、所述第二校准布、所述第三校准布和所述第四校准布在所述世界坐标系中的位置,确定所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置在车身的安装信息,所述安装信息包括安装位置和安装角度;

校准单元,用于利用所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置的安装信息,确定全景泊车图像中各像素点在所述前向图像采集装置、所述后向图像采集装置、所述左向图像采集装置和所述右向图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系。

优选的,上述图像拼接校准装置中,预先构建的世界坐标系的原点为所述车辆的四个车轮的中心点所构成矩形的中心点、x轴的正方向指向所述车辆的右侧、y轴的正方向指向所述车辆的后侧、z轴的正方向竖直向上;

所述第一位置确定单元具体用于:根据所述车辆的车身宽度确定所述第三校准布的右侧边的中点在所述世界坐标系中的坐标,所述第三校准布的右侧边的中点在所述世界坐标系统的坐标为所述第三校准布在所述世界坐标系中的位置;根据所述车辆的车身宽度确定所述第四校准布的左侧边的中点在所述世界坐标系中的坐标,所述第四校准布的左侧边的中点在所述世界坐标系中的坐标为所述第四校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准装置中,所述第一位置关系确定单元具体用于:分析所述左向图像采集装置采集的所述第三校准布和第一校准布的左侧区域的图像,确定所述第三校准布的第一标定点到所述第一校准布的左侧区域的第二标定点的距离,分析所述右向图像采集装置采集的所述第四校准布和所述第一校准布的右侧区域的图像,确定所述第四校准布的第三标定点到所述第一校准布的右侧区域的第四标定点的距离;

所述第二位置确定单元具体用于:根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、所述第一标定点到所述第二标定点的距离、所述第三标定点到所述第四标定点的距离、以及所述第二标定点到第四标定点的距离,确定所述第一校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准装置中,所述第二位置关系确定单元具体用于:分析所述左向图像采集装置采集的所述第三校准布和所述第二校准布的左侧区域的图像,确定所述第三校准布的第五标定点到所述第二校准布的左侧区域的第六标定点的距离,分析所述右向图像采集装置采集的所述第四校准布和所述第二校准布的右侧区域的图像,确定所述第四校准布的第七标定点到所述第二校准布的右侧区域的第八标定点的距离;

所述第三位置确定单元具体用于:根据所述第三校准布和所述第四校准布在所述世界坐标系中的位置、所述第五标定点到所述第六标定点的距离、所述第七标定点到所述第八标定点的距离、以及所述第六标定点到所述第八标定点的距离,确定所述第二校准布在所述世界坐标系中的位置。

优选的,上述图像拼接校准装置中,所述安装信息确定单元包括:

角点实际位置确定模块,用于确定车辆在预设位置的情况下,所述第一校准布的预设角点在所述前向图像采集装置采集的第一校准布图像中的第一实际位置,所述第二校准布的预设角点在所述后向图像采集装置采集的第二校准布图像中的第二实际位置,所述第三校准布的预设角点在所述左向图像采集装置采集的第三校准布图像中的第三实际位置,所述第四校准布的预设角点在所述右向图像采集装置采集的第四校准布图像中的第四实际位置;

第一处理模块,用于设定所述前向图像采集装置的安装信息;根据所述前向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述前向图像采集装置按照当前设定的安装信息安装状态下产生的第一校准布的虚拟图像中,所述第一校准布的预设角点的第一虚拟位置;如果所述第一实际位置和所述第一虚拟位置之间的差值小于前向最小数值,则当前设定的前向图像采集装置的安装信息为所述前向图像采集装置实际的安装信息;如果所述第一实际位置和所述第一虚拟位置之间的差值大于或等于所述前向最小数值,则重新设定所述前向图像采集装置的安装信息,并执行后续操作,直至确定所述前向图像采集装置实际的安装信息;

第二处理模块,用于设定所述后向图像采集装置的安装信息;根据所述后向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述后向图像采集装置按照当前设定的安装信息安装状态下产生的第二校准布的虚拟图像中,所述第二校准布的预设角点的第二虚拟位置;如果所述第二实际位置和所述第二虚拟位置之间的差值小于后向最小数值,则当前设定的后向图像采集装置的安装信息为所述后向图像采集装置实际的安装信息;如果所述第二实际位置和所述第二虚拟位置之间的差值大于或等于所述后向最小数值,则重新设定所述后向图像采集装置的安装信息,并执行后续操作,直至确定所述后向图像采集装置实际的安装信息;

第三处理模块,用于设定所述左向图像采集装置的安装信息;根据所述左向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述左向图像采集装置按照当前设定的安装信息安装状态下产生的第三校准布的虚拟图像中,所述第三校准布的预设角点的第三虚拟位置;如果所述第三实际位置和所述第三虚拟位置之间的差值小于左向最小数值,则当前设定的左向图像采集装置的安装信息为所述左向图像采集装置实际的安装信息;如果所述第三实际位置和所述第三虚拟位置之间的差值大于或等于所述左向最小数值,则重新设定所述左向图像采集装置的安装信息,并执行后续操作,直至确定所述左向图像采集装置实际的安装信息;

第四处理模块,用于设定所述右向图像采集装置的安装信息;根据所述右向图像采集装置在所述世界坐标系中的位置,计算车辆在所述预设位置的情况下,所述右向图像采集装置按照当前设定的安装信息安装状态下产生的第四校准布的虚拟图像中,所述第四校准布的预设角点的第四虚拟位置;如果所述第四实际位置和所述第四虚拟位置之间的差值小于右向最小数值,则当前设定的右向图像采集装置的安装信息为所述右向图像采集装置实际的安装信息;如果所述第四实际位置和所述第四虚拟位置之间的差值大于或等于所述右向最小数值,则重新设定所述右向图像采集装置的安装信息,并执行后续操作,直至确定所述右向图像采集装置实际的安装信息。

由此可见,本发明的有益效果为:

基于本发明公开的全景泊车系统的图像拼接方法,用户在车辆位于初始位置的情况下,需要在车辆的前后左右分别摆放第一校准布、第二校准布、第三校准布和第四校准布,使得全景泊车系统中的前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置,分别能够采集第一校准布、第二校准布、第三校准布和第四校准布的图像,并且第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,之后全景泊车系统利用车身宽度确定第三校准布和第四校准布在预先构建的世界坐标系中的位置,全景泊车系统利用左向图像采集装置和右向图像采集装置在车辆处于第一位置情况下采集的图像,确定第一校准布在世界坐标系中的位置,全景泊车系统利用左向图像采集装置和右向图像采集装置在车辆处于第二位置情况下采集的图像,确定第二校准布在世界坐标系中的位置,之后全景泊车系统利用四个校准布在世界坐标系中的位置确定各个图像采集装置的安装信息,基于安装信息确定全景泊车图像中各像素点在各个图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系,完成图像拼接校准。

对于用户而言,在全景泊车系统进行图像拼接校准之前,只需要在车辆的前后左右分别摆放第一校准布、第二校准布、第三校准布和第四校准布,并且摆放校准布的过程中只需要保证第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,而不用保证车辆四周的校准布要与车辆的纵向中心线严格平行或者垂直;在全景泊车系统进行图像拼接校准过程中,用户只需要控制车辆行进至第一位置和第二位置,不需要对各个图像采集装置采集的图像手动选取标定点。可以看到,基于本发明公开的全景泊车系统的图像拼接校准方法,降低了用户的操作难度,相应的,能够降低用户操作出现偏差的概率,从而提高图像拼接校准的准确度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。

图1为本发明公开的一种全景泊车系统的图像拼接校准方法的流程图;

图2为本发明中校准布的放置位置示意图;

图3为本发明中车辆位于第一位置情况下的示意图;

图4为本发明中车辆位于第二位置情况下的示意图;

图5为本发明中车辆位于第一位置情况下各标定点的距离的示意图;

图6为本发明公开的一种全景泊车系统的图像拼接校准装置的结构示意图;

图7为本发明公开的一种安装信息确定单元的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明公开一种全景泊车系统的图像拼接校准方法和图像拼接校准装置,以便降低用户在图像拼接校准过程中的操作难度。其中,全景泊车系统包括前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置。

参见图1,图1为本发明公开的一种全景泊车系统的图像拼接校准方法的流程图。该图像拼接校准方法包括:

步骤s1:在车辆位于初始位置的情况下,在车辆的前侧、后侧、左侧和右侧分别摆放校准布。

具体的,在车辆的前侧摆放的校准布记为第一校准布101,在车辆的后侧摆放的校准布记为第二校准布102,在车辆的左侧摆放的校准布记为第三校准布103,在车辆的右侧摆放的校准布记为第四校准布104,如图2中所示。

其中,第三校准布103的右侧边的中点、以及第四校准布104的左侧边的中点均与车辆的轮距的中点对齐。第一校准布101分别包括预先划分的中间区域101a、左侧区域101b和右侧区域101c,第二校准布分别包括预先划分的中间区域102a、左侧区域102b和右侧区域102c。

车辆位于初始位置的情况下,前向图像采集装置能够采集第一校准布101的图像,后向图像采集装置能够采集第二校准布102的图像,左向图像采集装置能够采集第三校准布103的图像,右向图像采集装置能够采集第四校准布104的图像。

步骤s2:根据车辆的车身宽度确定第三校准布103和第四校准布104在预先构建的世界坐标系中的位置。其中,预先构建的世界坐标系的原点为:车辆的四个车轮的中心点所构成矩形的中心点。

车辆的车身宽度是已知的,且第三校准布103的右侧边的中点、以及第四校准布104的左侧边的中点均与车辆的轮距的中点对齐,因此,根据车身宽度就可以确定第三校准布103和第四校准布104在预先构建的世界坐标系中的位置。

步骤s3:控制车辆平直向前行进至第一位置,获取左向图像采集装置当前采集的第三校准布103以及第一校准布101的左侧区域101a的图像,获取右向图像采集装置当前采集的第四校准布104以及第一校准布101的右侧区域101c的图像。

车辆位于第一位置时,左向图像采集装置能够同时采集第三校准布103以及第一校准布101的左侧区域101a的图像,右向图像采集装置同时采集第四校准布104以及第一校准布101的右侧区域101c的图像,如图3所示。

步骤s4:分析左向图像采集装置和右向图像采集装置当前采集的图像,确定第一校准布101相对于第三校准布103和第四校准布104的位置关系。

在控制车辆平直向前行进至第一位置后,左向图像采集装置采集的图像包括:第三校准布103的图像,以及第一校准布101的左侧区域101a的图像;右向图像采集装置采集的图像包括:第四校准布104的图像,以及第一校准布101的右侧区域101c的图像。

分析左向图像采集装置采集的第三校准布103和第一校准布101的左侧区域101a的图像、以及右向图像采集装置采集的第四校准布104和第一校准布101的右侧区域101c的图像,确定第一校准布101相对于第三校准布103和第四校准布104的位置关系。

步骤s5:根据第三校准布103和第四校准布104在世界坐标系中的位置、以及第一校准布101相对于第三校准布103和第四校准布104的位置关系,确定第一校准布101在世界坐标系中的位置。

第三校准布103和第四校准布104在世界坐标系中的位置已确定,并且在步骤s4中确定出第一校准布101相对于第三校准布103和第四校准布104的位置关系,据此就可以确定第一校准布101在世界坐标系中的位置。

步骤s6:控制车辆平直向后行进至第二位置,获取左向图像采集装置当前采集的第三校准布103以及第二校准布102的左侧区域102a的图像,获取右向图像采集装置当前采集的第四校准布104以及第二校准布102的右侧区域102c的图像。

车辆位于第二位置时,左向图像采集装置能够同时采集第三校准布103以及第二校准布102的左侧区域102a的图像,右向图像采集装置同时采集第四校准布104以及第二校准布102的右侧区域102c的图像,如图4所示。

步骤s7:分析左向图像采集装置和右向图像采集装置当前采集的图像,确定第二校准布102相对于第三校准布103和第四校准布104的位置关系。

在控制车辆平直向后行进至第二位置后,左向图像采集装置采集的图像包括:第三校准布103的图像,以及第二校准布102的左侧区域102a的图像;右向图像采集装置采集的图像包括:第四校准布104的图像,以及第二校准布102的右侧区域102c的图像。

分析左向图像采集装置采集的第三校准布103和第二校准布102的左侧区域102a的图像、以及右向图像采集装置采集的第四校准布104和第二校准布102的右侧区域102c的图像,确定第二校准布102相对于第三校准布103和第四校准布104的位置关系。

步骤s8:根据第三校准布和第四校准布在世界坐标系中的位置、以及第二校准布相对于第三校准布和第四校准布的位置关系,确定第二校准布在世界坐标系中的位置。

第三校准布103和第四校准布104在世界坐标系中的位置已确定,并且在步骤s7中确定出第二校准布102相对于第三校准布103和第四校准布104的位置关系,据此就可以确定第二校准布102在世界坐标系中的位置。

这里需要说明的是,实施过程中也可以先执行步骤s6至步骤s8,再执行步骤s3至步骤s5。

步骤s9:根据第一校准布101、第二校准布102、第三校准布103和第四校准布104在世界坐标系中的位置,确定前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置在车身的安装信息。其中,安装信息包括安装位置和安装角度。

步骤s10:利用前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置的安装信息,确定全景泊车图像中各像素点在前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系。

在确定前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置的安装信息后,就可以确定各个图像采集装置采集的图像中的像素点在预先构建的世界坐标系中的坐标,也就是确定各个图像采集装置采集的图像中的像素点在全景泊车图像中的位置,从而确定全景泊车图像中各像素点在前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置采集的图像中对应的像素点,建立全景泊车图像中各像素点与前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置采集的图像中对应像素点的映射关系,并保存该映射关系。

实施中,可以以前向图像采集装置中传感器的中心点构建第一三维坐标系,以后向图像采集装置中传感器的中心点构建第二三维坐标系,以左向图像采集装置中传感器的中心点构建第三三维坐标系,以右向图像采集装置中传感器的中心点构建第四三维坐标系。通过进行坐标转换,就可以确定第一三维坐标系、第二三维坐标系、第三三维坐标系和第四三维坐标系中坐标点在预先构建的世界坐标系中的坐标,即确定各个图像采集装置采集的图像中的像素点在预先构建的世界坐标系中的坐标,也就确定了各个图像采集装置采集的图像中的像素点在全景泊车图像中的位置。

在完成图像拼接校准后,全景泊车系统在运行过程中,按照保存的映射关系,从前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置采集的图像中,查找构成全景泊车图像的各个像素点,这些查找到的像素点构成全景泊车图像。

基于本发明公开的全景泊车系统的图像拼接方法,用户在车辆位于初始位置的情况下,需要在车辆的前后左右分别摆放第一校准布、第二校准布、第三校准布和第四校准布,使得全景泊车系统中的前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置,分别能够采集第一校准布、第二校准布、第三校准布和第四校准布的图像,并且第三校准布和第四校准布相对于车辆的纵向中心线对称,第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,之后全景泊车系统利用车身宽度确定第三校准布和第四校准布在预先构建的世界坐标系中的位置,全景泊车系统利用左向图像采集装置和右向图像采集装置在车辆处于第一位置情况下采集的图像,确定第一校准布在世界坐标系中的位置,全景泊车系统利用左向图像采集装置和右向图像采集装置在车辆处于第二位置情况下采集的图像,确定第二校准布在世界坐标系中的位置,之后全景泊车系统利用四个校准布在世界坐标系中的位置确定各个图像采集装置的安装信息,基于安装信息确定全景泊车图像中各像素点在各个图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系,完成图像拼接校准。

对于用户而言,在全景泊车系统进行图像拼接校准之前,只需要在车辆的前后左右分别摆放第一校准布、第二校准布、第三校准布和第四校准布,并且摆放校准布的过程中只需要保证第三校准布和第四校准布相对于车辆的纵向中心线对称,第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,而不用保证车辆四周的校准布要与车辆的纵向中心线严格平行或者垂直;在全景泊车系统进行图像拼接校准过程中,用户只需要控制车辆行进至第一位置和第二位置,不需要对各个图像采集装置采集的图像手动选取标定点。可以看到,基于本发明公开的全景泊车系统的图像拼接校准方法,降低了用户的操作难度,相应的,能够降低用户操作出现偏差的概率,从而提高图像拼接校准的准确度。

在本发明上述公开的图像拼接校准方法中,作为一种实施方式,预先构建的世界坐标系的原点为车辆的四个车轮的中心点所构成矩形的中心点,x轴的正方向指向车辆的右侧,y轴的正方向指向车辆的后侧,z轴的正方向竖直向上。

相应的,步骤s2根据车辆的车身宽度确定第三校准布103和第四校准布104在预先构建的世界坐标系中的位置,可以采用如下方式:

根据车辆的车身宽度确定第三校准布的右侧边的中点在世界坐标系中的坐标,第三校准布的右侧边的中点在世界坐标系统的坐标为第三校准布在世界坐标系中的位置;

根据车辆的车身宽度确定第四校准布的左侧边的中点在世界坐标系中的坐标,第四校准布的左侧边的中点在世界坐标系中的坐标为第四校准布在世界坐标系中的位置。

预先构建的世界坐标系的原点为车辆的四个车轮的中心点所构成矩形的中心点,x轴的正方向指向车辆的右侧,y轴的正方向指向车辆的后侧,z轴的正方向竖直向上。而第三校准布103的右侧边的中点、以及第四校准布104的左侧边的中点均与车辆的轮距的中点对齐,那么,第三校准布103的右侧边的中点的坐标为(-a1/2-b1,0,0),第四校准布104的左侧边的中点的坐标为(a1/2+b1,0,0)。其中,a1为车辆的车身宽度,b1为第三校准布103的右侧边的中点与车身的左边缘之间的距离,b2为第四校准布104的左侧边的中点与车身的右边缘之间的距离。

作为一种优选实施方式,在放置第三校准布103和第四校准布104的过程中,保证第三校准布103和第四校准布104相对于车辆的纵向中心线对称,第三校准布103的右侧边的中点、以及第四校准布104的左侧边的中点均与车辆的轮距的中点对齐,另外还要将第三校准布103的右侧边与车身的左边缘平齐,将第四校准布104的右侧边与车身的右边缘平齐。

相应的,第三校准布103的右侧边的中点的坐标为(-a1/2,0,0),第四校准布104的左侧边的中点的坐标为(a1/2,0,0)。

另外,在本发明上述公开的图像拼接校准方法中,分析左向图像采集装置采集的第三校准布103和第一校准布101的左侧区域101a的图像、以及右向图像采集装置采集的第四校准布104和第一校准布101的右侧区域101c的图像,确定第一校准布101相对于第三校准布103和第四校准布104的位置关系,可以采用如下方式:

分析左向图像采集装置采集的第三校准布103和第一校准布101的左侧区域101a的图像,确定第三校准布103的第一标定点到第一校准布101的左侧区域101a的第二标定点的距离;

分析右向图像采集装置采集的第四校准布104和第一校准布101的右侧区域101c的图像,确定第四校准布104的第三标定点到第一校准布101的右侧区域101c的第四标定点的距离。

相应的,根据第三校准布103和第四校准布104在世界坐标系中的位置、以及第一校准布101相对于第三校准布103和第四校准布104的位置关系,确定第一校准布101在世界坐标系中的位置,可以采用如下方式:

根据第三校准布和第四校准布在世界坐标系中的位置、第一标定点到第二标定点的距离、第三标定点到第四标定点的距离、以及第二标定点到第四标定点的距离,确定第一校准布在世界坐标系中的位置。

具体的:

在第三校准布103中选择第一标定点,在第一校准布101的左侧区域101a选择第二标定点。通过对左向图像采集装置采集的第三校准布103的图像以及第一校准布101的左侧区域101a的图像进行分析,确定第一标定点与第二标定点之间的距离,该距离是第一标定点和第二标定点之间的实际距离,而不是在图像中的距离。

在第四校准布104中选择第三标定点,在第一校准布101的右侧区域101c选择第四标定点。通过对右向图像采集装置采集的第四校准布104的图像以及第一校准布101的右侧区域101c的图像进行分析,确定第三标定点与第四标定点之间的距离,该距离是第三标定点和第四标定点之间的实际距离,而不是在图像中的距离。

之后,确定第二标定点与第四标定点之间的距离,根据第三校准布和第四校准布在世界坐标系中的位置、第一标定点到第二标定点的距离、第三标定点到第四标定点的距离、以及第二标定点到第四标定点的距离,确定第一校准布在世界坐标系中的位置。

以图5为例,第三校准布103在世界坐标系中的位置为:第三校准布103的右侧边的中点在世界坐标系中的坐标,第四校准布104在世界坐标系中的位置为:第四校准布104的左侧边的中点在世界坐标系中的坐标。

第一标定点在第三校准布103中的位置是已知的,那么根据第三校准布103的右侧边的中点在世界坐标系中的坐标,就可以确定第一标定点在世界坐标系中的坐标。同样的,第三标定点在第四校准布104中的位置是已知的,那么根据第四校准布104的左侧边的中点在世界坐标系中的坐标,可以确定第三标定点在世界坐标系中的坐标。

第一标定点与第二标定点之间的距离为a,第三标定点与第四标定点之间的距离为b,第二标定点与第四标定点之间的距离为c。根据第一标定点和第三标定点在世界坐标系中的坐标,以及前述的距离值,就可以确定第二标定点和第四标定点在世界坐标系中的坐标。

实施中,可以将第二标定点和第四标定点在世界坐标系中的坐标作为第一校准布101在世界坐标系中的位置,也可以根据第二标定点和第四标定点在世界坐标系中的坐标计算另一点(例如第一校准布101的中心点)在世界坐标系中的坐标,将该点在世界坐标系中的坐标作为第一校准布101在世界坐标系中的位置。

在本发明上述公开的图像拼接校准方法中,分析左向图像采集装置采集的第三校准布103和第二校准布102的左侧区域102a的图像、以及右向图像采集装置采集的第四校准布104和第二校准布102的右侧区域102c的图像,确定第二校准布102相对于第三校准布103和第四校准布104的位置关系,可以采用如下方式:

分析左向图像采集装置采集的第三校准布103和第二校准布102的左侧区域102a的图像,确定第三校准布103的第五标定点到第二校准布102的左侧区域102a的第六标定点的距离;

分析右向图像采集装置采集的第四校准布104和第二校准布102的右侧区域102c的图像,确定第四校准布104的第七标定点到第二校准布102的右侧区域102c的第八标定点的距离。

相应的,根据第三校准布103和第四校准布104在世界坐标系中的位置、以及第二校准布102相对于第三校准布103和第四校准布104的位置关系,确定第二校准布102在世界坐标系中的位置,包括:

根据第三校准布103和第四校准布104在世界坐标系中的位置、第五标定点到第六标定点的距离、第七标定点到第八标定点的距离、以及第六标定点到第八标定点的距离,确定第二校准布102在世界坐标系中的位置。

具体的:

在第三校准布103中选择第五标定点,在第二校准布102的左侧区域102a选择第六标定点。通过对左向图像采集装置采集的第三校准布103的图像以及第二校准布102的左侧区域102a的图像进行分析,确定第五标定点与第六标定点之间的距离,该距离是第五标定点和第六标定点之间的实际距离,而不是在图像中的距离。

在第四校准布104中选择第七标定点,在第二校准布102的右侧区域102c选择第八标定点。通过对右向图像采集装置采集的第四校准布104的图像以及第二校准布102的右侧区域102c的图像进行分析,确定第七标定点与第八标定点之间的距离,该距离是第七标定点和第八标定点之间的实际距离,而不是在图像中的距离。

之后,确定第六标定点与第八标定点之间的距离,根据第三校准布103和第四校准布104在世界坐标系中的位置、第五标定点到第六标定点的距离、第七标定点到第八标定点的距离、以及第六标定点到第八标定点的距离,确定第二校准布102在世界坐标系中的位置。

以一个示例进行说明:

第三校准布103在世界坐标系中的位置为:第三校准布103的右侧边的中点在世界坐标系中的坐标,第四校准布104在世界坐标系中的位置为:第四校准布104的左侧边的中点在世界坐标系中的坐标。

第五标定点在第三校准布103中的位置是已知的,那么根据第三校准布103的右侧边的中点在世界坐标系中的坐标,就可以确定第五标定点在世界坐标系中的坐标。同样的,第七标定点在第四校准布104中的位置是已知的,那么根据第四校准布104的左侧边的中点在世界坐标系中的坐标,可以确定第七标定点在世界坐标系中的坐标。

第五标定点与第六标定点之间的距离为d,第七标定点与第八标定点之间的距离为e,第六标定点与第八标定点之间的距离为f。根据第五标定点和第七标定点在世界坐标系中的坐标,以及前述的距离值,就可以确定第六标定点和第八标定点在世界坐标系中的坐标。

实施中,可以将第六标定点和第八标定点在世界坐标系中的坐标作为第二校准布102在世界坐标系中的位置,也可以根据第六标定点和第八标定点在世界坐标系中的坐标计算另一点(例如第二校准布102的中心点)在世界坐标系中的坐标,将该点在世界坐标系中的坐标作为第二校准布102在世界坐标系中的位置。

作为一种优选实施方式,第三校准布103的第一标定点和第五标定点选为第三校准布103中的同一点,第四校准布104的第三标定点和第七标定点选为第四校准布104中的同一点。当第一标定点和第五标定点选为同一点,第三标定点和第七标定点选为同一点时,能够减少图像拼接校准过程中的运算量。

例如,第三校准布103的第一标定点和第五标定点选为第三校准布103的中心点,或者选为第三校准布103的右侧边的中点。第四校准布104的第三标定点和第七标定点选为第四校准布104的中心点,或者选为第四校准布104的左侧边的中点。

在本发明上述公开的图像拼接校准方法中,步骤s10根据第一校准布、第二校准布、第三校准布和第四校准布在世界坐标系中的位置,确定前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置在车身的安装信息,可以采用如下方式:

确定车辆在预设位置的情况下,第一校准布的预设角点在前向图像采集装置采集的第一校准布图像中的第一实际位置,第二校准布的预设角点在后向图像采集装置采集的第二校准布图像中的第二实际位置,第三校准布的预设角点在左向图像采集装置采集的第三校准布图像中的第三实际位置,第四校准布的预设角点在右向图像采集装置采集的第四校准布图像中的第四实际位置;

设定前向图像采集装置的安装信息;根据前向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,前向图像采集装置按照当前设定的安装信息安装状态下产生的第一校准布的虚拟图像中,第一校准布的预设角点的第一虚拟位置;如果第一实际位置和第一虚拟位置之间的差值小于前向最小数值,则当前设定的前向图像采集装置的安装信息为前向图像采集装置实际的安装信息;如果第一实际位置和第一虚拟位置之间的差值大于或等于前向最小数值,则重新设定前向图像采集装置的安装信息,并执行后续步骤,直至确定前向图像采集装置实际的安装信息;

设定后向图像采集装置的安装信息;根据后向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,后向图像采集装置按照当前设定的安装信息安装状态下产生的第二校准布的虚拟图像中,第二校准布的预设角点的第二虚拟位置;如果第二实际位置和第二虚拟位置之间的差值小于后向最小数值,则当前设定的后向图像采集装置的安装信息为后向图像采集装置实际的安装信息;如果第二实际位置和第二虚拟位置之间的差值大于或等于后向最小数值,则重新设定后向图像采集装置的安装信息,并执行后续步骤,直至确定后向图像采集装置实际的安装信息;

设定左向图像采集装置的安装信息;根据左向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,左向图像采集装置按照当前设定的安装信息安装状态下产生的第三校准布的虚拟图像中,第三校准布的预设角点的第三虚拟位置;如果第三实际位置和第三虚拟位置之间的差值小于左向最小数值,则当前设定的左向图像采集装置的安装信息为左向图像采集装置实际的安装信息;如果第三实际位置和第三虚拟位置之间的差值大于或等于左向最小数值,则重新设定左向图像采集装置的安装信息,并执行后续步骤,直至确定左向图像采集装置实际的安装信息;

设定右向图像采集装置的安装信息;根据右向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,右向图像采集装置按照当前设定的安装信息安装状态下产生的第四校准布的虚拟图像中,第四校准布的预设角点的第四虚拟位置;如果第四实际位置和第四虚拟位置之间的差值小于右向最小数值,则当前设定的右向图像采集装置的安装信息为右向图像采集装置实际的安装信息;如果第四实际位置和第四虚拟位置之间的差值大于或等于右向最小数值,则重新设定右向图像采集装置的安装信息,并执行后续步骤,直至确定右向图像采集装置实际的安装信息。

这里以确定前向图像采集装置的安装信息为例:

首先,获取车辆在该预设位置时,前向图像采集装置实际采集到的第一校准布的图像,确定第一校准布的预设角点在该图像中的位置,该位置为第一校准布的预设角点的实际位置。

之后,设定前向图像采集装置的安装信息,计算前向图像采集装置采用该安装信息进行安装的情况下,第一校准布的预设角点在前向图像采集装置产生的第一校准布的虚拟图像中的虚拟位置,如果第一校准布的预设角点的虚拟位置和实际位置的偏差满足预设要求,表明当前设定的前向图像采集装置的安装信息与实际的安装信息非常接近,可以将当前设定的安装信息作为前向图像采集装置的实际安装信息。如果第一校准布的预设角点的虚拟位置和实际位置的偏差较大,表明当前设定的前向图像采集装置的安装信息与实际的安装信息偏差较大,此时按照预设步长调整前向图像采集装置的安装信息,再执行后续操作,直至得到前向图像采集装置的实际安装信息。

这里需要说明的是,各个图像采集装置的安装信息包括安装位置和安装角度。并且,图像采集装置的安装位置包括该图像采集装置在三维坐标系中各个坐标轴上的坐标,图像采集装置的安装角度包括图像采集装置在三维坐标系中各个坐标轴上的角度。也就是说,每个图像采集装置的安装信息包括6个变量。

实施中,在调整各个图像采集装置的安装信息的过程中,对6个变量逐个进行调整,当确定一个变量之后,再对下一个变量进行调整,直至确定出全部6个变量。

本发明上述公开了全景泊车系统的图像拼接校准方法,相应的,本发明还公开全景泊车系统的图像拼接校准装置。下文关于图像拼接校准装置的描述与上文关于图像拼接校准方法的描述,可以相互参见。

参见图6,图6为本发明公开的一种全景泊车系统的图像拼接校准装置的结构示意图。该图像拼接校准装置包括第一位置确定单元100、第一位置关系确定单元200、第二位置确定单元300、第二位置关系确定单元400、第三位置确定单元500、安装信息确定单元600和校准单元700。

第一位置确定单元100,在车辆处于初始位置的情况下,根据车辆的车身宽度确定第三校准布和第四校准布在预先构建的世界坐标系中的位置,世界坐标系的原点为车辆的四个车轮的中心点所构成矩形的中心点。

其中,在车辆位于初始位置的情况下,在车辆的前侧、后侧、左侧和右侧分别摆放第一校准布、第二校准布、第三校准布和第四校准布,第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,第一校准布和第二校准布分别包括预先划分的中间区域、左侧区域和右侧区域,前向图像采集装置能够采集第一校准布的图像,后向图像采集装置能够采集第二校准布的图像,左向图像采集装置能够采集第三校准布的图像,右向图像采集装置能够采集第四校准布的图像。

第一位置关系确定单元200,用于在车辆平直向前行进至第一位置时,获取左向图像采集装置当前采集的第三校准布以及第一校准布的左侧区域的图像,获取右向图像采集装置当前采集的第四校准布以及第一校准布的右侧区域的图像,分析左向图像采集装置和右向图像采集装置当前采集的图像,确定第一校准布相对于第三校准布和第四校准布的位置关系。

第二位置确定单元300,用于根据第三校准布和第四校准布在世界坐标系中的位置、以及第一校准布相对于第三校准布和第四校准布的位置关系,确定第一校准布在世界坐标系中的位置。

第二位置关系确定单元400,用于在车辆平直向后行进至第二位置时,获取左向图像采集装置当前采集的第三校准布以及第二校准布的左侧区域的图像,获取右向图像采集装置当前采集的第四校准布以及第二校准布的右侧区域的图像,分析左向图像采集装置和右向图像采集装置当前采集的图像,确定第二校准布相对于第三校准布和第四校准布的位置关系。

第三位置确定单元500,用于根据第三校准布和第四校准布在世界坐标系中的位置、以及第二校准布相对于第三校准布和第四校准布的位置关系,确定第二校准布在世界坐标系中的位置。

安装信息确定单元600,用于根据第一校准布、第二校准布、第三校准布和第四校准布在世界坐标系中的位置,确定前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置在车身的安装信息,安装信息包括安装位置和安装角度。

校准单元700,用于利用前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置的安装信息,确定全景泊车图像中各像素点在前向图像采集装置、后向图像采集装置、左向图像采集装置和右向图像采集装置采集的图像中对应的像素点,建立并存储对应像素点的映射关系。

利用本发明公开的图像拼接校准装置,用户在全景泊车系统进行图像拼接校准之前,只需要在车辆的前后左右分别摆放第一校准布、第二校准布、第三校准布和第四校准布,并且摆放校准布的过程中只需要保证第三校准布的右侧边的中点以及第四校准布的左侧边的中点均与车辆的轮距的中点对齐,而不用保证车辆四周的校准布要与车辆的纵向中心线严格平行或者垂直;在全景泊车系统进行图像拼接校准过程中,用户只需要控制车辆行进至第一位置和第二位置,不需要对各个图像采集装置采集的图像手动选取标定点。可以看到,基于本发明公开的全景泊车系统的图像拼接校准方法,降低了用户的操作难度,相应的,能够降低用户操作出现偏差的概率,从而提高图像拼接校准的准确度。

在本发明上述公开的图像拼接校准装置中,作为一种实施方式,预先构建的世界坐标系的原点为车辆的四个车轮的中心点所构成矩形的中心点,x轴的正方向指向车辆的右侧,y轴的正方向指向车辆的后侧,z轴的正方向竖直向上。

相应的,第一位置确定单元100具体用于:根据车辆的车身宽度确定第三校准布的右侧边的中点在世界坐标系中的坐标,第三校准布的右侧边的中点在世界坐标系统的坐标为第三校准布在世界坐标系中的位置;根据车辆的车身宽度确定第四校准布的左侧边的中点在世界坐标系中的坐标,第四校准布的左侧边的中点在世界坐标系中的坐标为第四校准布在世界坐标系中的位置。

作为一个示例,在本发明上述公开的图像拼接校准装置中,第一位置关系确定单元200具体用于:分析左向图像采集装置采集的第三校准布和第一校准布的左侧区域的图像,确定第三校准布的第一标定点到第一校准布的左侧区域的第二标定点的距离,分析右向图像采集装置采集的第四校准布和第一校准布的右侧区域的图像,确定第四校准布的第三标定点到第一校准布的右侧区域的第四标定点的距离.

第二位置确定单元300具体用于:根据第三校准布和第四校准布在世界坐标系中的位置、第一标定点到第二标定点的距离、第三标定点到第四标定点的距离、以及第二标定点到第四标定点的距离,确定第一校准布在世界坐标系中的位置。

作为一个示例,在本发明上述公开的图像拼接校准装置中,第二位置关系确定单元400具体用于:分析左向图像采集装置采集的第三校准布和第二校准布的左侧区域的图像,确定第三校准布的第五标定点到第二校准布的左侧区域的第六标定点的距离,分析右向图像采集装置采集的第四校准布和第二校准布的右侧区域的图像,确定第四校准布的第七标定点到第二校准布的右侧区域的第八标定点的距离。

第三位置确定单元500具体用于:根据第三校准布和第四校准布在世界坐标系中的位置、第五标定点到第六标定点的距离、第七标定点到第八标定点的距离、以及第六标定点到第八标定点的距离,确定第二校准布在世界坐标系中的位置。

作为一个示例,在本发明上述公开的图像拼接校准装置中,安装信息确定单元600如图7所示,包括角点实际位置确定模块601、第一处理模块602、第二处理模块603、第三处理模块604和第四处理模块605。

其中:

角点实际位置确定模块601,用于确定车辆在预设位置的情况下,第一校准布的预设角点在前向图像采集装置采集的第一校准布图像中的第一实际位置,第二校准布的预设角点在后向图像采集装置采集的第二校准布图像中的第二实际位置,第三校准布的预设角点在左向图像采集装置采集的第三校准布图像中的第三实际位置,第四校准布的预设角点在右向图像采集装置采集的第四校准布图像中的第四实际位置。

第一处理模块602,用于设定前向图像采集装置的安装信息;根据前向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,前向图像采集装置按照当前设定的安装信息安装状态下产生的第一校准布的虚拟图像中,第一校准布的预设角点的第一虚拟位置;如果第一实际位置和第一虚拟位置之间的差值小于前向最小数值,则当前设定的前向图像采集装置的安装信息为前向图像采集装置实际的安装信息;如果第一实际位置和第一虚拟位置之间的差值大于或等于前向最小数值,则重新设定前向图像采集装置的安装信息,并执行后续操作,直至确定前向图像采集装置实际的安装信息。

第二处理模块603,用于设定后向图像采集装置的安装信息;根据后向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,后向图像采集装置按照当前设定的安装信息安装状态下产生的第二校准布的虚拟图像中,第二校准布的预设角点的第二虚拟位置;如果第二实际位置和第二虚拟位置之间的差值小于后向最小数值,则当前设定的后向图像采集装置的安装信息为后向图像采集装置实际的安装信息;如果第二实际位置和第二虚拟位置之间的差值大于或等于后向最小数值,则重新设定后向图像采集装置的安装信息,并执行后续操作,直至确定后向图像采集装置实际的安装信息。

第三处理模块604,用于设定左向图像采集装置的安装信息;根据左向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,左向图像采集装置按照当前设定的安装信息安装状态下产生的第三校准布的虚拟图像中,第三校准布的预设角点的第三虚拟位置;如果第三实际位置和第三虚拟位置之间的差值小于左向最小数值,则当前设定的左向图像采集装置的安装信息为左向图像采集装置实际的安装信息;如果第三实际位置和第三虚拟位置之间的差值大于或等于左向最小数值,则重新设定左向图像采集装置的安装信息,并执行后续操作,直至确定左向图像采集装置实际的安装信息。

第四处理模块605,用于设定右向图像采集装置的安装信息;根据右向图像采集装置在世界坐标系中的位置,计算车辆在预设位置的情况下,右向图像采集装置按照当前设定的安装信息安装状态下产生的第四校准布的虚拟图像中,第四校准布的预设角点的第四虚拟位置;如果第四实际位置和第四虚拟位置之间的差值小于右向最小数值,则当前设定的右向图像采集装置的安装信息为右向图像采集装置实际的安装信息;如果第四实际位置和第四虚拟位置之间的差值大于或等于右向最小数值,则重新设定右向图像采集装置的安装信息,并执行后续操作,直至确定右向图像采集装置实际的安装信息。

最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1