车载相机姿态自动估计的方法和装置与流程

本发明涉及车载相机领域，尤其涉及一种车载相机姿态自动估计的方法和装置。

背景技术：

现有技术中，在安装adas驾驶辅助设备的过程中，用户必须进行多项对摄像头的校正步骤，以保证各项功能的准确性。而在行车的过程中，摄像头的位置和角度难免因为诸如汽车震动或者用户触碰的原因而发生变化，进而导致检测结果的不准确。

技术实现要素：

本发明的目的是提供一种车载相机姿态自动估计的方法和装置。

根据本发明的一个方面，提供一种车载相机姿态自动估计的方法，其中，该方法包括以下步骤：

获取车内的摄像头拍摄的一段时间内的两帧图片；

对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；

依据摄像头的内参信息，计算出两帧图片的本征矩阵；

根据计算结果得到两帧图片相对的单位位移变换和旋转变换；

获取的汽车实时速度；

根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换；

应用光流算法获得前后两帧关心区域的对应点匹配信息；

利用ransac方法进而得到路面的单应矩阵；

通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；

根据所述外参矩阵自动调整。

根据本发明的另一个方面，还提供了一种车载相机姿态自动估计的装置，其中，该装置包括以下装置：

获取模块，用于获取车内的摄像头拍摄的一段时间内的两帧图片；

特征提取模块，用于对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；

本证矩阵计算模块，用于依据摄像头的内参信息，计算出两帧图片的本征矩阵；

第一变换计算模块，用于根据计算结果得到两帧图片相对的单位位移变换和旋转变换；

速度获取模块，用于获取的汽车实时速度；

第一变换计算模块，用于根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换；

匹配信息计算模块，用于应用光流算法获得前后两帧关心区域的对应点匹配信息；

单应矩阵计算模块，用于利用ransac方法进而得到路面的单应矩阵；

外参矩阵计算模块，用于通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；

调整模块，用于根据所述外参矩阵自动调整。

与现有技术相比，本发明具有以下优点：现有技术中，在安装adas驾驶辅助设备的过程中，用户必须进行多项对摄像头的校正步骤，以保证各项功能的准确性。而在行车的过程中，摄像头的位置和角度难免因为诸如汽车震动或者用户触碰的原因而发生变化，进而导致检测结果的不准确。现有的技术根据单应和极几何从光流或者图像矫正的方式获得外参。本发明打破了本领域技术人员的上述惯性思维，并能够实现以下效果：获取车内的摄像头拍摄的一段时间内的两帧图片；对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；依据摄像头的内参信息，计算出两帧图片的本征矩阵；根据计算结果得到两帧图片相对的单位位移变换和旋转变换。获取的汽车实时速度；根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换。应用光流算法获得前后两帧关心区域的对应点匹配信息；利用ransac方法进而得到路面的单应矩阵；通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；根据所述外参矩阵自动调整。避免了用户要时常进行校准的麻烦。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一个实施例的车载相机姿态自动估计的方法的流程框图；

图2为本发明一个实施例的车载相机姿态自动估计的装置的结构框图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时，用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。

这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。

应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。

应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。

这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。

还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。

下面结合附图对本发明作进一步详细描述。

图1为本发明一个实施例的车载相机姿态自动估计的方法的流程示意图。

该方法包括以下步骤：

步骤s111，获取车内的摄像头拍摄的一段时间内的两帧图片；

步骤s112，对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；

步骤s113，依据摄像头的内参信息，计算出两帧图片的本征矩阵；

步骤s114，根据计算结果得到两帧图片相对的单位位移变换和旋转变换；

步骤s115，获取的汽车实时速度；

步骤s116，根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换；

步骤s117，应用光流算法获得前后两帧关心区域的对应点匹配信息；

步骤s118，利用ransac方法进而得到路面的单应矩阵；

步骤s119，通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；

步骤s110，根据所述外参矩阵自动调整。

本发明所需要的设备包括一个固定在车内前方拍摄车外前方的单目摄像头或者多目摄像头以及与之通过数据线相连的用于运算的嵌入式微处理器，和汽车总线系统相连的速度获取模块。

1)通过对摄像头拍摄的前后两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点。依据摄像头的内参信息，可以计算出两帧直接的本征矩阵，进而得到两帧图片相对的单位位移变换和旋转变换。依靠通过速度获取模块获得的汽车实时速度，可以得到在两帧的时间内真实位移变换和旋转变换。

2)在汽车行进的过程中，摄像头拍摄的照片大部分应是路面。应用光流算法可以获得前后两帧关心区域的对应点匹配信息。利用ransac方法可以进而得到路面的单应矩阵。

3)通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程可以计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵。

4)从单一的前后两帧之间获得的外参信息可能由于噪声的影响而出现偏差，对连续的多帧图片进行滤波操作可以使得获得的外参信息收敛到一个稳定的准确的范围。

根据本发明的又一实施例，其中，该方法包括以下步骤：

步骤s211，获取车内的摄像头拍摄的一段时间内的连续的多帧图片；

步骤s212，对连续的多帧图片进行滤波操作；

步骤s213，依据摄像头的内参信息，计算出多帧图片的本征矩阵；

步骤s214，根据计算结果得到多帧图片相对的单位位移变换和旋转变换。

步骤s215，获取的汽车实时速度；

步骤s216，根据所述汽车实时速度和所述多帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换。

步骤s217，应用光流算法获得前后多帧关心区域的对应点匹配信息；

步骤s218，利用ransac方法进而得到路面的单应矩阵；

步骤s219，通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；

步骤s220，根据所述外参矩阵自动调整。

与现有技术相比，本发明具有以下优点：现有技术中，在安装adas驾驶辅助设备的过程中，用户必须进行多项对摄像头的校正步骤，以保证各项功能的准确性。而在行车的过程中，摄像头的位置和角度难免因为诸如汽车震动或者用户触碰的原因而发生变化，进而导致检测结果的不准确。现有的技术根据单应和极几何从光流或者图像矫正的方式获得外参。本发明打破了本领域技术人员的上述惯性思维，并能够实现以下效果：获取车内的摄像头拍摄的一段时间内的两帧图片；对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；依据摄像头的内参信息，计算出两帧图片的本征矩阵；根据计算结果得到两帧图片相对的单位位移变换和旋转变换。获取的汽车实时速度；根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换。应用光流算法获得前后两帧关心区域的对应点匹配信息；利用ransac方法进而得到路面的单应矩阵；通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；根据所述外参矩阵自动调整。避免了用户要时常进行校准的麻烦。

图2为本发明一个实施例的车载相机姿态自动估计的装置的结构示意图。

该装置包括以下装置：

获取模块10，用于获取车内的摄像头拍摄的一段时间内的两帧图片；

特征提取模块20，用于对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；

本证矩阵计算模块30，用于依据摄像头的内参信息，计算出两帧图片的本征矩阵；

第一变换计算模块40，用于根据计算结果得到两帧图片相对的单位位移变换和旋转变换。

速度获取模块50，用于获取的汽车实时速度；

第二变换计算模块60，用于根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换。

匹配信息计算模块70，用于应用光流算法获得前后两帧关心区域的对应点匹配信息；

单应矩阵计算模块80，用于利用ransac方法进而得到路面的单应矩阵；

外参矩阵计算模块90，用于通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；

调整模块100，用于根据所述外参矩阵自动调整。

与现有技术相比，本发明具有以下优点：现有技术中，在安装adas驾驶辅助设备的过程中，用户必须进行多项对摄像头的校正步骤，以保证各项功能的准确性。而在行车的过程中，摄像头的位置和角度难免因为诸如汽车震动或者用户触碰的原因而发生变化，进而导致检测结果的不准确。现有的技术根据单应和极几何从光流或者图像矫正的方式获得外参。本发明打破了本领域技术人员的上述惯性思维，并能够实现以下效果：获取车内的摄像头拍摄的一段时间内的两帧图片；对两帧图片进行特征点提取和匹配，获得前后两帧匹配的两组点；依据摄像头的内参信息，计算出两帧图片的本征矩阵；根据计算结果得到两帧图片相对的单位位移变换和旋转变换。获取的汽车实时速度；根据所述汽车实时速度和所述两帧图片相对的单位位移变换和旋转变换得到在两帧图片的时间区间内真实位移变换和旋转变换。应用光流算法获得前后两帧关心区域的对应点匹配信息；利用ransac方法进而得到路面的单应矩阵；通过单应矩阵和旋转矩阵以及位移变换矩阵之间的对应方程计算出路面的法向量在相机坐标下的坐标，从而得到外参矩阵；根据所述外参矩阵自动调整。避免了用户要时常进行校准的麻烦。

需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，本发明的各个装置可采用专用集成电路(asic)或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，ram存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。