一种基于多类型相机的SLAM融合方法及其系统与流程

本发明涉及以视觉为主图像采集融合
技术领域：
，尤其涉及一种基于多类型相机的slam融合方法及其系统。
背景技术：
：在车辆高级驾驶辅助系统中，定位和建图是不可缺少的技术，比如在弱gps或者无gps时车辆需要依赖slam技术导航和路径规划。高级驾驶辅助系统是利用安装在车上的各式各样传感器，如毫米波雷达、激光雷达、单\双目摄像头以及卫星导航，在汽车行驶过程中随时来感应周围的环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而预先让驾驶者察觉到可能发生的危险，有效增加汽车驾驶的舒适性和安全性。目前普遍采集视觉+激光雷达的方式，但是激光雷达价格昂贵，成本比较高，而视觉传感器利用相机感知周围环境，能够提供距离和丰富的外观信息。基于以视觉为主的方式，单目slam无法直接测量距离，双目slam需要大量的计算单元去计算深度，rgb-dslam使用场景有限，目前仅适用于室内近距离的感知。技术实现要素：本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。鉴于上述现有存在的问题，提出了本发明。因此，本发明解决的技术问题是：解决单种类相机的应用限制，以及提高整个系统的鲁棒性。为解决上述技术问题，本发明提供如下技术方案：一种基于多类型相机的slam融合方法，包括以下步骤，在车身前侧分别安装多类型的摄像机模块；对所述摄像机模块进行相机标定；所述摄像机模块采集图像信息并对其采集的图像进行矫正和orb特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；所述硬件同步模块将所述摄像机模块采集的不同类型图像信息在时间戳上同步；slam融合模块将所述摄像机模块采集的不同类型图像进行图像融合进行车载显示。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述摄像机模块还包括单目相机模块、双目相机模块、rgb-d相机模块。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述单目相机模块采集图像信息并对其采集的图像进行矫正和orb特征点的抽取，同时所述双目相机模块对其采集的图像进行深度图的计算，同时所述rgb-d相机模块将其采集的彩色图与深度图对齐。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述相机相对于车载坐标系的变换矩阵获取包括如下步骤，标定摄像机模块并将所述摄像机模块设置于车身的预设目标位置上；在预设拍摄位置上放置原始标定图案；利用所述摄像机模块拍摄所述原始标定图案得到所述拍摄图像；对所述拍摄图像进行预处理，获取所述拍摄图像的像素坐标与参照坐标系间的坐标变换关系。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：定义所述参照坐标系包括以下步骤，选取所述车身上的任一位置为原点o；根据所述原点o定义车身坐标系o1为所述参照坐标系。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述变换矩阵推算包括以下步骤，标定所述摄像机模块并获取其标定数据；所述拍摄图像根据所述标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射e1；利用所述消除畸变图像中标定图案的特征点获取像素坐标；利用所述像素坐标和所述原始标定图案的位置坐标求出透视变换矩阵e2，且所述位置坐标相对于所述车身坐标系o1；定义所述拍摄图像的像素坐标与所述车身坐标系o1的变换关系为e＝e2·e1。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述硬件同步模块包括单片机模块、gps时间接收机和rtc芯片；所述单片机模块时间信息接收模块接收所述gps时间接收机的时间信息和时间脉冲；所述rtc芯片与所述单片机模块内的rtc模块连接；相机反馈信号连接所述单片机模块的反馈信号检测模块。作为本发明所述的基于多类型相机的slam融合方法的一种优选方案，其中：所述slam融合包括以下步骤，根据实时所处的场景的环境因数，决策单元选择合适的相机作为当前场景下的主使用相机；将其它相机的特征点通过变换矩阵计算出在当前主使用相机的图像坐标点，并以所述图像坐标点为坐标原点；固定半径范围内搜索得出距离最短的特征点，滤出超出一定距离阈值的外点，输出更加可靠的特征点。本发明解决的另一个技术问题是：提供一种基于多类型相机的slam融合系统，上述方法依托于本系统实现，能够解决单种类相机的应用限制，以及提高整个系统的鲁棒性。为解决上述技术问题，本发明提供如下技术方案：一种基于多类型相机的slam融合系统，其特征在于：包括摄像机模块、硬件同步模块和slam融合模块；所述摄像机模块设置于车身且与水平面平行的多类型相机，还包括单目相机模块、双目相机模块、rgb-d相机模块；所述硬件同步模块用于所述单目相机模块、所述双目相机模块和所述rgb-d相机模块在时间戳上的同步；所述slam融合模块将所述摄像机模块采集的多类型图像信息进行融合并与车载显示器进行显示。本发明的有益效果：利用slam融合算法模块决策在当前的场景中使用哪个或者多个相机，并决策以哪个相机为主或者为辅，将辅助用的相机的信息投射到主用的相机中，从而能提高整个系统的鲁棒性，解决单种类相机的使用瓶颈方案硬件成本低；并且只需要三组相机，即可满足多场景的要求，解决单种类相机的应用限制，满足车辆高级驾驶辅助系统的要求。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本发明第一个实施例所述基于多类型相机的slam融合方法的整体流程结构示意图；图2为本发明第一个实施例所述世界坐标系、相机坐标系和图像坐标系的示意图；图3为本发明第一个实施例所述坐标系的示意图；图4为本发明第一个实施例所述相机成像原理的示意图；图5为本发明第一个实施例所述相机成像畸变原理的示意图；图6为本发明第一个实施例所述相机成像径向畸变原理的示意图；图7为本发明第二个实施例所述硬件同步模块的硬件电路连接示意图；图8为本发明第二个实施例所述相机同步曝光的流程示意图；图9为本发明第二个实施例所述时间校正流程的示意图；图10为本发明第三个实施例所述基于多类型相机的slam融合系统应用于车身的示意图；图11为本发明第三个实施例所述基于多类型相机的slam融合系统流程示意图；图12为本发明第三个实施例所述基于多类型相机的slam融合系统的整体原理结构示意图。具体实施方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。实施例1参照图1的示意，为本实施例中提出的一种基于多类型相机的slam融合算法，解决单种类相机的使用瓶颈方案硬件成本低；并且只需要三组相机，即可满足多场景的要求，解决单种类相机的应用限制，满足车辆高级驾驶辅助系统的要求。具体的，包括以下步骤，在车身前侧分别安装多类型的摄像机模块100；对摄像机模块100进行相机标定；摄像机模块100采集图像信息并对其采集的图像进行矫正和orb特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐；硬件同步模块200将摄像机模块100采集的不同类型图像信息在时间戳上同步；slam融合模块300将摄像机模块100采集的不同类型图像进行图像融合进行车载显示。其中摄像机模块100还包括单目相机模块101、双目相机模块102、rgb-d相机模块103。单目相机模块101采集图像信息并对其采集的图像进行矫正和orb特征点的抽取，同时双目相机模块102对其采集的图像进行深度图的计算，同时rgb-d相机模块103将其采集的彩色图与深度图对齐。相机标定包括同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系通过相机对车载坐标系的变换矩阵推算得出。本实施例中相机相对于车载坐标系的变换矩阵获取包括如下步骤，标定摄像机模块100并将摄像机模块100设置于车身400的预设目标位置上；在预设拍摄位置上放置原始标定图案500；利用摄像机模块100拍摄原始标定图案500得到拍摄图像600；对拍摄图像600进行预处理，获取拍摄图像600的像素坐标与参照坐标系间的坐标变换关系。还包括定义参照坐标系，其包括选取车身400上的任一位置为原点o；根据原点o定义车身坐标系o1为参照坐标系。变换矩阵推算包括以下步骤，标定摄像机模块100并获取其标定数据；拍摄图像600根据标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射e1；利用消除畸变图像中标定图案的特征点获取像素坐标；利用像素坐标和原始标定图案500的位置坐标求出透视变换矩阵e2，且位置坐标相对于车身坐标系o1；定义拍摄图像600的像素坐标与车身坐标系o1的变换关系为e＝e2·e1。硬件同步模块200包括单片机模块201、gps时间接收机202和rtc芯片；单片机模块201时间信息接收模块接收gps时间接收机202的时间信息和时间脉冲；rtc芯片与单片机模块201内的rtc模块连接；相机反馈信号连接单片机模块201的反馈信号检测模块。slam融合还包括以下步骤，根据实时所处的场景的环境因数，决策单元选择合适的相机作为当前场景下的主使用相机；将其它相机的特征点通过变换矩阵计算出在当前主使用相机的图像坐标点，并以图像坐标点为坐标原点；固定半径范围内搜索得出距离最短的特征点，滤出超出一定距离阈值的外点，输出更加可靠的特征点。通俗的说，即根据当时所处的场景，比如说室内、室外，阳光是否强烈等等，选择一个合适的相机作为主使用相机，为了减少数据计算，将其他相机的特征点通过变换矩阵计算出在当前主相机的图像坐标点，并以此为坐标原点，固定半径范围内搜索得出距离最短的特征点，滤出超出一定距离阈值的外点，由此就可以得出更加可靠的特征点，增强了系统的可靠性和鲁棒性。本实施例中通过在车身前侧分别安装单目、双目以及rgb-d相机以及硬件同步模块。相机搭载全局曝光技术，有效降低图像畸变，适应高速环境捕捉，同时辅以近红外探测光，增强弱纹理对象识别精度。硬件同步模块200主要用来实现相机的纳秒级同步，保证三个相机采集的图像在时间戳上的同步。slam融合算法模块300用于决策在当前的场景中使用哪个或者多个相机，并决策以哪个相机为主或者为辅，将辅助用的相机的信息投射到主用的相机中，从而能提高整个系统的鲁棒性，解决单种类相机的使用瓶颈。相机标定：同时标定相机的内外参和相机相对于车载坐标系的变换矩阵，多相机之前的变换关系可通过相机对车载坐标系的变换矩阵推算得出。设备标定：三个相机安照金字塔的方式，单目相机在最上方，双目相机在中间，深度相机在最下方。相机自身标定：采用常规相机标定手法，利用相机拍摄若干张标定板的图片，利用多组图片中标定图案的标记点坐标计算出相机的内参数，畸变方程系数、投影矩阵等。相机与车身标定：首先相机安装时注意与水平面平行，以车辆后轴的中心点为车身坐标系的坐标原点，分别丈量与此点的偏航、俯仰、横滚的距离建立坐标变换矩阵。进一步的具体的，具体自身标定参照图2～4的示意，确定世界坐标系，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。相机坐标系，也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直。将世界坐标系转换为相机坐标系：其中r为3*3的旋转矩阵，t为3*1的平移矢量，等号左侧公式为相机坐标系的齐次坐标，右侧公式为世界坐标系的齐次坐标，像素坐标系不利于坐标变换，原点是相机光轴与相面的交点(称为主点)，即图像的中心点。故两个坐标系实际是平移关系，即可以通过平移就可得到图像坐标系转换为像素坐标系：u0，v0为主点(图像原点)坐标。参照图2示意为空间任意一点p与其图像点p之间的关系，p与相机光心o的连线为op，op与像面的交点p即为空间点p在图像平面上的投影。该过程为透视投影，如下矩阵表示：其中，s为比例因子(s不为0)，f为有效焦距(光心到图像平面的距离)，右式是空间点p在相机坐标系中的齐次坐标，左式是像点p在图像坐标系中的齐次坐标。故将世界坐标系转换为像素坐标系：根据上述对像素坐标的说明，此步骤中为计算外参，设三维世界坐标的点为m＝[x,y,z,1]t，二维相机平面像素坐标为m＝[u,v,1]t，因此标定用的棋盘格平面到图像平面的单应性关系为：sm＝a[r,t]m，其中s为世界坐标系到图像坐标系的尺度因子，a为相机的内参矩阵，(u0，v0)为像主点坐标，α，β为焦距与像素横纵比的融合，γ为径向畸变参数，r为旋转矩阵，t为平移向量，如下公式：设棋盘格位于z＝0，定义旋转矩阵r的第i列为ri,则有令h＝[h1h2h3]＝λa[r1r2t]，于是空间到图像的映射可改为：sm＝hm，其中h是描述矩阵，h是一个齐次矩阵，所以有8个未知数，至少需要8个方程，每对对应点能提供两个方程，所以至少需要四个对应点，就可以算出世界平面到图像平面的单应性矩阵h。外部参数可通过上述矩阵求解，由上式h＝[h1h2h3]＝λa[r1r2t]可得：r1＝λa-1h1r2＝λa-1h2r3＝r1×r2t＝λa-1h3λ＝1/||a-1h1||＝1/||a-1h2||外参的具体计算公式。注意：r3是t，求解出的r＝[r1r2t]不会满足正交与归一的标准，在实际操作中，r可以通过分解实现规范化。进一步的，计算内参，包括以下步骤，由r1和r2正交，且r1和r2的模相等，可以得到如下约束：正交模相等：定义：b中的未知量可表示为6d向量b，可以表示为：b＝[b11b12b22b13b23b33]t设h中的第i列为hi，表示为：hi＝[hi1hi2hi3]t根据b的定义，可以推导出如下公式：vij＝[hi1hj1hi1hj2+hi2hj1hi2hj2hi3hj1+hi1hj3hi3hj2+hi2hj3hi3hj3]t可以得出下式：根据推到的结果可知如果有n组观察图像，则v是2nx6的矩阵，根据最小二乘定义，vb＝0的解是最小特征值对应的特征向量。因此,可以直接估算出b，后续可以通过b求解内参，因为b中的未知量为6个，所以当观测平面n≥3时，可以得到b的唯一解。当n＝2时,一般可令畸变参数γ＝0；当n＝1时,仅能估算出α与β，此时一般可假定像主点坐标u0与v0为0。内部参数可通过如下公式计算分解：γ＝-b12α2β/λu0＝γv0/α-b13α2/λ本实施例中上述的推导结果是基于理想情况下的解，但由于可能存在误差，所以需要进行估计优化。设我们采集了n副包含棋盘格的图像进行定标，每个图像里有棋盘格角点m个。令第i副图像上的角点mj在上述计算得到的摄像机矩阵下图像上的投影点为：其中k为相机内参矩阵a；ri和ti是第i副图对应的旋转矩阵和平移向量，k是内参数矩阵。则mij的函数为：由上式可得：让l取得最大值，即让下面式子最小，本实施例使用的是多参数非线性系统优化问题的算法进行迭代求最优解。经过上述过程可获得摄像机模块100的标定数据，即内外参数。参照图5～7的示意，本实施例标定还需要获得摄像机模块100的畸变参数，畸变是对直线投影的一种偏移，畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变，可能由于摄像机镜头的原因。畸变一般可以分为：径向畸变、切向畸变。径向畸变来自于透镜形状，切向畸变来自于整个摄像机的组装过程，畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著。具体的，切向畸变模型：δxd＝2p1xy+p2(r2+2x2)+kδyd＝2p1(r2+2y2)+2p2xy+k理想坐标与真实坐标：x′＝x+δxr+δxdy′＝y+δyr+δyd也即：将上述坐标变换为像素坐标(u0，v0)，可获得本步骤中对摄像机模块100的标定数据，即相机内外参数、镜头畸变系数。进一步的，标定摄像机模块100将放置于目标位置，在预设位置上放置原始标定图案，该预设位置为摄像机模块100的视野范围、待测量区域范围以及根据设置的参照坐标系计算得出的位置坐标。本实施例中目标位置为根据坐标变换方法需要去操作的位置，由于单个摄像机具有视野范围的限制，因此想要对指定的位置处进行坐标变换，就必须选择将摄像机放置到能够拍摄的目标物体的位置上，也就是上述的目标位置。且当摄像机模块100放置完成后，其可以拍摄的视野范围也随之被确定，因此预设位置即摄像机模块100的视野范围等。利用摄像机模块100拍摄原始标定图案500获得拍摄图像600；对拍摄图像600进行预处理，获取拍摄图像600的像素坐标与参照坐标系间的坐标变换关系。结合上述对采用本实施例的标定法标定摄像机模块100并获取其标定数据；相机标定是三维场景重构中必不可少的步骤，目的是提取出二维图像中包含的计量信息。将拍摄图像600根据标定数据进行畸变校正，获得消除畸变图像并求出畸变校正的图像变换映射e1；利用消除畸变图像中标定图案的特征点获取像素坐标；利用像素坐标和原始标定图案500的位置坐标求出透视变换矩阵e2，且位置坐标相对于参照坐标系；该参照坐标系可根据实际过程中进行选择，最终定义拍摄图像的像素坐标与参照坐标系的变换关系e＝e2·e1。场景一：为验证本方法的实际应用效果，将部署本方法的和未部署本方法的进行对比测试，并根据评价工具分析实验所得到的结果。实验中首先，分别标定了单目相机、双目相机、rgb-d相机内参和对车身坐标系的标定。分别接入了4台同等性能的电脑(i7-8700，16gram)，一台电脑只跑单目slam，一台电脑只跑双目slam，一台电脑跑rgb-dslam，最后一台运行本方法。在一个装有高速运动捕捉装置的封闭的停车场内，从停车场出入口处100米外开始启动测试，缓慢进入停车场后绕场一周后从同一个出入口出去，并重复跑十次提高slam算法的回环检测以矫正误差。最终的算法都输出车辆的运动轨迹。以高速运动捕捉装置的定位结果作为车辆运行的真实轨迹，实验中的4种算法的输出的运动轨迹为待测试的数据，测试的结果如下表1所示。表1：测试的结果方法translationrotation单目4.37％0.0157[deg/m]双目5.23％0.0134[deg/m]rgb-d3.42％0.017[deg/m]多相机融合2.34％0.0089[deg/m]因此由实验结果表明本实施例中提出的多相机融合的方法的效果最好、误差也最小，相对于其他传统方法具有较大的优势。实施例2参照图7～9的示意，本实施例进一步的需要说明的是，硬件同步模块200采用同步曝光模块硬件电路和gps时间校正模块实现，单片机的时间信息接收模块接收gps时间接收机的时间信息和时间脉冲，rtc(实时时钟)芯片连接单片机的rtc模块，单片机曝光信号控制模块控制4路相机的曝光部分，4路相机反馈信号连接单片机的反馈信号检测模块，不难发现，本实施例为3路相机的反馈信号。具体的流程为单片机接收到外部请求曝光信号时，3路管脚立即动作并延时，由于相机曝光的动作有机械延时，只有当单片机4路管脚延时的时间大于相机的机械动作时间时3路相机才发生曝光动作。如果相机未发生曝光动作，程序立即返回并重新请求曝光。当相机发生曝光动作，单片机捕捉相机曝光后的反馈信号，通过逻辑运算将多路反馈信号反映到反馈信号标志(cam＿mark)，如果3路相机全部曝光并且曝光的最快反馈信号与最慢反馈信号的时差很短，则认为达到预期效果并结束循环；如果3路相机全部曝光，但是捕捉到的最快反馈信号与最慢反馈信号时差很长，则认为3路相机曝光不同步，返回循环并重新补拍；如果未完全捕捉到4路相机的反馈信号，则认为3路相机未完全曝光，返回循环并重新补拍。gps时间校正具体包括，相机同步曝光模块接收gps时间接收机的分信号(gps时间信息和gps时间脉冲)，gps时间信息接入单片机时间接收模块的串口部分，当时间信息到来时通过串口中断提取时间信息。gps时间脉冲接入单片机时间接收模块的外部中断部分，当时间脉冲到来时单片机立即进入外部中断服务程序中，此时判断时间信息标志(cam＿mark)，如果为真，则表示实时时间相差1s(设置实时时间和gps时间信息时差1s)，补偿后结束循环。如果时间信息标志为假，则返回并等待下一次时间信息。同时本实施例中需要说明的是，单目相机模块101、双目相机模块102、rgb-d相机模块103分别进行采集的图像的矫正和orb特征点的抽取、深度图的计算以及将采集的彩色图与深度图对齐。具体的，orb特征点的抽取，实际为图像特征的检测和提取是计算机视觉最重要的研究领域之一，orb算法是目前最快速稳定的特征点检测和提取算法，包括计算特征点的主方向，坐标，灰度值和梯度等信息。本实施例可以采用fast算法来检测特征点。深度图的计算以及将采集的彩色图与深度图对齐，深度指的是场景中某个点到相机中心所在的xy平面的距离，可以利用多视图立体法、光度立体视觉法、色度成形法或散焦推断法等实现。进一步的，slam融合模块300包括如下的数据融合步骤，预备阶段，包括传感器的选型和各种标定，包括3个线程，前端线程、后端优化线程、闭环检测线程。前端线程主要涉及到：特征的提取、特征的匹配；多视图几何的知识，包括对极几何、pnp、刚体运动、李代数等。后端优化线程涉及到非线性最小二乘优化，属于数值优化的内容。闭环检测线程涉及到地点识别，本质上是图像检索问题。在使用深度相机获取深度数据之前，通常需要对这些输人数据进行预处理，这包括去噪声影响、数据转换两大块。设备对实体场景进行多视角扫描过程中，通过配准的方法实现相机位置的追踪，使得不同视点获取的影像位于统一坐标系下，为下一步数据融合提供标准的数据结构。基于隐函数法将物体多个方向的表面数据合并，定义函数d(x)来表示采样每个点，函数中每一个点x都带有权重信息和距离信息，当d(x)＝0时数据融合标准。随着数据不断进入，对同一区域采集其深度数据时需要不断的更新，其产生的误差不同，因此数据融合的时候应对其加权求平均。此时函数d(x)的值通过{di(x)|i＝0，…，n}和对应的权重信息{wi(x)|i＝0，…，n}通过下式计算：通过特征提取，每一张影像上都提取出一系列特征点，而由于照片之间有重叠.以及扫描时可能同一区域经过了多次重复扫描，因此一组影像中有许多重复的特征，故可通过特征归并减少数据的冗余，提高后续特征匹配的效率。特征归并的过程其实就是邻近点聚类的过程：给定一个多维空间rk中的一个向量是一个样本点，这些样本点的有限集合称为样本集，给定样本集e和一个样本点s’，样本点最近邻就是任意样本点s∈e满足nearest(e，s′，s)，其定义如下：上面的公式中距离度量是欧式距离，即：其中：si是向量s的第i个维度。当两幅图像的sift特征向量生成后，下一步采用关键点特征向量的欧式距离作为两幅图像中关键点的相似性判定度量。当相似度可由相似函数求出，其满足阈值时，则认为匹配成功，即完成图像的数据融合。实施例3参照图10～11的示意，本实施例中提出一种基于多类型相机的slam融合系统，上述实施例的方法能够依托于本系统进行实现，其系统框架包括图像处理：单目主要负责图像矫正、orb特征点的抽取，对于双目相机，还包含深度图的计算，深度相机则包含彩色图和深度图的对齐；决策单元：主要根据场景的不用选择合适的相机组合；数据融合单元：多相机的图像融合。具体的，该系统包括摄像机模块100、硬件同步模块200和slam融合模块300；其中摄像机模块100设置于车身400且与水平面平行的多类型相机，还包括单目相机模块101、双目相机模块102、rgb-d相机模块103；硬件同步模块200用于单目相机模块101、双目相机模块102和rgb-d相机模块103在时间戳上的同步；slam融合模块300将摄像机模块100采集的多类型图像信息进行融合并与车载显示器进行显示。例如本系统使用场景在当车辆在室外时，将以双目相机为主，单目相机为辅；当车辆处于室内时，将以深度相机为主，单目相机为辅。需要说明的是，本实施例中硬件同步模块200和slam融合模块300为与摄像机模块100连接的芯片硬件，例如在本实施例中硬件同步模块200的单片机可以采用型号stc12c5a60s2-35i-p的时钟单片机，gps时间接收机202型号为rtk，以trimblebd970主板的接收机，而rtc芯片采用型号为pcf8563t实时时钟芯片实现。slam融合模块300为植入上述实施例算法的嵌入式开发芯片，通过电路集成的方式形成电路板的硬件设备。与车载显示器连接，不难理解的是，该slam融合模块300可以与车载控制电脑的主板就行电路集成连接，设置于车载电脑内通过其显示器将融合的数据进行显示供驾驶者查看，解决，解决单种类相机的使用瓶颈。应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。当前第1页12