车辆全景环视系统的制作方法

本实用新型涉及汽车技术领域，尤其涉及一种车辆全景环视系统。

背景技术：

汽车自上个世纪末诞生以来，得到飞速的发展。近年来由于汽车安全性越来越受重视，推动了许多重要创新的出现，如防抱死制动系统、安全气囊、高强度安全座仓以及碰撞缓冲区等。德国汽车制造商率先利用许多先进的技术来提高驾驶员安全和整体驾驶体验。例如，在过去20年中，德国汽车最先推出主动式车道保持辅助，当车辆偏离车道时通过振动方向盘提醒驾驶员。然后就是利用侧方雷达，帮助驾驶员安全变道。如果有车辆处于本车的变道盲点，它会通过在外后视镜上亮灯提醒驾驶员。后来又出现了停车、前进以及制动辅助，这是巡航控制的延伸，可以在追尾碰撞即将发生前快速施加制动，以减小事故危险。随着时间的推移，这些功能逐渐完善和普及，特别是引入倒车影像系统来消除驾驶员的盲点。

目前，基于图像的倒车影像系统是在车尾安装摄像头，结合倒车雷达和车载显示器。但这类方式仍有不足，影像只能覆盖车尾周围有限的区域。使得车辆侧方和车头存在视觉盲区，这无疑增加了安全驾驶的隐患；比如，在狭隘拥堵的市区和停车场由于无法提供车前方与车辆侧方的图像信息，容易出现碰撞和刮蹭事件。

技术实现要素：

本实用新型提供的车辆全景环视系统，其主要目的在于克服现有车辆侧方和车头存在视觉盲区，导致的驾驶隐患。

为解决上述技术问题，本实用新型采用如下技术方案：

一种车辆全景环视系统，包括车载显示器、处理器以及前摄像头、左摄像头、右摄像头以及后摄像头；

所述前摄像头位于车辆的前方，所述左摄像头位于车辆的左侧，所述右摄像头位于车辆的右侧，所述后摄像头位于车辆的后方；

所述前摄像头、左摄像头、右摄像头以及后摄像头均包括结构相同鱼眼镜头模组，所述鱼眼镜头模组的广角为190°；

所述处理器，分别与所述前摄像头、左摄像头、右摄像头、后摄像头以及车载显示器连接，用于实时将从所述前摄像头、左摄像头、右摄像头以及后摄像头获取的各个图像信息拼接成全景环视图像，并将所述全景环视图像传输至所述车载显示器显示。

作为一种可实施方式，所述前摄像头位于车标正上方或中网中间；所述后摄像头位于后备箱把手处；所述左摄像头位于左后视镜正下方；所述右摄像头位于右后视镜正下方。

作为一种可实施方式，所述前摄像头的鱼眼镜头模组安装后的外倾角为20°～40°；所述后摄像头的鱼眼镜头模组安装后的外倾角为20°～40°。

作为一种可实施方式，所述左摄像头的鱼眼镜头模组安装后的外倾角为5°～15°；所述右摄像头的鱼眼镜头模组安装后的外倾角为5°～15°。

作为一种可实施方式，所述前摄像头、左摄像头、右摄像头以及后摄像头的结构相同，包括鱼眼镜头模组、固定支架以及连接线；

所述鱼眼镜头模组，通过所述固定支架固定；

所述连接线，与所述鱼眼镜头模组连接，用于使鱼眼镜头模组与处理器进行数据交互。

作为一种可实施方式，鱼眼镜头模组的光学单元为8组10片；其中，从物体侧开始的第4片为防抖透镜，第5片为对焦透镜。

作为一种可实施方式，所述防抖透镜包括沿同光轴依次设置的第四十一透镜、第四十二透镜、第四十三透镜、第四十四透镜以及第四十五透镜。

作为一种可实施方式，所述对焦透镜包括沿同光轴依次设置的第五十一透镜、第五十二透镜、第五十三透镜以及第五十四透镜。

作为一种可实施方式，所述左摄像头和右摄像头数量相同，数量分别为1个、2个、3个或4个。

作为一种可实施方式，本实用新型提供的车辆全景环视系统还包括移动端；

所述移动端与处理器连接，用于与处理器进行数据交互。

与现有技术相比，本技术方案具有以下优点：

本实用新型提供的车辆全景环视系统，采用位于车辆的前方的前摄像头、位于车辆的左侧左摄像头、位于车辆的右侧的右摄像头以及位于车辆的后方后摄像头；这些摄像头均具有相同结构且广角为190°的鱼眼镜头模组；利用处理器将各个图像信息拼接成全景环视图像，在车载显示器显示。使获取的图像信息能够生成全景环视图像从而全景覆盖车辆视角范围，克服现有车辆侧方和车头存在视觉盲区的问题。驾驶员在驾驶室内通过车载显示器就可以直接看到汽车四周的全景环视图像，因此驾驶员在行驶和倒车时可以根据车载显示器显示的实时全景环视图像来行驶，扩大了驾驶员视野，使驾驶员及时了解路况信息，提高行车安全性。

附图说明

图1为本实用新型实施例一提供的车辆全景环视系统的分布示意图；

图2为本实用新型实施例一提供的车辆全景环视系统的结构示意图；

图3为鱼眼镜头模组的光学单元的结构示意图；

图4为图3中第四透镜的结构示意图；

图5为图3中第五透镜的结构示意图；

图6为本实用新型实施例三提供的全景环视图像生成方法的流程示意图。

图中：1、车载显示器；2、处理器；3、前摄像头；4、左摄像头；5、右摄像头；6、后摄像头；L1、第一透镜；L2、第二透镜；L3、第三透镜；L4、第四透镜；L41、第四十一透镜；L42、第四十二透镜；L43、第四十三透镜；L44、第四十四透镜；L45、第四十五透镜；L5、第五透镜；L51、第五十一透镜；L52、第五十二透镜；L53、第五十三透镜；L54、第五十四透镜；L6、第六透镜；L7、第七透镜；L8、第八透镜；L9、第九透镜；L10、第十透镜。

具体实施方式

以下结合附图，对本实用新型上述的和另外的技术特征和优点进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型的部分实施例，而不是全部实施例。

请参阅图1和图2，本实用新型实施例一提供的车辆全景环视系统，包括车载显示器1、处理器2以及前摄像头3、左摄像头4、右摄像头5以及后摄像头6；前摄像头3位于车辆的前方，左摄像头4位于车辆的左侧，右摄像头5位于车辆的右侧，后摄像头6位于车辆的后方；前摄像头3、左摄像头4、右摄像头5以及后摄像头6均包括结构相同鱼眼镜头模组，鱼眼镜头模组的广角为190°；处理器2，分别与前摄像头3、左摄像头4、右摄像头5、后摄像头6以及车载显示器1连接，用于实时将从前摄像头3、左摄像头4、右摄像头5以及后摄像头6获取的各个图像信息拼接成全景环视图像，并将全景环视图像传输至车载显示器1显示。

需要说明的是，前摄像头3、左摄像头4、右摄像头5以及后摄像头6的数量至少为1个。它们彼此之间的整体结构可以不相同，但是都具有一个结构相同鱼眼镜头模组，该鱼眼镜头模组的广角为190°，从而确保能够获取车辆一个方向上的无死角的图像信息。比如，位于车辆左侧的左摄像头4能够过去车辆左侧190°的图像信息。从而根据上述配置的摄像头不仅能够获取外景特征信息，更重要的是能够获取到车辆自身的车辆特征信息。外景特征信息指的是在图像信息中除去车辆特征信息的其余特征信息，比如，道路标识、行人、建筑物、障碍物以及交通信号灯等特征信息。

处理器2可以是单独重新设置的处理芯片，不占用车辆上现有处理器2的资源，避免出现卡顿现象。具体的可以是采用FPGA处理板实现。于本实施例中，处理器2可以只是对4个方向的图像信息进行拼接形成全景环视图像，在图像信息融合带部分直接重叠呈现。这种方式对处理器2的要求很低，能够快速处理图像信息得到全景环视图像，再通过车载显示器1实时呈现。使得驾驶员在驾驶室内通过车载显示器1就可以直接看到汽车四周的全景环视图像。且在处理器2中可以对全景环视图像进行保存。而不像现在市面上存在的有缝拼接全景环视系统。该系统的特点是，在车辆的前后左右装四个广角摄像头，广角在150度到180度之间，对图像进行了处理和显示，不能简单地将图像叠加起来，而是将图像处理后，中间是车子，将图像放在周边。但是有一个缺点，由于技术的问题，四个图像拼接的地方，就是四个对角线上，无法进行全面平滑的处理。因此，在四个图像的拼接处有明显的四条线，通常采用黑线或灰线来掩盖技术上的缺陷。而本实用新型配置的摄像头就不会出现上述问题。于其他实施例中，处理器2中图像信息的拼接可以是利用基于深度学习的算法实现高精度无缝拼接，支持自动校准。提高全景环视图像的准确度。对此并不进行限定。

车载显示器1是安装于驾驶舱内的，其可以是利用车辆现有的显示器来实现；也可以是另外安装一个车载显示器1。于本实施例中，处理器2可以集成在车载显示器1中，以减少占用空间。驾驶员在驾驶室内通过车载显示器1就可以直接看到汽车四周的全景环视图像。在车载显示器1中显示的内容可以是在处理器2的控制下显示的，根据不同的需求，车载显示器1可以显示不同的内容。

本实用新型提供的车辆全景环视系统，采用位于车辆的前方的前摄像头3、位于车辆的左侧左摄像头4、位于车辆的右侧的右摄像头5以及位于车辆的后方后摄像头6；这些摄像头均具有相同结构且广角为190°的鱼眼镜头模组；利用处理器2将各个图像信息拼接成全景环视图像，在车载显示器1显示。使获取的图像信息能够生成全景环视图像从而全景覆盖车辆视角范围，克服现有车辆侧方和车头存在视觉盲区的问题。驾驶员在驾驶室内通过车载显示器1就可以直接看到汽车四周的全景环视图像，因此驾驶员在行驶和倒车时可以根据车载显示器1显示的实时全景环视图像来行驶，扩大了驾驶员视野，使驾驶员及时了解路况信息，提高行车安全性。

为了提高各个摄像头的拍摄效果，那么对于各摄像头的安装原则是以两个方面来实现。第一个原则为：以摄像头距离地面越高越好的准则来。第二个原则为：尽可能增加摄像头的有效图像区域。

对于第一个原则：于本实施例中，采用前摄像头3位于车标正上方或中网中间；后摄像头6位于后备箱把手处；左摄像头4位于左后视镜正下方；右摄像头5位于右后视镜正下方。前摄像头3和后摄像头6与车的中轴线对齐。进一步的，前摄像头3、左摄像头4、右摄像头5以及后摄像头6位于同一水平面。按照上述的位置安装摄像头，使得摄像头拍摄的图像信息中的有效图像区域中靠近中间的越多边缘的越少，处理器2处理后使图像越真实和自然。

对于第二个原则：于本实施例中，采用前摄像头3的鱼眼镜头模组安装后的外倾角为20°～40°；后摄像头6的鱼眼镜头模组安装后的外倾角为20°～40°。左摄像头4的鱼眼镜头模组安装后的外倾角为5°～15°；右摄像头5的鱼眼镜头模组安装后的外倾角为5°～15°。上述的外倾角指的是摄像头在安装固定后，摄像头的鱼眼镜头模组与水平面形成的夹角。通常来说，夹角为正的话指的是摄像头安装后往水平面向上倾。于其他实施例中，前摄像头3的鱼眼镜头模组安装后的外倾角可以为20°、25°、30°、35°以及40°中的一种。后摄像头6的鱼眼镜头模组安装后的外倾角可以为20°、25°、30°、35°以及40°中的一种。左摄像头4的鱼眼镜头模组安装后的外倾角可以为5°、10°以及15°中的一种。右摄像头5的鱼眼镜头模组安装后的外倾角可以为5°、10°以及15°中的一种。按照上述的位置安装摄像头，能够保证有效图像区域。对于处理器2来说，处理器2的工作是将原始图像信息中不规则的部分变换成一个规则的图形，在这个变换中，图像需要拉伸插值，插值就会影响清晰度，不规则图像在原始图像信息中所占面积越大，需要插值就会越少，图像就会越清晰。因此，当摄像头采集的像素点总数固定的情况下，有效像素占用面积越大，图像效果越好。

对于前摄像头3、左摄像头4、右摄像头5以及后摄像头6来说，彼此的整体结构可以不相同。但是这种方式获取的图像信息对处理器2的负担和显示的全景环视图像的显示质量影响太大，一般不采用这种方式。至少是前摄像头3和后摄像头6可以采用同一种，左摄像头4和右摄像头5可以采用同一种。这种情况一般是由摄像头固定的结构不同引起的。

当然，为了提高全景环视图像的显示质量，前摄像头3、左摄像头4、右摄像头5以及后摄像头6的结构相同，包括鱼眼镜头模组、固定支架以及连接线；鱼眼镜头模组通过固定支架固定；连接线与鱼眼镜头模组连接，用于使鱼眼镜头模组与处理器2进行数据交互。固定支架将鱼眼镜头模组固定在车辆上，鱼眼镜头模组内部具有精密的步进电机，可以实现镜头伸缩功能和调焦，可以精确地控制旋转角度，也可输出较大的扭矩，可以点动，急停，转速和转角不受有无阻力或阻力大小影响。

如图3所示为鱼眼镜头模组的光学单元的结构示意图，鱼眼镜头模组的光学单元为8组10片；其中，从物体侧开始的第4片为防抖透镜，第5片为对焦透镜。具体的，光学单元包括从物体侧开始依次配置的第一透镜L1、第二透镜L2、第三透镜L3、第四透镜L4、第五透镜L5、第六透镜L6、第七透镜L7、第八透镜L8、第九透镜L9以及第十透镜L10；且第一透镜L1、第二透镜L2、第三透镜L3、第四透镜L4、第五透镜L5、第六透镜L6、第七透镜L7、第八透镜L8、第九透镜L9以及第十透镜L10同轴设置。即防抖透镜为第四透镜L4，对焦透镜为第五透镜L5。在调焦时，第五透镜L5沿光轴移动。在防抖动补正时，第四透镜L4在相对于光轴垂直的方向上移动。其中，第二透镜L2和第九透镜L9为双面非球面透镜。从而使得鱼眼镜头模组的焦距短，视角大，视角达到190度，为近距离拍摄大范围景物创造了条件。

需要说明的是。如图4所示，第四透镜L4可以包括依次同轴设置的第四十一透镜L41、第四十二透镜L42、第四十三透镜L43、第四十四透镜L44以及第四十五透镜L55。如图5所示，第五透镜L5可以是由透镜群组组成。这种群组组成的第四透镜L4具有良好的防抖性能，使得车辆在行驶过程中获取的图像形象稳定。比如，第五透镜L5可以包括依次同轴设置的第五十一透镜L51、第五十二透镜L52、第五十三透镜L53以及第五十四透镜L54。于其他实施例中，第四透镜L4和第五透镜L5可以由其他透镜组合形成。这种群组组成的第五透镜L5具有良好的定焦性能，能够快速定焦，且移动范围小，实现轻量级的定焦群组。

左摄像头4和右摄像头5数量相同，数量分别为1个、2个、3个或4个。左摄像头4和右摄像头5等距分布于车辆的两侧。通过设置多个摄像头来增加摄像头拍摄的质量，且对处理器2处理的负担不会太重。

在车载显示器1中显示的内容可以是处理器2的控制下显示的。根据不同的需求，车载显示器1可以显示不同的内容。比如，车载显示器1包括可触控显示器，可触控显示器响应于用户操作产生触控信号，处理器2根据触控信号可以控制车载显示器1显示的内容，比如切换全景环视图像为前视、后视、左前视、右前视等视角。而且根据处理器2内置预设的程序来实现自动切换控制车载显示器1显示的内容，也就是说处理器2可以获取车辆的车辆信息，这里的车辆信息包括不限于车速、转向信息、档位信息以及身份信息等。能够根据车辆信息对车载显示器1显示的全景环视图像进行切换或者调整。比如在倒挡时，转弯时，直接显示全景环视图像，其余时间不显示。于此就不一一举例。

本实用新型实施例二提供的车辆全景环视系统，与实施例一的区别在于，还包括移动端，移动端与处理器2连接，用于与处理器2进行数据交互。移动端包括不限于手机端、PC端以及平板端等。通过移动端可以进行远程监控服务，在安装于汽车内部的车载显示器1上生成汽车及其周边环境的全景环视图像，且可以在移动端直接显示。

使得车辆两侧视野全开，不再被死角左右安全，若车后方来车正好进入两侧的死角区时，行车中变换车道就极易发生危险。本实用新型避免了这样的情况，将全景环视影像完整呈现在车载显示器1内，让安全无死角，闪避不可预测的危险情况。在多地形驾驶途中，全景环视图像的画面帮助驾驶者确认车辆周围的状况，通过车载显示器1显示汽车周围实时画面，方便其对易形成行车盲点的区域进行路面状况确认，画面显示出汽车的车轮方向。当然此功能也可在泊车时带来更多便利。

基于同一实用新型的构思，本实用新型实施例三提供一种全景环视图像生成方法，该方法的实施可参照上述系统的过程实现，重复之处不再冗述。

本实用新型实施例三提供一种全景环视图像生成方法，包括以下步骤；

S100、将前摄像头配置在车辆的前方，将左摄像头配置在车辆的左侧，将右摄像头配置在车辆的右侧，将后摄像头配置在车辆的后方；被配置的前摄像头、左摄像头、右摄像头以及后摄像头均包括结构相同鱼眼镜头模组，鱼眼镜头模组的广角为190°；

S200、获取前摄像头、左摄像头、右摄像头以及后摄像头拍摄的各个图像信息，并对各个图像信息进行拼接，将拼接得到的全景环视图像进行显示。

在配置各摄像头时，只需要按步骤S100中的方式配置。也就是在车辆四周每个方向上都配置摄像头。使得获取的各个图像信息能够直接拼接就能得到无视觉盲区的全景环视图像。本实用新型提供的全景环视图像生成方法，驾驶员在驾驶室内通过车载显示器就可以直接看到汽车四周的全景环视图像，因此驾驶员在行驶和倒车时可以根据车载显示器显示的实时全景环视图像来行驶，扩大了驾驶员视野，使驾驶员及时了解路况信息，提高行车安全性。

为了提高全景环视图像的质量，那么对于处理器的图像处理功能提出新的要求。即需要各个摄像头相互协同配合作用然后通过图像合成处理，形成全车周围的一整套的视频图像。传统的物体距离测量需要使用超声波或者激光雷达，需要在车身上安装多个传感器，而且再加上四个摄像头，费用比较高。且传统基于计算机视觉的车道、行人以及车辆检测需要人工设计比较复杂的特征提取方法，这些方法在鲁棒性上有一定的局限性。例如，采用HOG特征是泛化性能较强的特征之一，但对于复杂背景和遮挡等情况下的检测效果较差。

本实用新型具体的拼接方法可以是采用深度学习、特征提取等方式建立的模型实现。深度学习是当前机器学习领域的研究热点，它使用自下而上的方式逐层学习特征的深层表示。可以将深度学习应用到车道线检测、行人检测、车辆检测等领域，对相应物体进行标记，并计算矩形框距本车的距离来提供碰撞预警等功能。基于深度学习得到的全景环视图像具有环视图像显示及各视角图像显示、车道线检测及车道偏移预警、行人检测、车辆检测、前车碰撞预警、碰撞识别、刮擦识别等功能。

对于利用深度学习得到的全景环视图像具体步骤可以是利用数据库中的各类图像信息进行训练建立识别模型；再将各个摄像头获取的图像信息输入至识别模型中输出全景图像信息。全景图像信息包括不限于各视角的车辆图像信息、车道线图像信息、行人图像信息、周边车辆图像信息等数据。

各视角图像显示信息、车道线检测信息及车道偏移预警信息、行人检测信息、车辆检测信息、前车碰撞预警信息、碰撞识别信息以及刮擦识别信息等。

各个摄像头获取的图像信息均需要经过一个标定的过程。即在对各个图像信息进行拼接前，需要对图像信息进行标定。机器视觉的基本任务之一是从摄像头获取的图像信息并计算三维空间中物体的几何信息，以由此重建和识别物体。摄像头通过成像透镜将三维场景投影到摄像头二维像平面，三维场景和二维像平面的联系由标定的结果建立。所以，根据标定点的实际物理坐标和图像坐标系坐标，得到镜头的几何模型，即可完成标定，标定算法本身并不需要固定的标定场地，整个标定的过程自动完成。

对图像信息进行标定的步骤具体为，将待标定的车辆驶入标定场地的标定位置。根据预设的标准标定图像信息，作为实际物理坐标作为标定算法的输入参数，标定算法在摄像头拍到的标定场地的图像信息中的自动检测角点，得到角点在图像坐标系中的图像坐标；根据角点的实际物理坐标和图像坐标即可得完成标定。此外，更换角点的物理坐标，标定算法即可在新的标定场地完成自动标定。

于本实施例中，是利用车辆自身的车身特征信息来建模得到全景环视图像。

下面对于获取前摄像头、左摄像头、右摄像头以及后摄像头拍摄的各个图像信息，对各个图像信息进行拼接的具体步骤；

S210、实时获取前摄像头、左摄像头、右摄像头以及后摄像头拍摄的各个图像信息，图像信息包括车身特征信息；

S220、将预设的车身标准信息与车身特征信息进行比对生成对应的映射查找表，根据映射查找表建立各个对应的全景融合模型；

S230、根据全景融合模型和泰勒拟合对每个图像信息进行拼接，得到全景环视图像。

需要说明的是，车辆不需要进入特定的场地标定，可以随时根据图像信息中车身特征信息和预设的车身标准特征信息进行标定，标定的具体过程见上述标定步骤。当然，也可以执行传统的标定方法。

车身标准信息是每辆车自身的标准信息。是预先根据每个车辆自身的特征生成的。也就是车身标准信息与车辆是一对一的关系。全景图像信息包括不限于各视角图像显示信息、车道线检测信息及车道偏移预警信息、行人检测信息、车辆检测信息、前车碰撞预警信息、碰撞识别信息以及刮擦识别信息等。

本实用新型通过将预设的车身标准信息与车身特征信息进行比对生成对应的映射查找表，根据映射查找表建立各个对应的全景融合模型使得生成的全景融合模型。根据全景融合模型先进行第一次拼接，再通过泰勒拟合对第一次拼接后的图像进行二次拼接，得到全景环视图像。对于鱼眼摄像头来说，因为周边区域的畸变很大，泰勒拟合后的模型只能保证对于标定点覆盖的区域具有很好的描述。要准确地拼接上，就需要在相交区域使用泰勒模型二次拼接计算出准确的外参。避免现有的鱼眼摄像头模型在接近180度至190度的区域里不能得到完全矫正，导致的相交区域拼接效果不好。使用泰勒拟合在接近180度至190度的相交区域做局部拟合，以完善相交区域的拼接。对四个190度鱼眼镜头，支持自动校准。对采集的图像信息进行畸变还原和完美无缝拼接，也就是说没有了拼接线，车辆的周围真正没有盲区，展示一个完美的整体景象。

本实用新型实施例四提供一种全景环视图像生成方法，与实施例三相比，其区别在于，还包括以下步骤；

在得到全景环视图像后，根据预设阈值对图像信息中的外景特征信息进行评估，根据评估结果发出提醒信号，同时保存评估结果。

评估结果可以直接附加进为全景图像信息中，即附加后的全景图像信息包括不限于车道线检测信息、车道偏移预警信息、行人检测信息、车辆检测信息、前车碰撞预警信息、碰撞识别信息以及刮擦识别信息等。可以评估监控识别轻微车身损伤，替代人工检查。将评估结果。通过处理器利用远程服务器传输至移动端，即可实时远程监控识别替代事后定点人工检查。

本实用新型虽然已以较佳实施例公开如上，但其并不是用来限定本实用新型，任何本领域技术人员在不脱离本实用新型的精神和范围内，都可以利用上述揭示的方法和技术内容对本实用新型技术方案做出可能的变动和修改，因此，凡是未脱离本实用新型技术方案的内容，依据本实用新型的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本实用新型技术方案的保护范围。