一种三维立体鸟瞰行车辅助的方法、装置以及系统的制作方法
【专利摘要】本发明公开了一种三维立体鸟瞰行车辅助的方法，包括：S1.通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像；S2.将所述的第一视频图像进行4路视频图像的分离；S3.将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像；S4.显示所述的全景俯视鸟瞰视频图像。本发明还公开了一种三维立体鸟瞰行车辅助的装置以及系统。本发明提供的三维立体鸟瞰行车辅助的方法、装置以及系统能让驾驶员坐在车中即可直观地看到车辆所处的位置以及车辆周围的障碍物。
【专利说明】一种三维立体鸟瞰行车辅助的方法、装置以及系统
【技术领域】
[0001]本发明涉及行车辅助的领域，特别涉及一种三维立体鸟瞰行车辅助的方法、装置以及系统。
【背景技术】
[0002]车祸，指行车(多指汽车等机动车)时发生的伤亡事故。造成的伤害大体可分为减速伤、撞击伤、碾挫伤、压榨伤及跌扑伤等，其中以减速伤、撞击伤为多。减速伤是由于车辆突然而强大的减速所致伤害，如颅脑损伤、颈椎损伤，主动脉破裂、心脏及心包损伤，以及"方向盘胸"等。撞击伤多由机动车直接撞击所致。碾挫伤及压榨伤多由车辆碾压挫伤，或被变形车厢、车身和驾驶室挤压伤害同时发生于一体。因此，车祸的伤势重、变化快、死亡率高。车祸已成为当今社会公害，为城市人口死亡的四大原因之一。
[0003]如何有效地避免车祸，这就要求驾驶员坐在车中即可直观地看到车辆所处的位置以及车辆周围的障碍物，能帮助驾驶者从容操控车辆泊车入位或通过复杂路面，以及观察车身四周有无障碍物或者玩耍的儿童，有效减少刮蹭、碰撞、陷落等事故的发生，以及保障驾驶者以及周边人员的人身安全。
【发明内容】
[0004]为解决以上的问题，本发明提供三维立体鸟瞰行车辅助的方法、装置及系统。
[0005]本发明公开了一种三维立体鸟瞰行车辅助的方法，包括:
[0006]S1.通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像；
[0007]S2.将所述的第一视频图像进行4路视频图像的分离；
[0008]S3.将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像；
[0009]S4.显示所述的全景俯视鸟瞰视频图像。
[0010]在本发明所述的三维立体鸟瞰行车辅助的方法中，所述步骤S2以及步骤S3还包括步骤S21，将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
[0011]在本发明所述的三维立体鸟瞰行车辅助的方法中，所述步骤S3还具体包括以下步骤:
[0012]S32.将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像；
[0013]S33.将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像；
[0014]S34.将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度，并在整体视觉上感觉不到拼接的效果。
[0015]本发明公开了一种三维立体鸟瞰行车辅助的装置，包括:
[0016]第一视频图像复合单元，用于通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像；
[0017]视频图像分离单元，用于将所述的第一视频图像进行4路视频图像的分离；
[0018]视频图像拼接单元，用于将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像；
[0019]全景俯视鸟瞰视频图像显示单元，用于显示所述的全景俯视鸟瞰视频图像。
[0020]在本发明所述的三维立体鸟瞰行车辅助的装置中，在所述的视频图像分离单元及视频图像拼接单元还包括视频图像压缩存储单元，用于将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
[0021]在本发明所述的三维立体鸟瞰行车辅助的装置中，所述的视频图像拼接单元具体包括下列子单元:
[0022]视频畸变校正子单元，将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像；
[0023]视频裁剪透视变换子单元，将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像；
[0024]视频图像交合处均衡处理子单元，将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度，并在整体视觉上感觉不到拼接的效果。
[0025]本发明公开了一种三维立体鸟瞰行车辅助的系统，包括安装在车身前后左右的用于采集车辆四周的影像的4个超广角摄像头、DSP (Digital Signal Processing,数字信号处理)主处理器、与所述的DSP主处理器相连的存储器以及显示单元，还包括:所述的DSP主处理器具有如上所述的三维立体鸟瞰行车辅助的装置。
[0026]在本发明所述的三维立体鸟瞰行车辅助的系统中，所述的存储器包括DDR2内存和/或Flash固态存储器和/或SD卡和/或USB存储器。
[0027]在本发明所述的三维立体鸟瞰行车辅助的系统中，所述的显示单元包括IXD/LED
显示屏。
[0028]本发明的一种三维立体鸟瞰行车辅助的方法、装置以及设备，具有以下有益效果:
[0029]本技术方案利用计算机视觉原理，结合优化的DSP图像和视频处理算法，在一个嵌入式实时系统平台上实现了三维立体鸟瞰行车辅助系统，不但解决了驾驶者视觉盲区的问题，并给所有的驾驶者提供了一只可资依赖的永不疲倦的空中的眼睛，为车辆的安全行驶保驾护航。
[0030]本专利区别于相近的技术方案主要有两点:
[0031]1.本专利对于可系统匹配的超广角摄像头的工艺要求降低。按照目前国内车载摄像头的生产工艺(主要指光学镜头的生产工艺以及摄像头的加工工艺)，能够满足三维立体鸟瞰或者全景系统的匹配要求的摄像头加工的成品率很低，一致性很差。本专利通过独特的视频处理算法，将一般普通工艺的超广角摄像头均可运用在本系统中，降低了系统整体成本，扩大了应用范围，普及了三维立体鸟瞰系统的推广和使用。
[0032]2.本专利使用一颗DSP芯片，同时完成了三维立体鸟瞰行车辅助系统的功能以及4路超广角摄像头实时视频录像的功能，而无需整合多个视频处理芯片。
【专利附图】
【附图说明】
[0033]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0034]图1为本发明第一实施例一种三维立体鸟瞰行车辅助的方法流程示意图；
[0035]图2为本发明第二实施例一种三维立体鸟瞰行车辅助的方法流程示意图；
[0036]图3为本发明第一实施例一种三维立体鸟瞰行车辅助的方法装置功能方框图；
[0037]图4为本发明第二实施例一种三维立体鸟瞰行车辅助的方法装置功能方框图；
[0038]图5为本发明一种三维立体鸟瞰行车辅助的方法系统示意图；
[0039]图6为本发明一种三维立体鸟瞰行车的摄像头拍摄范围以及重合区域示意图。
【具体实施方式】
[0040]通过下面给出的本发明的具体实施例可以进一步了解本发明，但它们不是对本发明的限定。对于本领域的技术人员根据上述
【发明内容】
所作的一些非本质的改进与调整，也视为落在本发明的保护范围内。
[0041]请参阅图1及图6，本发明第一实施例，一种三维立体鸟瞰行车辅助的方法，包括:
[0042]S1.通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像；
[0043]将安装在行驶车辆前后左右的4个超广角摄像头(每个大于170度)分别进行其覆盖范围的取景拍摄，每路视频的分辨率为720x576，PAL制或者NTSC制，输入模块将4路视频复合成一个1440x1152大小的图像，并通过I个快速视频通道输入到主处理DSP芯片进行下一步处理。
[0044]S2.将所述的第一视频图像进行4路视频图像的分离；
[0045]主处理DSP芯片在收到复合的视频图像后再次进行4路图像的分离，分别分离成720x576的Dl的标准视频图像，以待后续模块进行分别运算和处理，在本模块将4路视频图像分离后，本技术方案通过DSP的并行处理，分别同时对视频图像展开压缩以及变换。
[0046]S3.将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像；
[0047]三维立体鸟瞰行车辅助系统即是利用安装在车辆周身的4个广角鱼眼摄像头，分别形成4幅广角视频图像后再经过图像的校正和拼接等处理，从而合成一幅全景的360度可覆盖车身四周所有视觉的视频图像。
[0048]S4.显示所述的全景俯视鸟瞰视频图像。[0049]将上述合成的鸟瞰全景俯视图像配合单个前/后/左/右的原始视频，合成一个标准的800x480分辨率的视频信号并进行输出。
[0050]其中，所述步骤S2以及步骤S3还包括步骤S31，将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
[0051]本技术方案中，在一颗DSP芯片上同时实现三维立体鸟瞰行车辅助系统以及4路视频图像的压缩和保存的行车记录仪功能，有利于产品化成本的控制以及整体系统的稳定性。
[0052]请参阅图2，本发明第二实施例，一种三维立体鸟瞰行车辅助的方法，与实施例大部分相同，不同之处在于，所述步骤S3具体包括以下步骤:
[0053]S32.将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像；
[0054]将输入分解出的Dl的广角鱼眼视频图像数据通过校正算法校正为正常无畸变的图像。
[0055]S33.将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像；
[0056]S34.将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度，并在整体视觉上感觉不到拼接的效果。
[0057]请参阅图3、本发明第一实施例，一种三维立体鸟瞰行车辅助的装置1，包括:
[0058]第一视频图像复合单元10，用于通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像；
[0059]视频图像分离单元20，用于将所述的第一视频图像进行4路视频图像的分离；
[0060]视频图像拼接单元30，用于将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像；
[0061]全景俯视鸟瞰视频图像显示单元40，用于显示所述的全景俯视鸟瞰视频图像。
[0062]其中，在视频图像分离单元20及视频图像拼接单元30还包括视频图像压缩存储单元25，用于将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
[0063]请参阅图4、本发明第二实施例，一种三维立体鸟瞰行车辅助的装置2，与图3中实施例一大部分相同，不同之处在于，视频图像拼接单元30具体包括下列子单元:
[0064]视频畸变校正子单元31，将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像；
[0065]视频裁剪透视变换子单元32，将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像；
[0066]视频图像交合处均衡处理子单元33，将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度，并在整体视觉上感觉不到拼接的效果。
[0067]请参阅图5、一种三维立体鸟瞰行车辅助的系统，包括安装在车身前后左右的用于采集车辆四周的影像的4个超广角摄像头100、DSP主处理器300、与DSP主处理器300相连的存储器400以及显示单元500，DSP主处理器300具有如上述的三维立体鸟瞰行车辅助的装置I或三维立体鸟瞰行车辅助的装置2。
[0068]其中，存储器400包括DDR2内存和/或Flash固态存储器和/或SD卡和/或USB
存储器。
[0069]其中，显示单元500包括IXD/LED显示屏。
[0070]本技术方案的工作过程为:上电初始化，三维立体鸟瞰行车辅助系统通过安装在车身前后左右的4个超广角摄像头100，同时采集车辆四周的影像，经过DSP主处理器300的中的三维立体鸟瞰行车辅助的装置I或三维立体鸟瞰行车辅助的装置2的复杂的图像软件处理和有效的合成拼接后，形成一幅车辆四周的360度全景俯视图，实时传送到中控台的显示单元500上。
[0071]通过三维立体鸟瞰行车辅助系统，驾驶员坐在车中即可直观地看到车辆所处的位置以及车辆周围的障碍物，如同驾驶者有一只从空中俯视的眼睛，帮助驾驶者从容操控车辆泊车入位或通过复杂路面，以及观察车身四周有无障碍物或者玩耍的儿童，有效减少刮蹭、碰撞、陷落等事故的发生，以及保障驾驶者以及周边人员的人身安全。
[0072]本发明的一种三维立体鸟瞰行车辅助的方法、装置以及设备，具有以下有益效果:
[0073]1.本技术方案使用DSP作为视频图像处理平台，各种功能依靠软件和算法在上电时下载到DSP芯片中运行得以实现，因此具有相当的灵活性，可以根据各种不同摄像头的方案，各种超广角镜头的不同的畸变参数进行算法的调整和优化，以使得本专利能够适应市场上各种不同的超广角摄像头产品种类以及各种不同的车辆形状以及安装位置。
[0074]2.在一颗DSP芯片上同时实现三维立体鸟瞰行车辅助系统以及4路视频图像的压缩和保存的行车记录仪功能，这是目前类似方案中尚没有能够达到或者实现的。有利于产品化成本的控制以及整体系统的稳定性。
[0075]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种三维立体鸟瞰行车辅助的方法，其特征在于，包括: S1.通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像； S2.将所述的第一视频图像进行4路视频图像的分离； S3.将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像； S4.显示所述的全景俯视鸟瞰视频图像。
2.根据权利要求1所述的三维立体鸟瞰行车辅助的方法，其特征在于，所述步骤S2以及步骤S3还包括步骤S21，将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
3.根据权利要求1所述的三维立体鸟瞰行车辅助的方法，其特征在于，所述步骤S3还具体包括以下步骤: S32.将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像； S33.将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像； S34.将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度。
4.一种三维立体鸟瞰行车辅助的装置，其特征在于，包括: 第一视频图像复合单元，用于通过4个超广角摄像头采集车身前后左右的视频信息，复合成第一视频图像； 视频图像分离单元，用于将所述的第一视频图像进行4路视频图像的分离； 视频图像拼接单元，用于将所述的分离的4路视频图像按照其原本在车身前后左右的位置进行拼接，合成一幅以车辆为中心，可同时俯视车辆四周实际视频图像的全景俯视鸟瞰视频图像； 全景俯视鸟瞰视频图像显示单元，用于显示所述的全景俯视鸟瞰视频图像。
5.根据权利要求4所述的三维立体鸟瞰行车辅助的装置，其特征在于，在所述的视频图像分离单元及视频图像拼接单元还包括视频图像压缩存储单元，用于将所述的分离的4路视频图像进行打包压缩，并对每路视频做H.264的压缩算法处理，将4路的视频压缩数据进行打包合成，将合成并压缩的视频数据存储在系统设备的SD卡或者USB盘上。
6.根据权利要求4所述的三维立体鸟瞰行车辅助的装置，其特征在于，所述的视频图像拼接单元具体包括下列子单元: 视频畸变校正子单元，将所述的分离的4路视频图像数据通过校正算法校正为正常无畸变的图像； 视频裁剪透视变换子单元，将校正过后的图像视频进行合理的裁剪，保留以车身为中心的可视区域，并将视频图像按照俯视的视角进行透视变换，使得每一路视频变换成在其区域内的一个俯视视频影像； 视频图像交合处均衡处理子单元，将4路视频每两路相交处重合的视频覆盖区域根据两部分图像的色度、亮度等参数进行均衡处理，使得每两路视频的相交部分能够平滑的过度。
7.—种三维立体鸟瞰行车辅助的系统，包括安装在车身前后左右的用于采集车辆四周的影像的4个超广角摄像头、DSP主处理器、与所述的DSP主处理器相连的存储器以及显示单元，其特征在于:所述的DSP主处理器具有如权利要求4至6中的任一项所述的三维立体鸟瞰行车辅助的装置。
8.根据权利要求7所述的三维立体鸟瞰行车辅助的系统，其特征在于，所述的存储器包括DDR2内存和/或Flash固态存储器和/或SD卡和/或USB存储器。
9.根据权利要求7所述的三维立体鸟瞰行车辅助的系统，其特征在于，所述的显示单元包括IXD/LED显 示屏。
【文档编号】H04N5/262GK103929613SQ201310010881
【公开日】2014年7月16日 申请日期:2013年1月11日 优先权日:2013年1月11日
【发明者】陆如枫, 唐旭, 夏宇 申请人:深圳市灵动飞扬科技有限公司