一种车载全景可视系统的制作方法
【专利摘要】本实用新型提供一种车载全景可视系统。本实用新型车载全景可视系统，包括：图像采集模块、视频投影模块，图像处理模块、图像分析模块以及视频显示模块，其中：图像采集模块包括安装的分布式摄像头；图像处理模块与图像采集模块连接，其中包括视频投影单元；图像处理模块用于将合成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号；图像分析模块与图像处理模块连接，用于调整图像处理模块输出的VGA/TV双模式视频图像的亮度和对比度；视频显示模块与所述图像分析模块连接。本实用新型车载全景可视系统，解决现有系统中存在的图像拼接存在盲区和视频输出质量较差等问题和缺陷。
【专利说明】一种车载全景可视系统
【技术领域】
[0001]本实用新型涉及车载电子技术，尤其涉及一种车载全景可视系统。
【背景技术】
[0002]现今我国道路事故隐患越来越严峻。这一社会现状大大刺激了汽车用品市场对于行车安全产品的需求，全景行车行业现已突破萌芽阶段，发展迅猛，将成为继DVD导航之后又一井喷行业。全景视觉技术为报警系统、控制系统和安全系统提供最直观的状态信息，也为乘车安全提供了事前告之、过程记录和事后重现的技术手段。尤其对于大型的车辆和工程设备，因为驾驶员的视线盲区更大，安全问题就更加严重。
[0003]全景可视化的辅助泊车系统的概念是由K.Kato, M.Suzuki，Y.Fujita, Y.Hirama等四人于 2006 年在〈〈Image synthesis display method and apparatus for vehiclecamera》首先提出的。这一概念提出以后，马上吸引了众多汽车生产厂商和相关科研单位的注意。全景可视化的技术旨在为驾驶员提供车辆周围的鸟瞰图像，让驾驶员了解车辆四周障碍物和行人的位置及其与车辆的距离，360度的全景图像中没有任何视觉上的盲区。全景可视化的辅助泊车系统能够有效避免车辆擦碰事故的发生，提高车辆的安全驾驶性能。
[0004]但是目前的车载全景可视系统存在以下问题:(I)图像拼接存在盲区:由于现有系统采用的图像拼接技术，导致不能形成360度全景图，无法实现覆盖所有区域。如行人站在车身左后方、靠近外侧的位置，这时通过后视镜能看到他，但在车内的鸟瞰画面里却没有他的踪迹；(2)视频格式输出单一:现有产品的视频输出一般都是TV格式输出，导致无法提供完整清晰的图像效果；(3)周围光线较弱的情况下的视频输出质量较差。
实用新型内容
[0005]本实用新型提供一种车载全景可视系统，包括图像采集模块、图像处理模块、图像分析模块以及视频显示模块，其中:
[0006]所述图像采集模块包括安装的分布式摄像头，用于采集车载视频影像；
[0007]所述图像处理模块与所述图像采集模块连接，其中包括视频投影单元，所述视频投影单元用于通过逆投影变换将所述分布式摄像头拍摄的车载视频影像合成为平滑的全景视频图像；所述图像处理模块用于将合成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号；
[0008]所述图像分析模块与所述图像处理模块连接，用于调整图像处理模块输出的VGA/TV双模式视频图像的亮度和对比度；
[0009]所述视频显示模块与所述图像分析模块连接，用于显示所述图像分析模块输出的车载全景可视视频图像。
[0010]进一步地，在上述技术方案的基础上，所述视频投影单元包括:
[0011]图像坐标转换子单元，用于根据摄像头的已知参数将原始视频图像坐标系转换成世界坐标系的逆坐标；
[0012]图像插值子单元，用于建立合成得到的全景视频图像中所有像素点与原始视频图像对应的像素点的坐标关系。
[0013]进一步地，在上述技术方案的基础上，所述摄像头的已知参数包括:摄像头水平方向和垂直方向视角、安装角度和安装高度。
[0014]进一步地，在上述技术方案的基础上，所述图像处理模块还包括ADC单元、DSP单元、DAC单元，其中:
[0015]所述ADC单元与所述图像采集模块连接，用于将所述图像采集模块中分布式摄像头获取的模拟车载视频影像转换为数字车载视频影像传输给所述DSP单元；
[0016]所述DSP单元与所述视频投影单元连接，用于将数字车载视频影像传输给所述视频投影单元以通过逆投影变换将所述数字车载视频影像合成为平滑的全景视频图像；
[0017]所述DAC单元与所述DSP单元连接，用于将所述DSP单元处理完成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号。
[0018]进一步地，在上述技术方案的基础上，所述图像处理模块还包括:SDRAM单元和FLASH单元，其中:
[0019]所述SDRAM单元与所述DSP单元连接，用于保存系统数据、程序和视频缓存信息；
[0020]所述FLASH单元与所述DSP单元连接，用于保存系统断电后仍需保存的数据信息。
[0021]进一步地，在上述技术方案的基础上，所述分布式摄像头为4或6个CMOS摄像头。
[0022]进一步地，在上述技术方案的基础上，所述视频显示模块包括设置在驾驶室内可触摸的IXD显示屏。
[0023]本实用新型车载全景可视系统，通过视频投影模块实现将所述分布式摄像头拍摄的视频影像合成为平滑的全景视频图像，通过图像分析模块调整图像处理模块输出的VGA/TV双模式视频图像的亮度和对比度，解决现有系统中存在的图像拼接存在盲区，视频格式输出单一和周围光线较弱的情况下的视频输出质量较差等问题和缺陷。
【专利附图】
【附图说明】
[0024]为了更清楚地说明本实用新型或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0025]图1为本实用新型车载全景可视系统实施例一的结构示意图；
[0026]图2为本实用新型车载全景可视系统实施例二的结构示意图；
[0027]图3为本实用新型车载全景可视系统实施例三的结构示意图；
[0028]图4为本实用新型车载全景可视系统实施例的硬件处理流程图。
【具体实施方式】
[0029]为使本实用新型的目的、技术方案和优点更加清楚，下面将结合本实用新型中的附图，对本实用新型中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0030]实施例一
[0031]图1为本实用新型车载全景可视系统实施例一的结构示意图，如图1所示，该系统包括:
[0032]包括图像采集模块10、图像处理模块20、图像分析模块30以及视频显示模块40，其中:
[0033]所述图像采集模块10包括安装的分布式摄像头100，用于采集车载视频影像；
[0034]优选地，所述分布式摄像头100为4或6个互补金属氧化物半导体(Complementary Metal Oxide Semiconductor，简称 CMOS)摄像头。4 个或 6 个 CMOS 视频摄像头组成系统的输入部分，将车身周围的视频图像传输给图像处理模块处理。已有产品的车载全景可视平台，摄像头数目普遍都是4个。这样对轿车效果还可以，但对于特种车辆，如矿山自卸车、推土机、装载机、挖掘机、卡车等还有一些豪华大巴，其他厢式车辆，如救护车、保温车、冷藏车，它们如果也用4个摄像头，就会不可避免的形成视觉盲区。因此，本实用新型实施例可以针对一些特种产品，提供可变摄像头数量，比如6个摄像头，这样可以提供更好的盲区覆盖。
[0035]所述图像处理模块20与所述图像采集模块10连接，其中包括视频投影单元200，所述视频投影单元用于通过逆投影变换将所述分布式摄像头拍摄的车载视频影像合成为平滑的全景视频图像；所述图像处理模块用于将合成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号；
[0036]进一步地，所述视频投影单元200可以包括:
[0037]图像坐标转换子单元201，用于根据摄像头的已知参数将原始视频图像坐标系转换成世界坐标系的逆坐标；其中，摄像头的已知参数可以包括摄像头水平方向和垂直方向视角、安装角度和安装高度等参数。
[0038]图像插值子单元202，用于建立合成得到的全景视频图像中所有像素点与原始视频图像对应的像素点的坐标关系。
[0039]具体视频投影单元工作时，根据设计的逆投影变换算法和相应参数建立逆投影变换查找表，表中显示了使用逆投影变换和图像插值算法后，转换得到的俯视图中的所有像素点与原图对应的像素点的坐标关系。本系统设计的低照度图像增强算法，即将直方图均衡化算法与局部对比度增强算法结合。采用直方图动态均衡化算法来完成对图像进行全局均衡化，得到原图灰度级映射函数G(x，y);再根据局部窗口统计方差来确定局部对比度放大系数，采用自适应对比度增强方法进行图像增强。将接缝的位置等参数保存成表的形式，建立全景图像拼接映射表，直接通过查表的方法完成图像的拼接，保证了系统的时间性能。在地面坐标系中标定点，再分别在待拼接图像中根据坐标系之间的关系确定标定点坐标，并根据标定点坐标确定接缝位置。根据接缝位置形成全景图像拼接表，硬件利用查表的方式实现全景图像的拼接。
[0040]所述图像分析模块30与所述图像处理模块20连接，用于调整图像处理模块20输出的VGA/TV双模式视频图像的亮度和对比度；针对低照度情况，在系统中加入图像增强功能。结合局部对比度增强技术设计一种改进的低照度图像增强算法，在周围光线较弱的情况下增强全景鸟瞰图的亮度和对比度。车辆在行驶中，车身周围的环境受到光照、天气等因素的影响，视频图像的亮度和对比度容易降低，这些情况下直接获取到的视频图像限制了对驾驶员的辅助功能。目前大多数关于车载全景可视化的产品中都没有解决低照度情况对视频图像的影响的好方法。在本实用新型提供的系统中，为了将这些影响降到最低，设计了低照度情况下对视频图像的增强处理，在保证系统实时性的前提下提高图像的亮度和对比度。系统采用在直方图均衡化算法中加入局部对比度增强技术。
[0041]所述视频显示模块40与所述图像分析模块30连接，用于显示所述图像分析模块30输出的车载全景可视视频图像。
[0042]优选地，所述视频显示模块包括设置在驾驶室内可触摸的液晶显示器(LiquidCrystal Display,简称 LCD)。
[0043]考虑到车载全景可视化系统对实时性的高要求，需要尽可能对图像处理的运算过程进行简化，提高时间性能。因此本系统根据坐标系之间的关系，利用摄像头视角等已知参数对图像进行逆投影转换，转换过程较为简单，降低系统的时间性能。
[0044]需要说明的是，本实施例使用的模块、单元等词语是为了更好的描述结构，本身并无实质含义，是由相应的硬件组成的功能描述。
[0045]本实用新型实施例车载全景可视系统，通过视频投影模块实现将所述分布式摄像头拍摄的视频影像合成为平滑的全景视频图像，通过图像分析模块调整图像处理模块输出的VGA/TV双模式视频图像的亮度和对比度，解决现有系统中存在的图像拼接存在盲区，视频格式输出单一和周围光线较弱的情况下的视频输出质量较差等问题和缺陷。
[0046]实施例二
[0047]图2为本实用新型车载全景可视系统实施例二的结构示意图，本实施例在实施例一的基础上，详细给出了处理模块的内部构造，如图2所示，该系统中所述图像处理模块还包括模拟/数字转换器(Analog to Digital Converter，简称ADC)单元210、数字信号处理(Digital Signal Processing，简称DSP)单元 220、数字/模拟转换器(Digital to AnalogConverter，简称 DAC)单元 230，其中:
[0048]所述ADC单元210与所述图像采集模块10连接，用于将所述图像采集模块中分布式摄像头100获取的模拟车载视频影像转换为数字车载视频影像传输给所述DSP单元220 ；
[0049]所述DSP单元220与所述视频投影单元200连接，用于将数字车载视频影像传输给所述视频投影单元220以通过逆投影变换将所述数字车载视频影像合成为平滑的全景视频图像；
[0050]所述DAC单元230与所述DSP单元220连接，用于将所述DSP单元220处理完成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号。
[0051]上述实施例中，考虑到车身内部空间有限，图像处理单元不采用PC机完成，采用DSP来完成视频图像的处理，成本更低，且易安装。
[0052]实施例三
[0053]图3为本实用新型车载全景可视系统实施例三的结构示意图，本实施例在实施例二的基础上，增加了同步动态随机存储器(Synchronous Dynamic Random Access Memory,简称SDRAM)单元和固态存储器FLASH单元，如图3所示，该系统中所述图像处理模块还包括:SDRAM单元和FLASH单元，其中:
[0054]所述SDRAM单元240与所述DSP单元220连接，用于保存系统数据、程序和视频缓存信息；
[0055]所述FLASH单元250与所述DSP单元220连接，用于保存系统断电后仍需保存的数据信息。
[0056]图4为本实用新型上述任意车载全景可视系统实施例的硬件处理流程图，如图4所示，硬件处理流程具体包括:
[0057]401、开始；
[0058]402、采集一帧图像:由各CMOS视频摄像头采集一帧图像提供给图像处理模块；
[0059]403、对一帧图像进行视角转换，通过视频投影单元中的图像坐标转换子单元和图像插值子单元对原始的图像进行处理；
[0060]404、将转换后的图像存储在SDRAM单元中；
[0061]405、判断一帧图像存储完毕，存储完毕则执行步骤406，否则继续执行；
[0062]406、DSP单元从SDRAM单元中读取全景图像拼接映射表，
[0063]407、DSP单元从SDRAM单元中查找拼接参数并进行图像拼接；
[0064]上述步骤中，在相邻摄像头覆盖的公共区域内标定两点作为参考点；分别在转换成相同视角的两幅待拼接图像中确定标定点的位置；在待拼接图像中根据标定点确定的直线确定接缝；将全景图像中四条接缝的参数保存成全景图像拼接映射表；系统通过查表的方式快速完成全景图像的拼接。设计的全景图像拼接方法具有快速、准确的特点，通过查表的拼接形式较为简单，降低了系统对硬件的要求和系统的复杂性。
[0065]408、DSP单元将拼接的图像结果输出到缓冲区SDRAM单元中；
[0066]409、判断一帧图像是否处理完毕，处理完毕则执行步骤410，否则回溯执行步骤407 ；
[0067]410、输出一帧图像并读入下一帧图像，循环从步骤402开始执行。
[0068]车载全景可视系统的硬件处理流程采取读取一帧、处理一帧、输出一帧的形式，由于项目产品算法中计算相对比较复杂的视角转换和视频拼接部分采用“读表”的形式，提高了系统的时间性能，因此保证了视频图像的流畅性。
[0069]需要说明的是，步骤409后还可以包括图像分析模块进行的图像增强处理步骤。改进的低照度图像增强处理方法依据的是图象增强原理以及直方图均衡化原理。直方图均衡化算法，能够扩大灰度值的范围，达到增强图像对比度的效果，从而在视觉效果上提高了图像的可观察性。引入一种动态的映射关系来决定灰度级的转换，根据当前灰度级两侧的灰度统计之比来决定当前灰度级的映射。由于出现概率过低的几个灰度级不可避免会与其它灰度级合并，造成图像细节损失，为了弥补图像灰度级减少带来的损失，项目产品在直方图均衡化算法中采用局部对比度增强技术。
[0070]最后应说明的是:以上各实施例仅用以说明本实用新型的技术方案，而非对其限制；尽管参照前述各实施例对本实用新型进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本实用新型各实施例技术方案的范围。
【权利要求】
1.一种车载全景可视系统，包括图像采集模块、图像处理模块、图像分析模块以及视频显示模块，其特征在于: 所述图像采集模块包括安装的分布式摄像头，用于采集车载视频影像； 所述图像处理模块与所述图像采集模块连接，其中包括视频投影单元，所述视频投影单元用于通过逆投影变换将所述分布式摄像头拍摄的车载视频影像合成为平滑的全景视频图像；所述图像处理模块用于将合成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号； 所述图像分析模块与所述图像处理模块连接，用于调整图像处理模块输出的VGA/TV双模式视频图像的亮度和对比度； 所述视频显示模块与所述图像分析模块连接，用于显示所述图像分析模块输出的车载全景可视视频图像； 所述视频投影单元包括: 图像坐标转换子单元，用于根据摄像头的已知参数将原始视频图像坐标系转换成世界坐标系的逆坐标； 图像插值子单元，用于建立合成得到的全景视频图像中所有像素点与原始视频图像对应的像素点的坐标关系； 所述图像处理模块还包括ADC单元、DSP单元、DAC单元，其中: 所述ADC单元与所述图像采集模块连接，用于将所述图像采集模块中分布式摄像头获取的模拟车载视频影像转换为数字车载视频影像传输给所述DSP单元； 所述DSP单元与所述视频投影单元连接，用于将数字车载视频影像传输给所述视频投影单元以通过逆投影变换将所述数字车载视频影像合成为平滑的全景视频图像； 所述DAC单元与所述DSP单元连接，用于将所述DSP单元处理完成的平滑的全景视频图像转换为VGA/TV双模式的视频图像模拟信号。
2.根据权利要求1所述的车载全景可视系统，其特征在于，所述图像处理模块还包括:SDRAM单元和FLASH单元，其中: 所述SDRAM单元与所述DSP单元连接，用于保存系统数据、程序和视频缓存信息； 所述FLASH单元与所述DSP单元连接，用于保存系统断电后仍需保存的数据信息。
3.根据权利要求1-2任一项所述的车载全景可视系统，其特征在于，所述分布式摄像头为4或6个CMOS摄像头。
4.根据权利要求1-2任一项所述的车载全景可视系统，其特征在于，所述视频显示模块包括设置在驾驶室内可触摸的LCD显示屏。
【文档编号】B60R1/00GK204258976SQ201420773141
【公开日】2015年4月8日 申请日期:2014年12月10日 优先权日:2014年12月10日
【发明者】陈云冲 申请人:泉州市宇云电子科技有限公司