专利名称：基于fpga的智能车载360°全景成像系统的制作方法
技术领域：
本实用新型涉及一种图像处理领域，特别是涉及一种基于FPGA的智能车载360° 全景成像系统。
背景技术：
随着2010年中国汽车市场的销量首度超越美国成为世界第一的汽车市场，越来越多的中国家庭开始使用汽车作为代步工具。在汽车给家庭生活带来便捷的同时，也带来了一些烦恼。绝大部分新驾驶员都有过倒车剐蹭的痛苦经历，即使是大部分老驾驶员，倒车时在面对不同宽度的停车位、以及大小不同的车时也会产生烦恼。因此，对于泊车辅助的解决方案的研究就一直没有停止。从最早的超声波倒车雷达到现在渐渐流行的可视倒车系统，已经越来越多的为市场所接受。但是，传统的倒车泊车辅助系统，无论是倒车雷达还是后视成像系统，都只能探测到车辆的后方，无法同时看清车辆四周的情况，存在着巨大的视角盲区，由于驾驶员无法看清车身四周的状况，这就有了车身周围360度全景影像的辅助需求。而且，汽车市场不同于其他消费类电子市场，往往一个汽车平台本身就可以衍生出高中低等多个配置需求，每一个配置需求所面向的客户群不同，市场需求也不同，如果像现有产品一样基于每一个配置需求都开发一套系统，就会导致资源的巨大浪费。并且，传统的处理方案在车上布置的摄像头只能用于观测，因此迫切需要一种全新的倒车泊车辅助系统。
实用新型内容鉴于以上所述现有技术的缺点，本实用新型的目的在于提供一种基于FPGA的智能车载360°全景成像系统，以提供车辆周围360°全景图像，拓展车辆驾驶员的视野，以便于停泊车。为实现上述目的及其他相关目的，本实用新型提供一种基于FPGA的智能车载 360°全景成像系统至少包括分别设置在车辆前侧、后侧、左侧及右侧位置的多个图像摄像设备；与所述多个图像摄像设备连接且用于对所述多个图像摄像设备所摄取的图像信息进行处理的FPGA图像处理芯片；与所述FPGA图像处理芯片连接且用于将所述FPGA图像处理芯片输出的图像予以显示的显示设备。如上所述，本实用新型的基于FPGA的智能车载360°全景成像系统，具有以下有益效果能提供车辆周围360°全景图像，以方便车辆驾驶员的停泊车。
图1显示为本实用新型的基于FPGA的智能车载360°全景成像系统示意图。图2显示为本实用新型基于FPGA的智能车载360°全景成像系统的图像摄取设备的设置位置示意图。图3显示为本实用新型的基于FPGA的智能车载360°全景成像系统的FPGA图像处理芯片示意图。图4显示为本实用新型的基于FPGA的智能车载360°全景成像系统的FPGA图像处理芯片的优选示意图。元件标号说明1 基于FPGA的智能车载360°全景成像系统11 图像摄取设备12 FPGA图像处理芯片13 显示设备120 相关信息采集单元121 摄像控制单元122 图像采集单元123 写缓存单元124 内存125 读写单元126 图像处理单元127 读缓存单元128 图像输出单元129 行车信息采集单元
具体实施方式
以下通过特定的具体实例说明本实用新型的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本实用新型的其他优点与功效。本实用新型还可以通过另外不同的具体实施方式
加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本实用新型的精神下进行各种修饰或改变。请参阅图1至图4。需要说明的是，本实施例中所提供的图示仅以示意方式说明本实用新型的基本构想，遂图式中仅显示与本实用新型中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。如图所示，本实用新型提供一种基于FPGA的智能车载360°全景成像系统。所述基于FPGA的智能车载360°全景成像系统1包括多个图像摄像设备11、FPGA图像处理芯片12及显示设备13。所述图像摄像设备11用于摄取车辆周围的环境图像信息。优选地，在车辆的前侧、后侧、左侧及右侧位置分别设置一个或多个像摄像设备11。例如，如图2所示，在在车的前档位置A、车两侧后视镜位置B、D以及车的后备箱的位置C分别设置四个图像摄像设备 11。更为优选地，图像摄取设备11包括视角范围在180度以上的广角鱼眼高清摄像头，以支持百万像素级别的成像需求。所述FPGA图像处理芯片12与所述多个图像摄像设备11连接，用于对所述多个图像摄像设备11所摄取的图像信息进行处理，例如，对图像信息压缩，存储，读写控制以及基于各种应用需求来进行相应处理，以实现所有的智能车载全景成像系统的各种差异化应用的需要。优选地，所述FPGA图像处理芯片12包括摄像控制单元121、图像采集单元122、 写缓存单元123、内存124、读写单元125、图像处理单元126、读缓存单元127、及图像输出单元128，如图3所示。所述摄像控制单元121与所述多个图像摄像设备11连接，且用于控制所述多个图像摄像设备11的运行。例如，所述摄像控制单元121基于1 总线时序来控制所述多个图像摄像设备11的初始化配置工作，使所述多个图像摄像设备11正常运转。优选地，当所述显示设备13为具有触摸屏的显示设备时，所述摄像控制单元121 具有与所述显示设备连接的LIN总线接口，并基于所述LIN总线接口连接所述显示设备，以便基于所述LIN总线接口接入的触摸点的位置信息来控制所述多个图像摄像设备11的运行；例如，所述摄像控制单元121确定需要启动的鱼眼摄像头的数量数以及鱼眼摄像头的输出模式等。所述图像采集单元122与所述多个图像摄像设备11连接，用于采集所述多个图像摄像设备11所摄取的图像信息。优选地，所述图像采集单元122包括异步先入先出存储单元(FIFO)。所述多个鱼眼摄像头经正确配置正常开始工作之后，就开始传输数据，该些数据包括像素数据、行场同步信号以及像素时钟信号。由于输入和输出的不同步性问题、以及视频后期处理的考虑，所述图像采集单元122采用一个异步FIFO来存储该些数据。所述写缓存单元123与所述图像采集单元122连接，用于缓存所述图像采集单元 122所采集的图像信息。具体地，所述写缓存单元123将所述图像采集单元122的异步FIFO中输出的视频数据以及行场同步信号进行缓存处理(一般为一个同步FIFO)，以便写入内存。所述内存IM用于存储图像信息，优选地，所述内存IM包括但不限于DDR内存寸。所述读写单元125与所述内存124、写缓存单元123及图像处理单元1 连接，用于将所述写缓存单元123所缓存的图像信息写入内存IM及将所述内存IM所存储的图像
信息读出。所述图像处理单元1 与所述读写单元125连接，用于对所述读写单元125所读出的图像信息进行校正并拼接成全景图像。具体地，所述图像处理单元126将来自4个鱼眼摄像头的4路图像信息先分别经过鱼眼校正处理，使得各大广角成像所得的扭曲图像分别成为没有失真的图像；再基于4 个鱼眼摄像头的位置来进行图像位置调节，以将四幅图像完整拼接成一幅全景图像，并将所拼接成的全景图像送入读写单元125，以便写入所述内存124。优选地，所述图像处理单元1 包括以下至少一个子单元i.行人检测和预警(Pedestrian Detection & Warning core)子单元,用于对图像信息进行行人检测并提供预警；ii.运动物体检测与主动预警(Moving Objects Detection & Active ffarningcore)子单元，用于对图像信息进行运动物体检测并提供预警；iii.色彩校正(Color Correction core)子单元，用于对图像信息进行色彩校正；iv.红外识别跟踪 Qnfrared Indentify and Tracking core)子单元，用于对图像信息进行目标识别及跟踪；v.智能泊车引导线Qntelligent Parking Guide Line core)子单元，用于对图像信息进行泊车引导。需要说明的是，本领域技术人员应该理解，上述各子单元可基于用户的实际需求来配置，由此可使该智能车载360°全景成像系统成为独家定制的(customized)智能车载全景成像系统，以便满足各个层面各个配置车型的市场的需求。所述读缓存单元127与所述读写单元125连接，用于将所述读写单元125所读出的全景图像予以缓存。优选地，所述读缓存单元127包括异步FIFO，以便将所述读写单元125读出的数据缓存。所述图像输出单元1 与所述读缓存单元127及所述显示设备13连接，用于将所述读缓存单元127缓存的全景图像信息予以封装后输出至所述显示设备13。具体地，所述图像输出单元1 从所述读缓存单元127的异步FIFO中读取数据， 并且将所读取的数据按照预定的输出接口格式进行处理，并且输出到显示设备13。所述显示设备13与所述FPGA图像处理芯片12连接，用于将所述FPGA图像处理芯片12输出的图像予以显示。具体地，所述显示设备13将所述图像输出单元1 输出的全景图像予以显示。优选地，所述显示设备13包括具有触摸屏的显示设备，以便用户操作。此外，作为一种优选方式，所述FPGA图像处理芯片12还包括行车信息采集单元 129和/或相关信息采集单元120，如图4所示。所述行车信息采集单元129与所述图像处理单元1 连接，其具有CAN总线接口， 以便通过该CAN总线接口采集行车信息，并将该行车信息提供给所述图像处理单元126，以便为所述图像处理单元126的图像处理提供数据支持。所述相关信息采集单元120与所述图像处理单元1 连接，其具有MOST总线接口，以便通过该MOST总线接口采集相关信息，并将该相关信息提供给所述图像处理单元 126，以便为所述图像处理单元126的图像处理提供数据支持。所述相关信息采集单元120 可以支持今后越来越成熟的most总线，为汽车的高端应用提供总线接口支持。综上所述，本实用新型基于FPGA的智能车载360°全景成像系统采用在车辆的不同位置分别设置鱼眼摄像头，来摄取车辆的环境图像信息，并基于FPGA图像处理芯片来对图像进行处理，由于采用硬件压缩的形式，相比现有基于DSP的图像处理系统，FPGA图像处理芯片的图像处理的效率高，并且图像的质量要好；而且，由于视频数据处理由单一 FPGA 图像处理芯片来完成，使得整个硬件框架变得简单而高效，且FPGA独特的门级并行处理方式也大大提高了其处理速度。更重要的是，FPGA良好的灵活性使得基于同一汽车开发平台不同配置车型的可配置智能车载全景成像系统成为了现实。可供选择的图像处理的子单元，例如，行人检测和预警子单元、运动物体检测与主动预警子单元、色彩校正子单元、红外识别跟踪子单元、泊车引导子单元等，可以满足不同车型配置的市场需求，并且能够充分利用摄像头的资源，极大地缩短了研发的时间和成本，而且不必为了不同配置需求开发不同的系统，使得资源的可利用率大大增加，而简单的操作也使得这种可配置性拥有巨大的市场潜力。所以，本实用新型有效克服了现有技术中的种种缺点而具高度产业利用价值。 上述实施例仅例示性说明本实用新型的原理及其功效，而非用于限制本实用新型。任何熟悉此技术的人士皆可在不违背本实用新型的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本实用新型所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本实用新型的权利要求所涵盖。
权利要求1.一种基于FPGA的智能车载360°全景成像系统，其特征在于，所述基于FPGA的智能车载360°全景成像系统至少包括分别设置在车辆前侧、后侧、左侧及右侧位置的多个图像摄像设备； 与所述多个图像摄像设备连接且用于对所述多个图像摄像设备所摄取的图像信息进行处理的FPGA图像处理芯片；与所述FPGA图像处理芯片连接且用于将所述FPGA图像处理芯片输出的图像予以显示的显示设备。
2.根据权利要求1所述的基于FPGA的智能车载360°全景成像系统，其特征在于所述显示设备包括具有触摸屏的显示设备。
3.根据权利要求1或2所述的基于FPGA的智能车载360°全景成像系统，其特征在于 所述FPGA图像处理芯片包括与所述多个图像摄像设备及所述显示设备连接且用于基于触摸点的位置信息来控制所述多个图像摄像设备运行的摄像控制单元；与所述多个图像摄像设备连接且用于采集所述多个图像摄像设备所摄取的图像信息的图像采集单元；与所述图像采集单元连接且用于缓存所述图像采集单元所采集的图像信息的写缓存单元； 内存；与所述内存及写缓存单元连接且用于将所述写缓存单元所缓存的图像信息写入内存及将所述内存所存储的图像信息读出的读写单元；与所述读写单元连接且用于对所述读写单元所读出的图像信息进行校正并拼接成全景图像的图像处理单元；与所述读写单元连接且用于将所述读写单元所读出的全景图像予以缓存的读缓存单元；与所述读缓存单元及所述显示设备连接且用于将所述读缓存单元缓存的全景图像信息予以封装后输出至所述显示设备的图像输出单元。
4.根据权利要求3所述的基于FPGA的智能车载360°全景成像系统，其特征在于所述摄像控制单元具有与所述显示设备连接的LIN总线接口。
5.根据权利要求3所述的基于FPGA的智能车载360°全景成像系统，其特征在于所述图像处理单元包括以下至少一个子单元用于对图像信息进行行人检测并提供预警的行人检测和预警子单元；用于对图像信息进行运动物体检测并提供预警的运动物体检测与主动预警子单元；用于对图像信息进行色彩校正的色彩校正子单元；用于对图像信息进行目标识别及跟踪的红外识别跟踪子单元；用于对图像信息进行泊车引导的泊车引导子单元。
6.根据权利要求3所述的基于FPGA的智能车载360°全景成像系统，其特征在于所述FPGA图像处理芯片还包括以下至少一项与所述图像处理单元连接且具有CAN总线接口以便通过该CAN总线接口采集行车信息的行车信息采集单元；与所述图像处理单元连接且具有MOST总线接口以便通过该MOST总线接口采集相关信息的相关信息采集单元。
7.根据权利要求1所述的基于FPGA的智能车载360°全景成像系统，其特征在于每一个图像摄像设备包括鱼眼摄像头。
专利摘要本实用新型提供一种基于FPGA的智能车载360°全景成像系统。所述智能车载360°全景成像系统至少包括分别设置在车辆前侧、后侧、左侧及右侧位置的多个图像摄像设备；与所述多个图像摄像设备连接且用于对所述多个图像摄像设备所摄取的图像信息进行处理的FPGA图像处理芯片；与所述FPGA图像处理芯片连接且用于将所述FPGA图像处理芯片输出的图像予以显示的显示设备；由此，基于多个图像摄取设备所摄取的图像信息所整合形成的全景图像，可有效拓展车辆驾驶员的视野，从而方便其停泊车。
文档编号H04N7/18GK202309974SQ20112041457
公开日2012年7月4日 申请日期2011年10月27日 优先权日2011年10月27日
发明者何宇童, 吴越, 姚元, 姚琪, 王庭晖, 贺聪, 赵峰 申请人:上海德致伦电子科技有限公司