专利名称：基于红外标定的汽车全景成像装置及方法
基于红外标定的汽车全景成像装置及方法
技术领域：
本发明涉及汽车电子信息处理技术领域，尤其是涉及一种基于红外标定的汽车全景成像装置及方法。背景技术：
近年来汽车已经成为现代社会的一种主要交通工具，驾驶员对于行车安全性和便利性的要求不断在提高。仅凭驾驶员视觉观察和后视镜提供的视野，难以满足驾驶员对于行车安全的要求，由于车身周围存在很大的盲点，所以容易出现碰撞事故。
为了避免碰撞事故的发生，现在汽车较多应用倒车雷达系统，倒车雷达一般置于车辆的后方，在倒车时候通过雷达的作用来探测车辆后方是否有障碍物，一般是通过声音来进行提示，由于驾驶员身处车内，不能看到后方的情况，对障碍物的具体位置以及可能造成的具体伤害并不清楚，而且对于声音的判断也会存在误差，故这样的效果十分有限。
另外，还有车辆在车身后方安置了广角摄像头，驾驶员在倒车时能通过车载显示器更直观地观察到车后方的情况，此方法比倒车雷达更加直观、准确。但是该方法对于车身侧面、转弯死角处存在盲区，依然存在着安全隐患。
目前，为驾驶员提供汽车的全景影像成为了可以有效避免碰撞、提高行车安全的首选方案，申请号为200810236552. 7专利公开了一种用于车辆辅助驾驶的360度环形视频合成方法，该方法通过车身设置的前后左右4个摄像头采集图像，为驾驶员提供鸟瞰车身的俯视图及周围环境；但是由于其对图像的处理合成采用现场计算方式，无法同时保证环形视频准确性和视频播放的实时性。
另，申请号为200910153173. 6专利中提出一种基于DSP的全景视觉泊车辅助装置及生成全景视觉图像的方法，该方法通过预存的虚拟查找表进行图像像素的对应，能够实时提供给驾驶员汽车全景图像；但是这种方法对于每一辆车进行全景视觉装置安装时，都需要独立地生成一次虚拟查找表，增加了使用复杂度，同时在汽车周围有立体的环境时，由虚拟查找表对应出的图像会发生较大偏差，故无法保证为驾驶员提供汽车及其周围环境的全景信息的准确性。
发明内容
本发明要解决的技术问题在于，针对现有技术的缺陷，提供一种能准确、实时地为驾驶员提供汽车及其周围环境的全景信息的基于红外标定的汽车全景成像装置及方法。
为了解决上述技术问题，本发明提供一种基于红外标定的汽车全景成像装置，所述装置包括多个设置于汽车周围不同方向的摄像采集单元、视频转换单元、视频处理单元、存储单元、视频编码输出单元、显示单元及分别固定于多个摄像采集单元的红外激光器；
所述摄像采集单元拍摄汽车周围不同方向的彩色图像信息，所述视频转换单元将每个摄像采集单元拍摄的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到所述存储单元中；
所述视频处理单元将所述存储单元中的多幅数字图像信息通过红外激光器发射的红外标定线进行分析处理，合成一幅反映汽车及其周围环境的全景图像数据，并输出到显示单元上显示出所述全景图像，然后通过所述视频编码输出单元传送到显示单元上显示出所述全景图像。
进一步，在上述基于红外标定的汽车全景成像装置中，所述视频处理单元具体包括图像校正子单元、视角转换子单元、标定线搜索子单元、图像拼接子单元、视频输出子单元及存储控制子单元；
所述视频处理单元初始化成功后，将前后左右的四个摄像头传来的视频模拟信号进行解码生成四路视频数字信号，并通过视频处理单元的四个视频输入口送入图像校正子单元，所述图像校正子单元根据预存的广角畸变校正矩阵，将采集到的视频数字信号图像对应的像素点进行广角图像的校正处理；所述视角转换子单元根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像通过存储控制子单元存入存储单元；所述标定线搜索子单元根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索；所述图像拼接子单元根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视图；所述视频输出子单元将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显7J\ ο
进一步，在上述基于红外标定的汽车全景成像装置中，所述多个摄像采集单元为广角摄像头，优选为170°广角摄像头。
进一步，在上述基于红外标定的汽车全景成像装置中，所述广角摄像头固定安装在汽车前、后、左、右外表面上，且其可拍摄到所述红外激光器发出的红外光。
进一步，在上述基于红外标定的汽车全景成像装置中，所述红外激光器优选为 850nm十字线红外激光器，其固定安装在车身前后的广角摄像头两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
本发明还提供一种基于红外标定的汽车全景成像方法，所述方法包括
步骤Sl 采集汽车周围不同方向的彩色图像信息；
步骤S2 将采集到的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到存储单元中；
步骤S3 将多幅所述存储单元中的数字图像信息通过红外激光器发射的红外标定线进行分析处理；
步骤S4 将多幅经过红外标定线分析处理的图像合成一幅反映汽车及其周围环境的全景图像数据，并输出到显示单元上显示出所述全景图像。
进一步，在上述基于红外标定的汽车全景成像方法中，所述步骤Sl具体包括通过设置于汽车周围前、后、左、右的广角摄像头，拍摄汽车周围不同方向的彩色图像信息，并且相邻摄像头的图像均有重叠部分。
进一步，在上述基于红外标定的汽车全景成像方法中，所述步骤S3具体包括
步骤S301 根据预存的广角畸变校正矩阵，将采集到的视频数字图像信息对应的像素点进行广角图像的校正处理；
步骤S302 根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像存入存储单元；
步骤S303 从存储单元中读取图像，根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索。
进一步，在上述基于红外标定的汽车全景成像方法中，所述步骤S4具体包括
根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视从存储单元中读取车体图像信息，与周围环境图像拼接，生成全景俯视将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显示。
进一步，在上述基于红外标定的汽车全景成像方法中，所述十字线红外激光器优选为850nm十字线红外激光器，其固定安装在车身前后的广角摄像头两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
本发明基于红外标定的汽车全景成像装置及方法生成的汽车全景俯视图的装置和过程通过预存的图像矩阵变换以及红外激光的标定和拼接得到，所以图像处理准确度高且计算复杂度低，全景图像的显示准确且实时，能够有效提高驾驶安全性。
下面将结合附图及实施例对本发明作进一步说明，附图中
图1为本发明基于红外标定的汽车全景成像装置的原理示意图2为图1中红外激光器的安装示意图3为图1中摄像采集单元的安装位置及拍摄区域示意图4为图1中视频处理单元的具体结构图5为本发明基于红外标定的汽车全景成像方法的流程示意图6为图5中步骤S3的具体流程示意图。
具体实施方式
请参阅图1，图1是本发明基于红外标定的汽车全景成像装置的原理示意图。
本发明提出了一种基于红外标定的汽车全景成像装置及方法，能够提高成像准确度、减少运算复杂度，准确、实时地为驾驶员提供汽车及其周围环境的全景信息，满足行车安全性和便利性的要求。
图1为本发明基于红外标定的汽车全景成像装置的原理示意图，本发明的基于红外标定的汽车全景成像装置包括多个设置于汽车周围不同方向的摄像采集单元10、视频转换单元20、视频处理单元30、存储单元40、视频编码输出单元50、显示单元60及分别固定于多个摄像采集单元10的红外激光器(图未标)。摄像采集单元10拍摄汽车周围不同方向的彩色图像信息，视频转换单元20将每个摄像采集单元10拍摄的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到存储单元40中；视频处理单元30 将所述存储单元中的多幅数字图像信息通过红外激光器发射的红外标定线进行分析处理， 合成一幅反映汽车及其周围环境的全景俯视图，然后通过视频编码输出单元50传送到显示单元60上显示出所述全景图像。
请参阅图2，所述红外激光器70优选为850nm十字线红外激光器，所述多个摄像采集单元10为广角摄像头，优选为170°广角摄像头，每个广角摄像头拍摄汽车周围不同方向的彩色图像信息，并且该摄像头可以拍摄到人眼无法观察到的红外激光(本实施例为 850nm)。所述红外激光器70固定安装在车身前后的广角摄像头10的两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
请参阅图3，图3是摄像采集单元的安装位置及拍摄区域示意图。所述广角摄像头 10固定安装在汽车前、后、左、右外表面上，每个摄像头10拍摄汽车周围不同方向的彩色图像信息，并且相邻摄像头的图像均有重叠部分。位于车身前后的四个红外激光器70向摄像头图像重叠区发射红外十字标定线。所有摄像头10拍摄的图像信息能够无盲点地覆盖汽车四周环境。所述4个摄像头获得的图像信息加上预存的汽车车体信息可以通过图像合成处理生成汽车的全景俯视图。
请一并参阅图1及图4，图4是图1中视频处理单元的具体结构图。视频处理单元 30以DSP为核心，其具体包括图像校正子单元302、视角转换子单元304、标定线搜索子单元306、图像拼接子单元307、视频输出子单元308及存储控制子单元309。
系统运行后执行必要的软硬件初始化，再对视频采集单元的视频解码芯片进行初始化。视频处理单元30初始化成功后，对前后左右的四个摄像头10传来的视频模拟信号进行解码，生成四路视频数字信号，通过视频处理单元30的四个视频输入口 VP0、VP1、VP2及 VP3送入图像校正子单元302，所述图像校正子单元302根据预存的广角畸变校正矩阵，将采集到的视频数字信号图像对应的像素点进行广角图像的校正处理；视角转换子单元304 根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像通过存储控制子单元309存入存储单元DDR2 ；标定线搜索子单元306根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索；图像拼接子单元307根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视图；视频输出子单元308将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显示。
本发明还提供一种基于红外标定的汽车全景成像方法，请参阅图5，图5为本发明基于红外标定的汽车全景成像方法的流程示意图，所述方法包括以下步骤
步骤Sl 采集汽车周围不同方向的彩色图像信息；
步骤S2 将采集到的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到存储单元中；
步骤S3 将多幅所述存储单元中的数字图像信息通过红外激光器发射的红外标定线进行分析处理；
步骤S4 将多幅经过红外标定线分析处理的图像合成一幅反映汽车及其周围环境的全景图像数据，并输出到显示单元上显示出所述全景图像。
其中，所述步骤Sl具体包括通过设置于汽车周围前、后、左、右的广角摄像头，拍摄汽车周围不同方向的彩色图像信息，并且相邻摄像头的图像均有重叠部分。
请一并参阅图5及图6，图6为图5中步骤S3的具体流程示意图。
所述步骤S3具体包括
步骤S301 根据预存的广角畸变校正矩阵，将采集到的视频数字图像信息对应的像素点进行广角图像的校正处理；其中，广角畸变校正矩阵和视角转换矩阵可根据专利号为200810163310公开的一种全景视觉辅助泊车系统的标定方法获取。
步骤S302 根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像存入存储单元；
步骤S303 从存储单元中读取图像，根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索；其中，所述十字线红外激光器优选为850nm十字线红外激光器，其固定安装在车身前后的广角摄像头两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
所述步骤S4具体包括
根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视从存储单元中读取车体图像信息，与周围环境图像拼接，生成全景俯视图。
将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显示。
视频处理单元将全部图像信息处理完成并发送到视频输出单元后，循环至步骤Sl 开始采集新的一帧图像，同时视频输出单元经过视频的编码，由车载显示器完成汽车周围环境的全景俯视图的显示。
本发明基于红外标定的汽车全景成像装置及方法的生成汽车全景俯视图的装置和过程通过预存的图像矩阵变换以及红外激光的标定和拼接得到，所以图像处理准确度高且计算复杂度低，全景图像的显示准确且实时，能够有效提高驾驶安全性。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
权利要求
1.一种基于红外标定的汽车全景成像装置，其特征在于，所述装置包括多个设置于汽车周围不同方向的摄像采集单元、视频转换单元、视频处理单元、存储单元、视频编码输出单元、显示单元及分别固定于多个摄像采集单元的红外激光器；所述摄像采集单元拍摄汽车周围不同方向的彩色图像信息，所述视频转换单元将每个摄像采集单元拍摄的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到所述存储单元中；所述视频处理单元将所述存储单元中的多幅数字图像信息通过红外激光器发射的红外标定线进行分析处理，合成一幅反映汽车及其周围环境的全景图像数据，并输出到显示单元上显示出所述全景图像，然后通过所述视频编码输出单元传送到显示单元上显示出所述全景图像。
2.根据权利要求1所述的基于红外标定的汽车全景成像装置，其特征在于，所述视频处理单元具体包括图像校正子单元、视角转换子单元、标定线搜索子单元、图像拼接子单元、视频输出子单元及存储控制子单元；所述视频处理单元初始化成功后，将前后左右的四个摄像头传来的视频模拟信号进行解码生成四路视频数字信号，并通过视频处理单元的四个视频输入口送入图像校正子单元，所述图像校正子单元根据预存的广角畸变校正矩阵，将采集到的视频数字信号图像对应的像素点进行广角图像的校正处理；所述视角转换子单元根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像通过存储控制子单元存入存储单元；所述标定线搜索子单元根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索；所述图像拼接子单元根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视图； 所述视频输出子单元将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显示。
3.根据权利要求1所述的基于红外标定的汽车全景成像装置，其特征在于，所述多个摄像采集单元为广角摄像头，优选为170°广角摄像头。
4.根据权利要求3所述的基于红外标定的汽车全景成像装置，其特征在于，所述广角摄像头固定安装在汽车前、后、左、右外表面上，且其可拍摄到所述红外激光器发出的红外光。
5.根据权利要求1所述的基于红外标定的汽车全景成像装置，其特征在于，所述红外激光器优选为850nm十字线红外激光器，其固定安装在车身前后的广角摄像头两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
6.一种基于红外标定的汽车全景成像方法，其特征在于，所述方法包括步骤Sl 采集汽车周围不同方向的彩色图像信息；步骤S2 将采集到的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到存储单元中；步骤S3 将多幅所述存储单元中的数字图像信息通过红外激光器发射的红外标定线进行分析处理；步骤S4 将多幅经过红外标定线分析处理的图像合成一幅反映汽车及其周围环境的全景图像数据，并输出到显示单元上显示出所述全景图像。
7.根据权利要求6所述的基于红外标定的汽车全景成像方法，其特征在于，所述步骤Sl具体包括通过设置于汽车周围前、后、左、右的广角摄像头，拍摄汽车周围不同方向的彩色图像信息，并且相邻摄像头的图像均有重叠部分。
8.根据权利要求6所述的基于红外标定的汽车全景成像方法，其特征在于，所述步骤 S3具体包括步骤S301 根据预存的广角畸变校正矩阵，将采集到的视频数字图像信息对应的像素点进行广角图像的校正处理；步骤S302 根据预存的视角转换矩阵将经过校正处理的图像对应的像素点进行侧视图到俯视图的视角转换处理，将生成的图像存入存储单元；步骤S303:从存储单元中读取图像，根据红外激光的成像特征，在每幅图中的指定区域内进行十字标定线搜索。
9.根据权利要求8所述的基于红外标定的汽车全景成像方法，其特征在于，所述步骤 S4具体包括根据每幅图中用于标定的红外十字激光线对经过标定线搜索的图像进行拼接处理，生成汽车周围环境的全景俯视图；从存储单元中读取车体图像信息，与周围环境图像拼接，生成全景俯视图；将拼接处理后的全景俯视图经过视频编码后输出给车载显示器显示。
10.根据权利要求8所述的基于红外标定的汽车全景成像方法，其特征在于，所述十字线红外激光器优选为850nm十字线红外激光器，其固定安装在车身前后的广角摄像头两侧，向相邻的摄像头拍摄重叠区发射用于图像标定的红外十字线状激光。
全文摘要
本发明提供一种基于红外标定的汽车全景成像装置及方法，所述装置包括多个设置于汽车周围不同方向的摄像采集单元、视频转换单元、视频处理单元、存储单元、视频编码输出单元、显示单元及分别固定于多个摄像采集单元的红外激光器；所述摄像采集单元拍摄汽车周围不同方向的彩色图像信息，所述视频转换单元将每个摄像采集单元拍摄的模拟信号图像信息转换成二进制数字图像信息，并将该数字图像信息存放到所述存储单元中；所述视频处理单元将所述存储单元中的多幅数字图像信息通过红外激光器发射的红外标定线进行分析处理。本发明基于红外标定的汽车全景成像装置及方法能准确、实时地为驾驶员提供汽车及其周围环境的全景信息。
文档编号H04N7/18GK102510475SQ201110321469
公开日2012年6月20日 申请日期2011年10月21日 优先权日2011年10月21日
发明者付宇卓, 刘婷, 申奥, 蒋江 申请人:上海交通大学