专利名称：一种车载虚拟全景显示装置的制作方法
技术领域：
本发明是一种在车辆上使用的，可以显示车外影像的装置，特别是一种可提供车 辆周围环境的全景可视辅助驾驶装置，包括摄像装置，人机界面，显示装置，图像处理器， 以及供电装置。
背景技术：
车辆驾驶员在各种道路上驾驶时，其前进、后退或转向过程完全靠驾驶员观察视 野范围内的外部环境做出判断，在现有车辆中对车辆侧面和后部环境的观察是通过设置于 车体两侧及车内后视镜实现。在驾驶车辆时，由于驾驶员视野存在盲区，以及车辆后视镜无 法反映出外部环境与本车之间的相对比例关系，驾驶员不能够完全真实准确了解车体和外 部环境的位置距离关系，只能凭其经验进行大致的判断，因此易导致事故的发生。特别的， 对于大型运输车辆，大型工程车辆的长宽都在数米到数十米，司机的视野更加受限，由此导 致的事故更为频繁。因此扩大驾驶员的视野范围成为可以有效避免事故发生的首选方案。现有的解决 方案有利用多普勒效应、超声波测距等技术的探测模块，这两类方案分别通过对车身周边 安装传感器来探测各个方向的障碍物与车体间的相对运动速度和相对位置关系，并以某种 信息输出方式提醒司机。然而，这两种方案都存在精度和直观性的问题，其探测结果往往不 能直接作为驾驶员准确判断周围环境的依据。中国专利申请200610113157.0中提出了一种全景可视驾驶辅助设备，在专利申 请号200910143695. 8中提出了一种车载虚拟全景电子系统。在这两种设备中，都是采用在 车体特定角度放置多个摄像机，再通过电子技术将图像拼接的方式获取全景视频，都不能 用单个摄像机获取全景视频，因此摄像机总体积大、安装布线复杂，对电子系统的数据处理 性能要求高，功耗和成本高。另外，这种布置在车体侧面的多摄像机方案多采取水平角度安 装，这对驾驶员判断车体与障碍物的水平距离是不利的。若采取向下倾斜安装，则又会因为 摄像机安装高度不够而使水平可视距离受到限制。
发明内容
本发明提供一种可克服现有技术不足的车载虚拟全景显示装置。本发明的车载虚拟全景显示装置是在车体顶部设置一个其外凸方向指向地面的 三维曲面反射镜19，在反射镜下方设置摄像装置20，由摄像装置20和三维曲面反射镜19 构成全景摄像装置1，在装置中还设置有A/D转换器3、SDRAM存储器4，图像处理单元17， 显示器12，外设备份存储器14和人机界面16，其中由全景摄像机1采集的模拟视频信号 经A/D转换器3转换为数字视频信号后经图像处理单元17处理后送入显示器12显示，并 在外设备份存储器14存储，显示器12显示的内容通过人机交换界面16控制。本发明的车载虚拟全景显示装置的三维曲面反射镜19，其反射镜曲面函数为正球 面函数或者椭圆函数或者双曲函数。
本发明的车载虚拟全景显示装置中，全景摄像装置1采集的视频信号转换为相应 的视频格式后通过像素映射查找表模块8完成极坐标到直角坐标的图像展开，再经几何校 正模块9校正图像变形后送入静态随机存储器10中缓存，同时将视频流经显示控制器11 处理后在显示器12上显示，并可通过控制器15控制视角切换，显示经人机交互界面16不 断切换的视角。本发明的车载虚拟全景显示装置中，图像处理单元17可由SDRAM存储控制模块5， 格式转换模块6、7，像素映射查找表模块8，几何校正模块9，静态存储器10，压缩编码模块 13和用于控制视角切换和存储的控制器15构成。本发明中压缩编码模块13采用差分脉冲编码。本发明的车载虚拟全景显示装置中图像处理单元17采用现场可编程逻辑阵列器 件。本发明的车载虚拟全景显示装置中还设置有音频采集器件2，在装置的图像处理 单元17中还设置有差分脉冲编码模块13，外设备份存储器14为可存储视、音频信号的存储 器，视、音频信号经格式转换模块6、7处理后的视频流经差分脉冲编码模块13进行压缩后 送入视、音频存储器14进行存储。本发明有如下优点1、安装单摄像机即可采集全景视频，与采用多个摄像机的方案相比，安装和布线 简单，成本低。2、在车顶部安装全景摄像机，1)提供俯视视角的图像，可更直观地显示车体与障 碍物位置及相对水平距离关系。2)显示的图像中包含部分车体顶部的画面，更有利于驾驶 员以车体为参照物判断障碍物的大小和距离。这些优点是现有技术，特别是采用多摄像机 安装在车体各侧面的方案所不具备的。3、对采集的单一环状全景视频进行展开和校正，不同于多摄像机方案需要对采集 的视频进行拼接和校正，本方案的视频流数据量在展开后仍为单摄像机的数据量，对图像 处理器件的处理速度要求低，且引入DPCM编码，可使存储数据量进一步降低。由于采用了 这些措施，可使本发明的电子器件成本大大降低。4、具有全景视频及音频存储功能，并可将实时采集的音频、视频信号记录保存，起 到类似飞行器的黑匣子的作用，这对事后的事件重放，事故及责任的认定及分担无疑是有 益的。5、本发明的图像处理单元采用现场可编程序逻辑阵列器件，一方面可降低装置成 本，另一方面，与专用DSP处理器为核心的图像处理单元相比，具有以下优势1)灵活性强， 便于硬件电路设计和升级，幻运算速度快，直接使用硬件描述语言设计硬件电路，执行图像 处理算法，取代DSP的软件运算方式。6、本发明的视频采集和显示分别采用了传统的模拟摄像机和VGA显示器，通用性强。7、本发明通过单独的人机交互界面实现视角的实时切换等控制功能，由显示器显 示切换后的实时视角画面。将显示器和人机交互界面分开有利于将显示器和人机界面分别 安装在车内的最佳位置，不影响驾驶员的正常观察和操作。
图1为本发明的全景摄像机机构示意图，其中19为三维曲面反射镜，20为在反射 镜下方设置摄像装置，21为用于连接固定曲面反射镜19与摄像装置20的固定杆。图2为本发明的一个实施例的系统示意图，其中1为由图1构成的反射式全景摄 像机，2为麦克风，3为A/D转换器，4为SDRAM存储器，5为SDRAM存储器控制器，6为YUV422 转换为YUV444格式的转换模块，7为YUV444转换为RGB格式的转换模块，8为像素映射查 找表模块，9为几何校正模块，10为SRAM片内静态存储器，11为显示控制器，12为显示器， 13为DPCM编码模块，14为外接音、视频备份存储器，15为NIOS II软核控制器，16为人机 交互界面，17为图像处理单元，18为电路板。图3为本发明的所采集的图像与展开后图像和经校正的图像示意图，其中图A为 经图2实施例的系统采集的图像示意，图B是原始图像直接展开而未经矫正的图像，图C是 经实施例2的系统展开后并校正后的图像。图4是本发明的全景摄像装置设置位置示意图，图5是图4俯视图。图6是压缩编码模块13的编码原理示意图。图7是压缩编码模块13的译码原理示意图。
具体实施例方式以下结合由附图给出的最佳实施例的系统做详细的解说。首先按图1的结构制备一个全景摄像机1，其中的三维曲面反射镜19采用的曲面 函数为双曲面；而摄像机20采用了 CXD摄像机。将这一全景摄像机设置于车辆外的车顶上 方，最好将其设置于车辆稍后的位置，即图4和图5所示的位置。按这种方式建立的车载虚 拟全景显示装置可以更好地显示车辆后部的视野。按图2建立本实施例的系统，其中图像处理单元17机构采用可编程逻辑阵列，即 FPGA芯片。在FPGA芯片外设置A/D转换器3，SDRAM存储器4，显示控制器11，显示器12， 外接音、视频备份存储器14和人机交互界面16。同时将另外设置麦克风2和反射式全景摄 像机1按图2所示接入A/D转换器中。在FPGA芯片中以硬件描述语言方式建立SDRAM存储器控制器5，YUV422转换为 YUV444格式的转换模块6，YUV444转换为RGB格式的转换模块7，像素映射查找表模块8， 几何校正模块9，SRAM片内静态存储器10，显示控制器11，DPCM编码模块13，NI0S II软核 控制器15。显然采用这种方式比多个专用数字信号处理芯片的方案更节约芯片成本、电路 板布线和尺寸，同时也可简化系统的调试难度。以上各器件按图2所示进行连接，其中“粗实线”表示视频数据流，“细实线”表示 音频数据流，“虚线”表示控制信号，“箭头”表示数据流或信号流的方向，其中双向箭头表示 信号是双向传输的。按照本发明的基本构思，实时反射式全景视频处理要求高的处理能力。例如，NTSC 制式视频标准要求30帧/秒，每帧约0. 25兆像素，即每秒7. 5兆像素流量。PAL制式视频 标准要求25帧/秒，而每帧的像素数却更多，总的像素流量与NTSC制式基本相当。而对 每个像素的处理量取决于采用的具体算法。目前的模拟视频流，无论是PAL还是NTSC，其 数据量是一定的，且二者基本相同。如果直接进行抽样量化，若将每个像素的像素深度设置为IObit (VGA标准所指定的像素深度)，对于每个像素都包含R，G，B三个分量，则数据量 为7. 5M/sX10bitX3 = 225Mbit/s，数据量非常大。通常的方法是使用DSP处理器阵列或 单片高端DSP完成。本发明中考虑到本视频处理的查找表操作，需要大量的存储器资源，对 于DSP处理器来说，由于成本和空间的限制，需要外接RAM存储器和相应控制逻辑，而外接 存储器控制逻辑存在带宽限制，使其成为DSP高速图像处理的主要瓶颈之一。同时，以专用 DSP处理器为核心的图像处理单元存在灵活性差的问题。因此采用了 FPGA器件，提供了可 替代的视频处理平台=FPGA支持高效并发数据流结构，这对于图像处理算法的高速硬件实 时实现至关重要；FPGA内部的嵌入式SRAM存储器是查找表操作的理想选择；FPGA可以高 效灵活的的实现数字电路的组建，特别是数字信号处理单元的组建。本发明中SDRAM存储器控制模块5，用于调度视频流数据在SDRAM存储器4中的写 入和读出。由反射式全景摄像机1和麦克风2采集的模拟视频和音频信号，在A/D转换器 3中将模拟的NTSC制式视频信号经抽样、量化转换为YUV422格式的数字视频流，将模拟音 频信号转换为PCM编码的单通道数字音频信号。由于A/D转换器3输出的数字视频流仍然 按照模拟视频NTSC格式，分奇数场和偶数场交替传送，即两场图像才能组成完整的一帧图 像，所以需要利用SDRAM存储器4作为视频流缓冲池，缓存上一场的图像，再将相邻两场的 图像在SDRAM存储器控制模块5中叠加，组成完整的一帧数字视频信号。本发明中6和7是视频格式转换模块，在6中，将SDRAM存储器控制模块5输出的 YUV422格式数字视频信号转换为YUV444格式，使每个像素的Y、U、V三个分量具有位数相 同的数值，便于进一步的视频处理，在7中，又将YUV444格式转换为RGB格式，用于显示器 的显示。本发明中全景视频的展开由像素映射查找表8实现。本发明中像素映射查找表8 是算法的核心，它的作用是将反射式全景摄像机采集的环形图像，从极坐标系下变换到直 角坐标系下，完成展开操作，以符人视觉观察习惯。其具体实现是在FPGA中的硬件数字电 路完成的，通过解算反射镜的曲面函数，获得极坐标中每个像素到直角坐标系中的每个像 素的映射表(这种映射不是一一映射，直角坐标系中的一些没被直接映射到的像素通过插 值运算加以填充)，这张映射表通过硬件描述语言，存储到FPGA的SRAM存储器中，再根据需 要，由译码电路调用此查找表中的具体数据，逐个像素地完成全景图像的实时展开。目前通用的显示器为平面液晶显示器，因此本发明中显示器12也采用了这一显 示器。平面液晶显示器屏幕的长宽比主要是4 3或16 9。对于全景图像来说，展开的 360度全景图像是一个长宽比为11 1的矩形图像，直接保持原样显示在通用的显示器上， 会浪费屏幕上、下部分的大面积区域。又由于车载显示器尺寸一般较小(多为7寸)，直接 显示的360度全景图像往往已经无法看清细节。因此本发明采用了“区域选择”的方式，将 360度的全景图像分为前、后、左、右四部分，即在平面显示器上只显示90度的展开图像，当 需要切换不同的显示部分时，只需要通过切换按钮，即可实时的完成视角切换操作。具体的 过程是，当驾驶员按动人机交互界面16的方向切换开关选择相应的方向，方向切换信号通 过查询方向信号的NIOS II软核控制器15，送入像素映射查找表模块8，将查找表的有效映 射区域切换到选定的90度方向视角。NIOS II软核控制器15还用于控制人机交互界面16 中的小型液晶屏显示，这个小型液晶屏的作用是显示目前正在显示的视野所处的视野方向 信息。NIOS II软核控制器15还用于按照SSD硬盘的存数协议，控制外接视音频备份存储器14的数据写入存储。本发明中几何校正模块9，用于改善全景图像展开后出现的几何失真。由于全景摄 像器的反射镜面是双曲面方程，用极坐标直接展开后并在平面显示器上直接显示的图像扭 曲变形较大。根据双曲面方程的特性，解算出平面像素跟双曲面像素的对应关系。图像畸 变主要在垂直方向，用硬件描述语言设计偏移量查找表，将像素映射查找表8中输出的展 开后的像素的显示位置进行逐一校正，校正之后的图像完全能够满足人眼观察的需要，本 发明中关于全景摄像机采集的原始图像，经展开后的图像和经校正的图像可参见图3。图 A是全景摄像装置采集后得到的原始环状全景图像，在现实世界中，每个环本应是“等距等 长”的，即相邻环之间的距离相等，所有环的周长相等。图B为原始图像直接展开而未经矫 正的图像，可见直接展开后的图像只将原始环状全景图像展开为“等长”图像，图C是经实 施例图2的系统展开后并校正后的图像，在“等长”的基础上实现了“等距”。实际中由于反 射镜面加工工艺的影响，校正后的图像仍存在局部畸变，但已经可以满足使用的要求了。本发明中SRAM片内静态存储器10实现一个视频流缓冲池，其作用是存储已完成 展开和矫正操作并由人机交互界面选择的90度的一帧数字图像，供显示控制器11使用。本发明中的压缩编码模块13采用差分脉冲调制编码DPCM，用于在视频和音频存 入外接视音频备份存储器14之前，对其进行DPCM编码，使得RGB三通道的位宽变为5位， 节省了一半的存储空间，肉眼观察效果与没有压缩的图像没有差别。DPCM编码是差分脉冲 编码调制的英文缩写，其编码方式是对相邻的两个采样值之间的差值信号进行编码，实现 对PCM编码的压缩，编解码原理如图6和图7所示，其中图中，S(η)——当前输入像素采样值；Sp (η)——由预测编码得到的预测信号值；
E (η)——像素残差信号值(差值信号)；Eq (η)——量化后的预测误差信号值；Sr (η)——重建像素信号值；DPCM采用线性预测方式，预测信号由η时刻之前的M个量化后的差值信号线性组 合得到=一 0其中ki为预测系数。
9本系统中所用的简单的DPCM编码过程如下(ki = 1)1.初始化Sp(O) = 0 ；2. E (n) =S (η) -Sp (η)；3. E (η)量化编码后得到Eq (η)；4.二 EgsScKn - ).5.重复第2步。本发明的显示器接口采用了 VGA接口标准，目前大多数显示器采用该接口标准。 考虑到本系统的通用性，因此采用该接口标准完成显示。本发明中将图像数据传入视、音频存储器14中存储，实施例中采用SATAII接口的 SSD固态硬盘存储器。14的作用类似于飞机上的“黑匣子”，用于车辆事故后的事故现场场 景回放，这对于事后的情景重现及事故责任的分配，甚至教学都有积极意义。本发明的实施例中所用的器件型号为图像处理单元17的FPGA芯片是Altera公司的CycloneII 2C70，A/D转换器3的芯片型号是ADV7180，SDRAM存储器4的芯片型号是 IS42S16160B，显示控制器11的芯片型号是ADV7123。由上构成的装置在具体的使用中驾 驶员可通过驾驶室中的显示器12看到某一 90度方向的视场，并可由人机交互界面选择需 要观察的视场，从显示器中可全方位观察车辆四周的图像。由于所摄制的图像是通过俯视 视角得到的车身四周的图像，俯视视角比水平视角更直观地显示了车体与障碍物的水平距 离。同时，俯视视角中包含部分车体顶部边缘的画面，这有利于驾驶员以车体为参照物判断 障碍物的大小和距离。当然在具体实施中还可以软件方式实现在画面中嵌入与本车尺寸相 对应的参照距离标记，这样可以更加清楚地表现出车辆外部的环境情况。
权利要求
1.一种车载虚拟全景显示装置，包括全景摄像装置，人机界面，显示装置，图像处理 器，以及供电装置，其特征是在车辆上设置一个其外凸方向指向地面的三维曲面反射镜 O)，在反射镜下方设置摄像装置(3)，由摄像装置C3)和三维曲面反射镜( 构成全景摄 像装置(1)，在装置中还设置有A/D转换器(3)、SDRAM存储器，图像处理单元(17)， 显示器(12)，外设备份存储器(14)和人机界面(16)，其中由全景摄像机(1)采集的模拟 视频信号经A/D转换器C3)转换为数字视频信号后经图像处理单元(17)处理后送入显示 器(1 显示，并在外设备份存储器(14)存储，显示器(1 显示的内容通过人机交换界面 (16)控制。
2.权利要求1所述的车载虚拟全景显示装置，其特征在于三维曲面反射镜的反射镜曲 面函数为正球面函数或者椭圆函数或者双曲函数。
3.权利要求2所述的车载虚拟全景显示装置，其特征是经成全景摄像装置(1)采集的 视频信号经转换为相应的视频格式后通过像素映射查找表模块(8)完成极坐标到直角坐 标的图像展开，再经几何校正模块(9)校正图像变形后送入静态随机存储器中缓存，同时 将视频流经显示控制器处理后在显示器上进行显示。
4.权利要求3所述的车载虚拟全景显示装置，其特征是图像处理单元(17)由SDRAM存 储控制模块(5)，格式转换模块(6)和(7)，像素映射查找表模块(8)，几何校正模块(9)，静 态存储器(10)，压缩编码模块(13)和用于控制视角切换和存储的控制器(15)构成。
5.权利要求3或4所述的车载虚拟全景显示装置，其特征是压缩编码模块(1 采用差 分脉冲编码模块。
6.权利要求5所述的车载虚拟全景显示装置，其特征是图像处理单元(17)采用现场可 编程序逻辑陈列器件。
7.权利要求6所述的车载虚拟全景显示装置，其特征在于装置中还设置有音频采集器 件O)，在装置的图像处理单元(17)中还设置有差分脉冲编码模块(13)，外设备份存储器 (14)为可存储视、音频信号的存储器，视、音频信号经格式转换模块(6)和(7)处理后的视 频流经差分脉冲编码模块(1 进行压缩后送入视、音频存储器(14)进行存储，并由控制视 角切换和存储的控制器(1 控制经人机交换界面(16)处理后显示。
全文摘要
本发明公开一种可提供车辆周围环境的全景可视辅助驾驶装置。本发明的装置是在车体顶部设置一个其外凸方向指向地面的三维曲面反射镜，在反射镜下方设置摄像装置构成的全景摄像装置，本发明的装置中还设置有A/D转换器、SDRAM存储器，图像处理单元，显示器，外设备份存储器和人机界面，其中由全景摄像机采集的模拟视频信号经A/D转换器转换为数字视频信号后经图像处理单元处理后送入显示器显示，并在外设备份存储器存储，显示器显示的内容通过人机交换界面控制。
文档编号H04N7/26GK102137252SQ20111005062
公开日2011年7月27日 申请日期2011年2月28日 优先权日2011年2月28日
发明者冯晓文, 喻洋, 梁栋, 马义德 申请人:兰州大学