专利名称：一种视场可变的车载虚拟全景系统的制作方法
技术领域：
本发明涉及提供驾驶辅助图像信息的电子系统。
背景技术：
驾驶车辆时由于视觉盲区的存在，司机不能够完全真实准确了解车体和周围环境的位置距离关系，往往因此导致一些事故。在矿业开采等领域，所使用的大型工程机械，大型运载车辆的长宽都在在数米到十米左右，甚至于数十米，驾驶操控人员的视野更加有限， 因此在矿区、开采场等环境，由于驾驶操作人员视觉盲区导致的事故更加频繁。解决这类问题从根本上就是通过某种方式的传感器信号，来弥补视觉上产生的盲区。现有的解决方案有使用多普勒雷达，超声波，射频信号发生和检测模块等方案，这些方案通过对船体车身周边安装传感器来检测各个方向的障碍物并以某种图形的显示方式来提醒驾驶操作人员，但是现有方案都存在精确度和直观性的问题，其探测结果往往不能作为驾驶操作人员准确判断周边环境的依据，缺乏有效性。在专利申请号200410089462. 1中提出了一种机动车周边状况动态监视的装置，在专利申请号200610113157. 0中提出了一种全景可视驾驶辅助设备，在专利申请 200810236552.7中提出了一种用于车辆辅助驾驶的360度环形视频合成方法。在这几个设备中，都没有二次投影和处理单元(C2)，不能对合成后的图像进行显示效果和模式的转换，因此，只能提供单一的俯视全景图像效果，这种单一的俯视全景图像效果并不能保证足够的可视距离。按照专利所描述，都只能看到车身周围360度范围内数米的范围。同时，上述几个专利都没有专用的视频采集部件(B)，其所述的发明中都是固定的摄像头数量，不能针对车辆的差异进行摄像头数量的增减，缺乏足够的适用性和灵活性。现有技术中的全景图效果大多是固定角度和视距，有些虽然提供有鱼目效果，但其畸变程度及视距、角度都是固定的不能调节，驾驶人员经常难以适应。本发明的二次投影和处理单元(以)在得到车身周围全景俯视图像的基础上，进行二次投影和处理，从而使得平面的全景俯视图像转换为鱼目效果的全景俯视图像，从而增加了视距和视场，更有效改善视觉盲区的困扰。驾驶人员可以根据个人适应性，选择最优的全景俯视图像效果，从而获得最佳的可靠性和有效性。在本发明中，加入了视频采集部件(B)。不同于前述几个专利固定的4路视频采集与合成的功能。本视频采集部件能够支持4 8路视频的输入，自动识别摄像头的安装数量和配置，并且根据中央处理部件(C)的合成效果自动配置和采集相应摄像头的视频数据，实现了针对不同种类的车辆的自适应，可能灵活的增加和减少摄像头数量，从而获得最优的全景视频覆盖效果。针对上述问题，本发明提出了一种视场可变的车载虚拟全景系统，具备如下特占.
^ \\\ ·1.基于视频合成的方式，提供给使用者真实的实时图像，而不是简单的信号方式， 使用者可以真实观察周边环境。
4
2.图像通过合成之后得到全景合成图像，而不是简单的图像矩阵，直观性好。设备对合成后的全景俯视图像进行二次投影和处理，从而提供给驾驶人员多种显示效果的图像，这些图像效果根据不同的模型二次投影生成，具备不同的视场视距和畸变程度，畸变程度越大，可以看到的视场范围和视距就越大，对车辆驾驶安全的提前预警作用就越强。驾驶操作人员可以根据自己的适应性选择最大视场范围的显示效果。3.设备提供的是俯视效果的视频图像，使用者不仅可以观察到周边环境信息，图像还能准确提供相关车辆设备跟环境的准确位置关系。4.系统包含视频采集部件(B)，可以灵活的增加和减少摄像头数量，从而达到对不同车型的良好适应性。
发明内容
本发明主要包含以下内容1. 一种视场可变的车载虚拟全景系统，它包含分布式安装的专用摄像头 (Al) _(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)。其中，这套系统的核心部分是中央处理部件(C)，包括投影变换单元(Cl)，图像合成单元(C2)，二次投影和处理单元(C3)，输入控制单元(C4)，数据存储器(C5)。如图1 系统结构框图所示。2.所述的专用摄像头(A)为视角120°以上的广角镜头，为了获得最优的经济性和最好的盲区覆盖特性，在小型车辆车身周围安装4个摄像头，在大型工程设备和载重车辆车身周围安装6个摄像头，针对外形和结构特殊的设备与车辆，例如多节的拖挂车辆和带铰接的车辆，在车身周围安装8个摄像头。3.所述的中央处理部件(C)提供给车辆驾驶操作人员无缝拼接的全景俯视合成图像，并提供至少包括鱼目效果的全景俯视图像(如图3 鱼目效果的全景俯视图所示)，无几何失真的近景俯视图像(如图4 无失真的近景俯视图所示)，前视图像，后视图像四种基本显示效果，还提供基本显示效果叠加并排显示的组合显示模式。驾驶操作人员可以根据现场实际环境，和个人对不同效果模式图像的适应程度，通过显示与控制部件(D)选择切换到不同的显示效果和模式。4.所述鱼目效果的全景俯视图像具有鱼目畸变效果，超过180度的视场角度，较远的视距。无几何失真的近景俯视图像没有畸变和几何失真，等效的俯视视场角度小于180 度，只能看到车辆周边几米到十几米范围内的景物。通过二次投影与处理单元(C3)，鱼目效果的全景俯视图像也可以对畸变的程度进行调整，改变鱼目效果全景俯视图像的等效俯视角度，以达到在最大视场范围下最理想的观看效果。5.所述投影变换单元(Cl)，将多个摄像头采集到的摄像头在同一个坐标系下进行投影变换，得到的多个摄像头视频数据在尺度上是一致的，图像合成单元(以)再根据摄像头的位置关系进行全景图像的合成，合成过程中，多个摄像头视频的位置对应关系由存储在数据存储器(⑶)中的定位数据确定。6.所述图像合成单元(C2)，在图像合成的过程中根据存储在数据存储器(C5)中的位置关系自动分析各分视频的拼接接缝关系，并对交叉部分的图像进行融合处理，得到无缝的连续的单幅全景俯视图像。7.所述图像合成单元(以)合成的全景俯视图像并非最终显示的全景俯视图像，所得图像数据经过二次投影和处理单元(O)处理之后，再进行显示。二次投影和处理单元 (C3)对图像合成单元(以)合成的全景图像进行二次投影，主要包括逆向生成鱼目效果，裁剪显示范围，缩放显示尺寸，与原始视频进行叠加和组合显示。8.所述的显示与控制部件(D)能够支持键盘，红外，触摸屏，汽车的控制信号等多种控制输入，实现灵活的视频效果切换控制。
图1 系统结构框2 安装位置3 鱼目效果的全景俯视4 无失真效果的近景俯视图
具体实施例方式本发明解决上述问题的方案是，通过在船体，车体或者设备上安装多个摄像头，这些摄像头拍摄的范围能够完全覆盖设备周围的环境，通过对这些摄像头所拍的视频进行合成，得到映射到地平面的俯视全景视频图像，并且对地面范围无盲区，然后通过相应的投影模型，将这个视频投影映射到显示屏范围内，并将车身图像叠加到图像中央相对应的位置， 通过使用不同的投影模型，最后提供给驾驶控制人员俯视的鱼目效果全景，俯视的无失真近景，以及各方向的图像，驾驶控制人员可以根据自己的适应性和习惯，以及实际使用环境的要求，来选择符合自己需求的视图模式。1.由安装于车身周围的数个专用摄像头(A)对车身周围的环境实时拍摄，并将实时视频图像传输到视频采集部件(B)，。专用摄像头(A)镜头为120度及以上的广角镜头， 在水平和垂直两个方向的视场都有90度以上，专用摄像头(A)安装在车身周围接近顶部的位置朝向斜下方45度左右安装，专用摄像头(A)的视角越大，安装的角度越灵活。在车身环境允许的条件下尽可能分布均勻，对于矿山自卸车等车辆，侧面的专用摄像头(A)可以安装在车头，后部的专用摄像头(A)可安装在车斗下部车轴上。通过对摄像头倾斜角度的调整，保证覆盖车身周围所有区域，如图2 安装位置图所示。2.视频采集部件(B)采用一个高性能的DSP处理器或者高性能的FPGA或者专用集成电路芯片实现，视频采集部件内部具备多个视频采集单元，能够支持4 8路，甚至更多路视频的采集工作。视频采集部件(B)受中央处理部件(C)中输入控制单元(C4)控制， 输入控制单元(C4)在初始化过程中会读取数据存储器(( )中的数据，数据存储器(C5)中存储不同摄像头数量和视频合成模式下需要的配置文件以及数据。视频采集部件(B)启动之后，按照输入控制单元(C4)的配置，获取相应摄像头的视频数据，并传给中央处理部件 (C)。视频采集部件(B)具有大容量的数据存储器，各个摄像头的视频采集到视频采集部件 (B)之后，首先按照每一路摄像头的视频时序进行帧缓存，摄像头与摄像头之间的数据是不同步的，每一个摄像头都对应2 3个视频缓冲区，视频采集部件(B)产生一个固定的合成图像帧频率，这个合成图像帧频率根据中央处理部件的处理速度而定，其值在15 30之间。视频采集部件(B)以这个频率对各个摄像头的视频数据进行同步，其处理办法是，在合成图像帧频率一个周期内采集到的各个摄像头视频数据，取每个摄像头对应时间上最新的视频缓冲区，再将这若干个摄像头的视频缓冲区数据进行拷贝，组成一个N(由输入控制单元(C4)中配置的摄像头数量决定)倍大小的图像数据，再将这个N倍大小的图像数据传给中央处理部件(C)进行处理。3.中央处理部件(C)使用高性能DSP处理器或者高性能FPGA或者专用集成电路芯片，高速DDR内存和大容量的存储芯片，能够满足高分辨率图像运算的需求。其中DSP处理器不低于600Mhz主频，内存不低于64MB。4.投影变换单元(Cl)对同步后的视频进行匹配和投影变换，其中进行的运算主要有两步，桶型失真校正和投影变换。为了修正广角镜头的桶形畸变，本文采用基于多项式的修正方法，该方法首先用模板对广角镜头进行标定，然后用四次多项式拟合桶形畸变规律，最后根据拟合多项式对变形图像进行恢复，从而实现桶形失真的校正。具体流程为模板制作，本文采用等间距同心圆的非标准模板。畸变规律的多项式拟合，将模板与实际图像对准后，捕获一幅图像，根据捕获的图像，求出各个圆环半径!^为rm= (ri，r2，...，rn)。接近图像中心最小圆环畸变很小，这里认为没有畸变，则各个圆环在非畸变图像上的理想位置1^为rt = (ri，3r2，. . .，(2n-l)rn)。 不同采样半径圆环上的压缩比为各个圆环半径的测量值比理论值，即、=(rm/rt)，因此不同采样半径位置压缩比为Sr =( Srl5Sr2,. . .,srm) = (—.T-~) O
T1 3T1 (2n-l) T1畸变规律的四次多项式拟合，以采样半径为横轴，压缩比为纵轴构成坐标系。在该坐标系下，桶形畸变规律曲线、=f(r)必然经过点(((r1; srl)，(r2, sr2), ... , (rn, sj)。 综合考虑系统处理能力以及拟合效果，我们优选采用四次多项式民(r) = ar4+br3+cr2+dr+e 来拟合桶形畸变规律。变形图像恢复。以图像中心为原点，以过原点的水平直线为χ轴，垂直直线为y轴， 建立图像坐标系。设原点为Ov nQ)，图像上任意点(m，n)与χ正方向的夹角为込Λι = m-m0, χ = n-n0，则α = tan—1 (y/x)。设图像上任意点(m, η)的理想位置为(Μ，N)，则有如果y彡0，有
Μ = ceil [mn-(r/Srk) sina]<{如果y<0，有
「 η Μ = ceil [m0+(r/Srk) sina]\0rk通过上述变换公式，即得到桶型失真校正后的图像。这个图像作为输入，再进行下一步的投影处理。投影处理则是找到各路图像跟俯视全景图的映射关系，各个摄像头因为安装位置，高度，角度的差异，都会有不同的视角和投影坐标。投影变换将各路源图中的任意四边形投影到全景俯视图像中对应的区域内，使用任意四边形的变形方法，其算法为假设在任意源视频中存在4个点，他们在对应的俯视全景图像中对应也存在4个点，源四边形M四顶点坐标(X1, Y1)，(χ2，I2)，(χ3, y3)，Oc4，y4)，目的四边形 N 四顶点坐标(Ul，Vl)，(u2，v2)， (u3, v3), (u4, v4)；从四边形M中的点(x，y)到四边形N中的点(u，ν)的变换公式为
权利要求
1.一种视场可变的车载虚拟全景系统，包含分布式安装的专用摄像头(Al) _(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)；其中，中央处理部件(C)，包括，投影变换单元，图像合成单元(C2)，二次投影和处理单元(C3)，输入控制单元(C4)，数据存储器(C5)。
2.根据权利要求1所述的车载虚拟全景系统，专用摄像头(Al)-(An)从多个角度拍摄车身周边的视频，由视频采集部件(B)采集之后传给中央处理部件(C)，投影变换单元(Cl) 将多个摄像头采集到的图像在同一个坐标系下进行投影变换，图像合成单元(以)进行全景图像的合成，二次投影和处理单元(O)对图像合成单元(以)合成的全景图像进行二次投影，得到视场和视距可变的全景俯视图像，并通过显示与控制部件(D)进行显示；其中视场范围和视距的调整是由二次投影的畸变参数决定的，畸变参数越大，全景图像的视场角度越大，可视距离也越大。
3.根据权利要求1或2所述的车载虚拟全景系统，其特征在于中央处理部件(C)提供给车辆驾驶操作人员无缝拼接的全景俯视合成图像，并提供至少包括鱼目效果的全景俯视图像、无几何失真的近景俯视图像两种基本显示效果，还提供基本显示效果跟各摄像头原始图像叠加并排显示的组合显示模式。
4.根据权利要求3所述的车载虚拟全景系统，其特征在于所述鱼目效果的全景俯视图像具有鱼目畸变效果，超过180度的等效俯视视场角度，比无几何失真的近景俯视图更远的视距；无几何失真的近景俯视图像没有畸变和几何失真，等效的俯视视场角度小于 180度，只能看到车辆周边十米范围内的景物；二次投影与处理单元(O)能够对鱼目效果的全景俯视图像的畸变程度进行调整，改变鱼目效果全景俯视图像的等效俯视视场角度， 从而达到超过180度的视场角度。
5.根据权利要求1或3所述的车载虚拟全景系统，其特征在于二次投影和处理单元 (C3)对图像合成单元((^)合成的全景图像二次投影进行桶型失真畸变，畸变模型选用高次多项式拟合，并在拟合的高次多项式中引入畸变参数变化因子，通过调整畸变参数变化因子，实现畸变程度连续变化的鱼目效果的全景俯视图。
6.根据权利要求5所述的车载虚拟全景系统，其特征在于使用4次多项式进行畸变拟合，公式则为民(r) = akr4+bkr3+ckr2+dkr+e ；其中k为畸变参数变化因子，调整k值，即可实现畸变程度连续变化的不同畸变程度的鱼目效果的全景俯视图像；当k值为O的时候， 二次投影得到的图像即为无失真的近景俯视图像。
7.根据权利要求1或3所述的车载虚拟全景系统，其特征在于视频采集部件(B)能够支持4 8路视频的采集工作；视频采集部件(B)受中央处理部件(C)中输入控制单元 (C4)的控制，能够根据系统的实际使用环境和配置的不同，自适应地获取当前安装的摄像头数量，并对各路视频进行相应处理，灵活的实现4 8路视频的输入，从而能够适应不同车型覆盖盲区对摄像头数量的不同要求。
8.根据权利要求1或3所述的车载虚拟全景系统，其特征在于图像合成单元(C2)，在图像合成的过程中根据各摄像头的位置关系自动分析各路视频的拼接接缝关系，并对交叉部分的图像进行融合处理，得到无缝的连续的单幅全景俯视图像。
9.根据权利要求1或3所述的车载虚拟全景系统，其特征在于显示与控制部件(D)还包括输入设备接口(D2)，能够支持键盘，触摸屏，汽车的控制信号等多种控制输入，以有线或者无线方式连接，实现灵活的人机交互控制。
全文摘要
本发明提出了一种视场可变的车载虚拟全景系统，这套系统主要包括分布式安装的专用摄像头(A1)-(An)，视频采集部件(B)，中央处理部件(C)，显示与控制部件(D)。本发明通过中央处理部件(C)将分布式安装的专用摄像头(A1)-(An)采集的视频图像以地平面为基准进行无缝拼接，得到单一的能够覆盖车身周围所有盲区的实时全景视频。本发明包含视频采集部件(B)，可以灵活的输入4～8路视频图像。本发明的中央处理部件包含投影变换单元(C1)，图像合成单元(C2)，二次投影和处理单元(C3)，在图像合成的过程中用了二次投影变换，得到的全景俯视图可以改变显示效果，不同的显示效果具有不同的畸变程度和视场范围。
文档编号G06T3/00GK102164274SQ20111010504
公开日2011年8月24日 申请日期2011年4月26日 优先权日2011年4月26日
发明者石黎 申请人:石黎