专利名称：用于车辆辅助驾驶的360度环形视频合成方法
技术领域：
本发明属于机动车辆辅助驾驶及视频监控领域，涉及一种通过车辆前后 左右4个摄像头同时拍摄并进行视频实时处理技术，特别涉及一种360度环 形视频合成方法，该方法适用于各种档次的轿车、商务车、载重汽车、不同 类型客车的辅助驾驶。
背景技术：
汽车已成为现代社会一种主要的交通运输工具，人们对行车的安全性与 舒适性提出了更高的要求。汽车后视镜的发明最初设想就是方便驾驶员观看 汽车两侧及后面的状况，防止在倒车过程中与外界发生碰撞，提高自身的行 车以及第三者在车外的安全，延长汽车的使用寿命。但事实上，只凭后视镜 所提供的驾驶视野及信息，难以满足驾驶者对于行车安全的需求，尤其在倒 车的时候，车辆的后面存在着很大的盲区。
倒车雷达是目前汽车采用较多的一种辅助驾驶方法，由安装于车辆后保 险杠上的传感器来探测车辆尾部物体，并通过不同节奏的音频来提醒驾驶者 车辆后面的状况，其原理是依靠回音探测距离并通过不同频率的声音进行提 示。但单凭声音提示没有视觉来得直观，对声音的判断也会存在误差。
在汽车尾部安装单一摄像头的视频倒车系统让倒车时车后的状况更加 直观可视，当挂倒车挡时，该系统会自动接通位于车尾的摄像头，将车后状 况清晰的显示在驾驶员前的液晶显示屏上。视频倒车系统比起倒车雷达更加 直观、实用。汽车尾部单一摄像头的视频倒车系统对汽车周围的其它区域存在盲区，如车身侧面、前保险杠以及转弯时的死角等，需要进一步发展其视 频处理系统。目前日本多家汽车公司已提出并研制一种汽车环视实现方法，
包括日产汽车公司的Around View Monitor环景监视系统，本田公司的多视 角摄影系统(Multi-View Camera System)。这两种系统的原理大致类似，主 要是通过汽车前后、左右4个摄像头进行视频合成，通过图像拼接等方法， 形成车身鸟瞰的俯视图，使驾驶员能够比较清楚得看清汽车四周的情况，便 于靠边驾驶、倒车、左转弯等驾驶行为。目前国内还未提出相应的汽车环视 实现方法，日本公司提出的汽车环视实现方法存在视频图像不够清晰、图像 拼接不连贯、成本太高等问题。针对未来汽车辅助驾驶系统发展的需求，本 发明提出了一种360度环形视频合成方法(Around Video Compose System 一AVCS)，或称全景显示方法(Panoramic Display System—PDS)、全方位显 示方法(Omnidirectional Display System—ODS)，该方》去具备同时显示汽 车从顶部向下鸟瞰周围环境的全景图和切换选择显示汽车前后左右四个侧面 场景的功能。
发明内容
本发明的目的在于提供一种能显示汽车四周环境的360度环形视频合成 方法，由车身前后左右分别设置的4个高分辨率(720X480以上)、超广角 (水平/垂直视角超过135度以上)的鱼眼摄像头作为视频采集单元、环形视 频合成单元、显示控制与存储单元构成，可实时显示鸟瞰车身的俯视图及周 围环境，也可选择显示车身四侧区域的环境，为驾驶员提供安全驾驶所需的 视频信息，实现安全、精确的车辆驾驶操作。
为了实现上述任务，本发明提出的用于车辆辅助驾驶的360度环形视频合成方法
由视频采集单元(100)采集实时的四路视频信号，送到环形视频合成
单元(200)中的视频解码单元(210)和视频合成控制单元(220)处理，其 中视频合成控制单元(220)对四路视频信号进行鱼眼图像校正(221)、环形 图像拼接(222)、视角转换(223)、 SDRAM存储控制(224)的处理后生成 360度全景显示的俯视图，经过显示控制与存储单元(300)实现多种显示模 式，存储视频信息。
视频采集模块单元(100)由安装在车头栅格处的超广角鱼眼摄像头 (101)、左后视镜上的超广角鱼眼摄像头(102)、右后视镜上的超广角鱼眼 摄像头(103)、车尾顶部的超广角鱼眼摄像头(104)构成，分别采集车辆四 侧的实时视频信号；视频信号帧频为30帧/秒，分辨率为720X480;超广角 鱼眼摄像头周围设计了近程红外线LED灯，其能够由感光器件自动感应下控 制其打开和关闭，从而适合夜间低照度、光线暗的应用环境；超广角鱼眼摄 像头输出复合视频信号CVBS到环形视频合成单元(200)。
所述的环形视频合成单元(200)其处理过程为采用FLASH和CPLD 上电自举，系统运行后，先对DSP芯片硬件初始化、中断向量初始化，再通 过IIC总线对视频解码单元(210)的视频解码芯片进行初始化，初始化成功 后，产生四路8bits数字YUV信号，传送到视频合成控制单元(220),并进 行处理。
4、根据权利要求书1所述的用于车辆辅助驾驶的360度环形视频合成方法， 其特征在于显示控制与存储单元(300)由显示控制单元(301)和SD卡 存储控制单元(302)构成。视频解码单元(210)应用视频解码芯片对车头栅格处的超广角鱼眼摄
像头(101)、左后视镜上的超广角鱼眼摄像头(102)、右后视镜上的超广角 鱼眼摄像头(103)、车尾顶部的超广角鱼眼摄像头(104)传送过来的复合视 频信号CVBS进行解码，输出ITU656标准YUV4:2:2格式的8bits数字YUV 信号，这四路YUV信号送到视频合成控制单元(220)的第一视频输入端口 VP0、第二视频输入端口 VP1、第三视频输入端口 VP2、第四视频输入端口 VP3。
视频合成控制单元(220)基于DSP芯片实现，包括鱼眼图像校正单 元(221)、环形图像拼接单元(222)、视角转换单元(223)和SDRAM存 储控制单元(224)，视频合成控制单元(220)对车辆四周视图经过运算处理 生成360度全景显示的俯视所述的视频合成控制单元(220)处理过程为先采用鱼眼图像校正单元
(221) 对畸变的图像进行校正，校正后的四个图像经过环形图像拼接单元
(222) 拼接成360度的全景图，然后对全景图采用视角转换单元(223)转 为鸟瞰的俯视图，其中采用SDRAM存储控制单元(224)对输入的视频数 据和鱼眼图像校正单元(221 )、环形图像拼接单元(222)、视角转换单元(223) 处理的结果通过外部SDRAM进行缓存处理。
鱼眼图像校正单元(221)由映射(221-1)和插值(221-2)两个步骤组 成，对采用鱼眼镜头造成的图像几何畸变进行校正；
所述的映射(221-1)，其过程如下在校正过程中，设基准图像的坐标 为"，力，畸变图像坐标为("，力，通过将基准图像坐标映射到畸变图像中实现 图像的校正，其映射的二维多项式数学模型为<formula>formula see original document page 11</formula>
式中"为多项式的项数，""和^为各项系数；
由于图像同一点的灰度值应保持不变，即^，力=/("，力。完成映射步骤 后，由于计算得到的x、 ^不一定为整数，须采用插值(221-2)计算得到； 所述的插值(221-2)，采用双线性插值方法实现。
环形图像拼接单元(222)由匹配(222-1)和缝合(222-2)两个步骤组 成，生成汽车四周全景显示所述的匹配(222-1)采用"两步匹配"方法实现。
视角转换单元(223)利用环形图像拼接单元(222)得到全景显示图的 基础上，进行逆透视投影变换(223-1)得到汽车周围环境的全景俯视图； 所述的逆透视投影变换(223-1)，其实现步骤如下 D S 映射，由s平面坐标点"水刀)，映射/平面坐标点(v，")，
<formula>formula see original document page 11</formula>
其中 的旋转关系；
"=[/，《/^表示世界坐标到摄像头坐标的平移关系； ^表示旋转矩阵^的逆矩阵^1的第i行j列的分量，即
表示世界坐标到摄像头坐标<formula>formula see original document page 11</formula>W,)'表示f与平移矩阵"乘积所得矩阵^^的第i个分量，
(及—W)！ (f 0C)2 (f 0C)3
("。,v。)表示摄像机主点坐标；义，乂表示^/,r轴的焦距比例因子； 2)上一步计算出的S平面上一点在图像坐标系/上的像素位置("，v)通 常不是整数，本模块采用图像校正模块中介绍的双线性插值方法计算重投影
图像中像素点"^)的像素值，
遍历坐标系"，^，G)e『中的像素阵列(组成重投影图像)，根据上述两 步骤，计算重投影图像上的每一个点对应像素位置点["^，^^v"，》，叫e,的 灰度值。
显示控制单元(301)从外部SDRAM读入车辆四周视图的视频信息， 经视频选择输出两路视频信息，分别对两路视频信息进行视频縮放，再经过 视频叠加，作为同一显示终端的左右子画面显示(301-1);
所述的左右子画面显示(301-1)的显示模式包括在同一显示屏上以左 右画面方式显示车身全景鸟瞰图和任意一侧视图，用于汽车靠边行车、倒车 或泊车的应用场合；在同一显示屏上以左右画面方式显示车身左右两侧的视 图，用于汽车在十字路口行驶或窄路段通行的应用场合；在同一显示屏上以 左右画面方式显示车身前后视图，用于车辆在正常行驶过程中监控前后车辆 状况的应用场合；
所述的SD卡存储控制单元(302)用于驾驶者以手动或自动设置方式记 录视频信息，其视频信息的长短根据SD卡的容量进行调整。
本发明的优点是釆用4个低成本的超高角鱼眼摄像头安装在车辆的前后左右采集四侧的视频图像，由环形视频合成控制单元实现车辆360度全景显 示的俯视图，并可选择多种显示模式或存储视频信息。
与日产汽车、本田等公司的已有技术相比，本发明的技术效果体现在
1、 本发明采用4个低成本的超广角鱼眼摄像头安装在车辆的车头栅格 处、左后视镜上、右后视镜上、车尾顶部，可同时采集四侧的视频图像，所
采集的视频信号帧频为30帧/秒，分辨率为720X480。
2、 本发明所采用的超广角鱼眼摄像头，视角大于130度，其周围设计 了近程红外线LED灯，适合光线比较暗的应用场合。
3、 本发明所开发的环形视频合成单元200，由视频解码单元210、视频 合成控制单元220构成。其视频合成控制单元220由鱼眼图像校正单元221、 环形图像拼接单元222、视角转换单元223、 SDRAM存储控制224构成。车辆 360度全景显示的俯视图具有图像清晰、无缝连接的特点。
4、 本发明所开发的显示控制与存储单元300，通过显示控制单元301处 理可实现多种显示模式，也可选择存储所发生的视频信息。显示模式包括同 时显示鸟瞰图+侧视图，左右两侧视图，前后视图。
5、 本发明由视频采集单元IOO、环形视频合成单元200、显示控制与存 储单元300构成，具有稳定可靠、低成本、适合批量生产的特点。
图l为本发明的原理图2为本发明的汽车俯视及摄像头结构示意图； 图3为本发明的环形视频合成单元结构图； 图4为本发明的双线性插值算法原理图；图5为本发明的匹配过程中前块和后块示意图6为本发明的图像拼接坐标的变换；
图7为本发明的逆透视投影变换映射关系图8为本发明的摄像头坐标系与车体坐标系关系；
图9为本发明的显示控制单元结构图。
其中100—视频采集单元，200—环形视频合成单元，300 —显示控制与 存储单元，IOI —车头栅格处超广角鱼眼摄像头，102—左后视镜处超广角鱼 眼摄像头，103 —右后视镜处超广角鱼眼摄像头，104 —车尾顶部超广角鱼眼 摄像头，210 —视频解码单元，220—视频合成控制单元，221—鱼眼图像校正 单元，222—环形图像拼接单元，223—视角转换单元，224—SDRAM存储控制 单元，301—显示控制单元，302—SD卡存储控制单元。
以下结合附图对本发明作进一步详细说明。
具体实施例方式
参见图l，本发明由视频采集单元IOO、环形视频合成单元200、显示控 制与存储单元300构成360度环形视频合成方法。
参见图2，汽车俯视及摄像头包括车头栅格处的超广角鱼眼摄像头101、 左后视镜上的超广角鱼眼摄像头102、右后视镜上的超广角鱼眼摄像头103、 车尾顶部的超广角鱼眼摄像头104，环形视频合成单元200、显示控制与存储 单元300位于驾驶者前台面板上。在比较暗的场合，如夜间低照度应用环境 下，摄像头周围的近程红外线LED灯将由感光器件自动感应下控制其打开和 关闭。
参见图3，环形视频合成单元采用FLASH上电自举，系统运行后，先对DSP芯片硬件初始化、中断向量初始化，再通过nc总线对视频解码单元210
的视频解码芯片进行初始化。视频解码器初始化成功后，对摄像头传送过来
的四路复合视频信号CVBS进行解码，产生四路ITU656标准8bits数字YUV 信号，通过视频合成控制单元220的第一视频输入端口 VP0、第二视频输入 端口 VP1、第三视频输入端口 VP2、第四视频输入端口 VP3送入DSP芯片处 理。视频合成控制单元220处理过程如下
先分别采用鱼眼图像校正单元221对畸变的图像进行校正，校正后的四 幅图像经过环形图像拼接单元222拼接成360度的全景图，最后对全景图采 用视角转换单元223转为鸟瞰的俯视图。SDRAM存储控制单元224对输入的 视频数据和鱼眼图像校正单元221、环形图像拼接单元222、视角转换单元 223处理的中间结果通过外部SDRAM进行缓存处理。全景鸟瞰图和各侧面视 图可通过显示控制单元301的处理在同一显示终端上以分割左右画面的方式 显示两幅图，也可通过SD卡存储控制单元302以连续图像方式存入外部2G 大小以上的SD卡中。
鱼眼图像校正单元221对采用鱼眼镜头造成的图像几何畸变进行校正， 其主要由映射221-1和插值221-2两个步骤组成。在校正过程中，设基准图 像的坐标为"，力，畸变图像坐标为("，v)，通过将基准图像坐标映射到畸变图 像中实现图像的校正。其映射的二维多项式数学模型为
<formula>formula see original document page 15</formula>
式中"为多项式的项数， 和^为各项系数。由于图像同一点的灰度值应保持不变，即<formula>formula see original document page 16</formula>力。完成映射步骤 后，由于计算得到的、^不一定为整数，须进行插值运算。考虑到插值的精 度和计算量等因素，本步骤采用双线性插值的方法。
参见图4，用L'」表示向下取整，则(L"」，Lv」)表示分别对行、列坐标向下 取整得到的像素位置，p1， ^分别表示("，"沿"，v方向距(L"」，Lv」)的距离，
(Xpl，p2d，如图4所示。
则分配给重投影图像中像素点，X')的像素值为
<formula>formula see original document page 16</formula>
环形图像拼接单元222由匹配和缝合两个步骤组成的，其目的是生成汽 车四周的全景视图。对于两幅待拼接的图像，为便于描述，按输入的先后顺 序，我们称第一幅图像为"甲图"，第二幅图像为"乙图"。考虑到匹配的效 率问题，提出采用"两步匹配"方法。
参见图5，匹配过程中前块和后块示意图，图中有一个<formula>formula see original document page 16</formula>为
中心到四边的距离，s为步长)的待匹配板块，用黑色小方块表示其采样点。
现在我们在该板块的中央叠加一个"'^1， s'4的板块，而新的待匹配板块是 它与原有板块的组合。称新添加的板块为待匹配板块的"前块"，原有板块为
待匹配板块的"后块"(阴影部分)。如图5，前块和后块有一个像素是重合 的，即待匹配板块的中心像素，这样几乎没有造成重复计算，相反更突出该 位置的重要性。
匹配时，将在乙图按照同样的规律读取像素值，先进行前块的匹配，再 进行后块的匹配。分别用 表示前块和后块的差异度，则当前匹配板块的 总差异度"=力+《。由于前块的像素数为」0'+1)2—2")2，则前块每个像<formula>formula see original document page 17</formula>
素的平均差异为 (h-1)。用t表示前块平均差异的容忍值。若^>"则
认为当前板块与待匹配板ii不可能匹配，不必再进行后块的匹配；以此类推
直到找出匹配点。
参见图6，图6(a)中，以甲像原点为原点建立坐标系。图6(b)中， 以乙图中心点为原点建立坐标系，并将它绕原点旋转「此时已经消除了与 甲图的相对倾斜角，称之为"校平乙图"。用P，表示旋转后的最佳点，并分 别用A、 B、 C、 D表示校平乙图的4个顶点。图中的黑底矩形是能够覆盖校平 乙图的、底边平行坐标轴的最小矩形，称之为"范围矩形"。设范围矩形左下 角顶点为U。
为保证"点和U点都在拼接图范围内，新坐标系的坐标原点0应该设为
以Q点和U点为对角顶点的、底边平行坐标轴的矩形的左下顶点。那么在新
坐标系下，甲图的位移量为
<formula>formula see original document page 5</formula>("。，v。)表示摄像机主点坐标；A，厶表示"，「轴的焦距比例因子；2)上一步计算出的S平面上一点在图像坐标系/上的像素位置("，"通常不是整数，本模块采用图像校正模块中介绍的双线性插值方法计算重投影图像中像素点"，^)的像素值，遍历坐标系"，^，G)6『中的像素阵列(组成重投影图像)，根据上述两 步骤，计算重投影图像上的每一个点对应像素位置点[""，^化v"，^叫"的 灰度值。
10、根据权利要求书4所述的用于车辆辅助驾驶的360度环形视频合成方法， 其特征在于显示控制单元(301)从外部SDRAM读入车辆四周视图的视频信息，经视频选择输出两路视频信息，分别对两i信息进行视频縮放，再经过视频叠加，作为同一显示终端的左右子画面显示(301-1);所述的左右子画面显示(301-1)的显示模式包括在同一显示屏上以左 右画面方式显示车身全景鸟瞰图和任意一侧视图，用于汽车靠边行车、倒车 或泊车的应用场合；在同一显示屏上以左右画面方式显示车身左右两侧的视图，用于汽车在十字路口行驶或窄路段通行的应用场合；在同一显示屏上以 左右画面方式显示车身前后视图，用于车辆在正常行驶过程中监控前后车辆状况的应用场合；所述的SD卡存储控制单元(302)用于驾驶者以手动或自动设置方式记 录视频信息，其视频信息的长短根据SD卡的容量进行调整。
全文摘要
本发明公开了一种用于车辆辅助驾驶的360度环形视频合成方法，该方法由视频采集单元、环形视频合成单元、显示控制与存储单元构成，具有稳定可靠、低成本、适合批量生产的特点。本发明能够对安装在车辆前后左右的四个超广角鱼眼摄像头实时采集视频信号，通过视频解码单元和视频合成控制单元对四路视频信号进行鱼眼图像校正、环形图像拼接、视角转换的处理生成360度全景显示的俯视图，并通过显示控制与存储单元实现多种显示模式，并可选择存储相关的视频信息。该方法能为驾驶员提供汽车四周场景，并消除其视觉盲区，有利于驾驶员实现安全、精确的车辆驾驶操作。该方法用于各种档次的轿车、商务车、载重汽车、不同类型客车的辅助驾驶。
文档编号H04N5/262GK101442618SQ20081023655
公开日2009年5月27日 申请日期2008年12月31日 优先权日2008年12月31日
发明者周艳辉, 葛晨阳 申请人:葛晨阳