一种行车记录仪全景视频生成方法
【专利摘要】一种行车记录仪全景视频生成方法，包括如下步骤：1）虚拟视点变换步骤；2）圆柱投影步骤；3）图像拼接步骤；4）循环存储步骤；5）全景显示。本发明针对行车记录仪的视频图像的特点，对四路视频图像采用虚拟视点变换、圆柱投影和基于参数搜索的图像拼接的数字图像处理技术，解决了镜头遮挡、镜头位置差异、角度差异等全景视频生成的难点，能够记录汽车行驶时周边360度全景情况，有良好的环视效果，减少了存储数据量，在相同的存储空间条件下增加记录时长。
【专利说明】一种行车记录仪全景视频生成方法
【技术领域】
[0001]本发明涉及全景视频生成方法领域，特别是一种行车记录仪全景视频生成方法。【背景技术】
[0002]随着当今社会汽车保有量的不断增加，交通事故频繁发生，因缺乏现场证据常导致事故责任认定不清、难以查找肇事逃逸等问题。行车记录仪功能即是针对此类问题通过记录行车视频为事故提供证据。目前市面上常见的视频记录仪只有一个摄像头记录车前方视频，其缺点是不能记录车身左右两边和后方的行车视频，因而无法为这些方向发生的事故提供证据；目前有部分产品和专利(如实用新型专利授权公告说明书CN201120071450.1)采用四路视频输入记录汽车前后左右四个方向的视频图像，但缺点在于各视频独立显示视觉效果混乱，并且保存四路视频对移动存储介质的容量要求非常高。
【发明内容】
[0003]本发明的主要目的在于克服现有技术中行车记录仪不能记录车身左右两边和前后方的行车视频，无法为这些方向发生的事故提供证据，或是各个方向视频独立显示造成视觉效果混乱的缺点，提出一种行车记录仪全景视频生成方法。
[0004]本发明采用如下技术方案:
[0005]一种行车记录仪全景视频生成方法，其特征在于:包括如下步骤
[0006]I)虚拟视点变换步骤，多个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，根据鱼眼镜头到虚拟视点的水平距离和鱼眼镜头的成像模型将车体四周数字平面图像分别变换为以车体顶部中央为虚拟视点的数字平面图像；
[0007]2)圆柱投影步骤，根据鱼眼镜头的各个参数计算虚拟圆柱面的半径，而后建立圆柱投影转换关系，将经虚拟视点变换后的数字平面图像上的点一一映射为圆柱投影图像中的坐标，从而生成完整的圆柱投影图像；
[0008]3)图像拼接步骤，取每个鱼眼镜头拍摄方向左右各一定角度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接，具体操作如下:
[0009]3-1取其中一圆柱投影图像左/右边内的某一区域作为第一匹配模板；
[0010]3-2取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左边内的一定区域内的某一点作为匹配搜索的原点；
[0011]3-3遍历该匹配搜索原点所在的圆柱投影图像内以匹配搜索的原点为中心的区域，以该区域内的每一点为中心取一与第一匹配模板长宽相同的区域，得到一系列匹配模板，将所述第一匹配模板与该一系列匹配模板逐个匹配，计算对应的匹配相关系数，取其中相关系数最小的匹配模板中的中心点来计算该两幅待拼接图像的位置误差参数；将步骤
3-1中的圆柱投影图像各像素位置加上所得到的位置误差参数，使之与匹配搜索原点所在圆柱投影图像拼接成一幅图像；[0012]3-4重复步骤3-1至3-3直至将所有圆柱投影图像拼接成全景图像。
[0013]进一步的，在步骤I)中，采用四个鱼眼镜头，相邻镜头的拍摄角度相差90度。
[0014]进一步的，所述鱼眼镜头的成像模型包括等距投影模型或正交投影模型或等立体角模型或体视模型。
[0015]进一步的，在步骤2)中，根据镜头最大成像角度和小孔成像原理计算实际取景宽度，而后再根据镜头焦距和鱼眼镜头到虚拟视点的水平距离计算得到虚拟圆柱面的半径。
[0016]进一步的，预设取每个镜头拍摄方向左右各s度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接、在步骤3-1中，取其中一圆柱投影图像左/右方s度位置的横坐标和图像高度的一半为中心，选一定长宽构成第一匹配模板。
[0017]进一步的，在步骤3-2中，取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左方s度位置的横坐标和图像高度的一半的中心点作为匹配搜索的原点。
[0018]进一步的，在步骤3-3中，取相关系数最小的模板的中心点与步骤3-1中的圆柱投影图像左/右方s度位置的横坐标和图像高度的一半进行计算得到位置误差参数。
[0019]进一步的，还包括有循环存储步骤，利用标记文件实现循环存储覆盖旧记录，具体包括如下步骤
[0020]4-1读取标记文件中的当前文件片段号，判断存储装置内的存储空间是否有剩余，若有剩余，则进入步骤4-2 ;若无剩余，则进入步骤4-3 ；
[0021]4-2，将拼接后的数字全景图像经编码处理后输出标准视频码流，以若干分钟为一个片段保存成一个视频文件，若在存储过程中检测到存储空间不足则跳入步骤4-3，否则存储完毕后将视频文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1，重复步骤4-1 ；
[0022]4-3判断是否存在文件名编号为当前文件片段号的文件，若存在则将其删除，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为当前文件片段号，将标记文件中的当前文件片段号加I ;如果不存在文件名编号为当前文件片段号的文件，则删除文件名编号为O的文件，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为0，将标记文件中的当前文件片段号重置为1，重复步骤
4-1。
[0023]进一步的，还包括有全景显示步骤，具体包括有按一定顺序排列全景图像并将其完整显示的完全显示模式和通过触摸屏控制选择任意观看角度观看车身周围情况的可控环视模式。
[0024]由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果:
[0025]本发明针对行车记录仪的四路视频图像采用虚拟视点变换、圆柱投影和基于参数搜索的图像拼接的全景视频生成方法，能够记录汽车行驶时周边360度全景情况，有良好的环视效果，具体的包括如下优点:
[0026]采用虚拟视点变换能够将不同位置摄像头图像变换为在同一虚拟视点往不同方向拍摄的图像，消除了因摄像头位置不同而造成的图像差异，同时，由于实际镜头是安装在车顶边缘，与直接把四个镜头安装在虚拟视点相比不会因为车顶的遮挡产生靠近车身区域的拍摄盲区；采用圆柱投影技术消除拍摄角度造成的不同形变，使现实世界中相同的景物在不同的局部图像中也是相同的，从而能够保证后续拼接的效果，同时环视效果能够给观看者更好的视觉体验；采用块匹配方法搜索精确拼接位置，主要作用是消除四个镜头安装中的误差，能够自动校正四路镜头安装的水平和垂直误差，使拼接图像无明显缝隙；存储装置可采用SD卡，最大可支持33GB存储容量，连续得到的全景图像通过编码芯片生成视频码流存储在SD卡上，当SD卡存储空间使用完毕后，其将自动删除最早期的数据并开始循环存储录像，防止因SD卡存储空间不足而导致录像停止。
【专利附图】
【附图说明】
[0027]图1为本发明的四路鱼眼镜头安装位置以及虚拟视点位置示意图；
[0028]图2为本发明圆柱投影示意图；
[0029]图3为本发明整体流程示意图。
【具体实施方式】
[0030]以下通过【具体实施方式】对本发明作进一步的描述。
[0031]首先，进行四个方向鱼眼镜头安装，参照图1，四个鱼眼镜头分别安装于车顶前、后、左、右边缘正中，镜头成像光轴与车身水平，相邻镜头拍摄角度相差90度，每个鱼眼镜头成像角度范围是170度，分辨率为720 X 576，输出信号为CVBS模拟信号。四路模拟信号经A/D转换芯片(本例中采用SAA7111)转换为数字图像后进行虚拟视点变换。
[0032]本发明的一种行车记录仪全景视频生成方法，参照图3，包括如下步骤
[0033]I)虚拟视点变 换步骤，四个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，测量鱼眼镜头到虚拟视点的水平距离D (如图1所示)，假设X。，y。为成像中心，横坐标X，纵坐标y表示镜头实际拍摄图像上某点的位置，X’，y’为这一点在虚拟视点成像图像上的位置。计算点(X，y)到成像中心的距离r为:
【权利要求】
1.一种行车记录仪全景视频生成方法，其特征在于:包括如下步骤 1)虚拟视点变换步骤，多个鱼眼镜头分别拍摄车体四周的平面图像，将平面图像转换成数字平面图像，设置车体顶部中央为虚拟视点，根据鱼眼镜头到虚拟视点的水平距离和鱼眼镜头的成像模型将车体四周数字平面图像分别变换为以车体顶部中央为虚拟视点的数字平面图像； 2)圆柱投影步骤，根据鱼眼镜头的各个参数计算虚拟圆柱面的半径，而后建立圆柱投影转换关系，将经虚拟视点变换后的数字平面图像上的点一一映射为圆柱投影图像中的坐标，从而生成完整的圆柱投影图像； 3)图像拼接步骤，取每个鱼眼镜头拍摄方向左右各一定角度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接，具体操作如下: 3-1取其中一圆柱投影图像左/右边内的某一区域作为第一匹配模板； 3-2取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左边内的一定区域内的某一点作为匹配搜索的原点； 3-3遍历该匹配搜索原点所在的圆柱投影图像内以匹配搜索的原点为中心的区域，以该区域内的每一点为中心取一与第一匹配模板长宽相同的区域，得到一系列匹配模板，将所述第一匹配模板与该一系列匹配模板逐个匹配，计算对应的匹配相关系数，取其中相关系数最小的匹配模板中的中心点来计算该两幅待拼接图像的位置误差参数；将步骤3-1中的圆柱投影图像各像素位置加上所得到的位置误差参数，使之与匹配搜索原点所在圆柱投影图像拼接成一幅图像； 3-4重复步骤3-1至3-3直至将所有圆柱投影图像拼接成全景图像。
2.如权利要求1所述的一种行车记录仪全景视频生成方法，其特征在于:在步骤I)中，采用四个鱼眼镜头，相邻镜头·的拍摄角度相差90度。
3.如权利要求1或2所述的一种行车记录仪全景视频生成方法，其特征在于:所述鱼眼镜头的成像模型包括等距投影模型或正交投影模型或等立体角模型或体视模型。
4.如权利要求3所述的一种行车记录仪全景视频生成方法，其特征在于:在步骤2)中，根据镜头最大成像角度和小孔成像原理计算实际取景宽度，而后再根据镜头焦距和鱼眼镜头到虚拟视点的水平距离计算得到虚拟圆柱面的半径。
5.如权利要求4所述的一种行车记录仪全景视频生成方法，其特征在于:预设取每个镜头拍摄方向左右各s度的圆柱投影图像分别与相邻的圆柱投影图像进行拼接、在步骤3-1中，取其中一圆柱投影图像左/右方s度位置的横坐标和图像高度的一半为中心，选一定长宽构成第一匹配模板。
6.如权利要求5所述的一种行车记录仪全景视频生成方法，其特征在于:在步骤3-2中，取与该圆柱投影图像左/右相邻的圆柱投影图像的右/左方s度位置的横坐标和图像高度的一半的中心点作为匹配搜索的原点。
7.如权利要求5或6所述的一种行车记录仪全景视频生成方法，其特征在于:在步骤3-3中，取相关系数最小的模板的中心点与步骤3-1中的圆柱投影图像左/右方s度位置的横坐标和图像高度的一半进行计算得到位置误差参数。
8.如权利要求7所述的一种行车记录仪全景视频生成方法，其特征在于:还包括有循环存储步骤，利用标记文件实现循环存储覆盖旧记录，具体包括如下步骤4-1读取标记文件中的当前文件片段号，判断存储装置内的存储空间是否有剩余，若有剩余，则进入步骤4-2 ;若无剩余，则进入步骤4-3 ； 4-2，将拼接后的数字全景图像经编码处理后输出标准视频码流，以若干分钟为一个片段保存成一个视频文件，若在存储过程中检测到存储空间不足则跳入步骤4-3，否则存储完毕后将视频文件名编号为当前文件片段号，将标记文件中的当前文件片段号加1，重复步骤4-1 ； 4-3判断是否存在文件名编号为当前文件片段号的文件，若存在则将其删除，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为当前文件片段号，将标记文件中的当前文件片段号加I ;如果不存在文件名编号为当前文件片段号的文件，则删除文件名编号为O的文件，将视频文件保存在被删除文件原来的存储空间上，存储该文件完毕后将文件名编号为O，将标记文件中的当前文件片段号重置为1，重复步骤4-1。
9.如权利要求8所述的一种行车记录仪全景视频生成方法，其特征在于:还包括有全景显示步骤，具体包括有按一定顺序排列全景图像并将其完整显示的完全显示模式和通过触摸屏控制选择任意观看角度观看车 身周围情况的可控环视模式。
【文档编号】G07C5/08GK103854335SQ201210516582
【公开日】2014年6月11日 申请日期:2012年12月5日 优先权日:2012年12月5日
【发明者】涂岩恺, 杨磊, 陈义华, 张松水, 汤益明 申请人:厦门雅迅网络股份有限公司