一种基于固定位置的全景视频图像生成装置的制造方法
【技术领域】
[0001] 本发明属于数字图像相关领域，涉及一种基于固定位置的全景视频图像生成装 置。
【背景技术】
[0002] 现有摄像机全景拼接图像大多为非实时图像，摄像机采用的用于全景拼接的多幅 图像非同一时刻采集获得，这样采集到的图像在进行图像拼接处理后的效果不好，且现有 摄像机无法进行360度的全景拍摄。
[0003] 同时，现有的全景拼接摄像机采用非广角镜头，为实现全景拍摄采用的镜头较多， 且在图像拼接过程中，常用的方法是提取各图像中的特征点，然后进行特征点匹配，利用特 征点匹配对计算变换矩阵，从而将各画面映射到全景图像上。
[0004] 实际应用中，在实时拼接多路视频时，可能因为找不到足够的特征点匹配对而导 致拼接失败。同时，这种实时特征点匹配拼接方法计算量大，对硬件设备要求较高，且拼接 效果受限。此外，过多的镜头也会导致成本的上升，不便于应用推广。
[0005] 因此，需要一种新的全景视频图像生成装置以解决上述问题。
【发明内容】
[0006] 发明目的：本发明针对现有技术的缺陷，提供一种能够实时显示360度全景图像 的基于固定位置的全景视频图像生成装置。
【发明内容】
[0007] ：为解决上述技术问题，本发明的基于固定位置的全景视频图像生成装 置采用的技术方案为：
[0008] -种基于固定位置的全景视频图像生成装置，包括多个摄像头和视频处理拼接模 块；
[0009] 所述视频处理拼接模块用于将视频图像进行处理后拼接，生成全景视频图像；所 述视频处理拼接模块通过基于图像映射方法将多个摄像头的视频图像拼接成全景视频图 像；
[0010] 所述基于图像映射方法包括以下步骤：
[0011] 1)、对摄像头进行标定并计算摄像头的畸变参数，其中，畸变参数包括径向畸变 系数和切向畸变系数；
[0012] 2)、根据步骤1)得到的摄像头的畸变参数，分别对每台摄像头拍摄的原始图像进 行畸变矫正，得到畸变矫正后的图像，其中，原始图像坐标和畸变矫正后的图像坐标的关系 为：
[0014] 其中，（x'，y'）为原始图像坐标，（x，y)为畸变矫正后的图像坐标，r2= x^y2;!^， 匕和k 3为径向畸变系数，p JP p 2为切向畸变系数；
[0015] 3)、获取摄像头之间的映射关系表；
[0016] 4)、根据所述映射关系表对各摄像头拍摄的图像进行映射变换，生成全景图像。
[0017] 更进一步的，步骤3)中所述图像映射关系表的获取方法包括以下步骤：
[0018] -、固定好各摄像头位置后，提取各摄像头拍摄于同一时刻的图像；
[0019] 二、提取相邻摄像头拍摄图像中各重叠区域的特征点；
[0020] 三、根据各重叠区域的特征点确定各相邻摄像头之间的映射关系，并将相邻摄像 头的图像进行拼接；
[0021] 四、显示拼接后的全景图像，如果拼接效果完整，则输出各摄像头之间的映射关 系，获得图像映射关系表；如果拼接效果不完整，则重复步骤一-步骤四。
[0022] 更进一步的，所述摄像头包括前视摄像头、后视摄像头、左视摄像头和右视摄像 头，所述前视摄像头、后视摄像头、左视摄像头和右视摄像头分别设置在摄像头底座的前 方、后方、左侧和右侧。
[0023] 更进一步的，相邻摄像头的图像之间均具有重叠区域。
[0024] 更进一步的，所述摄像头均匀分布在摄像头底座的四周。
[0025] 更进一步的，所述摄像头为广角鱼眼镜头，可视角度为180度。
[0026] 更进一步的，所述摄像头的数量为四个。
[0027] 更进一步的，还包括电源模块、视频编码压缩模块、全景视频显示模块和视频存储 丰旲块，
[0028] 所述全景视频显示模块用于显示全景视频图像；
[0029] 所述视频存储模块用于存储全景视频图像；
[0030] 所述视频编码压缩模块用于将全景视频图像进行编码压缩，并传输至所述全景视 频显不t旲块和存储t旲块；
[0031] 所述电源模块为所述摄像头、视频图像处理拼接模块、视频编码压缩模块、全景视 频显示模块和视频存储模块进行供电。
[0032] 更进一步的，还包括数字信号处理平台，数字信号处理平台包括第一 FPGA芯片、 第二FPGA芯片、ADC芯片、DAC芯片、第一 SRAM存储器、第二SRAM存储器和PCI桥接芯片， 所述第一 FPGA芯片双向连通所述第二FPGA芯片，所述第一 FPGA芯片和第二FPGA芯片之间 设置有参考时钟和晶振；所述第一 FPGA芯片和第二FPGA芯片分别双向连通第一 SRAM存储 器和第二SRAM存储器，DA接口通过ADC芯片单向连通所述第一 FPGA芯片，所述第一 FPGA 芯片通过DAC芯片连通AD接口；其中，接口电路包括J1接口、J2接口、J3接口、J4接口和 J5接口，所述第一 FPGA芯片通过所述PCI桥接芯片双向连通J1接口，所述第一 FPGA芯片 通过第一驱动电路单向连通J3接口；所述第二FPGA芯片通过第二驱动电路单向连通J3接 口和J4接口，J4接口通过第三驱动电路单向连通所述第二FPGA芯片。本发明的数字信号 处理平台可以实现大范围的延迟，同时实现了 ADC芯片采样后的数据快速送给DAC芯片输 出，也改善了散热不足的问题。
[0033] 更进一步的，所述第一 FPGA芯片和第二FPGA芯片的型号均为XC5VSX95T，所述第 一 FPGA芯片通过FPGA间断高速数字接口连接所述第二FPGA芯片，所述第一 SRAM存储器 和第二SRAM存储器的型号均为CY7C1514KV18,所述DAC芯片为MD652D芯片，所述ADC芯片 为ADC083000芯片，还包括稳压芯片，所述稳压芯片为数字信号处理平台供电。
[0034] 有益效果：本发明的基于固定位置的全景视频图像生成装置对硬件设备要求低， 过程简单易行，采用的摄像头较少，成本低；同时，图像拼接时采用查找图像映射表的方式， 而图像映射表仅需计算输出一次，图像拼接的计算量少、实时性好，其实用性较强。
【附图说明】
[0035] 图1为本发明的基于固定位置的全景视频图像生成装置的结构示意图；
[0036] 图2是实施例1的广角摄像头安装位置示意图；
[0037] 图3是本发明采用的视频图像拼接流程图；
[0038] 图4是本发明的图像映射表具体生成流程图；
[0039] 图5为本发明的数字信号处理平台的结构示意图。
【具体实施方式】
[0040] 下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明 本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各 种等价形式的修改均落于本申请所附权利要求所限定的范围。
[0041] 实施例1:
[0042] 如图1所示，电源模块分别给四个广角摄像头、视频图像处理拼接模块、视频编码 压缩模块、全景视频显示模块和视频存储模块进行供电。四个广角摄像头用于采集视频图 像，并传输给视频图像处理拼接模块。
[0043] 视频图像处理拼接模块首先对四路视频图像进行拼接处理，再对拼接后的全景图 像进行融合和曝光处理，以消除拼接缝、亮度差和色差，并将处理后的全景图像传输给视频 编码压缩模块。
[0044] 视频编码压缩模块则根据H. 264标准对视频图像进行编码压缩，并采用千兆网口 对编码压缩后的全景视频图像进行传输，传输至全景视频显示模块和视频存储模块。
[0045] 全景视频显示模块根据视频编码压缩模块传输的全景视频信息进行相应的视频 图像实时显示；视频存储模块则对传输过来的全景视频信息进行实时存储。
[0046] 其中，请参阅图3所示，基于图像映射方法包括以下步骤：
[0047] 步骤1 :在本实例中采用四个摄像头Q，其中，i = 1，2, 3, 4为摄像头的编号。摄 像头安装位置和拍摄区域如图2所示，要求各相邻摄像机之间应具有一定的重叠区域，确 保拍摄的图形没有视觉盲区。
[0048] 步骤2 :对步骤1中的摄像机进行标定，计算摄像机的内部参数和广角镜头的畸变 参数；
[0049] 利用张征友在论文"一种灵活用于相机标定的新方法"（Zhang, Z. Y. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 22, no. 11，pp. 330-1334, 2000.)中公开的镜头参数标定方法， 对步骤1中的摄像机镜头进行标定，得到摄像头的内部参数Μ,和畸变参数K,。当然，也可 以利用现有技术中通用的其他相机标定方法对摄像头进行标定；
[0050] 步骤3 :根据步骤2得到的摄像机的内部参数％和畸变参数K i，对四台摄像机拍摄 的原始图片L进行畸变矫正，得到畸变矫正后的图像
[0051] 根据布朗提出的铅垂模型，畸变图像和无畸变图像（即畸变矫正后的图像）坐标 的对应关系为：
[0053] 其中，r2= X 2+y2;k p k2, k3为径向畸变系数，ρ ρ ρ2为切向畸变系数，（X'，y'）为 畸变图像坐标，（x，y)为畸变矫正后的图像坐标。