行像素信息从FIF02 205中读出，与此同时，FIF01_1 203向FIFOl 204写入另外图像的一行像素信息，这两个同步的过程所用的时间是一致的。由于FIFOl 204与FIF02 205的输出时钟频率以及输出数据宽度远大于其输入时钟频率与输入数据宽度，因此消隐区时间内足够输出两行像素信息。当缓存像素信息传送到拼接处理单元206完毕后，FIFOl 204立即向拼接处理单元206写入另外图像的第一行数据，此时FIF01_1 203与FIF02 205都处于空状态，然后等待摄像头I 201与摄像头2 202向FIF01_1 203与FIF02 205缓存第二行的像素信息，以此类推。
[0020]数据经过拼接处理单元206计算后，再输入到DDR 208进行缓存。此过程为基于DDR的片内乒乓存储。即在DDR中开辟两个大小相同的空间，每个空间大小需要能够存储一帧图像。如图3，内存I与内存2为能够容纳一帧图像大小的存储空间。首先在DDR中缓存一帧的图像，当内存I缓存一帧图像完毕后，即与内存2进行读写乒乓缓存。即从内存I读出一行像素后，接着立即向内存2写入另一行像素信息，如图3(a)。当数据从内存I读空后，此时内存2也写满数据，此时立即向内存I写数据，从内存2读数据，如图3(b)。
[0021]对于像素信息从DDR读出经过缓存直到显示的过程，依然使用传统的乒乓存储方式，此过程同基于单路摄像头的视频缓存与显示方式相同。一行像素信息首先缓存在FIF03209中，然后再从FIF03 209读出并写入VGA显示设备，与此同时，DDR向FIF04 210缓存另一行像素信息，FIF03 209读空后，FIF04 210写满，此时再从FIF04 210读出像素信息，同时DDR向FIF03 209写入下一行像素。以此类推。
[0022]对于从摄像头输出的视频图像为1024*768@15Mpbs，即分辨率为1024*768，帧频为15帧每秒。摄像头的时钟频率为50MHz。DDR的时钟为133MHz，输入输出数据宽度为128bit。又由于DDR上升沿与下降沿都可以进行读写，因此实际的频率达到266MHz。因为每帧图像的行像素个数为1024个，因此FIF01_1 203,FIFOl 204，FIF02 205，FIF03 209以及FIF04 210的深度都选择为1024，以方便利用其空满信号来控制数据传输过程。由于摄像头设备的输出数据宽度为8bit，因此FIF01_1 203与FIF02 205的输入数据宽度同样选择为8bit。而为了能够快速将一行像素信息从FIF01_1 203传送到FIFOl 204中，将FIF01_1203的输出数据宽度选择与FIFOl 204的输入数据宽度也定义为128bit。拼接处理单元206的输入时钟与输入输出数据宽度与DDR控制单元207相同，且FIFOl 204与FIF02 205与其相连，因此FIF01204与FIF02 205的输出数据宽度选为128bit。同理，FIF03 209与FIF04 210的输入数据宽度为128bit，输出与VGA显示设备211相同，为8bit。对于时钟频率，FIF01_1 203与FIF02205的输入时钟频率与摄像头输出频率相同，为50MHz。而FIF01_1203的输出时钟频率与FIFOl 204的输入时钟频率也为266MHz。FIFOl 204与FIF02 205的输出频率与拼接处理单元206的输入时钟频率一致，为266MHz。FIF03 209与FIF04 210的输入时钟频率与DDR控制单元207的实际输出频率相同，为266MHz，而其输出频率与VGA显示设备211相同，为50MHz。
[0023]两帧待拼接的图像同时从摄像头I 201与摄像头2 202输出，首先第一行像素信息分别缓存在FIF01_1 203与FIF02 205中，当第一行数据从摄像头输出完毕后，摄像头进入消隐区。此时FIF01_1 203与FIF02 205满信号有效，FIF01_1 203的满信号通知FIFOl204开始接收数据，而FIF02 205的满信号通知拼接处理单元206开始接收第一幅图像的第一行像素信息并作处理，当FIFOl 204满信号有效，将通知拼接处理单元206开始接收第二幅图像的第一行像素信息并作处理。此时FIF01_1 203与FIF02 205的空信号有效，等待摄像头进入有效区继续接收第二行像素信息。
[0024]当拼接处理单元206处理完拼接运算后，按照片内乒乓存储方式缓存在DDR 208中。首先需要在内存I中缓存拼接后的第一帧数据，当内存I存满后，开始向内存2写第二帧的第一行，写完后，立即转向读取内存I的第一帧的第一行数据，读取完毕后，在继续向内存2写入第二帧的第二行数据，随后读取内存I中的第一帧的第二行数据，以此类推，直到内存2写满，此时内存I也将读空。然后再继续向内存I写入第三帧的第一行数据，结束后立即读取内存2中第二帧的第一行数据，以此类推。
[0025]对于VGA显示部分，首先在FIF03 209缓存拼接后的第一行像素信息，当FIF03209写满，其满信号通知DDR开始传输第二行像素信息到FIF04 210，此时FIF03 209将缓存的第一行数据传输至VGA211。当FIF03 209读空后，DDR再向FIF03 210写入第三行像素信息，同时VGA 211从FIF04 210读取第二行的像素信息，以此类推。依照此方式便可以连续实时的处理并显示视频信息。
【主权项】
1.一种基于双路摄像头视频拼接的缓存与显示的装置，其特征是，结构为:结构为:摄像头I 201与摄像头2 202同时将行像素对应输出到缓存FIF01_1 203与缓存FIF02 205中；对于缓存FIF01_1 203来说，其输入频率与输入数据宽度与摄像头I 201输出像素的频率及输出数据宽度相同，而其输出频率及输出数据宽度与拼接处理单元206的输入频率及输入数据宽度一致；而对于缓存FIFOl 204与缓存FIF02 205的时钟频率来说，缓存FIF02205的输入频率与摄像头2202输出数据频率一致，而输出频率与拼接处理单元206的输入数据频率相同，而缓存FIFOl 204的输入与输出时钟频率都与拼接处理单元206的输入数据频率相同；对于缓存FIFOl 204与缓存FIF02 205的输入数据宽度来说，缓存FIF02205的输入数据宽度与摄像头输出数据宽度一致，输出数据宽度与拼接处理单元206的输入数据宽度一致，而缓存FIFOl 204的输入与输出数据宽度都与拼接处理单元206的输入数据宽度一致；拼接处理单元206的输入输出频率以及输入输出数据宽度都与DDR208的一致；缓存FIF01_1 203输出到缓存FIFOl 204 ;缓存FIFOl 204与缓存FIF02 205向拼接处理单元206写入数据；在数据经过拼接处理单元206计算后，再输入到内存DDR208进行缓存，在内存DDR控制器的控制下，内存DDR 208中的一行像素信息首先写入缓存FIF03 209中，然后再从缓存FIF03 209读出并写入VGA显示设备，与此同时，DDR向缓存FIF04 210缓存另一行像素信息，缓存FIF03 209读空后，FIF04 210写满，此时再从缓存FIF04 210读出像素信息到VGA显示设备，同时内存DDR向缓存FIF03 209写入下一行像素；以此类推。
2.一种基于双路摄像头视频拼接的缓存与显示方法，其特征是，借助于权I所述装置实现，并包括如下步骤:对于缓存FIFOl 204与缓存FIF02 205向拼接处理单元206写入数据的方式是使用乒乓存储，当两行不同的数据存储在缓存FIF01_1 203与缓存FIF02 205后，一旦摄像头输出进入消隐区，第一行像素信息从缓存FIF02 205中读出，与此同时，缓存FIF01_1 203向缓存FIFOl 204写入另外图像的一行像素信息，这两个同步的过程所用的时间是一致；当缓存像素信息传送到拼接处理单元206完毕后，缓存FIFOl 204立即向拼接处理单元206写入另外图像的第一行数据，此时缓存FIF01_1 203与缓存FIF02 205都处于空状态，然后等待摄像头I 201与摄像头2 202向缓存FIF01_1 203与缓存FIF02 205缓存第二行的像素信息，以此类推； 数据经过拼接处理单元206计算后，再输入到内存DDR 208进行缓存，此过程为基于内存DDR 208的片内乒乓存储，即在内存DDR 208中开辟两个大小相同的空间，每个空间大小需要能够存储一帧图像，空间内存I与空间内存2为能够容纳一帧图像大小的存储空间。首先在内存DDR 208中缓存一帧的图像，当空间内存I缓存一帧图像完毕后，即与空间内存2进行读写乒乓缓存:即从空间内存I读出一行像素后，接着立即向空间内存2写入另一行像素信息，当数据从空间内存I读空后，此时空间内存2也写满数据，此时立即向空间内存I写数据，从空间内存2读数据。
【专利摘要】本发明涉及图像处理和显示领域，为一种基于双路摄像头视频拼接的缓存显示简易装置，能够在单路摄像头视频缓存显示装置的基础上，通过对电路的简单修改便可实时显示双路摄像头产生并经过拼接处理后的视频，适合硬件实现，既节省电路设计开发的时间与精力，又节约宝贵的硬件资源。为此，本发明采取的技术方案是，基于双路摄像头视频拼接的缓存与显示的装置，结构为：摄像头1 201与摄像头2 202同时将行像素对应输出到缓存FIFO1_1 203与缓存FIFO2 205中；对于缓存FIFO1_1 203来说，其输入频率与输入数据宽度与摄像头1 201输出像素的频率及输出数据宽度相同。本发明主要应用于图像处理和显示。
【IPC分类】H04N7-18, H04N5-265
【公开号】CN104717470
【申请号】CN201510124850
【发明人】史再峰, 贾圆圆, 庞科, 徐江涛, 赵升, 周佳慧
【申请人】天津大学
【公开日】2015年6月17日
【申请日】2015年3月19日