实现全景相机的多个摄像头同时拍摄的方法及全景相机的制作方法
【技术领域】
[0001]本发明属于全景相机领域，特别涉及一种实现全景相机的多个摄像头同时拍摄的方法及全景相机。
【背景技术】
[0002]传统的全景摄影使用一个相机朝不同角度依次拍摄多张照片然后拼接成全景图像，这样的缺点是如果拍摄过程中被摄物体移动，就会出现明显的拼接错误。近来出现了集成了多个摄像模组的专用全景设备，拍摄时多个摄像模组同时成像，从而可以避免以上问题。
[0003]为了保证图像质量，在全景合成之前需要对各摄像模组输出的拜耳(Bayer)格式数据进行逆马赛克变换(Demosaicing)和降噪。这部分算法非常消耗计算资源，如果在通用CPU内用软件实现，将严重影响性能。目前智能手机和数码相机的逆马赛克变换和降噪大都是用独立的图像信号处理(Image signal processing，ISP)芯片或者移动SoC内嵌的ISP模块处理的，比起使用通用CPU大大提高了性能。然而每个移动SoC只能连接一片ISP或者只内嵌一个ISP模块，无法处理全景相机大量摄像头的同时输出数据。
[0004]目前一种方案是为每个摄像头各自配一个ISP芯片和处理器，或者各自配一个内嵌ISP模块和处理器的移动SoC，各摄像头的输出数据分别由各自的ISP进行逆马赛克变换和降噪处理并在处理器控制下存储，等拍摄完成导出处理后的图像数据在电脑上完成拼接。一种方式是把所有摄像头，ISP芯片(模块)和处理器放在一个硬件里，如TE720，另一种只是把多个单独的相机(每个相机有独立的摄像头，ISP及处理器)固定在一起，如将6个GoPro固定在一起拍摄全景的装置。
[0005]由于每个摄像头各自配一个ISP芯片和处理器，或者各自配一个内嵌ISP模块的移动SoC，硬件成本较高，功耗较大;又由于各处理器彼此独立，实现在机器内拼接比较困难，基本都是将数据导出在电脑或服务器拼接。
[0006]中国专利CN201420237546.4，实用新型名称为《一种接口共享的全景数字图像传感器》公开了多个摄像头连接一片FPGA或CPLD，CPLD/FPGA通过时分复用的方式从摄像头读取数据，并以非标准的格式将数据输出。对于M个摄像头，CPLD/FPGA分配M个时隙，让CPLD/FPGA上的8位并行数据接口分时传输各CMOS传感器的数据，每个时隙宽度为像素时钟信号周期的1/(2M)，每个时隙传输一个字节YUV格式的图像数据。
[0007]由于该方案CPLD/FPGA读取摄像头数据的时隙宽度为像素时钟信号周期的I/(2M)，即CPLD/FPGA的读取频率要比摄像头的像素时钟频率高很多倍，如果摄像头数目多且摄像头像素数高，对FPGA的主频要求极高，大大提高了成本;其次，该方案输出的非标准的格式的数据并不被一般的ISP芯片或者内嵌的ISP模块兼容。
【发明内容】
[0008]本发明提供一种能够实现全景相机的多个摄像头同时拍摄的方法及全景相机，用于解决现有技术中全景相机实现多个摄像头同时拍摄时，对硬件要求高，所需硬件多，成本高的问题。
[0009]本发明提供的一种实现全景相机的多个摄像头同时拍摄的方法，包括，
[0010]多个摄像头同时采集多个方向上的图像数据；
[0011]将采集的图像数据存储于内存中；
[0012]按序读取内存中的图像数据，将读取的图像数据模拟成单一摄像头输出数据格式发送至同一图像信号处理器处理。
[0013]本发明另提供一种能够实现多个摄像头同时拍摄的全景相机，包括，
[0014]多个摄像头、内存、控制器及一个图像信号处理器，
[0015]所述摄像头用于同时采集多个方向上的图像数据；
[0016]所述控制器连接所述摄像头、所述内存及所述图像信号处理器，用于将采集的图像数据存储于内存中，按序读取内存中的图像数据，将读取的图像数据模拟成单一摄像头输出数据格式发送至所述图像信号处理器处理。
[0017]本发明的技术方案中控制多个摄像头同时采集各方向上的图像数据，将各摄像头采集到的图像数据存储于内存中，按序读取内存中的图像数据，将读取的图像数据发送至同一图像信号处理器处理。本发明能够在较低的硬件成本下实现多个摄像头同时成像，避免由被摄物体移动导致的拼接错误，同时只需要一个图像信号处理器，并且对图像信号处理器的时钟频率要求不高，比起现有技术大大降低了成本。使用一个控制器也有利于在全景相机内完成拼接。
【附图说明】
[0018]为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0019]图1为本发明一实施例的实现全景相机的多个摄像头同时拍摄的方法流程图；
[0020]图2为本发明一实施例的能够实现多个摄像头同时拍摄的全景相机结构图；
[0021]图3为本发明另一实施例的能够实现多个摄像头同时拍摄的全景相机结构图；
[0022]图4为本发明又一实施例的能够实现多个摄像头同时拍摄的全景相机结构图。
【具体实施方式】
[0023]为了使本发明的技术特点及效果更加明显，下面结合附图对本发明的技术方案做进一步说明，本发明也可有其他不同的具体实例来加以说明或实施，任何本领域技术人员在权利要求范围内做的等同变换均属于本发明的保护范畴。
[0024]如图1所示，图1为本发明一实施例的实现全景相机的多个摄像头同时拍摄的方法流程图。
[0025]本实施例提供的方法能够使多个摄像头同时生成的图像数据发送至同一图像处理器处理，图像处理器接收到的各摄像头拍摄的数据如同一个单独的摄像头连续发送的多帧数据，处理方式也与连接单个摄像头一样。
[0026]具体的，实现全景相机的多个摄像头同时拍摄的方法包括:
[0027]步骤101:多个摄像头同时采集多个方向上的图像数据;其中，图像数据为摄像头获取的原始数据。
[0028]步骤102:将采集的图像数据存储于内存中；
[0029]本发明一实施例中，通过FPGA将采集的图像数据存储于与FPGA相连的内存中，当全景相机的多个摄像头输出的数据格式不方便被FPGA接收时，可在FPGA和每个摄像头之间插入桥接芯片进行格式转换，如可通过MIPI与DVP的桥接芯片将摄像头输出的MIPI格式数据转换为DVP格式，以方便被FPGA接收。
[0030]步骤103:按序读取内存中的图像数据，如先从摄像头I开始，读取完摄像头I的图像数据后，读取摄像头2的图像数据，一直到读取完所有摄像头的图像数据，将读取的图像数据模拟成单一摄像头输出数据格式发送至同一图像信号处理器处理，模拟成单一摄像头输出数据格式可以为DVP、MIP1、HISPI等。图像信号处理器接收到的多个摄像头各自拍摄的一帧数据的数据格式就如同一个单独的摄像头连续发送的多帧数据，图像信号处理器对接收到的图像数据做逆马赛克变换和降噪处理，与图像信号处理器相连的应用处理芯片将逆马赛克变换和降噪处理后的多帧数据拆开成多个摄像头输出的图像数据，并进行后续的拼接操作。
[0031 ] 详细的说，内存为同步动态随机存储器(Synchronous Dynamic Random AccessMemory，SDRAM)，内存中可存储多个时刻获取的原始数据，每一时刻的原始数据分配一个区域，其中，每一时刻的原始数据由所有摄像头输出的单帧图像数据构成，每个摄像头的单帧图像数据又被分配一个子区域。
[0032]摄像头以逐行输出图像数据的方式发送数据，摄像头发送图像数据的同时还发送同步信号，如帧同步信号(VSYNC)，使能信号(HREF)，像素时钟(PCLK)，分别用于标识单帧数据的开始，标识新一行的开始及标识摄像头输出数据的时间。
[0033]进一步的，按序读取内存中的图像数据时，还读取摄像头图像数据对应的同步信号。
[0034]本发明一实施例中，