同步拍摄电路、装置和方法
【专利摘要】本发明提供一种同步拍摄电路，FPGA模块还分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，第一帧同步信号和第二帧同步信号同步；第一图像传感器和第二图像传感器分别根据第一帧同步信号和第二帧同步信号采集图像得到第一图像和第二图像，并传输给FPGA模块；FPGA模块对第一图像和第二图像进行图像拼接，并将拼接后的图像传输给图像信号处理模块；图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。上述同步拍摄电路实现了图像采集的同步。还提供了一种同步拍摄装置和方法。
【专利说明】
问步拍摄电路、装置和方法
技术领域
[0001]本发明涉及信息显示技术领域，具体而言，本发明涉及一种同步拍摄电路、装置和方法。
【背景技术】
[0002]为了拍摄到具有立体效果的图像或视频时，需要用到立体摄像装置。立体摄像装置通常具有两个图像传感器，在拍摄时该两个图像传感器需要同步拍摄，以采集两个不同视点的图像，最后将两个图像传感器采集的图像结合形成立体图像或视频。然而，传统技术具有两个图像传感器采集图像在时间上不同步的缺陷，使得所拍摄的立体图像或视频质量不尚。
【发明内容】
[0003]本发明的目的旨在至少能解决上述的技术缺陷之一，特别是采集图像不同步的技术缺陷。
[0004]本发明提供一种同步拍摄电路，包括:第一图像传感器、第二图像传感器、FPGA模块和图像信号处理模块；
[0005]所述FPGA模块分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步；
[0006]所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到第一图像和第二图像，并传输给所述FPGA模块；
[0007]所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给所述图像信号处理模块；
[0008]所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。
[0009]其中一个实施例中，所述FPGA模块还分别为第一图像传感器和第二图像传感器提供第一基准时钟信号和第二基准时钟信号，所述第一基准时钟信号和第二基准时钟信号同步;所述第一帧同步信号和第二帧同步信号基于所述第一基准时钟信号或第二基准时钟信号而生成。
[0010]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像剪裁。
[0011]其中一个实施例中，所述还对所述第一图像和第二图像进行图像剪裁包括:
[0012]分别将所述第一图像和第二图像之间没有重合的部分剪裁掉。
[0013]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像压缩。
[0014]其中一个实施例中，所述还对所述第一图像和第二图像进行图像压缩包括:
[0015]对所述第一图像和第二图像进行隔列提取压缩。
[0016]其中一个实施例中，所述还对所述第一图像和第二图像进行图像压缩包括:
[0017]对所述第一图像和第二图像进行基于双线性插值的图像压缩。
[0018]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像依次进行图像压缩和图像剪裁。
[0019]其中一个实施例中，所述还对所述第一图像和第二图像依次进行图像压缩和图像剪裁包括:
[0020]对所述第一图像和第二图像进行隔列提取压缩；
[0021]分别将压缩后的第一图像和第二图像之间没有重合的部分剪裁掉。
[0022]其中一个实施例中，所述第一图像传感器和第二图像传感器为0MNIVIS10N图像传感器，所述第一图像传感器和第二图像传感器工作于被动模式。
[0023]其中一个实施例中，所述图像信号处理模块包括图像信号处理芯片，所述图像信号处理芯片为海思Hi3518系列芯片。
[0024]其中一个实施例中，所述图像信号处理包括以下操作中的至少一项:
[0025]减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。
[0026]本发明还提供一种拍摄装置，包括上述的同步拍摄电路。
[0027]本发明还提供一种同步拍摄方法，包括如下步骤:
[0028]所述FPGA模块分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步；
[0029]所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到的第一图像和第二图像；
[0030]所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给图像信号处理模块；
[0031]所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。
[0032]其中一个实施例中，所述FPGA模块还分别为第一图像传感器和第二图像传感器提供第一基准时钟信号和第二基准时钟信号，所述第一基准时钟信号和第二基准时钟信号同步;所述第一帧同步信号和第二帧同步信号基于所述第一基准时钟信号或第二基准时钟信号而生成。
[0033]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像剪裁。
[0034]其中一个实施例中，所述还对所述第一图像和第二图像进行图像剪裁包括:
[0035]分别将所述第一图像和第二图像之间没有重合的部分剪裁掉。
[0036]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像压缩。
[0037]其中一个实施例中，所述还对所述第一图像和第二图像进行图像压缩包括:
[0038]对所述第一图像和第二图像进行隔列提取压缩。
[0039]其中一个实施例中，所述还对所述第一图像和第二图像进行图像压缩包括:
[0040]对所述第一图像和第二图像进行基于双线性插值的图像压缩。
[0041]其中一个实施例中，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像依次进行图像压缩和图像剪裁。
[0042]其中一个实施例中，所述还对所述第一图像和第二图像依次进行图像压缩和图像剪裁包括:
[0043]对所述第一图像和第二图像进行隔列提取压缩；
[0044]分别将压缩后的第一图像和第二图像之间没有重合的部分剪裁掉。
[0045]其中一个实施例中，所述第一图像传感器和第二图像传感器为0MNIVIS10N图像传感器，所述第一图像传感器和第二图像传感器工作于被动模式。
[0046]其中一个实施例中，所述图像信号处理模块包括图像信号处理芯片，所述图像信号处理芯片为海思Hi3518系列芯片。
[0047]其中一个实施例中，所述图像信号处理包括以下操作中的至少一项:
[0048]减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。
[0049]上述同步拍摄电路、装置和方法，所述FPGA模块还分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步;所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到第一图像和第二图像，并传输给所述FPGA模块;所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给所述图像信号处理模块;所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。
[0050]利用FPGA模块为第一图像传感器和第二图像传感器提供同步的基准时钟信号和帧同步信号，使得第一图像传感器和第二图像传感器可以实现同步采样，然后FPGA模块对所采样的图像进行拼接后传输给图像信号处理模块进行图像信号处理，最后形成立体图像。
[0051]本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0052]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0053]图1为一个实施例的同步拍摄电路模块图；
[0054]图2为0V9732图像传感器简略示意图；
[0055]图3为一个实施例的图像压缩简单示意图；
[0056]图4为一个实施例的第一图像和第二图像重合部分的对比示意图；
[0057]图5为一个实施例的对第一图像和第二图像拼接的简单示意图；
[0058]图6为一个实施例的同步拍摄方法流程图。
【具体实施方式】
[0059]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0060]本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“親接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0061]本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
[0062]本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通讯链路上，执行双向通讯的接收和发射硬件的设备。这种设备可以包括:蜂窝或其他通讯设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通讯设备;PCS(Personal Communicat1ns Service，个人通讯系统)，其可以组合语音、数据处理、传真和/或数据通讯能力;PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Posit1ning System，全球定位系统)接收器;常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通讯终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。
[0063]本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通讯方式实现通讯，包括但不限于，基于3GPP、LTE、WMAX的移动通讯、基于TCP/IP、UDP协议的计算机网络通讯以及基于蓝牙、红外传输标准的近距无线传输方式。
[0064]图1为一个实施例的同步拍摄电路模块图。
[0065]本发明提供一种同步拍摄电路，包括:第一图像传感器Ml、第二图像传感器M2、FPGA模块和图像信号处理模块ISP。
[0066]第一图像传感器Ml和第二图像传感器M2可以是CMOS(互补金属氧化物半导体)图像传感器(例如，CMOS有源像素传感器(APS))或CXD(电荷耦合器件)传感器。在应用中，可以将第一图像传感器Ml和第二图像传感器M2相隔一定距离并排设置，以模拟不同的视点进行图像采集。
[0067]在本实施例中，第一图像传感器Ml和第二图像传感器M2为OMNIVIS1N图像传感器，例如0V9732系列的图像传感器。此种情况下，第一图像传感器Ml和第二图像传感器M2工作于被动模式，即第一图像传感器Ml和第二图像传感器M2由外部电路提供帧同步信号。在以下说明中，以0V9732为例说明。图2为0V9732图像传感器简略示意图。
[0068]FPGA(Field —Programmable Gate Array)即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
[0069]FPGA模块分别为第一图像传感器Ml和第二图像传感器M2提供第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2，第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2同步。第一图像传感器Ml和第二图像传感器M2的PLL单元(XVCKL引脚)接收来自FPGA模块的基准时钟信号。PLL(Phase Locked Loop)为锁相回路或锁相环，用来统一整合时钟信号，使内存能正确的存取资料。PLL用于振荡器中的反馈技术。许多电子设备要正常工作，通常需要外部的输入信号与内部的振荡信号同步，利用锁相环路就可以实现这个目的。这样，第一图像传感器Ml、第二图像传感器M2和FPGA模块的时钟都同步了。
[0070]FPGA模块还分别为第一图像传感器Ml和第二图像传感器M2提供第一帧同步信号FSINl和第二帧同步信号FSIN2，第一帧同步信号FSINl和第二帧同步信号FSIN2同步。第一帧同步信号FSINl和第二帧同步信号FSIN2基于第一基准时钟信号XVCLKl或第二基准时钟信号XVCLK2而生成。几乎所有的电路系统在处理信号都是按节拍一步一步地进行的，系统各部分也是按节拍做的，要使电路的各部分统一节拍就需要时钟信号。帧同步信号也称场同步信号，用来控制每一帧画面的开始或结束，帧同步信号的上升沿表示一帧图像的到来，下降沿时开始一帧图像的有效采集。第一图像传感器Ml和第二图像传感器M2的FSIN/VSYNC引脚接收来自FPGA模块的帧同步信号，使得第一图像传感器Ml和第二图像传感器M2可以同步进行米集图像。
[0071 ]第一图像传感器Ml和第二图像传感器M2分别根据第一帧同步信号FSINl和第二帧同步信号FSIN2采集图像得到第一图像和第二图像，并通过MDP/MDN/MCP/MCN等引脚将图像数据传输给FPGA模块JDP/MDN/MCP/MCN等引脚在图像传感器的MIPI/DVP接口单元。第一帧同步信号FSINl和第二帧同步信号FSIN2是同步的，因此第一图像传感器Ml和第二图像传感器M2可以同步采集到第一图像和第二图像，也即第一图像和第二图像是在同一时刻采集到的，保证了后续合成的立体图像的质量。
[0072]FPGA模块对第一图像和第二图像进行图像拼接，并将拼接后的图像(DATA)传输给图像信号处理模块ISP。通常将第一图像和第二图像分别按一左一右的方式拼接成一整体的图像。
[0073]在本实施例中，FPGA模块对第一图像和第二图像进行图像拼接之前，还对第一图像和第二图像进行图像压缩。压缩图像后再进行图像数据的传输，可以有效提高数据传输效率。
[0074]对第一图像和第二图像进行图像压缩可以包括:对第一图像和第二图像进行隔列提取压缩。第一图像和第二图像按像素而言都有多行和多列，如果将两图像都进行隔列提取(例如只提取奇数列，其余的删除)，可以将图像数据量减少一半。例如，第一图像和第二图像的大小都是1280*720的，则经过隔列提取压缩后的图像大小变为640*720，图像数据量减少了一半。在一些实施例中，可以对第一图像和第二图像进行基于双线性插值的图像压缩。双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。基于双线性插值可以实现图像的缩放。
[0075]图3为一个实施例的图像压缩简单示意图。
[0076]在本实施例中，FPGA模块对第一图像和第二图像进行图像拼接之前，还对第一图像和第二图像进行图像剪裁。第一图像和第二图像通常有大部分区域都是基本重合的，然而由于第一图像传感器Ml和第二图像传感器M2所处的视点不一致，第一图像和第二图像肯定有一定的偏差，即两图像肯定存在不重合的区域。通常而言，第一图像传感器Ml和第二图像传感器M2以左右并列的方式排布时，所拍摄的第一图像的左边缘部分是第二图像没有的，而所拍摄的第二图像的右边缘部分是第一图像没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。
[0077]因此，在其中一个实施例中，对第一图像和第二图像进行图像剪裁包括:分别将第一图像和第二图像之间没有重合的部分剪裁掉。剪裁掉的通常是第一图像的左边缘部分和第二图像的右边缘部分。
[0078]图4为一个实施例的第一图像和第二图像重合部分的对比示意图。
[0079]在实践中，FPGA模块对第一图像和第二图像进行图像拼接之前，通常还会对第一图像和第二图像依次进行图像压缩和图像剪裁。即首先对第一图像和第二图像进行图像压缩(例如上述的隔列提取压缩)，减少后续图像数据传输量;然后对第一图像和第二图像进行图像剪裁，分别将压缩后的第一图像和第二图像之间没有重合的部分剪裁掉;然后将剪裁后的第一图像和第二图像进行图像拼接，将第一图像和第二图像分别按一左一右的方式拼接成一整体的图像。
[0080]图5为一个实施例的对第一图像和第二图像拼接的简单示意图。
[0081]图像信号处理模块ISP对拼接后的图像进行图像信号处理形成立体图像。图像信号处理包括以下操作中的至少一项:减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。
[0082]图像信号处理模块ISP包括图像信号处理芯片，图像信号处理芯片可以为海思Hi3518系列芯片，如Hi3518E图像信号处理芯片。
[0083]上述的同步拍摄电路可以应用于立体拍摄装置，例如最近流行的VR摄像机(Virtual Reality，虚拟现实)，全景3D摄像机等等。当然，对于全景3D摄像机而言，至少需要拍摄三个方向的景象。例如可以是拍摄四个方向的景象，每个方向布置两个图像传感器。而且，为了实现全部图像传感器的同步采集图像，每个图像传感器都可以由同一的FPGA模块提供相应的基准时钟信号和帧同步信号。即虽然上述的同步拍摄电路仅仅描述了两个图像传感器，但是并不排除该电路可以应用于多于两个图像传感器的场合。
[0084]本发明还提供一种同步拍摄方法，包括如下步骤SlOO?S500。
[0085]图6为一个实施例的同步拍摄方法流程图，请结合图1?图5。
[0086]步骤S100:FPGA模块分别为第一图像传感器Ml和第二图像传感器M2提供第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2，第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2同步。
[0087]第一图像传感器Ml和第二图像传感器M2可以是CMOS(互补金属氧化物半导体)图像传感器(例如，CMOS有源像素传感器(APS))或CXD(电荷耦合器件)传感器。在应用中，可以将第一图像传感器Ml和第二图像传感器M2相隔一定距离并排设置，以模拟不同的视点进行图像米集。
[0088]在本实施例中，第一图像传感器Ml和第二图像传感器M2为OMNIVIS1N图像传感器，例如0V9732系列的图像传感器。此种情况下，第一图像传感器Ml和第二图像传感器M2工作于被动模式，即第一图像传感器Ml和第二图像传感器M2由外部电路提供帧同步信号。在以下说明中，以0V9732为例说明。图2为0V9732图像传感器简略示意图。
[0089]FPGA模块分别为第一图像传感器Ml和第二图像传感器M2提供第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2，第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2同步。第一图像传感器Ml和第二图像传感器M2的PLL单元(XVCKL引脚)接收来自FPGA模块的基准时钟信号。PLL(Phase Locked Loop)为锁相回路或锁相环，用来统一整合时钟信号，使内存能正确的存取资料。PLL用于振荡器中的反馈技术。许多电子设备要正常工作，通常需要外部的输入信号与内部的振荡信号同步，利用锁相环路就可以实现这个目的。这样，第一图像传感器Ml、第二图像传感器M2和FPGA模块的时钟都同步了。
[0090]步骤S200:FPGA模块还分别为第一图像传感器Ml和第二图像传感器M2提供第一帧同步信号FSINl和第二帧同步信号FSIN2，第一帧同步信号FSINl和第二帧同步信号FSIN2同步。第一帧同步信号FSINl和第二帧同步信号FSIN2基于第一基准时钟信号XVCLKl或第二基准时钟信号XVCLK2而生成。几乎所有的电路系统在处理信号都是按节拍一步一步地进行的，系统各部分也是按节拍做的，要使电路的各部分统一节拍就需要时钟信号。帧同步信号也称场同步信号，用来控制每一帧画面的开始或结束，帧同步信号的上升沿表示一帧图像的到来，下降沿时开始一帧图像的有效采集。第一图像传感器Ml和第二图像传感器M2的FSIN/VSYNC弓I脚接收来自FPGA模块的帧同步信号，使得第一图像传感器Ml和第二图像传感器M2可以同步进行采集图像。
[0091]步骤S300:第一图像传感器Ml和第二图像传感器M2分别根据第一帧同步信号FSINl和第二帧同步信号FSIN2采集图像得到的第一图像和第二图像，并通过MDP/MDN/MCP/MCN等引脚传输给FPGA模块JDP/MDN/MCP/MCN等引脚在图像传感器的MIPI/DVP接口单元。第一帧同步信号FSINl和第二帧同步信号FSIN2是同步的，因此第一图像传感器Ml和第二图像传感器M2可以同步采集到第一图像和第二图像，也即第一图像和第二图像是在同一时刻采集到的，保证了后续合成的立体图像的质量。
[0092]步骤S400:FPGA模块对第一图像和第二图像进行图像拼接，并将拼接后的图像(DATA)传输给图像信号处理模块ISP。通常将第一图像和第二图像分别按一左一右的方式拼接成一整体的图像。
[0093]在本实施例中，FPGA模块对第一图像和第二图像进行图像拼接之前，还对第一图像和第二图像进行图像压缩。压缩图像后再进行图像数据的传输，可以有效提高数据传输效率。
[0094]对第一图像和第二图像进行图像压缩可以包括:对第一图像和第二图像进行隔列提取压缩。第一图像和第二图像按像素而言都有多行和多列，如果将两图像都进行隔列提取(例如只提取奇数列，其余的删除)，可以将图像数据量减少一半。例如，第一图像和第二图像的大小都是1280*720的，则经过隔列提取压缩后的图像大小变为640*720，图像数据量减少了一半。在一些实施例中，可以对第一图像和第二图像进行基于双线性插值的图像压缩。双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。基于双线性插值可以实现图像的缩放。
[0095]图3为一个实施例的图像压缩简单示意图。
[0096]在本实施例中，FPGA模块对第一图像和第二图像进行图像拼接之前，还对第一图像和第二图像进行图像剪裁。第一图像和第二图像通常有大部分区域都是基本重合的，然而由于第一图像传感器Ml和第二图像传感器M2所处的视点不一致，第一图像和第二图像肯定有一定的偏差，即两图像肯定存在不重合的区域。通常而言，第一图像传感器Ml和第二图像传感器M2以左右并列的方式排布时，所拍摄的第一图像的左边缘部分是第二图像没有的，而所拍摄的第二图像的右边缘部分是第一图像没有的，即上述两个边缘部分是不重合的区域，需要剪裁掉，不然后续合成的立体图像两个边缘部分仍然是二维的平面图像。
[0097]因此，在其中一个实施例中，对第一图像和第二图像进行图像剪裁包括:分别将第一图像和第二图像之间没有重合的部分剪裁掉。剪裁掉的通常是第一图像的左边缘部分和第二图像的右边缘部分。
[0098]图4为一个实施例的第一图像和第二图像重合部分的对比示意图。
[0099]在实践中，FPGA模块对第一图像和第二图像进行图像拼接之前，通常还会对第一图像和第二图像依次进行图像压缩和图像剪裁。即首先对第一图像和第二图像进行图像压缩(例如上述的隔列提取压缩)，减少后续图像数据传输量;然后对第一图像和第二图像进行图像剪裁，分别将压缩后的第一图像和第二图像之间没有重合的部分剪裁掉;然后将剪裁后的第一图像和第二图像进行图像拼接，将第一图像和第二图像分别按一左一右的方式拼接成一整体的图像。
[0100]图5为一个实施例的对第一图像和第二图像拼接的简单示意图。
[0101]步骤S500:图像信号处理模块ISP对拼接后的图像进行图像信号处理形成立体图像。图像信号处理包括以下操作中的至少一项:减黑色、透镜滚降校正、通道增益调节、坏像素校正、去马赛克、裁切、按比例缩放、白平衡、色彩校正、亮度适应、色彩转换及增强图像对比度。
[0102]图像信号处理模块ISP包括图像信号处理芯片，图像信号处理芯片可以为海思Hi3518系列芯片，如Hi3518E图像信号处理芯片。
[0103]上述同步拍摄电路、装置和方法，FPGA模块分别为第一图像传感器Ml和第二图像传感器M2提供第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2，第一基准时钟信号XVCLKl和第二基准时钟信号XVCLK2同步;FPGA模块还分别为第一图像传感器Ml和第二图像传感器M2提供第一帧同步信号FSINl和第二帧同步信号FSIN2，第一帧同步信号FSINl和第二帧同步信号FSIN2同步;第一图像传感器Ml和第二图像传感器M2分别根据第一帧同步信号FSINl和第二帧同步信号FSIN2采集图像得到第一图像和第二图像，并传输给FPGA模块；FPGA模块对第一图像和第二图像进行图像拼接，并将拼接后的图像传输给图像信号处理模块ISP;图像信号处理模块ISP对拼接后的图像进行图像信号处理形成立体图像。
[0104]利用FPGA模块为第一图像传感器Ml和第二图像传感器M2提供同步的基准时钟信号和帧同步信号，使得第一图像传感器Ml和第二图像传感器M2可以实现同步采样，然后FPGA模块对所采样的图像进行拼接后传输给图像信号处理模块ISP进行图像信号处理，最后形成立体图像。
[0105]上述同步拍摄电路、装置和方法，所述FPGA模块分别为第一图像传感器和第二图像传感器提供第一基准时钟信号和第二基准时钟信号，所述第一基准时钟信号和第二基准时钟信号同步;所述FPGA模块还分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步;所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到第一图像和第二图像，并传输给所述FPGA模块;所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给所述图像信号处理模块;所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。
[0106]利用FPGA模块为第一图像传感器和第二图像传感器提供同步的基准时钟信号和帧同步信号，使得第一图像传感器和第二图像传感器可以实现同步采样，然后FPGA模块对所采样的图像进行拼接后传输给图像信号处理模块进行图像信号处理，最后形成立体图像。上述同步拍摄电路、装置和方法可以应用于拍摄图像和视频等场合。
[0107]应该理解的是，虽然图6的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图6中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0108]以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【主权项】
1.一种同步拍摄电路，其特征在于，包括:第一图像传感器、第二图像传感器、FPGA模块和图像信号处理模块； 所述FPGA模块分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步； 所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到第一图像和第二图像，并传输给所述FPGA模块； 所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给所述图像信号处理模块； 所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。2.根据权利要求1所述的同步拍摄电路，其特征在于，所述FPGA模块还分别为第一图像传感器和第二图像传感器提供第一基准时钟信号和第二基准时钟信号，所述第一基准时钟信号和第二基准时钟信号同步;所述第一帧同步信号和第二帧同步信号基于所述第一基准时钟信号或第二基准时钟信号而生成。3.根据权利要求1所述的同步拍摄电路，其特征在于，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像剪裁。4.根据权利要求3所述的同步拍摄电路，其特征在于，所述还对所述第一图像和第二图像进行图像剪裁包括: 分别将所述第一图像和第二图像之间没有重合的部分剪裁掉。5.根据权利要求1所述的同步拍摄电路，其特征在于，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像进行图像压缩。6.根据权利要求5所述的同步拍摄电路，其特征在于，所述还对所述第一图像和第二图像进行图像压缩包括: 对所述第一图像和第二图像进行隔列提取压缩。7.根据权利要求5所述的同步拍摄电路，其特征在于，所述还对所述第一图像和第二图像进行图像压缩包括: 对所述第一图像和第二图像进行基于双线性插值的图像压缩。8.根据权利要求1所述的同步拍摄电路，其特征在于，所述FPGA模块对所述第一图像和第二图像进行图像拼接之前，还对所述第一图像和第二图像依次进行图像压缩和图像剪裁。9.一种拍摄装置，其特征在于，包括权利要求1?8任一项所述的同步拍摄电路。10.—种同步拍摄方法，其特征在于，包括如下步骤: 所述FPGA模块分别为第一图像传感器和第二图像传感器提供第一帧同步信号和第二帧同步信号，所述第一帧同步信号和第二帧同步信号同步； 所述第一图像传感器和第二图像传感器分别根据所述第一帧同步信号和第二帧同步信号采集图像得到的第一图像和第二图像； 所述FPGA模块对所述第一图像和第二图像进行图像拼接，并将拼接后的图像传输给图像信号处理模块； 所述图像信号处理模块对拼接后的图像进行图像信号处理形成立体图像。
【文档编号】H04N13/02GK105898283SQ201610453845
【公开日】2016年8月24日
【申请日】2016年6月21日
【发明人】张孟
【申请人】北京奇虎科技有限公司, 奇智软件（北京）有限公司