技术领域本发明涉及一种使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统。
背景技术：
鱼眼镜头是一种视场角接近或等于180°的超广角光学摄像镜头。基于鱼眼镜头的极端广角特性，目前在视频监控、行车记录等领域都已经广泛使用鱼眼镜头来替代传统的广角镜头；同时，双鱼眼镜头全景成像系统也因为其较传统的多平面全景成像系统的结构更为简单、所用镜头更少、成本更低，而在全景摄像领域被重点关注；在对视频质量要求更高的领域，基于多个鱼眼镜头的摄像系统也开始逐渐被开发出来。但是由于鱼眼镜头的成像存在畸变，且随着视场角的增大，成像的畸变会进一步增大。通常鱼眼镜头成像中心部分畸变较小，边缘部分畸变极大，正常观看无法直接获取图像的全部信息，需要对其进行矫正处理。而图像的矫正算法十分复杂，以60帧每秒的视频播放速度计算，帧间时间仅为16毫秒左右，一般相机上的处理器无法在这么短的时间内完成对图像的矫正计算，尤其是对高清图像的处理。此外，在使用多鱼眼镜头制造全景相机时，不仅需要对多个鱼眼镜头所成图像进行同步采集、矫正，还需要对其进行拼接，以构成全景图像。传统上使用软件在后期完成图像的矫正或拼接将大大耗费处理时间，因此基于软件的鱼眼镜头成像系统不具有实时性，只能应用到录播系统中。注意到图像的矫正和拼接算法具有较强的模式特征，使用基于硬件描述语言设计的电路将图像矫正和拼接算法硬件化，加快算法运行速度，为解决实时矫正和拼接的问题提供了一种解决方案。
技术实现要素：
针对现有技术中的不足，本发明要解决的技术问题在于提供了一种使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统。为解决上述技术问题，本发明通过以下方案来实现：使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统，该系统包括：光学镜头单元液晶显示模组，所述光学镜头单元液晶显示模组包括至少一个鱼眼镜头，所述鱼眼镜头为视场角不小于180°的半球面体，其用于采集一个或多个空间方位的光信号；与光学镜头单元液晶显示模组连接的图像传感器单元液晶显示模组，所述图像传感器单元液晶显示模组包括至少一个图像传感器，所述图像传感器用于采集鱼眼镜头所成图像；与图像传感器单元液晶显示模组，所述图像矫正和拼接单元液晶显示模组使用硬件实现，它包括实时处理器件和存储器件两个部分，实时处理器件由FPGA或CPLD等通用型可编程器件或以ASIC技术实现的专用型集成电路构成，所述实时处理器件用于矫正所述鱼眼镜头所成图像中的畸变，将鱼眼球面图像展开为适合观看的平面图像，同时在系统存在多路鱼眼镜头所成图像时，对各个图像进行无缝拼接，所述存储器件用于存储矫正或拼接过程中所用到的数据表以及图像数据的缓冲；与图像矫正和拼接单元液晶显示模组连接的图像数字处理单元液晶显示模组，所述图像数字处理单元液晶显示模组完成矫正或拼接后的图像数据的采集、预处理、编码、压缩，并最终输出实时全景视像信号。进一步的，所述系统还包括附属单元，该附属单元包括电源、时钟、调试以及通讯接口；所述电源单元包括充电管理模块、电源电平转像模块以及上电顺序管理模块；所述时钟单元包括外部时钟单元及部分器件的内部时钟单元；所述调试单元包括器件集成的调试接口以及自定义的调试信息输入输出接口；所述通讯接口单元将实时视像信号通过WIFI模块、4G或5G模块、LAN模块、FIREWIRE模块、bluetooth模块、USB模块的一种或数种方式发送到后端输出。进一步的，所述矫正和拼接单元液晶显示模组包括图像采集模块、存储器访问接口模块、图像矫正拼接模块、图像输出模块，所述图像采集模块与图像输出模块之间设置有实时处理器件，所述存储器访问接口模块连接存储器件；所述图像采集模块分两种图像采集方式：一种是在系统使用单鱼眼镜头构成光学镜头单元时驱动单个图像传感器采集图像信息；另一种是在系统使用多个鱼眼镜头构成光学镜头单元时，则通过硬件实现同步驱动多路图像传感器并行采集图像信息；所述存储器访问接口模块是通过串行或并行总线接口，按照规定的时序读取存储器中的数据表，或将需要缓冲的图像数据写入存储器；所述图像矫正拼接模块是通过硬件电路实现的算法，重新分布和修正原始图像各个像素的数据，使其在被矫正或拼接后符合直接观测或特殊观测的需要；所述图像输出模块是将矫正或拼接后的图像以符合标准的视像格式，向后端的图像数字处理单元输出。进一步的，所述矫正和拼接单元液晶显示模组还包括图像实时矫正和拼接电路，所述图像实时矫正和拼接电路包括：以FPGA或CPLD可编程器件实现的通用型矫正或拼接处理器件，附加SRAM及FLASH存储单元用于处理过程中数据表以及图像数据的缓冲；以ASIC技术实现的专用型矫正或拼接处理器件，附加SRAM及FLASH存储单元用于处理过程中数据表以及图像数据的缓冲。进一步的，所述图像实时矫正和拼接电路包括三种形态，该三种形态分别是：以最小单元实现的实时矫正和拼接电路；以标准单元实现的实时矫正和拼接电路，所述标准单元包括顺次连接的数字化原始图像信息模块、SRAM缓存数据模块、最小单元、SRAM处理后数据模块、格式化标准视像信息模块，FLASH数据表模块连接最小单元；以一体化单元实现的实时矫正和拼接电路，所述一体化单元包括顺次连接的鱼眼镜头、标准单元、图像数字处理单元。相对于现有技术，本发明的有益效果是：本发明提供了使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统，加快了鱼眼镜头图像的矫正或拼接速度，解决了传统上软件只能进行后期合成而不能现场直播的关键缺陷，使得实时观看多鱼眼镜头系统的成像成为可能，拓展了鱼眼镜头的应用领域。附图说明图1为本发明的整体结构示意图。图2为本发明的数据流图。图3为本发明的双鱼眼实时全景相机组成示意图。附图中标记：光学镜头单元1、图像传感器单元2、矫正和拼接单元3、图像数字处理单元4、标准单元5、一体化单元6。具体实施方式下面结合附图对本发明的优选实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。请参照附图1~3所示，本发明的使用硬件电路对鱼眼镜头所成图像实时矫正和拼接的系统，该系统包括：光学镜头单元1，所述所述光学镜头单元1包括至少一个鱼眼镜头，所述鱼眼镜头为不小于180°的半球面体，其用于采集一个或多个空间方位一般不小于360°的全球面的光信号；与光学镜头单元1连接的图像传感器单元2，所述图像传感器单元2包括至少一个图像传感器，所述图像传感器用于采集鱼眼镜头所成图像；通常图像系统中的图像传感器与鱼眼镜头数量是相等的，即每一个鱼眼镜头使用一个图像传感器对其进行采集。但在某些特殊成像系统中，也有可能通过特别的光路设计，将一个或多个鱼眼镜头所成图像投射到一个或多个图像传感器中。在仅包含单个图像传感器的鱼眼镜头成像系统中，所述矫正和拼接单元的采集功能模块仅需直接采集图像传感器输出的图像数据信号；在包含多个图像传感器的鱼眼镜头成像系统中，为保证同一输出图像数据帧中包含的图像信息取自于同一时空，所述矫正和拼接单元采集功能模块，需要对多路图像传感器进行同步，保证在每个采集周期完成后，采集到的来自各个图像传感器的图像数据没有时间差或时间差极小，不影响最终成像效果。与图像传感器单元2连接的矫正和拼接单元3，所述矫正和拼接单元3使用硬件实现，它包括实时处理器件和存储器件两个部分，实时处理器件由FPGA或CPLD通用型可编程器件或以ASIC技术实现的专用型集成电路构成，所述实时处理器件用于矫正所述鱼眼镜头所成图像中的畸变，将鱼眼球面图像展开为适合观看的平面图像，同时在系统存在多路鱼眼镜头所成图像时，对各个图像进行无缝拼接，所述存储器件用于存储矫正或拼接过程中所用到的数据表以及图像数据的缓冲；与矫正和拼接单元3连接的图像数字处理单元4，所述图像数字处理单元4完成矫正或拼接后的图像数据的采集、预处理、编码、压缩，并最终输出实时全景视像信号；图像数据采集完成后，所述矫正和拼接单元通过硬件电路实现的算法重新分布和修正原始图像各个像素的数据，使其在被矫正或拼接后符合直接观测或特殊观测的需要。在矫正或拼接算法的执行过程中可能会使用硬件实现的串行或并行总线接口来读取或修改存储单元中的数据。图像数据存在多种制式，因此可能存在图像传感单元的数据输出格式与图像数字处理单元的图像数据输入格式不一致的问题。通常设计上会使得矫正或拼接后的数据格式与图像传感器的输入数据格式保持一致，则当图像传感单元的数据输出格式与图像数字处理单元的图像数据输入格式不一致时，所述矫正和拼接单元还需要通过图像输出模块对矫正或拼接后的图像数据进行格式转换，使其符合下游图像数字处理器要求的输入格式。图像数字处理器进一步完成采集由所述矫正和拼接单元输出的图像数据的功能，并根据实际应用场景中的需求对图像进行如降噪等预处理，将其进行按如H.264的编码格式压缩，使用无线网络、有线网络或USB接口等高速数据链路将视频对外输出中央处理单元，用于处理各单元之间的数据。通过以上方案，成功解决了以较低成本和较小体积实现单鱼眼镜头、双鱼眼镜头或立体多鱼眼镜头实时全景摄像机的技术问题，彻底改变了传统上依靠后台软件做图像处理所带来的实时性差等问题。可应用于安防监控、机器视觉、行车记录、反恐防暴、军事侦察、运动拍摄、VR或AR直播、无人机摄像等众多领域，前景广阔。所述系统还包括附属单元，该附属单元包括电源单元、时钟单元、通讯单元以及调试单元，所述附属单元连接中央处理单元；所述电源单元包括充电管理模块、电源电平转像模块以及上电顺序管理模块；所述时钟单元包括外部时钟单元及部分器件的内部时钟单元；所述通讯单元将实时视像信号通过WIFI或3G或4G或LAN或FIREWIRE或USB发送到后端输出；所述调试单元包括器件集成的调试接口以及自定义的调试信息输入输出接口。所述矫正和拼接单元3包括图像采集模块、存储器访问接口模块、图像矫正拼接模块、图像输出模块，所述图像采集模块与图像输出模块之间设置有实时处理器件，所述存储器访问接口模块连接存储器件；所述图像采集模块分两种图像采集方式：一种是在系统使用单鱼眼镜头构成光学镜头单元时驱动单个图像传感器采集图像信息；另一种是在系统使用多个鱼眼镜头构成光学镜头单元时，则通过硬件实现同步驱动多路图像传感器并行采集图像信息；所述存储器访问接口模块是通过串行或并行总线接口，按照规定的时序读取存储器中的数据表，或将需要缓冲的图像数据写入存储器；所述图像矫正拼接模块是通过硬件电路实现的算法，重新分布和修正原始图像各个像素的数据，使其在被矫正或拼接后符合直接观测或特殊观测的需要；所述图像输出模块是将矫正或拼接后的图像以符合标准的视像格式，向后端的图像数字处理单元输出。所述矫正和拼接单元3还包括图像实时矫正和拼接电路，所述图像实时矫正和拼接电路包括：以FPGA或CPLD可编程器件实现的通用型矫正或拼接处理器件，附加SRAM及FLASH存储单元用于处理过程中数据表以及图像数据的缓冲；以ASIC技术实现的矫正或拼接处理器件，附加SRAM及FLASH存储单元用于处理过程中数据表以及图像数据的缓冲。如图2所示，所述图像实时矫正和拼接电路包括三种形态，该三种形态分别是：以最小单元实现的实时矫正和拼接电路；以标准单元5实现的实时矫正和拼接电路，所述标准单元5包括顺次连接的数字化原始图像信息模块、SRAM缓存数据模块、最小单元、SRAM处理后数据模块、格式化标准视像信息模块，FLASH数据表模块连接最小单元；以一体化单元6实惠的实时矫正和拼接电路，所述一体化单元6包括顺次连接的鱼眼镜头、标准单元、图像数字处理单元。以上所述仅为本发明的优选实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。