多通道影像的并行处理方法及设备与流程

本发明实施例涉及数据处理技术领域，尤其涉及一种多通道影像的并行处理方法及设备。

背景技术：

随着飞行技术的飞速发展，使得例如无人机等飞行器应用越来越广，在飞行器上通常会安装有多种传感器来采集对应的数据，例如飞行器上会安装有hdmi接口可见光传感器、lvds接口红外传感器和接口照相机，具备昼夜观察、监视，并对有价值目标进行拍照取证的功能，使得飞行器具有多种功能，方便用户使用。

现有的飞行器上的数据压缩处理接口通常为cameralinkmedium接口，但其是通过hdmi接口可见光传感器、lvds接口红外传感器和接口照相机来采集的数据，使得采集的数据与飞行器上的数据压缩处理接口的数据格式不同，从而亟需一种解决采集数据与处理数据的数据格式不同的转换设备。

技术实现要素：

本发明实施例提供了一种多通道影像的并行处理方法及设备，能够解决现有技术中采集的数据与飞行器上的数据压缩处理接口的数据格式不同的问题，实现多种数据格式统一转换传输，简化数据传输的电气通道的效果。

本发明实施例第一方面提供了一种多通道影像的并行处理设备，包括主fpga、辅fpga，hdmi解码电路，lvds解码电路和网络变压器、物理phy电路和cameralinkmedium编码电路，其中，所述主fpga分别与所述辅fpga，所述hdmi解码电路，所述lvds解码电路和所述cameralinkmedium编码电路电性连接；所述辅fpga一端与所述主fpga连接，另一端依次与所述物理phy电路和所述网络变压器连接；将第一视频数据通过所述hdmi解码电路解码后的第一时钟数据传输给所述主fpga，将第二视频数据通过所述lvds解码电路解码后的第二时钟数据传输给所述主fpga，以及将图像数据通过所述网络变压器和所述物理phy电路输入给所述辅fpga进行解码得到第三时钟数据。

可选的，还包括：

静态存储器，电性连接所述主fpga，用于缓存所述第一时钟数据和所述第二时钟数据。

可选的，还包括：

动态存储器，电性连接所述辅fpga，用于将所述辅fpga解码所述图像数据得到的第三时钟数据进行缓存。

可选的，还包括：

数据接口电路，与所述主fpga电性连接，用于将接收到的指令数据传输给所述主fpga。

可选的，还包括：

电源电路，用于给所述并行处理设备中的各个电路进行供电。

可选的，还包括：

晶振电路，用于与所述主fpga电性连接。

本发明实施例第二方面提供了一种多通道影像的并行处理方法，应用在如上述第一方面提供的多通道影像的并行处理设备中，包括：

通过主fpga接收hdmi解码电路发送的第一时钟数据，其中，所述第一时钟数据是所述hdmi解码电路对第一视频数据进行解码后得到的；

通过所述主fpga接收lvds解码电路发送的第一时钟数据，其中，所述第二时钟数据是所述lvds解码电路对第二视频数据进行解码后得到的；

通过辅fpga接收通过所述网络变压器和所述物理phy电路传输的图像数据，并对所述图像数据进行解码，得到第三时钟数据；

将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输。

可选的，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输，包括：

若所述第一时钟数据和所述第二时钟数据缓存在静态存储器中，则通过所述主fpga读取存储在所述静态存储器中的所述第一时钟数据和所述第二时钟数据，并将所述第一时钟数据和所述第二时钟数据转换成所述目标格式数据进行传输。

可选的，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输，包括：

若所述第三时钟数据缓存在动态存储器中，则控制所述主fpga通过所述辅fpga读取存储在所述动态存储器中的所述第三时钟数据，并将所述第三时钟数据转换成所述目标格式的数据进行传输。

可选的，所述方法还包括：

通过所述主fpga接收数据接口电路发送的指令数据，并通过所述主fpga执行所述指令数据。

本发明实施例第三方面提供了一种飞行器，包括飞行主体和设置在所述飞行主体中的如第一方面提供的多通道影像的并行处理设备。

本发明实施例的有益效果如下：

基于上述技术方案，由于主fpga分别与所述辅fpga，所述hdmi解码电路，所述lvds解码电路和所述cameralinkmedium编码电路电性连接；所述辅fpga一端与所述主fpga连接，另一端依次与所述物理phy电路和所述网络变压器连接，将第一视频数据通过hdmi解码电路解码后的第一时钟数据传输给所述主fpga，将第二视频数据通过所述lvds解码电路解码后的第二时钟数据传输给所述主fpga，以及将图像数据通过所述网络变压器和所述物理phy电路输入给所述辅fpga进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主fpga按照cameralinkmedium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成cameralinkmedium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。

附图说明

图1为本发明实施例中多通道影像的并行处理设备的结构示意图；

图2为本发明实施例中第一视频数据通过2个静态存储器进行数据格式转换的数据流向图；

图3为本发明实施例中第二视频数据通过2个静态存储器进行数据格式转换的数据流向图；

图4为本发明实施例中bank文件格式的结构示意图；

图5为本发明实施例中多通道影像的并行处理方法的方法流程图。

具体实施方式

为了更好的理解上述技术方案，下面通过附图以及具体实施例对本发明实施例的技术方案做详细的说明，应当理解本发明实施例以及实施例中的具体特征是对本发明实施例技术方案的详细的说明，而不是对本发明技术方案的限定，在不冲突的情况下，本发明实施例以及实施例中的技术特征可以相互组合。

如图1所示，本发明实施例提供了一种多通道影像的并行处理设备，包括主fpga10、辅fpga11，hdmi解码电路12，lvds解码电路13和网络变压器14、物理phy电路15和cameralinkmedium编码电路16，其中，主fpga10分别与辅fpga11，hdmi解码电路12，lvds解码电路13和cameralinkmedium编码电路16电性连接；辅fpga11一端与主fpga10连接，另一端依次与物理phy电路15和网络变压器14连接；将第一视频数据通过hdmi解码电路12解码后的第一时钟数据传输给主fpga10，将第二视频数据通过lvds解码电路13解码后的第二时钟数据传输给主fpga10，以及将图像数据通过网络变压器14和物理phy电路15输入给辅fpga11进行解码得到第三时钟数据。

本说明书实施例中，第一视频数据是hdmi接口可见光传感器采集到的，第二视频数据数据是lvds接口红外传感器采集到的，图像数据是接口照相机采集到的。如此，在hdmi接口可见光传感器采集到第一视频数据之后，由于hdmi解码电路12与hdmi接口可见光传感器相连，从而可以接收到hdmi解码电路12接收到第一视频数据，并对第一视频数据进行解码得到第一时钟数据再传输给主fpga10。以及，在采集到lvds接口红外传感器采集到第二视频数据之后，由于lvds解码电路13与lvds接口红外传感器相连，从而使得lvds解码电路13接收到第二视频数据并对其进行解码，得到第二时钟数据并将其传输给主fpga10。以及，接口照相机采集到图像数据之后，由于网络变压器14与接口照相机相连，从而使得网络变压器14接收到图像数据之后，通过物理phy电路15传输给辅fpga11进行解码得到第三时钟数据，以及将第三时钟数据传输给主fpga进行格式转换后发送给cameralinkmedium编码电路16。

具体来讲，第一视频数据通过hdmi解码电路12解码后的第一时钟数据传输给主fpga10，主fpga10将第一时钟数据转换成cameralinkmedium编码电路16电性支持的目标格式的数据后传输给cameralinkmedium编码电路16；相应地，第二视频数据通过lvds解码电路13解码后的第二时钟数据传输给主fpga10，主fpga10将第二时钟数据转换成cameralinkmedium编码电路16电性支持的目标格式的数据后传输给cameralinkmedium编码电路16，从而实现hdmi和lvds接口视频到cameralinkmedium接口的转换。

以及，图像数据通过网络变压器14和物理phy电路15传输给辅fpga11进行解码，得到第三时钟数据；辅fpga11将第三时钟数据传输给主fpga10进行格式转换，将第三时钟数据转换成目标格式的数据后传输给cameralinkmedium编码电路16，从而实现图像数据到cameralinkmedium接口的转换；如此，使得主fpga10能够将第一视频数据、第二视频数据和图像数据通过cameralinkmedium编码电路16编码后实现混合传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。

在实际应用过程中，如图1所示，在将第一视频和第二视频数据转换成目标格式的数据过程中，可以异步执行，以使得并行处理设备能够将第一视频和第二视频数据转换成目标格式的数据。当然，在将第一视频和第二视频数据转换成目标格式的数据过程中，可以同步执行，此时，可以通过增加主fpga10的处理线程实现，也可以采用多个静态存储器的方式实现，本说明书不作具体限制。

本说明书实施例中，多通道影像的并行处理设备还包括静态存储器17，电性连接主fpga10，用于缓存第一时钟数据和第二时钟数据。

具体来讲，多通道影像的并行处理设备还可以包括多个静态存储器17，以降低缓存数据过大导致静态存储器容量不足的概率。此时，参见图1，多通道影像的并行处理设备包括2个静态存储器，分别为静态存储器17和静态存储器18，均用于缓存第一时钟数据和第二时钟数据。

本说明书实施例中，多通道影像的并行处理设备还包括动态存储器19，电性连接辅fpga11，用于将辅fpga11解码图像数据得到的第三时钟数据进行缓存。

本说明书实施例中，多通道影像的并行处理设备还包括数据接口电路20，与主fpga10电性连接，用于将接收到的指令数据传输给主fpga10。

具体来讲，通过指令数据发送给主fpga10，使得主fpga10执行指令数据，以将第一时钟数据、第二时钟数据和第三时钟数据转换成目标格式的数据后传输给cameralinkmedium编码电路16进行编码后进行混合传输。

本说明书实施例中，多通道影像的并行处理设备还包括电源电路21，用于给并行处理设备中的各个电路进行供电，以及在实际应用过程中，可以在给每个电路供电时为每个电路设定相应的电压，本说明书不作具体限制。

本说明书实施例中，多通道影像的并行处理设备还包括晶振电路22，用于与主fpga10电性连接，以提高多通道影像的并行处理设备的抗干扰性能。

本说明书实施例中，主fpga10可以选用ep4ce115f29i7等，辅fpga11可以选用ep4ce115f23i7等，hdmi解码电路12可以选用adv7612等，lvds解码电路13可以选用sn65lvdt386dgg和sn65lvdt390pw等，静态存储器17和静态存储器18可以选用cy7c1480bv33等，网络变压器14可以选用hx5004nl等，物理phy电路15可以选用88e1111等，cameralinkmedium编码电路16可以选用ds90cr287mtd等，动态存储器19可以选用mt47h64m16cf等，电源电路21可以选用ltm4644、tps51116和pth04070等。

本说明书实施例中，第一视频数据通常为可见光视频；相应地，第二数据为红外视频。以及，图像数据可以是图片数据等，通常为高分辨率照片。

具体来讲，第一视频数据为hdmi接口可见光传感器采集到的，具体为hdmi接口电平；如此，hdmi解码电路12接收到hdmi接口电平之后，将其解码生成视频行信号hs1，场信号vs1，时钟信号clk1和数据data1等第一ttl信号作为第一时钟数据。

相应地，第二视频数据数据是lvds接口红外传感器采集到的，具体为lvds接口电平；如此，lvds解码电路13接收到lvds接口电平之后，将其解码生成视频行信号hs2，场信号vs2，时钟信号clk2和数据data2等第二ttl信号作为第二时钟数据。

以及，图像数据是千兆以太网gige接口照相机采集到的，使得图像数据依次通过网络变压器14和物理phy电路15接入到辅fpga11中，使用辅fpga11的三速以太网的ip核进行解码后得到clk4和data4，根据clk4和data4组成第三时钟数据，将第三时钟数据缓存到动态存储器19中，辅fpga11安照cameralinkmedium编码电路16的时序将第三时钟数据发给主fpga10，主fpga10将第三时钟数据进行格式转换，转换成目标格式的数据包括时钟信号clk4和数据data4，将转换为目标格式的数据传输给cameralinkmedium编码电路16进行编码。

以及，cameralinkmedium编码电路16接收到第一时钟数据、第二时钟数据和第三时钟数据转换成目标格式的数据之后进行编码，并将编码后的数据混合传输。

本说明书实施例中，在静态存储器为2个时，如图2所示，hdmi接口电平经过hdmi解码电路12之后，生成视频行信号hs1，场信号vs1，时钟信号clk1和数据data1等第一ttl信号作为第一时钟数据，将第一时钟数据传输给主fpga10。在此之后，主fpga10通过乒乓算法，将data1在clk1时钟速度下，首先写入静态存储器17，等静态存储器17写满后，开始写静态存储器18,待静态存储器18写满后重复写静态存储器17，循环往复。在对静态存储器17和静态存储器18进行数据读取时，先读静态存储器18中的数据，等静态存储器18中的数据读完后再读静态存储器17的数据，在cameralinkmedium标准时序下，通过hs4,vs4,clk4读取，完成hdmi到cameralinkmedium接口数据的转换。

本说明书实施例中，在静态存储器为2个时，如图3所示，lvds接口电平经过lvds解码电路13之后，生成视频行信号hs2，场信号vs2，时钟信号clk2和数据data2等第二ttl信号作为第二时钟数据，将第二时钟数据传输给主fpga10。在此之后，主fpga10通过乒乓算法，将data2在clk2时钟速度下，首先写入静态存储器17，等静态存储器17写满后，开始写静态存储器18,待静态存储器18写满后重复写静态存储器17，循环往复。在对静态存储器17和静态存储器18进行数据读取时，先读静态存储器18中的数据，等静态存储器18中的数据读完后再读静态存储器17的数据，在cameralinkmedium标准时序下，通过hs4,vs4,clk4读取，完成lvds到cameralinkmedium接口数据的转换。

本说明书实施例中，以图像数据中的一张照片(file)为例,一张照片file切分成若干bank文件，每个bank文件格式如图4所示，每个bank文件由帧头sof，总包号(totalmsg)，当前包号(msgid)，有效数据(payload)、校验和(check)和帧尾(eof)组成，将图像数据解码后的第三时钟数据缓存到动态存储器19中,再用cameralinkmedium时序读动态存储器19中的数据，完成gige到cameralinkmedium接口的转换。

本说明书实施例中，由于fpga集成度高，变成灵活的优点，解决了光电传感器数据接口转换的问题，减轻了电气通道的复杂性，提高了电气系统的鲁棒性。

具体来讲，网络变压器14和物理phy电路15均可以是千兆以太网的设备，能够实现了以太网接口数据到cameralinkmedium接口数据的传输。

以及，由于主fpga分别与所述辅fpga，所述hdmi解码电路，所述lvds解码电路和所述cameralinkmedium编码电路电性连接；所述辅fpga一端与所述主fpga连接，另一端依次与所述物理phy电路和所述网络变压器连接，将第一视频数据通过hdmi解码电路解码后的第一时钟数据传输给所述主fpga，将第二视频数据通过所述lvds解码电路解码后的第二时钟数据传输给所述主fpga，以及将图像数据通过所述网络变压器和所述物理phy电路输入给所述辅fpga进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主fpga按照cameralinkmedium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成cameralinkmedium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。

本发明实施例第二方面提供了一种多通道影像的并行处理方法，应用在第一方面提供的多通道影像的并行处理设备中，如图5所示，包括：

s501、通过主fpga接收hdmi解码电路发送的第一时钟数据，其中，所述第一时钟数据是所述hdmi解码电路对第一视频数据进行解码后得到的；

s502、通过所述主fpga接收lvds解码电路发送的第一时钟数据，其中，所述第二时钟数据是所述lvds解码电路对第二视频数据进行解码后得到的；

s503、通过辅fpga接收通过所述网络变压器和所述物理phy电路传输的图像数据，并对所述图像数据进行解码，得到第三时钟数据；

s504、将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输。

本说明书实施例中，步骤s501、s502和s503可以同步执行，也可以异步执行，本说明书不作具体限制。

在一种可选的实施方式中，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输，包括：

若所述第一时钟数据和所述第二时钟数据缓存在静态存储器中，则通过所述主fpga读取存储在所述静态存储器中的所述第一时钟数据和所述第二时钟数据，并将所述第一时钟数据和所述第二时钟数据转换成所述目标格式数据进行传输。

在一种可选的实施方式中，所述将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输，包括：

若所述第三时钟数据缓存在动态存储器中，则控制所述主fpga通过所述辅fpga读取存储在所述动态存储器中的所述第三时钟数据，并将所述第三时钟数据转换成所述目标格式的数据进行传输。

在一种可选的实施方式中，所述方法还包括：

通过所述主fpga接收数据接口电路发送的指令数据，并通过所述主fpga执行所述指令数据，将所述第一时钟数据，所述第二时钟数据和所述第三时钟数据，转换成cameralinkmedium编码电路支持的目标格式的数据进行传输。

本发明实施例第三方面还提供了一种飞行器，包括飞行主体和设置在所述飞行主体中的如第一方面提供的多通道影像的并行处理设备，其中，所述飞行主体包括hdmi接口可见光传感器、lvds接口红外传感器和接口照相机。hdmi接口可见光传感器与hdmi解码电路12相连，用于采集第一视频数据；lvds接口红外传感器与lvds解码电路13相连，用于采集第二视频数据；接口照相机与网络变压器14，用于采集图像数据。

本发明实施例的有益效果如下：

由于主fpga分别与所述辅fpga，所述hdmi解码电路，所述lvds解码电路和所述cameralinkmedium编码电路电性连接；所述辅fpga一端与所述主fpga连接，另一端依次与所述物理phy电路和所述网络变压器连接，将第一视频数据通过hdmi解码电路解码后的第一时钟数据传输给所述主fpga，将第二视频数据通过所述lvds解码电路解码后的第二时钟数据传输给所述主fpga，以及将图像数据通过所述网络变压器和所述物理phy电路输入给所述辅fpga进行解码，如此，将第一视频数据、第二视频数据和图像数据进行解码得到第一时钟数据、第二时钟数据和第三时钟数据，使得第一时钟数据、第二时钟数据和第三时钟数据能够通过主fpga按照cameralinkmedium编码电路的时序进行编码后进行传输，从而使得第一视频数据、第二视频数据和图像数据转换成cameralinkmedium编码电路支持的数据格式的数据进行传输，实现多种数据格式转换成目标格式后进行混合传输的效果；而且无需为每一种数据单独提供一种数据传输的电气通道，进而实现了简化数据传输的电气通道的效果。。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的设备。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令设备的制造品，该指令设备实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。