本发明是关于，尤其是关于一种工业相机。
背景技术：
随着机器视觉的发展，对前端的图像视频采集系统要求越来越高。要求前端的工业相机输出更高的分辨率和帧率，更高的图像预处理能力，同时具备更大的传输带宽和更远的传输距离。
目前，一些半导体公司设计的很多高端图像传感器已经可以达到10Gbit/s以上的数据输出，但是受限于嵌入式处理器的计算能力，不能实时完成必要的图像预处理。同时传统的工业相机接口设计带宽很少能超过10Gbit/s以上的。未能发挥图像传感器应有的性能。
当前工业相机主要使用千兆、USB2.0、USB3.0、CoaXPress、Camera Link接口进行传输。其中，千兆网络传输速率1000Mbps，USB2.0最快模式480Mbps，USB3.0最快模式5000Mbps，CoaXPress最快是6250Mbps。其中，USB及CoaXPress采用的是电缆传输模式，无法进行长距离传输。CoaXPress理论最远距离也只有100米。以上接口除了CoaXPress接口，其余采用的都是单口的方式，限制了工业相机传输带宽升级要求。CoaXPress接口的线缆模式，阻碍了长距离传输的要求。CoaXPress以及Camera Link相机一般都要使用特殊采集卡，成本极高。现有的工业相机接口的传输技术已经不能满足后端数据处理对高带宽的要求。
一般的工业相机使用的是低速多通道或者是高速单通道的接口方式，限制了多主机访问同一个高速工业相机的带宽要求，没有实现高速多通道的应用要求。
同时传统高速工业相机普遍需要对应的采集卡，在前期相机安装调试时由于现场没有对应采集卡，无法实时查看实际图像视频效果，造成部署困难。
技术实现要素：
为了克服相关技术中存在的问题，本发明提供了一种工业相机。所述技术方案如下：
根据本发明实施例，提供了一种工业相机，所述工业相机包括：
图像传感器，用于采集图像数据；
可编程门阵列FPGA用于连接GPU，图像传感器以及万兆光模块接口，进行图像处理以及执行系统和数据管理；
多个万兆光模块接口，通过所述FPGA与所述图像传感器连接，用于传输所述图像传感器采集的图像数据；
多个万兆光模块接口，通过所述FPGA与所述图像传感器连接，处理后的数据向一个或者多个采集卡传输所述图像传感器采集或经FPGA/GPU处理过的图像数据，以实现工业相机单机多连；
图形处理器GPU，与所述FPGA连接，用于对所述FPGA传送过来的图像数据进行复杂图像算法的加速；
HDMI接口，与所述FPGA连接，用于对所述FPGA处理后的图像数据进行图像显示。
进一步的，通过高速的PCIe接口，连接所述FPGA和所述GPU，进行图像数据的高速传输，其中PCIe接口协议支持PCIe Gen4，PCIe Gen3，PCIeGen2,PCIe Gen1，通道数量支持x16，x8，x4，x2，x1。
进一步的，所述工业相机还包括：
相机内集成高性能GPU模块，GPU接收FPGA传输过来的图像数据，在相机内部完成特定图象算法的运算加速，最后将运算结果传回给FPGA；
HDMI输出接口，用于本地视频显示，无需借助采集卡即可满足相机现场调试。
进一步的，所述工业相机还包括：
多个万兆高速接口，与所述万兆光模块接口连接，用于传输所述图像传感器采集的图像数据；
同一个相机的多个万兆光模块接口可连接到不同的采集卡，以实现相同的图像数据在多个主机之间的共享以及多个主机同时接收访问图像数据。
进一步的，所述万兆光模块接口为至少两个万兆光模块接口，所述图像传感器采集的数据分摊到所述至少两个万兆光模块接口；同一个相机的多个万兆光模块接口可发出多个图像数据流，所述多个图像数据流至少包括原始图像数据和压缩图像数据，所述多个图像数据流分别发往不同的采集卡；所述万兆光模块接口的数量基于所述工业相机的参数进行拓展；输出端，用于将输出数据发送给万兆光接口设备。
进一步的，所述工业相机还包括：
低电压差分信号LVDS接口，用于外接所述图像传感器；
双倍速率同步动态随机存储器DDR4，设置在现场可编程门阵列FPGA的外部，所述DDR4用于缓存所述图像传感器采集的图像数据及算法程序；
相机内部集成加密芯片电路，在FPGA和加密芯片之间采用1-wire的通信接口，对特定的FPGA程序及图像算法进行保护。
进一步的，所述工业相机还包括：
控制单元，与所述万兆光模块接口的Module Absent管脚连接；
当有万兆光模块插入所述万兆光模块接口时，通过所述Module Absent管脚输出低电平，形成第一触发信号并发送给所述控制单元；
当有万兆光模块拔出所述万兆光模块接口时，所述Module Absent管脚输出高电平，形成第二触发信号并发送给所述控制单元。
进一步的，当多个万兆光模块在位使用的时候，利用光模块在位信号的触发特性，控制传输的图像数据均匀分到多路光纤上传输，当光模块数量不一样的时候，在各通道上的数据流量能够动态调整。
进一步的，当有多个万兆通道参与数据传输时，执行实时纠错监控机制，以防止由于一个通道阻塞或丢包造成的其他通道的数据包长时间等待或溢出的错误情形发生。
进一步的，所述LVDS接口包括至少32个通道，所述工业相机至少外接1个所述图像传感器。
本发明的实施例提供的工业相机包括：图像传感器，用于采集图像数据；万兆光接口模块，通过FPGA与图像传感器连接，用于传输所述图像传感器采集的图像数据，GPU模块，用于处理复杂的图像算法。本发明中万兆光接口的设计可以非常容易实现多个接口的平滑扩展，达到更高带宽的要求，通过使用光纤进行远距离传输，无须中继，大大降低了传输成本。增加的GPU模块可完成复杂的图像算法运算，使得整个工业相机具有独立的复杂算法处理能力。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。在附图中：
图1是根据一示例性实施例示出的一种工业相机的结构框图；
图2是根据一示例性实施例示出的一种工业相机的示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本发明构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在相关技术中，使用高性能电缆传输的Cameralink HS接口或者CoaXPress接口工业相机，线缆成本极高，电缆需要使用中继的方式进行不停的信号放大来满足远距离传输要求，中继器和电缆产生很大的成本开销。Cameralink HS接口或者CoaXPress接口工业相机需要使用特殊的采集卡，采集卡费用也非常昂贵。另外，传统千兆网口、USB等低带宽接口工业相机，无法满足高带宽扩展需求。为了解决相关技术中的上述问题，本发明提供了一种工业相机。
图1是根据一示例性实施例示出的一种工业相机的结构框图，如图1所示，该工业相机包括：
图像传感器10，用于采集图像数据；
可编程门阵列FPGA，用于连接GPU，图像传感器以及万兆光模块接口，进行图像处理以及执行系统和数据管理20；
多个万兆光模块接口30，通过所述FPGA与所述图像传感器连接，用于传输所述图像传感器采集的图像数据；
图像处理器GPU 50，接收FPGA传输的图像数据，依托GPU强大的处理能力，完成特定图像算法的运算加速，最后将运算结果传回给FPGA。
HDMI接口40，与所述FPGA连接，用于对所述FPGA处理后的图像数据进行图像显示。
其中，多个万兆光模块接口，通过所述FPGA与所述图像传感器连接，处理后的数据向一个或者多个采集卡传输所述图像传感器采集或经FPGA/GPU处理过的图像数据，以实现工业相机单机多连；
传统的Cameralink HS接口或者CoaXPress接口相机，一旦部署，都需要特殊的采集卡和电缆，成本上升非常多。在本发明实施例中，在工业相机上使用一个或多个万兆光口，可以替代目前传统工业相机低速接口，大大提升通道带宽。
此多口万兆接口工业相机同时集成了HDMI视频输出接口，数据在通过万兆接口传输的的同时有一路HDMI接口可直接输出采集的图像。由于工业相机的特殊性，部署过程中需要根据现场环境进行调试，使用HDMI接口，可以脱离采集卡，直接通过显示器反馈安装效果，提高高速工业相机现场部署效率。
由于需要将图像通过多个万兆接口传出，需要进行以下实现以下技术保证传输的可靠性。
相机和采集卡能够动态监测当前的通信链路数目，并根据当前连接的通信链路的数目和通信带宽，动态调整数据的发送方式。
当有多个通道参与数据传输时，因为各个通道之间的路径和数据处理延时不同，所以在接收端不同链路之间是不同步的。多通道之间的数据包的可靠重组尤为重要，通过实时监纠错控机制防止由于一个通道阻塞或丢包造成的其他通道的数据包长时间等待或溢出等错误情形。必要时可通过降低带宽的方式保证系统的运行。
当多个相机连接到同一个采集卡时，采集卡可以根据实际应用，动态的给不同的相机分配不同的带宽，以此保证需要高分辨率、高帧率的相机分配到更多的通信带宽和图像处理能力，实现带宽和资源的优化配置。相机应能根据分配到的通信链路数目调整图像数据的发送方式。
采用多个万兆光接口，满足多主机共享及不同规格图像发送的需求：
同一个相机的多个通信链接也可以连接到不同的采集卡，实现相同的图像数据在多个主机之间的共享。
同一个相机的多个通信链接也可以连接到不同的采集卡，实现不同需求的数据分别发往不同的主机，比如原始图像数据和压缩图像数据的分别发往两个不同的采集卡。
该实施例中，工业相机中采集图像传感器数据及发送万兆光口速率的主控制芯片可以采用市面上非常成熟的FPGA方案。例如，可以使用Xilinx公司的Kintex-7系列芯片，但不仅限制于这个系列的芯片，也可以是Altera带万兆接口的芯片等。
该实施例提供的工业相机设置有图像传感器，用于采集图像数据，以及万兆光模块接口，与所述图像传感器连接，用于传输所述图像传感器采集的图像数据。该万兆光接口的设计可以非常容易实现多个接口的平滑扩展，达到更高带宽的要求，通过使用光纤进行远距离传输，无须中继，大大降低了传输成本。
在一种可选的实施方式中，所述工业相机还包括：
低电压差分信号LVDS接口，用于外接所述图像传感器。
在一种可选的实施方式中，通过高速的PCIe接口，连接所述FPGA和所述GPU，进行图像数据的高速传输，其中PCIe接口协议支持PCIe Gen4，PCIeGen3，PCIe Gen2,PCIe Gen1，通道数量支持x16，x8，x4，x2，x1。
在一种可选的实施方式中，所述工业相机还包括：
相机内集成高性能GPU模块，GPU接收FPGA传输过来的图像数据，在相机内部完成特定图象算法的运算加速，最后将运算结果传回给FPGA。
在一种可选的实施方式中，万兆光模块接口的传输带宽超过20Gbps。
在一种可选的实施方式中，所述工业相机还包括：HDMI输出接口，用于本地视频显示，无需借助采集卡即可满足相机现场调试。在一种可选的实施方式中，所述工业相机还包括：
多个万兆高速接口，与所述万兆光模块接口连接，用于传输所述图像传感器采集的图像数据，保证输出带宽至少20Gbps。
在一种可选的实施方式中，同一个相机的多个万兆光模块接口连接到不同的采集卡，以实现相同的图像数据在多个主机之间的共享以及多个主机同时接收访问图像数据。
在一种可选的实施方式中，同一个相机的多个万兆光模块接口发出多个图像数据流，所述多个图像数据流至少包括原始图像数据和压缩图像数据，所述多个图像数据流分别发往不同的采集卡。
在一种可选的实施方式中，所述万兆光模块接口为至少两个万兆光模块接口，所述图像传感器采集的数据分摊到所述至少两个万兆光模块接口。
在一种可选的实施方式中，所述工业相机还包括：
双倍速率同步动态随机存储器DDR4，设置在现场可编程门阵列FPGA的外部，所述DDR4用于缓存所述图像传感器采集的图像数据及算法程序。
在一种可选的实施方式中，所述工业相机还包括：
控制单元，与所述万兆光模块接口的Module Absent管脚连接。
在一种可选的实施方式中，当有万兆光模块插入所述万兆光模块接口时，通过所述Module Absent管脚输出低电平，形成第一触发信号并发送给所述控制单元；
当有万兆光模块拔出所述万兆光模块接口时，所述Module Absent管脚输出高电平，形成第二触发信号并发送给所述控制单元。
在一种可选的实施方式中，当多个万兆光模块在位使用的时候，利用光模块在位信号的触发特性，控制传输的图像数据均匀分到多路光纤上传输，当光模块数量不一样的时候，在各通道上的数据流量能够动态调整。
在一种可选的实施方式中，当有多个万兆通道参与数据传输时，执行实时纠错监控机制，以防止由于一个通道阻塞或丢包造成的其他通道的数据包长时间等待或溢出的错误情形发生。
在一种可选的实施方式中，所述工业相机还包括：
相机内部集成加密芯片电路，在FPGA和加密芯片之间采用1-wire的通信接口，对特定的FPGA程序及图像算法进行保护。
在一种可选的实施方式中，所述万兆光模块接口的数量基于所述工业相机的参数进行拓展。
本实施例中的工业相机，万兆光接口扩展性强，可以容易实现2口以上的接口扩展。
在一种可选的实施方式中，所述工业相机还包括：
输出端，用于将输出数据发送给万兆光接口设备。
在一种可选的实施方式中，所述LVDS接口包括至少32个通道，所述工业相机至少外接1个所述图像传感器。
需要说明的是，本发明实施例中，采用多个万兆光接口通道的设置，使得相机和采集卡能够动态监测当前的通信链路数目，并根据当前连接的通信链路的数目和通信带宽，动态调整图像数据的发送方式。比如，4个10G通道可以实时传输25Mpixel@180fps的图像，当只有2个10G通道时，相机和采集卡应该能检测到通信链路的变更，然后相机可以选择发送更低的帧率等方式降低带宽的需求，或者采用突发模式，先把采集的图像存储在相机内存，再在链路空闲时完成传输。
当多个相机连接到同一个采集卡时，采集卡可以根据实际应用，动态的给不同的相机分配不同的带宽，以此保证需要高分辨率、高帧率的相机分配到更多的通信带宽和图像处理能力，实现带宽和资源的优化配置。相机应能根据分配到的通信链路数目调整图像数据的发送方式。
需要说明的是，当有多个通道参与数据传输时，因为各个通道之间的路径延时不同，所以在接收端不同链路直接的数据是不完全同步的。多通道之间的数据包的重组尤为重要。
另外，需要说明的是，当某个通道出现通信错误时，也同样会影响到其他通道的数据。这种情况下，错误的处理与恢复不止在错误通道执行，也同样在其他受影响的通道中执行。当某个通道中断或不可用时，系统应能识别到，并通过降低带宽的方式保证系统的运行。
上述实施例中提供的工业相机，采用万兆光口进行数据传输，万兆光接口扩展性强，可以容易实现2口以上的接口扩展；多个万兆光口实现简单，且带宽可以实现10倍、20倍的提升；万兆光接口使用在工业相机上，比传统工业相机带宽提升明显，传输线路成本及采集卡成本降低非常明显。此外，万兆光口可以使用光纤实现10公里传输(无需信号中继)，且万兆光接口是标准的以外网接口，使用的采集卡可以是通用的万兆光网络设备，应用成本低。
图2是根据一示例性实施例示出的一种工业相机的示意图，该实施例以Kintex-7中的XC7K325T-2FFG676I芯片为例进行说明，如图2所示，该工业相机包括：控制传输单元、图像传感器接口、图像预处理单元以及多个万兆光口、HDMI接口、HDMI驱动器和图形处理器GPU，其中，通过图像传感器接口，控制传输单元向图像传感器发送控制信号，图像传感器向控制传输单元发送LVDS数据信号。该芯片最多可以外接8个万兆光模块通道，同时又有足够多的LVDS接口外接图像传感器。
其中，GPU通过PCIe接口与FPGA连接。该实施例以NVIDIA公司的Jetson TX2模块为例进行说明。Jetson TX2依托自身强大的图像处理、神经网络以及人工智能计算能力，可以加速所述相机的图像处理和智能识别算法。
其中，HDMI接口与FPGA连接，用于对FPGA处理后的图像数据进行图像显示。
其中，该工业相机还包括：图像算法加密芯片、Flash存储芯片和高性能时钟。其中，图像算法加密芯片用于FPGA程序加密，防止程序被复制；Flash存储芯片，用于存储图像传感器噪声数据，方便后端采集可直接调取优化图像；高性能时钟，具有低抖动、高精度的特性，用于保证和光模块对接的万兆信号质量。
其中，从图像传感器采集过来到的数据通过图像预处理单元之后可以缓存在FPGA外部的DDR中，也可以直接通过万兆高速接口传输，万兆高速接口可以无缝连接到万兆光口上。由于FPGA上有多个万兆高速通道，如果采集过来的数据量大于10Gbps，这时候就可以将数据分摊到多个万兆光口上，实现数据的高速传输。
其中，要实现多个万兆光接口传输方式，可利用万兆光模块接口信号的特性，进行多通道平滑升级，在工业相机上实现多个万兆接口切换，主要是利用了万兆光模块/万兆电缆的插入信号的功能。
在该实施例中，可通过以下方式实现多万兆光口的平滑升级：
如图2所示，光模块接口的Module Absent信号接到控制输出单元(也即，上述的控制单元)上，该Module Absent信号是光模块上的标准管脚，当光模块或者电缆未插入的时候，Module Absent信号默认设计是高电平，当外部有万兆光模块插入的时候，光模块通过Module Absent送出一个低电平，形成一个触发信号通知相机内的控制芯片。同理，如果有一个光模块拔出的时候，对应的Module Absent会由低电平变成高电平。
本实施例中，以使用图像传感器NOIP1SN025KA-GDI计算带宽，该传感器单幅图像最大像素点5120*5120，最大帧率是每秒80帧图像。每个像素点最大采样深度10bit。
后端要求处理的数据包括以下两种情况：
1、最大分辨率时，每秒30帧图像，像素点采样深度10bit，此时要求的每秒传输带宽：5120*5120*30*10bit/s＝7864320000bit/s，要求的带宽7.86Gbps左右。
2、最大分辨率时，每秒60帧图像，像素点采样深度10bit，此时要求的每秒传输带宽：5120*5120*60*10bit/s＝15728640000bit/s，要求的带宽15.73Gbps左右。
在情况1时，一个万兆光模块在位可满足7.86Gbps的传输要求，但是无法发挥图像传感器全部的性能，只有当切换到情况2时，只要插入第二个光模块，控制单元上的GPIO2信号由高变成低，此时工业相机就可以感知到接口带宽升级到20Gbps了，即可完成更高帧率的传输要求。
需要说明的是，只要工业相机尺寸允许，上述设计可以进行光模块接口数量的不断扩展，可以是双口、三口、四口或者更多接口数目。
通过本实施例提供的多口万兆工业相机传输出来的数据，可以使用通用的万兆光接口设备进行数据接收，而不像Cameralink HS接口或者CoaXPress接口工业相机，需要特殊的采集卡进行数据接收，不需要付出额外数据接收成本。
该实施例提出在工业相机上使用多个万兆光口接口进行图像视频传输，工业相机输出的高带宽的数据通过多个万兆光接口进行传输。单个万兆光接口的传输速率是10.3125Gbps，无中继情况下万兆光接口最远可以实现10千米远距离传输。万兆光接口的设计可以非常容易实现多个接口的平滑扩展，达到更高带宽的要求。通过使用光纤进行远距离传输，无须中继，大大降低了传输成本。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本发明旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。