一种具有成像调节功能的智能网关的制作方法

1.本实用新型涉及智能网关领域，尤其涉及一种具有成像调节功能的智能网关。


背景技术：

2.随着智能汽车技术的不断发展，人们对智能汽车提出更高的要求，如车载娱乐、自动驾驶、汽车安全等功能已经成为智能汽车的标配。而这些功能的实现都要基于视觉图像，通过视频采集图像，实时分析图像，根据图像分析的结果进行自动驾驶、车载娱乐、汽车安全决策等。但是现有车载摄像头，参见图1，发射端使用fpd-link serializer连接器将sensor的mipi图像信号转化成私有的串行协议，然后在接收端使用fpd-link iii hub中的de-serializer连接器转化为mipi信号，然后将mipi信号传送给平台进行图像处理，这种做法本质只是mipi的延长同时复用了控制信号，每个摄像头要通道独占，并且受制于厂商，不同厂商生产的摄像头的连接器的协议是私有的，互不通用。如果更换成其它的摄像头，由于私有协议的不兼容，需要重新更换连接器。如图2中，现有技术中的摄像头将isp芯片和图像处理器集成在一起。另外，每个摄像头独占一个通道，如果需要增加摄像头，则需要增加相应通道，若没有相应通道，则需要增加新的硬件设施。


技术实现要素：

3.为了解决现有技术中的缺陷，本实用新型提供一种具有成像调节功能的智能网关，包括：智能网关本体、安装于本体上的pcba电路板，pcba电路板设有：avb/tsn以太网协议栈模块或avb/tsn以太网网关、isp芯片、连接器，其中，isp芯片、连接器分别与avb/tsn以太网协议栈模块或avb/tsn以太网网关相连接；
4.isp芯片用于对图像采集设备采集的原始bayer格式的图像进行处理或调节校正原始图像采集设备的图像质量；
5.连接器至少包括以太网的phy芯片；
6.外部视频或图像数据通过车载以太网总线与以太网的phy芯片相连接。
7.一种具有成像调节功能的智能网关，进一步可选的，还包括：h.264解码芯片，用于对需要传输的视频数据进行压缩，并将压缩后的视频数据转化为符合h.264的协议输出。
8.一种具有成像调节功能的智能网关，进一步可选的，isp芯片包括isp逻辑电路和固件，固件通过获取isp逻辑电路单元的图像统计信息并进行处理后反馈控制isp逻辑电路单元。
9.一种具有成像调节功能的智能网关，进一步可选的，所述连接器还包括：can芯片、rgmii芯片、pcie-4.0phy芯片。
10.一种具有成像调节功能的智能网关，进一步可选的，以太网的phy芯片至少包括1g或10g的电接口的以太网phy芯片；
11.或10g的光纤以太网phy芯片。
12.一种具有成像调节功能的智能网关，进一步可选的，以太网phy芯片包括专用asic
芯片或基于fpga芯片实现。
13.一种具有成像调节功能的智能网关，进一步可选的，10g的光纤以太网phy芯片的传输协议基于ieee1722 avtp音视频传输协议；
14.车载以太网总线至少包括单对stp屏蔽双绞线或光纤传输作为介质。
15.一种具有成像调节功能的智能网关，进一步可选的，avb/tsn以太网协议栈模块或avb/tsn以太网网关能够在网络层对数据包进行解析；能够将符合avb/tsn协议的数据包转化为其它标准协议格式的数据包，或者将其它协议的数据包转化为avb/tsn协议；或能够对avb/tsn协议的数据包进行按照avb/tsn协议的格式进行解析和封包。
16.一种具有成像调节功能的智能网关，进一步可选的，视频输入信号通过传输介质经过以太网phy芯片后输入到avb/tsn协议栈模块或avb/tsn以太网网关进行解析；
17.或视频输入信号通过传输介质输入到外置交换机进行交换后，在将信号输出至以太网phy芯片后再输入到avb/tsn协议栈模块avb/tsn以太网网关进行解析。
18.一种具有成像调节功能的智能网关，进一步可选的，还包括储存芯片，存储芯片至少包括非易性存储器或flash存储器或ddr或rom。
19.一种具有成像调节功能的智能网关，进一步可选的，还包括mcu芯片，mcu芯片与avb/tsn以太网协议栈模块或avb/tsn以太网网关相连接。
20.通过实施本实用新型的以上技术方案，本实用新型能够获得以下的有益技术效果：1.接口通用，摄像头可以随意更换，摄像头的isp参数可以智能网关中集中管理，且摄像头无需配置isp芯片，这样，仅需要一个isp芯片即可完整与其相连接的摄像头的成像处理。
21.2.摄像头数量理论上无限制，只要增加外置交换机或扩容智能网关中的phy接口即可；视频的数据可以简单分享给多个soc，可以在智能网关中灵活切换。
附图说明
22.以下附图仅对本实用新型做示意性说明和解释，并不限定本实用新型的范围。
23.图1为现有技术中的视频信号采集方案结构示意图；
24.图2为现有技术中的摄像头硬件结构示意图。
25.图3为本实用新型的摄像头硬件结构示意图。
26.图4为本实用新型的智能网关结构示意图。
27.图5为本实用新型的带有外置交换机的智能网关结构示意图。
28.图6为本实用新型isp芯片视频流结构示意图。
具体实施方式
29.为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本实用新型的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本实用新型相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
30.本实用新型中“连接”，既可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
31.本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
32.应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(suv)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
33.本实施例提供一种具有成像调节功能的智能网关,参见在图3至图6，具体包括：智能网关本体、安装于本体上的pcba电路板，pcba电路板设有：avb/tsn以太网协议栈模块或avb/tsn以太网网关、mcu芯片、isp芯片、连接器，其中，mcu、isp芯片、连接器分别与avb/tsn以太网协议栈模块或avb/tsn以太网网关相连接；
34.isp芯片用于对图像采集设备采集的原始图像进行处理或调节校正原始图像采集设备的图像质量；
35.连接器至少包括以太网的phy芯片。
36.外部视频或图像数据通过车载以太网总线与以太网的phy芯片相连接。
37.需要说明的是本实施例提供的智能图像处理网关与传统的图像处理网关不一样，本实施例的智能图像处理网关的图像处理是采用isp对摄像头成像模组获得的原始raw bayer格式的图像进行成像调节,而并非现有技术中的图像处理是针对rgb三个图像进行处理。原始bayer格式的图像每个像素点仅包括一个通道，例如像素点a(x,y)的像素值仅为一个值。如r通道，或g通道或b通道的值。但是非原始图像中，图像的像素点包括三个通道的值，a(x,y)的r,g,b三个通道的数值。
38.现有技术中，如专利cn201911375661.1中公开了一种基于视觉识别的边缘计算网关，但是其网关图像的处理并非针对原始的raw bayer格式图像，其实针对rgb格式的图像进行处理获取图像中被监控设备的关键参数。与本实用新型采用isp图像处理器的图像处理功能不一样。另外现有技术中cn200910101042.3，该专利公开了家庭智能网关，但是对图像处理也仅是停留在视频的编码和解码功能。
39.本实施例中，参见图6，isp芯片包括isp逻辑电路单元和固件(firmware)；逻辑电路单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息；
40.firmware通过获取isp逻辑电路单元的图像统计信息，重新计算，反馈控制lens、sensor和isp逻辑电路单元，以达到自动调节图像质量的目的。
41.具体地，摄像头通过lens采集外接的光信号，然后通过image sensor将光信号转化电信号后形成raw bayer格式的数据，然后通过打包成ieee1722avtp音视频传输协议的数据包进行传输，由avb/tsn协议栈在网络层解包后发送给isp芯片；
42.isp芯片获取bayer格式的原始图像后，isp芯片经过算法处理，输出rgb空间域的
图像存储于系统缓存中或保存于本地硬盘中，其中，isp芯片通过运行在其上的firmware对isp逻辑进行控制，从而对lens和sensor进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能，最终输出rgb格式或yuv格式的图片；
43.具体地，avb/tsn以太网协议栈模块或avb/tsn以太网网关能够在网络层对数据包进行解析，能够将符合avb/tsn协议的数据包转化为其它标准协议格式的数据包，或者将其它协议的数据包转化为avb/tsn协议；或能够对avb/tsn协议的数据包进行按照avb/tsn协议的格式进行解析和封包。
44.avb/tsn协议至少包括：ieee1722 avtp音视频传输协议。
45.或者根据视频数据的用途，如adas辅助驾驶、自动驾驶等场景，可以在avb/tsn协议栈中增加：ieee 802.1as，精准时钟定时以及同步协议(gptp)；ieee 802.1qat：流预留协议(srp)；ieee 802.1qav：时间敏感流的排队和转发协议(fqtss)；ieee 802.1ba：音视频桥接系统，用于定义网络配置文件。
46.具体地，连接器还包括：can芯片、rgmii芯片、pcie-4.0xfi phy芯片；
47.can芯片用于与can总线连接ecu进行数据传输，传输或接收车内的控制信号；
48.rgmii芯片用于传输经过h.264芯片压缩后的图像数据，其针对无高速接口的设备；
49.pcie-4.0phy芯片用于传输未经过压缩的数据，其针对有高速接口的设备，如域控制器、中央计算机平台；
50.智能网关还包括：h.264解码芯片，用于对需要传输的视频数据进行压缩，并将压缩后的视频数据转化为符合h.264的协议输出。
51.由于本实施例中，传输的高分辨率的图像，但考虑到不同平台的需求，对画质要求不高的平台，本实施例可以通过h.264解码芯片，将isp芯片解析后rgb图像格式的数据进行压缩后进行通过rgmii芯片传输给非高速接口的平台；
52.以太网phy芯片包括专用asic芯片或基于fpga芯片实现；
53.由于芯片的制造壁垒高，采用专用asic芯片设计完成后，功能就已经固定，非芯片用户不能修改；
54.如果现有的asic芯片不能满足要求，本实施例可以基于fpga芯片实现，通过采用fpga芯片，能够灵活的调节芯片功能；
55.以太网phy芯片的传输协议基于ieee1722 avtp音视频传输协议；
56.车载以太网总线至少包括单对stp屏蔽双绞线和光纤传输介质。
57.参见图5，视频输入信号通过传输介质输入到外置交换机进行交换后，在将信号输出至以太网phy芯片后再输入到avb/tsn协议栈模块avb/tsn以太网网关进行解析。
58.智能网关还包括mcu芯片，mcu芯片与avb/tsn以太网协议栈模块或avb/tsn以太网网关相连接。
59.智能网关还包括储存芯片，存储芯片至少包括非易性存储器或flash存储器或ddr或rom。
60.本实施例中，外置交换机为以太网交换机，传统图1所示的图像采集架构，每个通道是独占的，无法共享，因为增加摄像头，需要增加相应接口的硬件设施。但是本实用新型提供的技术方案中，由于ieee1722 avtp音视频传输协议，其具备以太网协议的特性。通道
能够共享，当摄像头的个数增加时，并不需要在智能网关增加相应的接口，仅需增加一个以太网交换机，将摄像头采集的图像输入至以太网交换机，然后在通过以太网交换机将多个摄像头的视频数据汇聚在智能网关进行isp图像处理即可。并不需要改动智能网关的硬件，灵活性高。
61.以上所述的仅是本实用新型的优选实施方式，本实用新型不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本实用新型的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本实用新型的保护范围之内。