本发明涉及一种图像数据感知与协同处理系统，具体为一种面向智能网联汽车场景图像数据感知与协同处理系统。
背景技术
随着5g通信、大数据、人工智能等多个领域的技术突破，智能网联汽车将成为我国抢占汽车产业未来战略的制高点，是国家汽车产业转型升级、由大变强的重要突破口，并在塑造产业生态、推动国家创新、提高交通安全、实现节能减排等方面具有重大战略意义。智能网联汽车是无人驾驶技术与网联通信技术的结合体，涉及多个学科交叉融合，其中城市交通场景理解是无人驾驶技术实现的关键组成部分，具有重要的研究意义。目前大多数面向智能网联汽车的场景理解与感知都基于价格高昂的激光雷达，采用视觉传感器的场景理解仍旧处于研究阶段，而面向智能网联汽车场景图像数据感知与协同处理系统更是处于空白阶段，针对目前这一状况，迫切需要开发一种面向智能网联汽车的有效且易实现的场景理解图像数据感知与协同处理系统，为智能车的自主控制提供决策依据。
技术实现要素：
本发明的目的在于提供一种面向智能网联汽车场景图像数据感知与协同处理系统，以克服现有技术的不足。
为达到上述目的，本发明采用如下技术方案：
面向智能网联汽车场景图像数据感知与协同处理系统，包括单移动智能体图像数据感知与处理装置、路侧基础设施装置和远程服务器；
单移动智能体图像数据感知与处理装置包括道路场景图像采集传感器、车载图像处理平台、车载无线传输平台；道路场景图像采集摄像头用于采集道路场景图像信息并传送至车载图像处理平台，车载图像处理平台用于接收道路场景图像信息并完成视图转换、目标检测、目标识别和场景流估计数据处理，车载无线传输平台用于车载图像处理平台处理后的数据传输；
路侧基础设施装置包括360°全景摄像头、路侧图像处理平台、路侧无线传输平台；360°全景摄像头用于路测道路场景信息获取，并传送至路侧图像处理平台，路侧图像处理平台用于实现俯视视角下的目标检测及多视角目标检测与识别结果融合；路侧无线传输平台用于与车载无线传输平台完成车-路通信功能，以及路侧图像处理平台的图像数据上传远程服务器功能；
远程服务器用于接收路侧基础设施装置采集的图像数据，完成群智协同处理，并将处理结果发送至交叉口有效范围内的所有车辆。
进一步的，道路场景图像采集摄像头通过rj45接口与车载图像处理平台连接。
进一步的，车载图像处理平台采用nvidiapxxavier计算机，包含8核cpu、512核gpu、cva、8khdrvp、i/o接口，支持以太网、can和flexray车载通信输入输出数据接口。
进一步的，车载无线传输平台采用lte-vdtvl3000的obu模块，同时支持蜂窝和直通两种工作模式，及支持can/串口/rj45/usb接口。
进一步的，车载图像处理平台与车载无线传输平台供电均通过车载电源电路模块转换实现。
进一步的，所述360°全景摄像头可无盲点监测覆盖面积400左右平方米，拥有360度全景视图，可以从俯视视角对道路场景信息进行获取。
进一步的，路侧图像处理平台包括视频解码模块，数据存储模块、目标检测与识别模块、图像融合模块、数据搜索匹配模块；所述视频解码模块通过360°全景摄像头视频线与360°全景摄像头相连接，并通过连接线连接数据存储模块，图像融合模块同时与数据存储模块、目标检测与识别模块、数据搜索匹配模块连接，数据存储模块、目标检测与识别模块相互连接；数据存储模块、数据搜索匹配模块同时通过无线通信传输与车载图像处理平台进行信息交互。
进一步的，路侧无线传输平台采用lte-vdtvl3000的rsu模块。
进一步的，远程服务器包括主机、显示器和输入/输出设备。
进一步的，单移动智能体图像数据感知与处理装置通过lte-vcell实现与路侧基础设施装置间的无线传输通讯，路侧基础设施装置通过lte-v实现与远程服务器间的通讯。
与现有技术相比，本发明具有以下有益的技术效果：
本发明面向智能网联汽车场景图像数据感知与协同处理系统，包括单移动智能体图像数据感知与处理装置、路侧基础设施装置和远程服务器；单移动智能体图像数据感知与处理装置包括道路场景图像采集传感器、车载图像处理平台、车载无线传输平台；道路场景图像采集摄像头用于采集道路场景图像信息并传送至车载图像处理平台，车载图像处理平台用于接收道路场景图像信息并完成视图转换、目标检测、目标识别和场景流估计数据处理，车载无线传输平台用于车载图像处理平台处理后的数据传输；通过单移动智能体图像数据感知与处理装置、路侧基础设施装置和远程服务器实现图像数据感知与协同处理系统，单移动智能体图像数据感知与处理装置中车载图像处理平台通过完成目标检测与识别、场景流估计等算法实现单视角图像数据处理；路侧基础设施装置中路侧图像处理平台通过完成目标检测与识别、图像融合等算法实现俯视视角图像数据处理与多视角图像融合处理，本系统基于高效率算法及硬件，系统构成稳定，图像数据处理速度快且传输稳定，本发明结构简单，系统构成稳定，图像数据处理效率高，通信数据传输速度快且稳定，可以实现城市复杂交叉口路段先验地图绘制、智能网联车辆协同通行控制与引导等，加快推动智能网联汽车产业的落地实现。
进一步的，所有模块同时与数据通讯模块相连接，图像处理平台通过rj45接口与360°全景摄像机连接；所述路侧无线传输平台实现获取单一智能体传输的数据，主要采用lte-vdtvl3000中的rsu组件，该组件主要用于室外路侧环境，采用三防设计，达到ip65防护能力，具有一体化设计，体积小巧，便于安装使用，采用高增益天线，覆盖范围广，支持即插即用，支持数据到后台服务器的无线回传，便于数据采集和后期操作维护。
附图说明
图1是本发明应用场景示意图。
图2是本发明结构示意图。
图3是单移动智能体图像数据感知与处理装置结构示意图。
图4是路侧基础设施结构示意图。
具体实施方式
下面结合附图对本发明做进一步详细描述：
面向智能网联汽车场景图像数据感知与协同处理系统，包括单移动智能体图像数据感知与处理装置、路侧基础设施装置和远程服务器；
单移动智能体图像数据感知与处理装置包括道路场景图像采集传感器、车载图像处理平台、车载无线传输平台；道路场景图像采集摄像头用于采集道路场景图像信息并传送至车载图像处理平台，车载图像处理平台用于接收道路场景图像信息并完成视图转换、目标检测、目标识别和场景流估计数据处理，车载无线传输平台用于车载图像处理平台处理后的数据传输；
路侧基础设施装置包括360°全景摄像头、路侧图像处理平台、路侧无线传输平台；360°全景摄像头用于路测道路场景信息获取，并传送至路侧图像处理平台，路侧图像处理平台用于实现俯视视角下的目标检测及多视角目标检测与识别结果融合；路侧无线传输平台用于与车载无线传输平台完成车-路通信功能，以及路侧图像处理平台的图像数据上传远程服务器功能；
远程服务器用于接收路侧基础设施装置采集的图像数据，完成群智协同处理，并将处理结果发送至交叉口有效范围内的所有车辆。
1、道路场景图像采集摄像头通过rj45接口与车载图像处理平台连接；
车载图像处理平台采用nvidiapxxavier计算机，包含8核cpu、512核gpu、cva、8khdrvp、i/o接口，支持以太网、can和flexray车载通信输入输出数据接口；
车载无线传输平台采用lte-vdtvl3000的obu模块，同时支持蜂窝和直通两种工作模式，及支持can/串口/rj45/usb等接口；
车载图像处理平台与车载无线传输平台供电均通过车载电源电路模块转换实现。
2、所述360°全景摄像头可无盲点监测覆盖面积400左右平方米，拥有360度全景视图，可以从俯视视角对道路场景信息进行获取；
所述路侧图像处理平台主要包括视频解码模块，数据存储模块、目标检测与识别模块、图像融合模块、数据搜索匹配模块。所述视频解码模块通过360°全景摄像头视频线与360°全景摄像头相连接，并通过连接线连接数据存储模块，图像融合模块同时与数据存储模块、目标检测与识别模块、数据搜索匹配模块连接，数据存储模块、目标检测与识别模块相互连接。数据存储模块、数据搜索匹配模块同时通过无线通信传输与车载图像处理平台进行信息交互。
路侧无线传输平台采用lte-vdtvl3000的rsu模块。
远程服务器包括主机、显示器和输入/输出设备。
如图1所述面向智能网联汽车场景图像数据感知与协同处理系统应用于交通场景，主要为交叉口场景中，单移动智能体图像数据感知与处理装置对道路场景进行采集与处理并通过无线传输至路侧基础设施，路侧基础设施将接收数据与360°全景摄像头采集数据通过无线传输至远程服务器进行数据协同处理。
如图2所示，面向智能网联汽车场景图像数据感知与协同处理系统包括单移动智能体图像数据感知与处理装置、路侧基础设施装置与远程服务器；所述单移动智能体图像数据感知与处理装置具体包括道路场景图像采集摄像头传感器、车载图像处理平台、车载无线传输平台；所述路侧基础设施装置具体包括360°全景摄像头、路侧图像处理平台、路侧无线传输平台。单移动智能体图像数据感知与处理装置通过lte-vcell实现与路侧基础设施装置间的无线传输通讯，路侧基础设施装置通过lte-v实现与远程服务器间的通讯。
如图3所示，所述道路场景采集摄像头采用ccd车载摄像头，安装在车辆前挡风玻璃与内后视镜之间，负责采集道路环境信息，包括路面信息、道路布局信息、邻近位置单一智能体信息、邻近环境信息、道路障碍物信息等；所述车载图像处理平台采用nvidiadrivepx2人工智能车辆计算平台，包括移动处理器、gpu处理器、多路视频和雷达数据接口、电源及总线接口等，能够融合来自多个摄像头、激光雷达、雷达和超声波传感器的数据，感知车辆全方位的周围环境，产生稳定的、包括静态和动态目标图像。车载图像处理平台与道路场景采集摄像头间通过rj45接口连接，同时通过can总线与车辆控制系统连接，实现两者间的数据信息交互；所述车载无线传输平台实现单一智能体与路侧基础设施服务器之间的数据传输，采用lte-vdtvl3000中的obu组件，该组件基于3gpplte-v标准，同时支持蜂窝和直通两种工作模式，可以应用于系统所需v2x场景，同时支持can/串口/rj45/usb等接口，通过rj45接口与车载图像处理平台连接，同时与路侧无线传输平台间通过lte-vcell实现无线传输。
如图4所示，所述360°全景摄像机采用ds6001系列，其成像镜头为鱼眼式全景成像光学系统，方位场视角0°～360°，俯仰场视角0°～-90°，采用icr自动切换模式进行日夜切换，可无盲点监测覆盖面积400左右平方米，拥有360度全景视图，实现从俯视视角对道路场景信息进行获取；所述路侧图像处理平台主要包括pci-e实时图像采集卡模块、数据存储模块、目标检测与识别模块、图像融合模块、数据搜索匹配模块。所述pci-e实时图像采集卡模块与360°全景摄像头连接，并通过连接线连接数据存储模块，图像融合模块同时与数据存储模块、目标检测与识别模块、数据搜索匹配模块连接，数据存储模块、目标检测与识别模块相互连接，所有模块同时与数据通讯模块相连接，图像处理平台通过rj45接口与360°全景摄像机连接；所述路侧无线传输平台实现获取单一智能体传输的数据，主要采用lte-vdtvl3000中的rsu组件，该组件主要用于室外路侧环境，采用三防设计，达到ip65防护能力，具有一体化设计，体积小巧，便于安装使用，采用高增益天线，覆盖范围广，支持即插即用，支持数据到后台服务器的无线回传，便于数据采集和后期操作维护等优点，该组件通过rj45接口与路侧图像处理平台连接，并通过光纤实现与远程服务器之间的数据传输。
本发明构成稳定，数据处理效率高，图像处理速度及能力强，可以针对城市道路环境，通过多视角群智优化算法实现城市复杂交叉口三维场景的认知与理解，面向智能网联汽车应用提供一种有效且易实现的交通环境理解方法，为智能车的自主控制提供决策依据。