一种自动驾驶数据存储系统、方法、设备和存储介质与流程

本技术涉及数据存储，尤其涉及一种自动驾驶数据存储系统、方法、设备和存储介质。

背景技术：

1、自动驾驶领域每天都要处理大量的自动驾驶数据，如路测数据、地图数据等，容器计算平台需要从对象存储系统下载大量的自动驾驶数据到容器本地进行仿真、训练等处理，处理完的结果数据先存储在本地，然后再上传到对象存储系统，客户端通过访问对象存储系统操作所需数据，如果处理后的结果数据都上传到对象存储系统，需要消耗容器平台和对象存储系统的大量资源，包括本地io操作、本地网络传输带宽以及对象存储系统io操作、对象存储系统网络传输带宽以及对象存储系统存储空间等，造成资源浪费。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术提供了一种自动驾驶数据存储系统、方法、设备和存储介质，用于改善自动驾驶数据在缓存过程中所造成的容器平台和对象存储系统的资源消耗的技术问题。

2、有鉴于此，本技术第一方面提供了一种自动驾驶数据存储系统，包括：对象存储系统、容器计算平台和网关服务，所述容器计算平台包括容器节点；

3、所述对象存储系统，用于存储自动驾驶数据；

4、所述容器计算平台，用于从所述对象存储系统中下载自动驾驶数据进行处理，并将处理得到的数据文件存储到容器节点中；

5、所述网关服务，用于接收客户端访问目标文件的访问请求，根据所述访问请求确定路由信息，若所述路由信息指向容器节点，则将所述访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若所述路由信息指向对象存储系统，则将所述访问请求转发至所述对象存储系统进行操作，并返回操作结果给客户端。

6、可选的，所述容器计算平台还包括元数据服务；

7、所述容器节点，用于监听本地数据文件的变换状态，并上传新增数据文件的第一元数据信息到所述元数据服务，所述第一元数据信息包括数据文件所在容器节点的标识、存储桶名称、文件名、文件大小和文件修改时间；

8、所述元数据服务，用于存储所述容器节点中数据文件的第一元数据信息，并初始化数据文件的第二元数据信息，所述第二元数据信息包括创建时间、读取时间、删除时间、读取次数和持久化类型。

9、可选的，所述容器节点，还用于：

10、上报自身状态信息到所述元数据服务，由所述元数据服务保存容器节点的状态信息，所述状态信息包括容器节点的标识、已使用空间大小和剩余空间大小。

11、可选的，所述容器计算平台，还用于按照存储桶/文件路径的格式将数据文件输出到容器节点的数据目录中；

12、所述容器节点，具体用于监听本地数据目录中数据文件的变换状态，并上传新增数据文件的第一元数据信息到所述元数据服务。

13、可选的，所述网关服务，具体用于执行以下步骤：

14、s1、接收客户端访问目标文件的访问请求；

15、s2、根据所述访问请求中的路径信息获取目标文件的目标存储桶和目标文件路径；

16、s3、查询所述目标文件的目标存储桶是否命中所述元数据服务中的存储桶，若未命中，则执行步骤s5；若命中，则查询所述元数据服务是否存在所述目标文件路径对应的目标文件以及所述目标文件的持久化类型是否为容器计算平台；

17、s4、若查询到所述元数据服务存在所述目标文件路径对应的目标文件且所述目标文件的持久化类型为容器计算平台，则获取指向所述目标文件关联的容器节点的路由信息，根据该路由信息将所述访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若查询到所述元数据服务不存在所述目标文件路径对应的目标文件或所述目标文件的持久化类型不为容器计算平台，则执行步骤s5；

18、s5、确定路由信息指向对象存储系统，根据该路由信息将所述访问请求转发至所述对象存储系统进行操作，并返回操作结果给客户端。

19、可选的，所述网关服务，还用于执行以下步骤：

20、根据所述访问请求中的头信息获取控制信号，若所述控制信号包括跳过元数据服务验证，则执行步骤s5，若所述控制信号不包括跳过元数据服务验证，则执行步骤s3。

21、可选的，所述容器节点提供对象存储服务接口，所述对象存储服务接口用于读取或删除该容器节点中的目标文件；

22、所述容器节点，还用于上传所述目标文件的读取结果到所述元数据服务，由所述元数据服务更新所述目标文件的读取时间和读取次数，或，上传所述目标文件的删除结果到所述元数据服务，由所述元数据服务更新所述目标文件的删除时间。

23、可选的，所述自动驾驶数据存储系统还包括数据服务，所述数据服务，用于：

24、扫描所述元数据服务中各数据文件的元数据信息，所述元数据信息包括所述第一元数据信息和所述第二元数据信息；

25、根据所述元数据信息中的读取次数将访问频次高于第一预置阈值的数据文件从容器节点中拷贝到对象存储系统中，并将该数据文件从容器节点中删除，以及更新该数据文件在所述元数据服务中的持久化类型为对象存储系统。

26、可选的，所述数据服务，还用于：

27、扫描所述元数据服务中容器节点的状态信息；

28、若检测到容器节点的已使用空间大小超过第二预置阈值，则对该容器节点中的数据文件进行清理，直至该容器节点的已使用空间大小低于第三预置阈值。

29、可选的，所述数据服务，还用于根据预设的生命周期对容器节点中的数据文件进行数据清理。

30、可选的，所述数据服务，还用于根据所述元数据信息检测数据文件的删除时间是否大于预置时间，若是，则删除该数据文件对应的元数据信息中的文件对象入口。

31、本技术第二方面提供了一种自动驾驶数据存储方法，应用于第一方面任一种所述的自动驾驶数据存储系统，所述方法包括：

32、通过对象存储系统存储自动驾驶数据；

33、通过容器计算平台从所述对象存储系统中下载自动驾驶数据进行处理，并将处理得到的数据文件存储到容器节点中；

34、通过网关服务接收客户端访问目标文件的访问请求，根据所述访问请求确定路由信息，若所述路由信息指向容器节点，则将所述访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若所述路由信息指向对象存储系统，则将所述访问请求转发至所述对象存储系统进行操作，并返回操作结果给客户端。

35、本技术第三方面提供了一种自动驾驶数据存储设备，所述设备包括处理器以及存储器；

36、所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；

37、所述处理器用于根据所述程序代码中的指令执行第二方面所述的自动驾驶数据存储方法。

38、本技术第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码被处理器执行时实现第二方面所述的自动驾驶数据存储方法。

39、从以上技术方案可以看出，本技术具有以下优点：

40、本技术提供了一种自动驾驶数据存储系统，包括：对象存储系统、容器计算平台和网关服务，容器计算平台包括容器节点；对象存储系统，用于存储自动驾驶数据；容器计算平台，用于从对象存储系统中下载自动驾驶数据进行处理，并将处理得到的数据文件存储到容器节点中；网关服务，用于接收客户端访问目标文件的访问请求，根据访问请求确定路由信息，若路由信息指向容器节点，则将访问请求转发至对应的容器节点进行操作，并返回操作结果给客户端，若路由信息指向对象存储系统，则将访问请求转发至对象存储系统进行操作，并返回操作结果给客户端。

41、本技术中，容器计算平台从对象存储系统下载所需自动驾驶数据进行处理后，将处理得到的数据文件存储在容器节点本地，不需要将其上传到对象存储系统，将容器计算平台作为对象存储系统的延伸，同时提供统一的访问路口，客户端可以通过网关服务访问容器计算平台和对象存储系统以操作目标文件，减缓了容器计算平台和对象存储系统的资源消耗，从而改善了自动驾驶数据在缓存过程中所造成的容器平台和对象存储系统的资源消耗的技术问题。