数据自动存储与上传装置、系统及方法与流程

1.本发明涉及数据处理技术领域，具体地，涉及一种数据自动存储与上传装置、系统及方法。


背景技术：

2.自动驾驶的应用能够显著减少交通事故、缓解交通拥堵、提升通行效率、节约能源消耗，因此受到了高度重视。自动驾驶系统的开发与测试需要海量的数据，如车辆行驶数据、道路场景数据、交通行为数据等。就像人类司机练车一样，只有通过大量数据的训练，自动驾驶车辆才能学会如何在复杂交通场景下避免事故、穿梭自如。可以说，数据是自动驾驶系统的“食物”。
3.为了更好地收集目标场景的数据，通常使用专用的数据采集车，其数据来源于车上安装的各类内、外传感器。在车辆行驶过程中，这些传感器产生的数据会先记录在车载控制器的存储介质中，当车辆完成数据采集任务后，再将存储介质中的数据导出并上传到数据服务器上。存储介质中的数据的导出和上传，通常需要操作人员使用个人电脑连接至车载控制器，然后通过sftp协议访问存储介质中的数据并将数据导出至笔记本电脑，最后将笔记本电脑连接至公网并将其中的数据通过ftp、sftp等协议上传至云端数据服务器。上述过程需要进行两次数据迁移，增加了存储介质的使用损耗，且每次数据迁移都依赖人工操作和值守，费时费力。
4.公开号为cn111049888a的发明专利，公开了一种数据上传方法、装置、车载终端、电子设备以及存储介质，先将采集到的数据存储到本地存储介质中，当所存储的数据量超过预设值时，再将数据复制到外接存储介质中，并通过一个电子设备上传到数据中心服务器。显然，这种方法仍然存在需要两次数据迁移、依赖人工操作的缺点。
5.公开号为cn111796287a的发明专利，公开了一种自动驾驶汽车道路数据采集分析装置，通过环境感知传感器实时将感知数据信息传输给本地数据采集处理器，本地数据采集处理器对数据进行预处理和存储并通过5g网络实时上传到云端服务器。这种方法通过5g网络直接把数据从车辆上传至服务器，省去了一次数据迁移步骤，但无线网络和服务器入口带宽有限，导致数据的上传耗时较长，而此过程中车辆无法继续工作。


技术实现要素：

6.针对现有技术中的缺陷，本发明提供一种数据自动存储与上传装置、系统及方法。
7.根据本发明提供的一种数据自动存储与上传装置、系统及方法，所述方案如下：
8.第一方面，提供了一种数据自动存储与上传装置，包括：第一控制器和第一存储介质；
9.所述第一控制器通过网络与外界连接；
10.所述第一存储介质与所述第一控制器连接，所述第一存储介质通过所述第一控制器与外界进行数据传输。
11.第二方面，提供了一种数据自动存储系统，包括：所述数据自动存储与上传装置、车载主控制器和车载传感器；
12.所述车载主控制器通过车载网络与所述数据自动存储与上传装置的第一控制器连接；
13.所述车载传感器与所述车载主控制器连接。
14.优选地，所述车载传感器包括gps、imu、激光雷达及相机。
15.第三方面，提供了一种数据自动上传系统，包括：所述数据自动存储与上传装置和云端服务器；
16.所述云端服务器与所述车辆数据自动存储与上传装置的第一控制器连接。
17.第四方面，提供了一种数据自动存储方法，包括：将所述数据自动存储与上传装置安装在数据采集车上，所述数据自动存储与上传装置与所述数据采集车的车载主控制器和车载传感器构成车辆数据自动存储系统；
18.当所述数据采集车开始工作后，所述数据自动存储与上传装置的第一控制器开启nfs服务，所述数据自动存储与上传装置的第一存储介质通过所述nfs服务挂载到所述车载主控制器上；
19.所述车载传感器通过所述车载主控制器将采集到的车辆数据录制到所述nfs服务的挂载路径上，即将采集到的车辆数据直接存储到所述第一存储介质中。
20.优选地，所述车辆数据包括车辆行驶数据、道路场景数据以及交通行为数据。
21.第五方面，提供了一种数据自动上传方法，包括：将所述数据自动存储与上传装置从数据采集车上取下并连入网络；
22.所述数据自动存储与上传装置的第一控制器自动检测其所接入的网络环境，当检测到所接入的网络环境是公网时，所述第一控制器自动对所述数据自动存储与上传装置的第一存储介质中的数据进行整理并将整理后的数据上传到所述云端服务器上；
23.在数据上传结束后，所述第一控制器对传输结果进行校验，若无错误则自动清除所述第一存储介质中的数据。
24.优选地，所述第一控制器利用rsync协议实现与所述云端服务器之间的鉴权和数据上传，以及对传输结果的校验。
25.与现有技术相比，本发明具有如下的有益效果：
26.1、本发明中车辆传感器数据直接存储到数据自动存储与上传装置中，再从数据自动存储与上传装置上传到云端服务器，省去了一次数据迁移过程，减少了时间消耗和存储介质损耗，且车辆在数据迁移过程中可以继续使用，避免了占用损失；
27.2、本发明的数据从数据自动存储与上传装置上传到云端服务器的过程，实现了自动检测网络环境、自动上传数据、自动清理原始数据等，大幅减少了人工操作和值守所需的人力投入；
28.3、本发明中数据自动存储与上传装置与云端服务器采用rsync协议进行数据上传，实现了本地与云端数据的校验、断点续传、状态检测等，有效保证了数据上传的准确性和稳定性，并根据传输结果对所述装置中存储的数据进行清空操作，方便下一次使用。
附图说明
29.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
30.图1为本发明提供得数据自动存储与上传装置的示意图；
31.图2为本发明提供的数据自动存储系统的示意图；
32.图3为本发明提供的数据自动上传系统的示意图；
33.图4为本发明提供的数据自动存储方法的流程图；
34.图5为本发明提供的数据自动上传方法的流程图。
具体实施方式
35.下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
36.本发明实施例提供了一种数据自动存储与上传装置，参照图1所示，包括：第一控制器和第一存储介质；
37.具体地，第一控制器通过网络与外界连接，第一存储介质与第一控制器连接；第一控制器可以开启nfs(network file system，网络文件系统)服务，第一存储介质通过第一控制器与外界进行数据传输。
38.本发明还提供了一种数据自动存储系统，参照图2所示，包括：数据自动存储与上传装置、车载主控制器和车载传感器；车载主控制器通过车载网络与数据自动存储与上传装置的第一控制器连接，车载传感器与车载主控制器连接，其中，本实施例中的车载传感器包括但不限于gps、imu、激光雷达及相机等。
39.本发明还提供了一种数据自动上传系统，参照图3所示，包括：数据自动存储与上传装置和云端服务器，云端服务器通过公网与车辆数据自动存储与上传装置的第一控制器连接。
40.本发明还提供了一种数据自动存储方法，参照图4所示，包括：将数据自动存储与上传装置安装在数据采集车上，数据自动存储与上传装置与数据采集车的车载主控制器和车载传感器构成车辆数据自动存储系统；
41.当数据采集车开始工作后，数据自动存储与上传装置的第一控制器开启nfs服务，数据自动存储与上传装置的第一存储介质通过nfs服务挂载到所述车载主控制器上，通过这种方式车载主控制器可以像访问本地存储介质一样访问第一存储介质。
42.车载传感器通过车载主控制器将采集到的车辆数据录制到nfs服务的挂载路径上，即将采集到的车辆数据直接存储到第一存储介质中。
43.其中，车辆数据包括但不限于车辆行驶数据、道路场景数据以及交通行为数据。
44.本发明还提供了一种数据自动上传方法，且该数据自动上传方法在所述数据自动存储方法之后实施。参照图5所示，具体包括：将数据自动存储与上传装置从数据采集车上取下并连入网络；
45.数据自动存储与上传装置的第一控制器自动检测其所接入的网络环境，当检测到
所接入的网络环境是公网时，第一控制器自动对所述数据自动存储与上传装置的第一存储介质中的数据进行整理并将整理后的数据上传到所述云端服务器上。
46.在数据上传结束后，第一控制器会对传输结果进行校验，若无错误则自动清除第一存储介质中的数据。
47.其中，第一控制器利用rsync协议实现与云端服务器之间的鉴权和数据上传，以及对传输结果的校验。
48.本发明实施例提供了一种数据自动存储与上传装置、系统及方法，能够省去一次数据迁移过程，减少时间消耗和存储介质损耗，且车辆在数据迁移过程中可以继续使用，避免了占用损失；实现自动检测网络环境、自动上传数据、自动清理原始数据等，大幅减少人工操作和值守所需的人力投入；实现本地与云端数据的校验、断点续传、状态检测等，有效保证数据上传的准确性和稳定性，并根据传输结果对所述装置中存储的数据进行清空操作，方便下一次使用。
49.本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
50.以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本技术的实施例和实施例中的特征可以任意相互组合。