技术特征：
1.一种数据加载的方法，所述方法包括：将待加载数据划分为多份数据，并分别存储于相应的存储节点上；响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；在加载数据量未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。2.根据权利要求1所述的方法，其中，所述将待加载数据划分为多份数据，并分别存储于相应的存储节点上，包括：将所述待加载数据进行均匀的划分处理，得到多份数据；所述多份数据中，每份数据的数据量不超过所述训练机器的硬件资源上限。3.根据权利要求2所述的方法，还包括：将所述待加载数据的第一顺序进行随机排序处理，得到第二排序。4.根据权利要求1
‑
3中任一项所述的方法，其中，所述在加载数据量未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束，包括：读取所述训练机器中当前已有数据量及即将加载的数据量的总和，得到第一数据量总和；所述第一数据量总和未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。5.根据权利要求1
‑
3中任一项所述的方法，还包括：在所述加载数据量超出所述训练机器的硬件资源上限的情况下，丢弃所超出的数据量，循环加载所述多份数据，直至训练结束。6.根据权利要求5所述的方法，其中，所述在所述加载数据量超出所述训练机器的硬件资源上限的情况下，丢弃所超出的数据量，循环加载所述多份数据，直至训练结束，包括：读取所述训练机器中当前已有数据量及即将加载的数据量的总和，得到第二数据量总和；所述第二数据量总和超出所述训练机器的硬件资源上限的情况下，丢弃所述当前已有数据量中的数据份额，将所述即将加载的数据量部署到所述训练机器中并循环加载，直至训练结束。7.根据权利要求1
‑
3中任一项所述的方法，还包括：在循环加载所述多份数据的过程中，使用当前加载的全部数据进行神经网络的训练，得到训练后的目标网络模型。8.一种图像处理方法，所述方法包括：将待处理图像输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据权利要求1
‑
7的数据加载方法获得；根据所述训练后的目标网络模型，对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。9.一种视频处理方法，所述方法包括：从待处理视频数据流中提取出多个图像帧；将所述多个图像帧输入训练后的目标网络模型，所述训练后的目标网络模型所使用的
训练数据根据权利要求1
‑
7的数据加载方法获得；根据所述训练后的目标网络模型，对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理，得到图像处理结果；根据所述图像处理结果，对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。10.一种数据加载装置，所述装置包括：数据划分模块，用于将待加载数据划分为多份数据，并分别存储于相应的存储节点上；响应模块，用于响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；第一数据加载模块，用于在加载数据量未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。11.根据权利要求10所述的装置，其中，所述数据划分模块，用于：将所述待加载数据进行均匀的划分处理，得到多份数据；所述多份数据中，每份数据的数据量不超过所述训练机器的硬件资源上限。12.根据权利要求11所述的装置，还包括随机排序模块，用于：将所述待加载数据的第一顺序进行随机排序处理，得到第二排序。13.根据权利要求10
‑
12中任一项所述的装置，其中，所述第一数据加载模块，用于：读取所述训练机器中当前已有数据量及即将加载的数据量的总和，得到第一数据量总和；所述第一数据量总和未达到所述训练机器的硬件资源上限的情况下，循环加载所述多份数据，直至训练结束。14.根据权利要求10
‑
12中任一项所述的装置，还包括第二数据加载模块，用于：在所述加载数据量超出所述训练机器的硬件资源上限的情况下，丢弃所超出的数据量，循环加载所述多份数据，直至训练结束。15.根据权利要求14所述的装置，其中，所述第二数据加载模块，用于：读取所述训练机器中当前已有数据量及即将加载的数据量的总和，得到第二数据量总和；所述第二数据量总和超出所述训练机器的硬件资源上限的情况下，丢弃所述当前已有数据量中的数据份额，将所述即将加载的数据量部署到所述训练机器中并循环加载，直至训练结束。16.根据权利要求10
‑
12中任一项所述的装置，还包括训练模块，用于：在循环加载所述多份数据的过程中，使用当前加载的全部数据进行神经网络的训练，得到训练后的目标网络模型。17.一种图像处理装置，所述装置包括：第一输入模块，用于将待处理图像输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据权利要求1
‑
7的数据加载方法获得；图像处理模块，用于根据所述训练后的目标网络模型，对所述待处理图像执行包括图像分类、图像识别、图像分割中的至少一种图像处理。18.一种视频处理装置，所述装置包括：
图像帧提取模块，用于从待处理视频数据流中提取出多个图像帧；第一输入模块，用于将所述多个图像帧输入训练后的目标网络模型，所述训练后的目标网络模型所使用的训练数据根据权利要求1
‑
7的数据加载方法获得；图像处理模块，用于根据所述训练后的目标网络模型，对所述多个图像帧执行包括图像分类、图像识别、图像分割中的至少一种图像处理，得到图像处理结果；视频处理模块，用于根据所述图像处理结果，对所述待处理视频数据流中的目标对象执行包括识别、定位中的至少一种视频处理。19.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
9中任一项所述的方法。20.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1
‑
9中任一项所述的方法。21.一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现权利要求1
‑
9中任一项所述的方法。
技术总结
本公开提供了一种数据加载的方法、装置、电子设备及存储介质，涉及计算机视觉和深度学习技术领域。具体实现方案为：将待加载数据划分为多份数据，并分别存储于相应的存储节点上；响应神经网络的训练操作，将所述存储节点上的所述多份数据动态加载到训练机器上；在所述训练机器的硬件资源未达到资源上限的情况下，循环加载所述多份数据，直至训练结束。采用本公开，可以自动的、高效的处理超大规模的训练数据。练数据。练数据。
技术研发人员：王之港 王健 孙昊 丁二锐
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.06.28
技术公布日：2021/9/9