一种数据采集方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据采集方法、装置、电子设备及存储介质。


背景技术：

2.车联网数据是当前汽车行业的核心资产，因此获取车联网数据的采集平台层出不穷，但在车端计算资源有限的情况下，极大的限制了数据的采集效率。
3.现有技术下，可以通过串行执行配置采集数据，也可以通过任务调度系统暂停原采集数据，进而实现数据采集。但是，现有技术中，串行执行配置采集数据采集时间长，不能灵活配置，其他业务需求方等待时间加长，无法满足多业务需求方及时采集所需数据的需要，而现有的任务调度系统，线下沟通成本高，易造成各需求方的冲突，在场景增加的情况下不能及时获取到数据来解决紧急问题。因此，亟待提出一种新的数据采集方法，以解决上述问题。


技术实现要素：

4.鉴于此，为解决现有技术中上述技术问题，本发明实施例提供一种数据采集方法、装置、电子设备及存储介质。
5.第一方面，本发明实施例提供一种数据采集方法，该方法包括：按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。
6.可选地，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理，包括：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
7.可选地，按照目标间隔时长响应对数据采集任务的任务获取操作之前，方法还包括：向用户显示数据采集任务配置交互界面；接收用户在数据采集任务配置交互界面的任务配置操作。
8.可选地，获取每一个数据采集任务包含的任务属性数据之前，方法还包括：对获取到数据采集任务响应任务审核操作；对审核通过的数据采集任务响应后续的任务融合操
作。
9.可选地，将融合处理后的数据采集任务发送至相应的被采集对象之后，还包括：接收被采集对象基于最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间上传的数据。
10.可选地，被采集对象包括车联网车辆，被采集对象的属性信息包括：车辆标识信息和需要采集的车辆信号。
11.第二方面，本发明实施例提供一种数据采集装置，应用于数据采集平台，数据采集平台与多个被采集对象通信连接，包括：获取模块，用于按照目标间隔时长响应对数据采集任务的任务获取操作；第一处理模块，用于当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；第二处理模块，用于根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；发送模块，用于将融合处理后的数据采集任务发送至相应的被采集对象。
12.可选地，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；第二处理模块，用于：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
13.第三方面，本技术提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器执行如第一方面或第一方面任一可能的实施方式的方法的步骤。
14.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如第一方面或第一方面任一可能的实施方式的方法的步骤。
15.本发明提供的数据采集方法，按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。通过融合任务的方式，实现了多项采集任务并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
附图说明
16.图1为本发明实施例提供的一种数据采集方法流程示意图；
17.图2为本发明实施例提供的获取任务流程示意图；
18.图3为本发明实施例提供的审核任务流程示意图；
19.图4为本发明实施例提供的一种数据采集装置结构示意图；
20.图5为本发明实施例提供一种数据采集电子设备结构示意图。
具体实施方式
21.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
22.为便于对本发明实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本发明实施例的限定。
23.需要说明的是，本技术中实施例大多以车辆的相关数据采集为例，但是在实际应用中，本技术对应的方法，并不仅限于车辆的相关数据采集，可以任意数据，在此不做限定，而述各个实施例也仅为示例。
24.图1为本发明实施例提供的一种数据采集方法流程示意图，该方法步骤执行过程，具体可以参见图1所示，该方法包括：
25.步骤110，按照目标间隔时长响应对数据采集任务的任务获取操作。
26.示例性的，对于在非指定间隔时长内的任务，不会对任务进行获取操作。
27.在一种可选示例中，假设预设的间隔时长为30分钟，并假设计时开始时间为1点，一并假设存在有任务a，任务b，任务c，任务d，其中，任务a的开始时间为1点10分，任务b的开始时间为1点15分，任务c的开始时间为1点20分，任务d的开始时间为1点40分，其中，第一个预设的时间间隔为1点至1点30分，其中包含有任务a，任务b，任务c，因此，第一次获取操作，仅收集任务a，任务b，任务c。本技术对目标间隔时长不作限定，本领域技术人员可以根据实际需要确定。
28.步骤120，当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据。
29.示例性的，任务属性数据包括但不限于：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期等等有关的数据信息，在此不做限定。当被采集对象为车联网车辆，被采集对象的属性信息包括但不限于车辆标识信息(如车辆车型信息、车辆的ecu信息)、车辆分组信息以及需要采集的车辆信号。
30.假设存在有三个任务，分别为任务e，任务f，任务g，获取上述三个任务后，开始获取每一个数据采集任务包含的任务属性数据，其中，任务e包括任务属性数据为：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.04 12:00，采集的信号为关于车辆中某一零部件的信号，与车端交互的目标ecu，采集任务优先级—高，信号的采样周期200ms以及信号的上传周期10s。任务f包括：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.04 12:00，需要采集的信号为关于不同供应商的信号，与车端交互的目标ecu，采集任务优先级—高，信号的采样周期100ms以及信号的上传周期10s。任务g包括：品牌车型a、车辆车型分组为b组，采集时间为2022.03.01 8:00～2022.03.04 12:00，需要采集的信号为车辆故障报警信号，与车端交互的目标ecu，采集任务优先级—高，信号的采样周期100ms以及信号的上传周期20s。
31.步骤130，根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理。示例性地，可以将所有任务属性数据均相同的多个数据采集任务融合处理为一个数据采集任务。
32.作为本技术一个可选实施方式，步骤130，包括：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务，确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间，根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理，将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
33.示例性地，仍以上述任务e，任务f和任务g为例，其中，任务e，任务f和任务g的被采集对象以及任务优先级均相同，因此，开始确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间。对于最小采集周期，采集任务e采样周期200ms，采集任务f，g采样周期100ms根据融合规则，采样周期为100ms，对于最小上传周期，采集任务e、f上传周期10s，采集任务g上传周期20s根据融合规则，上传周期为10s，对于最早数据采集开始时间和最早数据采集结束时间，采集任务e采集时间是2022.03.01 8:00～2022.03.04 12:00采集任务f采集时间是2022.03.01 9:00～2022.03.04 12:00采集任务g采集时间是2022.03.01 10:00～2022.03.04 12:00，所以融合后采集时间范围是2022.03.01 8:00～2022.03.04 12:00。
34.步骤140，将融合处理后的数据采集任务发送至相应的被采集对象。
35.示例性的，在获得融合任务之后，可以对任务进行打包操作，发送至被采集对象处。在融合过程中可以对数据进行去重操作，删除掉融合任务中重复的事项。
36.在一个可选的示例中，假设采集任务的最早开始时间为8：00，则需要将任务生成脚本文件，并在8：00准时发送至被采集对象处。
37.本发明提供的数据采集方法，按照目标间隔时长响应对数据采集任务的任务获取操作；当监控到多个数据采集任务，获取每一个数据采集任务包含的任务属性数据；根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；将融合处理后的数据采集任务发送至相应的被采集对象。通过融合任务的方式，实现了多项采集并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
38.作为本发明一个可选实施方式，按照目标间隔时长响应对数据采集任务的任务获取操作之前，参阅图2所示，该方法还包括：
39.步骤210，向用户显示数据采集任务配置交互界面。
40.示例性的，将所有需要用户配置的项目在交互界面进行展示。
41.在一个可选的实施例中，假设仍以上述任务为例，在任务e的交互界面，显示的项目为：品牌车型—车辆车型分组，采集时间，采集的信号，与车端交互的目标ecu，采集任务优先级，每个信号的采样周期，信号的上传周期。
42.步骤220，接收用户在数据采集任务配置交互界面的任务配置操作。
43.示例性的，任务配置操作的方式可以通过接收用户的点选等操作完成。
44.作为本发明一个可选实施方式，为了保证任务的可操作性，获取每一个数据采集任务包含的任务属性数据之前，参阅图3所示，该方法还包括：
45.步骤310，对获取到数据采集任务响应任务审核操作。
46.示例性的，将采集任务发送至任务审核模块，对任务的合规性等内容进行审核操作。通过设置审核端进行审核会，对采集任务建立了保护机制。
47.步骤320，对审核通过的数据采集任务响应后续的任务融合操作。
48.示例性的，对于没有审核通过的采集任务则直接撤回，并在交互页面中进行提示。只有审核通过的任务才能够在达到开始时间后下发给对应的被采集对象。
49.作为本技术一个具体实施方式，数据采集平台后台将每15/45分定时扫描是否有可以融合的采集任务，如果有多个满足条件的采集任务则进入融合程序，执行融合步骤：数据采集平台系统自行判断是否为同一车辆品牌及同一分组，其次判断目标ecu是否相同，再次判断采集优先级是否相同，然后取最小上传周期及最小采集时间范围，最后将采集的信号做去重合并处理及取最小采样周期，每15分/45分将多个采集任务融合一次，每半点/整点将融合后的任务下发给车端。此步骤是将不同业务需求方设置的采集任务在符合要求的前提下进行融合，生成新的脚本下发给车端，避免造成下发冲突的情况，将采集任务有效的分发下去，能够节省车端资源。车端根据采样周期，在上传周期范围内将采样的数据上报给数据采集平台，数据采集平台将对此数据进行自动解析，形成各类分析图表。此步骤是节省了不同业务需求方人工、物力的成本，由手动分析变为系统自动解析，提升了工作效率。
50.例如，三个需求方需要在2022年3月1日～2022年3月4日采集a品牌下b车的车辆数据并加以分析使用。
51.需求方1(售后服务方)：采集汽车零部件使用情况的数据，来帮助相关车主构建适合自身需求的分析模型。
52.需求方2(汽车供应商)：采集相同车况下，不同供应商的数据，来获取不同供应商车辆的数据，进行对比分析得出评价。
53.需求方3(远程诊断工程师)：采集车辆出现故障的数据，通过数据采集获取车辆状态数据以便得出分析结果。
54.操作步骤如下：
55.1、三个需求方通过账号，根据步骤分别建立配置采集任务：
56.a.售后服务方采集任务建立：
57.选择a品牌车型、车辆车型分组为b组；
58.设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
59.选择需要采集的信号为关于车辆中某一零部件的信号；
60.设置与车端交互的目标ecu；
61.设置采集任务优先级—高；
62.设置每个信号的采样周期200ms以及信号的上传周期10s；
63.保存后提交审核。
64.b.汽车供应商采集任务建立：
65.选择a品牌车型、车辆车型分组为b组；
66.设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
67.选择需要采集的信号为关于不同供应商的信号；
68.设置与车端交互的目标ecu；
69.设置采集任务优先级—高；
70.设置每个信号的采样周期100ms以及信号的上传周期10s；
71.保存后提交审核。
72.c.车辆故障诊断处理方采集任务建立：
73.选择a品牌车型、车辆车型分组为b组；
74.设置采集时间为2022.03.01 8:00～2022.03.04 12:00；
75.选择需要采集的信号为车辆故障报警信号；
76.设置与车端交互的目标ecu；
77.设置采集任务优先级—高；
78.设置每个信号的采样周期100ms以及信号的上传周期20s；
79.保存后提交审核。
80.这时在采集任务审核管理中新增3条采集任务等待审核。
81.2、采集任务审核管理：系统管理员审核将3个需求方建立的采集任务一一点击审核通过。
82.3、数据采集平台将3个需求方采集任务融合，有效分发给车端：
83.融合步骤：数据采集平台后台在2022.03.01 7：45定时扫描到采集任务a、b、c(满足同一车辆品牌及同一分组，目标ecu相同，采集优先级相同的条件)可以融合在一起；
84.取最小采样时间：采集任务a采样周期200ms，采集任务b，c采样周期100ms根据融合规则，采样周期为100ms；
85.取最小上传周期：采集任务a、b上传周期10s，采集任务c上传周期20s根据融合规则，上传周期为10s；
86.取最早采集开始时间及最早结束时间：采集任务a采集时间是2022.03.01 8:00～2022.03.04 12:00；采集任务b采集时间是2022.03.01 9:00～2022.03.04 12:00；采集任务c采集时间是2022.03.01 10:00～2022.03.04 12:00，所以融合后采集时间范围是2022.03.01 8:00～2022.03.04 12:00；
87.信号去重：将关于某一零部件的信号及不同供应商的信号及车辆故障报警信号，相同信号去重。生成融合json脚本下发，将生成的融合json脚本在2022.03.01 8:00下发给车端；
88.4、车端根据融合脚本上传数据：车端将会在2022.03.01 8:00～2022.03.04.12:00根据上传周期10s及采样周期100ms，将采样的数据上报给数据采集平台，数据采集平台将对此数据进行自动解析，形成售后服务商、汽车供应商、车辆故障诊断处理方所需要的各类分析图表。
89.本技术实施例记载的方案，支持多业务需求方采集方案的配置下发(如售后服务方、远程诊断方、供应商评价分析方、增值服务方等)同步采集，满足了多种场景下的数据采集需求；且由传统的采集信号方式升级为动态数据采集的设计方法，数据采集平台处理全部逻辑，节省车端资源，避免造成拥堵。
90.本发明实施例还公开了一种数据采集装置，应用于数据采集平台，数据采集平台与多个被采集对象通信连接，如图4所示，包括：
91.获取模块410，用于按照目标间隔时长响应对数据采集任务的任务获取操作；
92.第一处理模块420，用于当监控到多个数据采集任务，获取每一个数据采集任务包
含的任务属性数据；
93.第二处理模块430，用于根据每一个数据采集任务包含的任务属性数据对多个数据采集任务响应任务融合处理；
94.发送模块440，用于将融合处理后的数据采集任务发送至相应的被采集对象。
95.本发明实施例提供的数据采集装置，通过融合任务的方式，实现了多项采集并行的效果，极大的节省了计算资源，进而也提高了数据的采集效率。
96.作为本技术一个可选实施方式，任务属性数据包括：被采集对象的属性信息、数据采集时间范围、任务优先级、数据采样周期以及被采集对象的数据上传周期；第二处理模块430，用于：根据每一个数据采集任务包含的任务属性数据，确定被采集对象以及任务优先级均相同的数据采集任务作为待融合处理的数据采集任务；确定待融合处理的数据处理任务中最小数据采样周期、最小数据上传周期以及根据待融合处理的数据处理任务对应的数据采集时间范围确定最早数据采集开始时间和最早数据采集结束时间；根据最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间对待融合处理的数据采集任务进行融合处理；将融合处理后得到的数据采集任务发送至相应的被采集对象以对同一被采集对象响应数据采集操作。
97.作为本技术一个可选实施方式，获取模块410，用于：向用户显示数据采集任务配置交互界面；接收用户在数据采集任务配置交互界面的任务配置操作。
98.作为本技术一个可选实施方式，第一处理模块420，用于：对获取到数据采集任务响应任务审核操作；对审核通过的数据采集任务响应后续的任务融合操作。
99.作为本技术一个可选实施方式，发送模块440，还用于：接收被采集对象基于最小数据采样周期、最小数据上传周期以及最早数据采集开始时间和最早数据采集结束时间上传的数据。
100.作为本技术一个可选实施方式，获取模块410，用于：车辆标识信息和需要采集的车辆信号。
101.请参阅图5，图5是本发明可选实施例提供的一种电子设备的结构示意图，如图5所示，该电子设备可以包括：至少一个处理器51，例如cpu(central processing unit，中央处理器)，至少一个通信接口53，存储器54，至少一个通信总线52。其中，通信总线52用于实现这些组件之间的连接通信。其中，通信接口53可以包括显示屏(display)、键盘(keyboard)，可选通信接口53还可以包括标准的有线接口、无线接口。存储器54可以是高速ram存储器(random access memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non—volatile memory)，例如至少一个磁盘存储器。存储器54可选的还可以是至少一个位于远离前述处理器51的存储装置。其中处理器51可以结合图5所描述的装置，存储器54中存储应用程序，且处理器51调用存储器54中存储的程序代码，以用于执行上述任一方法步骤。
102.其中，通信总线52可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。通信总线52可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
103.其中，存储器54可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random—access memory，缩写：ram)；存储器也可以包括非易失性存储器(英
文：non—volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard disk drive，缩写：hdd)或固态硬盘(英文：solid—state drive，缩写：ssd)；存储器54还可以包括上述种类的存储器的组合。
104.其中，处理器51可以是中央处理器(英文：central processing unit，缩写：cpu)，网络处理器(英文：network processor，缩写：np)或者cpu和np的组合。
105.其中，处理器51还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application—specific integrated circuit，缩写：asic)，可编程逻辑器件(英文：programmable logic device，缩写：pld)或其组合。上述pld可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：cpld)，现场可编程逻辑门阵列(英文：field—programmable gate array，缩写：fpga)，通用阵列逻辑(英文：generic array logic，缩写：gal)或其任意组合。
106.可选地，存储器54还用于存储程序指令。处理器51可以调用程序指令，实现如本技术任一实施例中所示的数据采集的方法。
107.本发明实施例还提供了一种非暂态计算机存储介质，计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的数据采集的方法。其中，存储介质可为磁碟、光盘、只读存储记忆体(read—only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，缩写：hdd)或固态硬盘(solid—state drive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
108.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。