数据上报方法及装置、电子设备和计算机可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种数据上报方法及装置、电子设备和计算机可读存储介质。


背景技术：

2.在数据驱动型业务中，如营销策略、产品迭代、业务分析、用户画像等，都依赖于数据提供决策支持。因此，在数据驱动型业务的数据上报过程中通常会需要上传较大数据量的数据，而目前在上传体量较大的数据时均是直接上传数据包，该方式对设备的性能消耗较大，进而导致用户体验较差。


技术实现要素：

3.本技术实施例的目的在于提供一种数据上报方法及装置、电子设备和计算机可读存储介质，解决了现有技术中均是直接上传体量较大的数据包，导致对设备的性能消耗较大的技术问题。具体技术方案如下：
4.在本技术实施的第一方面，首先提供了一种数据上报方法，所述方法包括：基于预设方式收集第一数据；在第一数据的数据量大于第一阈值的情况下，对第一数据进行压缩；上报压缩后的第一数据；其中，压缩后的第一数据的数据量小于压缩之前的第一数据的数据量。
5.在本技术实施的第二方面，还提供了一种数据上报装置，所述装置包括：收集模块，用于基于预设方式收集第一数据；压缩模块，用于在第一数据的数据量大于第一阈值的情况下，对第一数据进行压缩；第一上报模块，用于上报压缩后的第一数据；其中，压缩后的第一数据的数据量小于压缩之前的第一数据的数据量。
6.在本技术实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序，实现上述第一方面中的数据上报方法。
7.在本技术实施的第四方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现执行上述第一方面中的数据上报方法。
8.本技术实施例中，在收集第一数据后，可以对数据量大于第一阈值的第一数据进行压缩并上报，即可以对较大数据量进行压缩，由于压缩之后的数据量减小了，因此，上报压缩后的第一数据可以提升设备性能，而且也能提升用户体验，从而解决现有技术中均是直接上传体量较大的数据包，导致对设备的性能消耗较大的技术问题。
附图说明
9.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
10.图1为本技术实施例中数据上报方法流程图之一；
11.图2为本技术实施例中确定第一阈值方式的流程图；
12.图3为本技术实施例中数据上报方法流程图之二；
13.图4为本技术实施例中数据上报方法流程图之三；
14.图5为本技术实施例中数据上报装置结构示意图之一
15.图6为本技术实施例中数据上报装置结构示意图之二；
16.图7为本技术实施例中数据上报装置结构示意图之三；
17.图8为本技术实施例中电子设备的结构示意图。
具体实施方式
18.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述地实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
19.在后续的描述中，使用用于表示元件的诸如“模块”、“单元”的后缀仅为了有利于本技术的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。本技术实施例提供了一种数据上报方法，如图1所示，该方法包括以下步骤：
21.步骤102:基于预设方式收集第一数据；
22.其中，需要说明的是，本技术实施例的执行主体在一示例中可以是物联网设备，包括但不限于智能家居、智能穿戴设备、道路自动收费设备、车位管理设备。
23.步骤104:在第一数据的数据量大于第一阈值的情况下，对第一数据进行压缩；
24.其中，需要说明的是，第一阈值是判断第一数据是否需要进行压缩的依据，当第一数据的数据量大于第一阈值，则对第一数据进行压缩，当第一数据的数据量小于或等于第一阈值，则不需要对第一数据进行压缩；对数据进行的压缩的方式包括但不限于使用文本压缩工具、使用文本压缩算法。
25.步骤106:上报压缩后的第一数据；其中，压缩后的第一数据的数据量小于压缩之前的第一数据的数据量。
26.其中，可选的，触发数据上报的方式包括但不限于定时上报、点击事件触发上报、数据定量上报等。
27.通过本技术实施例的上述步骤102至步骤106，在收集数据后，对数据量大于第一阈值的第一数据进行压缩并上报，即可以对较大数据量进行压缩，由于压缩之后的数据量减小了，因此，上报压缩后的第一数据可以提升了设备性能，而且也能提升用户体验，从而解决现有技术中均是直接上传体量较大的数据包，导致对设备的性能消耗较大的技术问题。
28.在本技术实施例的可选实施方式中，本技术实施例的方法步骤进一步可以包括：
29.步骤108，在第一数据的数据量小于或等于第一阈值的情况下，直接上报未压缩的第一数据。
30.需要说明的是，在本技术实施例中上报压缩后的第一数据和上报未压缩的第一数
据的方式包括以下至少一项：定时上报、点击事件触发上报、数据定量上报。
31.在本技术实施例的可选实施方式中确定第一阈值的方式，如图2所示，进一步可以包括：
32.s1：收集第二数据，并对收集的第二数据进行压缩；
33.s2：判断压缩后的第二数据的数据量是否大于压缩前的第二数据的数据量；
34.s3：在压缩后的第二数据的数据量小于或等于压缩前的第二数据的数据量的情况下，确定第一阈值为第二数据的数据量；
35.s4：在压缩后的第二数据的数据量大于压缩前的第二数据的数据量的情况下，重复执行s1至s2；其中，后一次收集的第二数据的数据量大于前一次收集的第二数据的数据量。
36.通过上述s1至s4，具体的，第一阈值的确定方式是在设计阶段由开发人员对数据进行收集试验，收集了第二数据后，对第二数据进行压缩，然后比较压缩前后的第二数据大小，当压缩后的第二数据的数据量小于或等于压缩前的第二数据的数据量，确定第一阈值为第二数据的数据量；当压缩后的第二数据的数据量大于压缩前的第二数据的数据量，则重新收集数据量更大的第二数据，反复试验直到压缩后的第二数据的数据量小于或等于压缩前的第二数据的数据量，确定第一阈值为第二数据的数据量；例如，收集到数据a，对数据a进行压缩，对比压缩前后的数据a的大小，如果压缩后的数据a数据量小于等于数据a的数据量，则确定数据a的数据量为第一阈值；如果压缩后的数据a数据量大于数据a的数据量，则重新收集数据量比数据a大的数据b，对数据b进行压缩并比较大小，反复试验直到找到压缩后的数据量小于或等于压缩前的数据量的数据作为第一阈值。
37.在本技术实施例的可选实施方式中，本技术步骤102涉及到的基于预设方式收集第一数据，进一步可以包括：基于数据埋点的方式收集第一数据。
38.其中,数据埋点是数据采集的方式，通过数据埋点可以捕捉特定的用户行为，常用在数据驱动型业务中，其中，数据驱动型业务包括但不限于营销策略、产品迭代、业务分析、用户画像；其中，特定的用户行为包括但不限于按钮点击量、阅读时长。
39.在本技术实施例的可选实施方式中，本技术步骤104涉及到的对第一数据进行压缩的方式，如图3所示，进一步可以包括：
40.步骤302：选择预设的压缩方式；
41.步骤304：在第一数据中添加第一字段，第一字段用于表征第二数据已压缩；
42.步骤306：基于预设的压缩方式对添加第一字段的第一数据进行压缩。
43.通过上述步骤302至步骤306，具体的，预设的压缩方式包括但不限于数据埋点；在一示例中添加的第一字段可以是compress(压缩)，该compress用于表征第二数据已压缩；当然上述仅仅是对第一字段的举例说明，也可以是其他具体的字段，只要能表征数据已压缩，均是在本技术的保护范围之内，即在本技术中并不限定第一字段的具体形式。此外，本技术实施例中的预设的压缩方式包括但不限于使用文本压缩工具、使用文本压缩算法。
44.下面结合本技术实施例的具体实施方式对本技术进行举例说明，该具体实施方式提供了一种数据上报方法，如图4所示，该数据上报方法包括：
45.步骤402，埋点收集数据；
46.步骤404，触发数据上报；
47.步骤406，判断当前数据量是否需要压缩；在判断结果为是的情况下，执行步骤408，在判断结果为否的情况下，执行步骤410；
48.其中，判断采集的数据是否需要压缩，是根据数据是否达到设定好的边界条件时(对应上述具体实施例中第一数据的数据量大于第一阈值)，根据设置好的数据压缩方式对数据进行压缩，然后在数据包上添加字段compress，并取值为true(真)，表征该数据包已进行压缩；
49.步骤408，在数据包中添加字段compress并取值为true，并对数据进行压缩；
50.步骤410，数据上报。
51.需要说明的是，该数据上报方法的执行主体可以为用户在终端上下载的已设置埋点(对应上述实施例中收集数据的预设方式)的app(应用程序)，埋点不断采集数据；将压缩后的数据上报至服务端；如果采集到的数据未达到设定好的边界条件则直接将数据包上报到服务端。
52.现有技术中，企业或个人用户在进行数据上报时，要保证数据上报不会影响用户的正常体验，也不会导致过多的设备性能消耗，在进行数据上报时，数据包过大会影响用户体验，但是对所有数据包进行压缩后上传，又可能出现压缩后的数据包数据量比压缩前的数据包数据量更大的情况。通过本实施例中的具体实施方式，在收集数据后，对数据量大于第一阈值的数据进行压缩并上报，通过采用数据压缩的手段，在上传体量较大的数据时，可以提升设备性能，优化用户体验。
53.本技术实施例还提供一种数据上报装置，如图5所示，该装置包括：
54.收集模块52，用于基于预设方式收集第一数据；
55.压缩模块54，用于在第一数据的数据量大于第一阈值的情况下，对第一数据进行压缩；
56.第一上报模块56，用于上报压缩后的第一数据；其中，压缩后的第一数据的数据量小于压缩之前的第一数据的数据量。
57.通过本技术实施例提供的装置，在收集数据后，对数据量大于第一阈值的第一数据进行压缩并上报，即可以对数据量较大的数据进行压缩，由于压缩之后的数据量减小了，因此，上报压缩后的第一数据可以提升设备性能，而且也能提升用户体验，从而解决现有技术中均是直接上传体量较大的数据包，导致对设备的性能消耗较大的技术问题。
58.可选地，本技术实施例提供的数据上报装置，如图6所示，该装置包括：
59.第一处理模块62，用于执行s1：收集第二数据，并对收集的第二数据进行压缩；
60.判断模块64，用于执行s2：判断压缩后的第二数据的数据量是否大于压缩前的第二数据的数据量；
61.确定模块66，用于执行s3：在压缩后的第二数据的数据量小于或等于压缩前的第二数据的数据量的情况下，确定第一阈值为第二数据的数据量；
62.第二处理模块68，用于执行s4：在压缩后的第二数据的数据量大于压缩前的第二数据的数据量的情况下，重复执行s1至s2；其中，后一次收集的第二数据的数据量大于前一次收集的第二数据的数据量。
63.可选地，本技术实施例中的收集模块52进一步可以包括：收集单元，用于基于数据埋点的方式收集第一数据。
64.可选地，如图7所示，本技术实施例中的压缩模块54进一步可以包括：
65.选择单元72，用于选择预设的压缩方式；
66.添加单元74，用于为第一数据添加第一字段；其中，第一字段用于表征第二数据已压缩；
67.压缩单元76，用于基于预设的压缩方式对添加第一字段的第一数据进行压缩。
68.可选地，本技术实施例中的装置进一步可以包括：第二上报模块，用于在第一数据的数据量小于或等于第一阈值的情况下，直接上报未压缩的第一数据。
69.可选地，本技术实施例中的装置的上报数据的方式包括以下至少一项：定时上报、点击事件触发上报、数据定量上报。
70.本技术实施例还提供了一种电子设备，如图8所示，包括处理器801、通信接口802、存储器803和通信总线808，其中，处理器801，通信接口802，存储器803通过通信总线808完成相互间的通信，
71.存储器803，用于存放计算机程序；
72.处理器801，用于执行存储器803上所存放的程序时，实现图1中的方法步骤，其所起到的作用与图1中的方法步骤一样，在此不再赘述。
73.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
74.通信接口用于上述终端与其他设备之间的通信。
75.存储器可以包括随机存取存储器(random access memory，简称ram)，也可以包括非易失性存储器(non
‑
volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
76.上述的处理器可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field－programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
77.在本技术提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据上报方法。
78.在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一所述的数据上报方法。
79.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机
指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
80.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
81.本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
82.以上所述仅为本技术的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本技术的保护范围内。