一种客户端数据的采集方法和装置的制造方法
【技术领域】
[0001]本发明涉及计算机处理的技术领域，特别是涉及一种客户端数据的采集方法和一种客户端数据的采集装置。
【背景技术】
[0002]随着网络科技的快速发展，越来越多的企业将产品以第三方应用程序(Applicat1n, App)的方式移植至各种操作平台上，例如即时通讯工具、电子邮箱、浏览器等等。
[0003]应用程序的开发者通常通过采集与第三方应用程序相关的数据进行分析，进一步改进第三方应用程序的设计，以增强用户体验。
[0004]在很多情况中，当用户打开应用或进行一些操作时，会进行一些数据的上报，上传信息的频率是比较高的。
[0005]若用户未对终端进行调整，如增加应用程序、升级操作系统等等，则可能上报了大量的重复信息，可能会出现在很短的时间内进行多条相同数据的上报情况，使得数据库频繁读取，造成服务器压力过大、解析服务异常等不可控情况，甚至宕机。
【发明内容】
[0006]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种客户端数据的采集方法和相应的一种客户端数据的采集装置。
[0007]依据本发明的一个方面，提供了一种客户端数据的采集方法，包括:
[0008]接收客户端发送的数据上传请求；所述上传请求中包括标识信息、长度为第一字符串长度的第一数据；
[0009]对所述第一数据计算第一特征值；
[0010]查找是否存储有，基于所述标识信息对应的第二数据生成的特征信息；所述特征信息包括第二特征值、第二字符串长度；
[0011]当查找到特征信息时，判断所述第一字符串长度与所述字符串长度是否相等；
[0012]当所述第一字符串长度与所述第二字符串长度相等时，判断所述第一特征值与所述第二特征值是否相同；若是，则拒绝写入所述第一数据；若否，则写入所述第一数据，以覆盖所述第二数据。
[0013]可选地，所述对所述第一数据计算第一特征值的步骤包括:
[0014]当所述第一字符串长度小于或等于预设的长度阈值时，对所述第一数据中的每个字符计算散列值；
[0015]将每个字符的散列值累加，获得第一特征值。
[0016]可选地，所述对所述第一数据计算第一特征值的步骤包括:
[0017]当所述第一字符串长度大于预设的长度阈值时，按照所述第一字符串长度计算跳跃值；
[0018]对所述第一数据中、与所述跳跃值匹配的字符计算散列值；
[0019]将与所述跳跃值的字符的散列值累加，获得第一特征值。
[0020]可选地，所述按照所述第一字符串长度计算跳跃值的步骤包括:
[0021]将所述第一字符串长度除以预设的值获得的余数设置为跳跃值。
[0022]可选地，与所述跳跃值匹配的字符为，从第O位字符开始、位置的偏移量为所述跳跃值整数倍的字符。
[0023]可选地，该方法还包括:
[0024]当未查找到特征信息时，写入所述第一数据；
[0025]将所述第一特征值和所述第一字符串长度设置为特征信息。
[0026]可选地，该方法还包括:
[0027]当所述第一字符串长度与所述第二字符串长度不相等时，写入所述第一数据。
[0028]可选地，该方法还包括:
[0029]将所述第一特征值和所述第一字符串长度覆盖所述特征信息。
[0030]根据本发明的另一方面，提供了一种客户端数据的采集装置，包括:
[0031]数据上传请求接收模块，适于接收客户端发送的数据上传请求；所述上传请求中包括标识信息、长度为第一字符串长度的第一数据；
[0032]第一特征值计算模块，适于对所述第一数据计算第一特征值；
[0033]特征信息查找模块，适于查找是否存储有，基于所述标识信息对应的第二数据生成的特征信息；所述特征信息包括第二特征值、第二字符串长度；
[0034]字符串长度判断模块，适于在查找到特征信息时，判断所述第一字符串长度与所述字符串长度是否相等；
[0035]特征值判断模块，适于在所述第一字符串长度与所述第二字符串长度相等时，判断所述第一特征值与所述第二特征值是否相同；若是，则调用拒绝模块，若否，则调用第一与丰旲块；
[0036]拒绝模块，适于拒绝写入所述第一数据
[0037]第一写模块，适于写入所述第一数据，以覆盖所述第二数据。
[0038]可选地，所述第一特征值计算模块还适于:
[0039]当所述第一字符串长度小于或等于预设的长度阈值时，对所述第一数据中的每个字符计算散列值；
[0040]将每个字符的散列值累加，获得第一特征值。
[0041 ] 可选地，所述第一特征值计算模块还适于:
[0042]当所述第一字符串长度大于预设的长度阈值时，按照所述第一字符串长度计算跳跃值；
[0043]对所述第一数据中、与所述跳跃值匹配的字符计算散列值；
[0044]将与所述跳跃值的字符的散列值累加，获得第一特征值。
[0045]可选地，所述第一特征值计算模块还适于:
[0046]将所述第一字符串长度除以预设的值获得的余数设置为跳跃值。
[0047]可选地，与所述跳跃值匹配的字符为，从第O位字符开始、位置的偏移量为所述跳跃值整数倍的字符。
[0048]可选地，该装置还包括:
[0049]第二写模块，适于在未查找到特征信息时，写入所述第一数据；
[0050]特征信息设置模块，适于将所述第一特征值和所述第一字符串长度设置为特征信息。
[0051 ] 可选地，该装置还包括:
[0052]第三写模块，适于在所述第一字符串长度与所述第二字符串长度不相等时，写入所述第一数据。
[0053]可选地，该装置还包括:
[0054]特征信息覆盖模块，适于将所述第一特征值和所述第一字符串长度覆盖所述特征?目息O
[0055]在本发明实施例中，通过二重校验机制对字符串进行判重，在字符串长度的基础上拼接特征值，首先校验字符串长度是否相同，当字符串长度相同时，第一数据与第二数据可能相同，也可能不相同，因此，再次校验特征值是否相同，若特征值相同，则可以表示第一数据与第二数据相同，若特征值不同，则可以表示第一数据与第二数据不相同，先解析简单的字符串长度，再解析复杂的特征值，对数据解析量级进行压缩，大大提高了字符串的校验效率。
[0056]本发明实施例在第一数据与第二数据相同时，拒绝写入第一数据，大大减少了数据库的读写操作，减少了服务器的压力，保证服务器的正常运行。
[0057]本发明实施例计算散列值的基础上加上跳跃值的逻辑，通过牺牲少部分的碰撞率来保证运算的效率，既保证了数据解析的实时性又保证了解析操作的运行稳定性。
[0058]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0059]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0060]图1示出了根据本发明一个实施例的一种客户端数据的采集方法实施例1的步骤流程图；
[0061]图2示出了根据本发明一个实施例的一种用户sess1n系统的架构图；
[0062]图3示出了根据本发明一个实施例的一种散列值的计算示例图；
[0063]图4示出了根据本发明一个实施例的一种客户端数据的采集方法实施例2的步骤流程图；以及
[0064]图5示出了根据本发明一个实施例的一种客户端数据的采集装置实施例的结构框图。
【具体实施方式】
[0065]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0066]参照图1，示出了根据本发明一个实施例的一种客户端数据的采集方法实施例1的步骤流程图，具体可以包括如下步骤:
[0067]步骤101，接收客户端发送的数据上传请求；
[0068]如图2所示，用户sess1n系统是一个独立的后台异步系统，对外提供业务实体，如游戏等等。
[