一种数据记录系统、数据记录方法及计算机可读记录介质与流程

本发明涉及检索建库，具体提供一种数据记录系统、数据记录方法及计算机可读记录介质。

背景技术：

1、在当前的数据记录和日志系统领域，尤其是在直播课业务这类对系统稳定性和性能损耗敏感的场景中，现有技术面临着若干关键性的缺陷：

2、1.性能与资源限制：传统的日志系统在处理高频率和大量数据时，往往对设备性能(如处理速度)和资源(如电池寿命)产生显著影响。这在移动端应用尤为明显，导致用户体验受损。

3、2.数据上传的不稳定性：在网络环境不稳定或资源有限的情况下，现有系统常常无法保证数据上传的完整性和准确性，导致重要信息丢失。

4、3.跨平台一致性问题：由于技术栈的多样化，如移动端、内嵌webview、游戏引擎等，现有日志系统难以在这些不同平台间保持一致性，影响了数据的可靠性和分析的准确性。

5、4.系统的有限监控和分析能力：大多数现有系统缺乏有效的工具来全面监控和分析日志数据，尤其是在处理复杂的数据流和多元化的技术环境时。

6、有鉴于此，特提出本发明专利。

技术实现思路

1、针对现有技术的这些缺陷，本发明的主要目的是提供一种创新的数据记录系统、数据记录方法及计算机可读记录介质，具体目标包括：

2、优化性能与资源管理：通过高效的数据处理算法和智能资源管理，最小化对设备性能和资源的影响，特别是在移动设备上。

3、提高数据上传的可靠性：引入先进的数据回捞策略和多端上传功能，确保在各种网络和资源条件下都能保持数据的完整性和准确性。

4、实现跨平台数据记录的一致性：开发一套能够适应多样化技术栈的数据记录系统，确保在不同平台间的无缝整合和数据一致性。

5、强化数据监控和分析能力：集成全面的数据监控平台，提供实时的系统性能跟踪、数据流分析和问题诊断能力。

6、通过这些目标，本发明旨在克服现有技术的限制，提供一个更高效、可靠且适用于多种技术环境的数据记录系统、数据记录方法及计算机可读记录介质，特别是在直播课业务等高要求场景中。

7、具体地，采用了如下技术方案：

8、在第一方面，本发明提供一种数据记录系统，包括：

9、数据接口层，支持多平台的使用环境，用于多平台前端应用的数据接入，并将接入的数据转换为统一格式；

10、缓存化层，包括autobuffer模块、bufferheader模块和mmap模块，所述autobuffer模块提供针对数据接口层接入的数据进行缓存和生命周期管理能力，所述bufferheader模块提供针对数据缓存过程精细化控制的能力，所述的mmap模块将经过autobuffer模块、bufferheader模块处理后的数据直接映射到内存空间；

11、调度层，采用单一工作线程策略，通过任务队列的方式管理缓存化层的数据缓存任务，同时监控单一数据缓存任务的执行时间调控后续数据缓存任务的执行。

12、作为本发明的可选实施方式，本发明的一种数据记录系统中，所述的数据接口层包括工作模块、核心模块和统一的数据接入口，所述的数据接入口接入多平台前端应用的数据，将接入的不同平台前端应用的数据转换为统一编程语言的接入数据，所述工作模块根据接入数据生成工作具柄，所述的核心模块根据工具具柄生成工作核心。

13、作为本发明的可选实施方式，本发明的一种数据记录系统中，所述的缓存化层包括多平台文件工具类模块和内存助手模块，所述的多平台文件工具类模块支持针对多平台数据进行文件操作，所述的内存助手模块用于帮助管理缓存数据。

14、作为本发明的可选实施方式，本发明的一种数据记录系统中，所述的调度层包括任务调度模块、线程和消息管理模块及线程池，所述的线程和消息管理模块针对缓存化层数据缓存的线程管理和消息管理，所述的线程池用于为缓存化层进行数据缓存提供工作线程，所述的任务调度模块通过线程和消息管理模块、线程池实现针对缓存化层的数据缓存任务的管理。

15、作为本发明的可选实施方式，本发明的一种数据记录系统，包括第三方工具接入层，所述的第三方工具接入层用于接入为数据缓存所需的工具应用；

16、可选地，所述的第三方工具接入层包括数据压缩模块、boost库模块和标准模块。

17、在第二方面，本发明提供一种所述数据记录系统的数据记录方法，包括数据缓存服务注册流程，所述的数据缓存服务注册流程包括：

18、数据接口层接收前端应用提交的请求数据缓存的数据缓存服务注册申请；

19、检查数据缓存服务注册申请的配置信息，判断配置信息是否有效；

20、若配置信息有效，则根据配置信息生成工作具柄，若配置信息无效，则数据缓存服务注册申请不予通过；

21、根据工作具柄生成工作核心；

22、调度层根据工作核心创建/获取唯一调度器；

23、注册回调函数；

24、检测工作核心状态，若工作核心状态无误，初始化并开启调度器。

25、作为本发明的可选实施方式，本发明所述的数据记录方法，包括上传设置流程，所述的上传设置流程包括：

26、数据接口层接收设定不同技术栈的上传流程代码；

27、确定上传流程代码是否有对应的工作具柄；

28、若工作具柄检查无误,且为工作线程,存储上传流程代码对应的工作具柄；

29、若当前不为工作线程,入调度层的调度器调度队列,等待执行。

30、作为本发明的可选实施方式，本发明所述的数据记录方法，包括数据写入流程，所述的数据写入流程包括：

31、数据接口层接收写入数据；

32、缓存化层判断当前缓存空间是否足够；

33、若缓存空间足够,则将写入数据写入缓存空间；

34、若缓存空间不足,则将现有缓存空间的数据做磁盘存储；

35、对现有缓存空间的数据进行压缩处理，得到压缩文件；

36、压缩文件上传磁盘存储任务入调度层的调度队列,等待调度层的调度器执行压缩文件上传任务。

37、作为本发明的可选实施方式，本发明所述的数据记录方法，包括调度流程，所述的调度流程包括：

38、调度层启用调度器,设定初始参数；

39、调度器绑定数据缓存任务的执行方法；

40、调度器接收数据缓存任务执行通知；

41、若待执行任务有效,则锁定队列，取出队列中最近待执行的任务开始执行，并在任务执行完成会后解锁队列；

42、若任务执行时间超出预设阈值,启动任务调度策略,执行其余任务。

43、在第三方面，本发明提供电子设备，包括处理器和存储器，所述存储器用于存储计算机可执行程序，当所述计算机程序被所述处理器执行时，所述处理器执行所述的一种数据记录方法。

44、在第四方面，本发明提供一种计算机可读记录介质，存储有计算机可执行程序，所述计算机可执行程序被执行时，实现所述的一种数据记录方法。

45、与现有技术相比，本发明的有益效果：

46、本发明的一种数据记录系统，数据接口层经过精心设计,以支持多技术栈以及多平台的使用环境：数据接口层提供了统一的接入点，无论是在移动端原生应用、web应用、windows应用还是其他任何形式的前端应用，数据接口层都能确保数据以统一标准被服务，这种通用型不仅简化了不同平台的数据集成工作,还提高了模块的灵活性和可用性,使得本发明的一种数据记录系统成为多技术环境中记录高并发量数据的理想选择。

47、本发明的一种数据记录系统，缓存化层在整体系统中起到信息交换的至关重要的角色：

48、mmap模块采用mmap技术确保系统的稳定性,通过将数据直接映射到内存空间,最大限度的减少了数据处理过程中的延迟以及性能瓶颈,并可确保数据存储的安全性得到最大保障。

49、autobuffer模块采用autobuffer技术,提供高效、高速的小批量数据缓存,提升数据交换时的处理速度,并具备自动生命周期管理能力,意味着每个小微数据缓存均可智能的分配和释放内存资源,确保资源的高效使用,同时避免了常见的内存泄漏以及资源占用问题，这种自我生命周期管理机制保证了整体系统在运行周期内的长期稳定性和可靠性。

50、bufferheader模块采用采用bufferheader技术提供对数据缓存过程精细化控制的能力，可根据配置信息调整缓存的具体策略,提高了整个系统的适应性。

51、本发明的一种数据记录系统，调度层针对整体系统任务执行进行调度控制,调度层设计时考虑了减少cpu资源以及任务执行效率对整体系统的影响：

52、调度层采用单一工作线程策略,避免了多线程环境中常见的资源竞争和管理复杂性,避免了上下文切换,减少cpu计算资源的消耗以及能源消耗。针对前端数据批次大、访问密度高的应用(如直播课)，决定了此类数据任务是处于高度变化的执行环境,调度层通过任务队列的方式管理缓存化层的数据缓存任务，具体地，调度层内部使用了deque队列作为任务管理,该队列可允许快速的前后双向访问,使得任务调度更加灵活和高效,确保了即便在cpu高负载条件下,任务也可被及时的调度并执行。

53、针对上述使用特性,调度层对每个任务进行调度执行时,采用了递归互斥锁作为关键的线程安全保障机制。这种高级的同步策略允许同一个线程多次安全地获取同一个锁,从而避免了潜在的死锁问题,尤其在类似直播课大前端这种复杂的任务调度以及嵌套调用场景中尤为重要。递归互斥锁的使用不仅增强了系统在执行单个任务时的稳定性以及安全性,也提高了整体系统的操作效率。

54、此外,调度层监控单一数据缓存任务的执行时间调控后续数据缓存任务的执行，还实现了任务执行时间检测机制,该机制监控当前单一任务执行的时长,并与设定阈值进行比较，如果当前任务执行时间超过设定阈值,系统会自动调整后续任务的执行顺序,以减少系统整体任务队列的延迟。此种自适应调度方法增加了系统的响应能力,提高了整体系统的运行效能。

55、综上可知，本发明的一种数据记录系统具有如下技术效果：

56、1、数据接口层提供跨平台兼容的统一数据接口，因此它能够在多种技术栈中无缝集成，从而减少了开发者为适应不同平台而需进行的额外工作，节省了工作时长,提高了开发效率。

57、2、鉴于缓存化层采用了高效的缓存管理机制，本发明的一种数据记录系统能在保证数据实时处理的同时最小化对计算资源的消耗，这意味着更低的运行成本和更高的系统稳定性,同时降低了用户设备的使用门槛。

58、3、由于调度层实施了线程安全的调度系统，每个任务都在单线程中顺序执行，避免了多线程并发带来的复杂性，从而提升了系统的可靠性与响应速度,同时还通过控制任务调度,降低了系统功耗。

59、结合以上三点,本发明的一种数据记录系统，不仅提高了数据处理的效率,降低了功耗,降低了开发成本,更重要的是可以让类似直播课这种高度数据密集型的数据记录需求得到满足，增强了用户体验和具体的商业价值。