技术特征：
1.一种分布式系统中数据传输处理与存储方法，其特征在于，包括以下步骤：当数据源产成数据后，生成远程过程调用发送至存储计算集群；存储计算集群收到调用后，选定任一存储计算节点作为源存储节点，通过远程内存访问读取数据源的内存并存储在集群的存储级内存中；所述源存储节点接收到第一份数据后给集群中分配的用于做数据冗余复制的第二个节点发送远程过程调用；冗余复制节点收到消息后，通过远程持久内存访问完成数据的远程复制，完成数据的高可用持久写入；所述存储计算集群具有存储功能，包括使用存储级内存作为一级持久缓存，使用基于nvme协议的固态硬盘作为最终存储的二级存储，使用显卡、硬件加速卡作为数据计算加工单元的具有存储计算的集群系统。2.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，所述数据源及存储计算集群之间建立具备远程内存访问功能的网络，进行消息传送。3.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，在源存储节点完成存储级内存写入后，根据预先定义对数据的工作负荷进行计算，所述工作负荷由显卡及硬件加速卡完成；工作负荷根据预先定义进行流式多任务处理，在完成预定工作负荷后，将数据回写回本机内存；工作负荷既可根据需求只在源数据存储节点进行，又可根据负荷情况在源存储节点和冗余复制存储节点分别运行不同负荷。4.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，若数据传送目标中存在二级存储单元，则通过直接存储器访问，将数据存储到二级存储中；对于有数据冗余要求的场景，工作负荷调度单元通过远程过程调用方式通知冗余复制节点，冗余复制节点收到消息后启动远程内存访问，将数据写入本地内存，再通知本地存储启动直接存储器访问，完成数据的冗余。5.根据权利要求1所述的一种分布式系统中数据传输处理与存储方法，其特征在于，还包括：根据远程过程调用响应时间判断存储计算节点是否存在异常；获取存储计算集群的有向带权图，预设存储计算集群中存储计算节点间调用请求的响应时间区间；获取存储计算集群中存储计算节点间远程过程调用的响应时间，判断所述响应时间是否处于预设相应时间区间内；若否，则将远程过程调用的目标存储节点确定为异常节点，根据所述有向带权图将存储计算节点间的调用关系转化为请求字符串；计算所述请求字符串与系统中已知异常对应请求字符串的相似度，根据所述相似度进行排序，获取相似度最高的已知异常确定异常节点的异常信息。6.一种分布式系统中数据传输处理与存储系统，其特征在于，该系统包括：存储器、处理器，所述存储器中包括一种分布式系统中数据传输处理与存储方法程序，所述一种分布式系统中数据传输处理与存储方法程序被所述处理器执行时实现如下步骤：当数据源产成数据后，生成远程过程调用发送至存储计算集群；
存储计算集群收到调用后，选定任一存储计算节点作为源存储节点，通过远程内存访问读取数据源的内存并存储在集群的存储级内存中；所述源存储节点接收到第一份数据后给集群中分配的用于做数据冗余复制的第二个节点发送远程过程调用；冗余复制节点收到消息后，通过远程持久内存访问完成数据的远程复制，完成数据的高可用持久写入；所述存储计算集群具有存储功能，包括使用存储级内存作为一级持久缓存，使用基于nvme协议的固态硬盘作为最终存储的二级存储，使用显卡、硬件加速卡作为数据计算加工单元的具有存储计算的集群系统。7.根据权利要求6所述的一种分布式系统中数据传输处理与存储系统，其特征在于，若数据传送目标中存在二级存储单元，则通过直接存储器访问，将数据存储到二级存储中；对于有数据冗余要求的场景，工作负荷调度单元通过远程过程调用方式通知冗余复制节点，冗余复制节点收到消息后启动远程内存访问，将数据写入本地内存，再通知本地存储启动直接存储器访问，完成数据的冗余。8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中包括一种分布式系统中数据传输处理与存储方法程序，所述一种分布式系统中数据传输处理与存储方法程序被处理器执行时，实现如权利要求1至5中任一项所述的一种分布式系统中数据传输处理与存储方法的步骤。
技术总结
本发明公开了一种分布式系统中数据传输处理与存储方法、系统及介质，包括：当数据源产成数据后，生成远程过程调用发送至存储计算集群，存储计算集群收到调用后，选定任一存储计算节点作为源存储节点，通过远程内存访问读取数据源的内存并存储在集群的存储级内存中；源存储节点接收到第一份数据后给集群中分配的用于做数据冗余复制的第二个节点发送远程过程调用，冗余复制节点收到消息后，通过远程持久内存访问完成数据的远程复制，完成数据的高可用持久写入；本发明实现了在当前硬件下数据传输处理，存储的过程中的最短数据拷贝、存储路径，高效流式数据处理及存储，解决了当前存储和计算同步进行时数据多次拷贝的时延，效率和资源浪费问题。和资源浪费问题。和资源浪费问题。
技术研发人员：齐泽青
受保护的技术使用者：深圳市泛联信息科技有限公司
技术研发日：2022.05.31
技术公布日：2022/6/30