内存镜像方法和系统与数据发送装置和数据接收装置的制造方法

文档序号:9687193阅读:231来源:国知局
内存镜像方法和系统与数据发送装置和数据接收装置的制造方法
【技术领域】
[0001]本发明实施方式涉及数据传输技术领域,更具体地,涉及一种内存镜像方法和系统与数据发送装置和数据接收装置。
【背景技术】
[0002]在当今的信息时代中,各种信息设备应运而生:有用于话音传输的固定电话、移动电话;有用于信息资源共享、处理的服务器和个人电脑;有用于视频数据显示的各种电视机等等。这些设备都是在特定领域内为解决实际的需求而产生的。随着电子消费、计算机、通信(3C)融合的到来,人们越来越多地将注意力放到了对各个不同领域的信息设备进行综合利用的研究上,以充分利用现有资源设备来为人们更好的服务。
[0003]在各种实时系统中,经常需要将最新生成的数据实时的投放到应用系统中,以让实时数据得以应用。这就涉及到了一对多的内存数据同步问题。在现有技术中,首先由实时系统将内存中的数据dump到磁盘中,并写成文件;然后再通过ftp/scp等点对点文件传输工具,通过网络将文件串行分发到业务机器上。接着,业务机器上的工具定时读取(load)该文件并存放到磁盘中,再从磁盘写入业务机器的内存,并进行排序和建索弓I等动作,最后业务机器通知业务进程使用或供查询服务进程使用。
[0004]然而,这种内存到磁盘,磁盘到网络,网络到磁盘,磁盘到内存的数据传输方式,至少具有下列缺点:
[0005]1、开发成本高:需要开发dump数据逻辑、load数据逻辑以及调用ftp/scp等逻辑,还需要开发定时清理磁盘的逻辑以及检查数据是否传输完整的逻辑。
[0006]2、传输时间长:文件的dump时间、文件串行发送的时间(遇到大文件跨机房传输还需要限速,则时间更久)、定时器定时load文件的时间,这些时间的累加之和就是总的传输时间。
[0007]3、存在大量的运维量:由于要写磁盘,当机器磁盘故障时或者磁盘满时无法进行镜像文件生成。而且,该方法还依赖第三方软件。当进行机器迁移时,还会有大量的脚本需要迁移。

【发明内容】

[0008]本发明实施方式提出一种内存镜像方法,以降低开发成本。
[0009]本发明实施方式还提出了一种内存镜像系统,以降低开发成本。
[0010]本发明实施方式还提出了一种数据发送装置,以降低开发成本。
[0011]本发明实施方式还提出了一种数据接收装置,以降低开发成本。
[0012]本发明实施方式的具体方案如下:
[0013]一种内存镜像方法,该方法包括:
[0014]在数据发送端创建数据发送内存,在数据接收端创建数据接收内存,并在所述数据发送内存与所述数据接收内存之间建立传输链路;
[0015]将数据写入所述数据发送内存,并基于所述传输链路将写入所述数据发送内存的所述数据发送到所述数据接收内存。
[0016]一种内存镜像系统,包括数据发送端和数据接收端,所述数据发送端包括数据发送内存,所述数据接收端包括数据接收内存;在所述数据发送内存与所述数据接收内存之间具有传输链路;
[0017]所述数据发送端,用于生成数据,将所述数据写入所述数据发送内存,并基于所述传输链路将写入所述数据发送内存的所述数据发送到所述数据接收内存;
[0018]所述数据接收端,用于获取所述数据接收内存所接收的数据。
[0019]一种数据发送装置,包括数据发送写缓存、数据发送读缓存和分发控制单元,其中:数据发送读缓存与数据接收装置的内存之间具有传输链路;
[0020]数据发送写缓存,用于写入数据;
[0021]数据发送读缓存,用于基于所述传输链路将所述数据发送到所述数据接收装置的内存;
[0022]分发控制单元,用于在数据写入数据发送写缓存之后在所述数据发送写缓存与所述数据发送读缓存之间切换。
[0023]一种数据接收装置,包括数据接收写缓存、数据接收读缓存和接收控制单元,其中:数据接收写缓存与数据发送装置的内存之间具有传输链路;
[0024]数据接收写缓存,用于基于所述传输链路从所述数据发送装置的内存写入数据;
[0025]数据接收读缓存,用于将所述数据发送到数据处理装置;
[0026]接收控制单元,用于在数据写入数据接收写缓存之后在所述数据接收写缓存与所述数据接收读缓存之间切换。
[0027]从上述技术方案可以看出,在本发明实施方式中,在数据发送端创建数据发送内存,在数据接收端创建数据接收内存,并在所述数据发送内存与所述数据接收内存之间建立传输链路;将数据写入所述数据发送内存,并基于所述传输链路将写入所述数据发送内存的所述数据发送到所述数据接收内存。由此可见,与现有技术中“内存到磁盘,磁盘到网络,网络到磁盘,磁盘到内存”的数据传输方式不同,本发明使用的是“内存-网络-内存”的传输模式。由于通过网络直接在内存之间传输数据,可以避开磁盘的处理能力瓶颈,并且可以显著降低针对各种适配逻辑的开发工作,并降低运维量。
[0028]另外,本发明实施方式实现了一对多的内存镜像服务架构。以诸如ask协议之类的一对多传输协议为基础,通过内存传输的方式,让大量的数据接收端(比如业务机)快速获得和数据发送端(比如主控机)完全一致的内存数据块,从而可以对外提供内存镜像的服务。
【附图说明】
[0029]图1为根据本发明实施方式内存镜像方法流程图;
[0030]图2为根据本发明实施方式内存镜像系统结构图;
[0031]图3为根据本发明实施方式内存镜像处理示意图;
[0032]图4为根据本发明实施方式数据发送装置的结构图;
[0033]图5为根据本发明实施方式数据接收装置的结构图。
【具体实施方式】
[0034]为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
[0035]为了描述上的简洁和直观,下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据……”是指“至少根据……,但不限于仅根据……”。由于汉语的语言习惯,下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。
[0036]在基于互联网的各种应用中,后台开发常会遇到这样的需求:把某台机器上的内存数据(如:某个写完数据的内存数据表,某个建好索引排好序的数据结构)单向推送到其他机器的内存中。
[0037]本发明实施方式提出一种新的单向内存传输服务,可以将写入内存的数据直接单向的传输到分布式集群的内存上。基于各种一对多传输协议(比如ask协议),能够进行各种内存镜像的快速分发,保证数据的一致性和应用的实时性,并提高分发的可靠性同时也大大降低了运维量。
[0038]图1为根据本发明实施方式内存镜像方法流程图。
[0039]如图1所示,该方法包括:
[0040]步骤101:在数据发送端创建数据发送内存,在数据接收端创建数据接收内存,并在所述数据发送内存与所述数据接收内存之间建立传输链路。
[0041]步骤102:将数据写入所述数据发送内存,并基于所述传输链路将写入所述数据发送内存的所述数据发送到所述数据接收内存。
[004
当前第1页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1