专利名称：全栖企业数据交换高速引擎的制作方法
技术领域：
本发明涉及一种全栖企业数据交换高速引擎。
背景技术：
数据交换是任何计算机应用、服务、系统必不可少的机制，小到一个Hello world 程序，大到操作系统，数据交换无处不在。企业级应用更是需要频繁、大量的数据交换来对 整个系统作支撑，本方案就是针对企业级数据交换特点提出的全新解决方案，下文简称“弓丨擎”。目前，企业级数据交换应用的手段有内存交换、文件交换、数据库等方式。然而这 些数据交换方式都存在弊端。首先，内存交换是企业级小数据量交换的首选，优势于速度 快，缺点其一在于管理困难，不同水平的开发者开发出的交换算法千差万别，开发者的经验 决定了系统整体的稳定性和处理效率，这也是系统在生产线上出现事故最频繁的地方；其 二、内存中的数据在主机掉电后将灰飞烟灭，虽然这样的事不常发生，但一旦出现一次就会 给企业带来无法估量的损失。文件交换也是常用的方法之一，优点在于数据的稳定性得到 了保障，主机在掉电后数据一样在文件中，但效率受到了磁盘IO的限制，而管理的难度与 内存方式不相上下，因此只能在对效率要求很低的情况下使用。目前数据库在中型系统中 是使用最多的交换方式，数据相对稳定，有完善的维护机制，但正是因为数据库对数据的 稳定性考虑非常多，使用时效率往往和机器的硬件成正比，面对每秒数万的访问量时常常 要使用专业的数据库服务器才能满足，对于中小型项目，这部分费用将直接从项目的利润 中扣除。综上所述不难看出目前在企业级交换解决方案中还没有一种兼并廉价、安全并高 效的手段，因此“全栖企业数据交换高速引擎”出现了，该方案取众家之长完美弥补了中、小 型应用系统的真空。
发明内容
本发明的目的是提供一全栖企业数据交换高速引擎，引擎基于文件映射机制对 地址和资源进行了封装，对使用该引擎的模块提供了非常简洁的增、删、查、改方法。寻址算 法采用Linux操作系统内核管理内存的红黑树，借阅、归还式资源分配器避免了做到了直 接分配资源而不需要查找。为了方便使用，访问引擎的方式为键值对应式，简单的说就是用 户输入一个指定的键后能得到一个预期的值，键可以是多种条件的组合，值可以是一个数 据结构或数据对象，因此键与值的搭配可以表达任意复杂度的查找。首先需要介绍虚拟内存，虚拟内存是指使用磁盘当作RAM的扩展，这样可用的内 存的大小就相应地增大了。内核会将暂时不用的内存块的内容写到硬盘上，这样一来，这块 内存就可用于其它目的。当需要用到原始的内容时，它们被重新读入内存。这些操作对用 户来说是完全透明的；操作系统下运行的程序只是看到有大量的内存可供使用而并没有注 意到时不时它们的一部分是驻留在硬盘上的。文件映射是虚拟内存的中心概念，文件映射一方面给用户提供了一组措施，用户将文件映射到自己地址空间的某个部分，使用简单的 内存访问指令读写文件；另一方面，它也可以用于内核的基本组织模式，在这种模式中，内 核将整个地址空间视为诸如文件之类的一组不同对象的映射。如图2中所示，插入数据时应用系统把指定的数据对象准备好后，把查询该数据 的条件拼装成Key插入引擎，数据通过资源分配器取得存储资源后把数据存放在红黑树 上，树节点通过部寻址机制指向数据存储空间，把数据对象存在真实的数据存储空间中，整 个插入数据的动作就完成了 .
这整个过程都是在虚拟内存中完成的，该引擎在2CPU、16 G内存下经测试，800万条 记录数据量插入数据每条IK达到每秒处理521580. 388条，查找每秒2790373. 212条，删除 数据每秒2764340. 013条。在插入的过程中强行关闭服务器电源，在服务器重新启动后可 继续处理。当服务器因异常而断电时，索引中的数据已通过文件映射机制保存到文件中，从 而在服务器硬盘保存完好的情况下不会丢失数据，因此本引擎做到了高效、又安全。综上所述，由于采用了上述技术方案，本发明的有益效果是
虚拟内存与真实内存在使用的效率上相差无几，但整个过程都会被完整的放入交换文 件中，而交换文件通过内存映射成为了可以控制的部分，引擎的关键部分也在于此，由于控 制了交换文件但交换数据的时机和效率同样交由系统保障(可手动控制)，数据在交换的时 候享受了内存的效率而保存了文件的可靠性，这就是引擎的核心优势。修改、删除、查询数 据也与上图访问过程一致，此处不再赘述。
本发明将通过例子并参照附图的方式说明，其中 图1是本发明技术方案原理图。图2是本发明插入数据时应用系统动作示意图。
具体实施例方式本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥 的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙 述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只 是一系列等效或类似特征中的一个例子而已。如图2中所示，插入数据时应用系统把指定的数据对象准备好后，把查询该数据 的条件拼装成Key插入引擎，数据通过资源分配器取得存储资源后把数据存放在红黑树 上，树节点通过部寻址机制指向数据存储空间，把数据对象存在真实的数据存储空间中，整 个插入数据的动作就完成了
当服务器因异常而断电时，索引中的数据已通过文件映射机制保存到文件中，从而在 服务器硬盘保存完好的情况下不会丢失数据，因此本引擎做到了高效、又安全。
本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露 的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求
1.一种全栖企业数据交换高速引擎，其特征在于插入数据时应用系统把指定的数据 对象准备好后，把查询该数据的条件拼装成Key插入引擎，数据通过资源分配器取得存储 资源后把数据存放在红黑树上，树节点通过部寻址机制指向数据存储空间，把数据对象存 在真实的数据存储空间中，从而完成整个插入数据的动作。
2.根据权利要求1所述的全栖企业数据交换高速引擎，其特征在于访问引擎的方 式为键值对应式，键与值的搭配可表达任意复杂度的查找。
3.根据权利要求1所述的全栖企业数据交换高速引擎，其特征在于当服务器因异常 而断电时，索引中的数据已通过文件映射机制保存到文件中。
全文摘要
本发明公开了一种全栖企业数据交换高速引擎,其特征在于:插入数据时应用系统把指定的数据对象准备好后，把查询该数据的条件拼装成Key插入引擎，数据通过资源分配器取得存储资源后把数据存放在红黑树上，树节点通过部寻址机制指向数据存储空间，把数据对象存在真实的数据存储空间中，从而完成整个插入数据的动作。当服务器因异常而断电时，索引中的数据已通过文件映射机制保存到文件中，从而在服务器硬盘保存完好的情况下不会丢失数据，因此本引擎做到了高效、又安全。
文档编号G06F17/30GK102129459SQ201110056858
公开日2011年7月20日 申请日期2011年3月10日 优先权日2011年3月10日
发明者谭引, 陈彬 申请人:成都四方信息技术有限公司