数据整合方法及装置的制造方法
【技术领域】
[0001]本发明涉及数据信息处理领域，尤其涉及一种对数据特征分析的基础上对数据进行快速整理的方法。
【背景技术】
[0002]随着信息技术在多种领域中的运用，各种数据的数量已迅速提高。目前对数据处理的方式，是在认可数据多样化的基础上，使用数据分析等方式对数据进行整合，以另一种统一格式呈现数据处理结果。上述的数据整合方式通常都是手工操作，各种数据存在数据冗余、数据量庞大等问题，给数据处理带来的不便，带来了数据出错、处理数据工作量加大和处理数据周期加长等问题。
【发明内容】
[0003]本发明要解决的技术问题是，针对现有信息量庞大且类型多样的大数据能保证业务数据的快速准确分析整合，提供一种数据整合方法及装置。
[0004]为达到上述目的，本发明提供了一种数据整合方法。该方法包括:对计算设备中的输入输出(I/O)设备的读写请求进行监听，等待目标用户或目标程序的操作；当监听到所述目标用户或目标程序进行I/O操作时，对所述输入输出设备进行接管，将输入输出设备传来的数据暂存在在受控内存中；按照用户需求对数据进行处理；按照用户需求构成处理后的数据，将处理后的数据导出。
[0005]其中，受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMX non-root operat1n模式下的RingO环上的客户操作系统不可见并且不受其管理。
[0006]数据以键值形式存储在受控内存中，当满足设定键值变更数量条件时，将数据写入到硬盘中。这种方式既保证了处理数据的速度，又保证了数据的存储非易失性，还非常适合处理数组类型的数据。
[0007]可选的，当用户用处理已有的数据时，通过将需处理的数据输入到一个非关系型分布式数据库中，按照既定规则以字段形式进行无结构存储，并以字段形式展现出来。用户在可视化界面中对数据进行操作，提取出相应字段的数据并进行显示和/或导出。
[0008]可选的，当用户用处理导入数据时，会将已有数据暂存在受控数据池中。同时将数据文档中导入的数据按照字段形式进行标记，并罗列所标记的字段，通过按照既定规则以可视化的形式将数据展现出来。通过结合操作系统内置资源配置库及kettle组件，在系统内部建立起一个数据分析转移的平台。对数据进行处理后进行显示和/或导出。
[0009]当用户导出数据时，会将已存储的数据以字段形式进行可视化，在操作系统内部建立起的数据平台中进行处理，形成用户所需的格式模板，并对数据加以导出。
[0010]监听输入输出设备读写请求进行的监听程序常驻受控内存中。
[0011]本方法通过不限格式存储数据，将数据以字段形式展现，向用户提供了一个平台模型。用户可用现有的平台模型为基础，构建数据的样式，也可以自定义平台模型，构建数据表的样式。
[0012]本发明另一个方面，提供一种数据整合装置，包括:
[0013]数据导入导出模块:当有数据进入整合系统、从整合系统中导出业务数据或从整合系统显示数据到显示器上时，数据导入导出模块将对进入受内存管理模块管理的内存区域中的业务数据进行分析，并进行控制显示等处理；
[0014]内存管理模块:负责管理直接从计算机物理内存中划出的一块内存区域，此内存区域将对操作系统不可见也不再受操作系统管理，数据整合的相关操作都将在这块内存区域中进行。
[0015]磁盘管理模块:有业务需要时负责接管U盘、光盘、移动硬盘和硬盘等磁盘存储设备，保证从磁盘存储设备上读取的明文形式的业务数据直接进入受内存管理模块管理的内存区域中接受进一步处理；
[0016]显示管理模块:有业务需要时负责接管显示输出设备，保证数据以安全可控的方式显示输出(明文显示、密文存储，或可选择性的显示部分明文)；
[0017]系统管理模块:现有操作系统没有的模块。负责数据整合系统的内部管理，包括:系统访问管理、用户和密码管理、系统权限管理、数字证书管理、密钥管理、加密算法管理、系统日志管理、系统守护进程管理等，
[0018]其特征在于，装置中还具有:
[0019]监听模块，适于对计算设备中的输入输出设备的读写请求进行监听，等待目标用户或目标程序的操作；
[0020]接管模块，适于当监听到所述目标用户或目标程序进行I/O操作时，通过将数据存放在受控内存来对所述输入输出设备进行接管；
[0021 ] 其中，受控内存是从计算机物理内存中划出的预定大小的一块内存区域，此内存区域对运行于支持虚拟化技术的CPU的VMX non-root operat1n模式下的RingO环上的客户操作系统不可见并且不受其管理。
【附图说明】
[0022]图1是数据整合方法的流程图；
[0023]图2是实施例中的装置模块连接图。
【具体实施方式】
[0024]为了使本发明的目的、技术方案及优点更加清楚明白，以下对本发明进一步详细说明。应当理解，此处所描述的实例仅用以解释本发明，并不用于限定本发明。
[0025]根据本发明一个实施例，提供一种数据整合系统，在数据整合系统中使用本发明的数据整合方法，对数据进行整合。数据整合系统包括:
[0026]数据导入导出模块、内存管理模块、磁盘管理模块、显示管理模块及系统管理模块。
[0027]上述各个模块并非操作系统原有模块，而是本发明提供的数据整合系统内部的新开发的软件功能模块，仅当有业务需要时，上述模块接替操作系统原有模块进行工作，即通过绕过操作系统中相应的原有模块直接管理键盘、显示器、网卡、内外部存储等系统设备，将数据导入到用户个人计算机的内外部存储及显示器上、导入到目标程序服务器的内外部存储上。
[0028]数据导入导出模块:当有数据进入整合系统、从整合系统中导出业务数据或从整合系统显示数据到显示器上时，内存管理模块将对进入受内存管理模块管理的内存区域中的业务数据进行分析，并进行控制显示等处理；
[0029]内存管理模块:负责管理直接从计算机物理内存中划出的一块内存区域，此内存区域将对操作系统不可见也不再受操作系统管理，数据整合的相关操作都将在这块内存区域中进行。
[0030]磁盘管理模块:有业务需要时负责接管U盘、光盘、移动硬盘和硬盘等磁盘存储设备，保证从磁盘存储设备上读取的明文形式的业务数据直接进入受内存管理模块管理的内存区域中接受进一步处理；
[0031]显示管理模块:有业务需要时负责接管显示输出设备，保证数据以安全可控的方式显示输出(明文显示、密文存储，或可选择性的显示部分明文)；
[0032]系统管理模块:现有操作系统没有的模块。负责数据整合系统的内部管理，包括:系统访问管理、用户和密码管理、系统权限管理、数字证书管理、密钥管理、加密算法管理、系统日志管理、系统守护进程管理等。
[0033]另外，需要说明的是:
[0034](I)数据整合系统的启用条件:当目标用户进行业务操作或目标程序启动时启用。
[0035](2)如何接管键盘、磁盘、显卡等设备:数据整合系统运行于支持虚拟化技术的CPU的VMX root operat1n模式下的RingO环上，可以优先且直接操作I/O设备。当数据整合系统启用后会在受控内存中常驻一个监听程序，监听键盘、磁盘、显卡的读写请求，当读写请求的发起人是目标用户或目标数据整合系统(即目标程序)时，将对这些设备进行接管。
[0036]除上述区别外，以上各个模块的工作模式与其所替代的相应的操作系统原有模块的工作模式相同，在此不再赘述。
[0037]其中，对于接管键盘、磁盘、显卡等设备的内容，此处进一步进行说明。本领域技术人员可以理解:CPU厂商已支持虚拟化，例如X86 CPU引入了 Intel-VT技术，支持Intel-VT的 CPU有VMX root operat1n和 VMX non-root operat1n两种模式，两种模式都支持RingO?Ring 3这4个运行级别。所以，数据整合系统可以运行在VMX root operat1n模式下，客户操作系统(OS)运行在VMX non-root operat1n模式下。也就说，硬件这层做了