专利名称：物联网海量数据交换交易架构系统的制作方法
技术领域：
本发明涉及一种系统结构，尤其是一种物联网海量数据交换交易架构系统，属于物联网数据处理的技术领域。
背景技术：
现如今，运用物联网技术的各种智慧城市应用，时刻都有着大量的数据产生。在以应用为牵引的物联网产业的不断发展过程中，所产生的海量数据的量级也从TB(Trillionbyte)急剧增加到PB (PetaByte,)级别，在这些海量数据中包含着很多非常具有商业价值的隐晦信息，同时也存在着大量的无效信息。这些从某个物联网应用所产生的具有商业价值的隐晦信息，通过应用一系列的数据处理技术之后，将可用于其它的某个行业领域，并实现数据的二次增值。比如物联网智能交通应用中所产生的海量交通流数据，通过一系列处理后所得到的有价值信息，可以用在物联网智能物流应用中来实现更加多样化的服务功能。但是在这些物联网海量数据进行转换、处理和迁移的过程中，这些海量数据中包含一些敏感数据或者无效数据，会产生一定的信息安全及服务信任上的问题，这些问题将影响数据的增值化。
发明内容
本发明的目的是克服现有技术中存在的不足，提供一种物联网海量数据交换交易架构系统，其结构紧凑，经过处理后提高数据交换交易的有效性，安全可靠。按照本发明提供的技术方案，所述物联网海量数据交换交易架构系统，包括: 数据存储层，用于接收数据源传输的数据，并将所述数据加密分类存储；
数据处理层，接收数据存储层分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集；
数据交换交易层，将数据处理层提炼得到的格式表示或数据集进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。所述数据存储层接收数据源传输数据的方式包括IPV6网络、IPV4网络或无线网络。所述数据存储层包括数据隐私保护加密模块，所述数据隐私保护加密模块与物联网海量数据云存储子系统连接，所述物联网海量数据云存储子系统对存储的海量数据进行分类，以得到应用数据集。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块净化去除数据存储层中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换，且将处理后的数据传输至数据集内。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块的输出端与数据清理子系统及数据精炼子系统连接，所述数据清理子系统及数据精炼子系统的输出端均与数据隐私保护解密模块相连，所述数据隐私保护解密模块的输出端与物联网海量数据描述及表示模块连接；数据清理子系统对物联网海量数据预处理及标准化格式转换模块传输的数据进行需要的清理，数据精炼子系统对物联网海量数据预处理及标准化格式转换模块传输的数据进行所需的提炼，数据隐私保护解密模块对数据清理子系统及数据精炼子系统输入的数据进行解密，物联网海量数据描述及表示模块将数据隐私保护解密模块传输的数据表示为报表、图形或指标的形式输出。所述数据清理子系统包括联列式清理模块、单列式清理模块、设定数据清理模块及数据清理异常处理模块。所述数据精炼子系统包括关联分析模块、聚类分析模块、演变分析模块、特异群组分析模块及数据精炼异常处理模块。所述数据处理层包括物联网海量数据预处理及标准化格式转换模块，所述物联网海量数据预处理及标准化格式转换模块净化去除数据存储层中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换；物联网海量数据预处理及标准化格式转换模块的输出端与数据隐私保护解密模块连接，数据隐私保护解密模块的输出端与物联网海量数据描述及表示模块连接。所述数据交换交易层包括WEB自助服务模块、安全认证模块、资金结算模块、交换交易引擎及交易信息数据库。本发明的优点:物联网数据源产生物联网海量数据，数据存储层将物联网海量数据加密及存储分类，数据处理层能够将物联网海量数据进行预处理及格式化转换，且可以对数据进行清理与精炼，以提高得到物联网海量数据的商业价值，数据处理层能够将相应的物联网海量数据表示为需要的形式，数据交换交易层能够对数据处理层处理后的数据进行交易查询及管理，并对相关数据进行存储，整个过程中能够确保物联网海量数据的安全可靠性。
图1为本发明的结构框图。附图标记说明:1_数据源、2-数据存储层、3-数据处理层、4-数据交换交易层、
5-数据隐私保护加密模块、6-物联网海量数据云存储子系统、7-应用数据集、8-物联网海量数据预处理及标准化格式转换模块、9-数据清理子系统、10-联列式清理模块、11-单列式清理模块、12-设定数据清理模块、13-数据清理异常处理模块、14-数据精炼子系统、15-关联分析模块、16-聚类分析模块、17-演变分析模块、18-特异群组分析模块、19-数据精炼异常处理模块、20-数据隐私保护解密模块、21-物联网海量数据描述及表示模块、22-数据集、23-WEB自助服务模块、24-安全认证模块、25-资金结算模块、26-交换交易弓I擎及27-交易信息数据库。
具体实施例方式下面结合具体附图和实施例对本发明作进一步说明。如图1所示:为了解决现有物联网海量数据的安全信任及增值问题，本发明包括数据存储层2，用于接收数据源I传输的数据，并将所述数据加密分类存储； 数据处理层3，接收数据存储层2分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集22 ；数据交换交易层4，将数据处理层3提炼得到的格式表示或数据集22进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。其中，数据源I产生物联网海量数据，所述数据源I的数据来源包括传感器、数据库、智能移动终端及互联网等。这些数据来源产生的数据信息，可以是从数据终端生成的实时数据流，也可以是通过用户自己的应用系统汇聚后生成的数据库文件，不管是实时数据流还是数据库文件，都可以通过IPv6、Ipv4或无线网络等多种网络方式传输到架构系统中的数据存储层2内。所述数据存储层2包括数据隐私保护加密模块5，所述数据隐私保护加密模块5与物联网海量数据云存储子系统6连接，所述物联网海量数据云存储子系统6对存储的海量数据进行分类，以得到应用数据集7。数据存储层2接收到物联网海量信息数据后，首先使用数据隐私保护加密模块5对数据进行全同态加密，使物联网海量数据能够在系统的整个数据存储及处理过程中，都能保证数据隐私，避免数据安全的不信任问题。通过加密后的物联网海量数据进入物联网海量数据云存储子系统6内，所述物联网海量数据云存储子系统6可以实现物联网海量数据中单个100G以上的数据文件与单个IM以下的数据文件的高速存储和读取功能；所述物联网海量数据云存储子系统6可以利用现有的存储系统架构实现。物联网海量数据在进入物联网海量数据云存储子系统2后，分别存放在不同物联网应用的数据集中，另外为了海量数据的方便管理，数据集也可以再细分为子数据集。所述数据处理层3包括物联网海量数据预处理及标准化格式转换模块8，所述物联网海量数据预处理及标准化格式转换模块8的输出端与数据清理子系统9及数据精炼子系统14连接，所述数据清理子系统9及数据精炼子系统14的输出端均与数据隐私保护解密模块20相连，所述数据隐私保护解密模块20的输出端与物联网海量数据描述及表示模块21连接；数据清理子系统9对物联网海量数据预处理及标准化格式转换模块8传输的数据进行需要的清理，数据精炼子系统14对物联网海量数据预处理及标准化格式转换模块8传输的数据进行所需的提炼，数据隐私保护解密模块20对数据清理子系统9及数据精炼子系统14输入的数据进行解密，物联网海量数据描述及表示模块21将数据隐私保护解密模块20传输的数据表示为报表、图形或指标的形式输出。其中，所述数据处理层3内的物联网海量数据预处理及标准化格式转换模块8可以直接与数据集22连接，或物联网海量数据预处理及标准化格式转换模块8直接与数据隐私保护解密模块20连接，数据隐私保护解密模块20与物联网海量数据描述及表示模块21连接。所述数据清理子系统9包括联列式清理模块10、单列式清理模块11、设定数据清理模块12及数据清理异常处理模块13。所述数据精炼子系统14包括关联分析模块15、聚类分析模块16、演变分析模块17、特异群组分析模块18及数据精炼异常处理模块19。数据存储层2中各应用数据集中的海量数据在进入数据处理层3后，物联网海量数据净化及标准化格式转换模块8对存在的大量无效数据、逻辑错误数据进行净化，并对不易进行数据分析处理的特殊格式的数据进行标准化的格式转换。经过数据净化及标准化格式转换后的物联网海量数据，可以进入数据清理子系统9及数据精炼子系统14，以获得不同的数据处理结果。数据清理子系统9对海量数据中所包含的用户不愿对外共享的敏感信息项进行有效清理，其中单列式清理模块11负责数据集中单项敏感信息的清理，联列式清理模块10负责数据集中多项具有内部逻辑关系的敏感信息的清理，设定数据清理模块负责12数据集中非结构化敏感数据的清理，数据清理异常处理模块13负责数据清理过程中发生异常后的处理。数据精炼子系统14对物联网海量数据进行数据的关联分析、聚类分析、演变分析及特异群组分析，并找出海量数据之间的内在规律，最终汇聚成具有商业价值的数据集。通过数据清理子系统9的数据集也可以再通过数据精炼子系统14进行数据商业价值的提炼。本发明实施例中，数据清理子系统14中关联分析模块15采用现有常用的关联分析方法，聚类分析模块16采用常用的聚类分析方法，演变分析模块17采用现有的演变分析方法，特异群组分析模块18采用现有常用的分析方法，数据清理异常处理模块13及数据精炼异常处理模块19根据预先设定异常处理方式进行处理，确保对物联网海量数据处理过程的连续性及稳定性。物联网海量数据通过数据净化及标准化格式转换模块、数据清理子系统9及数据精炼子系统14的处理后所形成的加密数据集，除了直接进行物联网应用之间的数据交换与交易，还可以通过数据隐私保护解密模块20来进行数据集的解密，再通过物联网海量数据描述及表示模块21来形成更容易理解的图形、报表及技术指标等，而这些也将成为物联网海量数据交换交易的一种方式。所述数据交换交易层4包括WEB自助服务模块23、安全认证模块24、资金结算模块25、交换交易引擎26及交易信息数据库27。物联网海量数据通过数据处理层3处理后得到图形、报表、指标及数据集等结果，都可以进入数据交换交易层4进行商业化的交换交易。数据交换交易层4的WEB自助服务模块23主要提供用户需求发布及交换交易信息查询等服务引导功能，WEB自助服务模块23将利用安全认证模块24来进行用户安全的访问及交换交易等功能，利用资金结算模块25来进行交换交易的资金管理。交换交易引擎26主要提供交换交易撮合、委托及交易交割等功能。交易信息数据库27则保存数据交换交易过程中的所有相关数据。数据交换交易层4的整个工作原理及工作方法均可采用现有的查找、安全认证、资金结算及管理等方式。本发明数据源I产生物联网海量数据，数据存储层2将物联网海量数据加密及存储分类，数据处理层3能够将物联网海量数据进行预处理及格式化转换，且可以对数据进行清理与精炼，以提高得到物联网海量数据的商业价值，数据处理层3能够将相应的物联网海量数据表示为需要的形式，数据交换交易层4能够对数据处理层3处理后的数据进行交易查询及管理，并对相关数据进行存储，整个过程中能够确保物联网海量数据的安全可靠性。
权利要求
1.一种物联网海量数据交换交易架构系统，其特征是，包括: 数据存储层(2 )，用于接收数据源(I)传输的数据，并将所述数据加密分类存储； 数据处理层(3)，接收数据存储层(2)分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集(22)； 数据交换交易层(4)，将数据处理层(3 )提炼得到的格式表示或数据集(22 )进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。
2.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据存储层(2)接收数据源(I)传输数据的方式包括IPV6网络、IPV4网络或无线网络。
3.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据存储层(2)包括数据隐私保护加密模块(5)，所述数据隐私保护加密模块(5)与物联网海量数据云存储子系统(6)连接，所述物联网海量数据云存储子系统(6)对存储的海量数据进行分类，以得到应用数据集(7)。
4.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据处理层(3)包括物联网海量数据预处理及标准化格式转换模块(8)，所述物联网海量数据预处理及标准化格式转换模块(8)净化去除数据存储层(2)中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换，且将处理后的数据传输至数据集(22 )内。
5.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据处理层(3)包括物联网海量数据预处理及标准化格式转换模块(8)，所述物联网海量数据预处理及标准化格式转换模块(8)的输出端与数据清理子系统(9)及数据精炼子系统(14)连接，所述数据清理子系统(9)及数据精炼子系统(14)的输出端均与数据隐私保护解密模块(20)相连，所述数据隐私保护解密模块(20)的输出端与物联网海量数据描述及表示模块(21)连接；数据清理子系统(9)对物联网海量数据预处理及标准化格式转换模块(8)传输的数据进行需要的清理，数据精炼子系统(14)对物联网海量数据预处理及标准化格式转换模块(8)传输的数据进行所需的提炼，数据隐私保护解密模块(20)对数据清理子系统(9)及数据精炼子系统(14)输入的数据进行解密，物联网海量数据描述及表示模块(21)将数据隐私保护解密模块(20)传输的数据表示为报表、图形或指标的形式输出。
6.根据权利要求5所述的物联网海量数据交换交易架构系统，其特征是:所述数据清理子系统(9)包括联列式清理模块(10)、单列式清理模块(11)、设定数据清理模块(12)及数据清理异常处理模块(13)。
7.根据权利要求5所述的物联网海量数据交换交易架构系统，其特征是:所述数据精炼子系统(14)包括关联分析模块(15)、聚类分析模块(16)、演变分析模块(17)、特异群组分析模块(18)及数据精炼异常处理模块(19)。
8.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据处理层(3)包括物联网海量数据预处理及标准化格式转换模块(8)，所述物联网海量数据预处理及标准化格式转换模块(8)净化去除数据存储层(2)中的无效数据及逻辑错误数据，并将需要的数据进行标准化的格式转换；物联网海量数据预处理及标准化格式转换模块(8)的输出端与数据隐私保护解密模块(20)连接，数据隐私保护解密模块(20)的输出端与物联网海量数据描述及表示模块(21)连接。
9.根据权利要求1所述的物联网海量数据交换交易架构系统，其特征是:所述数据交换交易层(4)包括WEB自助服务模块(23 )、安全认证模块(24)、资金结算模块(25 )、交换交易引擎(26)及交易 信息数据库(27)。
全文摘要
本发明涉及一种物联网海量数据交换交易架构系统，其包括数据存储层，用于接收数据源传输的数据，并将所述数据加密分类存储；数据处理层，接收数据存储层分类后的数据，并将所述数据进行所需的预处理及标准格式化转换，且将所述处理及转换后的数据进行提炼得到所需的格式表示或数据集；数据交换交易层，将数据处理层提炼得到的格式表示或数据集进行发布、查询及交换交易的管理服务，并对管理中产生的数据进行存储。本发明提高得到物联网海量数据的商业价值，数据处理层能够将相应的物联网海量数据表示为需要的形式，数据交换交易层能够对数据处理层处理后的数据进行交易查询及管理，整个过程中能够确保物联网海量数据的安全可靠性。
文档编号H04L29/08GK103078947SQ20131000995
公开日2013年5月1日 申请日期2013年1月11日 优先权日2013年1月11日
发明者葛浩栋, 陈曙东, 陈岚 申请人:江苏物联网研究发展中心