非结构数据处理系统及其处理方法与流程

文档序号:11155396阅读:651来源:国知局
非结构数据处理系统及其处理方法与制造工艺

本发明涉及一种数据处理系统,具体为一种非结构数据处理系统及其处理方法。



背景技术:

相对于结构数据(即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据)而言,不方便用数据库二维逻辑表来表现的数据即称为非结构数据,包括所有格式的办公文档、文本、图片、标准通用标记语言下的子集XML、HTML、各类报表、图像和音频/视频信息等等。

非结构数据库是指其字段长度可变,并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库,用它不仅可以处理结构数据(如数字、符号等信息)而且更适合处理非结构数据(全文文本、图象、声音、影视、超媒体等信息)。

非结构WEB数据库主要是针对非结构数据而产生的,与以往流行的关系数据库相比,其最大区别在于它突破了关系数据库结构定义不易改变和数据定长的限制,支持重复字段、子字段以及变长字段并实现了对变长数据和重复字段进行处理和数据项的变长存储管理,在处理连续信息(包括全文信息)和非结构信息(包括各种多媒体信息)中有着传统关系型数据库所无法比拟的优势。

结构数据即行数据,存储在数据库里,可以用二维表结构来逻辑表达实现的数据。

所谓非结构数据,包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。

所谓半结构数据,就是介于完全结构数据(如关系型数据库、面向对象数据库中的数据)和完全无结构的数据(如声音、图像文件等)之间的数据,HTML文档就属于半结构数据。它一般是自描述的,数据的结构和内容混在一起,没有明显的区分。

目前传统的数据往往多为结构数据和半结构数据,是原始数据的抽象化,类型较为单一。传统的数据库管理系统不能满足云数据库管理系统的需求,集中式的架构大部分是40年前设计的,不能有效的分布式的存储在数据中心之中。

随着网络技术的发展,特别是Internet和Intranet技术的飞快发展,使得非结构数据的数量日趋增大。因而,数据发展进入基于网络应用的非结构数据时代。如今,这种迅猛增长的从不使用的数据消耗着复杂而昂贵的一级存储的存储容量,非结构数据储存更为复杂,涉及的领域较多,规模又很大,处理起来也更为不易,还会产生很多无用信息,就需要非结构数据处理系统更有效快速的筛选和处理具有潜在价值的不同类型的文件。



技术实现要素:

针对现有技术中的上述不足,本发明提供一种可对传感器采集的数据量分析,也能对图像、图形、视频模型等非结构智能模型分析处理并能够使非结构数据被快速提取筛选出用的信息,并对信息进行有效的处理并上传云端存储的非结构数据处理系统及其处理方法。

为实现以上技术目的,本发明的技术方案是:一种非结构数据处理系统,传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口,所述传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口依次连接,所述非结构数据采集模块与非结构数据采集卡信号连接,所述非结构数据采集卡包括电源模块、处理器模块、存储模块和I/O接口模块,所述电源模块分别与处理器模块、存储模块和I/O接口模块电连接,所述处理器模块、存储模块和IO接口模块依次信号连接,所述非结构数据采集模块与非结构数据采集卡信号连接是指非结构数据采集模块与存储模块连接。

作为优选,非结构数据采集模块为普通相机或智能相机。

作为优选,所述非结构化数据包括办公文档、文本、图像、XML或HTML各类报表和视频数据。

作为优选,所述数据传输端口为网络传输端口。

作为优选,所述处理器模块为FPGA或DSP图像数据处理器。

一种以非结构数据处理系统进行非结构数据处理方法,包括如下步骤:步骤一:通过传感器信号采集模块采集当前场所中的可感应信号;

步骤二:当非结构数据采集模块收到传感器信号采集模块的信号时会对对象进行图片或视频信息采集并进行筛选进而得到有效图像信息;

步骤三:将有效图像信息数据通过通讯协议转换成结构化数据;

步骤四:对经过转换的结构化数据通过I/O接口进行云端上传。

作为改进,所述步骤三中通过通讯协议转换成结构化数据后还会经过总线接口通信传输,组态下载数据,组态执行数据,数据经过加解密的数据安全保护操作;

作为改进,所述步骤四中对经过转换的结构化数据还可通过AD/DA接口进行云端上传。

从以上描述可以看出,本发明具备以下优点:非结构数据处理系统可以应用于工业流水线,人脸识别、智能制造和智能机器人等诸多场景。还可以实时分析多类型复杂数据,可以从给定的静态或动态图像中提取人脸信息等手段,与数据库中已知身份人脸进行匹配,并能整合与挖掘数据资源;可以实时对模型进行数据处理分析,通过整合与挖掘数据资源,进行工业模型识别。

同时本发明专利的非结构化数据处理卡能根据对传输信号(温度、湿度和信号等)的不同处理视屏输入;其中非结构化数据处理卡提取筛选非结构化数据中的用的信息(颜色、目标外型、目标位置、目标数量和测量信息等);非结构化数据处理卡能对非结构化数据进行结构化处理;非结构化数据处理卡在数据传输过程中拥有数据加解密功能,防止数据被非法获取泄露和外部黑客恶意的窃取和破坏。

附图说明

图1为本发明的非结构数据处理系统的框图;

图2为本发明的非结构数据处理方法的步骤示意图。

具体实施方式

如图1所示,一种非结构数据处理系统,传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口,所述传感器信号采集模块、非结构数据采集模块、非结构数据采集卡和数据传输端口依次连接,所述非结构数据采集模块与非结构数据采集卡信号连接,所述非结构数据采集卡包括电源模块、处理器模块、存储模块和I/O接口模块,所述电源模块分别与处理器模块、存储模块和I/O接口模块电连接,所述处理器模块、存储模块和IO接口模块依次信号连接,所述非结构数据采集模块与非结构数据采集卡信号连接是指非结构数据采集模块与存储模块连接;非结构数据采集模块为普通相机或智能相机;所述非结构化数据包括办公文档、文本、图像、XML或HTML各类报表和视频数据;所述数据传输端口为网络传输端口;所述处理器模块为FPGA或DSP图像数据处理器。

如附图2所示,一种非结构数据处理方法,包括如下步骤:

步骤一:通过传感器信号采集模块采集当前场所中的可感应信号;

步骤二:当非结构数据采集模块收到传感器信号采集模块的信号时会对对象进行图片或视频信息采集并进行筛选进而得到有效图像信息;

步骤三:将有效图像信息数据通过通讯协议转换成结构化数据;

步骤四:对经过转换的结构化数据通过I/O接口进行云端上传。

所述步骤三中通过通讯协议转换成结构化数据后还会经过总线接口通信传输,组态下载数据,组态执行数据,数据经过加解密的数据安全保护操作。

所述步骤四中对经过转换的结构化数据还可通过AD/DA接口进行云端上传。

非结构化数据处理卡处理器的软件处理流程大致为:非结构化数据处理卡先对相机采集到的目标进行识别判断,进而筛选得到有效的图像信息,将有效的图像信息数据经过结构化处理,通过通讯协议的转换,得到图像中的有用信息(例如:目标颜色、目标外型、目标位置、目标数量、测量信息等等),经过总线接口通信传输,组态下载数据,组态执行数据,数据经过加解密的数据安全保护通过I/O(输入输出)和AD/DA(即模拟信号转数字信号,数字信号转模拟信号)上传云端存储,云中心服务器实时永久性存储非结构化数据,从而实现远程存储,监控。同时为以后行业大数据分析做铺垫,可大量节约非结构化数据处理卡内存容量。

以上对本发明及其实施方式进行了描述,该描述没有限制性,附图中所示的也只是本发明的实施方式之一,实际的结构并不局限于此。总而言之如果本领域的普通技术人员受其启示,在不脱离本发明创造宗旨的情况下,不经创造性的设计出与该技术方案相似的结构方式及实施例,均应属于本发明的保护范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1