增量式的高维数据转换为低维数据的系统及方法
【专利摘要】一种增量式的高维数据转换为低维数据的系统及方法，包括高维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于增量式的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时状态信息的缺陷。
【专利说明】增量式的高维数据转换为低维数据的系统及方法
【技术领域】
[0001] 本发明属于增量式的高维数据及处理【技术领域】，具体涉及一种增量式的高维数据 转换为低维数据的系统及方法。
【背景技术】
[0002] 现有的在科学研究和工程应用中，很多通过数据采集系统采集来的如视频、音频、 气候以及图像数据具有高维数据的特点，这种高维数据可以提供丰富而详尽的信息，但是 高维数据的处理往往会产生维数过大导致的海量的处理时间，这种问题往往会导致数据处 理系统的硬件的处理效率效果不高，耗时耗力并且在并发执行处理方面严重的会导致死机 怠慢处理进程，如果在实时处理高维数据的环境下，这将会导致数据的丢失乃至无法正常 反映实时状态信息。
【发明内容】
[0003] 本发明的目的提供一种增量式的高维数据转换为低维数据的系统及方法，包括高 维数据采集系统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统 中包括有用于增量式的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用 于存放高维数据的队列。这样的结构结合其方法避免了现有技术中导致数据处理系统的硬 件的处理效率效果不高、耗时耗力并且在并发执行处理方面严重的会导致死机怠慢处理进 程以及如果在实时处理高维数据的环境下这将会导致数据的丢失乃至无法正常反映实时 状态信息的缺陷。
[0004]为了克服现有技术中的不足，本发明提供了一种增量式的高维数据转换为低维数 据的系统及方法的解决方案，具体如下：
[0005] -种增量式的高维数据转换为低维数据的系统，包括高维数据采集系统1，所述的 高维数据采集系统1同数据处理系统2相连接，所述的数据处理系统2中包括有用于增量 式的高维数据转换为低维数据的模块3,所述的数据处理系统2中包含有用于存放高维数 据的队列4。
[0006] 所述的增量式的高维数据转换为低维数据的系统的方法，如下所示：
[0007] 步骤1:首先高维数据采集系统进行针对视频、音频、气候或者图像数据这样的高 维数据的采集，然后将采集到的高维数据发送到数据处理系统2 ;
[0008] 步骤2:数据处理系统2接收到高维数据后，然后按照接收的先后顺序把高维数据 依次存放到用于存放高维数据的队列4中，启动用于增量式的高维数据转换为低维数据的 模块3来设定一个η维空间对象V，所述的η维空间对象V内包含有k维空间对象S，k初始 设置为〇 ;
[0009] 步骤3:数据处理系统2然后按先后顺序依次从用于存放高维数据的队列4取出 一个高维数据，取出一个高维数据X后，就进行对该高维数据X的特征分量的提取及降维操 作，所述的高维数据X表示为（X1,X2，…xn)，η为该高维数据的维数；
[0010] 步骤4 :所述的进行对该高维数据的特征分量的提取及降维操作包括首先用于增 量式的高维数据转换为低维数据的模块3把该高维数据X投影到k维空间对象S所表示的 k维空间中，该高维数据X投影到k维空间对象所表示的k维空间S中的方法是根据公式 (1)用迭代方法来得到结果向量rt:
【权利要求】
1. 一种增量式的高维数据转换为低维数据的系统，其特征在于包括高维数据采集系 统，所述的高维数据采集系统同数据处理系统相连接，所述的数据处理系统中包括有用于 增量式的高维数据转换为低维数据的模块，所述的数据处理系统中包含有用于存放高维数 据的队列。
2. 根据权利要求1所述的增量式的高维数据转换为低维数据的系统的方法，其特征在 于，如下所示： 步骤1 :首先高维数据采集系统进行针对视频、音频、气候或者图像数据这样的高维数 据的采集，然后将采集到的高维数据发送到数据处理系统； 步骤2 :数据处理系统接收到高维数据后，然后按照接收的先后顺序把高维数据依次 存放到用于存放高维数据的队列中，启动用于增量式的高维数据转换为低维数据的模块来 设定一个η维空间对象V，所述的η维空间对象V内包含有k维空间对象S，k初始设置为 〇 ； 步骤3:数据处理系统然后按先后顺序依次从用于存放高维数据的队列取出一个高维 数据，取出一个高维数据X后，就进行对该高维数据X的特征分量的提取及降维操作，所述 的高维数据X表示为（X1,χ2，…χη)，η为该高维数据的维数； 步骤4 :所述的进行对该高维数据的特征分量的提取及降维操作包括首先用于增量式 的高维数据转换为低维数据的模块把该高维数据X投影到k维空间对象S所表示的k维空 间中，该高维数据X投影到k维空间对象所表示的k维空间S中的方法是根据公式（1)用 迭代方法来得到结果向量rk:
所述的i的取值范围为从1到k，k为目前空间对象S的维数，也是目前数据降维 X 后低维的维数，第一系数4=^^，rk为结果向量，当结果向量的长度IIrkII2小于Tk Il入Ib 时，k值不变，目前空间对象S也保持不变，在IIrkII2大于等于Tk时，求得第k+Ι系数 ，将bk+1作为新的空间基底加入原k维空间对象S，令空间对象S的维数 增加I,k=k+Ι。设定rQ =X，而GI_iA为中间向量，，Ti为第i阈值， C=iIlXmaxIU，Xmax为在用于存放高维数据的队列4中数据长度最长的那个高维数1.1 据； 步骤5:根据所得到的bpbfbk通过公式（2)得到针对该高维数据X的降维数据向量 中分量非零的部分Y:
当高维数据的队列全部处理完毕后，根据最终k的取值，将全部高维数据的降维数据 向量分量非零的部分补充上分量为零的部分，统一表示为k维的降维后数据向量。 步骤6 :在得到了针对每一个高维数据的降维数据向量后，如果高维数据采集系统继 续进行高维数据的采集，并把新的采集到的高维数据发送到数据处理系统2 ; 步骤7 :数据处理系统接收到新的采集到的高维数据后，然后按照接收的先后顺序把 高维数据依次存放到用于存放高维数据的队列中； 步骤8 :数据处理系统然后按先后顺序依次从用于存放高维数据的队列取出一个新的 采集到的高维数据，取出一个新的采集到的高维数据Xmw后，就进行对该高维数据Xnrat的特 征分量的提取及降维操作，所述的高维数据Xmw表示为（X'i，X' 2，…X'η)，η为该新的高维 数据的维数； 步骤9 :所述的进行对该新的采集到的高维数据的特征分量的提取及降维操作包括首 先用于增量式的高维数据转换为低维数据的模块把该新的采集到的高维数据Xnrat投影到以 Vbfbk为基底的k维空间中，该新的采集到的高维数据乂_投影到以bpbfbk为基底 的k维宇间中的方法是枏掘公式（3)用抶代方法夹得刹结果向量rk :
所述的i的取值范围为从1到k，k为目前空间对象S的维数，也是目前数据降维后低 维的维数，rk为结果向量，当结果向量的长度I|rk| |2小于Tk时，k值不变，目前空间对象S 也保持不变，在I|rk|I2大于等于Tk时，求得第k+i系数，将\+1作为新的 空间基底加入原k维空间对象S，令空间对象S的维数增加1，k=k+Ι。设定;Ttl =Xmw，而 ι_^_ ?χ，A为中间向量，Ti为第i阈值，KIlXmaxIIpXmaj^目前系 统处理过的高维数据的队列4中数据长度最长的那个高维数据； 步骤10 :根据所得到的Vbfbk通过公式（4)得到针对该高维数据Xmw的降维数据 向量中分量非零的部分Ymw:
当高维数据的队列全部处理完毕后，根据最终k的取值，通过在全部已处理高维数据 的降维数据向量后部添加分量为零的部分，统一表示为k维的降维后数据向量。
【文档编号】G06F19/00GK104318046SQ201410407101
【公开日】2015年1月28日 申请日期:2014年8月18日 优先权日:2014年8月18日
【发明者】申富饶, 竺涛, 徐烨, 赵金熙 申请人:南京大学