一种基于动态增量式字典更新的学习算法
【专利摘要】本发明公开了一种基于动态增量式字典更新的学习算法，包括选取预训练样本集，初始化初始字典，并确定要增加的原子个数m；基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵；计算表征后的剩余误差，在剩余误差大于预定阈值时，向初始字典增加m个原子，基于信息熵，对m个原子初始化；将进行初始化后的m个原子添加至初始字典中，得到新字典矩阵，利用新字典矩阵对输入样本进行稀疏分解；基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的增量原子，并对增量原子去相关，当所有样本训练结束，输出最终的字典。本发明的有益效果为：能够对体量庞大的遥感数据集进行更有效更稀疏的表征。
【专利说明】-种基于动态増量式字典更新的学习算法
【技术领域】
[0001] 本发明设及面向海量遥感数据的稀疏表达技术，具体来说，设及一种基于动态增 量式字典更新的学习算法。
【背景技术】
[0002] 近年来，信号的稀疏表达吸引了很多科研人员的关注，稀疏表达的应用范围也非 常广泛，包括数据压缩，特征提取等等；稀疏表达是指训练一个过完备字典，该字典是由多 个原子组成，信号则表示成该些原子的线性组合；它主要包含两个步骤：稀疏表达与字典 学习，而字典学习过程的不同也是区别不同算法的重要因素；字典主要有两大类；解析字 典与非解析字典，解析字典由于原子固定，对于复杂的数据集，不能很好的保证分解后的稀 疏性；非解析字典则能够根据数据特征自适应的训练出相应的字典，更能有效的稀疏的表 示原始数据。
[0003] 然而经典的字典学习算法，例如K-SVD算法等，需要一次性的输入所有的训练样 本集，当训练数据体量扩大后，样本将不再能一次性输入训练，显然，传统的稀疏表达算法 在大数据稀疏表示问题上显得力不从屯、。
[0004] 针对相关技术中的问题，目前尚未提出有效的解决方案。
【发明内容】
[0005] 本发明的目的是提供一种基于动态增量式字典更新的学习算法，W克服目前现有 技术存在的上述不足。
[0006] 本发明的目的是通过W下技术方案来实现： 一种基于动态增量式字典更新的学习算法，包括W下步骤： 选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m ; 基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵； 根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定 阔值的情况下，向所述初始字典增加m个原子，并基于信息滴，对所述m个原子初始化； 将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于 OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解； 基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的 增量原子，并对确定的所述误差最小的增量原子去相关； 当所有样本训练结束，输出最终的字典。
[0007] 进一步的，还包括： 在所述剩余误差小于预定阔值的情况下，不更新所述初始字典，继续输入下一样本； 进一步的，对确定的所述误差最小的增量原子去相关包括： 计算伽马矩阵化其中所述新字典矩阵； 将伽马矩阵映射至结构化约束集；首先将伽马矩阵的对角线元素置为1，再对伽马矩 阵进行阔值量化； 因式分解伽马矩阵并映射至光谱约束集； 对矩阵进行翻转； 重复上述过程直至达到事先设定的迭代次数，输出最终的字典。
[000引本发明的有益效果为；基于稀疏系数的信息滴来初始化增量原子，此后运用 K-SVD算法对增量原子进行更新，再迭代映射翻转对增量原子矩阵去相关，使得我们能够对 体量庞大的遥感数据集进行更有效更稀疏的表征；大大减少了数据的存储空间，简化了后 续的数据分析和处理难度。
【专利附图】
【附图说明】
[0009] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施 例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可W根据该些附图获 得其他的附图。
[0010] 图1是本发明实施例所述的一种基于动态增量式字典更新的学习算法的流程图； 图2是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子初 始化示意图； 图3是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子更 新不意图； 图4是本发明实施例所述的一种基于动态增量式字典更新的学习算法的增量原子去 相关不意图。
【具体实施方式】
[0011] 下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的 范围。
[0012] 如图1-4所示，根据本发明实施例所述的一种基于动态增量式字典更新的学习算 法，包括W下步骤： 1) 借鉴了人类大脑认知的过程，当一项新的内容不能被大脑记忆中存储的信息片段重 组时，该项新的内容将被加入到人类的记忆中；本发明利用了该原理，分批输入训练样本， 当已有的字典不能有效表达新的样本时，则增加若干字典用于表示新的内容； 2) 加入了相互关联约束，当目标函数值小于该约束值，此次样本训练过程结束，继续 输入下一个样本训练；目标函数值大于该约束值时，则加入新的字典原子进行字典更新过 程； 3) 基于信息论信息滴的增量原子初始化方法，计算每个系数向量的信息滴，按信息滴 从大到小选取前m个系数向量，将字典矩阵与该m个系数向量相乘即得到增量字典原子的 初始值； 4) 增量原子更新过程加入去相关过程，重复W下过程，其中知道事先约定的循环次 数；首先计算伽马矩阵化々是训练的字典），其次将矩阵映射至结构化约束集，再对矩 阵进行因式分解并映射至光谱约束集，最后再进行矩阵翻转。
[0013] 其中，在训练字典的过程中，我们从人类大脑认知的过程中得到启示，采用了动态 更新的方法，将训练样本分批输入，每输入一批样本，当之前的字典不能很好的表示现输入 的样本时，则动态增加m个字典原子，运用K-SVD算法对该m个增量原子进行更新，并创造 性的加入了原子间去相关的过程，使得能够对海量遥感数据进行更有效更稀疏的表示，本 方法可W得到一个能够对海量遥感数据进行稀疏表示的字典。
[0014] 一种基于动态增量式字典更新的学习算法，包括W下步骤： 选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m ; 基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵； 根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定 阔值的情况下，向所述初始字典增加m个原子，并基于信息滴，对所述m个原子初始化； 将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于 OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解； 基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的 增量原子，并对确定的所述误差最小的增量原子去相关；其中，对增量原子去相关具体包括 W下步骤： 计算伽马矩阵化其中所述新字典矩阵；将伽马矩阵映射至结构化约束集；首 先将伽马矩阵的对角线元素置为1，再对伽马矩阵进行阔值量化；因式分解伽马矩阵并映 射至光谱约束集；对矩阵进行翻转；重复上述过程直至达到事先设定的迭代次数，输出最 终的字典. 在所述剩余误差小于预定阔值的情况下，不更新所述初始字典，继续输入下一样本； 当所有样本训练结束，输出最终的字典。
[0015] 如图1所示，本发明实施例所述的一种基于动态增量式字典更新的遥感大数据字 典学习算法，包括W下步骤： 步骤1 ;选取训练样本集，初始化字典4并设置参数（增量原子个数m，模式；PSNR(Peak Si即al to Noise Ratio峰值信噪比）/稀疏度，阔值）； 步骤2 ;基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩 阵； 步骤3 ;每输入一个样本，首先计算剩余误差，如果剩余误差小于设定阔值则不更新字 典，输入下一个样本继续训练；如果误差大于设定阔值，则增加m个原子，并基于信息滴对 该些原子进行初始化，将该些新原子并入旧字典中得到新字典矩阵；运用0MP算法用刚更 新的字典对输入样本进行稀疏分解，再用K-SVD (K-Singular Value Decomposition, K次 奇异值分解)算法对增量原子进行更新，最后对增量原子进行更新。当所有的样本均训练完 毕，输出最终的字典。
[0016] 具体应用时， 1)基于信息滴的原子初始化： 本发明采用的基于信息滴的原子初始化方法如图2所示，首 先依次取系数矩阵的系数向量，计算各系数向量的信息滴，其中 Si代表系数向量，奶）代表信息滴，戈表系数向量的J个分量，公式如下：
【权利要求】
1. 一种基于动态增量式字典更新的学习算法，其特征在于，包括以下步骤： 选取预训练样本集，初始化初始字典，确定所述初始字典将要增加的原子个数m ; 基于OMP算法，用初始字典对输入样本进行稀疏表征，得到最初稀疏系数矩阵； 根据所述最初稀疏系数矩阵，计算表征后的剩余误差，并且，在所述剩余误差大于预定 阈值的情况下，向所述初始字典增加 m个原子，并基于信息熵，对所述m个原子初始化； 将进行初始化后的所述m个原子添加至所述初始字典中，得到新字典矩阵，并且，基于 OMP算法，利用所述新字典矩阵对所述输入样本进行稀疏分解； 基于稀疏分解后的输入样本，利用K-SVD算法对增量原子进行更新，确定误差最小的 增量原子，并对确定的所述误差最小的增量原子去相关； 当所有样本训练结束，输出最终的字典。
2. 根据权利要求1所述的基于动态增量式字典更新的学习算法，其特征在于，还包括： 在所述剩余误差小于预定阈值的情况下，不更新所述初始字典，继续输入下一样本。
3. 根据权利要求1所述的基于动态增量式字典更新的学习算法，其特征在于，对确定 的所述误差最小的增量原子去相关包括： 计算伽马矩阵其中^所述新字典矩阵； 将伽马矩阵映射至结构化约束集：首先将伽马矩阵的对角线元素置为1，再对伽马矩 阵进行阈值量化； 因式分解伽马矩阵并映射至光谱约束集； 对矩阵进行翻转； 重复上述过程直至达到事先设定的迭代次数，输出最终的字典。
【文档编号】G06F17/30GK104504015SQ201410758958
【公开日】2015年4月8日 申请日期:2014年12月11日 优先权日:2014年12月11日
【发明者】王力哲, 刘鹏, 耿浩, 王托弟 申请人:中国科学院遥感与数字地球研究所