一种近红外光谱数据压缩方法、装置及系统的制作方法
【技术领域】
[0001] 本发明涉及数据处理技术领域，尤其涉及一种近红外光谱数据压缩方法、装置及 系统。
【背景技术】
[0002] 近红外光谱分析技术是一种快速、准确的分析技术，已经得到了广泛的应用。近红 外光谱数据量大，需要较大的存储空间。而且通常样品数目非常大，少则数十，多则成百上 千；相应地，存储空间少则几兆，多则成百上千兆。如果光谱数据量大，则需要较长时间建立 和维护模型，从而导致模型建立和维护工作冗长繁琐。随着近红外光谱技术的进一步发展 和研宄的不断深入，如何在不丢失重要信息的前提下，有效地压缩数据，以节省存储空间， 并在传输时节省网络资源，成为人们面临的问题。因此，在近红外光谱数据传输时，对光谱 数据进行压缩处理是具有一定的实际意义的。稀疏表示是光谱图像处理及计算机视觉领域 的关键技术之一，它要求把图像现行展开中大部分基函数的稀疏的绝对值都接近于零，只 有少数基函数具有较大的非零系数，并且有限的大系数能够表示出原图的大部分信息，以 此实现近红外光谱图像的压缩。
[0003] 传统的文件传输方式采用的是直接将原文件发送给接收方，但网络具有动态性、 不稳定性的特点，将原文件不经压缩直接发送给接收方不仅消耗过多的网络资源，而且在 接收方占用的存储空间比较大。
[0004] 因此，在众多的文件传输应用中，如何将近红外光谱数据文件进行有效压缩，从而 实现资源利用，并能节省较大的存储空间的技术问题已经成为本领域技术人员亟待解决的 技术问题。
【发明内容】
[0005] 本发明实施例提供了一种近红外光谱数据压缩方法、装置及系统，解决了由于传 统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术 问题。
[0006] 本发明实施例中的一种近红外光谱数据压缩方法，包括：
[0007] 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数， 所述目标函数包括N个光谱样本组合而成的光谱组合；
[0008] 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解 稀疏表不系数；
[0009] 通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。 [0010] 优选地，
[0011] 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数， 所述目标函数包括N个光谱样本组合而成的光谱组合具体包括：
[0012] 通过使用K-SVD公式F -M}UV/对所述近红外光谱数据对应的所述冗 余字典进行训练，其中，Ilx」I<1^1 = 1，2,3，"川八为校正集光谱^31和验证集光谱￥城 的光谱组合Y= [YMl，Ytst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字 典，所述目标函数为||_F-
[0013] 优选地，
[0014] 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解 稀疏表示系数具体包括：
[0015] 训练过程中的多个所述光谱样本通过使用0MP算法（OrthogonalMatching Pursuit，正交匹配追踪算法）结合所述K-SVD算法按照第一预置公式对所述光谱样本求解 稀疏表不系数；
[0016]其中，所述第一预置公式为
【主权项】
1. 一种近红外光谱数据压缩方法，其特征在于，包括： 根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述 目标函数包括N个光谱样本组合而成的光谱组合； 对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏 表示系数； 通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果。
2. 根据权利要求1所述的近红外光谱数据压缩方法，其特征在于，根据K-SVD算法对近 红外光谱数据对应的冗余字典进行训练，并获取目标函数，所述目标函数包括N个光谱样 本组合而成的光谱组合具体包括： 通过使用K-SVD公式对所述近红外光谱数据对应的所述冗余字 ￡>,A 典进行训练，其中，Mxill<T。，i= 1，2,3,…N，Y为校正集光谱rai和验证集光谱Ytst的 光谱组合Y= [Ytai，Ytst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典， 所述目标函数为||方-〇义|尼。
3. 根据权利要求2所述的近红外光谱数据压缩方法，其特征在于，对训练过程中的多 个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数具体包括： 训练过程中的多个所述光谱样本通过使用OMP算法的rthogonalMatching化rsuit， 正交匹配追踪算法）结合所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示 系数； 其中，所述第一预置公式为化llxj|。<了。，1 = 1，2,3,…，N。
4. 根据权利要求3所述的近红外光谱数据压缩方法，其特征在于，通过字典更新步骤 结合所述稀疏表示系数获取所述目标函数的稀疏表示结果具体包括： 通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新，所述逐列更新为每 次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为固定； 通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第二预置公式为
为去 掉第k个原子dk后稀疏表示误差； 根据所述惩罚函数判断所述目标函数II 11^是否满足预置停止条件，若是，则所 述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所述稀疏分解步骤 和所述字典更新步骤。
5. 根据权利要求4所述的近红外光谱数据压缩方法，其特征在于，所述第二预置公式 中的所述X通过对所述稀疏表示系数的采用回归算法进行计算； 所述回归算法包括： 通过所述冗余字典D对所述校正集光谱rai和所述验证集光谱Ytst进行稀疏分解获取 校正集稀疏表示系数rai和验证集稀疏表示系数Xtst; 根据所述校正集稀疏表示系数ral和校正集参数测量值Ctal建立待测参数的偏最小二 乘预测模型； 将所述验证集稀疏表示系数Xtst输入至所述偏最小二乘预测模型，获取与所述验证集 稀疏表示系数Xtst对应的预测值。
6. -种近红外光谱数据压缩装置，其特征在于，包括： 训练单元，用于根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取 目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合； 稀疏表示单元，用于对训练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述 光谱样本求解稀疏表示系数； 更新单元，用于通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表 示结果。
7. 根据权利要求6所述的近红外光谱数据压缩装置，其特征在于，所述训练单元，具体 用于通过使用K-SVD公S'
对所述近红外光谱数据对应的所述冗余字 典进行训练，其中，Mxill<T。，i= 1，2,3,…N，Y为校正集光谱rai和验证集光谱Ytst的 光谱组合Y= [Ytai，Ytst]，所述光谱组合每一列代表一个所述光谱样本，D为所述冗余字典， 所述目标函数为liy-mn信； 所述稀疏表示单元，具体用于训练过程中的多个所述光谱样本通过使用OMP算法结合 所述K-SVD算法按照第一预置公式对所述光谱样本求解稀疏表示系数。
8. 根据权利要求7所述的近红外光谱数据压缩装置，其特征在于，更新单元具体包括： 更新子单元，用于通过对所述冗余字典中的原子依次进行所述光谱样本的逐列更新， 所述逐列更新为每次对一个所述原子进行更新时，非更新原子对应的所述稀疏表示系数为 固定； 表示子单元，用于通过第二预置公式对所述目标函数的惩罚函数进行表示，所述第 二预置公式为
其中
为去掉第k个原子dk后稀疏表示误差； 判断子单元，用于根据所述惩罚函数判断所述目标函数II 是否满足预置停止 条件，若是，则所述近红外光谱数据稀疏表示完成，若否，则继续下一个所述光谱样本的所 述稀疏分解步骤和所述字典更新步骤； 所述第二预置公式中的所述X通过对所述稀疏表示系数的采用回归算法进行计算； 所述回归算法包括： 通过所述冗余字典D对所述校正集光谱rai和所述验证集光谱Ytst进行稀疏分解获取 校正集稀疏表示系数rai和验证集稀疏表示系数Xtst; 根据所述校正集稀疏表示系数ral和校正集参数测量值Ctal建立待测参数的偏最小二 乘预测模型； 将所述验证集稀疏表示系数Xtst输入至所述偏最小二乘预测模型，获取与所述验证集 稀疏表示系数Xtst对应的预测值。
9. 一种近红外光谱数据压缩系统，其特征在于，包括： 客户端和服务器端，所述客户端和所述服务器端通信连接； 所述客户端包括第一通信模块、文件处理模块，文件支持模块，W及如权利要求5至8 中任意一项提及的近红外光谱数据压缩装置； 所述第一通信模块，用于将所述客户端和所述服务端进行通信连接； 所述文件处理模块，用于提取待传输文件的文件信息； 所述近红外光谱数据压缩装置，用于根据K-SVD算法对近红外光谱数据对应的冗余字 典进行训练，并获取目标函数，所述目标函数包括N个光谱样本组合而成的光谱组合，对训 练过程中的多个所述光谱样本重复执行稀疏分解步骤对所述光谱样本求解稀疏表示系数， 通过字典更新步骤结合所述稀疏表示系数获取所述目标函数的稀疏表示结果，使得所述待 传输文件压缩完成； 所述文件支持模块，用于将压缩后的待传输文件读取到缓冲区，并通过所述第一通信 模块发送至所述服务端。
10. 根据权利要求9所述的近红外光谱数据压缩系统，其特征在于，所述服务器端包 括： 监听模块、第二通信模块、响应模块、文件维护模块，所述监听模块、所述第二通信模 块、所述响应模块、所述文件维护模块两两通信连接； 其中，所述监听模块在完成设置服务器IP地址和端口信息设置之后，所述第二通信 模块与所述第一通信模块建立通信连接，所述监听模块对服务器端的端口进行监听，所述 响应模块响应所述客户端传来的所述待传输文件，使得所述服务器端进行重复文件查询操 作，若不存在所述重复文件，则接收所述缓冲区中的所述待传输文件，文件维护模块进行所 述待传输文件的一致性和完整性检验，若检验通过，则所述响应模块将与所述待传输文件 相对应的信息经过所述第二通信模块发送给所述客户端。
【专利摘要】本发明实施例公开了一种近红外光谱数据压缩方法、装置及系统，解决了由于传统的文件传输方式采用的是直接将原文件发送给接收方，所造成的较大的存储空间的技术问题。本发明实施例方法包括：近红外光谱数据压缩方法包括：根据K-SVD算法对近红外光谱数据对应的冗余字典进行训练，并获取目标函数，目标函数包括N个光谱样本组合而成的光谱组合；对训练过程中的多个光谱样本重复执行稀疏分解步骤对光谱样本求解稀疏表示系数；通过字典更新步骤结合稀疏表示系数获取目标函数的稀疏表示结果。
【IPC分类】G06T9-00
【公开号】CN104851116
【申请号】CN201510262300
【发明人】陈越立, 胡男君, 罗思维, 侯英, 彭琛, 钟佳, 林云, 王玉, 杨盼盼
【申请人】广东中烟工业有限责任公司
【公开日】2015年8月19日
【申请日】2015年5月21日