成像系统和方法与流程

1.本发明一般涉及图像处理领域，具体涉及系统和方法，用于使用成像系统从一个或多个rgb图像中提取全范围高光谱数据以具有一种或多种光谱和定量信息中的至少一种来改善农业、健康和其他相关领域的不同应用的精准性。


背景技术：

2.以下现有技术的描述旨在提供与本公开领域相关的背景信息。该部分可以包括可能与本公开的各种特征相关的本领域的某些方面。然而，应当理解，该部分仅用于增强读者对本公开的理解，而不是承认现有技术。
3.随着数字技术领域的增强，图像处理技术和成像系统也得到了很大程度的增强。与许多复杂系统一样，照相手机/设备是融合和使能技术的结果。照相手机是一种智能/功能手机/设备，能够使用一个或多个内置数码相机拍摄照片并经常录制视频，还可以通过电话功能发送生成的图像/视频。此类设备的主要优点是成本低、结构紧凑，并且使用触摸屏将相机对焦在视野中的特定物体上，即使是没有经验的用户也能获得一定程度的对焦控制，经验丰富的摄影师使用手动对焦才能超过这种程度的对焦控制。与照相手机/设备相比，数码相机在手机中的消费类相机需要的功率要少得多，并且需要更高水平的相机电子集成才能实现小型化。“智能设备或智能计算设备或用户设备(ue)或用户设备”是指任何电气、电子、机电计算设备或设备或上述设备中的一个或多个的组合。此外，“智能手机”或“功能手机”是一种“智能计算设备”，指的是移动无线蜂窝连接设备，允许最终用户在蜂窝网络上使用服务，蜂窝网络例如包括但不限于2g、3g、4g、5g和/或具有先进的移动操作系统的类似的移动宽带网络连接，该先进的移动操作系统结合了个人计算机操作系统的功能以及对移动或手持使用有用的其他功能。
4.此外，现如今广泛部署以提供各种通信服务，例如语音、视频、数据、广告、内容、消息、广播等，的无线网络通常具有多个接入网络，通过共享可用网络资源支持多用户通信。这类网络的一个示例是演进的通用陆地无线电接入网(e-utra)，它是一种无线电接入网络标准，旨在替代3gpp版本5及更高版本中指定的umts和hsdpa/hsupa技术。与hspa不同，lte的e-utra是一种全新的空中接口系统，与w-cdma无关且不与其兼容。它提供更高的数据速率、更低的延迟并针对分组数据进行了优化。较早的utran是无线电接入网络(ran)，定义为通用移动电信系统(umts)的一部分，这是第三代合作伙伴计划(3gpp)支持的第三代(3g)移动电话技术。umts是全球移动通信系统(gsm)技术的后继技术，目前支持各种空中接口标准，例如宽带码分多址(w-cdma)、时分码分多址(td-cdma)和时分同步码分多址(td-scdma)。umts还支持增强的3g数据通信协议，例如高速分组接入(hspa)，它为关联的umts网络提供更高的数据传输速度和容量。随着人们对移动数据和语音访问的需求不断提升，研发不断推进技术发展，不仅要满足不断增长的访问需求，还要提升和增强用户设备的用户体验。由gsm/edge、umts/hspa、cdma2000/ev-do和td-scdma无线电接口与3gpp版本8发展起来的一些技术，e-utra旨在提供单一演进路径以提高数据速度和频谱效率，并允许提供更
多功能。
5.3gpp也在版本13中引入了一项新技术nb-iot。这项技术可以满足低端物联网应用。它已努力通过完成nb-iot标准化来应对物联网市场。nb-iot技术已在授权频段实施。lte的授权频段用于开发此技术。该技术使用180khz的最小系统带宽，即为该技术分配一个prb(物理资源块)。nb-iot可以看做是一个单独的rat(无线电接入技术)。nb-iot可有三种部署方式：“带内部署”、“保护带部署”和“独立部署”。在“带内”操作中，使用lte载波中存在的资源块。
6.有特定的资源块保留用于lte信号的同步，不用于nb-iot。在“保护带”操作中，使用未被任何运营商使用的lte载波之间的资源块。在“独立”操作中，使用gsm频率，或者使用可能未使用的lte频段。版本13包含重要的改进，例如不连续接收(edrx)和省电模式。psm(省电模式)可确保版本12中的电池寿命，并由edrx完成，适用于需要更频繁地接收数据的设备。
7.此外，在过去几年中，人工智能和机器学习技术也得到了很大程度的提升。生成自适应网络(gan)是一类机器学习，在给定训练集的情况下，该项技术学习生成与训练集具有相同统计数据的新数据。例如，经过照片训练的gan可以生成新照片，对于人类观察者来说，这些新照片至少看起来表面上是真实的，具有许多现实特征。虽然gan最初是作为一种用于无监督学习的生成模型提出的，但也证明它可用于半监督学习、全监督学习和强化学习。此外，高斯过程是一个随机过程(按时间或空间索引的随机变量的集合)，因此这些随机变量的每个有限集合都具有多元正态分布，即它们的每个有限线性组合都是正态分布的。
8.高斯过程的分布是所有这些(无限多)随机变量的联合分布，因此，它是具有连续域的函数的分布，例如时间或空间。涉及高斯过程的机器学习算法使用惰性学习和点之间相似性的度量(核函数)来预测训练数据中未见点的值。预测不仅仅是对该点的估计，还具有不确定性信息——它是一维高斯分布(即该点的边际分布)。对于多输出预测，使用多元高斯过程，其中多元高斯分布是在每个点处的边缘分布。
9.此外，人工智能、认知建模和神经网络是受生物神经系统处理数据的方式启发的信息处理范例。人工智能和认知建模试图模拟生物神经网络的某些特性。在人工智能领域，人工神经网络已成功应用于语音识别、图像分析和自适应控制等领域。神经网络(nn)，在称为人工神经网络(ann)或模拟神经网络(snn)的人工神经元的情况下，是一组相互连接的自然或人工神经元，它们基于连接主义的计算方法使用数学或计算模型进行信息处理。大多数情况下，人工神经网络是一个自适应系统，它根据流经网络的外部或内部信息改变其结构。用更实际的术语来说，神经网络是非线性统计数据建模或决策工具。它们可用于对输入和输出之间的复杂关系建模或查找数据中的模式。
10.此外，在图像处理领域，rgb颜色模型是以各种方式将红光、绿光和蓝光相加以再现各种颜色的颜色模型。该模型的名称来自三种加法原色的首字母，即红色、绿色和蓝色。该模型用于感测、表示和显示电子系统，例如移动设备、智能手机、电视和计算机中图像，尽管它也用于传统/数字摄影。此模型是一种依赖于设备的颜色模型：不同的设备以不同的方式检测或再现给定的rgb值，因为颜色元素(例如荧光粉或染料)及其对单个红色、绿色和蓝色级别的响应因制造商而异，甚至随着时间的推移在同一设备中而异。因此，如果没有某种颜色管理，rgb值不会跨设备定义相同的颜色。
11.此外，图像扫描仪是一种光学扫描图像(印刷文本、手写体或物体)并将其转换为数字图像的设备，将该数字图像传输到计算机/智能手机，其中大多数计算机/智能设备支持rgb颜色。现有扫描仪通常使用电荷耦合器件(ccd)或接触式图像传感器(cis)作为图像传感器，而较旧的鼓式扫描仪使用光电倍增管作为图像传感器。由于加热问题，其中最严重的问题是可能会出现扫描胶片的损坏，该技术后来被非加热光源，如彩色led所取代。此外，还需要正确再现颜色，尤其是在专业环境中更需如此，这需要对生产过程中涉及的所有设备进行颜色管理，其中许多均用到rgb。在典型的生产周期中，颜色管理会在设备无关和设备相关的颜色空间(rgb和其他颜色，如用于彩色印刷的cmyk)之间进行多次透明转换，以确保整个过程中的颜色一致性。与创意处理一起，对数字图像的此类干预可能会损害色彩准确性和图像细节，尤其是在色域缩小的情况下，更是如此。
12.此外，人类肉眼在大多数三个波段中看到可见光的颜色(长波长-感知为红色，中波长-感知为绿色，短波长-感知为蓝色)，光谱成像将光谱分为更多波段。这种将图像分成波段的技术可以扩展到可见光之外。在高光谱成像中，记录的光谱具有良好的波长分辨率并涵盖了广泛的波长。与测量间隔光谱带的多光谱成像相反，高光谱成像测量连续光谱带。与其他光谱成像一样，高光谱成像收集和处理来自整个电磁波谱的信息。高光谱成像的目标是获取场景图像中每个像素的光谱，用于寻找物体、识别材料或检测过程。随着现代采集技术的出现，高光谱成像也成为了一个活跃的研究领域。与上述rgb(红-绿-蓝)或多光谱采集设备不同，高光谱成像的目标是采集从每个可观察点反射的完整光谱特征。经证明，高光谱(hs)图像是比rgb图像更大的信息来源。hs图像的效用在许多领域，即，农业、医学、地质学、天文、安全等各不相同。例如，高光谱(hs)图像可用于测量植物表型参数。植物表型分析是一门将基因组学与植物生态生理学和农学联系起来的新兴科学。功能性植物体(phenotype)是在植物生长发育过程中，由遗传背景(genotype)与植物发育的物理世界(environment)之间的动态相互作用形成的。根据各种研究，植物表型的大规模实验是培育更好的作物的关键因素，这些作物需要养活不断增长的人口和提供生物质能源，同时使用更少的水、土地和肥料。
13.高光谱成像相关信息的丰富性与捕获完整光谱特征的传感器的价格较高有关。由于信息丰富，高光谱成像系统(his)促进了许多应用，但这也是有代价的，并且空间或时间分辨率会显著降低。his的使用仅限于那些领域和应用，例如遥感、农业、地质学、天文学、地球科学，以及信号的这些方面(空间分辨率，但主要是时间分辨率)不是中心的其他领域和应用。即使在这些情况下，his也经常用于可观察信号的初步分析，以便表征为应用携带有价值信息的频谱部分。
14.然后，此信息用于设计多光谱设备(具有几个光谱带的相机)，其中针对那些应用对多光谱设备进行了优化。与它们在上述利基或专用应用程序中的使用不同，his在一般计算机视觉中的使用，特别是在自然图像分析中的使用仍处于起步阶段。主要障碍不仅是获取高光谱图像“立方体”时的空间、光谱和/或时间分辨率，还有获取它们的高光谱设备的成本及其物理尺寸(重量和体积)，两者都过高并且对大多数可能的应用提出了严格的限制。因此，高成本、笨重的硬件系统和包括带有温度冷却单元的检测系统的复杂的传感器严重限制了高光谱技术在任何领域的工业应用。
15.此外，当前与成像技术相关的解决方案还存在许多其他限制，例如农业系统(例如
在印度或其他国家/地区)在分散的土地持有、田间和田内变化方面是独一无二的，农业投入参数随时间和空间变化。卫星图像分辨率低，适合天气数据。基于无人机的图像技术仍然是一项高成本技术，且由监管政策驱动。因此，目前有很大的机会提供基于地面的精确且低成本的解决方案以大规模感知各种作物参数从而为农民提供精确、个性化和及时的建议的机会。
16.此外，目前还没有相当准确的“一体式传感器”智能设备以低成本处理捕获图像，以测量各种植物表型参数，例如(营养、早期疾病预测、收获决定、农药/杀虫剂)，可以基于这些植物表型参数向农民提供有效的建议，以提供种植植物作物的正确解决方案。农业或任何此类需要图像分析的相关领域的田间和田内变化需要“差异化处理”，而不是传统管理系统的“统一处理”制度。因此，它增加了农业社区的总体投入成本。
17.目前技术的另一个局限性是，将rgb转换为高光谱数据的解决方案很少，目前这种转换只能发生在400-700nm范围内，而超过700nm时，目前还没有将rgb转换为高光谱数据/图像的解决方案。因此，内在需要一种方法和系统，可以通过低成本、高分辨率的地面设备，在人工智能的帮助下从rgb图像中恢复全范围高光谱数据，人工智能可以自建和映射参数，例如从现有的rgb图像到高光谱图像的植物表型。此外，当前的技术存在局限性，无法将通过智能手机设备捕获的rgb图像升级为高光谱图像，以便我们以低成本获得精确图像，而高光谱图像可以以非常准确的方式感知大部分作物参数。当前技术的另一个局限性是，没有方法和系统可以使用低成本手机摄像头技术测量各种作物输入参数，用于rgb图像捕获并转换为高光谱图像，从而为农民或农业企业提供信息输出，为农民提供精准和基于决策的农业支持服务。此外，当前技术的局限性之一是没有一种能够使用低成本技术同时提供高光谱级高精度作物类型分类、作物生长阶段分类和病害识别且独立于笨重的硬件系统的方法和系统。目前，还没有解决方案可用于“一体式传感器”智能设备以低成本处理捕获图像，测量各种植物表型参数，如养分、早期疾病预测、收获决策、农药/杀虫剂，并基于转换为高光谱图像的rgb图像为农民提供耕种庄家的正确的解决方案或有效的建议。此外，目前还没有可以从更少的特征中生成更多特征的解决方案。
18.因此，需要一种新的系统和方法，用于从一个或多个rgb图像中提取全范围高光谱数据，以至少具有一个或多个光谱和数学信息中的至少一个，提高农业、健康和其他相关领域等各种应用的准确性。
19.现有技术的前述示例和与其相关的局限性意在是说明性的而非排他性的。在阅读说明书和研究附图后，现有技术的其他局限性对于本领域技术人员而言将是显而易见。


技术实现要素：

20.提供该部分以简化的形式介绍本发明的某些目的和方面，接下来的具体实施方式中将进一步详细描述这些目的和方面。该发明内容不旨在识别要求保护的主题的关键特征或范围。
21.为了至少克服上一节中提到的一些缺点以及本领域技术人员已知的那些缺点，本发明的一个目的是提供一种用于从一个或多个rgb图像中提取全范围高光谱数据的系统和方法。本发明的另一个目的是提供一种方法和系统，该方法和系统可以通过低成本、高分辨率地面设备及人工智能辅助从rgb图像中恢复全范围高光谱数据，其中人中智能可以自建
和映射从现有rgb图像到高光谱图像的植物表型。本发明的另一目的是提供能够提供准确的“一体式传感器”智能设备以低成本处理捕获图像来测量各种植物表型参数的解决方案。此外，本发明的一个目的是提供方法和系统，以智能识别和通知农业或任何此类相关领域的田间和田内变化，其中需要图像分析并需要“区别对待”，而不是传统管理系统的“统一处理”方案。本发明的另一个目的是提供一种解决方案，该解决方案有助于在仅400-700nm范围内的电流下从rgb转换为超过700nm的高光谱。此外，本发明的一个目的是提供一种可以将rgb图像升级为高光谱图像的解决方案，以便我们以低成本获得精确图像，其中高光谱图像可以以准确的方式感测大多数参数，例如农作物和健康相关参数。本发明的另一个目的是提供一种解决方案，可以帮助将rgb图像转换为高光谱图像，以向农民或农业企业提供信息输出，从而为农民提供基于决策的精准农业支持服务。此外，本发明的一个目的是提供一种机制，该机制可以同时提供用于作物类型分类、作物生长阶段分类和病害识别的rgb到高光谱图像转换技术。本发明的另一个目的是提供一种设备生态系统，这种设备生态系统提供rgb图像至高光谱级图像的图像分析的无缝增强，从而为多sim、多活动无线设备中的精度和决策服务提供信息输出。本发明的另一个目的是提供对具有高光谱图像的图像分析的无缝增强，从而可以不考虑ue是否为5g/4g/3g/ev-do/ehrpd能力即为用户设备中的精度和决策服务提供信息输出技术。此外，本发明的一个目的是增加对农民的服务价值并提高每公顷作物产量。此外，本发明的一个目的是通过使用高光谱图像增强图像分析向移动/智能电话和/或向农业企业(农药、种子、肥料公司等)、工业果园售卖的设备提供价值。本发明的另一个目的是通过丰富的投入为信息和技术丰富的数字农业增加价值，实现以低投入成本提高生产力和减少土壤生态负担的双重目的。本发明的另一个目的是将rgb图像升级为高光谱图像，以便我们以低成本获得精确图像，其中高光谱图像可以以准确的方式感测大多数参数，以便为任何其他行业，如健康或相关领域，提供精确的基于决策的支持服务。
22.为了实现上述目的，本发明提供了一种从一个或多个rgb图像中提取全范围高光谱数据的方法和系统。
23.本发明的一个方面涉及一种用于从一个或多个rgb图像中提取全范围高光谱数据的方法。该方法包括在收发器单元处从一个或多个相机设备接收一个或多个rgb图像。该方法接着包括由处理单元对一个或多个rgb图像进行预处理。
24.此外，该方法包括由处理单元基于第一预训练数据集估计与一个或多个经预处理的rgb图像中的每个经预处理的rgb图像相关联的照明分量。接着该方法包括由处理单元从每个预处理的rgb图像中去除照明分量。此外，该方法包括由处理单元基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹。然后，该方法导致由处理单元基于围绕所述一个或多个像素定义的块来识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置。此后，该方法包括由处理单元基于照明分量的移除、一个或多个像素的轨迹以及一个或多个像素的位置中的至少一个，从对应于一个或多个rgb图像的每个经预处理的rgb图像中提取全范围高光谱数据。
25.本发明的另一方面涉及一种用于从一个或多个rgb图像中提取全范围高光谱数据的系统。该系统包括收发器单元，该收发器单元配置为从一个或多个相机设备接收一个或多个rgb图像。此后，该系统包括处理单元，该处理单位配置为对一个或多个rgb图像进行预处理。此外，处理单元配置为基于第一预训练数据集估计与一个或多个经预处理的rgb图像
中的每个经预处理的rgb图像相关联的照明分量。然后，处理单元配置为从每个经预处理的rgb图像中去除照明分量。此后，处理单元配置为基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹。处理单元还配置为基于围绕所述一个或多个像素定义的块来识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置。处理单元还被配置为基于照明分量的去除、一个或多个像素的轨迹以及一个或多个像素的位置中的至少一个，从对应于一个或多个rgb图像的经每个预处理的rgb图像中提取全范围高光谱数据。
26.还披露了以下编号的段落：
27.1.一种用于从一个或多个rgb图像中提取全范围高光谱数据的方法，该方法包括：
[0028]-在收发器单元[202]处从一个或多个相机设备接收一个或多个rgb图像；
[0029]-由处理单元[204]对一个或多个rgb图像进行预处理；
[0030]-由处理单元[204]基于第一预训练数据集估计与一个或多个经预处理的rgb图像中的每个经预处理的rgb图像相关联的照明分量；
[0031]-由处理单元[204]从每个经预处理的rgb图像中去除照明分量；
[0032]-由处理单元[204]基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹；
[0033]-由处理单元[204]基于围绕所述一个或多个像素定义的块来识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置；和
[0034]-由处理单元[204]基于照明分量的去除、一个或多个像素的轨迹和一个或多个像素的位置中的至少一个从与一个或多个rgb图像对应的每个经预处理的rgb图像中提取全范围高光谱数据。
[0035]
2.如段落1所述的方法，其中预处理至少包括调整一个或多个rgb图像的大小、对一个或多个rgb图像去噪以及增强一个或多个rgb图像的图像质量。
[0036]
3.如段落1所述的方法，其中一个或多个相机设备包括一个或多个微机电系统(mems)。
[0037]
4.如段落1所述的方法，其中经由与一个或多个相机设备相关联的主节点在收发器单元[202]处接收一个或多个rgb图像。
[0038]
5.如段落1所述的方法，其中由处理单元[204]提取全范围高光谱数据进一步基于第二预训练数据集，其中第二预训练数据集包括基于将多个rgb图像逐帧转换为相应的高光谱级别分辨率进行训练的多个数据。
[0039]
6.如段落1所述的方法，其中第一预训练数据集包括基于与多个rgb图像中的每个图像中捕获的每个对象相关联的深度值进行训练的多个数据。
[0040]
7.如段落6所述的方法，其中由处理单元[204]估计与每个经预处理的rgb图像相关联的照明分量还包括：
[0041]-由处理单元[204]基于第一预训练数据集分配深度值给每个rgb像素，每个rgb像素与每个经预处理的rgb图像关联，
[0042]-由处理单元[204]基于分配给每个rgb像素的深度值在一个或多个照明条件下合成在每个经预处理的rgb图像中捕获的一个或多个对象的一个或多个图像，并且
[0043]-由处理单元[204]基于合成的一个或多个对象的一个或多个图像来估计与每个
经预处理的rgb图像相关联的照明分量，其中照明分量是在像素级比例上估计的。
[0044]
8.如段落7所述的方法，其中由处理单元[204]估计照明分量进一步基于一项或多项人工智能技术。
[0045]
9.如段落1所述的方法，该方法包括由处理单元[204]在基于以下几点的理想条件下确定与每个经预处理的rgb图像相关联的目标rgb值：
[0046]-由处理单元[204]从每个经预处理的rgb图像中去除照明分量，
[0047]-由处理单元[204]基于照明分量的去除来取回每个经预处理的rgb图像的一个或多个像素的原始rgb像素值，以及
[0048]-由处理单元[204]基于每个经预处理的rgb图像的一个或多个像素的原始rgb像素值确定目标rgb值。
[0049]
10.如段落1所述的方法，该方法还包括由处理单元[204]对存在于全范围高光谱数据中的感兴趣对象执行像素级语义分割，全范围高光谱数据与一个或多个rgb图像的每个rgb图像相对应。
[0050]
11.如段落10所述的方法，其中基于一种或多种人工智能技术执行像素级语义分割。
[0051]
12.如段落10所述的方法，该方法还包括：
[0052]-由处理单元[204]组织全范围高光谱数据，全范围高光谱数据与具有相似光谱特征的一个或多个波段子集中的每个rgb图像相对应，以及
[0053]-由处理单元[204]基于组织从与每个rgb图像相对应的全范围高光谱数据中提取一个或多个光谱和一个或多个空间特征。
[0054]
13.如段落12所述的方法，该方法还包括由处理单元[204]基于一个或多个提取的光谱特征、一个或多个提取的空间特征和第三预训练数据集确定与农业和健康领域中的至少一个相关的一个或多个参数。
[0055]
14.如段落12所述的方法，其中第三预训练数据集包括基于高光谱数据训练的多个数据和与多个事件相关联的rgb深度数据，这多个事件与农业和健康领域中的至少一个相关联。
[0056]
15.一种用于从一个或多个rgb图像中提取全范围高光谱数据的系统，该系统包括：
[0057]-一收发器单元[202]，配置为从一个或多个相机设备接收一个或多个rgb图像；和
[0058]-一处理单元[204]，配置为：
[0059]
对一个或多个rgb图像进行预处理，
[0060]
基于第一预训练数据集估计与一个或多个经预处理的rgb图像中的每个经预处理的rgb图像相关联的照明分量，
[0061]
从每个经预处理的rgb图像中去除照明分量，
[0062]
基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹，
[0063]
基于围绕所述一个或多个像素定义的块识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置，以及
[0064]
基于照明分量的去除、一个或多个像素的轨迹和一个或多个像素的位置中的至少
一个，从对应于一个或多个rgb图像的每个经预处理的rgb图像中提取全范围高光谱数据。
[0065]
16.如段落15所述的系统，其中处理单元[204]配置为通过至少调整一个或多个rgb图像的大小、对一个或多个rgb图像去噪以及增强一个或多个rgb图像的图像质量对一个或多个rgb图像进行预处理。
[0066]
17.如段落15所述的系统，其中一个或多个相机设备包括一个或多个微机电系统(mems)。
[0067]
18.如段落15所述的系统，其中经由与一个或多个相机设备相关联的主节点在收发器单元[202]处接收一个或多个rgb图像。
[0068]
19.如段落15所述的系统，其中全范围高光谱数据的提取进一步基于第二预训练数据集，其中第二预训练数据集包括基于将多个rgb图像逐帧转换为相应的高光谱级别分辨率进行训练的多个数据。
[0069]
20.如段落15所述的系统，其中第一预训练数据集包括基于与多个rgb图像中的每个图像中捕获的每个对象相关联的深度值进行训练的多个数据。
[0070]
21.如段落20所述的系统，其中估计与每个经预处理的rgb图像相关联的照明分量的处理单元[204]配置为：
[0071]-基于第一预训练数据集分配深度值给每个rgb像素，每个rgb像素与每个经预处理的rgb图像关联，
[0072]-基于分配给每个rgb像素的深度值在一个或多个照明条件下合成在每个经预处理的rgb图像中捕获的一个或多个对象的一个或多个图像，并且
[0073]-基于合成的一个或多个对象的一个或多个图像来估计与每个经预处理的rgb图像相关联的照明分量，其中照明分量是在像素级比例上估计的。
[0074]
22.如段落21所述的系统，其中处理单元[204]还配置为基于一种或多种人工智能技术估计照明分量。
[0075]
23.如段落15所述的系统，其中处理单元[204]还配置为基于以下几点在理想条件下确定与每个经预处理的rgb图像相关联的目标rgb值：
[0076]-从每个经预处理的rgb图像中去除照明分量，
[0077]-由处理单元[204]基于照明分量的去除来取回每个经预处理的rgb图像的一个或多个像素的原始rgb像素值，以及
[0078]-由处理单元[204]基于每个经预处理的rgb图像的一个或多个像素的原始rgb像素值确定目标rgb值。
[0079]
24.如段落15所述的系统，其中处理单元[204]还配置为对存在于全范围高光谱数据中的感兴趣对象执行像素级语义分割，全范围高光谱数据与一个或多个rgb图像的每个rgb图像相对应。
[0080]
25.如第24段所述的系统，其中基于一种或多种人工智能技术执行像素级语义分割。
[0081]
26.如段落24所述的系统，其中处理单元[204]还配置为：
[0082]-组织全范围高光谱数据，全范围高光谱数据与具有相似光谱特征的一个或多个波段子集中的每个rgb图像相对应，以及
[0083]-基于组织从与每个rgb图像相对应的全范围高光谱数据中提取一个或多个光谱
和一个或多个空间特征。
[0084]
27.如段落25所述的系统，其中处理单元[204]还配置为基于一个或多个提取的光谱特征、一个或多个提取的空间特征和第三预训练数据集确定与农业和健康领域中的至少一个相关的一个或多个参数。
[0085]
28.如段落25所述的系统，其中第三预训练数据集包括基于高光谱数据训练的多个数据和与多个事件相关联的rgb深度数据，这多个事件与农业和健康领域中的至少一个相关联。
附图说明
[0086]
并入本文并构成本公开的一部分的附图示出了所公开的方法和系统的示例性实施例，其中在所有不同的附图中相同的附图标记指代相同的部件。附图中的组件不一定按比例绘制，而是将重点放在清楚地说明本公开的原理上。一些附图可能使用框图表示组件，可能并不表示每个组件的内部电路。本领域技术人员将理解，此类附图的公开包括电气组件、电子组件或通常用于实现此类组件的电路的公开。
[0087]
图1示出了根据本发明示例性实施例的用于作为用户设备(ue)的集成部分的rgb到高光谱变换的示例性系统架构[100]。
[0088]
图2示出了根据本发明示例性实施例的用于从一个或多个rgb图像中提取全范围高光谱数据的系统[200]的示例性框图。
[0089]
图3示出了根据本发明示例性实施例的用于收集一个或多个rgb图像以从一个或多个rgb图像中提取全范围高光谱数据的示例图[300]。
[0090]
图4示出了根据本发明的示例性实施例的示例性方法流程图[400]，描绘了一种用于从一个或多个rgb图像中提取全范围高光谱数据的方法。
[0091]
图5(即图5a和5b)示出了根据本发明示例性实施例的从一个或多个rgb图像中提取全范围高光谱数据的示例性用例。
[0092]
图6示出了根据本发明的示例性实施例的示例性过程[600]，其指示基于从一个或多个rgb图像提取全范围高光谱数据的作物分类的用例。
[0093]
根据本公开的以下具体实施方式，前述内容将更为明显。
具体实施方式
[0094]
在下面的描述中，出于解释的目的，阐述了各种具体细节以全面理解本公开的实施例。然而，显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。下文描述的几个功能可以各自独立使用或与其他功能的任意组合在一起使用。单个功能可能无法解决上述任何问题，或者可能仅解决上述部分问题。
[0095]
随后的描述仅提供示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，示例性实施例的后续描述将为本领域技术人员提供实现示例性实施例的使能描述。应当理解，在不脱离所阐述的本发明的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
[0096]
此外，应注意，各个实施例可描述为一个过程，该过程描述为流程图、流程图、序列图、数据流图、结构图或框图。尽管流程图可以将操作描述为顺序过程，但许多操作可以并
行或同时执行。此外，可以重新安排操作的顺序。过程在其操作完成时终止，但可能有图中未包含的其他步骤。过程可以对应于方法、函数、程序、子例程、子程序等。当过程对应于函数时，其终止可以对应于函数返回到调用函数或主函数。
[0097]
此外，实施例可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现。当以软件、固件、中间件或微代码实现时，执行必要任务的程序代码或代码段(例如，计算机程序产品)可以存储在机器可读介质中。处理器可以执行必要的任务。
[0098]
术语“机器可读存储介质”或“计算机可读存储介质”包括但不限于便携式或非便携式存储设备、光存储设备以及其他各种能够存储、包含或携带指令和/或数据的介质。机器可读介质可以包括非暂时性介质，非暂时性介质中可以存储数据并且不包括无线地或通过有线连接传播的载波和/或瞬时电子信号。非暂时性介质的示例可以包括但不限于磁盘或磁带、诸如压缩盘(cd)或数字通用盘(dvd)的光存储介质、闪存、存储器或存储设备。计算机程序产品可以包括代码和/或机器可执行指令，它们可以表示过程、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任何组合。代码段可以通过传递和/或接收信息、数据、变元、参数或存储器内容耦合到另一个代码段或硬件电路。信息、变元、参数、数据等可以通过任何合适的方式传递、转发或传输，这些方式包括内存共享、消息传递、令牌传递、网络传输等。
[0099]
本文使用的词语“示例性”和/或“说明性”是指用作示例、实例或说明。为避免疑义，本文公开的主题不受这些示例的限制。此外，本文中描述为“示例性”和/或“说明性”的任何方面或设计不一定被解释为优于其他方面或设计，也不意味着排除那些本领域普通技术人员已知的等同示例性结构和技术。此外，如果在具体实施女方是或权利要求中使用术语“包括”、“具有”、“包含”和其他类似词语，则此类术语旨在以与术语“包含”类似的方式包容为开放性过渡词-而不排除任何另外的或其它元素。
[0100]
整篇本说明书对“一个实施例”或“一实施例”的引用意味着结合该实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，本说明书中各处出现的短语“在一个实施例中”不一定都指代相同的实施例。此外，可以在一个或多个实施例中以任何合适的方式组合特定特征、结构或特性。
[0101]
本文使用的术语仅用于描述特定实施例，并不旨在限制本发明。如本文所用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。还应当理解，当在本说明书中使用时，术语“包括”和/或“包含”指定所述特征、整数、步骤、操作、元素和/或组件的存在，但是不排除一个或多个其它特征、整数、步骤、操作、元素、组件和/或其组的存在或添加有一个或多个其它特征、整数、步骤、操作、元素、组件和/或其组。如本文所用，术语“和/或”包括相关所列项目的一个或多个的任何和所有组合。
[0102]
本文所用术语“数据”是指任何记号、信号、标记、符号、域、符号集、表示以及代表信息的任何其他物理形式，无论是永久的还是临时的，无论是可见的、可听的、声学的、电的、磁的、电磁或其他表现形式。用于以一种物理形式表示预定信息的术语“数据”应视为包含以一种或多种不同物理形式表示的相应信息的任何和所有表示。
[0103]
术语“第一”、“第二”、“主要”和“次要”用于区分一个元素、集合、数据、对象、步骤、过程、功能、活动或事物，而不用于指定相对位置，或时间安排或相对重要性，除非另有明确说明。本文所用术语“耦合”、“耦合到”均表示两个或多个设备、装置、文件、电路、元件、功
能、操作、过程、程序、介质、组件、网络、系统、子系统和/或装置之间的关系，构成(a)连接的任何一个或多个，无论是直接连接还是通过一个或多个其他设备、装置、文件、电路、元件、功能、操作、过程、程序、介质、组件、网络、系统、子系统或装置进行的连接，
[0104]
(b)一种通信关系，无论是直接通信还是通过一个或多个其他设备、装置、文件、电路、元素、功能、操作、过程、程序、介质、组件，网络、系统、子系统或装置实现的通信，和/或(c)一种功能关系，其中任何一个或多个设备、装置、文件、电路、元件、功能、操作、过程、程序、介质、组件、网络、系统、子系统或装置完全取决于或部分取决于对其中任何一个或多个的操作。
[0105]
本文所用术语“通信”既包括将数据从源传送到目的地，又包括将数据传送到通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和/或要传送到目的地的链接，本文所用术语“通信”是指如此传送或传输的数据。本文所用术语“通信”包括通信介质、系统、信道、网络、设备、电线、电缆、光纤、电路和链路中的一个或多个。
[0106]
此外，诸如“用户设备”(ue)、“电子设备”、“移动站”、“用户设备”、“移动用户站”、“接入终端”、“终端”、“智能手机”“智能计算设备”、“手机”等术语和类似术语是指任何电气、电子、机电设备或上述一种或多种设备的组合。智能计算设备可能包括但不限于移动电话、智能电话、虚拟现实(vr)设备、增强现实(ar)设备、寻呼机、笔记本电脑、通用计算机、台式机、个人数字助理、平板电脑、大型计算机或本领域技术人员显而易见的任何其他计算设备。一般来说，智能计算设备是一种数字的、用户配置的、可以自主操作的计算机网络设备。智能计算设备是用于存储数据和其他私人/敏感信息的适当系统之一。所述设备在iso参考模型的所有七个级别上运行，但主要功能与应用层以及网络、会话和表示层以及触摸屏、应用生态系统、物理和生物识别安全等任何附加功能相关。此外，“智能手机”是一种“智能计算设备”，指的是移动无线蜂窝连接设备，允许最终用户在2g、3g、4g、5g和具有高级移动操作系统的类似移动宽带互联网连接上使用服务，其中所述高级移动操作系统结合了个人计算机操作系统的功能和用于移动或手持用途的其它功能。这些智能手机可以访问互联网，具有触摸屏用户界面，可以运行第三方应用程序，包括托管在线应用程序、音乐播放器的能力，并且是具有高速移动宽带4g lte互联网的照相手机，具有视频通话、热点功能、运动传感器、移动支付机制和增强的安全功能，并在紧急情况下发出报警和警报。移动设备可以包括智能手机、可穿戴设备、智能手表、智能手环、可穿戴增强设备等。为了进行具体说明，我们在本公开中将移动设备指代功能手机和智能手机，但不限制范围本公开的内容并且可以扩展到实现技术方案的任何移动设备。上述包括智能手机在内的智能设备以及包括物联网设备在内的功能手机可以实现设备上的通信。此外，前述术语在本说明书和相关附图中可互换使用。
[0107]
如本文所用，“处理器”或“处理单元”包括一个或多个处理器，其中处理器是指用于处理指令的任何逻辑电路。处理器可以是通用处理器、专用处理器、常规处理器、数字信号处理器、多个微处理器、与dsp核心关联的一个或多个微处理器、控制器、微控制器、低端微控制器、专用集成电路、现场可编程门阵列电路、任何其他类型的集成电路等。此外，本文所用术语“处理器”包括但不限于一台或多台计算机、硬连线电路、信号修改设备和系统、用于控制系统的设备和机器、中央处理单元、可编程设备和系统、片上系统、由分立元件和/或电路组成的系统、状态机、虚拟机、数据处理器、处理设施和前述的任何组合。处理器可以执
行信号编码数据处理、输入/输出处理和/或使根据本公开的系统运行的其它功能。更具体地，处理器或处理单元是硬件处理器。本文所用“处理器”是指处理设备、装置、程序、电路、组件、系统和子系统，无论是在硬件、有形体现的软件或两者中实现，也无论是否可编程。
[0108]
如本文所用，“存储器单元”、“存储单元”和/或“存储器”指的是机器或计算机可读介质，包括用于以计算机或类似机器可读的形式存储信息的任何机制。例如，计算机可读介质包括只读存储器(“rom”)、随机存取存储器(“ram”)、磁盘存储介质、光存储介质、闪存设备或其他类型的机器可访问存储介质。如本文所用的存储器单元配置为暂时或永久保留数据，并且将这样保留的数据提供给各种单元以执行它们各自的功能。
[0109]
如本文所用，“收发器单元”可包括但不限于将数据传输到一个或多个目的地的发射器和从一个或多个源接收数据的接收器。此外，收发器单元可以包括对本领域技术人员显而易见的任何其他类似单元，以实现本发明的功能。收发器单元可以将数据或信息转换成信号，反之亦然，分别用于发送和接收的目的。
[0110]
如背景技术部分所公开的，现有技术具有许多局限性，为了克服现有已知解决方案的至少一些局限性，本公开提供了一种用于从一个或多个rgb图像中提取全范围高光谱数据的解决方案，用于在农业、卫生和其他相关领域的各种应用。
[0111]
在一个实现中，本发明提供了一种解决方案，通过低成本、高分辨率的地面设备，在人工智能的辅助下，从一个或多个rgb图像中恢复全范围高光谱数据，这些人工智能可以自建和映射从现有的rgb图像到高光谱图像的参数(例如为植物表型和/或健康相关参数)。此外，基于本发明的特征的实现，实现了改进的数据准确性和光谱分辨率。例如，从全范围高光谱数据中获得一种或多种光谱和数学信息中的至少一种，以提高在农业、健康和其他相关领域的各种应用的准确性。
[0112]
图1描绘了一个示例性系统架构[100]，用于将rgb转换为高光谱，作为用户设备(ue)的集成部分。更具体地，图1描绘了示例性的基于光学微机电系统(mems)光谱技术的ue，其中使用rgb传感器捕获至少一个图像，然后将该图像转换为相应的高光谱信息。此外，在[102]处，图1描绘了rgb对象，例如样本对象或要捕获的场景。此外，在[104]和[106]处，分别示出了物镜连同rgb传感器和mems或相关单元中的整个光学阵列，以捕捉rgb物体的至少一个图像。在一个实施中，mems ue发起由具有支持的参数的ue上的mems相机捕获至少一个图像。此后，[108]描述了将至少一个rgb图像转换为相应的高光谱数据。更具体地，mems ue将数据捕获信息(即，至少一个图像)传输到mems节点的本地网络的领导/主节点，mems节点进一步将所述信息上传/发布到云服务器单元中的实时数据库，至少用于转换为高光谱数据。mems ue配置为接收数据，这些数据对应于在云服务器单元处的数据集发生的任何变化，任何变化例如包括但不限于来自一个或多个传感器的信息的添加复制/同步在mems ue上，因此基于转换[110]在mems ue处接收高光谱数据输出。此后，[112]表明基于高光谱数据输出实现了改进的数据准确性和光谱分辨率。更具体地，在一个实施方式中，mems ue定期执行高光谱数据输出的设备上校准并显示一个或多个图表。因此，利用高光谱信息来增强图像分析以提供更好的精度和分辨率。
[0113]
下文中，将参照附图详细描述本公开的示例性实施例，使得本领域的技术人员能够容易地实施本公开。
[0114]
参照图2，示出了根据本发明示例性实施例的用于从一个或多个rgb图像中提取全
范围高光谱数据的系统[200]的示例性框图。
[0115]
系统[200]包括至少一收发器单元[202]、至少一个处理单元[204]及至少一个储存单元[208]。此外，系统[100]的所有组件/单元均假定为相互连接，除非下文另有说明。此外，图1中仅示出了几个单元，然而，根据实现本公开的特征所需要的，系统[200]可以包括多个这样的单元或者系统[200]可以包括任何这样数量的所述单元。
[0116]
系统[200]配置为借助其组件/单元之间的互连从一个或多个rgb图像中提取全范围高光谱数据。
[0117]
为了从一个或多个rgb图像中提取全范围高光谱数据，系统[200]的收发器单元[202]配置为从一个或多个相机设备接收一个或多个rgb图像。此外，来自一个或多个rgb图像的每个图像可以是单个图像、一连串图像或由一个或多个相机设备捕获的短视频。在一个实施方式中，一个或多个相机设备可以是一个或多个具有图像/视频捕获能力的用户设备(例如智能手机)，其中，一个或多个用户设备配置为捕获一个或多个rgb图像。因此，在这样的实施方式中，基于本发明的特征的实施方式，一个或多个用户设备(ue)上的ui配置为允许用户捕获一个或多个rgb图像以处理所述一个或多个rgb图像，进一步提供基于高光谱成像的高分辨率光谱特征，高分辨率光谱特征可以在诸如农业、医疗保健等各个领域提供所需的服务。同样在另一实施方式中，一个或多个相机设备包括一个或多个微机电系统(mems)，其中一个或多个mems相机设备/mems ue配置为启动具有支持的参数的一个或多个mems ue上的mems相机/传感器捕获图像和/或视频，以捕获一个或多个rgb图像。此外，在这样的实施方式中，经由与一个或多个相机设备/mems相机相关联的主节点在收发器单元[202]处接收一个或多个rgb图像。图3示出了根据本发明示例性实施例的用于收集一个或多个rgb图像以从一个或多个rgb图像中提取全范围高光谱数据的示例性图表[300]。图3描述了一个mems节点网络，包括一个或多个领导/主节点[302]和一个或多个mems传感器/相机[304]。一个或多个主节点[302]连接云服务器单元[306]，其中云服务器单元[306]进一步连接用户设备[308]。如图3所示，每当具有支持的参数的一个或多个mems相机[304]捕获图像时，一个或多个mems相机，即一个或多个相机设备[304]将数据捕获信息即捕获的图像中继到mems节点[300]的本地网络的一个或多个领导/主节点[302]。一个或多个本地领导节点[302]通过收发器单元[202]将数据捕获信息上传/发布到云服务器单元[306]中的实时数据库。更具体地说，在给定的实施方式中，收发器单元[202]配置为在云服务器单元[306]处配置的系统[200]处从一个或多个主节点[302]接收数据捕获信息，即捕获的图像。此外，在一个实施方式中，收发器单元[202]还配置为在用户设备[308]处传输由系统[100]从捕获的图像中提取的全范围高光谱。
[0118]
一旦在收发器单元[202]处接收到一个或多个rgb图像，连接收发器单元[202]的处理单元[204]为了从一个或多个rgb图像提取全范围高光谱数据，会首先配置为预处理一个或多个rgb图像。更具体地，处理单元[204]配置为通过至少调整一个或多个rgb图像的大小、对一个或多个rgb图像去噪和提高一个或多个rgb图像的图像质量对一个或多个rgb图像进行预处理。实现一个或多个rgb图像的预处理以调整一个或多个rgb图像的大小、去噪和增强图像质量，因为一个或多个rgb图像可以从不同大小、分辨率的一个或多个不同或相同相机设备中接收，且因外部环境受到不同的变形。
[0119]
此后，处理单元[204]配置为基于第一预训练数据集来估计与一个或多个经预处
理的rgb图像中的每个经预处理的rgb图像相关联的照明分量。第一预训练数据集包括基于与在多个rgb图像的每个图像中捕获的每个对象相关联的深度值训练的多个数据。更具体地，处理单元[204]估计与每个经预处理的rgb图像相关联的照明分量配置为基于第一预训练数量集分配深度值给与每个经预处理的rgb图像相关联的每个rgb像素。此后，处理单元[202]基于分配给每个rgb像素的深度值，在一个或多个照明条件下合成在每个经预处理的rgb图像中捕获的一个或多个对象的一个或多个图像。此外，处理单元[204]配置为基于一个或多个对象的合成的一个或多个图像来估计与每个经预处理的rgb图像相关联的照明分量，其中照明分量是在像素级尺度上估计的。此外，处理单元[204]还配置为基于一种或多种人工智能技术估计照明分量。在一个实施方式中，基于分配给与每个经预处理的rgb图像相关联的每个rgb像素的深度值形成一个或多个对象的一个或多个三维点云表示，其中一个或多个对象在一个或多个照明条件下在每个经预处理的rgb图像中捕获得到，以估计每个经预处理的rgb图像在像素级尺度上的照明分量。
[0120]
处理单元[204]还配置为去除每个经预处理的rgb图像中的照明分量。从每个经预处理的rgb图像中去除照明分量以获得每个经预处理的rgb图像的一个或多个像素的与照明无关的rgb像素值，以便在理想条件下进一步获得与每个经预处理的rgb图像相关联的实际rgb值(即，目标rgb值)。更具体地，处理单元[204]配置为基于从每个经预处理的rgb图像中去除照明分量，基于照明分量的去除和由处理单元[204]取回每个经预处理的rgb图像的一个或多个像素的原始rgb像素值(即，与照明无关)，由处理单元[204]基于每个经预处理的rgb图像的一个或多个像素的原始rgb像素值确定的目标rgb值(即，实际rgb值)来确定理想条件下与每个经预处理的rgb图像相关联的目标rgb值。
[0121]
此后，处理单元[204]配置为基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹。在一个实施方式中，处理单元[204]配置为使用光流模型(密集估计)估计一个或多个像素在与每个经预处理的rgb图像相关联的不同帧上的轨迹。例如，跟踪像素轨迹的处理单元[204]配置为接收输入图像的经预处理rgb图像的一个或多个帧和/或视频作为输入。此后，处理单元[204]配置为基于光流模型将接收到的一个或多个帧和/或视频一起包含在同一像素中以获得输入图像的更好/更准确的高光谱表示。
[0122]
此外，处理单元[204]配置为基于在所述一个或多个像素周围定义的块来识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置。此外，处理单元配置为基于领域中的像素的光流是相同的假设，将块定义为一个或多个像素的像素邻域以基于邻域聚集一个或多个像素的运动。在一个实施方式中，用于识别一个或多个像素的位置的运动的块级聚合基于一种或多种人工智能和机器学习技术。在其中一个实施方式中，基于级联运动和rgb信息、高光谱块对训练模型，以便长短期记忆(lstm)从一个或多个时间图像(即，一个或多个对象的内部3维表示)中学习结构/法线，从而与任何仅给出单个rgb图像的标准神经架构相比，可以提供更好的估计。
[0123]
此后，处理单元[204]配置为基于照明分量的去除、一个或多个像素的轨迹以及一个或多个像素的位置中的至少一个，从对应于一个或多个rgb图像的每个经预处理的rgb图像中提取全范围高光谱数据。在一个实施方式中，全范围高光谱数据的提取进一步基于第二预训练数据集，其中第二预训练数据集包括基于将多个rgb图像逐帧转换成对应的高光
谱水平分辨率进行训练的多个数据。例如，第二预训练数据集可以包括基于将多个健康领域相关的rgb图像逐帧转换为对应的高光谱水平分辨率进行训练的多个数据，其中在一个实施方式中，处理单元配置为将指示疾病的经预处理的rgb图像映射到所述第二预训练数据集以进一步提取相应的全范围高光谱数据。
[0124]
此外，处理单元[204]配置为对存在于对应于一个或多个rgb图像中的每个rgb图像的全范围高光谱数据中的感兴趣对象执行像素级语义分割。基于一种或多种人工智能技术执行像素级语义分割。此外，执行像素级语义分割以分离感兴趣的对象，即前景与背景分离。
[0125]
一旦像素级语义分割被执行，处理单元[204]配置为在具有相似光谱特征的一个或多个波段子集中组织对应于每个rgb图像的全范围高光谱数据。此外，处理单元[204]还配置为基于对全范围高光谱数据的组织，从对应于每个rgb图像的全范围高光谱数据中至少提取一种或多种光谱特征和一种或多种空间特征中的至少一种。将全范围高光谱数据组织在具有相似光谱特征的波段子集中，因为感兴趣对象的不同部分可能具有不同的特征，例如农作物的不同部分具有不同的化学特征以及一个或多个光谱和一个或多个空间特征被提取以使下一阶段更容易由处理单元[204]确定，一个或多个参数与农业领域、健康领域和类似领域中的至少一个相关联。
[0126]
此后，处理单元[204]还配置为基于提取的一个或多个光谱特征、提取的一个或多个空间特征以及第三预训练数据集确定与农业和健康领域中的至少一个相关的一个或多个参数。第三预训练数据集包括基于与农业和健康领域中的至少一个相关联的多个事件相关联的高光谱数据和rgb深度数据进行训练的多个数据。在一个实施方式中，第三预训练数据集可以包括指示不同生长阶段的多种作物的高光谱数据和rgb深度数据、作物健康/营养映射数据、疾病进展映射数据。在这样的实施方式中，处理单元[204]配置为将作物的rgb图像的高光谱信号模式(即一个或多个提取的光谱特征和一个或多个提取的空间特征)准确地映射到第三预训练数据集的每个作物参数(如氮的某个波段模式、营养阶段、生殖阶段、真菌病害、细菌病害等)以确定与作物相关的一个或多个参数，从而进一步预测一种或多种作物状况。此外，在一个实例中，处理单元[204]配置为使用计算机视觉生成对抗网络(gan)来使用rgb模式生成每个高光谱信号模式，即包含在第三预训练数据集中的rgb深度数据。因此，基于高光谱信号模式与作物参数的映射确定的一个或多个农业相关参数，可以向农民提供多种服务以实现作物生长阶段相关的精准营养(以进一步降低投入成本，改善作物产量和土壤质量)，早期疾病预测(以进一步减少农药、杀菌剂、杀虫剂的使用和成本)，以及种子质量评估和收获决策(以进一步降低投入成本和延长蔬菜和水果的保质期)。
[0127]
此外，一旦确定了与农业、健康和其他此类领域中的至少一个相关的一个或多个参数，收发器单元[202]配置为将所述一个或多个参数传输到用户设备以进一步显示图表，该图表指示一个或多个农业、健康和其他此类领域的相关信息。在一个实施方式中，收发器单元[202]配置为观察/监听存储单元[206]发生的任何变化，以便将更新的信息传输到用户设备。因此，任何变化，包括但不限于添加来自一个或多个相机设备/mems传感器的信息，都在用户设备上被复制/同步。此外，在一个实施方式中，用户设备定期对从收发器单元[202]收集的读数进行设备校准并显示图表。
[0128]
参考图4，示出了根据本发明示例性实施例的示例性方法流程图[400]，描绘了一
种用于从一个或多个rgb图像中提取全范围高光谱数据的方法。在一个实施方式中，该方法由系统[200]执行，并且系统[200]可以配置在云服务器单元。如图4所示，该方法开始于步骤[402]。
[0129]
在步骤[404]，该方法包括在收发器单元[202]处从一个或多个相机设备接收一个或多个rgb图像。来自一个或多个rgb图像的每个rgb图像可以是单个rgb图像、一连串rgb图像或由一个或多个相机设备捕获的短视频。在一个实施方式中，一个或多个摄相机设备可以是一个或多个具有图像/视频捕获能力的用户设备(例如智能手机)，其中，一个或多个用户设备配置为捕获一个或多个rgb图像。因此，在这样的实施方式中，该方法包括通过一个或多个用户设备(ue)上的ui允许一个或多个用户捕获一个或多个rgb图像以基于本发明的特征的实施方式处理所述一个或多个rgb图像，进一步提供基于高光谱成像的高分辨率光谱特征，其可以在诸如农业、医疗保健等各个领域提供期望的服务。
[0130]
同样在另一实施方式中，一个或多个相机设备包括一个或多个微机电系统(mems)，其中在这样的实施方式中，该方法包括由一个或多个mems相机设备/mems ue发起，使用具有支持参数的一个或多个mems ue的mems相机/传感器捕获图像和/或视频，以捕获一个或多个rgb图像。此外，在这样的实施方式中，经由与一个或多个相机设备，即一个或多个mems相机相关联的主节点，在收发器单元[202]处接收一个或多个rgb图像。更具体地，该方法包括由一个或多个mems相机将一个或多个rgb图像中继到主节点，其中主节点经由收发器单元[202]将一个或多个rgb图像上传/发布到存储单元[206]，存储单元[206]配置在云服务器单元中。
[0131]
此后在步骤[406]，该方法包括由处理单元[204]对一个或多个rgb图像进行预处理。预处理至少包括调整一个或多个rgb图像的大小、一个或多个rgb图像的去噪以及增强一个或多个rgb图像的图像质量。实现一个或多个rgb图像的预处理以调整一个或多个rgb图像的大小、一个或多个rgb图像的去噪和增强一个或多个rgb图像的图像质量，因为一个或多个rgb图像可以接收自不同尺寸、分辨率的一个或多个不同或相同的相机设备且因外部环境受到不同变形的影响。
[0132]
接下来，在步骤[408]，该方法包括由处理单元[204]基于第一预训练数据集估计与一个或多个经预处理的rgb图像中的每个经预处理的rgb图像相关联的照明分量。第一预训练数据集包括基于与在多个rgb图像的每个图像中捕获的每个对象相关联的深度值进行训练的多个数据。此外，由处理单元[204]估计与每个经预处理的rgb图像相关联的照明分量的过程首先包含，由处理单元[204]基于第一预训练数据集分配深度值给每个rgb像素，每个rgb像素与每个经预处理的rgb图像相关联。此后的过程导致由处理单元[204]基于分配给每个rgb像素的深度值在一个或多个照明条件下合成在每个经预处理的rgb图像中捕获的一个或多个对象的一个或多个图像。此后的过程包括由处理单元[204]基于一个或多个对象的合成的一个或多个图像来估计与每个经预处理的rgb图像相关联的照明分量，其中照明分量是在像素级尺度上估计的。此外，由处理单元[204]估计与每个经预处理的rgb相关联的照明分量是基于一种或多种人工智能技术。在一个实施方式中，基于分配给与每个经预处理的rgb图像相关联的每个rgb像素的深度值形成一个或多个对象的一个或多个三维点云表示，其中一个或多个对象在一个或多个照明条件下捕获在每个经预处理的rgb图像中，以针对每个经预处理的rgb图像估计像素级尺度上的照明分量。进一步考虑一个例
子，如果经预处理的rgb图像包含特定花的一系列经预处理的rgb图像，则该方法包括，由处理单元[204]基于第一预训练数据集分配深度值给与所述特定花的一系列经预处理的rgb图像相关联的每个rgb像素，其中第一预训练数据集包括基于与在多个rgb图像的每个图像中捕获的所述特定花关联的深度值训练的多个数据。
[0133]
此后，该方法包括由处理单元[204]基于分配给与一连串预处理rgb图像相关联的每个rgb像素的深度值，在一种或多种照明条件下，合成在一连串的经预处理的rgb图像中捕获的所述特定花的一个或多个图像。此外，该方法包括由处理单元[204]基于特定花的合成的一个或多个图像来估计与一连串的经预处理的rgb图像的每个图像相关联的照明分量，其中照明分量是在像素级尺度上估计的。
[0134]
此外，在步骤[410]，该方法包括由处理单元[204]从每个经预处理的rgb图像中去除照明分量。从每个经预处理的rgb图像中去除照明分量以获得每个经预处理的rgb图像的一个或多个像素的与照明无关的rgb像素值，以便在理想条件下获得与每个经预处理的rgb图像相关联的实际rgb值(即，目标rgb值)。更具体地，该方法包括由处理单元[204]基于以下几点在理想条件下确定与每个经预处理的rgb图像相关联的目标rgb值：由处理单元[204]从每个经预处理的rgb图像中去除照明分量，由处理单元[204]基于照明分量的去除取回每个经预处理的rgb图像的一个或多个像素的原始(即独立于照明)rgb像素值，以及由处理单元[204]基于每个经预处理的rgb图像的一个或多个像素的原始rgb像素值确定目标rgb值(即，实际rgb值)。考虑到上面的示例，其中基于特定花的合成的一个或多个图像确定了与一连串经预处理rgb图像的每个图像相关联的照明分量，给定示例中的方法还包括从特定花的所有经预处理的一连串rgb图像中去除照明分量，以取回与一连串经预处理的rgb图像相关联的实际rgb像素值(即，目标rgb值)。
[0135]
此后，在步骤[412]，该方法包括由处理单元[204]基于光流模型跟踪一个或多个像素在与每个经预处理的rgb图像相关联的一个或多个帧上的轨迹。在一个实施方式中，该方法包括由处理单元[204]使用光流模型估计一个或多个像素在与每个经预处理的rgb图像相关联的不同帧上的轨迹(即密集估计)。例如，跟踪像素轨迹的方法包括由处理单元[204]接收输入图像的经预处理的rgb图像的一个或多个帧和/或视频作为输入。此后，该方法包括基于光流模型将接收到的一个或多个帧和/或视频一起包含在同一像素中以获得输入图像的更好/更准确的高光谱表示。
[0136]
接下来，在步骤[414]，该方法包括由处理单元[204]基于围绕所述一个或多个帧定义的块来识别一个或多个像素在一个或多个帧的一个或多个相邻帧中的位置。此外，该方法包括由处理单元基于邻域中的像素的光流是一样的假设将块定义为一个或多个像素的邻域以基于邻域聚合一个或多个像素的运动。在一个实施方式中，用于识别一个或多个像素的位置的运动的块级聚合基于一种或多种人工智能和机器学习技术。在其中一个实施方式中，基于级联运动和rgb信息、高光谱块对训练模型，以便长短期记忆(lstm)从一个或多个时间图像(即一个或多个对象的内部3维表示)中学习结构/法线，从而与任何仅给出单个rgb图像的标准神经架构相比，可以提供更好的估计。
[0137]
此外，在步骤[416]，该方法包括由处理单元[204]基于照明分量的去除、一个或多个像素的轨迹以及一个或多个像素的位置中的至少一个从对应于一个或多个rgb图像的每个经预处理的rgb图像中提取全范围高光谱数据。另外，在一个实施方式中，处理单元[204]
提取全范围高光谱数据的过程还基于第二预训练数据集，其中第二预训练数据集包括基于将多个rgb图像逐帧转换为相应的高光谱级别分辨率进行训练的多个数据。例如，第二预训练数据集可以包括基于将多个农业相关rgb图像逐帧转换为相应的高光谱级分辨率进行训练的多个数据，其中在一个实施方式中，该方法包括由处理单元[204]将指示作物的经预处理的rgb图像映射至所述第二预训练数据集，以进一步提取相应的全范围高光谱数据。
[0138]
此外，该方法还包括由处理单元[204]对存在于对应于一个或多个rgb图像中的每个rgb图像的全范围高光谱数据中的感兴趣对象执行像素级语义分割。基于一种或多种人工智能技术执行像素级语义分割。此外，执行像素级语义分割以将感兴趣对象(即前景)与背景分开。
[0139]
一旦执行了像素级语义分割，该方法包括由处理单元[204]组织对应于具有相似光谱特征的一个或多个波段子集中的每个rgb图像的全范围高光谱数据。
[0140]
此外，该方法导致由处理单元[204]基于组织全范围高光谱数据从对应于每个rgb图像的全范围高光谱数据中提取一个或多个光谱特征和一个或多个空间特征。将全范围高光谱数据组织在具有相似光谱特征的波段子集中，因为感兴趣对象的不同部分可能具有不同的特征(例如不同的疾病具有不同的参数)并且提取一个或多个光谱和一个或多个空间特征以使下一阶段更容易由处理单元[204]确定与农业领域、健康领域和相似领域中的至少一个相关的一个或多个参数。
[0141]
该方法还包括由处理单元[204]基于一个或多个提取的光谱特征、一个或多个提取的空间特征和第三预训练数据集确定与农业和健康领域中的至少一个相关的一个或多个参数。第三预训练数据集包括基于与农业和健康领域中的至少一个相关联的多个事件相关联的高光谱数据和rgb深度数据进行训练的多个数据。在一个实施方式中，一个或多个参数是基于一个或多个基于深度学习/基于ml的识别技术来确定的。此外在示例中，第三预训练数据集可以包括指示不同恢复阶段、健康/营养映射数据、疾病进展映射数据等的人类/动物的多个健康状况的高光谱数据和rgb深度数据。在这样的实施方式中，该方法包括由处理单元[204]将疾病的rgb图像的一种或多种高光谱信号模式(即一种或多种提取的光谱特征和一种或多种提取的空间特征)映射到第三预训练数据集的每个健康状况参数(例如体温模式、氧气水平模式、真菌疾病、细菌疾病等)，以确定与疾病相关的一个或多个参数，从而进一步预测一种或多种健康状况。此外，在一个实例中，该方法包括由处理单元[204]使用计算机视觉生成对抗网络(gan)来使用rgb模式生成每个高光谱信号模式，即包含在第三预训练数据集中的rgb深度数据。因此，基于将高光谱信号模式隐射到健康状况参数而确定的一个或多个疾病相关参数，可以在医疗行业中提供各种服务。
[0142]
此外，一旦确定了与农业、健康和其他此类领域中的至少一个相关的一个或多个参数，该方法包含由收发器单元[202]将所述一个或多个参数发送到用户设备以进一步显示指示一个或多个农业、健康和其他此类领域相关信息的图表。在一个实施方式中，该方法包括由收发器单元[202]观察存储单元[206]发生的一个或多个变化，以便将更新的信息传输到用户设备。因此，任何变化，包括但不限于添加来自一个或多个相机设备/mems传感器的信息，都在用户设备上进行了复制/同步。此外，在一个实施方式中，用户设备定期对从收发器单元[202]收集的读数进行设备校准并显示图表。
[0143]
此后该方法在步骤[418]终止。
[0144]
参照图5(即图5a和5b)，示出了根据本发明示例性实施例的从一个或多个rgb图像中提取全范围高光谱数据的示例性用例。
[0145]
更具体地，图5a在[502]指示从相机设备接收的原始rgb图像。
[0146]
在[504]处，示出了对应于接收到的原始图像的预处理图像，其中至少通过将接收到的图像裁剪到感兴趣区域来完成预处理。
[0147]
接下来在[506]处，从经预处理的图像中去除照明分量以获得实际/真实颜色。
[0148]
此外，在[508]处，确定对应于经预处理的图像的高光谱数据，并且作为示例示出了地面实况高光谱31波段图像的18个波段。更具体地说，每个波段描绘了从400nm开始到700nm结束的光谱通道，例如400、410、420、430、440、450、460、470、480、490、500、510、520、530、540、550、560、570nm
……
700nm。因此，每个波段有10nm的增量。
[0149]
接着，在图5b中的[510]处，重建的高光谱31波段图像的18个波段作为示例被示出以提取一个或多个光谱特征和一个或多个空间特征。
[0150]
参考图6，示出了根据本发明示例性实施例的示例性过程[600]，其指示基于从一个或多个rgb图像提取全范围高光谱数据的作物分类的用例。
[0151]
在步骤[602]，该方法包括由用户设备捕获树的一个或多个rgb图像或连拍视频。
[0152]
接下来在步骤[604]描绘了在时间t＝0和t＝1时包含树的两个rgb图像/帧。
[0153]
此外，在步骤[606]，该方法包括从树的所述两个rgb图像中估计和去除照明分量。
[0154]
此后，在步骤[608]，描述了照明分量去除的两个rgb图像/帧。
[0155]
接下来在步骤[610]，该方法包括使用光流模型跨帧执行像素跟踪。
[0156]
此外，在步骤[612]，该方法包括裁剪和堆叠两个rgb图像/帧。
[0157]
接下来在步骤[614]，指示了指示感兴趣对象即树的两个裁剪的rgb图像。此外，接着实现了运动的块级聚合。
[0158]
此外在步骤[616]，至少基于运动的块级聚合、跨帧的像素跟踪和照明分量的去除来完成rgb到高光谱数据的转换。
[0159]
接下来在步骤[618]，描绘了对应于两个rgb图像/帧的高光谱数据/图像。
[0160]
此外，在步骤[620]，该方法包括对对应于两个rgb图像的高光谱数据执行像素级语义分割。
[0161]
接下来，在步骤[622]，基于语义分割和预训练数据集(即第三预训练数据集)确定一个或多个作物相关参数来完成作物分类。作物分类完成后，将结果传输到用户设备。
[0162]
从上面的公开内容可以明显看出，本发明提供了一种新型解决方案，用于通过低成本、高分辨率地面设备，在人工智能的辅助下，从一个或多个rgb图像中提取全范围高光谱数据，其中人工智能可以自建和将来自现有rgb图像的参数映射到高光谱图像。此外，本发明提供了一种解决方案，将对应于输入rgb数据的全范围高光谱数据映射到最佳估计传感器值以确定与各种领域相关的一个或多个参数，其中在用户设备中绘制这样的参数以识别各种条件，例如在农业中，这些条件可包括发生了充分施肥的地区、接受较高光合有效辐射的地区、湿度、温度和整体作物生产力等。
[0163]
虽然本文将重点放在了优选实施例上，但是应当理解，可以在不脱离本发明的原理的情况下做出许多实施例并且对优选实施例进行许多改变。根据本文的公开，本领域技术人员将清楚本发明的优选实施例中的这些和其他变化，由此应清楚地理解，前述描述性
内容仅用来说明本发明而不是限制。