本申请涉及遥感技术领域,具体而言,涉及一种绿光估计模型训练方法及装置、影像合成方法及装置。
背景技术:
随着数字城市、数字国土和数字地球等一系列地理信息平台的实施与发展,卫星通过遥感技术合成的遥感图像,以其所含的丰富信息量和直观的表达,使得遥感技术越来越受到普遍重视。其中,遥感图像不仅可以应用于土地资源调查以确定是否为违规建筑,还可以应用于地质资源调查以确定湿地的种类及位置,还可以应用于海洋资源调查、城市环境调查等各种调查领域。
其中,遥感图像可以根据其合成数据的不同分为假彩色影像和真彩色影像,其中,假彩色影像的色彩信息与实际色彩信息不一致,而真彩色影像作为一种由中心波长在红、绿、蓝范围内的三个通道数据进行rgb合成得到的影像,能够最大程度还原真实地物的影像,且由于其色彩与人眼直接观察到的色彩最为接近,因此最易于影像判读人员的理解,从而被广泛需求。
相关技术中多通过fy4a静止轨道卫星搭载多通道扫描成像辐射计(agri)成像仪传感器来获取彩色数据,如红光数据、蓝光数据以及近红外光数据,然而,利用上述红光数据、蓝光数据以及近红外光数据仅能合成假彩色影像,无法合成真彩色影像。
可见,亟需一种合成真彩色影像的技术方案。
技术实现要素:
有鉴于此,本申请实施例的目的在于提供一种绿光估计模型训练方法及装置、影像合成方法及装置,基于估计得到的绿光反射率可以进行目标影像的有效合成,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
第一方面,本申请实施例提供了一种绿光估计模型训练方法,包括:
获取反射率样本集;其中,所述反射率样本集包括至少一个反射率样本子集,每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率;
将每个反射率样本子集包括的所述第一红光反射率、所述第一蓝光反射率、所述第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的所述第一绿光反射率作为所述待训练的绿光估计模型的输出,训练得到所述绿光估计模型。
结合第一方面,本申请实施例提供了第一方面的第一种可能的实施方式,其中,所述将每个反射率样本子集包括的所述第一红光反射率、所述第一蓝光反射率、所述第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的所述第一绿光反射率作为所述待训练的绿光估计模型的输出,训练得到所述绿光估计模型,包括:
依次将各个反射率样本子集包括的所述第一红光反射率、所述第一蓝光反射率、所述第一近红外光反射率输入至待训练的绿光估计模型中,得到针对所述输入的反射率样本子集的训练结果;
基于所述训练结果与所述第一绿光反射率,计算本轮训练的误差值;
当计算出的误差值大于设定值时,对所述待训练的绿光估计模型的模型参数进行调整,并利用调整后的所述待训练的绿光估计模型进行下一轮训练过程,直至计算出的误差值小于或等于所述设定值时,确定训练完成。
第二方面,本申请实施例还提供了一种影像合成方法,包括:
获取有关目标物反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率;
将所述第二红光反射率、所述第二蓝光反射率以及所述第二近红外光反射率输入至绿光估计模型训练方法训练得到的绿光估计模型中,得到第二绿光反射率;
基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像;其中,所述目标影像中携带有所述目标物。
结合第二方面,本申请实施例提供了第二方面的第一种可能的实施方式,其中,在所述获取有关目标物反射的第二红光反射率之后,所述基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像之前,还包括:
获取太阳天顶角;
根据所述太阳天顶角确定所述第二红光反射率对应的时间区间;
所述基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像,包括:
在所述时间区间内,基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像。
结合第二方面的第一种可能的实施方式,本申请实施例提供了第二方面的第二种可能的实施方式,其中,在所述时间区间内,基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像,包括:
根据所述第二近红外光反射率和预设修正参数对所述第二绿光反射率进行修正,得到修正后的第二绿光反射率;
将所述第二红光反射率转换为第一红光像素值,将所述第二蓝光反射率转换为第一蓝光像素值,以及将所述修正后的第二绿光反射率转换为第一绿光像素值;
在所述时间区间内,根据所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,合成所述目标影像。
结合第二方面的第二种可能的实施方式,本申请实施例提供了第二方面的第三种可能的实施方式,其中,所述时间区间包括白天区间、夜晚区间、以及介于所述白天区间和所述夜晚区间之间的过渡区间中的任意一种。
结合第二方面的第三种可能的实施方式,本申请实施例提供了第二方面的第四种可能的实施方式,其中,当所述时间区间为夜晚区间时,在所述根据所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,合成所述目标影像之前,还包括:
获取有关所述目标物的亮温值;
所述根据所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,合成所述目标影像,包括:
基于获取的所述目标物的亮温值分别对所述第一红光像素值、所述第一蓝光像素值和所述第一绿光像素值进行像素处理,确定夜晚区间内对应的第二红光像素值、第二蓝光像素值和第二绿光像素值;
在所述夜晚区间内,根据所述第二红光像素值、所述第二蓝光像素值和所述第二绿光像素值,合成目标影像。
结合第二方面的第三种可能的实施方式,本申请实施例提供了第二方面的第五种可能的实施方式,其中,当所述时间区间为过渡区间时,在所述根据所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,合成所述目标影像之前,还包括:
获取所述白天区间内对应的所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,以及所述夜晚区间内对应的第二红光像素值、第二蓝光像素值以及第二绿光像素值;
所述根据所述第一红光像素值、所述第一蓝光像素值以及所述第一绿光像素值,合成所述目标影像,包括:
基于获取的所述太阳天顶角、所述第一红光像素值以及所述第二红光像素值,确定过渡区间内对应的第三红光像素值;基于获取的所述太阳天顶角、所述第一蓝光像素值以及所述第二蓝光像素值,确定过渡区间内对应的第三蓝光像素值;基于获取的所述太阳天顶角、所述第一绿光像素值以及所述第二绿光像素值,确定过渡区间内对应的第三绿光像素值;
在所述过渡区间内,根据所述第三红光像素值、所述第三蓝光像素值和所述第三绿光像素值,合成目标影像。
第三方面,本申请实施例还提供了一种绿光估计模型训练装置,包括:
获取模块,用于获取反射率样本集;其中,所述反射率样本集包括至少一个反射率样本子集,每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率;
训练模块,用于将每个反射率样本子集包括的所述第一红光反射率、所述第一蓝光反射率、所述第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的所述第一绿光反射率作为所述待训练的绿光估计模型的输出,训练得到所述绿光估计模型。
第四方面,本申请实施例还提供了一种影像合成装置,包括:
获取模块,用于获取有关目标物反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率;
确定模块,用于将所述第二红光反射率、所述第二蓝光反射率以及所述第二近红外光反射率输入至第三方面所述的绿光估计模型训练装置训练得到的绿光估计模型中,得到第二绿光反射率;
合成模块,用于基于所述第二红光反射率、所述第二蓝光反射率以及所述第二绿光反射率,合成目标影像;其中,所述目标影像中携带有所述目标物。
本申请实施例提供的一种绿光估计模型训练方法及装置、影像合成方法及装置,绿光估计模型训练方法包括:获取反射率样本集;射率样本集中包括的每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率;将每个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,训练得到绿光估计模型。本申请通过机器学习的方式训练绿光估计模型,从而可以对任一目标物进行绿光反射率的估计,基于估计得到的绿光反射率可以进行目标影像的有效合成,避免了现有技术中无法合成真彩色影像的问题,并且合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本申请实施例一所提供的一种绿光估计模型训练方法的流程图;
图2示出了本申请实施例一所提供的另一种绿光估计模型训练方法的流程图;
图3示出了本申请实施例二所提供的一种影像合成方法的流程图;
图4示出了本申请实施例二所提供的另一种影像合成方法的流程图;
图5示出了本申请实施例二所提供的另一种影像合成方法的流程图;
图6示出了本申请实施例二所提供的另一种影像合成方法的流程图;
图7示出了本申请实施例二所提供的另一种影像合成方法的流程图;
图8示出了本申请实施例三所提供的一种绿光估计模型训练装置的结构示意图;
图9示出了本申请实施例四所提供的一种影像合成装置的结构示意图;
图10示出了本申请实施例五所提供的服务器的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
目前,由于通过fy4a静止轨道卫星搭载多通道扫描成像辐射计(agri)成像仪传感器来获取彩色数据,如红光数据、蓝光数据以及近红外光数据,然而,利用上述红光数据、蓝光数据以及近红外光数据仅能合成假彩色影像,无法合成真彩色影像。针对上述问题,本申请实施例提供的一种绿光估计模型训练方法及装置、影像合成方法及装置,通过机器学习的方式训练绿光估计模型,从而可以对任一目标物进行绿光反射率的估计,基于估计得到的绿光反射率可以进行目标影像的有效合成,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
为便于对本申请实施例进行理解,首先对本申请实施例所公开的方法进行详细介绍。具体的,实施例一对绿光估计模型训练方法进行介绍,实施例二对影像合成方法进行介绍。
实施例一
如图1所示,为本申请实施例一绿光估计模型训练方法的流程图,具体步骤如下:
s101、获取反射率样本集;其中,反射率样本集包括至少一个反射率样本子集,每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率。
这里,可以根据已有数据对待训练的绿光估计模型进行训练。利用已有数据合成反射率样本集,该反射率样本集包括至少一个反射率样本子集,并且每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率。
进一步的,为了确保训练得到的绿光估计模型的准确性,可以利用多组数据对待训练的模型进行训练。
s102、将每个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,训练得到绿光估计模型。
这里,将第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,经过大量的训练,确定绿光估计模型。
具体的,需要基于输入和输出的数据,对待训练的绿光估计模型的参数进行调整,来完成绿光估计模型的训练。如图2所示,具体步骤如下:
s201、依次将各个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率输入至待训练的绿光估计模型中,得到针对输入的反射率样本子集的训练结果。
这里,可以将各个反射率样本子集作为训练数据,并按照次序输入各训练数据至绿光估计模型进行模型训练。如反射率样本子集有3个,这样,可以先将第一个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率输入至待训练的绿光估计模型中进行模型训练,然后再将第二个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率输入至待训练的绿光估计模型中进行模型训练,依此类推,进行模型训练。这样,针对每次输入的训练数据,均可以训练得到对应的训练结果。
s202、基于训练结果与第一绿光反射率,计算本轮训练的误差值。
这里,第一绿光反射率为训练数据中包括的绿光反射率。将训练结果与第一绿光反射率进行对比,可以计算出本轮训练的误差值。
s203、当计算出的误差值大于设定值时,对待训练的绿光估计模型的模型参数进行调整,并利用调整后的待训练的绿光估计模型进行下一轮训练过程,直至计算出的误差值小于或等于设定值时,确定训练完成。
这里,设定值为绿光估计模型训练过程中的最大允许误差。
将误差值与该设定值进行对比,若计算出的误差值大于设定值,则对待训练的绿光估计模型的模型参数进行调整,并利用调整后的待训练的绿光估计模型进行下一轮训练过程,并且,进行下一轮训练时候,仍然可以利用本轮训练的反射率样本子集,直至计算出的误差值小于或等于设定值;或者,可以利用除本轮训练的反射率样本子集以外的反射率样本子集继续进行训练,直至训练中计算出的误差值均小于或等于设定值时,确定训练完成。
本申请实施例一中将已有的数据包括:第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率作为反射率样本子集,并通过该反射率样本集对待训练的绿光估计模型进行训练,得到训练好的绿光估计模型,进而可以通过训练好的绿光估计模型得到绿光反射率。进一步的,基于估计得到的绿光反射率可以进行目标影像的有效合成,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
实施例二
如图3所示,为本申请实施例二影像合成方法的流程图,具体步骤如下:
s301、获取有关目标物反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率。
这里,通过agri成像仪传感器可以获取光线基于某个目标物进行反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率,其中,该目标物可以是地物中的任意一种,例如:树木,道路,楼房等。
s302、将第二红光反射率、第二蓝光反射率以及第二近红外光反射率输入至采用绿光估计模型训练方法训练得到的绿光估计模型中,得到第二绿光反射率。
这里,将获取的第二红光反射率、第二蓝光反射率以及第二近红外光反射率输入至本申请实施例一的绿光估计模型训练方法训练得到的绿光估计模型中,便可以得到第二绿光反射率。
s303、基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像;其中,目标影像中携带有目标物。
基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,通过影像合成原理便可以合成目标影像,该目标影像为携带有目标物的真彩色影像。
本申请实施例二通过获取的第二红光反射率、第二蓝光反射率、第二近红外光反射率,以及本申请实施例一中训练好的绿光估计模型,得到第二绿光反射率。并且,基于有关目标物的第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成携带有目标物真彩色影像,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
由于白天区间、夜晚区间以及白天到夜晚的过渡期间,可能会存在不同的因素(例如:灯光、地面温度等)影响目标影像的合成,因此,针对白天区间、夜晚区间以及过渡区间,利用不同的合成方法合成目标影像。
这里,可以根据如图4所示的方法来判断时间区间,进行如下步骤:
s401、获取太阳天顶角。
这里,太阳天顶角为表示太阳位置的一种方式,太阳与地球垂直面的夹角。其中,太阳天顶角可以通过经纬仪实地测量得到,可以通过计算得到,本申请实施例对此不做限定。
s402、根据太阳天顶角确定第二红光反射率对应的时间区间。
这里,根据第二红光反射率对应的光线,可以得到此时的太阳天顶角,并根据太阳天顶角来判断第二红光反射率对应的光线对应的时间区间。
进一步的,在时间区间内,基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像。
其中,该时间区间包括白天区间、夜晚区间、以及介于所述白天区间和所述夜晚区间之间的过渡区间中的任意一种。其中,当太阳天顶角小于或等于75度时可以为白天区间,当太阳天顶角大于或等于89度时可以为夜晚区间,当太阳天顶角大于75度且小于89度时可以为过渡区间。本申请实施例还可以采用其他的时间区间划分方式,在此不再赘述。
具体的,当太阳天顶角小于或等于75度时,即时间区间为白天区间时,利用如图5所示的方法合成目标影像,具体步骤如下:
s501、根据第二近红外光反射率和预设修正参数对第二绿光反射率进行修正,得到修正后的第二绿光反射率;
s502、将第二红光反射率转换为第一红光像素值,将第二蓝光反射率转换为第一蓝光像素值,以及将修正后的第二绿光反射率转换为第一绿光像素值;
s503、在时间区间内,根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像。
由于,绿光估计模型可以基于数据库中已存的训练数据训练得到,其中,已存的训练数据可以是利用himawari-8静止轨道卫星搭载ahi传感器等手段采集的数据,而本申请实施例中获取的第二红光反射率、第二蓝光反射率以及第二近红外光反射率可以由agri成像仪传感器采集,这样,在将第二红光反射率、第二蓝光反射率以及第二近红外光反射率作为绿光估计模型的输入进行绿光估计时,为了避免由于模型训练时所利用的采集设备与当前输入数据所利用的采集设备的不同所可能带来的数据误差,本申请实施例还可以对当前输出的第二绿光反射率进行修正。进一步的,根据第二红光反射率、第二蓝光反射率以及修正后的第二绿光反射率,合成目标影像。
具体的,预先设置有预设修正参数,根据公式1对第二绿光反射率进行修正,公式1如下:
其中,
另外,为了避免大气层的影响,可以根据太阳天顶角,对修正后的第二绿光反射率进一步进行校正。具体的当太阳天顶角等于或小于60度(第一区间)时,可以对修正后的第二绿光反射率进一步进行校正,得到校正后的第二绿光反射率;当太阳天顶角等于或大于70度(第二区间)时,可以不对修正后的第二绿光反射率进行校正;当太阳天顶角大于60度小于70度(第三区间)时,可以通过第一区间对应的第二绿光反射率与第二区间对应的的第二绿光反射率计算得到第三区间对应的第二绿光反射率。
这里,根据影像合成的原理,需要根据像素值来合成目标影像。具体的,基于将反射率与255相乘可以得到对应的像素值这一关系,将第二红光反射率转换为第一红光像素值,将第二蓝光反射率转换为第一蓝光像素值,以及将修正后的第二绿光反射率转换为第一绿光像素值。
进一步的,根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像。并且,该目标影像为白天区间时合成的携带有目标物的真彩色影像。
另外,为了尽可能的在一张影像上同时体现弱反射地物和高反射云的纹理特征信息,可以将第一红光像素值、第一蓝光像素值以及第一绿光像素值进行拉伸处理,并根据拉伸后的第一红光像素值、第一蓝光像素值以及第一绿光像素值合成目标影像,使得观测人员对浓密植被区和水体的观测更加方便与准确。
当太阳天顶角大于或等于89度时,即时间区间为夜晚区间时,利用如图6所示的方法合成目标影像,具体步骤如下:
s601、获取有关目标物的亮温值;
s602、基于获取的目标物的亮温值分别对第一红光像素值、第一蓝光像素值和第一绿光像素值进行像素处理,确定夜晚区间内对应的第二红光像素值、第二蓝光像素值和第二绿光像素值;
s603、在夜晚区间内,根据第二红光像素值、第二蓝光像素值和第二绿光像素值,合成目标影像。
这里,在夜晚区间,与白天区间的地面温差较大,可以结合地面的温度来合成目标影像。具体的,可以根据agri成像仪传感器直接获取地面的温度,即亮温值。
进一步的,根据公式2确定第二红光像素值,具体如下:
其中,
根据公式3确定第二蓝光像素值,具体如下:
其中,
根据公式4确定第二绿光像素值,具体如下:
其中,
当太阳天顶角大于75度且小于89度时,即时间区间为过渡区间时,利用如图7所示的方法合成目标影像,具体步骤如下:
s701、获取白天区间内对应的第一红光像素值、第一蓝光像素值以及第一绿光像素值,以及夜晚区间内对应的第二红光像素值、第二蓝光像素值以及第二绿光像素值;
s702、基于获取的太阳天顶角、第一红光像素值以及第二红光像素值,确定过渡区间内对应的第三红光像素值;基于获取的太阳天顶角、第一蓝光像素值以及第二蓝光像素值,确定过渡区间内对应的第三蓝光像素值;基于获取的太阳天顶角、第一绿光像素值以及第二绿光像素值,确定过渡区间内对应的第三绿光像素值;
s703、在过渡区间内,根据第三红光像素值、第三蓝光像素值和第三绿光像素值,合成目标影像。
这里,当时间区间为过渡区间时,会同时携带有白天区间和夜晚区间的特性,在合成目标影像时,可以将白天区间的像素值与夜晚区间的像素值进行结合,即根据太阳天顶角的角度值、第一红光像素值以及第二红光像素值,确定第三红光像素值,具体如公式5:
其中,
根据太阳天顶角的角度值、第一蓝光像素值以及第二蓝光像素值,确定第三蓝光像素值,具体如公式6:
其中,
根据太阳天顶角的角度值、第一蓝光像素值以及第二蓝光像素值,确定第三蓝光像素值,具体如公式7:
其中,
本申请实施例通过训练好的绿光估计模型得到第二绿光反射率,并基于不同的时间区间,利用不同的方法,可以进行目标影像的有效合成,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
实施例三
基于同一发明构思,本申请实施例三还提供了与绿光估计模型训练方法对应的绿光估计模型训练装置,由于本申请实施例中的装置解决问题的原理与本申请实施例上述绿光估计模型训练方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参见图8所示,本申请又一实施例所提供的绿光估计模型训练装置包括:
获取模块801,用于获取反射率样本集;其中,反射率样本集包括至少一个反射率样本子集,每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率;
训练模块802,用于将每个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,训练得到绿光估计模型。
在另一种实施方式中,上述训练模块802具体用于:
依次将各个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率输入至待训练的绿光估计模型中,得到针对输入的反射率样本子集的训练结果;
基于训练结果与第一绿光反射率,计算本轮训练的误差值;
当计算出的误差值大于设定值时,对待训练的绿光估计模型的模型参数进行调整,并利用调整后的待训练的绿光估计模型进行下一轮训练过程,直至计算出的误差值小于或等于设定值时,确定训练完成。
实施例四
参见图9所示,本申请又一实施例所提供的影像合成装置包括:
第一获取模块901,用于获取有关目标物反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率;
绿光反射率确定模块902,用于将第二红光反射率、第二蓝光反射率以及第二近红外光反射率输入至绿光估计模型训练方法训练得到的绿光估计模型中,得到第二绿光反射率;
合成模块903,用于基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像;其中,目标影像中携带有目标物。
在一种实施方式中,上述影像合成装置还包括:
第二获取模块904,用于获取太阳天顶角;
时间区间确定模块905,用于根据太阳天顶角确定第二红光反射率对应的时间区间。
在一种实施方式中,上述影像合成装置中的合成模块903,具体用于:
根据第二近红外光反射率和预设修正参数对第二绿光反射率进行修正,得到修正后的第二绿光反射率;
将第二红光反射率转换为第一红光像素值,将第二蓝光反射率转换为第一蓝光像素值,以及将修正后的第一绿光反射率转换为第一绿光像素值;
在时间区间内,根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像。
在另一种实施方式中,上述影像合成装置中还包括:第四获取模块:
第三获取模块906,用于获取有关所述目标物的亮温值。
在又一种实施方式中,上述影像合成装置中的合成模块903,还具体用于:
基于获取的目标物的亮温值分别对第一红光像素值、第一蓝光像素值和第一绿光像素值进行像素处理,确定夜晚区间内对应的第二红光像素值、第二蓝光像素值和第二绿光像素值;
在夜晚区间内,根据第二红光像素值、第二蓝光像素值和第二绿光像素值,合成目标影像。
在再一种实施方式中,上述影像合成装置中的合成模块903,还具体用于:
基于获取的太阳天顶角、第一红光像素值以及第二红光像素值,确定过渡区间内对应的第三红光像素值;基于获取的太阳天顶角、第一蓝光像素值以及第二蓝光像素值,确定过渡区间内对应的第三蓝光像素值;基于获取的太阳天顶角、第一绿光像素值以及第二绿光像素值,确定过渡区间内对应的第三绿光像素值;
在过渡区间内,根据第三红光像素值、第三蓝光像素值和第三绿光像素值,合成目标影像。
实施例五
如图10所示,为本申请实施例提供的服务器的结构示意图,包括:处理器1001、存储器1002和总线1003,存储器1002存储执行指令,当车辆运行时,处理器1001与存储器1002之间通过总线1003通信,机器可读指令被处理器1001执行时执行如下处理:
获取反射率样本集;其中,反射率样本集包括至少一个反射率样本子集,每个反射率样本子集均包括第一红光反射率、第一蓝光反射率、第一近红外光反射率以及第一绿光反射率;
将每个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,训练得到绿光估计模型。
可选地,处理器1001执行的方法中,将每个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率作为待训练的绿光估计模型的输入,将对应的第一绿光反射率作为待训练的绿光估计模型的输出,训练得到绿光估计模型,包括:
依次将各个反射率样本子集包括的第一红光反射率、第一蓝光反射率、第一近红外光反射率输入至待训练的绿光估计模型中,得到针对输入的反射率样本子集的训练结果;
基于训练结果与第一绿光反射率,计算本轮训练的误差值;
当计算出的误差值大于设定值时,对待训练的绿光估计模型的模型参数进行调整,并利用调整后的待训练的绿光估计模型进行下一轮训练过程,直至计算出的误差值小于或等于设定值时,确定训练完成。
可选地,处理器1001执行的方法中,还执行如下处理:
获取有关目标物反射的第二红光反射率、第二蓝光反射率以及第二近红外光反射率;
将第二红光反射率、第二蓝光反射率以及第二近红外光反射率输入至绿光估计模型训练方法训练得到的绿光估计模型中,得到第二绿光反射率;
基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像;其中,目标影像中携带有目标物。
可选地,处理器1001执行的方法中,在获取有关目标物反射的第二红光反射率之后,基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像之前,还包括:
获取太阳天顶角;
根据太阳天顶角确定第二红光反射率对应的时间区间;
基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像,包括:
在时间区间内,基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像。
可选地,处理器1001执行的方法中,在时间区间内,基于第二红光反射率、第二蓝光反射率以及第二绿光反射率,合成目标影像,包括:
根据第二近红外光反射率和预设修正参数对第二绿光反射率进行修正,得到修正后的第二绿光反射率;
将第二红光反射率转换为第一红光像素值,将第二蓝光反射率转换为第一蓝光像素值,以及将修正后的第一绿光反射率转换为第一绿光像素值;
在时间区间内,根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像。
可选地,处理器1001执行的方法中,时间区间包括白天区间、夜晚区间、以及介于白天区间和夜晚区间之间的过渡区间中的任意一种。
可选地,处理器1001执行的方法中,当时间区间为夜晚区间时,在根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像之前,还包括:
获取有关目标物的亮温值;
根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像,包括:
基于获取的目标物的亮温值分别对第一红光像素值、第一蓝光像素值和第一绿光像素值进行像素处理,确定夜晚区间内对应的第二红光像素值、第二蓝光像素值和第二绿光像素值;
在夜晚区间内,根据第二红光像素值、第二蓝光像素值和第二绿光像素值,合成目标影像。
可选地,处理器1001执行的方法中,当时间区间为过渡区间时,在根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像之前,还包括:
获取白天区间内对应的第一红光像素值、第一蓝光像素值以及第一绿光像素值,以及夜晚区间内对应的第二红光像素值、第二蓝光像素值以及第二绿光像素值;
根据第一红光像素值、第一蓝光像素值以及第一绿光像素值,合成目标影像,包括:
基于获取的太阳天顶角、第一红光像素值以及第二红光像素值,确定过渡区间内对应的第三红光像素值;基于获取的太阳天顶角、第一蓝光像素值以及第二蓝光像素值,确定过渡区间内对应的第三蓝光像素值;基于获取的太阳天顶角、第一绿光像素值以及第二绿光像素值,确定过渡区间内对应的第三绿光像素值;
在过渡区间内,根据第三红光像素值、第三蓝光像素值和第三绿光像素值,合成目标影像。
本申请实施例所提供的一种绿光估计模型训练方法及装置、影像合成方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,程序代码包括的指令可用于执行前面方法实施例中的方法,具体实现可参见方法实施例,在此不再赘述。
具体地,该存储介质能够为通用的存储介质,如移动磁盘、硬盘等,该存储介质上的计算机程序被运行时,能够执行上述绿光估计模型训练方法以及影像合成方法,从而能够将目标影像有效的合成,合成的影像与人眼直接观察到的色彩更为接近,以最大程度还原目标物,实用性更强。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本申请的具体实施方式,用以说明本申请的技术方案,而非对其限制,本申请的保护范围并不局限于此,尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本申请实施例技术方案的精神和范围,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应所述以权利要求的保护范围为准。