本申请涉及图像修复,具体涉及一种图像修复方法、装置、存储介质及车辆。
背景技术:
1、现如今,车载监控系统几乎成为每辆汽车必备的基础功能,该功能对获取信息进行处理,判断驾驶员的生物行为状态是否异常,以及时采取措施做出决策,或对驾驶员的行为异常发出警报从而提醒驾驶员安全驾驶。车载监控系统的主要三大基本功能为:疲劳检测、分心检测、异常行为检测。随着车载监控系统应用的广泛使用,在这三大功能基础上往往还会一些功能的拓展,例如面部身份识别、手势识别等。
2、当前的车载监控系统采用的方案是基于ir(infrared radiation,红外线的简称)摄像机结合计算机视觉算法实现的。ir摄像机采用了特殊的光学玻璃材料,并用最新的光学设计方法,消除了可见光和红外光的焦面偏移,因此从可见光到红外光区的光线都可以在同一个焦面成像,使图像都能清晰。
3、当驾驶员佩戴了近视眼镜时,ir摄像机的镜头发射出来的红外线会在驾驶员眼镜上反光,导致在驾驶员眼睛周围出现白色的亮斑,从而使车载监控系统的图像视觉算法受到干扰,导致识别的结果不准确、置信度下降的问题。
技术实现思路
1、本申请针对上述问题,提出了一种图像修复方法、装置、存储介质及车辆,以使车载监控系统的识别结果更准确,具体技术方案如下:
2、在本申请的第一方面,提出了一种图像修复方法,所述方法包括:
3、获取待修复图像;
4、将所述待修复图像输入图像分割模型,获得所述待修复图像中的亮斑图像区域;
5、根据所述亮斑图像区域周围的非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像。
6、可选地,根据所述亮斑图像区域周围非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像,包括:
7、根据所述亮斑图像区域,得到所述非亮斑区域中与所述亮斑图像区域相邻的多个图像块;
8、从所述多个图像块中确定出多个目标图像块;其中,所述目标图像块是用于修复所述待修复图像的图像块;
9、根据多个所述目标图像块,对所述亮斑图像区域进行修复,得到目标图像。
10、可选地,根据所述亮斑图像区域周围的非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像,包括:
11、根据所述亮斑图像区域以及所述非亮斑区域,获得所述待修复图像的掩膜图像;
12、将所述待修复图像和所述掩膜图像输入图像修复模型,所述图像修复模型对所述亮斑图像区域进行修复,得到目标图像;其中,所述图像修复模型是基于第一噪声图像、真实图像以及所述第一噪声图像的掩膜图像训练得到的,所述第一噪声图像为有亮斑的图像,所述真实图像是与所述第一噪声图像对应的无亮斑的图像。
13、可选地,所述图像修复模型采用生成对抗神经网络中的生成器,所述生成对抗神经网络基于如下步骤获得:
14、获取第一训练样本集,所述第一训练样本集包括多个所述真实图像、多个所述第一噪声图像以及多个所述第一噪声图像的掩膜图像;
15、以所述第一噪声图像以及所述掩膜图像为输入,以修复图像为输出,训练所述生成对抗神经网络的生成器,并以所述修复图像和所述真实图像为输入,以目标值为输出,训练所述生成对抗神经网络的判别器,得到训练后的所述生成对抗神经网络;其中,所述目标值表征了所述修复图像和所述真实图像之间的相似程度,所述修复图像是对所述第一噪声图像修复后的图像。
16、可选地,所述图像分割模型是基于如下步骤获得:
17、获取第二训练样本集;其中,所述第二训练样本集包括第二噪声图像,所述第二噪声图像是对亮斑区域进行人工标注后的图像;
18、以所述第二噪声图像为输入,以所述第二噪声图像的掩膜图像为输出,对所述图像分割模型进行训练,得到训练后的所述图像分割模型。
19、可选地,所述图像分割模型采用全卷积神经网络。
20、可选地,所述待修复图像是基于车载摄像头获取的,所述方法还包括:
21、对所述目标图像进行分析,得到车内人员的行为监测结果。
22、在本申请的第二方面,提出了一种图像修复装置,所述装置包括:
23、获取模块:用于获取待修复图像;
24、获得模块:用于将所述待修复图像输入图像分割模型,获得所述待修复图像中的亮斑图像区域;
25、修复模块:用于根据所述亮斑图像区域周围的非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像。
26、此外,为实现上述目的,本申请还提供了一种机器可读存储介质,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现本申请实施例所述的图像修复方法。
27、此外,为实现上述目的,本申请还提供了一种车辆,所述车辆包括:处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现本申请实施例所述的图像修复方法。
28、本申请具有以下有益效果:
29、本申请的实施例提供了一种图像修复方法,具体构思为:基于图像分割模型识别待修复图像中的亮斑图像区域,并根据待修复图像以及所述亮斑图像区域,以对待修复图像进行修复。
30、本方案通过采用图像分割模型用于处理待修复图像,从而可以准确地识别出待修复图像的亮斑图像区域,以根据亮斑图像区域来修复待修复图像,减少待修复图像中的亮斑对车载监控系统的视觉识别算法产生的干扰,从而使得车载监控系统的识别结果更准确、且置信度增加,提升了车载监控系统的疲劳状态监测、视线估计功能的鲁棒性和稳定性。
1.一种图像修复方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,根据所述亮斑图像区域周围非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像,包括:
3.根据权利要求1所述的方法,其特征在于,根据所述亮斑图像区域周围的非亮斑区域,对所述亮斑图像区域进行修复,得到目标图像,包括:
4.根据权利要求3所述的方法,其特征在于,所述图像修复模型采用生成对抗神经网络中的生成器,所述生成对抗神经网络基于如下步骤获得:
5.根据权利要求1所述的方法,其特征在于,所述图像分割模型是基于如下步骤获得:
6.根据权利要求5所述的方法,其特征在于,所述图像分割模型采用全卷积神经网络。
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述待修复图像是基于车载摄像头获取的,所述方法还包括:
8.一种图像修复装置,其特征在于,所述装置包括:
9.一种机器可读存储介质,其特征在于,所述机器可读存储介质内存储有机器可执行指令,所述机器可执行指令被处理器执行时实现如权利要求1-7任一项所述的图像修复方法。
10.一种车辆,其特征在于,所述车辆包括:处理器和存储器,所述存储器存储有能够被所述处理器执行的机器可执行指令,所述处理器用于执行机器可执行指令,以实现如权利要求1-7任一项所述的图像修复方法。