一种基于高光谱成像技术的深度学习方法与流程

本发明涉及高光谱成像技术应用领域或自动驾驶控制技术领域，具体涉及一种于高光谱成像技术的深度学习方法。

背景技术：

自动驾驶汽车(autonomousvehicles)又称无人驾驶汽车、计算机驾驶汽车、或轮式移动机器人，是一种通过计算机系统实现无人驾驶的智能汽车。自动驾驶汽车技术的研发，在20世纪也已经有数十年的历史，于21世纪初呈现出接近实用化的趋势，依靠人工智能、视觉计算、雷达、监控装置和全球定位系统协同合作，让计算机可以在没有任何人类主动的操作下，自动安全地操作机动车辆。

汽车自动驾驶技术主要通过视频摄像头、雷达传感器以及激光测距器等环境监测设备来了解周围的交通状况，并通过一个详尽的地图(通过有人驾驶汽车采集的地图)对前方的道路进行导航。根据自动化水平的高低区分了四个无人驾驶的阶段：驾驶辅助、部分自动化、高度自动化、完全自动化：

(1)驾驶辅助系统(das)：目的是为驾驶者提供协助，包括提供重要或有益的驾驶相关信息，以及在自动驾驶汽车示意图开始变得危急的时候发出明确而简洁的警告。如″车道偏离警告″(ldw)系统等。

(2)部分自动化系统：在驾驶者收到警告却未能及时采取相应行动时能够自动进行干预的系统，如″自动紧急制动″(aeb)系统和″应急车道辅助″(ela)系统等。

(3)高度自动化系统：可以没有任何人类驾驶员，能够在或长或短的时间段内代替驾驶者承担操控车辆的职责，但是仍需人类对驾驶活动进行监控的系统。

(4)完全自动化系统：可无人驾驶车辆、允许车内所有乘员从事其他活动且无需进行监控的系统。这种自动化水平允许乘员从事计算机工作、休息和睡眠以及其他娱乐等活动。

以上无论哪种自动化水平的自动驾驶系统均依赖于包括摄像头在内的环境监测系统对车辆周边环境的准确监测。然而，现有的环境监测系统中单个摄像头只能获取二维空间图像信息，需要多个摄像头或多个传感器组合应用，否则难以保证车辆的准确控制。例如，一般的环境监测系统通常包括雷达传感器、前摄像头、后摄像头、左侧摄像头及右侧摄像头等；其中，前摄像头安装在车辆前挡风玻璃中央位置；后摄像头安装在车辆后挡风玻璃中央位置；左侧摄像头及右侧摄像头分别安装在车辆左右两侧后视镜上；雷达传感器安装在车前防撞杆中央位置。一般车辆的自动驾驶均需要这些摄像头及传感器组合应用方能提高监测的准确性。

从而，现有技术仍需要进一步发展及改进。

技术实现要素：

本发明的目的在于公开一种基于高光谱成像技术的深度学习方法，通过将高光谱成像技术应用于车辆自动驾驶控制中，减少摄像头或传感器的应用，并提高车辆自动驾驶控制的准确性。

为了实现以上目的，本发明公开的一种基于高光谱成像技术的深度学习方法，主要包括以下步骤a至c：

a、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合；

b、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；

c、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ecu获取的当前车辆状态输出对车辆执行自动驾驶的控制。

本发明的进一步方案中，通过安装在车辆上的高光谱成像装置和车辆控制装置实现，其中，高光谱成像装置执行步骤a和步骤b，车辆控制装置执行步骤c。

本发明的进一步方案中，所述高光谱成像装置包括物镜、偏振器、成像控制芯片、反射式液晶器、光谱仪以及线阵式电荷耦合器；步骤a具体包括：

a1、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上；

a2、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态；

a3、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中；

a4、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息；

a5、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；

a6、重复执行步骤a3至a5，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。

本发明的进一步方案中，步骤b具体为：成像控制芯片通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

本发明的进一步方案中，其特征在于，所述车辆控制装置包括车辆状态采集器、运算处理器以及执行控制器；步骤c包括：

c1、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态；

c2、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。

本发明的进一步方案中，步骤c1中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

本发明的进一步方案中，步骤c2中的自动驾驶的控制包括主动安全控制，所述主动安全控制包括主动刹车控制、主动转向控制、主动控制安全带中的至少一者。

本发明的进一步方案中，所述车辆控制装置还包括车车通信模块，所述车车通信模块用于获取邻车的当前车辆状态，所述邻车包括位于自车前方的前车和位于自车侧方的侧车；所述步骤c2中控制执行控制器还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制。

本发明的进一步方案中，所述车辆控制装置还包括智能喇叭音频数据库模块，所述运算处理器还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，将智能喇叭音频数据库模块中对应的喇叭音频输出到所述执行控制器，所述执行控制器还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。

本发明的进一步方案中，所述执行控制器根据相应的喇叭音频控制自车的车辆喇叭发出相应音量、音调和长短的喇叭声。

本发明的有益效果如下：

本发明通过将获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合，并通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息，从而可以基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ecu获取的当前车辆状态输出对车辆执行自动驾驶的控制。故而，本发明可以利用一个高光谱成像装置获得车辆周边环境的空间图像信息及任意像素点的光谱分布信息，因此可以减少摄像头或传感器的设置，并且相对于传统摄像头提高了对环境的检测精度，从而提高车辆自动驾驶控制的准确性。

附图说明

图1是实施例一公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图2是实施例二公开的一种基于高光谱成像技术的深度学习方法中高光谱成像装置的结构框图。

图3是实施例二公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图4是实施例三公开的一种基于高光谱成像技术的深度学习方法中车辆控制装置的结构框图。

图5是实施例三公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图6是实施例四公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图7是实施例五公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图8是实施例六公开的一种基于高光谱成像技术的深度学习方法中车辆控制装置的结构框图。

图9是实施例六公开的一种基于高光谱成像技术的深度学习方法流程示意图。

图10是实施例六公开的一种基于高光谱成像技术的深度学习方法流程示意图。

具体实施方式

为了便于本领域技术人员理解，下面将结合附图以及实施例对本发明进行进一步描述。

实施例一

请参阅图1，实施例一公开一种基于高光谱成像技术的深度学习方法，主要包括以下步骤：

s100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s300、基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ecu获取的当前车辆状态输出对车辆执行自动驾驶的控制。

步骤300中，通过环境判断结果可以知晓当前天气状态(例如是否暴雨、晴天、雾霾)，车辆是否偏离轨道，车辆是否存在碰撞危险，等等。当前车辆状态具体可包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角等。例如，在暴雨或雾霾天气自动控制车辆减速；在根据车辆当前状态计算得出存在碰撞危险时，自动控制车辆减速或改变航向。

本实施例由于可以利用一个高光谱成像装置获得车辆周边环境的空间图像信息及任意像素点的光谱分布信息，因此可以减少摄像头或传感器的设置，并且相对于传统摄像头提高了对环境的检测精度，从而提高车辆自动驾驶控制的准确性。

实施例二

请参阅图2和图3，实施例二公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置10和车辆控制装置实现，其中，高光谱成像装置10包括物镜11、偏振器12、成像控制芯片13、反射式液晶器14、光谱仪15以及线阵式电荷耦合器16。

实施例二相对于实施例一的区别在于，高光谱成像装置10执行步骤s100和步骤s200，车辆控制装置执行步骤s300，并且步骤s100具体包括步骤s110至s160。

即实施例二包括如下步骤：

s110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上。

s120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态。

s130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中。

s140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息。

s150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；

s160、重复执行步骤s130至s150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

进一步的，步骤s200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s300、车辆控制装置基于获得的空间图像信息及光谱分布信息对环境进行判断，并结合从ecu获取的当前车辆状态输出对车辆执行自动驾驶的控制。

步骤300中，当前车辆状态具体可包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角等。

实施例二相对于实施例一增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，且其具有实施例一的有益效果。

实施例三

请参阅图4及图5，实施例三公开了一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20实现，其中，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。

实施例三相对于实施例一的区别在于，高光谱成像装置执行步骤s100和步骤s200，车辆控制装置20执行步骤s300，并且步骤s300具体包括步骤s310至s320。

即实施例三包括如下步骤：

s100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态。

进一步的，步骤s310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

s320、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。

实施例三相对于实施例一增加了车辆控制装置执行步骤300的具体功能部件，且其具有实施例一的有益效果。

实施例四

请参阅图6，实施例四公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置10(参考图2)和车辆控制装置20(参考图4)实现。其中，高光谱成像装置10包括物镜11、偏振器12、成像控制芯片13、反射式液晶器14、光谱仪15以及线阵式电荷耦合器16。车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。

实施例四相对于实施例一的区别在于，通过高光谱成像装置10执行步骤s100和步骤s300，车辆控制装置20执行步骤s300，并且步骤s100具体包括步骤s110至s160，步骤s300具体包括步骤s310至s320。

即实施例四包括如下步骤：

s110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上。

s120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态。

s130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中。

s140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息。

s150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；

s160、重复执行步骤s130至s150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

进一步的，步骤s200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态。

进一步的，步骤s310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

s320、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。

实施例四相对于实施例一增加了增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，以及车辆控制装置执行步骤300的具体功能部件，且其具有实施例一的有益效果。

实施例五

请参阅图7，实施例五公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20(参考图4)实现，其中，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤s100和步骤s200车辆控制装置20执行步骤s300，并且步骤s300具体包括步骤s310至s320。

实施例五与实施例三的区别在于，步骤s320中的自动驾驶的控制包括主动安全控制，即步骤s321。

实施例五包括以下步骤：

s100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态。

进一步的，步骤s310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

s321、根据环境判断结果以及当前车辆状态，控制执行控制器对车辆执行主动安全控制。

步骤s321中，主动安全控制包括主动刹车控制、主动转向控制、主动控制安全带中的至少一者。

实施例五适于判断出车辆偏离轨道或存在危险时启用。

实施例六

请参阅图8至图9，实施例六公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20实现。与实施例四相同的是，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤s100和步骤s200，车辆控制装置20执行步骤s300，并且步骤s300具体包括步骤s310至s320。

实施例六中的车辆控制装置20相对于实施例四的区别在于，还包括车车通信模块24和智能喇叭音频数据库模块25，车车通信模块24用于获取邻车的当前车辆状态，邻车包括位于自车前方的前车和位于自车侧方的侧车。步骤s320中控制执行控制器23还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制，即步骤322。

实施例六包括如下步骤：

s100、获取车辆周边环境反射的成像光束，转换为包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态。

进一步的，步骤s310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

s322、根据环境判断结果以及自车的当前车辆状态、邻车的当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。

在步骤s322中，除了一般的天气状态判断之外，还可以通过环境判断结果得出自车与邻车是否具有碰撞危险，即运算处理器22还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，可将智能喇叭音频数据库模块25中对应的喇叭音频输出到执行控制器23，执行控制器23还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。

例如，通过获取的当前车辆状态与前车的当前车辆状态，计算自车与前车的碰撞时间t1，假设t1满足0.5秒≤t1＜1秒，可选用音量为90分贝、音调为800hz、时长为1秒的喇叭声，计算自车与侧车的碰撞时间t2满足1秒≤t2＜1.5秒，选用音量为85分贝、音调为900hz、时长为1秒的喇叭声。

实施例六能够根据自动驾驶周边环境因素自动调节车辆喇叭音量、音调和长短，从而有效提高喇叭音频的辨识度和自动驾驶的安全性。

实施例七

请参阅图10，实施例六公开的一种基于高光谱成像技术的深度学习方法，通过安装在车辆上的高光谱成像装置和车辆控制装置20(参考图8)实现。与实施例四相同的是，车辆控制装置20包括车辆状态采集器21、运算处理器22以及执行控制器23。高光谱成像装置执行步骤s100和步骤s200，车辆控制装置20执行步骤s300，并且步骤s300具体包括步骤s310至s320。

相对于实施例四的区别在于，实施例七中的车辆控制装置20还包括车车通信模块24和智能喇叭音频数据库模块25，车车通信模块24用于获取邻车的当前车辆状态，邻车包括位于自车前方的前车和位于自车侧方的侧车。步骤s320中控制执行控制器还根据邻车的当前车辆状态对自车车辆执行自动驾驶的控制，即步骤322。

实施例七包括如下步骤：

s110、通过物镜获取车辆周边环境反射的成像光束，并将成像光束投射到偏振器上；

s120、检测到成像光束后，所述成像控制芯片控制偏振器起偏，形成指定偏振方向的偏振光投射到反射式液晶器上，使反射后的光线随着像素点的控制状态不同而表现出不同的偏振状态；

s130、所述像控制芯片对反射式液晶器的像素进行寻址扫描，并将被寻址激活的像素点的反射光线通过偏振器的检偏投射到光谱仪中；

s140、通过光谱仪将获得的光能展宽成对应像素点的一维光谱信息；

s150、利用线阵式电荷耦合器对相应像素点的一维光谱信息进行接收并记录；

s160、重复执行步骤s130至s150，直至完成整幅二维空间图像的光谱信息的记录，形成包含二维图像信息与一维光谱信息的三维信息集合。

s200、通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息；

进一步的，步骤s200具体为：成像控制芯片13通过图像重组技术获得三维信息集合中任意光谱段的空间图像信息及任意像素点的光谱分布信息。

s310、运算处理器基于获得的空间图像信息及光谱分布信息对环境进行判断，同时控制车辆状态采集器从ecu获取的当前车辆状态；

进一步的，步骤s310中获取的当前车辆状态包括车辆速度、车辆转向灯信号以及车辆航向角、车辆方向盘转角。

s322、根据环境判断结果以及自车的当前车辆状态、邻车的当前车辆状态，控制执行控制器对车辆执行自动驾驶的控制。

在步骤s322中，除了一般的天气状态判断之外，还可以通过环境判断结果得出自车与邻车是否具有碰撞危险，即运算处理器22还根据自车的当前车辆状态与邻车的当前车辆状态计算自车与邻车碰撞时间达到预设阈值时，可将智能喇叭音频数据库模块25中对应的喇叭音频输出到执行控制器23，执行控制器23还控制自车的车辆喇叭发出与相应喇叭音频对应的喇叭声。

实施例七相对于实施例六增加了成像光束转换为包含二维图像信息与一维光谱信息的三维信息集合的过程，且其具有实施例六的有益效果。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。