基于自动驾驶的图像处理方法、装置、设备及存储介质与流程

本发明要求于2020年05月15日提交中国专利局、申请号为202010416571.9、发明名称为“无人驾驶汽车的控制方法、汽车和存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本发明中。

本发明涉及汽车技术领域，尤其涉及一种基于自动驾驶的图像处理方法、装置、设备及存储介质。

背景技术：

目前，自动驾驶车辆在行驶中时，车辆的随机振动和颠簸会导致车载视频监控系统采集到的视频图像存在视觉上的随机抖动，这种随机振动给后续图像处理以及传输造成困难编，存在编码效益低的问题；同时，车内外环境等变化等诸多因素的影响都会导致采集到的视频图像不清晰并存在大量的噪声，影响自动驾驶控制，造成车辆控制精确度差。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种基于自动驾驶的图像处理方法、装置、设备及存储介质，旨在解决现有自动驾驶车辆采集的视频图像不清晰并存在大量的噪声时，造成车辆控制精确度差的技术问题。

为实现上述目的，本发明提供了一种基于自动驾驶的图像处理方法，所述基于自动驾驶的图像处理方法包括以下步骤：

获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像；

对所述原始视频图像进行数据处理，以获得目标视频图像；

根据所述目标视频图像判断当前所要执行的驾驶动作；

若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

可选地，所述对所述原始视频图像进行数据处理，以获得目标视频图像，包括：

根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像；

根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像；

基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

可选地，所述根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像，包括：

根据所述原始视频图像通过预设图像子块匹配算法确定相邻两帧图像之间的全局运动向量；

根据所述全局运动向量确定随机抖动向量，并将所述随机抖动向量作为运动补偿向量；

根据所述运动补偿向量对所述原始视频图像中每一帧图像进行逆反修正，以获得初始视频图像。

可选地，所述根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像，包括：

根据预设图像增强算法确定预设直方图均衡算法和预设多尺度图像增强算法；

根据所述预设直方图均衡算法对所述初始视频图像进行全局对比度调整，以获得第一增强视频图像；

根据所述预设多尺度图像增强算法对所述第一增强视频图像进行细节增强，以获得第二增强视频图像；

基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像。

可选地，所述基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像，包括：

根据预设细节增益策略确定预设照度分量和自适应亮度调节函数；

根据所述自适应亮度调节函数对所述第二增强视频图像在预设颜色空间的亮度分量进行调整，以获得亮度图像；

根据所述预设照度分量提取所述初始亮度图像的照度分量，以获得照度图像；

对所述照度图像噪声抑制，以获得调整后的视频图像。

可选地，所述基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像，包括：

基于稀疏表示的图像压缩算法对所述调整后的视频图像进行稀疏分解，以获得线性组合的图像信号，并根据所述线性组合的图像信号构建原子库；

根据所述原子库中的原子位置与能量分布特性确定融合关联的压缩编码策略；

根据所述压缩编码策略对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

可选地，所述根据所述压缩编码策略对所述调整后的视频图像进行压缩，得到目标压缩图像，包括：

根据所述压缩编码策略确定位置参数和原子系数；

根据原子系数幅度大小递减的次序对所述原子系数进行排序，以获得目标原子排序；

基于预设优化块集合划分策略对所述调整后的视频图像进行划分，以获得若干优化图像块；

在所述优化图像块内根据所述目标原子排序对原子参数进行编码，得到目标压缩图像。

此外，为实现上述目的，本发明还提出一种基于自动驾驶的图像处理装置，所述基于自动驾驶的图像处理装置包括：

获取模块，用于获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像；

处理模块，用于对所述原始视频图像进行数据处理，以获得目标视频图像；

判断模块，用于根据所述目标视频图像判断当前所要执行的驾驶动作；

第一执行模块，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；

第二执行模块，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

此外，为实现上述目的，本发明还提出一种基于自动驾驶的图像处理设备，所述基于自动驾驶的图像处理设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于自动驾驶的图像处理程序，所述基于自动驾驶的图像处理程序配置为实现如上所述的基于自动驾驶的图像处理方法。

此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有基于自动驾驶的图像处理程序，所述基于自动驾驶的图像处理程序被处理器执行时实现如上所述的基于自动驾驶的图像处理方法。

本发明通过获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像；对所述原始视频图像进行数据处理，以获得目标视频图像；根据所述目标视频图像判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。本发明中，对采集到的原始视频图像通过数据处理进行图像压缩，相比传统视频传输提升视频质量和分辨率，非常适合于车载视频监控系统的视频图像传输，在根据处理后的目标视频图像判断当前所要执行的驾驶动作时更准确，解决了现有自动驾驶车辆采集的视频图像不清晰并存在大量的噪声时，造成车辆控制精确度差的技术问题。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的基于自动驾驶的图像处理设备的结构示意图；

图2为本发明基于自动驾驶的图像处理方法第一实施例的流程示意图；

图3为本发明基于自动驾驶的图像处理方法第二实施例的流程示意图；

图4为本发明基于自动驾驶的图像处理装置第一实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

参照图1，图1为本发明实施例方案涉及的硬件运行环境的基于自动驾驶的图像处理设备结构示意图。

如图1所示，该基于自动驾驶的图像处理设备可以包括：处理器1001，例如中央处理器(centralprocessingunit，cpu)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(wireless-fidelity，wi-fi)接口)。存储器1005可以是高速的随机存取存储器(randomaccessmemory，ram)存储器，也可以是稳定的非易失性存储器(non-volatilememory，nvm)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的结构并不构成对基于自动驾驶的图像处理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及基于自动驾驶的图像处理程序。

在图1所示的基于自动驾驶的图像处理设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明基于自动驾驶的图像处理设备中的处理器1001、存储器1005可以设置在基于自动驾驶的图像处理设备中，所述基于自动驾驶的图像处理设备通过处理器1001调用存储器1005中存储的基于自动驾驶的图像处理程序，并执行本发明实施例提供的基于自动驾驶的图像处理方法。

本发明实施例提供了一种基于自动驾驶的图像处理方法，参照图2，图2为本发明一种基于自动驾驶的图像处理方法第一实施例的流程示意图。

本实施例中，所述基于自动驾驶的图像处理方法包括以下步骤：

步骤s10：获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像。

需要说明的是，本实施例的执行主体是基于自动驾驶的图像处理设备，其中，基于自动驾驶的图像处理设备可为自动驾驶汽车上的处理器等，还可为其他可实现相同或相似功能的设备，本实施例对此不加以限制。本实施例以基于自动驾驶的图像处理设备中的车载定位规划决策控制系统为例进行说明。

易于理解的是，在启动无人驾驶功能后，可以通过车载感知系统获取无人驾驶汽车的车辆驾驶监测数据，并将无人驾驶汽车的车辆驾驶监测数据通过车载以太网等通信方式发送至车载定位规划决策控制系统，其中，车载单元之间的通信方式除车载以太网外，还可以采用lvds、usb、can总线、wifi、5g等通信方式；通过车载定位规划决策控制系统中的决策单元根据接收到的视觉目标信号、雷达信号、定位信号、路线规划、远程监视及控制系统的控制命令等，进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作，例如：根据接收到的信息判断出当前所要执行的动作是前行、左转、右转、换道或者停车等。其中，车辆驾驶监测数据可以包括：通信条件数据、路况信息数据、驾驶车速数据和监控视频数据等，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的监控视频数据中的原始视频图像。

应当理解的是，车载感知系统可以包括车载视频监控系统，用于采集监控视频数据，车载感知系统可以由视觉感知处理系统及超声波雷达处理系统组成。具体地，视觉感知处理系统可以由n个高清鱼眼广角摄像头组成的全景环视系统、m个高清前视摄像头及视觉处理控制器组成。全景环视系统及高清前视摄像头拍摄的高清视频图像传输给车载感知系统中的视觉处理控制器，由视觉处理器将所有图像进行处理，形成行驶车辆的前方(q度视角范围)、前向s范围、侧向w范围、后向l范围内的清晰视图，可以通过车载以太网等通信方式发送至车载定位规划决策控制系统和/或通过5g传输给远端后台。

步骤s20：对所述原始视频图像进行数据处理，以获得目标视频图像。

易于理解的是，为了提升车载定位规划决策控制系统的决策准确性，需要对原始视频图像进行数据处理，以获得目标视频图像，根据目标视频图像进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作。其中，数据处理的方式可以为通过基于稀疏表示的图像压缩算法进行压缩，基于稀疏表示的图像压缩算法在取得优良编码性能的同时，提供了比传统方法更灵活的质量和分辨率的伸缩性，非常适合于车载视频监控系统的视频图像压缩，具体地：根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像；根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像；基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

需要说明的是，可以通过视觉处理器对视频图像进行数据处理，将目标级信息即目标视频图像输出给车载定位及规划决策控制系统，其中，所述视觉处理器具备车道线识别、交通标志识别、交通参与物及障碍物识别等功能。本实施例中可以由视觉处理器对所有的原始视频图像进行处理，形成行驶车辆的前方(q度视角范围)、前向s范围、侧向w范围、后向l范围内的清晰视图，将上述清晰视图作为目标视频图像，并将目标视频图像通过车载以太网等通信方式发送至车载定位规划决策控制系统和/或通过5g传输给远端后台。

步骤s30：根据所述目标视频图像判断当前所要执行的驾驶动作。

需要说明的是，车载定位规划决策控制系统接收目标视频图像，车载定位规划决策控制系统主要由定位模块、规划决策模块组成，通过规划决策模块中的决策单元可以根据目标视频图像判断当前所要执行的驾驶动作是第一驾驶动作还是第二驾驶动作，其中，第一驾驶动作可以指精确驾驶动作，如方向盘、油门和刹车等动作；第二驾驶动作可以指非精确驾驶动作，如开、停等动作。

步骤s40：若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。

易于理解的是，在本实施例中，第一驾驶动作可以指精确驾驶动作，如方向盘、油门和刹车等动作。当通过决策单元判断出当前所要执行的是精确驾驶动作，则自动接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。例如，当前所要执行的是刹车动作，接收车载定位规划决策控制系统自动发送的刹车驾驶操作指令，无人驾驶汽车根据所述刹车驾驶操作指令执行刹车操作。其中，所述车载定位规划决策控制系统主要由定位模块、规划决策模块组成；所述定位模块接收高清地图定位信号，作为主定位信息，并接5g基站的定位信号、视觉处理系统的周边环境信号，进行综合辅助定位校正。

进一步地，步骤s40还包括：根据所述第一驾驶操作生成对应的控制命令；响应控制命令，执行无人驾驶汽车的自动驾驶操作。在本实施例中，通过决策单元判断出当前所要执行的是精确驾驶动作，根据所述精确驾驶动作生成对应的控制指令；通过车载执行系统响应该控制命令，执行无人驾驶汽车的自动驾驶操作。具体地，执行系统接收到车载定位规划决策控制系统所发出的目标车速、目标驱动扭矩、目标制动扭矩、目标档位、目标转向角及转向角速度等控制命令，实时响应其控制命令，并回传相关的控制结果。例如：当前所要执行的是降速操作，由车载定位规划决策控制系统发出将车速降至9km/h的控制命令，以使无人驾驶汽车调整当前的车速为9km/h。其中，所述执行系统由车辆的动力输出及传动控制系统、制动控制系统、转向控制系统等组成。

步骤s50：若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

需要说明的是，在本实施例中，第二驾驶动作是指非精确驾驶动作，如开、停等动作，其中，开、停等动作除了可以由无人驾驶汽车端根据所述驾驶监测数据确定外；还可以通过远程控制平台的远程控制平台客户端或者手机app等监测当前无人驾驶汽车是否出现危险情况，当出现危险情况时，则生成对应的非精确驾驶动作，例如：当远程控制平台的用户通过手机app监测到当前无人驾驶汽车的正前方突然出现换道车辆，则需要执行紧急停车操作；又或者是在通过十字路口时，左侧出现闯红灯的车辆，则需要执行紧急停车操作。

由于非精确驾驶动作完全由无人驾驶汽车端执行会存在一定的操作难度，且安全性不高；其次，需要在无人驾驶汽车端设置一些高规格和精度的传感器等，使得增加了无人驾驶汽车的成本。因此，当要执行停车等非精确驾驶动作时，则自动接收远程控制平台通过5g发送的驾驶停车操作指令，通过远程控制平台的驾驶人员自身的视觉观测，节约激光雷达等高规格、高精度传感器的使用，避免了完全采用自动驾驶而导致汽车成本过高；无人驾驶汽车根据所述停车操作指令，执行停车操作。其中，远程控制平台对车辆的停止命令具有最高优先级。

进一步地，步骤s50还包括：接收远程控制平台运用5g发送的第二驾驶动作的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；发送第二驾驶动作的执行结果反馈信息至远程控制平台，以使远程控制平台根据所述执行结果反馈信息确定无人驾驶汽车是否完成所述驾驶操作指令。

在本实施例中，所述远程控制平台可以由车载5g通信模块、5g基站、5g核心网及区域网、远程监控与云计算平台、手机及app等组成。当远程控制平台监测到当前无人驾驶汽车需要执行非精确驾驶动作时，如停车操作，则由远程控制平台的驾驶人员运用5g发送停车驾驶操作指令至无人驾驶汽车端；无人驾驶汽车根据所述停车操作指令执行停车操作，并将执行结果的反馈信息发送至远程控制平台；远程控制平台的驾驶人员根据所述执行结果的反馈信息判断当前无人驾驶汽车是否完成了停车驾驶操作指令，若没有完成，则重新发送停车指令至无人驾驶汽车端。

本实施例通过获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像；对所述原始视频图像进行数据处理，以获得目标视频图像；根据所述目标视频图像判断当前所要执行的驾驶动作；若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。本实施例中，对采集到的原始视频图像通过数据处理进行图像压缩，相比传统视频传输提升视频质量和分辨率，非常适合于车载视频监控系统的视频图像传输，在根据处理后的目标视频图像判断当前所要执行的驾驶动作时更准确，同时，采用远程控制与近端智能驾驶相结合的方案，使得近端对于精确的驾驶动作采用智能驾驶，同时驾驶人员在远程通过视觉实时观测汽车周边环境，以控制汽车的停车或行驶，提升了汽车的控制安全性，解决了现有自动驾驶车辆采集的视频图像不清晰并存在大量的噪声时，造成车辆控制精确度差的技术问题。

参考图3，图3为本发明一种基于自动驾驶的图像处理方法第二实施例的流程示意图。基于上述第一实施例，本实施例基于自动驾驶的图像处理方法在所述步骤s20，包括：

步骤s201：根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像。

需要说明的是，车载感知系统可以包括车载视频监控系统，用于采集监控视频数据，车载感知系统可以由视觉感知处理系统及超声波雷达处理系统组成。具体地，视觉感知处理系统可以由n个高清鱼眼广角摄像头组成的全景环视系统、m个高清前视摄像头及视觉处理控制器组成。通常情况下，视觉感知处理系统中摄像头所拍摄到的视频图像内容是连续且有规则的变化。然而，自动驾驶车辆在复杂道路上行驶过程中，摄像头会随着自动驾驶车辆的颠簸而随机抖动，摄像头采集到的原始视频图像的内容变得无规则且不连续，为修正原始视频图像内容的不规则和不连续变化，需要对原始视频图像进行稳像。本实施例中，可以根据原始视频图像不同区域局部运动向量的特点，从原始视频图像中心区域提取匹配子块，以得到初始视频图像；本实施例以以下稳像方式进行说明：根据所述原始视频图像通过预设图像子块匹配算法确定相邻两帧图像之间的全局运动向量；根据所述全局运动向量确定随机抖动向量，并将所述随机抖动向量作为运动补偿向量；根据所述运动补偿向量对所述原始视频图像中每一帧图像进行逆反修正，以获得初始视频图像。

具体地，对原始视频图像的全局运动向量(也就是相邻图像之间的相对运动)进行估计；从全局运动向量中估测出随机抖动向量(也就是运动补偿向量)，通过上述方式可以在视频图像全局运动中能够很好地把摄像头的正常移动和随机抖动区分开来；由估测出来的运动补偿向量对视频中每一帧图像做逆反修正，使视频图像内容变得有规则、连续和流畅，获得初始视频图像。

步骤s202：根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像。

易于理解的是，为了提高视频图像的对比度增强局部细节，需要对初始视频图像进一步进行调整，以获得调整后的视频图像，本实施例中，根据预设图像增强算法确定预设直方图均衡算法和预设多尺度图像增强算法；根据所述预设直方图均衡算法对所述初始视频图像进行全局对比度调整，以获得第一增强视频图像；根据所述预设多尺度图像增强算法对所述第一增强视频图像进行细节增强，以获得第二增强视频图像；基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像。

具体地，本实施例以直方图均衡和中心环绕多尺度msr算法为理论基础，提出了应用于车载视频监控系统中视频图像的增强算法即预设图像增强算法，其中，对滚动时域估计算法mhe进行修正得到采用双向保持灰度级的直方图均衡算法即预设直方图均衡算法，预设直方图均衡算法用于增强图像的全局对比度，保证了图像信息没有损失。预设直方图均衡算法对初始视频图像进行直方图密度均衡，之后在密度均衡的直方图基础上，再次均衡间距，调整直方图中不等于零的灰度级到等距离的灰度级上，获得第一增强视频图像。

具体地，预设多尺度图像增强算法用于增强初始视频图像的局部对比度及其颜色，通过对多尺度msr算法进行改进得到预设多尺度图像增强算法，将多尺度msr算法的对数函数改为tansig函数，实现图像的局部细节信息增强，使得图像的局部对比度得到大幅提升，颜色也能得到较好地恢复。例如，预设多尺度图像增强算法将第一增强视频图像的每个像素点与其领近像素点的亮度值进行加权平均，颜色恒常的实现由反射分量估计来完成，从而能有效地增强局部对比度。其中，预设多尺度图像增强算法的具体实现可以根据现有msr算法来完成，本实施例将现有msr算法的压缩图像的动态范围改为由tansig函数完成。

应当理解的是，针对夜间图像为了提升图像质量，还可以基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像，具体步骤可以包括：根据预设细节增益策略确定预设照度分量和自适应亮度调节函数；根据所述自适应亮度调节函数对所述第二增强视频图像在预设颜色空间的亮度分量进行调整，以获得亮度图像；根据所述预设照度分量提取所述初始亮度图像的照度分量，以获得照度图像；对所述照度图像噪声抑制，以获得调整后的视频图像。具体地，通过自适应亮度调节函数对第二增强视频图像在hsv颜色空问的亮度分量进行全局自适应调整，提取亮度图像的照度分量并对其压缩，采取饱和度增强策略完成图像颜色的增强，获得调整后的视频图像。

此外，基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像，还可以包括：根据图像亮度的变化快慢或细节的丰富程度，大致可以将一幅图像分为3类，即细节区域、高对比度边缘区域和平滑区域，分别对图像的细节区域、高对比度边缘区域和平滑区域等3大区域运用不同的增益策略：较大地增益图像细节区域，较小地增益高对比度和平滑区域的边缘。

步骤s203：基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

需要说明的是，本实施例可以根据车载视频稀疏分解后其原子位置与能量分布特性，采用原子位置及其系数相互融合关联的压缩编码策略，得到基于稀疏表示的图像压缩算法，由于稀疏分解优于传统正交分解，基于稀疏表示的图像压缩算法的性能超过传统图像压缩算法。具体地，基于稀疏表示的图像压缩算法对所述调整后的视频图像进行稀疏分解，以获得线性组合的图像信号，并根据所述线性组合的图像信号构建原子库；根据所述原子库中的原子位置与能量分布特性确定融合关联的压缩编码策略；根据所述压缩编码策略对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

具体地，基于稀疏表示的图像压缩算法对所述调整后的视频图像进行稀疏分解，以获得线性组合的图像信号，此时图像信号表示的主要方式即将图像信号表示成一组基的线性组合，本实施例中图像信号可以由其中最佳线性组合的一组基函数来表示，基函数的正交性无法确定，此时基函数统称为原子，根据所述线性组合的图像信号构建原子库，该原子库可以为冗余原子库，冗余原子库又称过完备原子库，是由原子组成的冗余函数系统。

易于理解的是，根据所述压缩编码策略对所述调整后的视频图像进行压缩，得到目标压缩图像，可以包括：根据所述压缩编码策略确定位置参数和原子系数；根据原子系数幅度大小递减的次序对所述原子系数进行排序，以获得目标原子排序；基于预设优化块集合划分策略对所述调整后的视频图像进行划分，以获得若干优化图像块；在所述优化图像块内根据所述目标原子排序对原子参数进行编码，得到目标压缩图像。

具体地，压缩编码策略的编码器具有压缩效率高且编码流的质量和分辨率可伸缩优的性能。为了使码流具备质量可伸缩性这一功能，采用重要原子先编码不重要原子后编码的原则，原子系数的幅度大小决定了原子的重要性。在对原子进行编码之前，需要根据其系数幅度大小来实现原子的排序。

应当理解的是，每个原子系数编码，编码的次序是原子系数幅度大小递减的次序；优化块的划分：对视频图像中进行优化块的划分后，在优化块内对原子参数进行编码。初始图像设定为初始图像块，逐一扫描当前各个图像块，考察进一步划分更小图像块的必要性，图像被不断地划分成越来越小的局域图像块，获得若干优化图像块，原子也随之被定位到优化图像块内，从而有效地压缩了动态范围，有利于位置编码，提升了图像的压缩率。

本实施例根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像；根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像；基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。对采集到的原始视频图像通过数据处理进行图像压缩，基于稀疏表示的图像压缩算法在取得优良编码性能的同时，提供了比传统方法更灵活的质量和分辨率的伸缩性，非常适合于车载视频监控系统的视频图像压缩，在根据处理后的目标视频图像判断当前所要执行的驾驶动作时更准确，同时，采用远程控制与近端智能驾驶相结合的方案，使得近端对于精确的驾驶动作采用智能驾驶，同时驾驶人员在远程通过视觉实时观测汽车周边环境，以控制汽车的停车或行驶，提升了汽车的控制安全性，解决了现有自动驾驶车辆采集的视频图像不清晰并存在大量的噪声时，造成车辆控制精确度差的技术问题。

此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于自动驾驶的图像处理程序，所述基于自动驾驶的图像处理程序被处理器执行如上文所述的基于自动驾驶的图像处理方法。

由于本存储介质采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。

参照图4，图4为本发明基于自动驾驶的图像处理装置第一实施例的结构框图。

如图4所示，本发明实施例中所述基于自动驾驶的图像处理装置包括：

获取模块10，用于获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像。

需要说明的是，在启动无人驾驶功能后，可以通过车载感知系统获取无人驾驶汽车的车辆驾驶监测数据，并将无人驾驶汽车的车辆驾驶监测数据通过车载以太网等通信方式发送至车载定位规划决策控制系统，其中，车载单元之间的通信方式除车载以太网外，还可以采用lvds、usb、can总线、wifi、5g等通信方式；通过车载定位规划决策控制系统中的决策单元根据接收到的视觉目标信号、雷达信号、定位信号、路线规划、远程监视及控制系统的控制命令等，进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作，例如：根据接收到的信息判断出当前所要执行的动作是前行、左转、右转、换道或者停车等。其中，车辆驾驶监测数据可以包括：通信条件数据、路况信息数据、驾驶车速数据和监控视频数据等，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的监控视频数据中的原始视频图像。

应当理解的是，车载感知系统可以包括车载视频监控系统，用于采集监控视频数据，车载感知系统可以由视觉感知处理系统及超声波雷达处理系统组成。具体地，视觉感知处理系统可以由n个高清鱼眼广角摄像头组成的全景环视系统、m个高清前视摄像头及视觉处理控制器组成。全景环视系统及高清前视摄像头拍摄的高清视频图像传输给车载感知系统中的视觉处理控制器，由视觉处理器将所有图像进行处理，形成行驶车辆的前方(q度视角范围)、前向s范围、侧向w范围、后向l范围内的清晰视图，可以通过车载以太网等通信方式发送至车载定位规划决策控制系统和/或通过5g传输给远端后台。

处理模块20，用于对所述原始视频图像进行数据处理，以获得目标视频图像。

易于理解的是，为了提升车载定位规划决策控制系统的决策准确性，需要对原始视频图像进行数据处理，以获得目标视频图像，根据目标视频图像进行自动驾驶的决策逻辑判断，判断出当前无人驾驶汽车所要执行的驾驶动作。其中，数据处理的方式可以为通过基于稀疏表示的图像压缩算法进行压缩，基于稀疏表示的图像压缩算法在取得优良编码性能的同时，提供了比传统方法更灵活的质量和分辨率的伸缩性，非常适合于车载视频监控系统的视频图像压缩，具体地：根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像；根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像；基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

需要说明的是，可以通过视觉处理器对视频图像进行数据处理，将目标级信息即目标视频图像输出给车载定位及规划决策控制系统，其中，所述视觉处理器具备车道线识别、交通标志识别、交通参与物及障碍物识别等功能。本实施例中可以由视觉处理器对所有的原始视频图像进行处理，形成行驶车辆的前方(q度视角范围)、前向s范围、侧向w范围、后向l范围内的清晰视图，将上述清晰视图作为目标视频图像，并将目标视频图像通过车载以太网等通信方式发送至车载定位规划决策控制系统和/或通过5g传输给远端后台。

判断模块30，用于根据所述目标视频图像判断当前所要执行的驾驶动作。

需要说明的是，车载定位规划决策控制系统接收目标视频图像，车载定位规划决策控制系统主要由定位模块、规划决策模块组成，通过规划决策模块中的决策单元可以根据目标视频图像判断当前所要执行的驾驶动作是第一驾驶动作还是第二驾驶动作，其中，第一驾驶动作可以指精确驾驶动作，如方向盘、油门和刹车等动作；第二驾驶动作可以指非精确驾驶动作，如开、停等动作。

第一执行模块40，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。

易于理解的是，在本实施例中，第一驾驶动作可以指精确驾驶动作，如方向盘、油门和刹车等动作。当通过决策单元判断出当前所要执行的是精确驾驶动作，则自动接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作。例如，当前所要执行的是刹车动作，接收车载定位规划决策控制系统自动发送的刹车驾驶操作指令，无人驾驶汽车根据所述刹车驾驶操作指令执行刹车操作。其中，所述车载定位规划决策控制系统主要由定位模块、规划决策模块组成；所述定位模块接收高清地图定位信号，作为主定位信息，并接5g基站的定位信号、视觉处理系统的周边环境信号，进行综合辅助定位校正。

进一步地，步骤s40还包括：根据所述第一驾驶操作生成对应的控制命令；响应控制命令，执行无人驾驶汽车的自动驾驶操作。在本实施例中，通过决策单元判断出当前所要执行的是精确驾驶动作，根据所述精确驾驶动作生成对应的控制指令；通过车载执行系统响应该控制命令，执行无人驾驶汽车的自动驾驶操作。具体地，执行系统接收到车载定位规划决策控制系统所发出的目标车速、目标驱动扭矩、目标制动扭矩、目标档位、目标转向角及转向角速度等控制命令，实时响应其控制命令，并回传相关的控制结果。例如：当前所要执行的是降速操作，由车载定位规划决策控制系统发出将车速降至9km/h的控制命令，以使无人驾驶汽车调整当前的车速为9km/h。其中，所述执行系统由车辆的动力输出及传动控制系统、制动控制系统、转向控制系统等组成。

第二执行模块50，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。

需要说明的是，在本实施例中，第二驾驶动作是指非精确驾驶动作，如开、停等动作，其中，开、停等动作除了可以由无人驾驶汽车端根据所述驾驶监测数据确定外；还可以通过远程控制平台的远程控制平台客户端或者手机app等监测当前无人驾驶汽车是否出现危险情况，当出现危险情况时，则生成对应的非精确驾驶动作，例如：当远程控制平台的用户通过手机app监测到当前无人驾驶汽车的正前方突然出现换道车辆，则需要执行紧急停车操作；又或者是在通过十字路口时，左侧出现闯红灯的车辆，则需要执行紧急停车操作。

由于非精确驾驶动作完全由无人驾驶汽车端执行会存在一定的操作难度，且安全性不高；其次，需要在无人驾驶汽车端设置一些高规格和精度的传感器等，使得增加了无人驾驶汽车的成本。因此，当要执行停车等非精确驾驶动作时，则自动接收远程控制平台通过5g发送的驾驶停车操作指令，通过远程控制平台的驾驶人员自身的视觉观测，节约激光雷达等高规格、高精度传感器的使用，避免了完全采用自动驾驶而导致汽车成本过高；无人驾驶汽车根据所述停车操作指令，执行停车操作。其中，远程控制平台对车辆的停止命令具有最高优先级。

进一步地，步骤s50还包括：接收远程控制平台运用5g发送的第二驾驶动作的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作；发送第二驾驶动作的执行结果反馈信息至远程控制平台，以使远程控制平台根据所述执行结果反馈信息确定无人驾驶汽车是否完成所述驾驶操作指令。

在本实施例中，所述远程控制平台可以由车载5g通信模块、5g基站、5g核心网及区域网、远程监控与云计算平台、手机及app等组成。当远程控制平台监测到当前无人驾驶汽车需要执行非精确驾驶动作时，如停车操作，则由远程控制平台的驾驶人员运用5g发送停车驾驶操作指令至无人驾驶汽车端；无人驾驶汽车根据所述停车操作指令执行停车操作，并将执行结果的反馈信息发送至远程控制平台；远程控制平台的驾驶人员根据所述执行结果的反馈信息判断当前无人驾驶汽车是否完成了停车驾驶操作指令，若没有完成，则重新发送停车指令至无人驾驶汽车端。

本实施例中所述基于自动驾驶的图像处理装置包括：获取模块10，用于获取无人驾驶汽车的车辆驾驶监测数据，根据所述车辆驾驶监测数据提取车载视频监控系统采集到的原始视频图像；处理模块20，用于对所述原始视频图像进行数据处理，以获得目标视频图像；判断模块30，用于根据所述目标视频图像判断当前所要执行的驾驶动作；第一执行模块40，用于若当前所要执行的是第一驾驶动作，则接收无人驾驶汽车的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的自动驾驶操作；第二执行模块50，用于若当前所要执行的是第二驾驶动作，则接收远程控制平台发送的驾驶操作指令，根据所述驾驶操作指令执行无人驾驶汽车的远程驾驶控制操作。本实施例中，对采集到的原始视频图像通过数据处理进行图像压缩，相比传统视频传输提升视频质量和分辨率，非常适合于车载视频监控系统的视频图像传输，在根据处理后的目标视频图像判断当前所要执行的驾驶动作时更准确，同时，采用远程控制与近端智能驾驶相结合的方案，使得近端对于精确的驾驶动作采用智能驾驶，同时驾驶人员在远程通过视觉实时观测汽车周边环境，以控制汽车的停车或行驶，提升了汽车的控制安全性，解决了现有自动驾驶车辆采集的视频图像不清晰并存在大量的噪声时，造成车辆控制精确度差的技术问题。

在一实施例中，所述处理模块20，还用于根据所述原始视频图像通过预设图像子块匹配算法确定初始视频图像；

根据预设图像增强算法对所述初始视频图像进行调整，以获得调整后的视频图像；

基于稀疏表示的图像压缩算法对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

在一实施例中，所述处理模块20，还用于根据所述原始视频图像通过预设图像子块匹配算法确定相邻两帧图像之间的全局运动向量；

根据所述全局运动向量确定随机抖动向量，并将所述随机抖动向量作为运动补偿向量；

根据所述运动补偿向量对所述原始视频图像中每一帧图像进行逆反修正，以获得初始视频图像。

在一实施例中，所述处理模块20，还用于根据预设图像增强算法确定预设直方图均衡算法和预设多尺度图像增强算法；

根据所述预设直方图均衡算法对所述初始视频图像进行全局对比度调整，以获得第一增强视频图像；

根据所述预设多尺度图像增强算法对所述第一增强视频图像进行细节增强，以获得第二增强视频图像；

基于预设细节增益策略对所述第二增强视频图像进行细节增强和噪声抑制，以获得调整后的视频图像。

在一实施例中，所述处理模块20，还用于根据预设细节增益策略确定预设照度分量和自适应亮度调节函数；

根据所述自适应亮度调节函数对所述第二增强视频图像在预设颜色空间的亮度分量进行调整，以获得亮度图像；

根据所述预设照度分量提取所述初始亮度图像的照度分量，以获得照度图像；

对所述照度图像噪声抑制，以获得调整后的视频图像。

在一实施例中，所述处理模块20，还用于基于稀疏表示的图像压缩算法对所述调整后的视频图像进行稀疏分解，以获得线性组合的图像信号，并根据所述线性组合的图像信号构建原子库；

根据所述原子库中的原子位置与能量分布特性确定融合关联的压缩编码策略；

根据所述压缩编码策略对所述调整后的视频图像进行压缩，得到目标压缩图像，并将所述目标压缩图像作为目标视频图像。

在一实施例中，所述处理模块20，还用于根据所述压缩编码策略确定位置参数和原子系数；

根据原子系数幅度大小递减的次序对所述原子系数进行排序，以获得目标原子排序；

基于预设优化块集合划分策略对所述调整后的视频图像进行划分，以获得若干优化图像块；

在所述优化图像块内根据所述目标原子排序对原子参数进行编码，得到目标压缩图像。

本发明所述基于自动驾驶的图像处理装置的其他实施例或具体实现方式可参照上述各基于自动驾驶的图像处理方法实施例，此处不再赘述。

应当理解的是，以上仅为举例说明，对本发明的技术方案并不构成任何限定，在具体应用中，本领域的技术人员可以根据需要进行设置，本发明对此不做限制。

需要说明的是，以上所描述的工作流程仅仅是示意性的，并不对本发明的保护范围构成限定，在实际应用中，本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的，此处不做限制。

另外，未在本实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的基于自动驾驶的图像处理方法，此处不再赘述。

此外，需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(readonlymemory，rom)/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。