一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法与流程

本发明涉及汽车防眩光领域，特别是一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法。

背景技术：

增强现实技术(ar)：它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。这种技术最早于1990年提出。随着随身电子产品运算能力的提升，增强现实的用途越来越广。

图像处理技术：是用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。其重点研究的内容包括：图像增强、图像恢复、图像识别、图像编码、图像分割、图像描述等。其中，图像增强的目的是改善图像的视觉效果，它是各种技术的汇集，还没有形成一套通用的理论。常用的图像增强技术有对比度处理、直方图修正、噪音处理、边缘增强、变换处理和伪彩色等。在多媒体应用中，对各类图像主要进行图像增强处理，各类图像处理软件一般都支持图像增强技术。

在强光，尤其在夜间逆光条件下，当迎面汽车前大灯照射在前挡风玻璃时，往往会使驾驶人员产生眩光，引起短时致盲现象，即使眩光光源移开后，残存在眼睛内的影像会造成盲点，这种现象被称为“白癍效应”。该效应会降低司机的反应时间，严重威胁到驾驶人员的生命安全，降低驾驶安全性。

目前，降低光线强度、防止眩光的装置和方法还不够智能化。例如，在汽车防眩光应用领域中，往往还是通过驾驶室内的挡光板进行遮光，这样的遮挡方式在挡住部分光线的同时也造成了视野部分盲区，而对于夜间行驶遇到迎面强光，挡光板作用是不大的。现有技术中的智能防眩光后视镜，利用光强差调节电压与电流的方式控制“电致变材料”的变色程度来防止眩目，其没形成闭环控制且只是个后视镜，对于迎面强光带来的短时致盲也无能为力。现有的其他领域技术中如温致变色玻璃或者其他调光玻璃，都还是一种被动的光强度调节或没有形成闭环控制，都仅仅是调节玻璃变色程度，不能进行视觉误差补偿；且不能灵活应对夜间行驶的迎面强光。

技术实现要素：

有鉴于此，本发明的目的是提出一种基于图像处理和虚拟增强的防止眩光的系统及其实现方法，能够针对高光区进行抑制，对非高光区采用虚拟增强叠加的方式补偿到正常的范围，从而弥补视觉误差，提高驾驶安全性。

本发明采用以下方案实现：一种基于图像处理和虚拟增强的防止眩光的系统，包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；所述图像传感器模块与所述控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；所述图像处理模块与所述深度信息摄像头模块连接用以对所述深度信息摄像头模块传输过来的图像信息进行分析和处理；所述控制模块与所述图像处理模块连接，用以输出透光量；所述虚拟增强显示模块与所述图像处理模块连接，用以将所述控制模块输出到所述图像处理模块的透光量与所述深度信息摄像头模块传输到所述图像处理模块的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。

进一步地，所述的图像传感器模块采用的是ccd图像传感器。

进一步地，所述控制模块采用闭环电控方法控制透光量，调节光线强度；当需要调整透光量时，将与所述图像传感器模块检测出的光照强度相对应的信号作为输入量，输出量为玻璃透光量；被控对象为调光玻璃；检测装置为所述ccd图像传感器；经过反馈环节将与所述ccd图像传感器检测到的光照强度对应的信号与设定的期望透光强度信号输入比较器，比较器输出二者差值控制透光玻璃透光量；检测光强度大于期望光强度时，降低玻璃透光，检测光强度小于期望光强度时提高透光；检测光强度等于期望光强度时则不进行透光量调整。

进一步地，所述深度信息摄像头模块采用的是深度摄像头；所述深度摄像头包括红外投影头、rgb摄像头及红外摄像头；所述rgb摄像头用以获取彩色图像；红外投影头与红外摄像头通过发射或接收红外线来提供深度信息，进而获得深度影像。

进一步地，所述的图像信息为深度信息摄像头模块中rgb摄像头采集的图像，即炫光图像。

进一步地，一种基于图像处理和虚拟增强的防止眩光的系统的实现方法，包括以下步骤：

步骤s1：通过所述ccd图像传感器自动检测投射到玻璃的光照强度；

步骤s2：由控制模块判断是否需要调整玻璃的透光量；如果需要调整则执行步骤s3，如果不需要调整则返回步骤s1；

步骤s3：将所述深度摄像头中rgb摄像头采集的图像传输到图像处理模块中进行图像分析；通过分块直方图方法对图像中的高亮部分进行分块抑制，降低玻璃透光量；对图像中的暗光部分亮度提升，使玻璃全透光；对图像的其他部分采用直方图均一化方法调整；

步骤s4：通过虚拟增强显示模块，以投影的方式对步骤s3中玻璃透光减少后的图像进行补偿，弥补视觉误差，用以实现抑制眩光的目的。

进一步地，所述步骤s3的具体内容为：将获取的炫光图像通过直方图分布进行分析；对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；对整体较暗环境下的图像，即像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，对于整体高亮光图像，即像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光量。

进一步地，所述的将获取的炫光图像通过直方图分布进行分析包括以下步骤：

步骤s1：对采集到的眩光图像利用高斯低通滤波方法去噪，得到去噪后的图像；

步骤s2：利用canny算子对步骤s1中去噪后的图像进行边缘提取操作，获取图像强光部分边缘图像；

步骤s3：提取步骤s2中边缘图像每条边边缘像素点，采用形态学处理的方法将多像素边缘变为单像素边缘；

步骤s4：求出步骤s3中每条边的像素点后，再对每条边构造包含边缘线的最小外接矩形；即先求出边缘线上的每个像素点，在这些点中求出含有横坐标与纵坐标最大值与最小值的点，再根据这些最大值与最小值来确定矩形的两个端点，最后根据这两个端点确定以它们为对角线的矩形，这个矩形就是包含边缘线的最小外接矩形；

步骤s5：对步骤s4求出的最小外接矩形根据图像的信息熵进行分块；根据不同块的熵值进行强光抑制，采用gamma指数模型将强光部分弱化，使暗光部分变亮，最终使整块图像达到光线平衡。

信息熵公式为：

其中，设图像经q位量化，则图像具有m＝2^q个灰度级，设灰度级gi＝i(i＝0,1,2,...,2^q-1)，则灰度级为gi的像素在整幅图像的频率为：其中ni是灰度级为gi的像素的个数，ntotal是整幅图像的总像素数，图像的自信息量：i(g)＝ln[1/p(gi)]，h则为信息量；

指数模型为：

on(x,y)＝in(x,y)^γ

其中，gamma参数为常数，in(x,y)为变换前的像素值，on(x,y)为变换后的输出；

步骤s6：对于步骤s2分离强光后剩余的暗部图像，采用非线性对数模型亮度调节的方法使暗光部分亮度提升；公式为：gn(x,y)＝c×ln[d×fn(x,y)+1]

其中，d为调节系数可由经验或实验手工设置，用来改变变换函数的亮度提升性能；fn(x,y)表示输入图像的像素值，，系数c的取值如下：

步骤s7：步骤s5和步骤s6分块处理后的图像采用直方图均一化方法处理，最终使得整块图像达到光线平衡；整体处理之后的结果通过虚拟增强进行补偿叠加显示在虚拟增强显示模块上。

与现有技术相比，本发明有以下有益效果：

本发明以闭环电控的方式进行控制玻璃透光量，对强光部分进行分块抑制，暗部进行亮度提升，其余部分采用直方图均一化的方法进行处理，使图像整体平滑，光线平衡。再以深度摄像模块与ar显示模块配合，增强显示，进行影像补偿，达到克服眩光的目的；能有效防止由于强光造成的短时致盲，提高安全性。

附图说明

图1为本发明实施例的系统框图。

图2为本发明实施例的闭环电控图。

图3为本发明实施例的深度摄像头结构图。

图4为本发明实施例的确定矩形的方法图。

图5为本发明实施例的图像分块示意图。

图6为本发明实施例的增强现实系统。

图7为本发明实施例的系统处理总流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图1所示，本实施例提供一种基于图像处理和虚拟增强的防止眩光的系统，包括图像传感器模块、深度信息摄像头模块、控制模块、图像处理模块以及虚拟增强显示模块；所述图像传感器模块与所述控制模块连接，用以将检测光照强度后转化的电信号传输到所述控制模块；所述图像处理模块与所述深度信息摄像头模块连接用以对所述深度信息摄像头模块传输过来的图像信息进行分析和处理；所述控制模块与所述图像处理模块连接，用以输出透光量；所述虚拟增强显示模块与所述图像处理模块连接，用以将所述控制模块输出到所述图像处理模块的透光量与所述深度信息摄像头模块传输到所述图像处理模块的图像通过虚拟增强显示模块，以投影的方式对透光减少后的图像进行补偿，达到克服眩光的目的。

在本实施例中，所述的图像传感器模块采用的是ccd图像传感器，也可以采用cmos图像传感器。

在本实施例中，所述控制模块采用闭环电控方法控制透光量，调节光线强度；当需要调整透光量时，将与所述图像传感器模块检测出的光照强度相对应的信号作为输入量，输出量为玻璃透光量；被控对象为调光玻璃；检测装置为所述ccd图像传感器；经过反馈环节将与所述ccd图像传感器检测到的光照强度对应的信号与设定的期望透光强度信号输入比较器，比较器输出二者差值控制玻璃透光量；检测光强度大于期望光强度时，降低玻璃透光，检测光强度小于期望光强度时提高透光；检测光强度等于期望光强度时则不进行透光量调整。

在本实施例中，所述深度信息摄像头模块采用的是深度摄像头；所述深度摄像头包括红外投影头、rgb摄像头及红外摄像头；所述rgb摄像头用以获取彩色图像；红外投影头与红外摄像头通过发射或接收红外线来提供深度信息，进而获得深度影像。

在本实施例中，所述的图像信息为深度信息摄像头模块中rgb摄像头采集的图像，即炫光图像。

如图7所示，在本实施例中，一种基于图像处理和虚拟增强的防止眩光的系统的实现方法，包括以下步骤：

步骤s1：通过所述ccd图像传感器自动检测投射到玻璃的光照强度；

步骤s2：判断是否需要调整玻璃的透光量；如果需要调整则执行步骤s3，如果不需要调整则返回步骤s1；

步骤s3：将所述深度摄像头中rgb摄像头采集的图像传输到图像处理模块中进行图像分析；通过分块直方图方法对图像中的高亮部分进行分块抑制，降低玻璃透光量；对图像中的暗光部分亮度提升，使玻璃全透光；对图像的其他部分采用直方图均一化方法调整；

步骤s4：通过虚拟增强显示模块，以投影的方式对步骤s3中玻璃透光减少后的图像进行补偿，弥补视觉误差，用以实现抑制眩光的目的。

在本实施例中，所述步骤s3的具体内容为：将获取的炫光图像通过直方图分布进行分析；对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；对整体较暗环境下的图像，即像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，对于整体高亮光图像，即像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光量。

在本实施例中，所述的将获取的炫光图像通过直方图分布进行分析包括以下步骤：

步骤s1：对采集到的眩光图像利用已有的高斯低通滤波方法去噪，得到去噪后的图像；

步骤s2：利用图像处理中已有的canny算子对步骤s1中去噪后的图像进行边缘提取操作，获取图像中强光部分边缘图像；

步骤s3：提取步骤s2中边缘图像每条边边缘像素点，采用图像处理中已有的形态学处理的方法将多像素边缘变为单像素边缘；

步骤s4：求出步骤s3中每条边的像素点后，再对每条边构造包含边缘线的最小外接矩形；即先求出边缘线上的每个像素点，在这些点中求出含有横坐标与纵坐标最大值与最小值的点，再根据这些最大值与最小值来确定矩形的两个端点，最后根据这两个端点确定以它们为对角线的矩形，这个矩形就是包含边缘线的最小外接矩形；如图4所示，假定坐标原点对应图像的左上角的像素点。图中较粗的曲线为边缘线。图中，点(x1,y1)、点(x2,y2)、点(x3,y3)、点(x4,y4)分别为这条曲线上的4个点。从图中可以看出，在这条曲线中，点(x1,y1)具有横坐标的最小值，(x2,y2)具有纵坐标的最小值，(x3,y3)具有纵坐标的最大值，(x4,y4)具有横坐标的最大值。再根据这些最大值和最小值确定(x5,y5)和(x6,y6)，显然(x5,y5)具有横坐标最小值和纵坐标最大值，(x6,y6)具有横坐标最大值和纵坐标最小值。而最后得到的矩形框则是以(x5,y5)和(x6,y6)为对角线两端点的矩形；

步骤s5：对步骤s4求出的最小外接矩形根据图像的信息熵进行分块；根据不同块的熵值进行强光抑制，采用gamma指数模型把强光部分弱化，使暗光部分变亮，最终使整块图像达到光线平衡。具体分块方法如图5所示，将矩形(3m×3n)拟平均分为9块，每块大小为m×n，如图中粗黑虚线中共9个子块，每块对应不同的熵值，根据不同块的熵值进行强光抑制，采用gamma指数模型把强光部分弱化。使暗光部分变亮，最终使得整块图像达到光线平衡。

信息熵公式为：

其中，设图像经q位量化，则图像具有m＝2^q个灰度级，设灰度级gi＝i(i＝0,1,2,...,2^q-1)，则灰度级为gi的像素在整幅图像的频率为：其中ni是灰度级为gi的像素的个数，ntotal是整幅图像的总像素数，图像的自信息量：i(g)＝ln[1/p(gi)]，h则为信息量；

指数模型为：

on(x,y)＝in(x,y)^γ

其中，gamma参数为常数，in(x,y)为变换前的像素值，on(x,y)为变换后的输出。

步骤s6：对于步骤s2分离强光后剩余的暗部图像，采用非线性对数模型亮度调节的方法使暗光部分亮度提升；公式为：gn(x,y)＝c×ln[d×fn(x,y)+1]

其中，d为调节系数，用来改变变换函数的亮度提升性能；fn(x,y)表示输入图像的像素值，，系数c的取值如下：

步骤s7：步骤s5和步骤s6分块处理后的图像采用已有的直方图均一化方法处理，最终使得整块图像达到光线平衡；整体处理之后的结果通过虚拟增强进行补偿叠加显示在ar(虚拟增强显示模块)模块上。

特别的，在本实施例中，通过图像传感器主动检测照射强度，以闭环电控方法控制玻璃透光量，调节光线强度；再利用图像处理技术对高光部分进行分块抑制，暗的部分进行亮度提升，其他部分采用直方图均一化的方法进行处理；通过ar显示组件，以投影的方式对采用玻璃透光减少后的影像进行补偿，弥补视觉误差，达到克服眩光的目的。通过图像处理的方法检测当前光照情况后控制整体透光量的大小，特别是能够针对高光区进行抑制，对非高光区采用ar叠加的方式补偿到正常的范围。

特别的，在本实施例中，采用了调光玻璃，(调光玻璃是将液晶膜复合进两层玻璃中间，经高温高压胶合后一体成型的夹层结构的新型特种光电玻璃产品)，通过图像传感器主动检测照射强度，以闭环电控方法控制玻璃透光，属于主动调整的控制方式，增加非高光部分的影像补偿，从而弥补视觉误差。如将本实施例提出的方法和装置用于汽车前挡风玻璃时，逆光行驶或迎面强光条件下，依然能够将外部路况清晰地增强显示在ar显示屏幕上，提高驾驶安全系数。本实施例主要应用图像处理技术和ar技术。通过图像传感器主动检测照射强度，以闭环反馈控制方法自动调节透光量，调节光线强度；利用图像处理技术对高光部分进行分块抑制，暗的部分进行亮度提升，其他部分采用直方图均一化的方法进行处理。通过ar显示组件，以投影的方式对采用玻璃透光减少后的影像进行补偿，弥补视觉误差，达到克服眩光的目的。

较佳的，本实施例传感器模块应用的是ccd图像传感器，它是按一定规律排列的mos电容器组成的光敏元阵列。当遇到光照射时，光敏元根据光的强弱感生出与光照强度相对应的光生电荷。这样就自动检测出光照强度并将其转化为相对应的电信号。

如图2所示，控制模块采用闭环电控方法控制透光量，调节光线强度。当需要调整透光量时，将与传感器模块检测出的光照强度相对应的电信号作为输入量，输出量为玻璃透光量；被控对象这里为挡风玻璃；检测装置仍为图像传感器；之后再经过反馈环节将与图像传感器检测到的光照强度相对应的电信号反馈给比较器。

如图3所示，深度信息摄像模块，该模块应用深度摄像头：①获取彩色图像即光线照射来向图像——这部分为后续图像处理作准备；②获取深度影像——这部分为后续与ar配合显示做准备。由图可知深度摄像头包括红外投影头、rgb摄像头及红外摄像头。中间的rgb摄像头与传统的摄像头功能、构造相同，用来获取彩色图像。红外投影头与红外摄像头通过发射/接收红外线来提供深度信息，二者配合使用以获得深度影像。

配合方式如下：红外投影头经过磨砂玻璃和红外滤光片投射出近红外光；红外摄像头接收投射出的红外光，再将红外光编码影像传给ps1080soc(系统级芯片)；ps1080对红外影像进行匹配处理；最后逐帧生成准确的场景深度影像。

图像处理模块：对所采集的图像进行分析和处理——即对深度信息摄像模块中rgb摄像头采集的图像(光线照射来向图像)进行分析和处理。

ar显示模块通过投影的方式对采用玻璃透光减少后的影像进行补偿；尤其对非高光区采用ar叠加的方式补偿到正常的范围并与深度摄像模块配合，将图像显示在调光玻璃显示屏上。如图6所示：

在本实施例中，将获取的图像通过直方图分布情况进行分析——①对正常不影响视觉的图像，即直方图分布均匀，过度平滑，无明显尖峰的图像，系统将不进行操作，保持玻璃全通透光；②对整体较暗环境下的图像，如主要像素集中在直方图暗部且呈现明显尖峰的图像，系统保持玻璃全通透光，并通过ar进行补偿，通过图像直方图均一化方法提升视觉效果；③对于整体高亮光图像，如主要像素集中在直方图亮部且呈现明显尖峰的图像，系统控制玻璃透光，降低透光亮。

此外，主要通过分块直方图方法检测存在眩光的图像，系统将控制玻璃降低透光，同时图像处理模块对高光部分分块进行抑制，暗部进行亮度提升，其他部分采用直方图均一化方法处理，整体处理之后的结果通过ar进行补偿，实现抑制眩光的效果。

较佳的，在本实施例中，将图像处理技术与ar技术相结合，通过图像处理的方法检测当前光照情况后控制整体透光量的大小，特别是能够针对高光区进行抑制，对非高光区采用ar叠加的方式补偿到正常的范围。

1)以闭环电控方法控制玻璃透光量；

2)利用图像处理技术对高光部分进行分块抑制，暗部亮度提升，其他部分直方图均一化处理；

3)深度摄像模块与ar显示模块配合，增强显示，进行影像补偿，弥补视觉误差。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。