本公开涉及电子设备和应用，且更具体地涉及用于由车辆驾驶员辅助模块进行图像呈现的过程和配置。
背景技术：
车辆的安全操作是许多车辆操作者的主要关注点。因此，技术发展已经转向以事故预防和安全操作为重点的系统。技术进步已带来了提供警示和补充车辆操作员的视野的辅助系统。例如，一些常规的车辆系统使用传感器和摄像头来避免事故和用于其他车辆辅助功能。一些现有的系统提供对近距离车辆的亮灯指示。其他系统还包括主动制动技术。尽管开发出了这样的系统，但是需要和期望在低和/或能见度降低的情况下辅助驾驶员。
车辆操作可能由于照明条件和天气而更加困难。对于弱光和夜间行驶，即使使用大灯也难以检测到车辆路径内的物体。来自其他车辆的环境照明条件和定向光源也可能减弱操作者的视野。阳光导致的照明条件也可能由于白天行驶期间的高曝光(例如，眩光)而降低或减弱能见度。除了照明条件，天气条件、大气颗粒和水分也会影响能见度。由于照明条件、天气和其他环境特征，光学成像设备(例如，摄像头等)和常规的驾驶员辅助系统可能不能提供足够的信息。
一些常规方法利用红外(ir)摄像头来辅助识别物体，特别是在弱光情景中。然而，这些系统可能难以根据环境温度识别某些类型的物体。在高温环境下使用时，ir传感器可能无效。此外，ir系统可能无法提供足够的细节或一致的输出来识别感兴趣的对象。另外，由于ir系统通常是为夜视而设计的，因此ir系统并非设计用来改善不同照明和环境条件下的能见度。ir系统也很昂贵，它们的使用对于某些应用来说可能是成本过高的。
期望驾驶员辅助系统提高弱光条件下，例如黄昏或夜晚，尤其在不太亮的道路上的能见度。
技术实现要素：
本文公开了并要求保护用于由车辆驾驶员辅助模块进行图像呈现的方法、设备和系统。一个实施方案涉及一种方法，包括驾驶员辅助模块接收表示车辆的外部的图像数据。该方法还包括驾驶员辅助模块将图像数据反转以形成反转的图像数据，以及驾驶员辅助模块对反转的图像数据执行去雾霾操作以生成车辆的外部的增强的反转图像数据，其中去雾霾操作基于图像数据的场景辐射、介质透射和大气光。该方法还包括驾驶员辅助模块反转增强的反转图像数据以生成增强的图像数据。该方法还包括驾驶员辅助模块从增强的图像数据生成重建的图像数据，其中重建的图像数据是通过执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象而生成。该方法还包括驾驶员辅助模块将重建的图像数据输出到车辆的显示单元。
在一个实施方案中，表示车辆的外部的图像数据包括由车辆的前置摄像头捕获的视频数据。
在一个实施方案中，表示车辆的外部的图像数据包括由与车辆的操作者相关联的可佩戴设备捕获的视频数据。
在一个实施方案中，反转包括图像数据的全部帧的逐像素反转。
在一个实施方案中，去雾霾操作包括基于对介质透射的调整参数来确定反转的图像数据的场景辐射。
在一个实施方案中，增强的图像数据的稀疏表示利用现有的或推断出形成原子字典的图像数据的帧的基本元素的组合来改变帧的基本元素的噪声水平。
在一个实施方案中，执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象包括识别帧中的对象、比较和调整帧中的对象，以及选择图像数据的帧中待识别的一个或多个对象。
在一个实施方案中，基于使用车辆的位置同与图像数据相关联的日光图像进行比较来执行稀疏表示和学习操作。
在一个实施方案中，基于增强的图像数据生成重建的图像数据包括使用由学习模块识别出的对象来从稀疏表示拼接去噪的图像数据。
在一个实施方案中，输出重建的图像数据包括叠加与为重建的图像数据识别出的对象相关联的轮廓元素。
另一个实施方案涉及一种车辆驾驶员辅助模块，包括用于接收表示车辆的外部的图像数据的输入模块、输出模块和图像增强器模块。图像增强器模块包括处理器，处理器被配置用于反转图像数据以形成反转的图像数据，并对反转的图像数据执行去雾霾操作，以生成车辆的外部的增强的反转图像数据，其中去雾霾操作基于图像数据的场景辐射、介质透射和大气光。处理器还被配置用于反转增强的反转图像数据以生成增强的图像数据。处理器还被配置用于从增强的图像数据生成重建的图像数据，其中重建的图像数据是通过执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象而生成。处理器还被配置用于控制输出模块将重建的图像数据输出到车辆的显示单元。
结合以下对实施方案的详细描述，其他方面、特征和技术对于相关领域的技术人员将是显而易见的。
附图说明
结合附图，从下面阐明的详细描述中，本公开的特征、目的和优点将变得更加明显，在附图中相似的附图标记始终对应地标识，其中：
图1描绘了根据一个或多个实施方案的系统的图形表示；
图2描绘了根据一个或多个实施方案的用于图像增强的过程；
图3描绘了根据一个或多个实施方案的图像增强器的图；
图4描绘了根据一个或多个实施方案的图像增强处理的图形表示；
图5描绘了根据一个或多个其他实施方案的系统图；
图6描绘了根据一个或多个实施方案的可佩戴单元的图形表示；
图7描绘了根据一个或多个实施方案的图像数据的图形表示；
图8描绘了根据一个或多个实施方案的弱光图像增强的流程图；
图9描绘了根据一个或多个实施方案的深度学习的图形表示；以及
图10描绘了根据一个或多个实施方案的深度学习的流程图。
具体实施方式
本公开的一个方面涉及由车辆驾驶员辅助模块进行图像呈现的过程。在一个实施方案中，一种由车辆驾驶员辅助模块进行图像呈现的方法包括图像数据的反转、图像数据的图像去雾霾和重建以供显示。本文描述的过程可以应用于呈现图像和视频内容的非ir光学图像设备(例如，数码摄像头等)。这些过程可以提供由车辆硬件执行的有序的一系列功能，以增强检测并改进车辆辅助系统和设备的操作。本文描述的过程可以针对由于弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个导致的低能见度条件。本文描述的过程可以由设备和系统配置采用，并且可以包括使用学习算法来生成图像数据的稀疏表示(例如，字典学习)和深度学习算法。
另一个实施方案涉及一种可以部署用来提供驾驶员辅助的车辆系统。在一个实施方案中，系统可以采用前置成像设备来捕获车辆的外部的视频图像数据。该系统还可以被配置用于利用由可穿戴设备捕获的图像数据。设备执行的图像操作和处理可以输出到一个或多个显示器，包括但不限于车辆信息娱乐显示器和/或车辆操作者的平视显示器。
另一个实施方案涉及一种图像增强模块。该设备可以被配置用于执行一个或多个图像增强功能。图像增强模块以及本文描述的过程和系统可以采用位置数据和先前检测到的日光图像用于弱光条件期间的图像增强。
如本文所使用的，术语“一”或“一个”应意指一个或多于一个。术语“多个”应意指两个或两个以上。术语“另一个”定义为第二个或更多个。术语“包括”和/或“具有”是开放式的(例如，包括)。本文所使用的术语“或”应解释为包含性的或意指任何一个或任何组合。因此，“a、b或c”意指“以下任何一种：a；b；c；a和b；a和c；b和c；a、b和c”。只有当元素、功能、步骤或动作的组合以某种方式内在地相互排斥时，才会出现这一定义的例外。
贯穿本文档对“一个实施方案”、“某些实施方案”、“实施方案”或类似术语的引用意味着结合该实施方案描述的特定特征、结构或特性包括在至少一个实施方案中。因此，在本说明书各个地方出现这样的短语不一定都指同一实施方案。此外，特定的特征、结构或特性可以以任何合适的方式在一个或多个实施方案中组合，而没有限制。
示例性实施方案
现在参考附图，图1描绘了根据一个或多个实施方案的系统的图形表示。在一个实施方案中，系统100是用于车辆的驾驶员辅助系统。系统100包括摄像头105、图像增强模块110和显示器115。在某些实施方案中，系统100可以包括平视显示器120。
根据一个实施方案，摄像头105捕获与道路120相关联的车辆的外部，例如车辆的前部区域中，的视频图像数据。图像增强模块110被配置用于增强由摄像头105捕获的图像数据，并呈现图像，该图像输出以供在显示器115上或者利用平视显示器120在车辆中显示。根据一个实施方案，摄像头105涉及被配置用于光学检测和捕获图像数据的数码摄像头。摄像头105的示例性帧检测速率可以是一个或多个帧检测速率，包括但不限于60hz、120hz、240hz等。在其他实施方案中，系统100可以从可穿戴设备(图1未示出)接收图像内容。图像增强模块110被配置用于增强由一个或多个摄像头，例如摄像头105，检测到的图像数据。根据一个实施方案，图像增强模块110可以被配置用于在弱光、定向光(例如，远光等)、眩光和天气条件(例如，雾霾、雾、高温等)中的一个或多个情形下增强图像数据。图像增强模块110可以被配置用于检测对象并呈现图形元素以向车辆的操作者指示检测到的对象。
根据一个实施方案，显示器115被配置用于呈现增强的图像数据。显示器115可以是车辆信息娱乐系统的一部分。显示器120可以涉及平视显示器，并且可以呈现图像数据、对象指示器和由摄像头105检测到的场景的表示中的一个或多个。
根据一个实施方案，系统100可以被配置用于检测和识别固定和非固定的(例如移动的、非永久性的等)对象。图1利用示例性标识符126的图形表示示出了一个人125。标识符126涉及呈现为对人125的位置的叠层的矩形轮廓。根据一个实施方案，图像增强模块110可以将一个或多个标识符添加到增强的图像以供显示器115呈现。道路可以包括一个或多个危险，诸如驾驶员辅助系统可以检测和识别的危险130。图像增强模块110检测到的危险可以包括坑洼、减速块、中央分隔带等。
根据一个实施方案，图像增强模块110可以被配置用于检测统一示为135的固定对象，并可以呈现示为140的标识符。图像增强模块110还可以检测和/或指示某些大的物体，诸如结构145。在图1中，将矩形形状描绘为指示符，然而，应该理解，可以采用阴影、着色、突显和图形图像的显示中的一个或多个作为指示符。
图2描绘了根据一个或多个实施方案的用于图像增强的过程。过程200可以由诸如车辆驾驶员辅助系统(例如，系统100)的图像增强模块(例如，图像增强模块110)之类设备和一个或多个其他组件采用来呈现对象的指示。根据一个实施方案，过程200可以由驾驶员辅助系统的图像增强模块启动，该图像增强模块在框205处接收表示车辆的外部的图像数据。在框205处接收到的图像数据可以涉及由车辆的前置摄像头捕获的视频数据。图像增强模块可以表征接收到的图像数据的选定帧或所有帧以用于对象的检测。过程200可以涉及接收到的图像数据的单个帧或多个帧。在一些实施方案中，可以同时处理多个帧以提供对检测到的对象的实时显示。在一些实施方案中，在框205处接收到的图像数据包括由与车辆的操作者相关联的可穿戴设备捕获的视频数据。
在框210处，反转接收到的图像数据以形成反转的图像数据。在一个实施方案中，在框210处的反转包括图像数据的全部帧的逐像素反转。在框210处并在本文使用的反转涉及图像帧的颜色反转，使得图像帧的颜色被反转。举例来说，白色像素反转为黑色，并且帧的黑色像素被反转以变成白色等。根据一个实施方案，反转图像数据以更好地检测暗淡的物体或表面。
在框215处，图像增强模块对反转的图像数据执行去雾霾操作，以生成车辆的外部的增强的反转图像数据。框215处的去雾霾操作基于图像数据的场景辐射、介质透射和大气光。去雾霾操作包括基于对介质透射的调整参数来确定反转的视频数据的场景辐射。基于框210处的去雾霾，尽管存在低能见度条件和温度对对象的影响中的一个或多个，但仍可以恢复场景辐射。
在框220处，驾驶员辅助模块反转增强的反转图像数据以生成增强的图像数据。在框225处，从增强的图像数据生成重建的图像数据。根据一个实施方案，重建的图像数据包括执行增强的图像数据的稀疏表示以对增强的图像数据进行去噪，并执行学习操作以利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象。在一个实施方案中，增强的图像数据的稀疏表示利用现有的或推断出形成原子字典的图像数据的帧的基本元素的组合来改变帧的基本元素的噪声水平。执行学习操作是为了利用稀疏表示来识别和增强增强的图像数据中的感兴趣对象。学习操作包括识别帧中的对象、比较和调整帧中的对象，以及选择图像数据的帧中待识别的一个或多个对象。基于使用车辆的位置同与图像数据相关联的日光图像进行比较来执行稀疏表示和学习操作。在框225处基于增强的图像数据生成重建的图像数据可以包括使用由学习模块识别出的对象来从稀疏表示拼接去噪的图像数据。
在框230处，驾驶员辅助模块将重建的图像数据输出到车辆的显示单元。输出重建的图像数据包括叠加与为重建的图像数据识别出的对象相关联的轮廓元素。过程200的元素可以由驾驶员辅助系统和图像增强模块采用。
图3描绘了根据一个或多个实施方案的图像增强操作的图。图像增强功能300可以包括在车辆中以在低能见度情况下检测对象并将其通知给操作者。可以采用图3的特征和操作来显著改善车载摄像头传感器所收集的图像数据的质量。根据一个实施方案，图像增强模块305从输入端306接收输入视频帧。增强的图像数据可以使用输出端345来输出。
根据一个实施方案，图像增强模块305在框310处反转接收到的视频帧。在310处的视频帧反转可以包括反转视频帧的像素。根据一个实施方案，反转涉及颜色反转，诸如从白色到黑色以及从黑色到白色。对于彩色输入图像i(x)(x是每个像素)，逐像素反转可以计算为：
i(x)c＝255–i(x)
然后可以在框315处通过去雾霾来增强反转的图像数据。根据一个实施方案，去雾霾框315基于暗原色先验根据以下公式增强低照明视频和高动态范围视频：
jinv(x)＝(iinv(x)-a)/t(x)+a
其中jinv(x)是场景辐射，t(x)是介质透射，a是全球大气光：t(x)＝1.0–wdark(x)，w是用于调整t(x)的值的参数。根据一个实施方案，w可以是自适应的，可以基于图像内的像素区域的光强度来计算。这不仅可以用来增强弱光条件下的图像，而且还可以用来减少迎面而来的车流的远光眩光。
然后，在框320处反转去雾霾的图像数据并将其增强为视频帧。在一个实施方案中，框320处的反转可以根据以下公式来实现：
j(x)＝255-jinv(x)
深度学习模块325与字典学习模块330一起工作以在框340处进行重建。根据一个实施方案，深度学习模块325识别感兴趣的对象并增强对象。在一个实施方案中，由深度学习模块325进行的对象识别使用一个或多个学习算法(例如，深度学习模块)来查找车载摄像头或可穿戴设备图像的视野中的感兴趣对象，比如行人/动物、坑洼/颠簸、道路标志、路边路缘等。即使由于弱光或遮挡而使对象仅部分可见，也可以识别出该对象。深度学习模块325基于帧比较来增强感兴趣对象。一旦识别出对象，则使用进一步的深度学习算法来增强感兴趣对象。然后可以将对象和/或图形元素叠加在原始图像数据上。对象增强可以包括关于来自同一位置的可用白天图像的静态对象(道路标志、坑洼等)的先前知识。
字典学习模块330被配置用于执行图像数据的表示学习。在一个实施方案中，字典学习模块330执行稀疏字典学习，从而以基本元素的线性组合以及这些基本元素本身的形式来确定输入数据的稀疏表示(也称为编码)。字典学习模块330识别出的基本元素可以表征为构成字典的原子。字典学习模块330还可以使用具有gps坐标(和驶向)的现有图像来为检测到的图像数据提供字典。举例来说，如果可用，可以提供日光图像335。在某些实施方案中，当无法获得现有图像时，可以使用聚类算法(例如，ksvd聚类等)来执行图像帧的去噪。
根据一个实施方案，日光图像335涉及基于车辆的位置(例如，gps数据、行驶方向)在能见度未降低期间捕获的图像数据。深度学习模块325和字典学习模块330可以采用日光图像335。
重建模块340接收深度学习模块325和字典学习模块330的输出。重建模块340通过拼接来自深度学习模块325的对象来重建来自字典学习模块330的去噪的图像数据。然后将重建的图像数据作为视频帧345输出，以实时提供给驾驶员。
图4描绘了根据一个或多个实施方案的图像增强处理的图形表示。根据一个实施方案，过程400可以由驾驶员辅助系统的图像增强模块采用。过程400可以在框405处基于一个或多个视频帧来开始。然后在框410处通过逐像素反转来反转图像数据。图像数据的反转可以基于像素颜色和/或单色反转来执行。在框415处，针对反转的图像计算暗原色先验。然后在框420处使用反转的图像和暗原色来估计大气光。在框425处使用反转的图像和光计算来估计检测到的图像的透光率。
在框430处，过程400继续，使用反转的图像、估计的大气光和透射来恢复场景辐射。在框435处，然后通过逐像素反转来反转恢复的图像。在框435处恢复的图像数据涉及关于大气光、透射和去雾霾的一个或多个效果的去除和/或校正的增强图像。过程400然后可以通过执行字典学习操作和图像内容的深度学习来进一步增强图像。
在判定框440处，过程400确定是否有日光视图可用。可以在框445处获得用于车辆的位置的日光图像。在某些实施方案中，车辆通信可以基于与网络的通信来请求用于位置的日光图像。在其他实施方案中，可以针对特定路线存储日光图像。当日光图像可用时(例如，从判定框440出来的“是”路径)，在框450处运行字典学习算法。当日光图像不可用时(例如，从判定框440出来的“否”路径)，在框455处运行字典学习算法以创建字典。过程400还包括在框465处运行一个或多个去噪和图像修复算法，这些算法将基于字典学习生成增强的图像数据。
深度学习模块在框460处从框435接收图像数据，并识别图像数据中的对象。在某些实施方案中，深度学习模块还可以接收来自框445的用于某一位置的日光图像。在框470处，过程400从字典学习和深度学习增强中重建图像数据。然后增强的视频数据可以在框475处由诸如挡风玻璃显示器、平视显示器(hud)、一般显示器之类的车辆显示器输出，过程在框480处结束。
图5描绘了根据一个或多个其他实施方案的系统图。根据一个或多个实施方案，系统500可以被配置用于显示增强的图像数据。系统500可以包括驾驶员辅助系统505和外部摄像头515。外部摄像头515涉及外部前置摄像头。在某些实施方案中，系统500可以包括用于检测图像数据的外围设备。当系统500包括次级设备520时，当次级设备520的电池水平不能够驱动内置摄像头，或用户偏好前置摄像头时，可以采用外部摄像头515，或者当请求物体的深度感知时，外部摄像头515可以与辅助设备520的摄像头一起使用。
驾驶员辅助系统505可以是车辆的信息娱乐系统的一部分，并且可以包括用于获得车辆的定位和驶向数据的gps模块506以及用于确定车辆速度的速度检测模块507。gps模块506使得驾驶员辅助系统505能够接收车辆定位数据。速度检测模块507检测车辆的速度，并经由通信单元510将速度信息传递给次级设备520。
网络/通信搜索模块508接收gps信息以搜索相同位置的日光视图。图像增强模块511的字典学习和深度学习模块在日光图像可用时利用日光图像进行视图重建。网络/通信搜索模块508可以接收要用于增强收集的图像数据的位置和速度数据。另外，网络/通信搜索模块508可以从诸如蜂窝网络509之类的外部网络获得数据。
通信模块510被配置用于从一个或多个次级设备，诸如设备520，接收图像数据。图像增强模块511包括处理器512和存储器513。处理模块514可以被配置用于接收和处理来自外部摄像头515的图像数据。举例来说，处理模块514可以存储帧并将其提供给图像增强模块511。处理模块514可以处理前视摄像头视频并将其经由通信模块510发送给次级系统520。
投影模块516被配置用于将增强的图像数据输出到显示器517。显示器517被配置用于呈现由外部摄像头515或次级设备520捕获的图像数据。
根据一个实施方案，系统500可选地包括次级设备520。次级设备520可以是可穿戴设备，诸如智能眼镜系统。次级设备520包括被配置用于检测相对于车辆操作者的视野的图像数据的摄像头550、555(例如，摄像头1、摄像头2)。视频拼接器560组合来自摄像头550、555的两个视图以创建组合视图。这一组合视图可以复制车辆操作员的视野。可以使用摄像头550、555来从检测到的图像确定深度。通信模块565使得能够将数据从次级设备520传输到驾驶员辅助系统505。次级设备520还可以包括电源570。
图6描绘了根据一个或多个实施方案的次级设备的图形表示。次级设备600(例如，次级设备520)涉及提供实时视频图像数据的可佩戴图像检测器。次级设备600包括安装到眼镜架以捕获车辆操作者的视野的摄像头605和610。在某些实施方案中，摄像头605和610能够达到30fps(每秒帧数)。次级设备600可以包括被配置用于无线通信(例如，wifi等)以实现将数据传输到车辆单元(例如，信息娱乐系统)的通信模块。摄像头605和610可以提供实时视频捕获。
图7描绘了根据一个或多个实施方案的图像数据的图形表示。根据一个实施方案，关于帧讨论了本文所述的图像增强设备和过程。应该理解，本文描述的过程和设备使用视频图像的许多帧来操作以创建作为增强帧的集合呈现的增强的图像数据。图7描绘了图像增强的示例性视觉描述。图像705涉及在低能见度期间由摄像头检测到的图像数据。图像705可以包括具有弱视觉细节的区域720，区域720显得暗淡或具有一点像素变化。根据本文描述的过程和设备，可以通过去雾霾和去噪中的一个或多个来增强图像705。由于去噪而增强的图像数据可以提供给深度学习模块以检测对象。
图像710表示深度学习对象检测，其中在区域720中识别出对象725。可以基于对一系列图像的一个或多个推断来检测对象725。基于检测到的对象和增强的图像，可以呈现图像715，其中图像的内容作为整体被改善和去噪。另外，在帧中检测到的对象，诸如对象725，被包括在图像数据中。
图8描绘了根据一个或多个实施方案的弱光图像增强的流程图。过程800涉及包括诸如智能眼镜802之类的可穿戴设备的车辆单元和包括图像增强单元的车辆单元803的操作。智能眼镜802包括图像拼接器元件805、摄像头810和可穿戴通信模块815。车辆单元803包括车辆通信模块820、图像增强模块825、在线搜索模块830、速度检测模块835、gps单元840、深度学习模块845和投影单元850。
过程800涉及智能眼镜802和车辆单元803的通信和操作的示例性流程。过程800可以从框801处的弱光检测开始。作为响应，图像拼接器805启用摄像头810，如851所示。速度检测模块835将车辆速度信息提供给摄像头810，如852所示。然后图像拼接器805设置摄像头810的帧速率(例如，每秒帧数)，如853所示。摄像头810向图像拼接器805提供视频流，如854所示。图像拼接器805向可穿戴通信模块815提供拼接的视频帧，如855所示。
可穿戴通信模块815向通信模块820传输视频，如856所示，通信模块820然后将数据传输到图像增强模块825，如857所示。过程800继续，图像增强模块825将图像数据提供给深度学习模块845，如858所示。
图像增强模块825的字典模块请求日光图像，如859所示。在线搜索模块830从速度检测模块835请求gps数据，如860所示。gps数据返回给在线搜索模块830，如861所示。接着将日光图像提供给图像增强模块825，如862所示。然后图像增强模块825将增强的图像数据投影到投影单元850，如863所示。
图9描绘了根据一个或多个实施方案的深度学习的图形表示。过程900是根据一个或多个实施方案的深度学习过程的图形表示。根据一个实施方案，将输入图像905提供给深度学习模块910。深度学习模块被配置用于对输入图像905执行一个或多个操作以输出具有感兴趣对象的识别的增强图像。在一个实施方案中，深度学习模块910输出与具有突显的感兴趣对象916的输出的增强图像有关的图像915。根据另一个实施方案，深度学习模块910输出与具有突显并着色的感兴趣对象921的输出的增强图像有关的图像920。如图9所示，图像915和920包括与图像905相比增加的亮度，这种亮度增加不仅仅是基于显示器的亮度设置。可以采用本文描述的一个或多个增强处理来改善捕获的图像数据以供显示和/或呈现由车辆的摄像头检测到的物体的显示。
图10描绘了根据一个或多个实施方案的深度学习的流程图。过程1000可以涉及根据一个或多个实施方案的深度学习模块的操作。过程1000可以通过在框1005处接收反转且增强的视频帧来开始。深度学习模块的示例性操作或功能总体示出为1010，其中深度学习模块可以提供处理图像数据的不同功能和阶段。
根据一个实施方案，深度学习模块包括卷积神经网络1015，卷积神经网络1015包括处理反转且增强的视频帧1005的一部分的多个层。卷积神经网络1015被配置用于分析图像帧并执行图像内容的机器学习，图像内容的机器学习包括像素比较以及帧重叠学习协议以区分对象。卷积神经网络1015可以被配置用于耕耘(till)图像集合的输出，使得输入区域重叠。可以采用图像的集合来生成回归层1020。然后可以针对反转且增强的视频帧1005生成原始图像的更好表示作为重建的图像1050。使用回归层，深度学习模块可以提高视频帧的质量，以更好地识别有待在驾驶员辅助系统中指示的对象和图像的部分，诸如道路。
根据另一个实施方案，深度学习模块可以显示图形元素作为对对象及其位置的指示。在一个实施方案中，深度学习模块为检测到对象呈现矩形轮廓或边界方框。卷积神经网络1015可以被配置用于接收反转且增强的视频帧1005并识别帧内的特征。对象分类层1030根据一个或多个对象类型，诸如要呈现的对象、要忽略的对象等，来检测对象和对其进行分类。对象检测层1035生成图形元素的显示属性和位置以表示和/或突显检测到的对象。根据一个实施方案，对象分类层1030输出检测到的对象类别，对象检测层1030利用边界方框模块1055为对象类别输出显示元素坐标(例如，方框坐标)。然后将边界方框添加到重建的图像1050以形成具有边界方框(例如彩色方框、图形元素等)的图像1060以指示检测到的对象。
根据另一个实施方案，深度学习模块可以修改图像的像素属性以为检测到的对象提供着色。例如，检测到的物体可以以经过颜色或图案，诸如明亮的颜色(例如，黄色、绿色等)，绘制的方式出现在驾驶员辅助系统的显示器中。着色可以帮助提供检测到的物体的大致轮廓和运动模式。卷积神经网络1015可以被配置用于接收反转且增强的视频帧1005并生成帧内的对象特征。逐像素分类层1045可以被配置用于输出根据检测到的对象分类的像素。在框1065处，可以标记图像内的每个像素。在某些实施方案中，标记包括向标记为与检测到的对象相关联的像素添加着色。然后将着色添加到图像1060以形成具有黄色边界方框和彩色像素的图像1070以指示检测到的对象。
尽管已经参考本公开的示例性实施方案具体示出和描述了本公开，但本领域技术人员将会理解，在不脱离所要求保护的实施方案的范围的情况下，可以在实施方案中进行形式和细节上的各种改变。