本申请要求2015年12月21日提交的美国临时申请号62/270445的优先权，所述美国临时申请的全部内容被通过引用结合于本文中。
背景技术：
传统上，交通工具成像系统包括安置在交通工具的外部上的一个或多个摄像机。摄像机针对物体和危险而监视交通工具周围的区域。一些交通工具成像系统在仪表板上或仪表板附近提供显示器以用于供驾驶员观看。因此，增强了驾驶员对交通工具周围的区域的感知。在一些构造中，交通工具成像系统可以将多个相机视频流组合成组合视频以用于由驾驶员观看。所述多个相机视频流由视频处理装备处理，用来提供包括广角视图、自顶向下视图等等的多个不同的视图。
在图1中图解说明的一个已知系统中，来自在交通工具100的不同侧上隔开的四个广角（例如，全向）相机的相机馈送（feed）被组合成提供交通工具100的虚拟自顶向下视图的组合视频。在这样的系统中，自顶向下视频显示如图1中图解说明的交通工具100和周围的物体。然而，因为从多个全向相机生成虚拟自顶向下视图，所以组合视频包含失真的物体105，所述物体105具有拉伸的尺寸、裁切不正的边缘、扁平的表面等等。另外，由于阻挡摄像机130的视野125的阻挡物体120，自顶向下视频中的盲点115可能出现。
技术实现要素：
实施例提供增强向交通工具的驾驶员显示的图像以得到改进视图的清晰度和视野的系统和方法。所述系统和方法增强失真的物体以提供交通工具和周围区域的改进视图。所述系统和方法还动态地融合多个视频流来减少由图像中的物体引起的盲点。
一个实施例提供一种生成用于在交通工具中显示的组合视频的方法。该方法包括从被配置成安置在交通工具上的多个摄像机生成多个视频流。通过电子处理器来变换所述多个视频流中的一个或多个视频流，从而创建虚拟相机视点。组合所述多个经变换的视频流来生成组合视频，所述组合视频包括从所述多个摄像机中的第一摄像机生成的第一图像的一部分。电子处理器检测在交通工具外部的物体并且确定物体是否至少部分地遮掩第一图像的该部分。当物体至少部分地遮掩第一图像的该部分时，电子处理器利用由所述多个摄像机中的第二摄像机生成的第二图像的一部分来补充第一图像的该部分。
另一实施例提供一种用于生成要在交通工具中显示的组合视频的系统。该系统包括多个摄像机，所述多个摄像机生成多个视频流并且被配置成安置在交通工具上。该系统还包括显示器和通信地耦合到所述多个摄像机和显示器的电子处理器。电子处理器被配置成变换所述多个视频流来创建虚拟相机视点。电子处理器组合所述多个经变换的视频流，用来生成组合视频，所述组合视频包括从所述多个摄像机中的第一摄像机生成的第一图像的一部分。电子处理器检测在交通工具外部的物体并且确定物体是否至少部分地遮掩第一图像的该部分。当物体至少部分地遮掩第一图像的该部分时，电子处理器利用由所述多个摄像机中的第二摄像机生成的第二图像的一部分来补充第一图像的该部分。
通过考虑详细的描述和随附各图，本发明的其它方面将变得显而易见。
附图说明
图1是如在交通工具显示器上显示的交通工具和周围区域的自顶向下透视图。
图2是根据一个实施例的装备有动态图像融合和增强系统的交通工具的框图。
图3是依照一个实施例的图2的交通工具的电子控制单元和关联连接的框图。
图4是利用图2的动态图像融合和增强系统来增强视频的方法的流程图。
图5是利用图2的动态图像融合和增强系统来动态地融合视频的方法的流程图。
图6A和6B是在利用图2的动态图像融合和增强系统来增强视频之后如在交通工具显示器上显示的交通工具和周围区域的自顶向下透视图。
具体实施方式
在详细地解释本发明的任何实施例之前，要理解：本发明在其应用方面不限于在以下描述中阐述或在以下各图中图解说明的构造的细节和组件的布置。本发明容许其它实施例并且能够以各种方式来实践或能够以各种方式来执行。
多个基于硬件和软件的设备以及多个不同结构组件可以用来实现本发明的实施例。另外，实施例可以包括硬件、软件和电子组件或模块，其出于讨论的目的可以被图解说明和描述成好像单独地在硬件中实现了大多数组件。然而，基于阅读该详细描述，本领域普通技术人员将认识到：在至少一个实施例中，可以在可由一个或多个处理器执行的（例如，存储在非暂时性计算机可读介质上的）软件中实现本发明的各方面。相应地，应当注意：多个基于硬件和软件的设备以及多个不同结构组件可以用来实现各种实施例。例如，说明书中描述的“控制单元”和“控制器”可以包括一个或多个电子处理器、包括非暂时性计算机可读介质的一个或多个存储器模块、一个或多个输入/输出接口以及使组件连接的各种连接（例如，系统总线）。
图2图解说明了根据一个实施例的装备有动态图像融合和增强系统205的交通工具200。交通工具200包括（例如，附连到驾驶员侧镜子或位于驾驶员侧镜子附近的）驾驶员侧相机210、（例如，附连到乘客侧镜子或位于乘客侧镜子附近的）乘客侧相机215、前视相机220和后视相机225。交通工具200还包括电子控制单元（ECU）230和交通工具显示器240。动态图像融合和增强系统205的组件中的每个组件都可以通信地耦合。例如，电子控制单元230经由有线或无线连接而耦合到交通工具显示器240、驾驶员侧相机210、乘客侧相机215、前视相机220和后视相机225。
图3中图解说明了动态图像融合和增强系统205的示例配置。在该示例中，电子控制单元230包括多个电气和电子组件，它们向在电子控制单元230内的组件和模块提供电力、操作控制和保护。除了别的之外，电子控制单元230还包括电子处理器305（诸如可编程电子微处理器、微控制器或类似设备）、存储器310（例如，非暂时性机器可读存储器）、视频输入接口315和视频输出接口325。电子处理器305通信地耦合到存储器310并且执行能够被存储在存储器310上的指令。电子处理器305被配置成从存储器310检索并且执行除了别的之外与在本文中描述的过程和方法相关的指令。在其它实施例中，电子控制单元230包括附加的、更少的或不同的组件。例如，可以在每个都被配置成执行特定功能或子功能的若干独立的电子控制单元中实现电子控制单元230。另外，电子控制单元230可以包含输入和处理视频数据（例如，视频流）并且执行相关过程的子模块。例如，位于电子控制单元230内或通信地耦合到电子控制单元230的视频分析模块可以输入一个或多个视频流、检测图像中的物体和特征、跟踪图像内的物体和特征、对图像中的物体和特征进行分类，并且将从这些过程输出的数据发送到交通工具200的其它电子控制单元或模块。
如所图解说明的那样，驾驶员侧相机210、乘客侧相机215、前视相机220和后视相机225共同地被图解说明和描述为摄像机320。摄像机320通信地耦合到视频输入接口315。视频输入接口315从摄像机320接收多个视频流并且处理所述多个视频流。与电子处理器305和存储器310协同地，视频输入接口315变换所述多个视频流并且将它们组合成组合视频。结合电子处理器305和存储器310，视频输出接口325生成组合视频并且将所述组合视频发送到交通工具显示器240以用于由驾驶员查看。例如，交通工具显示器240可以被安置在仪表板上、安置在中央控制台上或安置在对于驾驶员可见的其它位置。交通工具显示器240可包括各种类型的显示器，所述各种类型的显示器包括液晶显示器（LCD）、发光二极管（LED）、触摸屏等等。
电子控制单元230、视频输入接口315、视频输出接口325和交通工具显示器240可以通过直接的有线或无线连接而通信地链接。在其它实施例中，这些组件可以通过交通工具通信总线115和通信模块来通信地链接。
在一些实施例中，摄像机320中的每个摄像机都具有近似180度的视野。在一些实施例中，这些摄像机320的组合提供交通工具200周围达到360度的视野。摄像机320可以是具有广角视野的全向相机（例如，鱼眼镜头相机）。电子处理器305组合所述多个视频流中的每个视频流，使得所述多个视频流中的每个视频流的边缘例如在其中来自视频流的图像被缝合在一起的过程中重叠。以这种方式，所述多个视频流中的每个视频流的图像的边缘都与来自邻近相机的图像的边缘重叠。一旦电子处理器305接收所述多个视频流，电子处理器305就变换所述多个视频流中的一个或多个视频流来创建虚拟相机视点。该变换可包括在缝合来自摄像机22的图像之前或之后将来自所述多个视频流中的每个视频流的图像变换成直线（rectilinear）图像。例如，电子处理器305可从上面并且向下看交通工具100的视角利用直线图像来创建组合视频。
例如，驾驶员侧相机210可具有与后视相机225的视野重叠的视野。在重叠区中，或者驾驶员侧相机210或者后视相机225可以供应重叠区的视频输出的一部分。例如，在重叠区中，物体可以由前视相机220和乘客侧相机215二者可见。在一个特定示例中，如果与乘客侧相机215相比，从前视相机220来看，物体成更小的角度，则电子处理器305指定前视相机220为提供组合视频的包含该物体的部分。然而，如下面所描述的那样，电子处理器305利用来自在该示例中乘客侧相机215的图像的一部分来补充组合视频，从而生成在所检测到的物体后面的被阻挡区。
一般地，全向相机提供在图像的中心具有较高分辨率和较少失真并且在图像的边缘具有较低分辨率和较高失真的视频流。因此，电子处理器305至少部分地基于物体在所述多个视频流内的位置而生成组合视频。例如，摄像机320中的每个摄像机都提供交通工具200周围的区域的各部分的图像。通过将这些部分组合，电子处理器305形成组合视频。当组合所述多个视频流时，电子处理器305可以对齐视频流、调整视角、修剪图像并且定向视频流来将组合视频显示为连续且整合的自顶向下视野。
然而，在一些实例中，交通工具200周围的区域的各部分的图像以及交通工具200周围的物体可能在组合视频的该部分中失真或被遮掩。在一个示例中，当在组合视频中生成物体时，该物体可能由于主相机的广角视图而失真。在这种情况下，电子处理器305增强组合视频，从而基于所检测到的物体使交通工具200周围的区域的各部分清楚，如下面详细地描述的那样。在另一示例中，当物体位于交通工具200附近时，该物体可能阻挡主摄像机的主视野在该物体的对侧上的区。在这种情况下，电子处理器305将视野的被阻挡部分与来自这些摄像机320中的另一摄像机的视频流动态地融合，如下面也更详细地描述的那样。以这种方式，给主视野补充来自次级相机的次级视野。在一些实施例中，电子处理器305通过将来自次级相机的图像叠加在来自主摄像机的图像上来补充组合视频。例如，电子处理器305可以用来自最佳地匹配虚拟相机视点的次级摄像机的表示所检测到的物体周围的区域处的像素来替换在来自主摄像机的视频流中的表示所检测到的物体的像素。在一些实施例中，如果没有动态地融合图像，则单独地通过主摄像机来提供图像的具有重叠区的部分。
图4图解说明了根据一个实施例的增强方法400。在增强方法400中，所述多个摄像机320生成所述多个视频流并且将所述多个视频流发送到电子处理器305（框405）。电子处理器305在所述多个视频流中的至少一个视频流中检测在交通工具外部的物体（框410）。在一些实施例中，电子处理器305确定所述多个视频流中的哪个视频流包括所检测到的物体并且可以基于单个视频流或基于多个视频流来分析该物体。另外，电子处理器305可以在所述多个视频流中检测多个物体，并且可以独立地而且同时地处理每个物体。
在一些实施例中，一旦物体被检测到，电子处理器305就从多个源获得限定物体的特征和参数。例如，来自所述多个视频流的图像数据可以用来生成物体的特征，而交通工具200上的其它传感器可以帮助限定所检测到的物体的参数，诸如大小、尺寸、位置、颜色、形状、纹理等等。其它传感器可以包括雷达传感器、超声传感器、光检测和测距传感器（LIDAR）等等。电子处理器305基于所述多个视频流中的至少一个视频流并且在一些实施例中基于所检测到的物体的特征、参数或基于二者来使用预定类别对所检测到的物体进行分类（框415）。在一些实施例中，电子处理器305确定所检测到的物体在图像中是否失真，而且电子处理器305只在所检测到的物体失真时才增强视频流。
对所检测到的物体进行分类可以包括将所述至少一个视频流中检测到的物体与物体在存储器310中的预定图像的数据库进行比较，以及确定预定图像的数据库是否具有匹配所检测到的物体的图像（框420）。例如，在一些实施例中，电子处理器305可以通过所检测到的物体的参数与查找表中的多个已知物体的比较而对物体进行分类或细化物体的类别。以这种方式，电子处理器305在所检测到的物体匹配所述多个已知物体中的一个物体时选择所述多个已知物体中的那个物体来与所检测到的物体相关联。这可以包括将所检测到的物体的参数与限定已知物体的参数的范围进行比较。当物体匹配数据库中的图像（框425）时，电子处理器305确定该物体经受基于类别的增强。当物体不匹配数据库中的图像并且因此不经受增强（框425）时，该物体被显示在交通工具显示器240上的组合视频内而未被增强。相反地，当该物体经受增强时，电子处理器305利用来自数据库的图像来增强组合视频（框430）。然后，电子处理器305将组合视频发送到交通工具显示器240以用于查看（框435）。
一旦所检测到的物体被归类为经受增强，电子处理器305就生成匹配图像。匹配图像可以基于在视频流内的所检测到的物体的特征。在一些实施例中，电子处理器305利用预定图像的数据库来确定所检测到的物体的最佳匹配。例如，当所检测到的物体被归类为交通工具时，电子处理器305搜索包括交通工具的图像的图像的数据库，并且基于从视频流获得的特征找到匹配图像（例如，最佳匹配）。在一些实施例中，电子处理器305也基于从视频流获得的特征和从其它交通工具传感器获得的参数来搜索图像的数据库。一旦找到匹配图像，电子处理器305就基于所检测到的物体的特征和/或参数来调整匹配图像。例如，电子处理器305可以基于所检测到的物体的大小、尺寸、颜色等等来调整匹配图像。电子处理器305接着将匹配图像叠加在所检测到的物体之上，并且因此在组合视频中形成增强的物体。照此，匹配图像覆盖所检测到的物体并且有效地利用组合视频中的匹配图像来替换所检测到的图像。接着，电子处理器305将具有增强的物体的组合视频发送到交通工具显示器240。
图5图解说明了根据一个实施例的动态融合方法500。在动态融合方法500中，从所述多个摄像机22生成所述多个视频流（框505）。电子处理器305变换所述多个视频流中的一个或多个视频流来创建虚拟相机视点（框510）。电子处理器305组合所述多个视频流来生成组合视频，所述组合视频包括从所述多个摄像机22中的第一摄像机生成的第一图像的一部分（框515）。电子处理器305在所述多个视频流中的至少一个视频流中检测在交通工具200外部的物体（框520）。在一些情况下，所检测到的物体可以由多个相机可见。在这些情况下，电子处理器305可以确定所述多个视频流中的哪个视频流具有所检测到的物体的主视野。特别地，主视野描述了与其它相机相比具有所检测到的物体的更好视图（例如，具有更小查看角的视图、更接近的视图、更高分辨率的视图、更低失真的视图等等）的相机的视野。类似地，次级视野描述了具有所检测到的物体的没那么好的视野（例如，较长的视图、具有较大查看角的视图、较低分辨率的视图、较高失真的视图等等）的相机的视野。因此，具有该区的主视野的特定相机通常比具有次级视野的相机生成更好质量的图像。然而，该区中的一些可能在主相机的主视野中不可见。
在动态融合方法500中，电子处理器305确定物体是否至少部分地遮掩第一图像的部分（框525）。在一些实施例中，确定物体是否部分地遮掩第一图像的部分包括确定所检测到的物体阻挡主视野的区。电子处理器305也可以确定次级视野是否捕获主视野的被阻挡区。当次级视野捕捉主视野的被阻挡区时，电子处理器305确定组合视频应当动态地融合。当物体至少部分地遮掩第一图像的部分（框525）时，电子处理器305利用由所述多个摄像机22中的第二摄像机生成的第二图像的一部分（例如，次级摄像机的次级视野）来补充（例如，来自主视野的）第一图像的该部分（框535）。特别地，电子处理器305可以通过将被阻挡区的次级视野叠加到被阻挡区的主视野上而将被阻挡区的主视野与被阻挡区的次级视野融合，从而生成组合视频。当次级视野没有达到被阻挡区时，电子处理器305不能动态地融合图像。在任一情况下，在下一步骤中，电子处理器305都将组合视频发送到交通工具显示器240（框540）。
图6A和6B图解说明了在执行图4和5的方法之后在交通工具显示器240上显示的组合视频的示例。特别地，图6A图解说明了交通工具200的如下虚拟自顶向下视图，所述虚拟自顶向下视图包括由电子处理器305生成的增强的物体。图6B图解说明了交通工具200的如下虚拟自顶向下视图，所述虚拟自顶向下视图包括由电子处理器305动态地融合的图像。如上面所描述的那样，该虚拟自顶向下视图基于来自摄像机22的视频流和发生在电子处理器305内的视频处理而形成。
在图6A的图解说明的示例中，电子处理器305检测物体605（例如，邻近交通工具）和多个物体610（例如，马路牙子）。物体605由驾驶员侧相机210检测到，所述驾驶员侧相机210也提供主视野。物体605也可以由前视相机220和后视相机225检测到，所述前视相机220和后视相机225提供物体605的次级视野。根据图4的方法，电子处理器305检测物体605，将物体605归类为交通工具，确定物体605在第一预定类别之内，并且基于物体605来增强组合视频。在这种情况下，电子处理器305将物体605与特定交通工具的自顶向下图像匹配，所述特定交通工具在一些实施例中包括特定品牌和型号的交通工具。电子处理器305也可以基于主视野或基于从交通工具200中的其它传感器收集的参数来确定交通工具的颜色。接着，电子处理器305将具有合适的颜色的特定交通工具的图像叠加到物体605上并且在交通工具显示器240上显示组合视频。
类似地，电子处理器305至少利用前视相机220来检测物体610，将物体610归类为马路牙子，确定能够基于类别而增强的物体610（即，在数据库中存在匹配图像），并且基于物体610来增强组合视频。在这种情况下，电子处理器305可以确定物体610的特征和参数，诸如高度、长度、厚度等等，以便对物体610进行分类。电子处理器305也可以利用基于来自前视相机220和来自其它传感器的视频流的图像来增强组合视频。例如，电子处理器305可以调整在数据库内的马路牙子的图像，来对应于特征和参数并且接着将所调整的图像叠加到组合视频中的物体610上。
图6B图解说明了在执行动态融合方法500之后的组合视频的示例。组合视频包括阻挡后视相机225的视野的一部分（即，被阻挡区640）的物体630（例如，灯杆）。视野的被阻挡区640由驾驶员侧相机210可见。根据动态融合方法500，将如在驾驶员侧相机210的视频流中捕获的被阻挡区640融合到来自后视相机225的视频流中。如上面所讨论的那样，将来自次级相机的视频流的该部分叠加到来自主相机的包含被阻挡区的视频流的该部分上。在该示例中，将来自后视相机225的视频流的被阻挡区640与来自驾驶员侧相机210的视频流的该部分叠加。一旦该部分被叠加，电子处理器305就将具有可见的被阻挡区640的组合视频发送到交通工具显示器240。因此，被阻挡区640在交通工具显示器240中可见。
因此，除了别的之外，实施例还提供了用于增强和动态地融合来自安置在交通工具上的一个或多个摄像机的一个或多个视频流从而生成用于交通工具显示器的组合视频的系统和方法。以下权利要求书中阐述了本发明的各种特征和优点。