本发明总体涉及通过图像获取进行的场景重建。
背景技术
数字成像允许用户容易地获取场景的多个图像。通过存储器的图像获取设备允许用户获取多个图像并且稍后确定哪些图像是相关的而哪些不是。用户受其场景的观察角度和用户可获取图像所分配的时间量的限制。例如，如果用户正在试图获取动态场景，则用户受场景处于动态的时间和图像获取设备的观察角度的限制。或者，如果用户在用户处于动态时(例如，在汽车中经过)获取固定场景，则用户再次受到沿其行进路径的观察角度和当其位于其正在获取的场景附近时的观察时间的限制。
因此，当获取可报告事件时，例如接近场景(例如，事故)的用户在某些实体希望利用来自场景的信息来重建场景的情况下可能有利于获取图像。然而，用户受限于用户在经过场景时可能必须获取一个或多个图像的较短的时间。来自行进路径的用户的观察角度进一步限制了用户。另外，由于用户关注行进道路，因此用户可能无法获取图像。结果，即使当用户获取到多个图像时，由于各种因素，获取和提供场景细节的机会也可能受到限制。
技术实现要素：
在本发明的一个方面中，系统以不同观察角度配合地获得可报告事件的多个二维图像。系统基于在不同观察角度获取的二维图像共同生成可报告事件的三维场景。将可报告事件的发生广播给识别事件位置的远程实体。事件附近的远程实体使用车载摄像头以不同的观察角度获取事件的图像。获取的图像被传送到中央实体以生成三维场景。三维场景可以被各种实体使用来理解事件的当前状况以访问是否需要紧急调度，或者用于稍后分析引起事件的原因以及事件造成的损害程度。
如本文所述的系统允许使用在不同时间实例以及不同的观察角度获取的各种图像来配合地重新创建事件的三维场景以用于分析。生成三维场景提供了比从二维图像可以获得的细节更多的细节。另外，由于消息的广播、图像获取和消息的传送是自主执行的，因此驾驶员不会为必须在事件中获取图像而分心，并且可以依靠系统自主地获取事件并且转播这个信息给分发实体。
图像获取请求的终止由中央实体来执行，中央实体分析所接收的数据以判定是否获取足够数量的图像以重建场景。或者，终止可以基于持续时间以及已获取预定数量的图像。
一个实施例设想了一种场景重建的方法，方法包括检测可报告事件的发生。向远程实体广播识别可报告事件的消息。通过安装在可报告事件附近的远程实体上的摄像机获取二维图像。获取的图像从远程实体传送到中央实体。中央实体基于远程实体获取的图像生成可报告事件的三维场景。
一个实施例设想了一种场景重建系统，系统包括从各种观察角度获取可报告事件的图像的多个远程实体。中央实体基于获取的图像生成可报告事件的三维场景。通信系统向识别可报告事件的远程实体广播消息，并请求获取可报告事件的图像。分发实体接收生成的三维场景并执行事件的调查操作。
根据本发明，提供了一种场景重建的方法，包括：
检测可报告事件的发生；
向远程实体广播识别可报告事件的消息；
通过安装在可报告事件附近的远程实体上的摄像机获取二维图像；
将获取的图像从远程实体传送到中央实体；
由中央实体基于由远程实体获取的图像生成可报告事件的三维场景。
根据本发明的一个实施例，其中检测可报告事件的发生包括沿着行进道路检测事故。
根据本发明的一个实施例，其中检测所述可报告事件的发生包括沿着行进道路检测犯罪现场。
根据本发明的一个实施例，其中所述可报告事件的gps位置被包括在识别所述可报告事件的位置的广播消息中。
根据本发明的一个实施例，其中获取图像的广播消息被通过v2x通信系统传送。
根据本发明的一个实施例，其中所述中央实体基于对照参数超过阈值极限的判定来传送终止来自所述远程实体的图像获取的广播消息。
根据本发明的一个实施例，其中所述中央实体基于获取了足够数量的图像以生成所述三维场景的判定来传送确定终止由所述远程实体进行的图像获取的广播消息。
根据本发明的一个实施例，其中所述中央实体基于获取了预定数量的图像的判定来传送终止由所述远程实体进行的图像获取的广播消息。
根据本发明的一个实施例，其中所述中央实体基于在所述事件的场景处不存在静止车辆的判定而传送终止由远程实体进行的图像获取的广播消息。
根据本发明的一个实施例，其中所述中央实体利用所述二维图像来图像拼接所述事件的大体环绕视图。
根据本发明的一个实施例，其中所述中央实体将所生成的三维场景发送给分发实体以执行所述事件的调查操作。
根据本发明，还提供了一种场景重建系统，包括：
从各种观察角度获取可报告事件的图像的多个远程实体；
基于所获取的图像生成可报告事件的三维场景的中央实体；
通信系统，该通信系统向远程实体广播识别可报告事件并且请求获取可报告事件的图像的消息；和
接收生成的三维场景并且执行事件的调查操作的分发实体。
根据本发明的一个实施例，其中至少一个所述远程实体检测所述可报告事件的发生。
根据本发明的一个实施例，其中所述可报告事件被报告给所述中央实体，其中所述中央实体将远程实体获取可报告事件的二维图像的消息广播到所述远程实体。
根据本发明的一个实施例，其中所述广播消息包括所述可报告事件的gps位置以识别所述可报告事件的位置。
根据本发明的一个实施例，其中所述通信系统包括用于广播获取所述可报告事件的图像的广播消息的v2x通信系统。
根据本发明的一个实施例，其中所述中央实体基于对照参数超过阈值限制的判定来广播终止图像获取的消息。
根据本发明的一个实施例，其中所述中央实体基于获取了足够数量的图像以生成所述三维场景的判定来广播终止图像获取的消息。
根据本发明的一个实施例，其中所述中央实体基于获取了预定数量的图像的判定来广播终止图像获取的消息。
根据本发明的一个实施例，其中所述中央实体基于在所述事件的场景处不存在静止车辆的判定而广播终止图像获取的消息。
附图说明
图1是配合成像采集和场景重建系统的框图；
图2是用于重新创建事件的三维场景的技术的流程图。
具体实施方式
在图1中示出了配合成像采集和场景重建系统的框图。该系统包括中央实体10，中央实体10可以包括但不限于服务器、路边实体、云或车辆处理单元。该系统还可以包括图像获取设备12、车辆对外界(v2x)通信系统14、存储器设备16和分发实体18。
图像获取设备12被设置在远程实体20上，并响应于发生的事件(例如事故、犯罪等)的通知或检测而被激活。图像获取设备12获取从各个图像获取设备的角度拍摄的事件的场景的图像。每个图像获取设备12安装在远程实体20上，远程实体20包括但不限于车辆、自主车辆、摩托车、路边单元、行人和自行车。由远程实体20获取的图像通常是二维(以下称为2-d)图像。该系统配合地采集从各种摄像机姿态(例如，观察角度)拍摄的各种图像以共同再现三维场景(下文中称为3-d)，三维场景有助于解释事件的事件结果的原因，或者有助于可能涉及这些事件的人。通过利用经过场景的远程实体20，以各种观察角度获取事件，并且当被集合地采用时，集合的图像提供事件的三维场景。
v2x通信系统14被用于在各种实体之间进行通信。v2x通信系统14可以包括但不限于车辆对车辆通信(v2v)、车辆对基础设施通信(v2i)和车辆对行人通信(v2p)。v2v通信可以利用例如专用短距离通信(dsrc)，专用短距离通信(dsrc)是双向短程到中程无线通信，其允许在基于通信的主动安全应用中的非常高的数据传送，以用于警告事件周围的车辆和的实体。
一旦识别了事件，检测事件的实体可以利用由车载gps系统获得的gps坐标将事件的位置传送给其他周围的远程实体。当每个远程实体经过事件的位置时，可以以不同的观察角度获取事件的图像。应该理解的是，向周围实体的通知是自主执行的，使得车辆的驾驶员不会被事件分心于必须自己手动获取图像。而是每个实体基于发送的gps位置在事件现场自主获取图像。结果，当成像系统获取场景的一个或多个图像时，车辆驾驶员可以关注行进道路。
每个远程实体获取的图像被传送给中央实体10进行处理。中央实体10可以包括用于处理图像数据的服务器系统、专用车辆或云。如果需要额外的存储器来存储图像数据，则中央实体10可以利用存储器设备16。
中央实体10利用二维图像生成三维场景。当置信水平达到表示所采集图像提供了用于生成三维场景的事件的足够细节的阈值时，中央实体10将向远程实体20传达不需要额外的图像。或者，其他条件可触发图像获取的终止，包括但不限于关于所获取的图像数目或预定持续时间阈值的预定阈值限制。响应超过阈值的条件，远程实体终止拍摄事件的图像。一旦三维场景被重新创建，场景就将被存储在存储器中或将被提供给分发实体18。分发实体18可以包括但不限于警察机构、消防和救护单位、医院、保险公司、调查人员和相关司机。
图2示出了用于从由远程实体以各种视角获取的多个二维图像重新创建事件的三维场景的技术的流程图。
在步骤30中，检测到涉及一些活动的事件，这里所获取的事件图像可能对一个或多个实体有用。此类事件可能包括但不限于事故或犯罪现场。诸如事故的事件的检测包括车辆系统或路边单元，车辆系统或路边单元获取涉及事故的至少一个静止车辆的图像和/或检测指示事故的碎片。事件的通知可以包括由观察者检测并且将警报消息输入到消息传送系统、导航系统、社交媒体系统或类似物中。为了使事件不会过时，应该有意味着事件或事后事务仍在发生的一个静止的车辆或其他活动。
在步骤31中，响应于事件的检测，将事件的发生自主地广播给事件附近的其他实体。这些实体可以包括但不限于车辆、路边单元、行人和自行车。通信可以使用任何v2x通信协议进行广播。通信信号还包括事件的位置(例如，gps坐标)。
在步骤32中，响应于事件的通知，在场景处或接近场景的远程实体将从各种观察角度获取事件的图像。固定在场景附近的路边单元将以相同的观察角度获取图像。经过场景的其他移动实体将在接近场景以及离开场景时获取图像。这些实体获取的图像是二维立体图像。利用各种移动和固定实体，可以将各种观察角度下获取的图像集合地用于生成事件的三维场景。
在步骤33中，将每个图像传送到指定的实体。指定的实体判定何时获取了用于再现三维场景的足够数量的图像。
在步骤34中，作出关于置信水平是否超过用于判定是否已获取足够图像的阈值限制的判定。可以使用各种判定和相应的阈值来判定是否获得所需数量的图像。指定的实体可以分析每个图像并且基于各种标准判定图像集合地提供足够的细节来生成三维图像。中央实体可以做出这样的判定：每个图像基于各种观察点集合地提供足够量的细节，以提供关于该事件的深入信息。因此，图像拼接可以用于生成大体环绕的场景。中央实体可以基于由各个实体集合地获得的图像的数量进一步判定场景被充分获取。指定实体可以进一步基于自通知最初发送以来经过的持续时间来判定场景被充分获取。如果没有固定的实体停留在场景处，表明涉及事件的那些车辆不再位于场景处，则指定的实体可以进一步判定场景被充分获取。
如果没有超过阈值限制，则程序返回到步骤30。如果超过了阈值限制，则程序进行到步骤35。
在步骤35中，中央实体与远程实体通信以终止图像获取。每个远程实体可以将该指示传送给其他远程实体，使得最初接收该消息的远程实体知道终止事件。
在步骤36中，中央实体向分发实体传送事件的再生三维场景。分发实体可能包括但不限于警察机构、消防和救护单位、医院、保险公司、调查人员和相关司机。三维图像允许那些分析事件的人员确定关于事件的其他特征，这些特征可能无法从典型的二维图像中确定。
虽然已经详细描述了本发明的某些实施例，但是本发明所属领域的技术人员将认识到用于实施由以下权利要求限定的本发明的各种替代设计和实施例。