用于使用全景成像的增强时间推移视频生成的系统和方法_2

文档序号:8498679阅读:来源:国知局
作为旅程坐标,在驾驶员 注视偏离行进的方向时,记录包括车辆的当前GPS坐标和驾驶员的眼睛注视的角度的注视 目标信息,以确定潜在的兴趣点(P0I),并且在到达目的地之后,将旅程坐标发送到远程服 务器。远程服务器然后可以从标记GPS坐标的图像数据库检索对应于注视目标信息的全景 图像以及对应于总体旅程坐标的图像。驾驶员或者该系统的任何其他用户然后可以通过将 检索的全景图像转换为用于编绘为视频的单视点图像,创建驾驶员的旅程的增强时间推移 视频。
[0036] 因此,如图1A-1D所示,可以根据公开的实施例设计系统,以生成包括驾驶员的旅 程期间吸引驾驶员注意的任何兴趣点的时间推移视频,而无需车载相机。如图1A所示,驾 驶员监视单元101监视在车辆103中驾驶时驾驶员的行为。更具体地,驾驶员监视单元101 可以跟踪并且检测驾驶员何时看向与车辆的进行方向(即,车辆的前方)不同的方向,或者 "注视"。例如,并且如图1B所示,诸如可能通过车辆的侧窗最好地观看的山脉的场景或对 象(即,兴趣点)可能吸引驾驶员的注意。驾驶员监视单元101检测驾驶员何时注视山脉, 并且记录对应于该检测时间的注视目标信息。该注视目标信息可以包括车辆的当前GPS坐 标(即,兴趣点坐标)、驾驶员注视的角度等。
[0037] 在驾驶员到达他的或她的目的地之后,车辆可以将注视目标信息上传到远程服务 器。远程服务器能够诸如从图像数据库检索对应于注视目标信息的全景图像,并且将这些 图像转换为如图1C所示的时间推移视频。使用注视目标信息,驾驶员可以捕获更具体地代 表在他的旅程期间驾驶员可能看到的全景图像的一部分。换句话说,驾驶员可以将全景图 像转换为驾驶员视点,或者如在此使用的,单视点图像。如此,并且现在参照图1D,驾驶员具 有回看和编辑图像和/或视频、产生定制的旅程叙述的选项。
[0038] 如图2所示,车辆103可以包括各种组件,其经由各种收发器实现对于信息的访问 以及与一个或多个服务器的通信。因此,车辆103可以包括蜂窝数据收发器201、车辆数据 记录器202和驾驶员监视单元101,其可以起到如结合图1A-1D说明的功能。车辆103还可 以包括全球定位系统(GPS)模块203,其具有确定车辆103的地理定位的能力。包括在图2 中图示的车辆103中的各种组件的操作可以在一个或多个处理器205的引导下命令或者执 行,一个或多个处理器205可以直接或间接耦合到车辆103中图示的各种组件的每一个。
[0039] 因此,处理器205可以耦合到存储器207,其可以包含各种程序、指令和数据。例 如,如下面更详细说明的,处理器205可以使用GPS模块203 (从GPS卫星204接收传输) 和指令209,周期性地记录车辆驾驶员的旅程期间的车辆的GPS坐标,并且可以将其作为旅 程坐标211存储在存储器207中。处理器205还可以使用GPS模块203和指令209,记录对 应于驾驶员监视单元101检测到驾驶员注视偏离车辆103的行进方向的时间的车辆的GPS 坐标。除了仅仅检测驾驶员注视偏离前方道路,还可以记录驾驶员注视偏离前方道路的角 度。更具体地,驾驶员监视单元101可以检测从驾驶员的眼睛在行进方向向前直视的方向 和驾驶员的眼睛注视的方向得到的角度。通过在这些记录车辆定位的驾驶员的注视角度确 定地点在此称为潜在兴趣点(P0I)。潜在P0I可以存储在潜在P0I数据库213中。
[0040] 处理器205还可以诸如从车辆数据记录器202 (其可以通信地耦合到其他车辆组 件,诸如速度表、RPM表等)检索其他车辆数据、车辆情况数据库215中的信息,诸如车辆 103的当前速度、车辆103的马达的当前每分钟转速(RPM)等并且存储在存储器207中。
[0041] 因此,车内系统组件能够记录和存储旅程坐标、潜在P0I信息、以及在这些检测到 的时间点的其他车辆数据,诸如测量的当前速度、车辆的马达的RPM等。该记录的数据和信 息坐标以及其他车辆数据然后可以用于创建包括吸引驾驶员的注意的兴趣点的加亮的时 间推移视频。
[0042] 为了实现时间推移视频的创建,上述车内组件与各种车外、或者远程的与系统相 关联的组件通信。因此,蜂窝数据收发器201等可以用于与一个或多个远程服务器300通 信,其转而与一个或多个标记GPS坐标的图像数据库301通信。图像数据库301可以包括 真实世界图像,诸如来自已知为Google? "街景(StreetView)"的地图服务。该真实世界 图像可以包括街道级别的沉浸式360°全景图像。系统服务器300和图像数据库301之间 的通信可以经由有线或无线连接,例如经由因特网和/或任何其他公共和/或私人通信网 络执行。
[0043] 图3图示系统服务器300的构成结构的一个示例。如图3所示,系统服务器300 可以包括一个或多个处理器303,其耦合到存储器305并且访问和存储存储器305中的数 据和指令。系统服务器300还可以包括显示/输入接口 304,用于由驾驶员或者其他用户 使用,用于观看和创建旅程视频的指令的输入。为了提供与图像数据库301通信的能力,系 统服务器300可以包括或者耦合到网络接口 307。同样地,为了与车内组件通信,系统服务 器300可以包括或耦合到蜂窝收发器309。存储器305可以包括可由处理器303访问的指 令和数据,以提供在此描述的功能。因此,存储器305可以包括预定兴趣点的坐标的数据库 311以及从车辆103接收的任何潜在P0I坐标。预定P0I数据库311可以包括之前由驾驶 员或者观察者识别、验证和记录为有用或感兴趣的场景或对象的坐标。因此,在一些实施例 中,系统服务器300可以比较潜在P0I坐标与预定P0I坐标。该比较可以用于消除任何误 报兴趣点,或者换句话说,在为了不同于吸引他的或她的注意的场景或对象的原因驾驶员 注视偏离道路时记录的坐标。例如,驾驶员可能注视偏离前方的道路以查看他的移动电话 或改变车道。因此,在执行该比较之后,仅仅哪些匹配预定P0I坐标的潜在P0I保留作为数 据库313中存储的确认的兴趣点坐标。存储器还可以包括指令315,用于执行驾驶员的旅程 的时间推移视频的创建。
[0044] 因此,鉴于前述,并且如图4 一般地所示,本公开的实施例包括用于通过首先在 401监视驾驶员直观地重建驾驶员的旅行经历的系统。接下来,在403识别对应于潜在P0I 的数据。可选地,在405,在驾驶员到达他的目的地之后,数据可以上传到远程服务器300, 并且在407,可以确认P0I。在409,数据然后可以转换为单视点图像,并且然后可选地,在 411,可以从图像产生驾驶员的旅程的时间推移视频叙述。
[0045] 图5是图4的监视子程序401的示意图,示出用于在驾驶期间监视驾驶员输入的 操作。一旦驾驶员开始驾驶,在步骤501启用车辆数据记录器202。在驾驶员正在驾驶的同 时,在步骤503,车辆数据记录器202在存储器(诸如图2示出的存储器207)中连续记录 车辆数据,包括对应于诸如GPS坐标和车辆运行条件的其他车辆信息的记录的时间的时间 戳。在步骤505,可以启用驾驶员监视单元101。在步骤507,驾驶员监视单元101可以监视 驾驶员的输入,直到驾驶员到达他的目的地,这由决定步骤509确定。在步骤511,驾驶员监 视单元101将继续查看驾驶员输入信号,直到驾驶员到达他的或她的目的地。如在此一直 讨论的,该输入可以是以驾驶员的眼睛注视偏离前方道路的形式。如果确定已经接收驾驶 员输入,那么监视子程序401进到图6的识别子程序403。
[0046] 图6是图4的识别子程序403的示意图,示出用于当接收来自驾驶员的输入信号 时记录对应于潜在兴趣点的数据的操作。当已经接收驾驶员输入,并且更具体地,当驾驶员 注视偏离前方道路时,驾驶员监视单元101在步骤601确定注视目标信息(诸如驾驶员注 视角度)并且在步骤603记录该角度。在步骤605,记录通过将注视角度与车辆的GPS坐标 (潜在P0I坐标)相关联确定的地点。
[0047] -旦驾驶员到达他的或她的目的地,如果驾驶员在决定步骤607希望捕获他的或 她的旅程,记录的数据将上传到远程服务器300,并且识别子程序403分别进到图4的通信 和
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1