用于使用全景成像的增强时间推移视频生成的系统和方法_3

文档序号:8498679阅读:来源:国知局
确定子程序405和407。图7是示出用于将记录数据从车辆上传到远程服务器300的可 选操作的示图。如之前在图6中讨论的,如果驾驶员在决定步骤607希望捕获他的或她的 旅程,则上述记录数据(例如,旅程坐标、注视目标信息、车辆数据等)可以在609上传到远 程服务器300。在决定步骤701,驾驶员具有从预定POI坐标手动选择视为兴趣点的选项。 如果如此,则驾驶员可以进到在步骤703使用用户界面304从预定P0I选择。如果驾驶员 不希望手动执行该功能,则在步骤705,远程服务器300可以比较潜在P0I坐标与预定兴趣 点的坐标的数据库(诸如,来自图3的P0I数据库311)。不匹配(S卩,不基本类似于)预 定兴趣点的GPS坐标的潜在P0I坐标在步骤707标记为误报兴趣点,并且在步骤709移除。 匹配预定兴趣点的GPS坐标的潜在P0I坐标标记为确认的兴趣点,或者吸引驾驶员注意的 场景或对象。在步骤711,基于匹配的坐标,连同总体旅程坐标以及其他车辆数据和注视目 标信息,从图像数据库(诸如Google?街景(Street View)图像数据库)检索全景图像。 此外,因为还记录时间戳信息(例如,时刻信息),可以在类似的光照条件下检索和产生图 像和最终捕获的视频。例如,如果驾驶员从东部标准时间l〇:30pm到11:30pm驾驶,因为时 间戳,远程服务器300可以检索具有与在他的旅行经历期间(在此情况下,在夜间)的驾驶 员的光照条件类似的光照条件的全景图像。这可以允许驾驶员创建更精确地描绘驾驶员旅 行的旅程视频。
[0048] 在收集全景图像之后,可以执行图4的转换子程序409,图8中示出其示意图。例 如,图8是图4的转换子程序的示意图,示出用于基于记录的数据、旅程坐标以及确认的兴 趣点从全景图像创建单视点图像的操作。在已经从图像数据库301检索全景图像之后,系 统可以执行额外操作以允许更精确捕获兴趣点。更具体地,通过进一步采用记录的驾驶员 注视角度,系统可以捕获吸引驾驶员注意的兴趣点的具体部分。因为来自数据库的图像是 "全景的",所以它们具有由被视为装订在一起的多个视点构成的延长视场。本公开的实施 例可以选择聚焦于吸引驾驶员注意的整个全景图像的特定部分。例如,全景图像可能是山 脉,以及围绕车辆的视图中的其他对象。通过使用驾驶员的注视角度,系统能够完全精确驾 驶员正在注视整个全景图像中哪个对象或者场景。因此,系统能够在步骤801基于驾驶员 的注视角度捕获单视点图像(即,由驾驶员在他的或她的驾驶期间实际观看的整个全景图 像的一部分构成的图像)。驾驶员在步骤803确定他或她是否希望创建旅程视频。
[0049] 图9是图4的产生子程序的示意图,示出用于创建重建驾驶员的旅程的视频的可 选操作。如所示的,在步骤803,如果驾驶员不希望创建旅程视频,则捕获的图像和其他车辆 信息可以在步骤805存储/下载用于之后使用。可替代地,如果驾驶员希望创建旅程视频, 则系统基于时间戳和其他车辆数据在步骤901排列转换的单视点图像。在步骤903,系统确 定驾驶员是否希望还包括其他数据。该其他数据可以包括上面讨论的记录的车辆数据的任 一,诸如车辆的速度、RPM等。如此,在步骤905,该数据可以插入作为在单视点图像上的视 觉叠加。一些这样数据的数据包含可以用于进一步增强视频。例如,驾驶员可能希望在视 频上示出在他的旅程期间的特定点的速度。该速度可以视觉叠加在视频上。因此,在步骤 907,单视点图像连同任何额外车辆数据可以交织在一起,以创建时间推移视频序列。本公 开的实施例允许提供进一步视频增强的其他生产技术。例如,驾驶员可以移除旅程的某些 部分和/或扩展(即,"放慢")他或她希望突出的部分。驾驶员还可能选择以音乐和/或 个人叙述的形式的音频增强视频。如上所述,驾驶员然后可以在步骤805存储和/或下载 创建的旅程和捕获的图像。
[0050] 因此,鉴于前述,如图1(^、1(?、1认、118、124和128所示,可以根据公开的实施例 设计系统,以便生成包括在驾驶员的旅程期间吸引驾驶员的注意的任何兴趣点的时间推移 视频,而无需车载相机。图10A是示出驾驶员在第一时间点驾驶和被监视的透视图。图10B 是示出在第一时间点驾驶员沿着他们的旅行路径的定位的地图的自上而下视图。图11A是 示出在稍后的第二时间点注意驾驶员的注视何时偏离道路的监视设备的透视图。图11B是 示出在第二时间点驾驶员沿着他们的旅行路径的定位的地图的自上而下视图,并且已经用 在驾驶员定位的相应数据的标记潜在兴趣点。图12A是在稍后的第三时间点驾驶员的车辆 与远程计算机通信的示意图。图12B是示出在第三时间点驾驶员已经到达他们的目的地的 地图的自上而下视图。
[0051] 如图13所示,远程服务器能够诸如从图像数据检索对应于注视目标信息和旅程 坐标的全景图像。现在参照图14A,示出在稍后的第四时间点从基于驾驶员在兴趣点的注视 角度从一部分全景图像捕获的单视点图像。图14B是在第四时间点从检索的全景图像捕获 的单视点图像的自上而下视图。
[0052] 驾驶员然后具有回看和编辑视频、产生定制的旅程叙述的选项。图15是示出在稍 后的第五时间点沿着驾驶员的行进路径捕获的单视点图像编绘为视频以产生旅程叙述的 示图。
[0053] 本公开的实施例包括用于在驾驶员的旅行期间捕获兴趣点的其他技术。在一个替 代技术中,在驾驶员的注视偏离前方道路的同时驾驶员按压硬键时,指令209可以使得车 辆103记录GPS坐标和其他注视目标信息。如图16所示,硬键1601可以位于或者通信地 耦合到方向盘1603。然而,硬键1601可以位于其他组件上,诸如导航系统1605。
[0054] 可替代地,或者除了驾驶员监视系统,车辆103可以包括三维识别系统。在该实施 例中,当驾驶员作出特定手势(例如,将食指指向一个方向)时,将记录潜在兴趣点。将记 录手势的方向用于与远程服务器的预定兴趣点比较。
[0055] 本公开的实施例可以采用导航系统。例如,如图17中车辆103的控制台1701所 示,驾驶员可以用动作表示(例如,点、按压、画圈等)对应于导航系统1707的地图显示屏 1705上兴趣点的特定区域1703。该兴趣点然后将由车辆103记录,用于在驾驶员到达他的 目的地之后创建旅程视频。
[0056] 为了进一步个性化旅程视频,驾驶员(或者任何其他用户)可以将具有定位信息 的图像(经由移动电话应用或相机)插入旅程视频。例如,并且如图18所示,移动电话1801 可以放置以捕获车辆103的内部(例如,以突出乘客)或者车辆103的外部(例如,以突出 兴趣点、检测地标或者进一步精炼突出的兴趣点)的图像。这些图像也可以包括在旅程视 频中。
[0057] 鉴于前述,系统可以存储任何数目的驾驶员度量、车辆数据等。该信息可以以多 种方式使用。例如,该信息可以视为对由另一驾驶员拍摄的特定线路感兴趣的其他用户有 价值。通过从越来越多的驾驶员连续收集和编绘更多信息(例如,旅程图像、视频、车辆数 据),系统可以能够例如识别静态道路特征、单向道路、双向道路、死路、不同类型的交叉点、 允许和不允许的转弯、环岛、减速带、天桥、地下通道、限速隧道、交通灯、交通标志、加油站、 停车场和其他兴趣点。该信息例如对于期待通过示出他的或她的新路线以节约他的或她的 常规通勤时间的驾驶员是有用的。如此,随着时间过去,系统的信息数据库可能变得对于驾 驶员和系统的其他用户越来越有用。此外,该信息可以用于创建或者结合移动应用(app) 诸如社交导航应用或者社交视频应用。
[0058] 公开的实施例不同于现有技术在于其提供一种系统和方法,用于增强可以聚焦于 在驾驶员的旅程期间吸引驾驶员的注意的兴趣点的时间推移视频,而无需车载相机。传统 技术实现时间推移视频的创建(例如,http://hyperlapse.tllabs.io)。然而,其未能允许 增强视频。例如,驾驶员不能创建聚焦于吸引他的或她的注意的兴趣点的视频,允许更加个 性化的旅行经历的重建,而不用车载相机。如在此彻底讨论的,其他增强也使得在此的公开 的实施例不同于现有技术。
[0059] 因此,根据本公开,提供一种系统,用于生成增强时间推移视频,该增强时间推移
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1