具有可选择的分辨率级别的低延时视频故事板传递的制作方法
【技术领域】
[0001] 本公开的各方面和实施方式涉及视频传递服务的领域，更具体地涉及与视频相关 联的故事板的传递。
【背景技术】
[0002] 在网站、电视和移动设备上观看通过互联网派发的视频的用户经常期望在视频中 进行快进或后退。改变视频播放中的播放位置经常利用滑动条（例如，搜索条和滑条）来 执行。用户选择小的滑动按钮并且将表示当前播放位置的指针滑动到滑动条上表示视频中 相对应的时间位置的期望位置。通常，故事板或者对应于潜在视频的视频帧的布置形式被 呈现给用户并且沿滑动条进行布置以允许用户使用相对应的故事板图像来选择播放位置。
[0003] 对于编码视频流的播放而言，改变播放位置通常需要中断正在从视频源（例如， 后端视频服务器）传递的数据流和视频播放器软件而使得视频流能够在新的期望的视频 播放位置重新开始。视频流的该中断产生了延时，并且用户经常要等待数秒钟的延迟直到 视频继续在新的时间位置进行播放。此外，无论用户的视频播放器的带宽或分辨率如何，该 延时问题都会由于以单一分辨率向用户呈现故事板的常规方法而恶化。此外，用户不能在 其沿着滑动条滑动播放标记的同时观看到对应于不同滑动条位置的视频帧。
[0004] 此外，许多视频传递服务提供视频的实时流送（例如，直播视频流），但是无法为 用户提供对应于该视频的先前流送的部分的故事板从而允许用户选择早于当前播放位置 的播放位置。
【发明内容】
[0005] 以下给出说明书的简要
【发明内容】
以便提供对这样的方面的基本理解。该
【发明内容】
不是所有预期方面的扩展性概述，不意在识别这样的方面的关键或必要要素也不对这样的 方面的范围加以界定。其仅是用于以简化方式给出本公开的一些概念而作为本公开中所提 供的更为详细的描述的前序。
[0006] 在本公开的一个方面，提供了一种用于在选择视频中的位置（例如，滑动）期间以 视频故事板（例如，故事板）的形式向用户提供视觉反馈的系统和方法，该视频故事板包括 均表示视频的播放位置的视频帧的布置。与视频相关联的故事板以多个分辨率级别进行保 存。
[0007] 在一个实施方式中，该系统和方法被配置为从在用户设备上执行的播放客户端接 收对视频的请求，其包括一个或多个用户设备参数。该系统和方法获得包括定义与该视频 相关联的故事板的信息的故事板清单（manifest)，其中该信息包括多个故事板分辨率级 另IJ。使用一个或多个用户设备参数，从该故事板清单中选择该多个故事板分辨率级别中的 一个。然后将故事板以所选择的故事板分辨率级别传递至播放客户端。
[0008] 在另一个实施方式中，提供了一种传递与直播视频流相关联的视频故事板的系统 和方法。该系统和方法被配置为接收直播视频流并且执行对该直播视频流的多帧采样以产 生多个视频帧。该系统和方法进一步被配置为生成包括多个视频帧的故事板并且将与直播 视频流相关联的故事板传递至在用户设备上执行的播放客户端。
[0009] 在另外的实施方式中，还提供了用于执行以上所描述的实施方式的操作的计算设 备。此外，在本公开的实施方式中，一种计算机可读存储介质存储用于执行所描述的操作的 指令。
【附图说明】
[0010] 本公开将通过以下给出的详细描述以及本公开的各种实施方式的附图而更为全 面地被理解。
[0011] 图1图示了依据本公开的一个实施方式的示例性系统架构。
[0012] 图2图示了依据本公开的一个实施方式的所生成的故事板的示例性故事板分辨 率级别。
[0013] 图3是图示依据本公开的一个实施方式的用于向用户设备传递故事板的指令的 流程图。
[0014] 图4是图示依据本公开的另一实施方式的用于向用户设备传递与直播视频流相 关联的故事板的指令的流程图。
[0015] 图5图示了显示依据本公开的实施方式生成的示例性故事板的播放客户端的示 例性用户界面。
[0016] 图6描绘了依据本公开的各方面和实施方式进行操作的说明性计算机系统的框 图。
【具体实施方式】
[0017] 描述了用于向用户设备传递与视频相关联的故事板的系统和方法。如这里所使用 的，故事板可以包括但并不限于表示视频的周期性采样的帧的数据结构。在一个实施方式 中，故事板是被布置为较大的帧的视频帧的集合，如以马赛克进行布置的瓦片。有利地，将 故事板帧组合为较大图像（或马赛克）能够减少视频播放器为了获得所有故事板帧而发出 的查询的数量。
[0018] 在一个实施方式中，故事板以多个空间和时间分辨率生成并存储，上述空间和时 间分辨率在这里均被称作故事板分辨率级别。多个故事板分辨率级别表示变化的分辨率级 另IJ。本公开的实施方式为与视频相关联的故事板生成并存储故事板清单。该故事板清单 (这里也被称作"清单"）能够包括定义故事板的所有信息和参数（这里也被称作"故事板 参数")。示例性的故事板参数包括故事板分辨率级别、每个故事板分辨率级别的帧分辨率、 帧采样时间频率、每个马赛克的布局（例如，马赛克中视频帧的行和列的数量）以及每个故 事板分辨率级别的马赛克数量。
[0019] 在一个实施方式中，从用户设备接收对视频的请求。该视频请求包括与用户设备 相关联的一个或多个设备参数。如这里所使用的，设备参数可以包括与用户设备和/或视 频播放器（或播放客户端）相关的任意信息，诸如与设备相关联的带宽（这里也被称作设 备的带宽）、播放或显示分辨率能力、渲染能力、计算能力（例如，CPU能力）。使用设备参 数，选择适当的故事板分辨率级别并且将其与期望的视频一起传递给用户设备。有利地，使 用设备参数来确定适当的故事板分辨率级别能够允许向具有不同参数的客户端设备进行 故事板的最优传递。此外，视频播放器能够接收或获取越来越好的故事板（例如，越来越高 或越好的故事板分辨率级别），由此在获取/传递过程期间在视频故事板帧的低延时/快速 可用性与呈现更高分辨率的故事板帧的期望之间进行平衡。
[0020] 在另一个实施方式中，提供了一种传递与直播视频流相关联的视频故事板以便找 回已经记录和流送的视频的系统和方法。根据该实施方式，对直播视频流执行多帧采样以 产生多个视频帧。接下来，生成包括与直播视频流的先前记录/传递的部分相关联的多个 视频帧的故事板并将其呈现给在用户设备上执行的播放客户端。
[0021] 图1图示了依据本公开的一个实施方式的示例性系统架构100。系统100包括故 事板服务器120、图像服务器130、清单服务器140和视频传递服务器150。此外，一个或多 个客户端/用户设备105通过网络102与视频数据存储（例如，视频数据存储110)进行通 信。在一个实施方式中，网络102可以包括互联网。在其它实施方式中，可以使用有线和无 线的其他网络，诸如企业内部网、局域网（LAN)、广域网（WAN)、蜂窝网络或广播网络。客户 端/用户设备105被配置为依据任意适当的方法、技术或协议向视频数据存储110提供或 上传一个或多个视频。
[0022] 此外，一个或多个客户端/用户设备160通过网络103与视频传递服务器150进 行通信。在一种实施方式中，网络103可以包括互联网。在其它实施方式中，可以使用有线 和无线的其他网络，诸如企业内部网、局域网（LAN)、广域网（WAN)或广播网络。本领域技术 人员将会意识到，网络102和网络103可以是相同的网络或者可以是不同的网络。在一个 实施方式中，客户端/用户设备160包括被配置为从视频传递服务器150请求视频以便向 用户进行播放的播放客户端165 (或视频播放器）。
[0023] 客户端/用户设备105和160可以是任意类型的计算设备，例如包括处理设备（例 如，处理器）、计算机可读介质和