识别缩略图图像以呈现视频的制作方法
【专利说明】识别缩略图图像以呈现视频
【背景技术】
[0001] 视频共享网站可以仅示出用于给定视频的中间帧或某个其他随机选择帧，作为视 频的假设"典型（r印resentative)"帧。这样的随机选择和缩略图图像的呈现可以是用户 是否观看视频的确定因素、以及从用户体验获得的其他目标的满意或实现的水平。
【发明内容】
[0002] 所公开的技术提供典型缩略图图像帧用于媒体呈现，例如，呈现在视频共享网站 上的视频或静止或流送图像的其他分组。缩略图图像选择系统包括图像帧生成工具，该图 像帧生成工具从媒体呈现生成一个或多个图像帧的集合。缩略图选择工具从该图像帧集合 选择一个或多个候选缩略图图像。候选缩略图排名计算器相对于目标度量，测试并且排列 每个所选候选缩略图。概率学习工具作为所选候选缩略图的成功排名与由缩略图选择工具 选择的所有缩略图图像的成功排名的总和之间的比率的函数，确定选择候选缩略图作为最 佳候选缩略图的概率。最终，呈现器将最佳候选缩略图显示给用户。
[0003] 实现可以包括对应系统、装置和计算机程序，其被配置成执行方法的动作，并且被 编码在计算机存储设备上。本
【发明内容】
不旨在引入所要求主题的关键特征或必要特征，而 是仅提供将在【具体实施方式】中进一步描述的思想的选择。将在以下参考附图详细地描述进 一步实现、特征、和优点、以及各种实现的结构和操作。
【附图说明】
[0004] 参考附图描述实现。在附图中，类似参考数字可以指示相同或功能相似元件。元 件首次出现的附图通常由对应参考数字中的最左阿拉伯数字指示。
[0005] 图1是图示根据本公开的一种实现的组件的框图。
[0006] 图2是图示根据本公开的一种实现的技术的流程图。
[0007] 图3是图示根据本公开的另一种实现的技术的流程图。
[0008] 图4是图示根据本公开的又一种实现的技术的流程图。
[0009] 图5是根据本公开的一种或多种实现采用的示例性计算机系统的示意图。
【具体实施方式】
[0010] 所公开的机制识别最佳缩略图图像，以表示（to represent)在视频共享网站上呈 现的视频，或者识别最佳缩略图图像，以表示静止或流送图像的任何分组或集合。最佳缩略 图图像是相对于目标度量得到最佳成功排名的图像，其中，依据在表示媒体呈现并且实现 用户或媒体传播者的目标时缩略图多么有用，来测量成功。
[0011] 所公开的技术识别最佳缩略图图像，以表示媒体呈现，例如，呈现在视频共享网站 上的视频，或者静止或流送图像、图标、文本对象等的一些其他分组或集合。特定缩略图是 用于表示特定媒体呈现的"最佳"缩略图的确定包括：用于最佳缩略图相对于目标度量的分 值与其他候选缩略图的分值相比的比较。概率学习工具使用模拟退火法的形式确定用于给 定媒体呈现、用于特定用户、用于生成缩略图（用于缩略图的源）的特定方法、或用于特定 搜索项、网页、web信道、或搜索结果的主题的结果的最佳缩略图。由学习过程采用的计算方 法的特征在于，通过用随机解决方案替换该解决方案并且相对于目标度量测量进展，迭代 地尝试改善该方案。如在此使用的随机包括伪随机，其可以不是100%随机，100%的时间。
[0012] 作为由本公开的实现完成的一些说明性结果，当与其他候选缩略图相比较被 测量时，来自视频或静止或流送图像的其他分组的所选最佳候选缩略图图像产生更高 点击率（CTR)，或者帮助用户更好地识别视频，由此产生比CTR更高的关注完成（Watch completion)。可能选择的典型缩略图图像还可以直接绑定到期望参数，例如，由视频生成 的收入（revenue)，并且所公开的技术可以被用于选择产生最多收入的候选缩略图图像。可 以找到特定缩略图图像，以吸引更适合于示出更赚钱广告的用户的人口。类似地，用于生成 用于特定用户的缩略图的方法可以是用于特定用户的最佳缩略图源。用于使用用于该用 户的最佳源生成的缩略图的排名大于使用用于该用户的不同源生成的其他缩略图的排名。 作为一个实例，具有名人的脸的缩略图图像可以相对于诸如用于一个特定用户的CRT的度 量，实现更好的结果，而具有风景快照的缩略图图像可以相对于用于不同用户的相同度量， 实现更好的结果。
[0013] 数字技术对媒体节目的传播和回放具有显著影响。首先，数字技术允许数字视频 录像机（DVR)的使用。DVR提供包括直播暂停的多个有用功能、在回放一个节目的同时记 录另一个节目的能力、以及电子节目指南与DVR功能的集成（使得媒体节目的记录可以很 早预先被调度）。第二，技术还允许媒体节目经由互联网的传播和回放，包括通过视频共享 网站。通过改善的信号处理和越来越多的具有高速互联网接入（例如，电缆、DSL、光纤、卫 星）的家庭，该传播和回放的方法变得普通。
[0014] 媒体节目经由互联网传播可以通过简单下载、渐进下载或流送发生。对于渐进下 载，具有媒体节目的媒体文件使用拨号、DSL (数字用户线）、ADSL (异步数字用户线）、电缆 或其他高速互联网连接，经由互联网被下载。简单下载按照任何方便顺序下载多个字节的 媒体文件，而渐进下载在文件的开始处下载字节，并且继续依序地下载文件，直到最后字节 为止。在渐进下载期间的任何特定时间，文件的多个部分不立即可用于回放。在一些情况 下，整个文件必须在媒体播放器可以开始回放之前首先被下载。在其他情况下，一旦已下载 文件开始的足够内容，媒体播放器就能够开始回放，然而在回放可以发生之前，媒体播放器 必须下载足够信息，以支持某种形式的回放。回放通常由慢互联网连接被延迟，并且可能是 波动的，并且具有在仅几秒钟之后停止的可能性。下载的材料还可以被存储在终端用户计 算机上。
[0015] 流送将媒体内容连续地传递至媒体播放器，并且媒体回放同时发生。当由内容提 供商传递时，终端用户能够立即播放媒体。源自诸如视频共享网站的拥有者的单个提供商 的传统流送技术将数据流传递至终端用户集合。要求高带宽和CPU功率，将单个流传递至 大批听众，并且当终端用户的数量增加时，提供商的所要求带宽增加。
[0016] 不像渐进下载那样，流送媒体在点播或直播时被传送。其中，渐进下载要求下载整 个文件或者下载整个文件的足够内容以在开始时开始回放，流送使得能够在文件内的任何 点处的立即回放。终端用户可以跳过媒体文件，以开始回放或将回放改变至媒体文件中的 任何点。因此，终端用户不需要等待文件以渐进地下载。通常，从具有高带宽能力的专用服 务器传递媒体。
[0017] 诸如由视频共享网站、电影传递网络等提供的点播流送媒体服务允许宽频谱媒体 节目可用于用户立即查看。提供点播流送媒体服务的挑战之一是给用户提供接口，该接口 允许用户有效率地和有效地选择他们想要查看的媒体节目。
[0018] 给用户提供关于可用媒体节目的信息的一种方式是使用元数据或者摘要数据。这 样的元数据可以包括诸如媒体节目的源、演员、流派（戏剧、戏剧）、目标年龄组、和/或媒体 节目的一个或多个缩略图（媒体节目的小静止视频帧）的因素。然后，使用元数据帮助用 户搜索感兴趣的媒体节目，或者帮助媒体节目传播者以便于允许用户找到感兴趣的媒体节 目的方式组织媒体节目。
[0019] 可以使用视觉元数据（诸如缩略图）在客户端设备上的用户指南或其他呈现中图 示或表示媒体节目。如果缩略图的选择不是关键的或者如果提供媒体节目的一方还提供缩 略图，则获得这样的缩略图是相对简单的事情。然而，在提供大量媒体节目的媒体传播范例 中，媒体节目提供商可能不提供缩略图，并且缩略图选择是关键的，生成缩略图也不是简单 的事情。例如，视频的随机选择帧可以提供关于媒体节目的很少信息或不提供该信息，或者 这样的随机帧可能错误表示节目的内容。点击这样的随机选择帧的用户可能对所得到的视 频或静止或流送图像的呈现失望。效果可能是很差的用户体验、以及不及用于视频或者其 他媒体呈现的提供商的最佳结果。随机选择的缩略图还可以包括对视频的传播者希望触及 的该类型的用户没有吸引力的图像。
[0020] 即使给用户提供在时间上通过媒体节目均匀分布的多个可能缩略图，这些缩略图 也不可能充分表示潜在媒体节目。而且，虽然可以允许用户一帧一帧地扫描媒体节目，以 识别合适缩略图，但是当识别缩略图的实体是必须处理成百上千个媒体节目的媒体传播者 时，这是一个耗时的过程。需要一种允许快速地和容易地识别最佳缩略图的方法和装置，其 中，从期望目标度量的角度看，所选缩略图提供媒体节目的有用表示。
[0021] 可以扫描视频数据或其他图像数据，以识别图像帧和可能候选缩略图。然后，使用 多个不同选择方法中的任何一个，从图像帧或可能候选缩略图中选择候选缩略图。然后，通 过作为选择的函数测量相对于特定度量获得的结果，向所选候选缩略图给予分值。因为必 须关于特定度量被估计和评分以达到用于特定视频的最佳缩略图的可能大量候选缩略图， 所以元启发式学习过程可以被应用至问题解决方案。元启发方法是用于使用不同方法探宄 搜索空间的高级策略。
[0022] 模拟退火法（SA)是提供明确策略以避免集中于局部明显最佳值上而不是期望的 全局最佳值上的解决方案。当被应用至寻找最佳缩略图的解决方案时，SA学习过程允许后 续的从一个可能候选缩略图至另一个的随机移动，可能得到更差质量的解决方案（相对于 度量具有更差分值的缩略图），由此避免集中在假局部最佳值上。特别是在解决方案过程的 早期，跳至远离和/或与在前测试值不同方向的随机值的能力避免了集中在假局部最佳值 上。
[0023] SA学习过程允许在固定量时间内确定可接受的良好解决方案，而不是在无限量时 间内确定最佳可能解决方案。SA学习过程的每个步骤都试图用随机解决方案代替当前解决 方案（根据通常被构造成接近当前解决方案的解决方案的采样的候选分布被选择）。然后， 新的解决方案可以被接受，具有取决于当前所选解决方案的分值与用于所有先前解决方案 的总分之比、以及全局参数的概率，其可以在该过程期间逐渐改变。该依赖性使得当全局参 数小于1时，先前和当前解决方案几乎是随机的，但是当全局参数从1增加时，日益增加地 选择更好的解决方案。当全局参数小于1时，对表面上使解决方案远离最佳值的移动的允 许可能避免使方法变得坚持局部最小值，而不是接近期望的全局最佳解决方案。当应用至 在一种实现中寻找用于最佳候选缩略图的解决方案时，SA学习过程通过以下方程A表示：
[0024] 方程A : (CT指数）/总计（用于S中的所有Si的Si~指数），其中，CT指数是提 升至指数的最高得分候选缩略图的分值，其中，指数是以上参考的全局参数。Si~指数是提 升至用于被选择和评分的缩略图的集合S的每个成员的指数的缩略图得分。通过方程A计 算示出来自候选缩略图的集合S的给定候选缩略图CT的概率。
[0025] 在相对于特定度量的候选缩略图的得分CT与从缩略图集合中选择候选缩略图呈 现给用户的可能性之间的映射可能不是线性的。在本公开的一种可能实现中，如由应用以 上方程A的学习过程所示，在计算选择和呈现特定缩略图的概率之前，候选缩略图的分值 可以具有应用至它们的某个指数（全局参数）。
[0026] 指数>1