用于动态调整视频回放速度的技术的制作方法
【专利说明】
【背景技术】
[0001]在使用个人电子装置记录诸如生日聚会、体育赛事、户外活动等事件的兴趣正在增长。在许多实例中，用户制作了包含相对少感兴趣事件的长视频剪辑。例如，用户可能记录了三小时的骑自行车通过山峰，其中可能仅几分钟被视为感兴趣的。当回顾该视频时，在达到视频的感兴趣部分之前，用户可能不得不观看大量不感兴趣的视频。尽管用户可手动快进通过不感兴趣的部分，但这可导致用户错过视频的感兴趣部分，除非降低快进回放速度。
[0002]为了解决这个问题，已经开发了编辑记录的视频数据以标识关键帧(时刻)并索引那些关键帧的技术。关键帧提供了用户或观众通过从关键帧跳到关键帧来快速导航通过视频的方便基础。然而，自动标识这些关键帧可能是困难的，并且如果手动执行，则是用户费力的过程。
[0003]还已经开发了用于自动标识关键帧并产生关键帧索引的技术。此类技术可依赖于当装置记录事件时产生的视频、音频和/或其它传感器数据的改变。尽管那些技术能消除与关键帧的手动指配关联的许多人力，但它们可能仍提供了不充分的用户体验。例如，自动关键帧标识系统可能错过可被视为用户感兴趣的记录中的事件。这可削弱系统标识记录中所有感兴趣事件的能力的用户信任。自动关键帧标识系统还可能向用户不感兴趣的记录部分错误地指配关键帧。在此类实例中，用户花费相当大量的时间并努力移除不想要的关键帧，可能是必要的。
[0004]因而，在本领域存在对于用于回顾和/或编辑记录并且具体地说用于回顾视频记录的改进技术的需要。
【附图说明】
[0005]图1图示了与本公开一致的示范系统的框图。
[0006]图2图示了与本公开一致的另一示范系统。
[0007]图3图示了与本公开一致的另一示范系统。
[0008]图4图不了与本公开一致的另一不范系统。
[0009]图5A-5C图示了与本公开一致的附加示范系统。
[0010]图6描绘了与本公开一致的示范使用情况。
[0011]图7描绘了与本公开一致的用于生成回放索引的示范方法。
[0012]图8描绘了与本公开一致的用于更改生成回放索引的方式的方法。
【具体实施方式】
[0013]本公开的各种实施例针对增强视频回顾。本文所使用的术语“视频”一般是指当执行时表示描绘运动的图像序列的媒体。视频可包括数字记录，所述数字记录包含视频轨道，并且视频可选地可包含其它记录的数据(诸如音频轨道或其它传感器数据)，或与之关联。与各种实施例一致，本文描述的技术可通过将视频解析成多个段来增强视频查看。一旦视频被解析，本文描述的技术就可利用视频和/或与视频一起收集的其它传感器数据来向视频的每个段指配重要性值(significance value)。每个段的重要性值然后可与一个或多个重要性阈值相比较，其中每个阈值与对应回放速度关联。例如，第一重要性阈值以上的重要性值可与第一(例如相对低的)回放速度关联，而在第一重要性阈值以下的重要性值可与第二 (例如相对快的)回放速度关联。
[0014]用这种方式，本文描述的技术可产生视频的索引(回放索引)，其中回放索引提供了视频的每个段的回放速度。如本文所使用的，术语“段”一般是指视频的时间子区。例如，本文描述的技术可将视频解析成Y/n个段，其中F是视频的总长度(例如以秒为单位)，而η是每个段的长度(例如也以秒为单位)，其可自动设置或由用户设置。从而，例如，如果视频是30分钟(Y=1800s)，并且段长5秒(n=5s)，则视频可被解析成360个5秒长的段。此类值当然是示范性的，并且可使用任何视频长度和段长度。例如，视频可被解析成范围从大约0.1毫秒到大约1000毫秒(ms)或更多(诸如大约200ms、大约400ms、大约600ms或甚至大约800ms)的段。备选地或附加地，每个段可对应于视频的大约1、2、5、10、20、30、40、50、60或更多帧。还应该理解到，每个段的长度需要不相同。例如，段长可增大或减小，取决于由系统指配的重要性值、用户输入或它们的组合。
[0015]在又一些实施例中，本文描述的技术可分析所有或部分记录的事件数据，并向被确定为重要的或者另外可能用户感兴趣的部分指配重要性值。换言之，对于表示可能感兴趣的事件的数据，记录的事件数据可作为整体进行分析。
[0016]随后，记录的事件数据可被解析成段，例如，基于该技术确定此类段是感兴趣的或不感兴趣的程度。本文描述的技术在一些实施例中可基于指配给记录的事件数据的相对感兴趣和相对不感兴趣的部分的重要性值进行此类指配。
[0017]术语“重要性值”在本文用于指由本文描述的技术指配给视频段的值。一般而言，指配给一段的重要性值可表示段内容可被视为要考虑的视频的观众感兴趣的程度。在一些实施例中，每帧的重要性值可基于视频数据和/或在时间上映射到视频数据的传感器数据的分析进行设置。通过本文描述的技术确定重要性值的方式可受控制简档中的控制参数影响，如后面所描述的。
[0018]如下面详述的，与各种实施例一致，传感器数据可通过与同一设备中的视频记录装置(诸如摄像机)协同定位的传感器收集。在其它实施例中，传感器数据可通过装在包含视频记录装置的单独设备中的传感器收集。因而，术语“传感器数据”在本文用于指从一个或多个传感器或传感器组件(诸如音频传感器、全球定位传感器、生物统计传感器、本文描述的另一传感器或传感器组件、它们的组合等等)记录的数据。
[0019]图1图示了与本公开一致的视频回顾系统100的框图。一般而言，视频回顾系统100针对处理视频和其它数据，以通过向考虑下的视频的各个部分指配回放速度来增强视频查看。视频查看系统100可组织包含视频的多类型数据，其中在公共事件诸如事件102记录多类型数据。在各种实施例中，除了视频数据以外，其它类型记录装置(诸如传感器)可收集在时间上可与记录的视频轨道相关的数据，以便用于标识可促进视频编辑的视频轨道部分。为了方便起见，从事件记录的视频和/或传感器数据可在本文单独称为或统称为“记录的事件数据”。在一些实施例中，记录的事件数据包含视频数据和在时间上映射到视频数据的传感器数据。
[0020]在图1中图示了由视频回顾系统100提供的各种功能，在可执行那些功能的各种组件旁边。如所图示的，视频回顾系统100支持基于视频和传感器数据中至少一个的视频和传感器数据的记录、记录的数据的存储、用于处理的数据传送以及视频回放索引的产生。
[0021]如图1所示，视频回顾系统100包含可从事件102中收集和/或存储视频数据的视频记录组件104。视频记录组件104的示例包含专用摄像机、具有视频记录能力的数字相机、移动电话、智能电话、平板计算机、笔记本计算机或具有视频记录能力的其它计算装置。当然，可使用其它类型视频记录组件，并且本公开也考虑到这些。
[0022]视频回顾系统100进一步包含传感器组件106a、106b至106η，其中a、b和η中的至少一个是正整数，并且该组中的传感器组件数量大于0。传感器组件的非限制示例包含加速计、音频传感器(例如麦克风)、生物统计传感器、全球定位系统(GPS)传感器、陀螺仪、压力传感器、温度传感器、光传感器、湿度传感器。示范生物统计传感器包含光学或红外相机、虹膜扫描仪、面部识别系统、语音识别系统、手指/拇指指纹装置、眼睛扫描仪、生物信号扫描仪(例如，心电图、脑电图等)、DNA分析仪、步态分析仪、麦克风、它们的组合等。此类生物统计传感器可配置成标识和/或记录有关生物信号(脑电波、心脏信号等)、耳型、眼睛(例如虹膜、视网膜)、脱氧核糖核酸(DNA)、脸、手指/拇指指纹、步态、手几何形状、手写、按键(S卩，键入图案或特性)、气味、肌理、热谱、血管图案(例如手指、手掌和/或眼睛静脉图案)以及人或其它动物的语音、它们的组合等信息。
[0023]在各种实施例中，视频回顾系统100的所有或部分组件可协同定位在公共设备中，或者可位于经由一个或多个有线和/或无线通信链路链接的不同设备中。当实现为通过有线通信链路耦合的一组组件时，例如，视频回顾系统100可包含布置成在有线通信介质(诸如线缆、电缆、印刷电路板(PCB)、背板、开关结构、半导体材料、双绞线、同轴电缆、光纤、它们的组合等)上传递信息的一个或多个元件。有线通信介质可使用输入/输出(I/O)适配器(未示出)连接到视频回顾系统100，1/0适配器可布置成用用于使用一组期望的通信协议、服务或操作过程来控制元件之间信息信号的任何适合的技术操作。I/O适配器还可包含适当的物理连接器以连接I/O适配器与对应的通信介质。示范I/O适配器包含但不限于网络接口、网络接口卡(NIC)、盘控制器、视频控制器、音频控制器、它们的组合等等。
[0024]例如，当实现为通过无线通信链路耦合的一组组件时，视频回顾系统100可包含布置成在无线通信介质上传递信息的无线元件。示范无线通信系统介质包含但不限于部分无线频谱，诸如射频(RF)频谱。无线元件还可包含适合于在指定无线频谱上传递信息信号的组件和接口，诸如，一个或多个天线、无线传送器、接收器、传送器/接收器(收发器)、放大器、滤波器、控制逻辑、天线、它们的组合等等。
[0025]在图1的实施例中，视频回顾系统100包含处理器108、存储器112和智能寻找模块110，它们的操作将在下面详细描述。一般而言，智能寻找模块110可操作以至少暂时耦合到视频记录组件104和传感器组件106a-106n。在各种实施例中，并且如图1所示，视频记录组件104和/或传感器组件106a-106n可将收集的数据存储为视频数据和/或其它传感器数据。此类数据随后可被传送以便由智能寻找模块110处理。例如，来自事件102的视频数据可被收集并由摄像机存储在数据存储器114中，同时传感器组件106a从事件102收集运动数据，并将其存储在数据存储器116a中。两组数据然后都可被传送到智能寻找模块110进行处理。
[0026]数据存储器114和数据存储器116a_n可以是任何方便的存储介质/装置。例如，数据存储器114、116a-116n可包含盘驱动器、硬驱、光盘驱动器、通用串行总线(USB)闪存驱动器、存储卡、安全数字(SD)存储卡、大容量存储装置、闪存驱动器、计算机、游戏控制台、压缩盘(CD)播放器、计算机可读或机器可读存储器、可穿戴计算机、便携式媒体播放器(PMP)、便携式媒体记录器(PMR)、数字音频装置(例如MP3播放器)、数字媒体服务器、它们的组合等等。当然，其它类型数据存储器可被用作数据存储器114和116a-116n，并且应该理解到，用于此类元件的数据存储器的类型不必相同。
[0027]在视频记录组件104或传感器组件106a_106n初始未链接到相应数据存储器114、116a-116n的情况下，用户可将视频记录组件104或传感器组件106a-106n手动连接到相应数据存储器。例如，数据存储器114、116a-116n可形成相应视频记录组件104或传感器组件106a-106n的一部分。在此类情况下，为了处理从事件102收集的视频数据，用户可将视频记录组件104/传感器组件106a-106n手动耦合到包含智能寻找模块110的装置。如图1所示，耦合数据存储器114可发生在链路120上，而数据存储器116a到116w可分别经由链路122a到122w耦合到智能寻找模块110。在各种实施例中，链路120和122a到122w可以是有线链路或无线链路的任何组合，并且可以是可逆链路或永久链路。尽管链路120和122a到122w被描绘为将智能寻找模块110直接耦合到相应数据存储器114和116a到116η，使得数据存储器相反可耦合到装有智能寻找模块110的装置中的存储器(未示出)。
[0028]因此，在图1的实施例中，视频数据和传感器数据(未单独示出)可由视频记录器组件104和传感器组件116a-l 16η从事件102中收集，并且可选地存储在数据存储器114和/或116a-116n中。视频和传感器数据然后可被传送以便由智能寻找模块110处理。此类数据的传送可直接到智能寻找模块110和/或到存储器(诸如存储器112)。从事件102记录的传感器数据可在时间上映射到从事件102记录的视频数据，在将此类数据传送到智能寻找模块110之前或之后。例如，从事件102记录的传感器和视频数据可由处理器108和/或系统100中的另一模块处理，以在时间上将传感器数据映射到视频数据，之后将映射的数据(例如记录的事件数据)传送到智能寻找模块110。备选地，智能寻找模块110可配置成在时间上将从事件102记录的传感器数据映射到对应视频数据。
[0029]在一些实施例中，视频数据可由视频记录器组件104收集作为视频流(视频轨道)，其由智能寻找模块110(或另一模块)处理以在时间上将视频数据的帧与由传感器组件106a-106n收集的传感器数据的对应部分对准。智能寻找模块100因此可生成时间戳，或将传感器数据部分映射到视频数据的实例或帧的其它记号。用这种方式，传感器数据的一个或多个部分可在时间上与视频记录器组件104记录的视频数据的对应数据帧相关。
[0030]智能寻找模块110可采用处理器108执行处理操作或逻辑以执行诸如视频解析、重要性值指配、回放索引生成和它们的组合的操作。任何适合的处理器可被用作处理器108，包含但不限于通用处理器和专用集成电路。此类处理器可能能够执行一个或多个处理器核上的一个或多个线程。处理器108的类型和性质可基于诸如装置形成因子、期望功耗、期望处理能力、它们的组合等众多因子进行选择。可被用作处理器108的适合处理器的非限制示例包含从IN