嵌入姿势的视频的制作方法
本文中所描述的实施例总体上涉及数字视频编码，并且更具体地涉及嵌入姿势的视频。
背景技术：
摄像机一般包括光收集器和用于在采样周期期间的光收集的编码。例如，传统的基于胶片的相机可基于一帧胶片(例如，编码)曝光于由相机的光学器件引导的光的时间长度来定义采样周期。数字摄像机使用一般测量在检测器的特定部分处接收的光量的光收集器。可在采样周期内建立计数，此时它们用于建立图像。图像的集合表示视频。然而，一般而言，在被打包为视频之前，原始图像经历进一步处理(例如，压缩、白平衡等)。该进一步处理的结果是经编码的视频。
姿势是典型地由用户执行并且可由计算系统识别的物理运动。姿势一般用于给用户提供对设备的附加输入机制。示例姿势包括在屏幕上捏合以缩小界面或者滑动以从用户界面移除对象。
附图说明
在附图中(这些附图不一定是按比例绘制的)，相同的数字可描述不同视图中的类似的组件。具有不同的字母后缀的相同的数字可表示类似组件的不同实例。附图一般通过示例的方式而不是限制的方式来图示在本文档中所讨论的各实施例。
图1a和图1b图示出根据实施例的包括用于嵌入姿势的视频的系统的环境。
图2图示出根据实施例的用于实现嵌入姿势的视频的设备的示例的框图。
图3图示出根据实施例利用视频编码姿势数据的数据结构的示例。
图4图示出根据实施例用于将姿势编码到视频中的设备之间的交互的示例。
图5图示出根据实施例标记具有姿势的经编码的视频中的点的示例。
图6图示出根据实施例利用嵌入姿势的视频作为用户界面来使用姿势的示例。
图7图示出根据实施例的对经编码的视频中的姿势数据的每帧编码的元数据的示例。
图8图示出根据实施例利用嵌入姿势的视频来使用姿势的示例生命周期的示例。
图9图示出根据实施例的用于将姿势嵌入在视频中的方法的示例。
图10图示出根据实施例的用于在嵌入姿势的视频的创建期间将姿势添加到可用姿势的全集以便嵌入的方法的示例。
图11图示出根据实施例的用于将姿势添加到视频的方法的示例。
图12图示出根据实施例的用于将嵌入在视频中的姿势用作用户界面元素的方法的示例。
图13是图示出可以在其上实现一个或多个实施例的机器的示例的框图。
具体实施方式
新兴相机形状因子是身体穿戴式(例如，视点)相机。这些设备倾向于是小型的并且设计成被穿戴以记录诸如滑雪跑动、逮捕等之类的事件。身体穿戴式相机已允许用户捕获他们的活动的不同视角，将个人相机体验提升至全新的水平。例如，身体穿戴式相机能够摄制极限运动期间、假期旅行期间等用户的视角，而不影响用户享受或执行其他活动的能力。然而，尽管捕获这些个人视频的能力已经变得尽可能方便，但仍存在一些问题。例如，以这种方式拍摄的视频连续镜头的长度往往是很长的，其中很高比例的连续镜头只是无趣的。该问题出现是因为在许多情形下，用户倾向于打开相机并且开始记录以避免错过任何事件或活动的任何部分。一般而言，用户在活动期间很少关闭相机或按下停止，因为例如在攀爬时将用户的手从悬崖面上移开以按下相机上的开始记录或停止记录按钮可能是危险的或不方便的。因此，用户倾向于使相机运行直到活动结束、直到相机电池耗尽或直到相机的存储被填满。
有趣的连续镜头与无趣的连续镜头之间一般较差的比率也可能使编辑视频变得困难。由于由相机拍摄的许多视频的长度，重新观看并且从视频标识有趣的场景(例如，片段、摘要等)可能是冗长的过程。例如，如果警察记录12小时的视频，只能不得不观看12小时的视频来标识任何感兴趣的剧集，则这可能是有问题的。
虽然一些设备包括用于标记视频中的点的书签特征(诸如按钮)，但是这具有与仅停止和启动相机类似的问题，即在活动期间使用它可能是不方便的或者是非常危险的。
下列是三种使用场景，其中用于标记视频的当前技术是有问题的。极限(或任何)运动参与者(例如，滑板滑雪，跳伞，冲浪，滑板等)。在极限运动参与者活动时按下相机上的任何按钮对于他们是困难的，更不用说书签按钮了。进一步地，对于这些活动，用户将通常只是摄制活动从起始直到结束的整个持续时间。该可能很长持续时间的连续镜头可能使得在搜索他们所做的特定技巧或特技时难以重新观看。
执法人员。执法人员在轮班期间佩戴相机更为常见，例如增加他们自己的安全和问责以及公众的安全和问责。例如，当警官追捕嫌犯时，整个事件可被摄制并在以后出于证据目的而被参考。同样，这些影片的持续时间可能很长(例如，一个班次的长度)，但令人感兴趣的时刻可能很短。不仅重新审查连续镜头可能是冗长的，而且每班次8小时以上，任务可能在金钱或小时数方面过高，导致大量连续镜头镜头被忽略。
医疗专业人员(例如护士、医生等)。例如，医师可以在手术期间使用身体佩戴的或类似的相机来摄制过程。这可以用于产生学习材料、记录责任过程的情况等。手术可能持续若干小时并且包含各种过程。组织或标记视频手术的片段以供稍后参考可能需要专家辨别在任何给定时刻发生了什么，因此增加了生产者的成本。
为了解决以上所提到的问题以及基于本公开显而易见的其他问题，本文中所描述的系统和技术简化了在拍摄视频时对视频片段的标记。这是通过避开书签按钮或类似界面而使用预定义的动作姿势来在拍摄期间标记视频特征(例如，帧，时间，片段，场景等)来实现的。能以各种方式来捕获姿势，这些方式包括使用诸如具有传感器以建立运动模式的腕部穿戴设备之类的智能可穿戴设备。用户可预定义用于在用户使用他们的相机开始摄制时开始和结束书签特征的可由系统识别的动作姿势。
除使用姿势来标记视频特征之外，姿势或姿势的表示与视频一起被存储。这允许用户在视频编辑或回放期间重复相同的动作姿势以导航到书签。因此，针对不同视频片段的在摄制期间使用的不同的姿势稍后在视频编辑或回放期间也被再用以找到那些相应的片段。
为了将姿势表示存储在视频中，经编码的视频包括针对姿势的附加元数据。该元数据在视频中尤为有用，因为理解视频内容的含义对于当前的人工智能一般是困难的，但增强从头至尾搜索视频的能力是重要的。通过将动作姿势元数据添加到视频本身，用于搜索和使用视频的另一技术被添加。
图1a和图1b图示出根据实施例的包括用于嵌入姿势的视频的系统105的环境100。系统105可包括接收器110、传感器115、编码器120以及存储设备125。系统105可任选地包括用户界面135和训练器130。以诸如下文参考图13所描述的(例如，电路)之类的计算机硬件来实现系统105的组件。图1a图示出用户利用第一姿势(例如，上下运动)发信号通知事件(例如，汽车加速)，并且图1b图示出用户利用第二姿势(例如，垂直于手臂的平面中的圆周运动)发信号通知第二事件(例如，汽车"弹出前轮")。
接收器110被布置成用于获取(例如，接收或检取)视频流。如本文中所使用，视频流是图像序列。接收器110可在到例如相机112的有线(例如，通用串行总线)或无线(例如，ieee802.15.*)物理链接上操作。在示例中，设备105是相机112的部分、包含在相机112的外壳内、或者以其他方式集成到相机112中。
传感器115被布置成用于获取样本集。如所图示，传感器115是到腕部穿戴设备117的接口。在该示例中，传感器115被布置成用于与腕部穿戴设备117上的传感器相接以获取样本集。在示例中，传感器115集成到腕部穿戴设备117中，并且提供直接地与本地传感器的感测或接口，传感器115经由有线或无线连接与系统105的其他组件通信。
样本集的成员构成姿势。即，如果姿势被识别为特定的加速度计读数序列，则样本集包括该读数序列。进一步地，样本集对应于相对于视频流的时间。因此，样本集允许系统105标识哪个姿势被执行以及还有该姿势何时被执行两者。该时间可以简单地是到达时间(例如，将样本集与当接收到样本集时的当前视频帧相关联)或者可被加时间戳以用于与视频流相关联。
在示例中，传感器115是加速度计或陀螺测试仪中的至少一者。在示例中，传感器115传感器在用于第一设备的第一外壳中，并且接收器110和编码器120在用于第二设备的第二外壳中。因此，传感器115相比于其他组件是远程的(在不同设备中)，诸如，传感器115在腕部穿戴设备117中而其他组件在相机112中。在这些示例中，当两个设备在操作中时，第一设备通信地耦合至第二设备。
编码器120被布置成用于将姿势的表示和时间嵌入在视频流的经编码的视频中。因此，所使用的姿势实际上被编码到视频本身中。然而，姿势的表示可不同于样本集。在示例中，姿势的表示是样本集的标准化的版本。在该示例中，样本集可被缩放、经受噪声降低等，以使其标准化。在示例中，姿势的表示是样本集的成员的量化。在该示例中，如可在压缩中典型地发生，样本集可被减少到预定义的值的集合。同样，这可降低存储成本，并且还可允许姿势识别跨各种硬件(例如，如在记录设备105与回放设备之间)更一致地工作。
在示例中，姿势的表示是标签。在该示例中，样本集可对应于有限数量的可接受姿势中的一个。在此情况下，这些姿势可被标记，诸如"圆周"、"上下"、"从一侧到另一侧"等。在示例中，姿势的表示可以是索引。在该示例中，索引是指可在其中找到姿势特性的表。使用索引可允许姿势被有效地嵌入在用于各个帧的元数据中，同时将对应的传感器组数据作为整体一次存储在视频中。标签差异是一种索引类型，其中查找是在不同设备之间预定的。
在示例中，姿势的表示可以是模型。此处，模型是指用于识别姿势的设备布置。例如，模型可以是具有定义的输入集的人工神经网络。解码设备可从视频获取模型并且简单地将其原始传感器数据馈送到模型中，输出产生姿势的指示。在示例中，模型包括为该模型提供传感器参数的输入定义。在示例中，模型被布置成用于提供真或假输出以发信号通知输入参数的值是否表示姿势。
在示例中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频。此处，元数据数据结构区别于视频的其他数据结构。因此，例如，视频编解码的另一数据结构不是为此目的而简单地重新任务。在示例中，元数据数据结构是具有在第一列中指示的姿势的表示和在同一行的第二列中的对应的时间的表。即，元数据结构将姿势与时间相关联。传统上这可作为关于视频的书签。在示例中，该表在每一行中包括开始和结束时间。虽然在本文中这仍然称为书签，但是姿势条目定义了时间的片段而不是简单的时间点。在示例中，行具有单个姿势条目以及多于两个时间条目或时间片段。这可通过不重复可能是非平凡尺寸的姿势的表示来促进在相同的视频中压缩多个区别性的姿势使用。在该示例中，姿势条目可以是唯一的(例如，在数据结构中不重复)。
在示例中，姿势的表示可被直接嵌入到视频帧中。在该示例中，可以利用姿势对一个或多个帧加标签以供稍后标识。例如，如果使用时间点书签，则每次获得姿势时，利用姿势的表示来对对应的视频帧加标签。如果使用时间片段书签，则姿势的第一实例将提供序列中的第一视频帧，并且姿势的第二实例将提供序列中的最后视频帧；然后，元数据可被应用到包括第一帧和最后帧以及第一帧与最后帧之间的序列中的每个帧。通过将姿势的表示分发到帧本身，姿势加标签的生存性可能大于将元数据存储在诸如标头之类的视频中的单个位置中。
存储设备125可在经解码的数据被检取或发送到另一实体之前存储该经解码的视频。存储设备125还可存储用于识别样本集何时对应于此类"加书签"姿势的预定义的姿势信息。虽然可将一个或多个此类姿势制造到设备105中，但是可以通过允许用户添加附加的姿势来实现更大的灵活性，从而实现用户愉悦。为此，系统105可包括用户界面136和训练器130。用户界面135被布置成用于接收针对新的姿势的训练集的指示。如所图示，用户界面135是按钮。用户可按压该按钮并且向系统105发信号通知正在接收的样本集标识新的姿势而不是标记视频流。其他用户界面是可能的，诸如拨号、触摸屏、语音激活等。
一旦关于训练数据发信号通知系统105，训练器130就被布置成用于基于训练集创建第二姿势的表示。此处，训练集是在用户界面135的激活期间获取的样本集。因此，传感器115响应于来自用户界面135的指示的接收而获取训练集。在示例中，姿势表示库被编码在经编码的视频中。在该示例中，库包括姿势和新的姿势。在示例中，库包括在经编码的视频中不具有对应的时间的姿势。因此，即使未使用已知姿势，库也可以是未删节的。在示例中，库在被包括到视频中之前被删节。在示例中，库被删减以移除不用于对视频加书签的姿势。库的包含允许针对用户的完全定制姿势，而不需要各种记录和回放设备提前知道这些姿势。因此，用户可以使用使他们感到舒服的姿势，并且制造商不需要浪费资源来在他们的设备中保持各种各样的姿势。
虽然未示出，系统105还可包括解码器、比较器和播放器。然而，这些组件也可包括在第二系统或设备(例如，电视、机顶盒等)中。这些特征允许使用所嵌入的姿势来对视频进行导航(例如，搜索)。
解码器被布置成用于从经编码的视频提取姿势的表示和时间。在示例中，提取时间可包括简单地将姿势放在帧中，该帧具有相关联的时间。在示例中，姿势是经编码的视频中的多个不同姿势中的一个。因此，如果两个不同的姿势被用于标记视频，则这两个姿势可在该导航中使用。
比较器被布置成用于将姿势的表示匹配到在对视频流的渲染期间获取的第二样本集。该第二样本集简单地是在视频捕获之后的时间(诸如在编辑或其他回放期间)捕获的样本集。在示例中，比较器将姿势的表示(例如，当其为模型时)实现为它的比较性能(例如，实现该模型并应用第二样本集)。
播放器被布置成在响应于来自比较器的匹配的时间从经编码的视频渲染视频流。因此，如果时间从视频的标头(或页脚)中的元数据检取，则该视频将在所检取的时间索引播放。然而，如果姿势的表示被嵌入在视频帧中，则播放器可以逐帧前进，直到比较器找到匹配并在那里开始播放。
在示例中，姿势是被编码在视频中的多个相同的姿势的表示中的一个。因此，相同的姿势可以用于书档(bookend)片段或指示多个片段或时间点书签。为了促进该动作，系统105可以包括计数器以跟踪第二样本集的等效物被获取的次数(例如，在回放期间提供了多少次相同的姿势)。播放器可使用该计数来选择视频中的适当时间。例如，如果姿势被用于标记视频中的三个点，则用户在回放期间第一次执行姿势使得播放器选择与视频中第一次使用姿势相对应的时间索引，并且计数器递增。如果用户再次执行该姿势，则播放器在视频中找到对应于计数器的姿势的实例(例如，在此情况下为第二实例)。
系统105提供灵活、直观且有效的机制，以允许用户对视频加标签或加书签而不危及他们自己或损害他们对活动的享受。以下提供了附加的细节和示例。
图2图示出根据实施例用于实现嵌入姿势的视频的设备202的示例的框图，设备202可用于实现以上参考图1所描述的传感器115。如所图示，设备202是要被集成到其他计算机硬件中的传感器处理封装。设备202包括用于解决一般计算任务的芯片上系统(soc)206、内部时钟204、功率源210以及无线收发器214。设备202还包括传感器阵列212，该传感器阵列212可包括加速度计、陀螺仪(例如，陀螺测试仪)、气压计或温度计中的一者或多者。
设备202还可包括神经分类加速器208。神经分类加速器208实现一组并行处理元件，以解决通常与人工神经网络分类技术相关联的常见但众多的任务。在示例中，神经分类加速器208包括模式匹配硬件引擎。该模式匹配引擎实现诸如传感器分类器之类的模式，以对传感器数据进行处理或分类。在示例中，模式匹配引擎通过硬件元件的并行集合来实现，每个硬件元件匹配单个模式。在示例中，硬件元件的集合实现关联性阵列，传感器数据样本在匹配存在时向阵列提供密钥。
图3图示出根据实施例利用视频编码姿势数据的数据结构304的示例。该数据结构304是基于帧的数据结构，而不是以上所描述的例如基于库、基于表或基于标头的数据结构。因此，数据结构304表示经编码的视频中的帧。数据结构304包括视频元数据306、音频信息314、时间戳316以及姿势元数据318。视频元数据306包含关于帧的典型的信息，诸如，标头308、轨道310或扩展(例如，范围)312。除了姿势元数据318之外，数据结构304的组成部分可以与根据各种视频编解码器所图示的那些组成部分不同。姿势元数据318可包含传感器样本集、标准化样本集、量化样本集、索引、标签或模型中的一者或多者。典型地，然而，对于基于帧的姿势元数据，将使用诸如索引或标签之类的姿势的紧凑表示。在示例中，姿势的表示可被压缩。在示例中，姿势元数据包括一个或多个附加字段以表征姿势的表示。这些字段可包括以下各项中的一些或全部：姿势类型、用于捕获传感器集合的一个或多个传感器的传感器标识、书签类型(例如，书签的起始、书签的结束、书签内的帧的索引)或用户的标识(例如，用于标识用户的个人传感器调整或用于从多个库标识用户姿势库)。
因此，图3图示出用于支持嵌入姿势的视频的示例视频文件格式。动作姿势元数据318是与音频314、时间戳316和电影306元数据块并行的额外的块。在示例中，动作姿势元数据块318存储由用户定义并在稍后用作参考标签以定位视频数据的部分的运动数据，充当书签。
图4图示出根据实施例的用于将姿势编码在视频中的设备之间的交互400的示例。交互400是在用户、用户的可穿戴设备(诸如，腕部穿戴设备)、以及正在捕获视频的相机之间。场景可包括在登山的同时正在记录登高的用户。启动相机以从恰在登高之前记录视频(框410)。用户接近峻峭的面并且计划通过裂缝登高。不想要从安全绳放开她的抓握，用户将她的戴有可穿戴设备的手上下抽动三次绳子，符合预定义的姿势(框405)。可穿戴设备感测(例如，检测、分类等)姿势(框415)并将该姿势与预定义的动作姿势匹配。该匹配可能是重要的，因为可穿戴设备可响应于未被指定为用于为视频加书签目的的动作姿势的姿势而执行非加书签的相关任务。
在判定该姿势是预定义的动作姿势之后，可穿戴设备联系相机以指示书签(框420)。相机插入书签(框425)并且响应可穿戴设备操作成功，并且可穿戴设备利用通知来响应用户(框430)，该通知例如嘟嘟声、振动、视觉提示等。
图5图示出根据实施例利用姿势在经编码的视频500中标记点的示例。在点505处开始(例如，播放)视频500。用户在回放期间作出预定义的动作姿势。播放器识别姿势并将视频前进(或回退)到点510。用户再次作出相同的姿势，并且播放器现在前进到点515。因此，图5图示出相同姿势的再用以在视频500中找到先前由该姿势标记的点。例如，这允许用户定义一个姿势例如以每当他的孩子正在做一些有趣的事情时发信号，并且定义另一姿势例如以每当一天中他的狗在公园里做有趣的事情时发信号。或者，可以在使用若干过程的手术期间定义和识别典型的医疗过程的不同姿势。在任一情况下，加书签可通过所选择的姿势来进行分类，而所有书签仍然被加标签。
图6图示出根据实施例利用嵌入姿势的视频作为用户界面610来使用姿势605的示例。非常像图5，图6图示出使用姿势以在视频正在被渲染在显示器610上时从点615跳至点620。在该示例中，姿势元数据可标识用于在第一地点创建样本集、姿势或姿势的表示的特定可穿戴设备605。在该示例中，可认为可穿戴设备605与视频配对。在示例中，在渲染视频的同时，需要用于最初为视频加书签的相同的的可穿戴设备605来执行姿势查找。
图7图示出根据实施例的对经编码的视频700中的姿势数据的每帧编码的元数据710的示例。所图示帧的暗色阴影的组成部分是视频元数据。浅色阴影的组成部分是姿势元数据。如所图示，在基于帧的姿势嵌入中，当用户作出回忆姿势(例如，重复用于定义书签的姿势)时，播放器搜遍帧的姿势元数据直到它找到匹配，此处为点705处的姿势元数据710。
因此，在回放期间，智能可穿戴设备捕获用户的手部的运动。将运动数据与预定义动作姿势元数据栈(浅色阴影的组成部分)进行比较和参考，以查看它是否与一个预定义动作姿势元数据匹配。
一旦获取匹配(例如，在元数据710处)，动作姿势元数据将与对应于其的电影帧元数据(例如，在相同的帧中)匹配。随后，视频回放将立即跳转到与其匹配的电影帧元数据(例如，点705)，并且将开始加书签的视频。
图8图示出根据实施例利用嵌入姿势的视频来使用姿势的示例生命周期800.在生命周期800中，相同的手部动作姿势在三个分开的阶段中使用。
在阶段1中，在框805处将姿势保存或定义为书签动作(例如，预定义的动作姿势)。此处，用户在系统正在训练或记录模式下的同时执行动作，并且系统将该动作保存为定义的书签动作。
在阶段2中，在框810处，当姿势被执行时，在记录的同时对视频加书签。此处，用户在他希望在摄制活动的同时对视频的该部分加书签时执行动作。
在阶段3中，在框815处，当姿势在回放期间被执行时，从视频选择书签。因此，用户所定义的相同的姿势(例如，用户指导的姿势使用)被用于标记视频，并且随后用于检取(例如，标识、匹配等)视频的所标记的部分。
图9图示出根据实施例的用于将姿势嵌入在视频中的方法900的示例。以诸如以上参考图1-图8或下文参考图13所描述的(例如，电路、处理器等)之类的计算机硬件来实现方法900的操作。
在操作905处，视频流被获取(例如，由接收器、收发器、总线、接口等)。
在操作910处，测量传感器以获取样本集。在示例中，样本集的成员是姿势的组成部分(例如，姿势是从样本集中的数据定义或导出的)。在示例中，样本集对应于相对于视频流的时间。在示例中，传感器是加速度计或陀螺测试仪中的至少一者。在示例中，传感器在用于第一设备的第一外壳中，并且其中，接收器(或获取视频的其他设备)和编码器(或对视频编码的其他设备)在用于第二设备的第二外壳中。在该示例中，当两个设备在操作中时，第一设备通信地耦合至第二设备。
在操作915处，姿势的表示和时间被嵌入(例如，通过视频编码器、编码器流水线等)在视频流的经编码的视频中。在示例中，姿势的表示是样本集的标准化的版本、样本集的成员的量化、标签、索引或模型中的至少一者。在示例中，模型包括为该模型提供传感器参数的输入定义。在示例中，模型提供真或假输出来发信号通知输入参数的值是否表示姿势。
在示例中，嵌入姿势的表示和时间(操作915)包括将元数据数据结构添加到经编码的视频。在示例中，元数据数据结构是具有在第一列中指示的姿势的表示和在同一行的第二列中的对应的时间(例如，他们在相同的记录中)的表。在示例中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频，该数据结构包括利用视频的帧编码的单个条目。因此，该示例表示视频的每个帧包括姿势元数据数据结构。
方法900可任选地扩展具有所图示的操作920、925和930。
在操作920处，从经编码的视频提取姿势的表示和时间。在示例中，姿势是经编码的视频中的多个不同姿势中的一个。
在操作925处，将姿势的表示与在对视频流的渲染(例如，回放、编辑等)期间获取的第二样本集匹配。
在操作930处，在响应于来自比较器的匹配的时间从经编码的视频渲染视频流。在示例中，姿势是被编码在视频中的多个相同的姿势的表示中的一个。即，相同的姿势被用于在视频中作出多于一个标记。在该示例中，方法900可跟踪获取第二样本集的等效物的次数(例如，使用计数器)。方法900可随后基于计数器渲染在所选择的时间的视频。例如，如果在回放期间姿势被执行了五次，则方法900将渲染嵌入在视频中的姿势的第五次出现。
方法900可任选地通过下列操作被扩展：
从用户界面接收针对新的姿势的训练集的指示。响应于接收到该指示，方法900可基于训练集(例如，从传感器获取)创建第二姿势的表示。在示例中，方法900还可将姿势表示库编码在经编码的视频中。此处，该库可包括姿势、新的姿势、以及不具有经编码的视频中的对应的时间的姿势。
图10图示出根据实施例的用于在嵌入姿势的视频的创建期间将姿势添加到可用姿势的全集以便嵌入的方法1000的示例。以诸如以上参考图1-图8或下文参考图13所描述的(例如，电路、处理器等)之类的计算机硬件来实现方法1000的操作。方法1000图示出用于通过具有例如加速度计或陀螺测试仪的智能可穿戴设备来输入姿势以标绘手势数据的技术。智能可穿戴设备可链接到动作相机。
用户可与用户界面交互，该交互初始化对智能可穿戴设备的训练(例如，操作1005)。因此，例如，用户可在动作相机上按下开始以开始记录书签模式。用户随后在例如五秒的持续时间内执行一次手势。
智能可穿戴设备开始用于读取姿势的时间(例如，操作1010)。因此，例如，响应于例如五秒钟的初始化来记录针对书签的加速度计数据。
如果姿势是新的(例如，决策1015)，则将该动作姿势保存到持久性存储中(例如，操作1020)。在示例中，用户可在动作相机上按下保存按钮(例如，与用于发起训练的按钮相同或不同的按钮)以将书签模式元数据保存在智能可穿戴设备持久性存储中。
图11图示出根据实施例的用于将姿势添加到视频的方法1100的示例。以诸如以上参考图1-图8或下文参考图13所描述的(例如，电路、处理器等)之类的计算机硬件来实现方法1100的操作。方法1100图示出使用姿势在视频中创建书签。
当用户认为很酷的动作场景即将出现时，用户进行预定义的手部动作姿势。智能可穿戴设备计算加速度计数据，并且一旦它在持久性存储中检测到匹配，该智能可穿戴设备就通知动作相机开始视频加书签事件。该事件链如下：
可穿戴设备感测由用户作出的动作姿势(例如，当用户作出姿势时，可穿戴设备捕获传感器数据)(例如，操作1105)。
将捕获的传感器数据与持久性存储中的预定义的姿势进行比较(例如，决策1110)。例如，手部动作姿势加速度计数据被检查以查看其是否匹配书签模式。
如果所捕获的传感器数据确实匹配已知模式，则动作相机可记录书签，并且在示例中，通过例如指令智能可穿戴设备振动一次以指示视频加书签的起始来确认书签。在示例中，书签可以在状态改变的基础上操作。在该示例中，相机可检查状态以判定加书签是否正在进行中(例如，决策1115)。如果否，则在1120处开始加书签。
在用户重复姿势之后，如果曾开始加书签，则停止加书签(例如，操作1125)。例如，在完成特定的很酷的动作场景之后，用户执行在开始时使用的相同的手部动作姿势以指示加书签特征的停止。一旦书签完成，相机可将动作姿势元数据嵌入与时间戳相关联的视频文件中。
图12图示出根据实施例的用于将嵌入在视频中的姿势用作用户界面元素的方法1200的示例。以诸如以上参考图1-图8或下文参考图13所描述的(例如，电路、处理器等)之类的计算机硬件来实现方法1200的操作。方法1200图示出在视频回放、编辑或视频的其他遍历期间使用姿势。在示例中，用户必须使用用于标记视频的相同的可穿戴设备。
当用户想要观看特定的加书签的场景时，用户所要做的所有事为重复用于标记视频的相同的手部动作姿势。当用户执行动作时，可穿戴设备感测姿势(例如，操作1205)。
如果书签模式(例如，正在由用户执行的姿势)与保存在智能可穿戴设备中的加速度计数据匹配(例如，决策1210)，则书签点将被定位，并且用户将跳转到视频连续镜头的那一点(例如，操作1215)。
如果用户希望观看另一条加书签的连续镜头，则用户可执行相同的手势或不同的手势(无论哪个对应于所期望的书签)，并且将重复方法1200的相同的过程。
使用本文中所描述的系统和技术，用户可使用直观的发信号来建立视频中感兴趣的时段。这些相同的直观信号被编码在视频本身中，允许在产生视频之后使用它们，例如在编辑或回放期间。回顾上面描述的一些特征：智能可穿戴设备将预定义的动作姿势元数据存储在持久性存储中；视频帧文件格式容器由与时间戳相关联的电影元数据、音频和动作姿势元数据组成；用于为视频加书签的手部动作姿势，用户重复相同的手部动作姿势以定位该书签；可以添加不同的手部动作姿势来为视频的不同片段加书签，使每个书签标签相区别；以及相同的手部动作姿势将在不同阶段触发不同的事件。这些元素提供了以上所介绍的示例使用情况下的下列方案：
对于极限运动用户：尽管用户难以按下动作相机本身上的按钮，但是挥手或者例如在体育活动期间执行体育动作(例如，挥动网球拍，曲棍球棒等)对于他们而言将是很容易的。例如，用户可在打算做特技之前挥手。在回放期间，用户为了查看其特技所要做的所有事为再次挥手。
对于执法：警察可能正在追捕嫌犯，在枪战期间举起枪，或者甚至可能在受伤时倒在地上。这些全部是警察在轮班期间可能作出的所有可能的姿势或动作，这些可能的姿势或动作可用于为来自所佩戴的相机的视频连续镜头加书签。因此，这些姿势可被预定义并用作书签标签。由于上班的警察的影片可能会持续数小时，因此它将简化播放过程。
对于医疗专业人员：医生在手术过程中以某种方式举起他们的手。该运动对于不同的手术过程可能是区别性的。这些手势可被预定义为书签姿势。例如，缝合身体部位的动作可用作书签标签。因此，当医生打算查看缝合过程时，所需要的所有事为再现缝合运动，并且片段将立即可查看。
图13图示出本文中所讨论的技术(例如，方法)中的任何一者或多者可在其上执行的示例机器1300的框图。在替代实施例中，机器1300可作为独立设备或可被连接(例如，联网)至其他机器来操作。在联网的部署中，机器1300可在服务器-客户端网络环境中的服务器、客户端或其两者的能力内操作。在示例中，机器1300可充当对等(p2p)(或其他分布式)网络环境中的对等机器。机器1300可以是个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、移动电话、web设备、网络路由器、交换机或桥、或者能够执行指定由该机器执行的动作的指令(顺序的或以其他方式)的任何机器。进一步地，尽管仅图示了单个机器，但是术语“机器”还应当被认为包括单独地或者联合地执行一组(或多组)指令以执行本文中所讨论的方法(诸如，云计算、软件即服务(saas)、其他计算机集群配置)中的任何一者或多者的任何机器集合。
如本文中所描述的示例可包括逻辑或数个组件或机制，或者可由逻辑或数个组件或机制操作。电路系统是在有形实体中实现的电路的集合，其包括硬件(例如，简单电路、门、逻辑等)。电路系统成员随着时间的推移以及底层的硬件变化可以是灵活的。电路系统包括在操作时可单独地或组合地执行所指定操作的成员。在示例中，电路系统的硬件可被永久地设计为执行特定操作(例如，硬连线式)。在示例中，电路系统的硬件可包括可变连接的物理组件(例如，执行单元、晶体管、简单电路等)，包括物理上被修改(例如，对不变聚集粒子的磁性、电气、可移动地布置等)以对特定操作的指令进行编码的计算机可读介质。在连接物理组件时，硬件组成部分的底层电气性质改变，例如从绝缘体改变为导体，反之亦然。这些指令使嵌入式硬件(例如，执行单元或加载机构)能够经由可变连接在硬件中创建电路系统的成员以在操作时执行特定操作的部分。相应地，当设备正在操作时，计算机可读介质通信地耦合至电路系统成员的其他组件。在示例中，物理组件中的任一个可在多于一个电路系统的多于一个成员中使用。例如，在操作下，执行单元可在一个时刻在第一电路系统的第一电路中被使用，并且在不同的时间被第一电路系统中的第二电路或被第二电路系统中的第三电路重新使用。
机器(例如，计算机系统)1300可包括硬件处理器1302(例如，中央处理单元(cpu)、图形处理单元(gpu)、硬件处理器核或者其任何组合)、主存储器1304以及静态存储器1306，这些部件中的一些或全部可经由互链路(例如，总线)1308彼此通信。机器1300还可包括显示单元1310、字母数字输入设备1312(例如，键盘)以及用户界面(ui)导航设备1314(例如，鼠标)。在示例中，显示单元1310、输入设备1312以及ui导航设备1314可以是触摸屏显示器。机器1300可另外包括存储设备(例如，驱动单元)1316、信号生成设备1318(例如，扬声器)、网络接口设备1320以及一个或多个传感器1321(诸如，全球定位系统(gps)传感器、罗盘、加速度计或其他传感器)。机器1300可包括连通或者控制一个或多个外围设备(例如，打印机、读卡器等)的输出控制器1328，诸如串行(例如，通用串行总线(usb))、并行、或者其他有线或无线(例如，红外(ir)、近场通信(nfc)等)连接。
存储设备1316可包括在其上存储一组或者多组数据结构或指令1324(例如，软件)的机器可读介质1322，该数据结构或指令1324由本文中所描述的技术或功能中的任何一者或多者体现或利用。指令1324还可在由机器1300对其的执行期间完全地或至少部分地驻留在主存储器1304内、在静态存储器1306内、或者在硬件处理器1302内。在示例中，硬件处理器1302、主存储器1304、静态存储器1306或存储设备1316的其中一者或任何组合都可以构成机器可读介质。
尽管机器可读介质1322被图示为单个介质，但是术语“机器可读介质”可包括被配置成用于存储一个或多个指令1324的单个介质或多个介质(例如，集中式或分布式数据库、和/或相关联的高速缓存和服务器)。
术语“机器可读介质”可包括能够存储、编码或承载用于由机器1300执行并且使机器1300执行本公开的技术中的任何一者或多者的指令，或能够存储、编码或承载由此类指令使用或与此类指令相关联的数据结构的任何介质。非限制性的机器可读介质示例可包括固态存储器以及光和磁介质。在示例中，大容量机器可读介质包括具有多个粒子的机器可读介质，这些粒子具有不变(例如，静止)质量。相应地，大容量机器可读介质不是瞬态传播信号。大容量机器可读介质的具体示例可包括：非易失性存储器，诸如，半导体存储器设备(例如，电可编程只读存储器(eprom)、电可擦可编程只读存储器(eeprom))以及闪存设备；磁盘，诸如，内部硬盘和可移除盘；磁光盘；以及cd-rom和dvd-rom盘。
指令1324可利用数个传输协议(例如，帧中继、互联网协议(ip)、传输控制协议(tcp)、用户数据报协议(udp)、超文本传输协议(http)等)中的任何一个经由网络接口设备1320使用传输介质通过通信网络1326被进一步传送或接收。示例通信网络可包括局域网(lan)、广域网(wan)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、普通老式电话(pots)网络、以及无线数据网络(例如，称为
附加注释和示例
示例1是一种用于嵌入在视频中的姿势的系统，该系统包括：接收器，用于获取视频流；传感器，用于获取样本集，该样本集的成员是姿势的组成部分，该样本集对应于相对于视频流的时间；以及编码器，用于将姿势的表示和时间嵌入在视频流的经编码的视频中。
在示例2中，如示例1所述的主题任选地包括：其中，传感器是加速度计或陀螺测试仪中的至少一者。
在示例3中，如示例1-2中的任何一项或多项所述的主题任选地包括：其中，姿势的表示是样本集的标准化的版本、样本集的成员的量化、标签、索引或模型中的至少一者。
在示例4中，如示例3所述的主题任选地包括：其中，模型包括为该模型提供传感器参数的输入定义，该模型提供真或假输出来发信号通知输入参数的值是否表示姿势。
在示例5中，如示例1-4中的任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频。
在示例6中，如示例5所述的主题任选地包括：其中，元数据数据结构是具有在第一列中指示的姿势的表示以及在同一行的第二列中的对应的时间的表。
在示例7中，如示例1-6中的任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频，该数据结构包括利用视频的帧编码的单个条目。
在示例8中，如示例1-7中的任何一项或多项所述的主题任选地包括：解码器，用于从经编码的视频提取姿势的表示和时间；比较器，用于将该姿势的表示与在对视频流的渲染期间获取的第二样本集匹配；以及播放器，用于在响应于来自比较器的该匹配的时间从经编码的视频渲染视频流。
在示例9中，如示例8所述的主题任选地包括：其中，姿势是经编码的视频中的多个不同姿势中的一个。
在示例10中，如示例8-9中的任何一项或多项所述的主题任选地包括：其中，姿势是编码在视频中的多个相同的姿势的表示中的一个，系统包括计数器以跟踪第二样本集的等效物被获取的次数，并且其中，播放器基于该计数器来选择时间。
在示例11中，如示例1-10中的任何一项或多项所述的主题任选地包括：用户界面，用于接收针对新的姿势的训练集的指示；以及训练器，用于基于训练集来创建第二姿势的表示，其中，传感器响应于该指示的接收而获取训练集。
在示例12中，如示例11所述的主题任选地包括：其中，姿势表示库被编码在经编码的视频中，该库包括姿势和新的姿势以及在经编码的视频中不具有对应的时间的姿势。
在示例13中，如示例1-12中的任何一项或多项所述的主题任选地包括：其中，传感器在用于第一设备的第一外壳中，并且其中，接收器和编码器在用于第二设备的第二外壳中，当第一设备和第二设备两者都在操作中时，该第一设备通信地耦合至第二设备。
示例14是一种用于嵌入在视频中的姿势的方法，该方法包括：由接收器获取视频流；测量传感器以获取样本集，该样本集的成员是姿势的组成部分，该样本集对应于相对于视频流的时间；以及利用编码器将姿势的表示和时间嵌入在视频流的经编码的视频中。
在示例15中，如示例14所述的主题任选地包括：其中，传感器是加速度计或陀螺测试仪中的至少一者。
在示例16中，如示例14-15中任何一项或多项所述的主题任选地包括：其中，姿势的表示是样本集的标准化的版本、样本集的成员的量化、标签、索引或模型中的至少一者。
在示例17中，如示例16所述的主题任选地包括：其中，模型包括为该模型提供传感器参数的输入定义，该模型提供真或假输出来发信号通知输入参数的值是否表示姿势。
在示例18中，如示例14-17中任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频。
在示例19中，如示例18所述的主题任选地包括：其中，元数据数据结构是具有在第一列中指示的姿势的表示以及在同一行的第二列中的对应时间的表。
在示例20中，如示例14-19中的任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频，该数据结构包括利用视频的帧编码的单个条目。
在示例21中，如示例14-20中的任何一项或多项所述的主题任选地包括：从经编码的视频提取姿势的表示和时间；将该姿势的表示与在对视频流的渲染期间获取的第二样本集匹配；以及在响应于来自比较器的该匹配的时间从经编码的视频渲染视频流。
在示例22中，如示例21所述的主题任选地包括：其中，姿势是经编码的视频中的多个不同姿势中的一个。
在示例23中，如示例21-22中的任何一项或多项所述的主题任选地包括：其中，姿势是编码在视频中的多个相同的姿势的表示中的一个，方法包括利用计数器来跟踪第二样本集的等效物被获取的次数，并且渲染基于该计数器来选择时间。
在示例24中，如示例14-23中的任何一项或多项所述的主题任选地包括：从用户界面接收针对新的姿势的训练集的指示；以及响应于该指示的接收，基于训练集来创建第二姿势的表示。
在示例25中，如示例24所述的主题任选地包括：将姿势表示库编码在经编码的视频中，该库包括姿势、新的姿势以及在经编码的视频中不具有对应的时间的姿势。
在示例26中，如示例14-25中的任何一项或多项所述的主题任选地包括：其中，传感器在用于第一设备的第一外壳中，并且其中，接收器和编码器在用于第二设备的第二外壳中，当第一设备和第二设备两者都在操作中时，该第一设备通信地耦合至第二设备。
示例27是包括用于实现方法14-26中任一项的装置的系统。
示例28是包括指令的至少一种机器可读介质，该指令在由机器执行时使得该机器执行方法14-26中的任一项。
示例29是一种用于嵌入在视频中的姿势的系统，该系统包括：用于通过接收器获取视频流的装置；用于测量传感器以获取样本集的装置，该样本集的成员是姿势的组成部分，该样本集对应于相对于视频流的时间；以及用于利用编码器将姿势的表示和时间嵌入在视频流的经编码的视频中的装置。
在示例30中，如示例29所述的主题任选地包括：其中，传感器是加速度计或陀螺测试仪中的至少一者。
在示例31中，如示例29-30中任何一项或多项所述的主题任选地包括：其中，姿势的表示是样本集的标准化的版本、样本集的成员的量化、标签、索引或模型中的至少一者。
在示例32中，如示例31所述的主题任选地包括：其中，模型包括为该模型提供传感器参数的输入定义，该模型提供真或假输出来发信号通知输入参数的值是否表示姿势。
在示例33中，如示例29-32中任何一项或多项所述的主题任选地包括：其中，用于嵌入姿势的表示和时间的装置包括用于将元数据数据结构添加到经编码的视频的装置。
在示例34中，如示例33所述的主题任选地包括：其中，元数据数据结构是具有在第一列中指示的姿势的表示以及在同一行的第二列中的对应时间的表。
在示例35中，如示例29-34中的任何一项或多项所述的主题任选地包括：其中，用于嵌入姿势的表示和时间的装置包括用于将元数据数据结构添加到经编码的视频的装置，该数据结构包括利用视频的帧编码的单个条目。
在示例36中，如示例29-35中的任何一项或多项所述的主题任选地包括：用于从经编码的视频提取姿势的表示和时间的装置；用于将该姿势的表示与在对视频流的渲染期间获取的第二样本集匹配的装置；以及用于在响应于来自比较器的该匹配的时间从经编码的视频渲染视频流的装置。
在示例37中，如示例36所述的主题任选地包括：其中，姿势是经编码的视频中的多个不同姿势中的一个。
在示例38中，如示例36-37中的任何一项或多项所述的主题任选地包括：其中，姿势是编码在视频中的多个相同的姿势的表示中的一个，系统包括用于利用计数器来跟踪第二样本集的等效物被获取的次数的装置，并且渲染基于该计数器来选择时间。
在示例39中，如示例29-38中的任何一项或多项所述的主题任选地包括：用于从用户界面接收针对新的姿势的训练集的指示的装置；以及用于响应于该指示的接收而基于训练集来创建第二姿势的表示的装置。
在示例40中，如示例39所述的主题任选地包括：用于将姿势表示库编码在经编码的视频中的装置，该库包括姿势、新的姿势以及在经编码的视频中不具有对应的时间的姿势。
在示例41中，如示例29-40中的任何一项或多项所述的主题任选地包括：其中，传感器在用于第一设备的第一外壳中，并且其中，接收器和编码器在用于第二设备的第二外壳中，当第一设备和第二设备两者都在操作中时，该第一设备通信地耦合至第二设备。
示例42是包括用于嵌入在视频中的姿势的指令的至少一种机器可读介质，该指令在由机器执行时使得该机器：获取视频流；获取样本集，该样本集的成员是姿势的组成部分，该样本集对应于相对于视频流的时间；以及将姿势的表示和时间嵌入在视频流的经编码的视频中。
在示例43中，如示例42所述的主题任选地包括：其中，传感器是加速度计或陀螺测试仪中的至少一者。
在示例44中，如示例42-43中任何一项或多项所述的主题任选地包括：其中，姿势的表示是样本集的标准化的版本、样本集的成员的量化、标签、索引或模型中的至少一者。
在示例45中，如示例44所述的主题任选地包括：其中，模型包括为该模型提供传感器参数的输入定义，该模型提供真或假输出来发信号通知输入参数的值是否表示姿势。
在示例46中，如示例42-45中任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频。
在示例47中，如示例46所述的主题任选地包括：其中，元数据数据结构是具有在第一列中指示的姿势的表示以及在同一行的第二列中的对应时间的表。
在示例48中，如示例42-47中的任何一项或多项所述的主题任选地包括：其中，嵌入姿势的表示和时间包括将元数据数据结构添加到经编码的视频，该数据结构包括利用视频的帧编码的单个条目。
在示例49中，如示例42-48中的任何一项或多项所述的主题任选地包括：其中，指令使得机器：从经编码的视频提取姿势的表示和时间；将该姿势的表示与在对视频流的渲染期间获取的第二样本集匹配；以及在响应于来自比较器的该匹配的时间从经编码的视频渲染视频流。
在示例50中，如示例49所述的主题任选地包括：其中，姿势是经编码的视频中的多个不同姿势中的一个。
在示例51中，如示例49-50中的任何一项或多项所述的主题任选地包括：其中，姿势是编码在视频中的多个相同的姿势的表示中的一个，指令使得机器实现计数器以跟踪第二样本集的等效物被获取的次数，并且其中，播放器基于该计数器来选择时间。
在示例52中，如示例42-51中的任何一项或多项所述的主题任选地包括：其中，指令使得机器：实现用户界面以接收针对新的姿势的训练集的指示；以及用于基于训练集来创建第二姿势的表示，其中，传感器响应于该指示的接收而获取训练集。
在示例53中，如示例52所述的主题任选地包括：其中，姿势表示库被编码在经编码的视频中，该库包括姿势和新的姿势以及在经编码的视频中不具有对应的时间的姿势。
在示例54中，如示例42-53中的任何一项或多项所述的主题任选地包括：其中，传感器在用于第一设备的第一外壳中，并且其中，接收器和编码器在用于第二设备的第二外壳中，当第一设备和第二设备两者都在操作中时，该第一设备通信地耦合至第二设备。
以上具体实施方式包括对附图的引用，附图形成具体实施方式的部分。附图通过图示方式示出可被实施的具体实施例。这些实施例在本文中还被称为“示例”。此类示例可包括除所示出或所描述的那些元素以外的元素。然而，本申请发明人还构想了其中只提供所示出或所描述的那些元素的示例。另外，本申请发明人还构想了相对于特定示例(或者其一个或多个方面)或者相对于本文中所示出或所描述的其他示例(或者其一个或多个方面)使用所示出或所描述的那些元素(或者其一个或多个方面)的组合或排列的示例。
本文档中所涉及的所有公开、专利和专利文档通过引用整体结合于此，如通过引用单独地结合。在本文档和通过引用所结合的那些文档之间的不一致的用法的情况下，在结合的(多个)引用中的用法应当被认为是对本文档的用法的补充；对于不可调和的不一致，以本文档中的用法为准。
在本文档中，如在专利文档中常见的那样，使用术语“一”或“一个”以包括一个或多于一个，并且独立于“至少一个”或“一个或多个”的任何其他实例或用法。在本文档中，使用术语“或”来表示非排他的“或”，使得“a或b”包括“a但非b”，“b但非a”，以及“a和b”，除非另外指示。在所附权利要求书中，术语“包括”和“其特征在于”被用作相应的术语“包含”和“其中”的普通英语等效词。而且，在所附权利要求中，术语“包括”和“包含”是开放式的，即，在权利要求中，在此类术语之后包括除那些列出的元素之外的元素的系统、设备、制品或过程仍被视为在那项权利要求的范围之内。而且，在所附权利要求中，术语“第一”、“第二”、以及“第三”等只用作标记，并且不旨在对其对象施加数值要求。
以上描述旨在是说明性的，而非限制性的。例如，上述示例(或者其一个或多个方面)可相互组合使用。诸如由本领域普通技术人员在仔细阅读以上描述之后实施的其他实施例也可以被使用。摘要用于允许读者快速地确认本技术公开的性质，并且提交此摘要需理解：它不用于解释或限制权利要求书的范围或含义。而且，在以上具体实施方式中，各种特征可共同成组以使本公开流畅。但这不应被解释为意指未要求保护的所公开特征对任何权利要求而言都是必要的。相反，发明性主题可在于少于特定的所公开实施例的所有特征。因此，所附权利要求在此被结合到具体实施方式中，其中每项权利要求独立成为单独实施例。各实施例的范围应当参考所附权利要求连同这些权利要求赋予的等效方案的全部范围而确定。
- 还没有人留言评论。精彩留言会获得点赞！