视频播放的处理方法与系统的制作方法
【技术领域】
[0001]本发明关于基于元数据的视频处理方法与系统，特别是关于依据物体轨迹指示视频的播放速率的方法与系统。
【背景技术】
[0002]播放监视系统的录影往往是为了使用者找寻特定人事物。若标的出现或发生的具体时间未知，则使用者常选择快速扫过录影，直到瞥见标的才放慢。以常见的播放介面而言，寻得标的时使用者得立即暂停播放、回带(rewind)或拉动滑件(slider)至时间轴上已扫过的某个位置；这之中每个动作都需经过一次大脑接收视觉刺激乃至指示手部操作监视系统(如以按钮、键盘或滑鼠)的人类反应时间，其不幸地可能根本无法与机器的节奏相比，尤其在使用者操作错误、手忙脚乱之际。举例来说，使用者反应过来而指示暂停时，播放进度可能已经太超前，只能回带找寻消失的标的。若此时使用者忘记降低播放速率，则回带又可能过头，得再往前找寻。如此往复直到取得可清楚观察标的的录影区间，诚非使用者所愿。
【发明内容】
[0003]鉴于上述，本发明公开了一种视频播放的处理方法，其步骤包含:(a)取得关联于一视频的元数据(metadata)，元数据记录出现在该视频中的至少一物体的轨迹；(b)依据轨迹的信息，在轨迹上定义一区段；(c)指示当该物体出现在该区段上时，以第一速率播放该视频；以及(d)选择性地指示当该物体出现在该轨迹上该区段以外之处时，以第二速率播放该视频。
[0004]本发明亦公开了一种视频播放的处理系统，其包含视频取得装置以及处理装置。视频取得装置用以取得前述视频，并用以产生关联于该视频的前述元数据。处理装置用以执行前述处理方法。
[0005]以上关于
【发明内容】
及以下关于实施方式的说明用以示范与阐明本发明的精神与原理，并提供对本发明专利保护范围更进一步的解释。
【附图说明】
[0006]图1为本发明一实施例中处理系统的方块图。
[0007]图2为本发明一实施例中处理方法的流程图。
[0008]图3A至3G所示为本发明多个实施例中物体在一视频的轨迹。
[0009]图4所示为本发明一实施例中一视频的时间轴。
[0010]其中，附图标记:
[0011]1视频播放的处理系统
[0012]10处理装置
[0013]12视频取得装置
[0014]14播放装置
[0015]0.0、3.0、4.0、4.5、5.0、6.0 时点
[0016]6.5、7.5、8.0、8.5、9.0 时点
[0017]3a —3g 轨迹
[0018]A10、A15、A20、A25、A28、A30、A35、A45 区域
[0019]d3、d6缓冲距离
[0020]D 形状
[0021]M50、M66、P0 — P9、P22、P31、T50 画面位置
[0022]S1、S6、S9、S10、S28、S30、S72 区段
[0023]SM50、ST50、ST85 区段
[0024]t10、t14、t16、t18 — 12。、t24、t26、t28、t2g 时点
[0025]t30、t34、t36、t38、t39 时点
【具体实施方式】
[0026]以下在实施方式中叙述本发明的详细特征，其内容足以使任何本领域的技术人员了解本发明的技术内容并据以实施，且依据本说明书所公开的内容、申请专利范围及附图，任何本领域的技术人员可轻易地理解本发明相关的目的及优点。以下实施例进一步说明本发明的诸面向，但非以任何面向限制本发明的范畴。
[0027]请参见图1，其为本发明一实施例中视频播放的处理系统的方块图。如图1所示，处理系统1包含视频取得装置12与处理装置10。处理装置10与视频取得装置12相耦接，处理装置10又耦接播放装置14。在另一实施例中，播放装置14可被视为处理系统1的一部分。在其他实施例中，处理装置10、视频取得装置12以及播放装置14可被整合为一个或多个装置，并不限于本发明目前所公开。
[0028]顾名思义，视频取得装置12用以取得视频。所谓取得可以是对真实世界拍摄或撷取(capture)连续影像，则视频取得装置12包含摄影镜头以及相关模块。取得亦可以是自外部下载或接收，则视频取得装置12可为任意计算机。某视频取得后，视频取得装置12用以产生关联于该视频的一份元数据。具体而言，视频取得装置12具视频内容分析(videocontent analysis)能力，而可辨识在视频中出现的至少一物体，并在元数据中记录该物体于该视频中的至少一轨迹。视频内容分析能力可藉由开放网络视频介面论坛(OpenNetwork Video Interface Forum，简称 0NVIF)所规范的视频分析(video analytics)引擎或其他类型的视频分析(video analytics)引擎所提供。所谓轨迹一般但并非绝对以清单(list)的方式记录；清单的每一笔数据包含一个时点以及在该时点物体于视频的某一画面中的位置。时点可以是时间戳(timestamp)、视频的帧(frame)的编号或其他带有顺序性的辨识符。举例来说，视频的每一帧或画面可能长800画素、宽600画素，而清单记录着在视频的第161帧时物体出现在位置(x161, y161)，其中1彡χ161^Ξ 800，1彡y 161彡600。在其他实施例中，元数据尚可包含被辨识物体的类别、颜色、大小等等。
[0029]处理装置10用以执行视频播放的处理方法，以对实际进行播放的播放装置14作出指示。其中，处理装置10可藉由目前或未来的各种处理器、中央处理器(CentralProcessing Unit, CPU)、控制元件(Control Unit)、微控制器、微处理器、特定应用集成电路(applicat1n-specific integrated circuit)、现场可编程逻辑门阵列(field-programmable gate array)、复杂可编程逻辑装置(complex programmable logicdevice)、系统单晶片(system-on-chip)、系统级封装(system-1n-package)或所属技术领域中的技术人员所能轻易思及具有计算能力的硬件元件，执行视频播放的处理方法相应的指令。视频播放的处理方法可实作为一电脑程序，并储存于一电脑可读取记录媒体中，而使电脑读取此记录媒体后执行视频播放的处理方法。电脑可读取记录媒体可为只读记忆体、快闪记忆体、软盘、硬盘、光盘、随身盘、磁带、可由网络存取的数据库或本领域的技术人员可轻易思及具有相同功能的电脑可读取记录媒体。
[0030]请配合图1参见图2，其为本发明一实施例中处理方法的流程图。如图2所示，于步骤(a)，处理装置10取得前述元数据。于步骤(b)，处理装置10依据元数据中物体的轨迹信息，在前述物体的轨迹上定义一个区段，该区段关于处理装置10于步骤(c)与(d)对播放装置14的指示。于步骤(c)，处理装置10指示当物体沿其轨迹出现在该区段上时，视频以第一速率播放。第一速率相对一第二者言，亦即大多数情况下，播放装置14依据指示会以两种速率播放视频的不同部分。在一实施例中，第一速率慢于第二速率。换句话说，在视频以第二速率相对快播的过程中，处理装置10定义一个以第一速率相对慢播的时段，让使用者在该时段清楚观察其感兴趣的该物体。物体在该时段恰出现于轨迹的该区段。
[0031]于步骤(c)，处理装置10可以仅指示区段，或指示区段之余告诉播放装置14该区段“有特别用途”或原则上对应慢播时段(若第一速率慢于第二 )，而不指定第一或第二速率。播放装置14得到指示时可自然理解区段的意义，而对物体在区段上的帧以及不在区段上的帧采取不一样的方式播放视频(如由使用者所设定的第一或第二速率)。于步骤(d)，处理装置10明文指示当前述物体沿其轨迹出现在非该区段之处时，视频以第二速率播放。其中，步骤(d)可被选择性的执行。举例来说，可使步骤(c)指示的优先(pr1rity)属性高于步骤(d)指示的优先属性。于是，在又有另一物体出现时，处理装置10对后来出现的第二物体于步骤(b)定义了第二物体的轨迹上的某区段(前述物体暂称第一物体)。在此实施例中，当视频播放至第一物体已离开其轨迹上所定义的区段时，适用对第一物体的来自步骤(d)的指示，而应该以第二速率播放；但若同一时段的视频上第二物体开始出现在其轨迹上所定义的区段，则应适用对第二物体的来自步骤(c)的指示，而应该以第一速率播放。两指示矛盾，应选择以来自步骤(c)的指示为主。换句话说，视频中只要有任一物体出现在其轨迹上所定义的区段即以第一速率播放；唯视频中所有物体皆适用步骤(d)的状况时，才选择指示以第二速率播放。
[0032]处理装置10可能特别对播放装置14下达指示，如透过两者的耦接传送。另由于处理系统1可能不包含播放装置14，处理装置10不一定知道播放装置14的存在(也就没有如图1所示的耦接)，因此也可在元数据里或以其他文件标记所定义的区段，任何取得指示的装置皆可据以播放相关的视频。步骤(c)与(d)可遵循业界标准，或处理装置10与潜在的播放装置14事先协议有沟通方式，如某种数据格式、通讯协定等。
[0033]播放装置14透过处理装置10或自视频取得装置(若与之耦接)12接收用以播放的视频，并可连带自处理装置10或透过视频取得装置12取得元数据或处理装置10不特定对象的指示。播放装置14可以是任意计算机，并包含用以显示或输出画面的模块；显示或输出的画面中可包含提供播放介面，或者播放装置14包含实体的介面模块。此外，播放装置14可依据上述所产生的指示进行播放或倒播。
[0034]执行步骤(b)依据的是前述物体的轨迹信息。所谓信息指可衍生自元数据对该轨迹的记录者。以下配合前述附图以多个实施例阐明如何定义轨迹上对应视频以第一速率播放的区段。
[0035]请参见图3A，其所示为实施例A中一物体在视频中的轨迹3a。物体在画面位置P0进入或出现于视频，在画面位置P9离开或消失。在实施例A中，轨迹信息即物体如前述在多个时点的空间或画面位置，处理装置10据以定义至少一区段，如指示当物体进入与离开时(分别对应区段S1与S9)视频以第一速率播放。事实上当物体出现在区段S1与S9上时播放装置14不一定以相同的第一速率播放视频，在同一区段S1或S9内第一速率也不必然为定值。举例来说，若第二速率用以快播，则物体在画面位置P0与P1间视频的瞬时第一速率可以由某最慢值渐渐逼近第二速率。处理装置10可能仅标记区段，播放的细节则由播放装置14补足或使用者提供。本发明对区段S1或S9的长度不加以限制。
[0036]请参见图3B，其所示为