摘要视频产生方法和视频数据处理系统与流程

【交叉引用】

本申请要求申请日为2015年11月20日，美国临时申请号为62/257,755的美国临时申请案的优先权，上述临时申请案的内容一并并入本申请。

【技术领域】

本发明有关于视频录制以及处理，更具体来说，有关于用于产生已录制视频的摘要视频(summarizedvideo)的方法和相关视频数据处理系统。

背景技术：

随着计算机技术的发展，视频录制的应用已经变得越来越普遍。市场上的电子装置，例如视频摄像机、移动装置、无人驾驶飞行器(unmannedaerialvehicle，简写为uav)，或任何其它电子装置中，通常配有视频录制功能，而且越来越多人使用视频录制功能以在这样的电子装置上进行视频录制。然而，当录制大尺寸的视频时，需要大量的存储空间，而且可能会遇到很长的网络上传时间和坏可读性。

此外，用户可能希望容易地和快速地共享和查看视频内容，或者希望在录制后将视频减少到特定大小以压缩或发送在网络上。然而，如果视频太大，用户必须在一个单独的程序中编辑内容，以使视频足够短，方便快速容易查看。这些特征不是在设备上通常可用的，所以用户必须使用应用程序(app)，以手动编辑所录制的视频或将视频内容下载到计算机执行编辑，以便缩短视频。然而，这往往超出了用户的技能水平，或需要太多的时间和精力来实用。

因此，提供了一种用于智能视频数据处理系统和用于产生已录制的视频的摘要视频相关方法的需求，以解决上述的问题。

技术实现要素：

依据本发明的示范性实施例，提出一种摘要视频产生方法和视频数据处理系统以解决上述问题。

依据本发明的一个实施例，提出一种摘要视频产生方法，用于视频数据处理系统中的录制视频数据，摘要视频产生方法包含接收视频录制期间自至少一个源产生的视频数据以及录制相关信息；分析录制相关信息，且从录制相关信息中撷取所需信息以产生接收的视频数据的元数据信息；基于元数据信息剪裁接收的视频数据，以产生剪裁视频数据；以及基于剪裁视频数据产生录制视频数据的摘要视频。

依据本发明的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制相关信息并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；以及视频编码器，耦接于重要性分析器，并接收录制视频数据以及元数据信息，并基于元数据信息剪裁接收的视频数据以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。

依据本发明的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制视频数据期间产生的录制相关信息，并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；视频编码器，耦接于重要性分析器，并接收录制视频数据以及元数据信息，并编码录制视频数据以产生具有元数据信息嵌入其中的编码视频比特流；以及摘要引擎，接收具有元数据信息的编码视频比特流，并基于元数据信息剪裁编码视频比特流以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。

依据本发明的另一实施例，提出一种视频数据处理系统，包含重要性分析器，自至少一个源接收录制视频数据期间产生的录制相关信息，并自录制相关信息撷取所需信息，以产生录制视频数据的元数据信息；视频编码器，接收录制视频数据，并编码录制视频数据以产生编码视频比特流；以及摘要引擎，接收编码视频比特流，并自存储装置获取元数据信息，基于元数据信息剪裁编码视频比特流以产生剪裁视频数据，并基于剪裁视频数据产生录制视频数据的摘要视频。

本发明的摘要视频产生方法和视频数据处理系统可以减小存储器带宽并降低编码复杂度。

【附图说明】

图1a是依据本发明实施例的视频数据处理系统的示意图。

图1b是依据本揭露的一个实施方式的视频数据处理系统配置的示意图。

图1c是依据本揭露的另一个实施方式的视频数据处理系统配置的示意图。

图2是在本发明的另一个实施方式中产生已录制的视频的摘要视频的方法的流程图。

图3a是依据本揭露的一种实施方式的录制的视频的摘要视频的示意图。

图3b是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。

图3c是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。

图3d是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。

图4a是依据本揭露的一个实施方式的roi探测的示意图。

图4b是依据本揭露的另一个实施方式的roi探测的示意图。

图4c是依据本揭露的另一个实施方式的roi探测的示意图。

图4d是依据本揭露的另一个实施方式的roi探测的示意图。

图5是依据本公开的另一实施方式的视频数据处理系统的示意图。

图6是依据本公开的另一实施方式的视频数据处理系统的示意图。

图7是依据本公开的另一实施方式的视频数据处理系统的示意图。

【具体实施方式】

在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。

图1a是依据本发明实施例的视频数据处理系统的示意图。视频数据处理系统10可被实施于电子装置中，例如能够获取图像或视频数据的移动装置(例如平板电脑、智能电话、或可穿戴的计算装置)或膝上型计算机。视频数据处理系统10也可以被实施为多个芯片或单个芯片，诸如片上系统(systemonchip，简写为soc)或设置在移动装置中的移动处理器。例如，视频数据处理系统10至少包含处理器110、接口120、图形处理单元(graphicsprocessingunit，简写为gpu)130、存储单元140、显示器150、视频捕获装置160、视频编码器170和多个传感器或探测器180和重要性分析器190中的一部分。

处理器110、gpu130、存储单元140、视频编码器170和多个传感器或探测器180和重要性分析器190可通过接口120彼此耦接。接口120可以是任意有线或无线数据传输接口或其任意组合。处理器110可为中央处理单元(cpu)、通用处理器、数字信号处理器，或任意等效的电路，但本公开并不限于此。例如，存储单元140可包含易失性存储器141和/或非易失性存储器142。易失性存储器141可为动态随机存取存储器(dynamicrandomaccessmemory，简写为dram)或静态随机存取存储器(staticrandomaccessmemory，简写为sram)，而非易失性存储器142可为快闪存储器，硬盘，固态硬盘(solid-statedisk，简写为ssd)等。例如，用于在视频数据处理系统10上使用的应用的程序码可被预储存在非易失性存储器142中。处理器110可从非易失性存储器142加载应用程序的程序代码到易失性存储器141，并执行应用程序的程序代码。处理器110也可发送图像数据至gpu130，且gpu130可决定待被显示器150渲染的图像数据。请注意，尽管易失性存储器141和非易失性存储器142被展示为一个存储单元，它们可以用不同的存储单元分别实施。此外，在不同的实施方式中，可以实施不同数量的易失性存储器141和/或非易失性存储器142。显示器150可为耦接来控制显示装置(图中未示)的显示电路或硬件。显示装置可包含驱动电路和显示面板中的一个或两个均包含，并且可以位于视频数据处理系统10的内部或外部。

视频捕获装置160可执行视频录制功能或捕获视频数据。视频捕获装置160可包含图像传感器(可为单一传感器或包含多个独立或分开的传感器单元的传感器阵列)，例如视频摄像机、无人机(unmannedaerialvehicle，简写为uav)，或能够进行视频录制的任何其它电子设备。当执行视频录制时，视频捕获装置160可获取具有多个视频帧的视频数据并将视频帧提供至视频编码器170。

视频编码器170耦接于视频捕获装置160以获取视频帧并编码视频帧，用来以与视频标准(例如h.264、mpeg4、hevc或任意其他视频标准)兼容的任意合适的媒体格式产生已编码视频数据，例如已编码视频比特流。例如，视频编码器170可为标准视频编码器、具有预变形(pre-warping)功能的视频编码器或者具有剪裁信息嵌入(croppinginformationembed)功能的视频编码器，但本发明并不限于此。当视频编码器170为具有预变形功能的视频编码器时，其可更在编码期间对已编码视频比特流执行重映射或变形操作以移除原始视频数据的失真(即重映射或变形所述剪裁视频数据，以移除所述剪裁视频数据上的失真；以及编码重映射或变形的所述视频数据，以产生所述录制视频数据的所述摘要视频)。当视频编码器170为具有剪裁信息嵌入功能的视频编码器时，其可更将剪裁信息嵌入至已编码视频比特流，以使解码器(图中未示)在接收到具有剪裁信息的已编码视频比特流时，可以执行各个变形操作以恢复视频数据的不失真视图。

录制视频数据期间，传感器或探测器180可提供对应于视频数据处理系统10及/或视频内容的各种状态数据的传感器数据。例如，传感器或探测器180可为下述中的一个或多个：基于音频的信号探测器、摄像头传感器、运动探测器、位置探测器、对象探测器、定时器，来自连接的网络的装置或感兴趣区(region-of-interest，简写为roi)探测器，但本公开并不限于此。

重要性分析器190可自多个源获取所需信息以产生参考信息(也称为元数据(metadata)信息)。更具体来说，多个源(例如，传感器或探测器180)的信息在执行视频录制期间被收集，作为录制相关信息，且重要性分析器190可随后自所述源接受这些录制相关信息并自录制相关信息撷取所需信息，以产生已录制视频数据的元数据信息。元数据信息可包含对应于视频录制期间的装置状态信息及/或视频内容的信息，用于选择探测视频帧。录制相关信息可提供一个或多个装置信号的状态、与视频录制相关的其他信号，以及由此收集各个信息。录制相关信息可包含与下述中的一个或多个相关的信息：基于音频的信号探测、摄像头传感信息、运动探测信息、位置探测信息、对象探测信息、定时信息，来自连接的网络的其他装置信息或用户定义roi信息，但本公开并不限于此。

重要性分析器190可更对原始视频的原始数据执行视频分析，例如感知原始视频中对象的出现和消失，或感知原始视频中对象的运动、背景区域探测、前景和对象探测以及roi探测(例如，人脸探测)。重要性分析器190可随后自录制相关信息获取所需关于视频的信息。在某些实施方式中，元数据信息可被包含于待被插入至视频帧之间的h.264sei消息中，或者被包含于mp4用户数据(udata)消息中(例如，当特定事件发生时)，且h.264sei消息或mp4用户数据(udata)消息可被植入至相应比特流中。

更具体来说，当视频录制时，与传感器或探测器180相关联的传感器数据可被登入(logged)/收集。其可包含来自于装置的加速计的装置的移动相关的信息及/或基于装置陀螺仪的装置的旋转相关的信息。所述被登入的数据(也被称为元数据信息)可被分析以视频原始数据中的剪裁部分。在一个实施方式中，在视频录制期间，视频数据处理系统10可请求来自运动探测器的测量，并访问由运动探测器测量的传感器数据。举例来说，但不限于此，运动探测器可以是陀螺仪、加速计、重力传感器、光传感器或者用于决定视频数据处理系统10的运动的类似仪器。在另一个实施方式中，视频数据处理系统10也可要求来自位置探测器的测量。举例来说，但不限于此，位置探测器可以是gps传感器、晴雨表、磁场传感器、罗盘、重力感应器、空气压力仪或者用于提供视频数据处理系统10的位置信息的类似仪器。在另一个实施方式中，源也可以为基于音频的源，其可被用于对被录制的视频执行基于音频的探测，例如探测特定声音(如，语音、掌声、欢呼声、响度、模式识别等)。在另一个实施方式中，源也可以为对象探测器，用于对录制的视频执行对象探测操作(如，脸部探测、人脸识别、对象探测、对象识别等)。在另一个实施方式中，源也可以为摄像头传感器，用于执行摄像头相关操作，并探测被录制的视频以及产生相应信息(如自动聚焦探测信息、光水平探测信息、噪声水平探测信息等)。在另一个实施方式中，源也可以是一个连接的网络(例如，因特网或无线网络)连接的其他装置，诸如提供心脏的跳动速率和体温信息的医疗装置、湿度计、pm2.5监测仪器等。

在该实施方式中，视频数据处理系统10可更包含摘要引擎200。摘要引擎200可剪裁所接收的视频数据以基于重要性分析器190所产生的元数据信息产生剪裁视频数据，以及依据剪裁视频数据产生已录制的视频数据的摘要视频，使得视频的大部分有趣的部分被很好地表示。

在一个实施方式中，视频编码器170和摘要引擎200位于同一个电子装置中。在某些其他的实施方式中，处理器110、接口120、gpu130、存储单元140、显示器150、视频捕获装置160、视频编码器170以及多个传感器或探测器180和重要性分析器190可被实施于多于一个的装置上，本揭露对此并没有限制。

图1b是依据本揭露的一个实施方式的视频数据处理系统配置的示意图，图1c是依据本揭露的另一个实施方式的视频数据处理系统配置的示意图。在图1b所示的视频数据处理系统10的配置中，视频编码器170和摘要引擎200位于同一个电子装置100上。例如，电子装置100可为能够获取图像或视频数据的移动装置(例如，平板计算机、智能电话，或可穿戴的计算装置)或膝上型计算机，并且本公开不限于此。

在图1c所示的视频数据处理系统10的另一种配置中，视频编码器170和摘要引擎200分别位于两个电子装置上，例如视频编码器170可位于电子装置100上，而摘要引擎200可位于另一电子装置210上，如图1c所示。

视频编码器170可以通过位于电子装置100上的硬件电路操作，或者可以通过电子装置100的处理器执行的软件模块操作。摘要引擎200可以通过位于电子装置210上的硬件电路操作，或者可以通过电子装置210的处理器执行的软件模块操作。在其它实施方式中，摘要引擎200也可以被省略(图中未示)。

图2是在本发明的另一个实施方式中产生已录制的视频的摘要视频的方法的流程图。方法可被例如图1a或图1b中的视频数据处理系统10执行。图1a或图1b中的视频数据处理系统10仅用于在此解释流程图，但并非限于仅将该流程图应用于视频数据处理系统10。

在步骤s202中，录制视频数据期间自一个或多个源(例如，传感器或探测器180)产生的视频数据以及录制相关信息被接收。步骤s202可被例如图1a中的视频编码器170及/或重要性分析器190执行。更具体来说，视频录制可以依据硬件或软件按钮被启动，或者响应相应于用户行为产生的另一控制信号被启动。例如，被按压的按钮可以选择视频传感器，且视频被选定，而视频录制将被启动。在该实施方式中，源可为下述中的一个或多个：基于音频的信号探测器、摄像头传感器、运动探测器、位置探测器、对象探测器、定时器，来自连接的网络的装置或roi探测器，但本公开并不限于此。由一个或多个源产生的录制相关信息可提供一个或多个装置信号的状态以及在视频录制期间收集的其他信号，以及由此收集各个信息。录制相关信息可包含与下述中的一个或多个相关的信息：基于音频的信号探测信息、摄像头传感信息、运动探测信息、位置探测信息、对象探测信息、定时信息，来自连接的网络的其他装置信息或如上所述的用户定义roi信息。

例如，当视频数据处理系统10的传感器或探测器180包含运动探测器，例如陀螺仪、加速计、重力传感器、光传感器等时，视频数据处理系统10可请求来自运动探测器的测量，且当视频被记录时，运动探测器可相应产生传感器数据。运动探测器测量的传感器数据(即，运动探测器信息)可随后被重要性分析器190访问，以决定视频数据处理系统10的运动。

在步骤s204，录制相关信息被分析，且所需信息被从录制相关信息中撷取以产生所接收的视频数据的元数据信息。步骤s204可由例如图1a中的重要性分析器190执行。更具体来说，重要性分析器190可自一个或多个源获取所需数据，以分析图像和视频中的视频/音频信号，以基于录制相关信息决定所接收的视频数据的重要部分或者移除部分，并使用相应于重要部分或移除部分的录制相关信息作为所需信息，以产生所接收的视频数据的元数据信息。在某些实施例中，录制相关信息的特定群(例如rio探测信息)可被预定义作为产生元数据信息的所需信息，以使所接收的视频数据中的视频帧的特定组(如具有探测到到roi的所有视频帧)可被保存。在另一或同一实施方式中，rio探测信息可通过基于预定roi数据对所接收的视频数据的视频帧执行roi探测，以探测所接收的视频数据上的至少一个roi位置获得。更具体来说，视频分享可被执行于原始视频的原始数据上，例如感知原始视频中对象的出现或消失，或感知对象的运动、背景区域探测、前景和对象探测以及roi探测(例如，人脸探测)，且各分析结果可稍后用于决定剪裁视频数据。

在步骤s206，所接收的视频数据被基于元数据信息剪裁，以产生剪裁视频数据。步骤s206可由例如图1a、图1b或图1c中的视频编码器170或摘要引擎200执行。

更具体来说，所接收的视频数据的重要部分或移除部分可基于与所接收的视频数据相关的元数据信息被决定，而剪裁视频数据可依据所接收的视频数据的重要部分或移除部分产生。剪裁视频数据可包含所接收的视频数据的重要部分，但排除所接收的视频数据的移除部分。在一个实施方式中，在元数据信息包含roi探测信息的情况下，所接收的视频数据中被探测到roi的所有视频帧被标注为重要部分，且剪裁视频数据依据被标注的视频帧而决定。例如，当元数据信息包含roi探测信息时，所接收的视频数据中被探测到roi的所有视频帧可被设置为剪裁的视频帧。

剪裁视频数据产生之后，在步骤s208，所记录的视频数据的摘要视频基于所剪裁视频数据产生。步骤s208可由例如图1a、图1b或图1c中的视频编码器170或摘要引擎200执行。更具体来说，所有剪裁视频数据可被收集，且原始视频数据的其余部分(也被称为移除部分)可被自原始视频数据中移除，以产生摘要视频。剪裁的视频片段可被保存，并使用其被剪裁的长度被分享，并根据需要与其它片段组合。例如，在特定区域的各元数据包含侦测到的roi信息的实施方式中，当所侦测的roi信息指示用户指定的roi时，重要性分析器190将具有该用户指定的roi的每一视频帧标注为剪裁部分，并保留所有剪裁部分。roi被保留在剪裁视频数据之内。例如，roi可基于运动探测或人脸探测而被识别。

图3a是依据本揭露的一种实施方式的录制的视频的摘要视频的示意图。在该实施方式中，具有对象被探测到的视频片段或帧可被保留用于产生摘要视频。如图3a所示，视频数据301中有若干视频片段，包含片段s11、片段s12、片段s13和片段s14，且仅片段s11、片段s12、片段s13和片段s14具有roi(例如，预定对象或脸)被探测到。因此，片段s11、片段s12、片段s13和片段s14被标注并被保留，且稍后被用作剪裁视频以基于roi探测结果产生视频数据301的摘要视频301’。为了说明的目的，上述实施方式中，剪裁视频片段的个数是4。本领域的普通技术人员将理解，不同数量的剪裁视频片段可以用于生成摘要视频。

在另一个实施方式中，在视频摘要生成期间，具有对象被探测到的视频帧可被保留，与此同时，具有异常高运动被探测到的(例如，使用加速计或重力传感器的运动探测器进行探测)视频帧可被丢弃。例如，具有对象(如比赛中的领队或重要人物)被探测到的视频帧可被保留，而具有异常高运动被探测到的视频帧可被丢弃，并自摘要视频移除。图3b是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。如图3b所示，视频数据302包含六个片段：片段s21、片段s22、片段s23、片段s24、片段s25和片段s26，其中片段s22和s23具有对象被探测到并被保留，与此同时，片段s24、s25和s26具有异常高运动被探测到(可使用由加速计所探测到的运动传感器信息决定)。因此，片段s24、s25和s26被丢弃，且仅有片段s22和s23被随后依据对象探测和运动探测结果用作剪裁视频数据，用于产生摘要视频302’。

在另一个实施方式中，在视频摘要生成期间，元数据信息可更包含每一视频帧的聚焦信息(指示自动聚焦是否失败)，聚焦信息可被获取以决定哪一帧可被丢弃，并自摘要视频移除。聚焦信息指示自动聚焦失败的帧被决定为待被移除的帧，从而被从原始视频移除，以产生摘要视频。图3c是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。如图3c所示，视频数据303包含四个片段：片段s31、片段s32、片段s33和片段s34，其中片段s31和s32的聚焦信息均指示其自动聚焦失败，从而依据自动聚焦探测结果，片段s31和s32被丢弃，且仅有片段s33和s34被用于产生摘要视频303’。

在某些实施方式中，在视频摘要生成期间，元数据信息可更包含每一视频帧的曝光信息(指示是否过曝)，曝光信息可被获取以决定哪一帧可被丢弃，并自摘要视频移除。曝光信息指示过曝的帧被决定为待被移除的帧，从而被从原始视频移除，以产生摘要视频。图3d是依据本揭露的另一种实施方式的录制的视频的摘要视频的示意图。如图3d所示，视频数据304包含五个片段：片段s41、片段s42、片段s43、片段s44和片段s45，其中片段s44和s45的曝光信息均指示其过曝，从而依据曝光探测结果，片段s44和s45被丢弃，且仅有片段s41、片段s42和片段s43被用于产生摘要视频304’。

应当理解的是，在上述实施方式中，剪裁视频数据的数据大小比所接收的视频数据的数据大小小。

在某些实施方式中，可更提供大分辨率或高分辨率视频的摘要的方法作为一个范例。与普通视频一样或类似，方法可被用于减小大分辨率或高分辨率视频的大小。在下述实施方式中，大分辨率或高分辨率视频可为具有大分辨率(例如，8k*4k)的视频，例如，360度视频、全景视频等。应当理解的是，在下述实施方式中，剪裁视频数据的图像质量与所接收的视频数据的图像质量一样。

大分辨率或高分辨率视频的输入可由单一被捕获的视频、多个被捕获的视频或多个被捕获的视频的拼接(stitch)结果产生。首先对大分辨率或高分辨率视频执行roi探测。更具体来说，大分辨率或高分辨率视频中的每一视频帧基于预定roi数据被执行roi探测，以探测大分辨率或高分辨率视频上的至少一个roi位置。roi可基于例如运动探测或人脸探测被识别。预定roi数据可为缺省特征(defaultfeature)(例如，通过特定对象或脸)或在视频录制期间由用户定义(例如，通过在触摸屏面板上的触摸)的特定区域。在roi探测完成后，由于roi是自动探测的，可能找到超过一个roi或者所探测的roi的大小可能不匹配所期望的分辨率。因此，提供了数个策略以解决上述问题。请注意，在部分实施例中，在roi探测完成之后，可能在特定视频片段上没有roi位置被探测到。在这样的情况下，该特定视频片段可被直接丢弃，或先前剪裁的roi(先前剪裁区域)的位置可被用作该特定视频片段的roi位置。

在一个实施方式中，当在roi探测被执行后，所接收的视频数据的第一视频帧上找到多个roi时，基于先前剪裁的roi的位置，多个roi中的一个可被选做第一视频帧的探测到的roi以保持视频流畅性。图4a是依据本揭露的一个实施方式的roi探测的示意图。如图4a所示，有三个roi401、402、403被找到。依据先前剪裁的roi(先前剪裁区域)404的位置，由于roi401的位置比其他两个找到的roi402和403的位置离先前剪裁的roi404的位置更近，roi401可被选为探测到的roi。从而，与roi401相关的选定的剪裁区域可被确定。

在另一个实施方式中，当在所接收的视频数据的特定视频帧上找到多个roi时，所找到的多个roi可被进一步在该特定视频帧上分为画中画(picture-in-picture，简写为pip)形式，以保留更多roi。图4b是依据本揭露的另一个实施方式的roi探测的示意图。如图4b所示，有三个roi401、402、403被找到。在该实施方式中，依据先前剪裁的roi(先前剪裁区域)404，生成pip，其中pip包含所有找到的roi401、402和403。例如，在如图4b所示的pip中，roi401被设置为主图像，而roi402和403被设置为子图像。借助pip，更多roi被保留。

在另一个实施方式中，更决定所探测到的roi的大小是否匹配所需分辨率，其中当所探测到的roi的大小不匹配所需分辨率时，所探测到的roi的剪裁区域基于先前剪裁的roi的大小被调整大小。更具体来说，基于所探测到的roi的大小和所需分辨率的比较结果，所探测到的roi的剪裁区域可被扩展或者剪裁。图4c是依据本揭露的另一个实施方式的roi探测的示意图。如图4c所示，若所探测到的roi的大小小于所需分辨率，所探测到的roi的剪裁区域可以基于先前剪裁区域的大小被扩展至所需分辨率。例如，在图4c中，所探测到的roi401的大小为640*480，小于所需分辨率(例如，1024*768的分辨率)，从而所探测到的roi401的剪裁区域可以基于先前剪裁区域404的大小被扩展至所需分辨率。

图4d是依据本揭露的另一个实施方式的roi探测的示意图。如图4d所示，若所探测到的roi的大小大于所需分辨率，所探测到的roi的剪裁区域可以基于先前剪裁区域的大小被剪裁至所需分辨率。例如，在图4d中，所探测到的roi401的大小为1024*768，大于所需分辨率(例如，640*480的分辨率)，从而所探测到的roi401的剪裁区域可以基于先前剪裁区域404的大小被剪裁至所需分辨率。在部分其他实施例中，所探测到的roi401可更被处理至所需分辨率(例如，640*480的分辨率)，其并非为本揭露的限制。

与没有提供视频剪裁的原始视频数据处理系统相比，藉由本公开的提供视频剪裁视频数据处理系统，由于帧缓冲器的大小减小，存储器带宽、网络带宽，和编码复杂性可以被节省/降低。例如，当具有8k*4k大小的视频可被剪裁为具有2k*1k大小的视频时，所需的帧缓冲器的大小自8092*4096*1.5减小为2048*1080*1.5。

此外，由于360度拼接图像可能在某些矩形图像表示的区域中失真，可能需要变形操作，以恢复失真区域，以获取更佳观赏体验。更具体来说，剪裁视频数据可被重映射或者被变形以移除剪裁视频数据上的失真，且重映射或者被变形的视频数据随后被编码以产生已记录视频的摘要视频。例如，在一个实施方式中，视频编码器170可为具有剪裁信息嵌入功能的视频编码器，其中其可更将剪裁信息嵌入至已编码视频比特流，以使解码器(图中未示)在接收到具有剪裁信息的已编码视频比特流时，可以执行各变形操作，以恢复视频数据的失真视图。

在一些实施方式中，视频的摘要可在编码器侧实时(onthefly)执行，或者在代码转换器(transcoder)侧线下(offline)执行，由此提供视频摘要更多的灵活性。“实时(onthefly)”的术语是指视频的摘要是在视频录制期间实时执行。另外，术语“线下(offline)”是指视频的摘要在视频录制完成之后进行。

在一些实施方式中，在视频录制期间提供实时的视频摘要的视频数据处理系统被提供。在该实施方式中，在视频录制期间，装置信号和用户指定的感兴趣区被输入至重要性分析器用于分析，并且可以随后被用于基于视频编码器提供的实时分析结果摘要大视频。

图5是依据本公开的另一实施方式的视频数据处理系统的示意图。在该实施方式中，视频数据处理系统至少包含多个源、重要性分析器以及视频编码器。举例来说，图5所示的多个源、重要性分析器以及视频编码器可以分别利用图1a所示的视频数据处理系统10的传感器或探测器180、重要性分析器190，视频编码器170实施。

.如图5所示，多个源被配置为在录制视频数据期间产生多个录制相关信息。多个源可为下述中的一个或多个：基于音频的信号探测器、摄像头传感器、运动探测器、位置探测器、对象探测器、定时器，来自连接的网络的装置或roi探测器，但本公开并不限于此。录制相关信息可包含与下述中的一个或多个相关的信息：基于音频的信号探测、摄像头传感信息、运动探测信息、位置探测信息、对象探测信息、定时信息，来自连接的网络的其他装置信息或如上所述的用户定义roi信息。

重要性分析器被配置为自源接收录制相关信息，并自录制相关信息撷取所需信息，以产生录制的视频数据的元数据信息。视频编码器耦接于重要性分析器，自视频源(例如，视频捕获装置160)接收已记录视频的视频原始数据及元数据信息，并基于元数据信息剪裁所接收的视频数据以产生剪裁视频数据，以及基于剪裁视频数据产生所记录视频数据的摘要视频。

在另一个实施方式中，提供非实时视频摘要的视频数据处理系统被提供。在该实施方式中，在视频录制期间，装置信号，用户指定的感兴趣区和其他录制相关信息被输入至重要性分析器用于分析，并且结果(称为元数据信息)被保存在编码比特流中，且大视频可基于元数据信息被线下摘要。

图6是依据本公开的另一实施方式的视频数据处理系统的示意图。在该实施方式中，视频数据处理系统至少包含多个源、重要性分析器、视频编码器以及摘要引擎。举例来说，图6所示的多个源、重要性分析器、视频编码器以及摘要引擎可以分别利用图1a或图1b所示的视频数据处理系统10的传感器或探测器180、重要性分析器190、视频编码器170及摘要引擎200实施。重要性分析器自所有源获取所需信息，并产生元数据信息。视频编码器耦接于重要性分析器，自视频源(例如，视频捕获装置160)接收视频原始数据及元数据信息，并编码录制的视频数据以产生具有元数据信息的编码视频比特流。举例来说，具有元数据信息的编码视频比特流可被储存于存储装置(例如，存储单元140或其他外部存储装置)中。在视频录制结束之后，在线下，摘要引擎自存储装置(从无论是内部或是外部)获取具有元数据信息嵌入至其中的编码视频比特流，并依据编码视频流和包含于编码视频比特流中的元数据信息产生摘要视频流。

在又一个实施方式中，提供非实时视频摘要的视频数据处理系统被提供。图7是依据本公开的另一实施方式的视频数据处理系统的示意图。在该实施方式中，视频数据处理系统至少包含多个源、重要性分析器、视频编码器以及摘要引擎。举例来说，图7所示的多个源、重要性分析器、视频编码器以及摘要引擎可以分别利用图1a、图1b或图1c所示的视频数据处理系统10的传感器或探测器180、重要性分析器190、视频编码器170及摘要引擎200实施。在录制视频数据期间，重要性分析器自所有源获取录制相关信息，并产生元数据信息。视频编码器耦接于重要性分析器，自视频源(例如，视频捕获装置160)接收视频原始数据，并编码视频原始数据以产生编码原始视频比特流。例如，编码原始视频比特流和元数据信息可被随后储存于存储装置(例如，存储单元140或其他外部存储装置)中。在视频录制结束之后，在线下，摘要引擎自存储装置(从无论是内部或是外部)获取编码原始视频比特流和元数据信息，并依据编码原始视频比特流和元数据信息产生摘要视频流。

鉴于上述实施方式，产生记录视频的摘要视频的视频数据处理系统和相关方法被提供。视频数据处理系统的重要性分析器可获取个元数据信息，并基于元数据信息自所记录的帧中自动决定重要或所需片段，以及在不需要用户手动编辑的情况下，自动移除视频的不需要的部分，从而获取较佳视频录制效率。例如，当特定装置信号被探测到时，原始视频的原始数据可被剪裁为具有较小分辨率或较短视频长度的摘要视频。因此，帧缓冲器所需的空间可以显著减少，因此所需的存储器带宽可以减小，且编码复杂度也可以降低。而且，视频的摘要可在编码器侧实时执行，或者在代码转换器侧线下执行，由此提供视频摘要更多的灵活性。

本文所描述的实现方式可以被实现在，例如，方法或过程、装置，或硬件和软件的组合。即使只在单一形式的实施的背景下讨论(例如，仅作为方法讨论)，所讨论的功能的执行也可以以其他形式来实现。例如，实施可经由硬件设备或硬件和软件的装置来完成。装置可以被实现在，例如适当的硬件、软件和固件。该方法可以在诸如处理器的装置中实现，它指的是任何处理设备，包括，例如计算机、微处理器、集成电路，或可编程逻辑器件。

以上所述仅为本发明的较佳实施例，本领域相关的技术人员依据本发明的精神所做的等效变化与修改，都应当涵盖在权利要求内。