视频处理方法及装置与流程

[0001]
本公开涉及视频处理技术领域。更具体地，本公开涉及一种视频处理方法及装置。


背景技术：

[0002]
视频处理中通常需要计算相邻两帧的运动向量，运动向量的搜索是一个计算量大的工程。
[0003]
uwb定位技术在室内定位方面有着很广泛的应用，甚至应用到文件分享方面(将离得近的设备优先显示在分享设备列表中)。


技术实现要素：

[0004]
本公开的示例性实施例在于提供一种视频处理方法及装置，以通过减少获取运动向量的计算量来提高获取运动向量的效率，进而提高视频处理的效率。
[0005]
根据本公开的示例性实施例，提供一种视频处理方法，包括：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
[0006]
可选地，获取目标对象的运动轨迹的步骤可包括：通过uwb定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的uwb距离和uwb角度；并且根据在所述每个时刻目标对象相对于相机的uwb距离和uwb角度确定目标对象在所述预设时间段内的运动轨迹。
[0007]
可选地，获取相机的运动轨迹的步骤可包括：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
[0008]
可选地，基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量的步骤可包括：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
[0009]
可选地，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
[0010]
根据本公开的示例性实施例，提供一种视频处理装置，包括：轨迹获取单元，被配置为在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；移动向量计算单元，被配置为基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；运动向量搜索单元，被配置为基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；和视频处理单元，被
配置为根据目标对象的运动向量对相机拍摄的视频进行处理。
[0011]
可选地，轨迹获取单元可被配置为：通过uwb定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的uwb距离和uwb角度；并且根据在所述每个时刻目标对象相对于相机的uwb距离和uwb角度确定目标对象在所述预设时间段内的运动轨迹。
[0012]
可选地，轨迹获取单元可被配置为：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
[0013]
可选地，运动向量搜索单元可被配置为：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
[0014]
可选地，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
[0015]
根据本公开的示例性实施例，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的视频处理方法。
[0016]
根据本公开的示例性实施例，提供一种计算装置，包括：处理器；存储器，存储有计算机程序，当所述计算机程序被处理器执行时，实现根据本公开的示例性实施例的视频处理方法。
[0017]
根据本公开的示例性实施例的视频处理方法及装置，通过在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理，从而通过基于目标对象的运动轨迹和相机的运动轨迹来获取运动向量，减少了获取运动向量的计算量，提高了获取运动向量的效率，进而提高了视频处理的效率。当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
[0018]
将在接下来的描述中部分阐述本公开总体构思另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开总体构思的实施而得知。
附图说明
[0019]
通过下面结合示例性地示出实施例的附图进行的描述，本公开的示例性实施例的上述和其他目的和特点将会变得更加清楚，其中：
[0020]
图1示出根据本公开的示例性实施例的视频处理方法的流程图；
[0021]
图2示出目标对象和包含相机的电子设备的示例的示图；
[0022]
图3示出在预设时间段内目标对象和相机的运动的示图；
[0023]
图4和图5示出目标对象在相机拍摄的视频帧中的运动的示图；
[0024]
图6示出根据本公开的示例性实施例的视频插帧的示图；
[0025]
图7示出将30fps的视频插帧到60fps的示图；
[0026]
图8示出根据本公开的示例性实施例的视频增加标签的示图；
[0027]
图9示出根据本公开的示例性实施例的视频处理装置的框图；和
[0028]
图10示出根据本公开的示例性实施例的计算装置的示意图。
具体实施方式
[0029]
现将详细参照本公开的示例性实施例，所述实施例的示例在附图中示出，其中，相同的标号始终指的是相同的部件。以下将通过参照附图来说明所述实施例，以便解释本公开。
[0030]
图1示出根据本公开的示例性实施例的视频处理方法的流程图。这里，视频处理包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。图1中的视频处理方法可由具有相机功能的电子设备执行，电子设备可以是例如，但不限于，移动电话、pda(个人数字助理)、pad(平板电脑)、相机、手表、学习机等。
[0031]
参照图1，在步骤s101，在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹。这里，预设时间段是一段短时间或者极短的时间，例如，但不限于，0.001ms、0.05ms、0.1ms、0.2ms、0.3ms、1s、2s等。
[0032]
在本公开的示例性实施例中，在获取目标对象的运动轨迹时，可首先通过uwb定位技术获取在预设时间段内的每个时刻目标对象相对于相机的相对位置，基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的uwb距离和uwb角度，然后根据在所述每个时刻目标对象相对于相机的uwb距离和uwb角度确定目标对象在所述预设时间段内的运动轨迹，从而方便地获取目标对象的运动轨迹。具体来说，由于uwb定位技术可以获取任意时刻相机和目标的相对位置。因此，可以获得任意时刻目标的运动轨迹m1。在通过uwb定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置时，可通过双向飞行的方式获取相机到目标的距离。
[0033]
在本公开的示例性实施例中，在获取相机的运动轨迹时，可首先获取相机在所述预设时间段内的加速度，然后基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
[0034]
图2示出目标对象和包含相机的电子设备的示例的示图。具体来说，由于电子设备的陀螺仪和加速度感应器可获得相机(电子设备上的相机)，因此，可以得到任意时刻手机的运动轨迹m2。获取相机在所述预设时间段内的加速度之后，可通过对加速度执行积分操作来获取相机的运动速度，并通过对相机的运动速度执行积分操作来得到相机在所述预设时间段内的位移(即，运动轨迹)。
[0035]
在步骤s102，基于第一运动轨迹和第二运动轨迹计算目标对象在预设时间段内相对于相机的目标移动向量。
[0036]
图3示出在预设时间段内目标对象和相机的运动的示图。具体来说，如图3所示，可
通过以下步骤计算目标对象在预设时间段内相对于相机的目标移动向量：
[0037]
a、用电子设备的相机拍摄一段目标对象运动的视频；
[0038]
b、在极短的时间t1(预设时间段)内，相机随着电子设备从a点移动到b点，可从m2获取向量
[0039]
c、目标对象从c点到d点，可从m1获取到向量和向量
[0040]
d、基于向量和向量计算目标移动向量。由于计算目标移动向量。由于因此，目标移动向量因此，目标移动向量
[0041]
在本公开的示例性实施例中，可存在一些特殊的情形：
[0042]
(1)电子设备不移动，即目标对象从c点移动到d点，
[0043]
(2)目标对象没有移动，电子设备从a点移动到b点，
[0044]
(3)目标对象和电子设备都没有移动，
[0045]
在步骤s103，基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量。
[0046]
在本公开的示例性实施例中，在基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量时，可首先确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量，然后当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量，从而优化了获得运动向量的过程，提高了获得运动向量的效率。
[0047]
图4和图5示出目标对象在相机拍摄的视频帧中的运动的示图。
[0048]
在步骤s104，根据目标对象的运动向量对相机拍摄的视频进行处理。
[0049]
在本公开的示例性实施例中，可根据视频的运动向量进行视频编码或者视频压缩、视频插帧等，还可根据视频的运动向量为视频增加标签。
[0050]
图6示出根据本公开的示例性实施例的视频插帧的示图。图7示出将30fps的视频插帧到60fps的示图。
[0051]
如图6所示，基于运动向量在视频的第t帧和第t+1帧之间插入一帧(或者两帧、或者更多帧)，从而提高视频帧率。具体来说，在将30fps的视频插帧到60fps时，如果相邻两帧之间的时间差是t，则将获取目标移动向量的时间t1设置为t/2。如图7所示，将30fps的视频插帧到60fps之后，视频更加清晰。
[0052]
图8示出根据本公开的示例性实施例的视频增加标签的示图。如图8所示，根据目标对象的运动轨迹来给视频增加2个标签“骑山地车”和“山地车表演秀”，从而使得增加的标签更清晰更符合视频的含义。
[0053]
具体来说，当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
[0054]
此外，根据本公开的示例性实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被执行时，实现根据本公开的示例性实施例的视频处理方法。
[0055]
在本公开的示例性实施例中，所述计算机可读存储介质可承载有一个或者多个程序，当所述计算机程序被执行时可实现以下步骤：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
[0056]
计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储计算机程序的有形介质，该计算机程序可以被指令执行系统、装置或者器件使用或者与其结合使用。计算机可读存储介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。计算机可读存储介质可以包含在任意装置中；也可以单独存在，而未装配入该装置中。
[0057]
以上已经结合图1至图8对根据本公开的示例性实施例的视频处理方法进行了描述。在下文中，将参照图9对根据本公开的示例性实施例的视频处理装置及其单元进行描述。
[0058]
图9示出根据本公开的示例性实施例的视频处理装置的框图。
[0059]
在本公开的示例性实施例中，视频处理可包括以下至少一个：视频编码或者视频压缩、视频插帧、给视频增加标签。
[0060]
参照图9，视频处理装置包括轨迹获取单元91、移动向量计算单元92、运动向量搜索单元93和视频处理单元94。
[0061]
轨迹获取单元91被配置为在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹。
[0062]
在本公开的示例性实施例中，轨迹获取单元91可被配置为：通过uwb定位技术获取在所述预设时间段内的每个时刻目标对象相对于相机的相对位置；基于目标对象相对于相机的相对位置确定坐标系，并在所述坐标系中确定在所述每个时刻目标对象相对于相机的uwb距离和uwb角度；并且根据在所述每个时刻目标对象相对于相机的uwb距离和uwb角度确定目标对象在所述预设时间段内的运动轨迹。
[0063]
在本公开的示例性实施例中，轨迹获取单元91可被配置为：获取相机在所述预设时间段内的加速度；并且基于相机的加速度确定相机的运动速度，并基于相机的运动速度确定相机在所述预设时间段内的运动轨迹。
[0064]
移动向量计算单元92被配置为基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量。
[0065]
运动向量搜索单元93被配置为基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量。
[0066]
在本公开的示例性实施例中，运动向量搜索单元93可被配置为：确定目标移动向量是否是目标对象在相机拍摄的视频中的运动向量；并且当目标移动向量不是目标对象在相机拍摄的视频中的运动向量时，在相机拍摄的视频中以目标移动向量为基准在其周围搜索目标对象的运动向量。
[0067]
视频处理单元94被配置为根据目标对象的运动向量对相机拍摄的视频进行处理。
[0068]
以上已经结合图9对根据本公开的示例性实施例的视频处理装置进行了描述。接下来，结合图10对根据本公开的示例性实施例的计算装置进行描述。
[0069]
图10示出根据本公开的示例性实施例的计算装置的示意图。
[0070]
参照图10，根据本公开的示例性实施例的计算装置10，包括存储器101和处理器102，所述存储器101上存储有计算机程序，当所述计算机程序被处理器102执行时，实现根据本公开的示例性实施例的视频处理方法。
[0071]
在本公开的示例性实施例中，当所述计算机程序被处理器102执行时，可实现以下步骤：在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理。
[0072]
本公开实施例中的计算装置可以包括但不限于诸如移动电话、笔记本电脑、pda(个人数字助理)、pad(平板电脑)、相机、手表、学习机等的装置。图10示出的计算装置仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0073]
以上已参照图1至图10描述了根据本公开的示例性实施例的视频处理方法及装置。然而，应该理解的是：图9中所示的视频处理装置及其单元可分别被配置为执行特定功能的软件、硬件、固件或上述项的任意组合，图10中所示的计算装置并不限于包括以上示出的组件，而是可根据需要增加或删除一些组件，并且以上组件也可被组合。
[0074]
根据本公开的示例性实施例的视频处理方法及装置，通过在预设时间段内，获取目标对象的运动轨迹作为第一运动轨迹，并获取相机的运动轨迹作为第二运动轨迹；基于第一运动轨迹和第二运动轨迹计算目标对象在所述预设时间段内相对于相机的目标移动向量；基于目标移动向量在相机拍摄的视频中搜索目标对象的运动向量；并且根据目标对象的运动向量对相机拍摄的视频进行处理，从而通过基于目标对象的运动轨迹和相机的运动轨迹来获取运动向量，减少了获取运动向量的计算量，提高了获取运动向量的效率，进而提高了视频处理的效率。当将根据本公开的示例性实施例的视频处理方法用于视频编码或者视频压缩时，可提高视频编码或者视频压缩的速度。当将根据本公开的示例性实施例的视频处理方法用于视频插帧时，可提高视频插帧的速度和精确度。当将根据本公开的示例性实施例的视频处理方法用于增加视频标签时，可提高增加视频标签的速度，并且提高增加的视频标签的语义精准度。
[0075]
尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。