在全向摄像机中使用有效差分运动矢量传送方法编码视频的方法和方法及装置与流程

本发明涉及用于全向安全摄像机的高质量视频压缩方法和设备中的图像编码和解码技术。并且更具体地，本发明涉及用于高效地传送差分运动矢量、通过所传送的差分运动矢量计算实际运动矢量并因此执行运动补偿的方法和设备。

背景技术：

近年来，由于犯罪(例如针对非特定人群的无差别犯罪、针对特定目标的报复性犯罪以及针对社会弱势阶层的犯罪)造成社会焦虑增加，因此对用于安全的各种装置和系统的需求不断增加。特别地，安全摄像机(cctv)可以用作关于犯罪现场的证据或对犯罪分子的印象描述，因此对个人安全的需求以及国家需求正在增加。然而，由于传送或存储所获取的数据的条件有限，因此图像质量劣化或者存在图像可能被保存为低质量图像的实际问题。为了利用各种安全摄像机图像，需要能够以低数据量存储高质量图像的高质量压缩方法。

在大多数图像压缩中，由于通过图像之间的压缩来提高编码/解码效率，因此提出了有效地压缩图像的各种发明。有效的运动矢量传送技术是用于提高帧间预测性能的重要技术。

技术实现要素：

技术问题

本发明的一些实施方式的目的是有效地压缩经由全向安全摄像机获取的图像数据。

然而，应当理解，本发明的技术问题不限于上述技术问题，还可能存在其他技术问题。

技术解决方案

作为用于实现上述目的的技术手段，根据本发明的实施方式的用于对图像进行解码的设备和方法使用虚拟运动矢量向图像适应性地设定运动矢量的预测候选，并且在使用预测候选和所传送的差分运动矢量计算实际运动矢量之后执行运动补偿。为此，本发明的实施方式包括用于解析图像信息和摄像机信息的解析单元、用于使用经解析的信息计算和预测图像信息的信息获取单元、用于使用图像信息确定虚拟图像坐标系的虚拟坐标确定单元、用于在虚拟坐标中设定运动矢量预测候选的运动矢量预测候选设定单元、用于通过使用预测运动矢量和所传送的差分运动矢量来计算虚拟运动矢量的虚拟运动矢量计算单元、用于将虚拟运动矢量转换成图像中的实际运动矢量的运动矢量转换单元以及用于使用实际运动矢量执行运动补偿的运动补偿执行单元。

有益效果

为了提高帧间预测编码效率，本发明通过反映图像特性来确定虚拟坐标，使用虚拟坐标中的预测运动矢量和差分运动矢量来计算虚拟运动矢量，并且然后执行运动补偿。

附图说明

图1是示出根据本发明的实施方式的视频解码设备的配置的框图。

图2示出了根据本发明的实施方式的在运动矢量预测中被用作预测运动矢量的候选的相邻块的位置。

图3是根据本发明的实施方式的其中不存在预测运动矢量的候选的实施方式。

图4示出了根据本发明的实施方式的预测运动矢量的虚拟坐标与实际图像坐标之间的关系。

图5示出了本发明的实施方式中的执行帧间预测的方法。

图6示出了本发明的实施方式中的执行帧间预测的方法。

图7示出了本发明的实施方式中的计算运动矢量以执行运动补偿的过程。

图8是用于说明本发明的实施方式中的虚拟坐标的概念的图。

图9示出了本发明的实施方式中的各种类型的全向投影。

图10示出了在本发明的实施方式中使用投影图像来构造帧的方法。

图11示出了在本发明的实施方式中使用投影图像来构造帧的方法。

具体实施方式

在下文中，将参照本发明的附图详细描述本发明的实施方式，使得本领域技术人员可以容易地实现本发明。然而，本发明可以以许多不同的形式实施，并且不应该被解释为限于本文所阐述的实施方式。为了清楚地说明本发明，在附图中省略了与描述无关的部分并且在整个说明书中用相似的附图标记表示相似的部分。

在整个说明书中，在声称一个部件“连接”至另一部件时，其不仅包括该部件直接连接的情况，还包括该部件与另一部件电连接以及其间存在其他装置的情况。此外，在说明书中，在声称一个元件“包括”一个元件时，应当理解，在不排除其他元件的情况下该元件还可以包括其他元件，只要不存在相反的描述即可。

本说明书中使用的术语“～步骤”或“～的步骤”并不意味着用于～的步骤。

此外，可以使用诸如第一、第二等术语来描述各种部件，但是这些部件不应受这些术语的限制。这些术语仅用于将一个部件与另一部件区分开的目的。

此外，本发明的实施方式中所示的部件被独立地示出以表示不同的特征功能，但是这并不意味着每个部件由独立的硬件或一个软件构成单元组成。也就是说，是为了便于说明而单独描述每个构成单元，并且可以组合构成单元中的至少两个构成单元以形成一个构成单元，或者一个构成单元可以被划分成多个构成单元以执行功能。在不脱离本发明的实质的情况下，这些部件中的每个的单独实施方式以及集成实施方式也包括在本发明的范围内。

首先，将如下简要描述本申请中使用的术语。

视频解码设备可以是诸如个人安全摄像机、私人安全系统、军用安全摄像机、军事安全系统、个人计算机(pc)、笔记本计算机、便携式多媒体播放器(pmp)、无线通信终端、智能电话、tv应用服务器和服务服务器的服务器终端中包括的装置。视频解码设备可以是各种装置，包括诸如各种装置的用户终端、诸如有线/无线通信网络的通信装置、用于执行通信等的通信调制解调器、用于帧间预测或帧内预测或用于对图像进行解码的各种程序、用于存储数据的存储器以及用于通过执行程序进行计算和控制的微处理器。

此外，可以经由有线或无线通信网络(例如互联网、局域无线通信网络、无线lan网络、wibro网络、移动通信网络)或者经由线缆、通用串行总线(usb)等将被编码器编码成比特流的图像实时或非实时地传送至图像解码设备。经编码的图像可以被解码并恢复为图像并且然后被再现。

通常，运动图片可以由一系列图片组成，并且每个图片可以被划分成诸如块的编码单元。应当理解，以下描述的术语“图片”可以用诸如图像、帧等具有等同含义的其他术语来代替。术语“编码单元”可以用诸如单元块、块等具有等同含义的其他术语来代替。

在下文中，将参照附图详细描述本发明的实施方式。在本发明的描述中，对于相同的部件将省略重复的描述。

图7示出了根据本发明的实施方式的执行运动补偿的过程。在本发明的实施方式中，解码器对从编码器发送的比特流中的图像获取摄像机的信息和图像信息进行解析(701)。可以以序列单元、sei消息单元或者图像组或单个图像单元传送信息。比特流中包括的摄像机信息可以包括同时获取图像的摄像机的数目、摄像机的位置、摄像机的角度、摄像机的类型以及摄像机的分辨率。图像信息可以包括通过摄像机获取的图像的分辨率、尺寸、比特深度、投影形状、预处理类型、相关系数信息以及虚拟坐标相关信息。根据实施方式，可以传送所有这些信息。可以仅传送信息中的一部分，并且可以由解码器计算或得出信息中的另一部分。除了上述信息之外，还可以一起传送解码器所需的信息。

解码器从所传送且经解析的信息中获得用于解码的信息(702)。根据实施方式，所传送的信息可以直接用作用于解码的信息，或者可以利用所传送的信息得出或计算出用于解码的信息。参照上述实施方式，所传送的或者通过对应的图像信息获取的信息可以是与以下有关的信息：在确定预测运动矢量组时在与图3和图4中描述的图像的边界块相对的图像边界处解码的块的运动矢量是否包括在候选组中，以及是否应用了图6所示的参考块被图片边界划分的实施方式。划分的块可能存在于彼此不同的边界处。解码器基于所获取的信息确定虚拟坐标(703)。

本发明的实施方式

在下文中，将参照本发明的附图详细描述本发明的实施方式，使得本领域技术人员可以容易地实现本发明。然而，本发明可以以许多不同的形式实施，并且不应该被解释为限于本文所阐述的实施方式。为了清楚地说明本发明，在附图中省略了与描述无关的部分并且在整个说明书中用相似的附图标记表示相似的部分。

在整个说明书中，在声称一个部件“连接”至另一部件时，其不仅包括该部件直接连接的情况，还包括该部件与另一部件电连接以及其间存在其他装置的情况。此外，在说明书中，在声称一个元件“包括”一个元件时，应当理解，在不排除其他元件的情况下该元件还可以包括其他元件，只要不存在相反的描述即可。

本说明书中使用的术语“～步骤”或“～的步骤”并不意味着用于～的步骤。

此外，可以使用诸如第一、第二等术语来描述各种部件，但是这些部件不应受这些术语的限制。这些术语仅用于将一个部件与另一部件区分开的目的。

此外，本发明的实施方式中所示的部件被独立地示出以表示不同的特征功能，但是这并不意味着每个部件由独立的硬件或一个软件构成单元组成。也就是说，是为了便于说明而单独描述每个构成单元，并且可以组合构成单元中的至少两个构成单元以形成一个构成单元，或者一个构成单元可以被划分成多个构成单元以执行功能。在不脱离本发明的实质的情况下，这些部件中的每个的单独实施方式以及集成实施方式也包括在本发明的范围内。

首先，将如下简要描述本申请中使用的术语。

视频解码设备可以是诸如个人安全摄像机、私人安全系统、军用安全摄像机、军事安全系统、个人计算机(pc)、笔记本计算机、便携式多媒体播放器(pmp)、无线通信终端、智能电话、tv应用服务器和服务服务器的服务器终端中包括的装置。视频解码设备可以是各种装置，包括诸如各种装置的用户终端、诸如有线/无线通信网络的通信装置、用于执行通信等的通信调制解调器、用于帧间预测或帧内预测或用于对图像进行解码的各种程序、用于存储数据的存储器以及用于通过执行程序进行计算和控制的微处理器。

此外，可以经由有线或无线通信网络(例如互联网、局域无线通信网络、无线lan网络、wibro网络、移动通信网络)或者经由线缆、通用串行总线(usb)等将被编码器编码成比特流的图像实时或非实时地传送至图像解码设备。经编码的图像可以被解码并恢复为图像并且然后被再现。

通常，运动图片可以由一系列图片组成，并且每个图片可以被划分成诸如块的编码单元。应当理解，以下描述的术语“图片”可以用诸如图像、帧等具有等同含义的其他术语来代替。术语“编码单元”可以用诸如单元块、块等具有等同含义的其他术语来代替。

在下文中，将参照附图详细描述本发明的实施方式。在本发明的描述中，对于相同的部件将省略重复的描述。

图1示出了根据本发明的实施方式的用于使用块划分信息在逐块的基础上执行图像解码的解码设备。该解码设备可以包括熵解码单元110、逆量化单元120、逆变换单元130、帧间预测单元140、帧内预测单元150、环路滤波器单元160或重构图像存储单元170中的至少一者。

熵解码单元110对输入的比特流100进行解码并且输出诸如语法元素和量化系数的解码信息。输出的信息包括用于执行解码的各种信息并且可以包括关于图像和图像获取摄像机的信息。图像信息和图像获取信息可以以各种形式和单元被传送，而且可以从比特流中提取，或者可以使用从比特流中提取的信息来计算或预测。

逆量化单元120和逆变换单元130接收量化系数、执行逆量化和逆变换并且输出残差信号。

帧间预测单元140使用从比特流中提取的差分运动矢量和预测运动矢量来计算运动矢量，并且通过使用存储在重构图像存储单元170中的重构图像执行运动补偿来生成预测信号。在这种情况下，对预测运动矢量的准确预测可能是有效的运动矢量传送中非常重要的因素，因为它可以减小差分运动矢量的量。如图2所示，要解码的当前块的相邻块的运动矢量被用作预测运动矢量的候选。图2是本发明的一种实施方式。解码块的形状以及运动矢量候选与当前解码块之间的位置关系可以根据本发明的实施方式变化。在图2中，根据实施方式，解码块的形状可以是正方形、具有任意大小的非正方形或具有任意形状的块。可以根据解码块的形状和图像内的坐标以各种形式确定运动矢量候选。运动矢量候选可以表示：要解码的当前块的相邻块的运动矢量、参考图像的同位块的运动矢量、与解码块对应的色度分量的运动矢量、与解码块对应的色度分量的相邻块的运动矢量、基于参考图像与解码图像之间的时间位置关系的由于缩放产生的运动矢量、解码块的相邻块的运动矢量。图3示出了在构造预测运动矢量候选组时，根据当前解码块在图像中的位置关系或图像的特性，不存在空间相邻块的运动矢量的情况。在图3中，灰色阴影块表示不存在的块或不具有运动矢量的块。根据实施方式，相邻块的空间预测运动矢量的候选的存在或不存在可以变化。图3示出了四个实施方式。例如，如图3a所示，如果要解码的当前块位于图像的右边缘，则图像中不会存在具有阴影位置的块，而且不会存在运动矢量。在这种情况下，可以如图4所示使用处于不同位置的块的运动矢量。如图4所示，位于图像右边缘的解码块不具有阴影位置处的解码块，但是存在r位置处的解码块。因此，r位置处的解码块的运动矢量也可以用作预测运动矢量候选。图4的实施方式可以应用于图3的(b)、(c)和(d)的情况。这是具有普通知识的人能够预测的实施方式，因而将省略对其的详细描述。可以通过经由该处理获得预测运动矢量并且向预测运动矢量添加通过比特流传送的差分运动矢量来计算运动矢量。基于所获得的运动矢量和参考图像来执行帧间预测单元140的运动补偿。

与本发明的实施方式类似，编码器可以将包括相关信息的语法发送至解码器，以便使用远离当前解码块定位的块的运动矢量而不是相邻块的运动矢量作为预测运动矢量。该传送能够以各种级别(例如序列单元、帧单元、切片单元、图块单元)进行。在本文中，序列、帧、切片和图块可以用表示一组编码单元的其他术语来代替。可以根据实施方式直接发送是否使用本发明的实施方式的信息和相关信息，或者解码器可以使用从编码器发送的其他信息进行计算和估计。

本发明的实施方式不仅可以同样地应用于预测运动矢量候选组的确定，而且可以同样地应用于运动矢量合并(mv合并)。编码器中的运动矢量合并需要合并候选运动矢量，并且本发明的实施方式中的预测运动矢量候选组可以用作运动矢量合并的候选组。也就是说，在根据本发明的实施方式的解码器中，在当前解码块对应于与相邻块使用相同的运动矢量的运动矢量合并块时，当前解码块可以与参照图3和图4描述的运动矢量候选块中的一个合并。可以通过对比特流进行解析和解码从解码器获得对应信息。

帧内预测单元150通过使用与要解码的当前块相邻的已解码的相邻块的像素值执行空间预测来生成当前块的预测信号。

从帧间预测单元140和帧内预测单元150输出的预测信号与残差信号相加，并且通过相加生成的重构图像被发送至环路滤波器单元160。

在环路滤波器单元160中被应用了滤波的重构图片存储在重构图像存储单元170中，并且可以用作帧间预测单元140中的参考图片。

图5示出了在帧间预测中应用的对块的运动补偿的实施方式。图5a示出了在仅使用一个参考图像时对p切片的运动补偿，而图5b示出了在使用两个参考图像时对b切片的运动补偿。在对b切片的运动补偿中，参考图像可以是无论poc如何先前已被解码并存储在参考图像帧缓冲器中的帧中的一个。相关信息连同索引信息和运动信息(差分运动矢量、合并索引、缩放信息等)一起被从编码器发送至解码器，并且可以使用该信息对块进行解码。在使用预测运动矢量、差分运动矢量信息或运动矢量合并信息执行运动补偿时，如图5所示的参考块一般位于参考图像内。在本发明的实施方式中，以与图6相同的形式示出了针对图像之间的参考而计算的运动矢量。可以参考由运动矢量指示的参考块。如果根据图像特性该图像的左边缘与右边缘之间的相关性高，则可以通过本发明的实施方式来提高编码效率。图6中的区域b和区域c在图像平面中位于不同位置处的两个边缘上，但在x坐标中它们是位于同一位置的块。当两个边缘彼此连接时，形状变成如图8a所示那样。也就是说，根据本发明的实施方式，可以以连接具有高相关性的两个边缘的形式执行运动补偿。如果图像在上边缘与下边缘之间具有高相关性，则可以以图8b所示的形式执行运动补偿。无论参考图像的数目如何，都可以执行本发明的实施方式。本发明的实施方式可以应用于如图6b所示的在图像内参考两个参考块中的一个而在图像边缘处参考两个参考块中的另一个的第一种情况，或者可以应用于在图像边缘处参考全部两个参考块的第二种情况。

如图8的实施方式所示，通过将图像的边界彼此连接来设定虚拟坐标。图像的边界彼此连接以形成环形形状。运动矢量可能出现在边界之外或跨过边界。与图8类似，只有一个边界可以彼此连接以具有虚拟坐标。然而，取决于摄像机的类型和在(701)中获取的图像的投影类型，边界可以以多面体或球体的形式连接，并且因此可以具有复杂的连接边界。此外，由于要连接的边界可能根据摄像机的数目和投影的类型而变化，因此虚拟坐标设定可以根据图像适应性地出现。如果获得了虚拟坐标，则可以根据虚拟坐标进行pmv候选设定704。通过预测运动矢量和所传送的差分运动矢量来计算虚拟坐标中的运动矢量705。然后，计算虚拟运动矢量作为平面图像中的运动矢量(706)，并且然后使用对应的运动矢量执行参考区域确定和补偿(707)。如果虚拟坐标和实际坐标相同，则可以在不进行虚拟坐标设定步骤的情况下执行参考区域确定和补偿。为了便于进行实施方式，通过虚拟坐标来计算mv以执行运动补偿。然而，根据实施方式，可以在没有虚拟坐标的情况下执行运动矢量计算。也就是说，根据实施方式，也可以在没有虚拟坐标的情况下基于使用表映射转换坐标的方法来计算运动矢量并且执行参考图像中的运动补偿。尽管该实施方式不包括设计虚拟坐标的步骤，但是映射坐标的表可以包括虚拟坐标设计。在另一实施方式中，编码器可以发送包括用于虚拟坐标设计的坐标设置或坐标映射表的图像信息。解码器可以使用从编码器发送的坐标映射表来执行图像中的实际坐标与虚拟坐标之间的转换。在另一实施方式中，可以通过编码器与解码器之间的约定来固定虚拟坐标或坐标并且可以使用所固定的虚拟坐标值。在具有单个虚拟坐标值的实施方式中，解码器仅使用预定的虚拟坐标来执行运动矢量计算和运动补偿。在承诺了多个固定的虚拟坐标时，编码器可以向解码器发送指示对应虚拟坐标的信息，或者解码器可以通过基于已解码的图像进行预测来获得与虚拟坐标有关的信息。

图9是对全向摄像机的图像进行投影的各种实施方式。图9a示出了在立方体上的投影。在该实施方式中，传感器的数目可以是六个以便与相应投影平面的数目相匹配，但是也可能存在更少或更多的情况。在利用正六面体执行投影时，生成六个平面的图像。为了压缩和传送这些图像，可以如图10a所示由一帧组成一个面，或者可以使用六个图像来构造和传送一帧。此时，图10b中的六个面的位置可以根据实施方式而变化。在本发明的实施方式中，由于在设定虚拟坐标时可能使用对应信息，因此编码器必须通过比特流将对应信息发送给解码器。解码器可以在(701)和(702)处获得信息并在进行虚拟坐标设计时使用该信息。当然，如果信息是通过编码器和解码器的承诺预先确定的，则可以省略该信息。即使没有从编码器接收到信息，解码器也可以通过承诺的内容获得该信息。图10c对应于在将图像投影到具有12个面的图形上的情况下将投影图像构造成一帧的实施方式。该实施方式涉及对由具有多个传感器的摄像机在同一时间获得的一个或多个图像进行投影并且构造成一帧以便于压缩和传送的方法。该方法根据摄像机传感器的数目和投影类型而具有各种形式，并且可以根据实施方式而变化。

图11示出了涉及投影类型和构造帧的方法的另一实施方式。在图11中，黑色着色部分是对所获取的图像进行了投影并且存在实际图像数据的部分，而白色部分是不存在图像数据的部分。根据投影方法或构造帧的方法，数据可能不以用一般矩形帧填充的形式存在。在这种情况下，编码器必须向解码器发送对应信息。根据实施方式，可以填充白色部分以形成矩形帧，并且然后可以对该帧进行编解码。在不进行填充的情况下仅可以对图像数据进行编码/解码。在这两种方法中，编码器/解码器需要知道并使用相关信息。可以从编码器向解码器发送相关信息，或者可以通过编码器和解码器的承诺来确定相关信息。

工业适用性

本发明可以用于诸如广播装备制造、终端制造的制造商以及与视频编码/解码相关行业中的原始技术相关的行业。

列表自由文本

无。