编码设备、编码方法、解码设备、解码方法、发送设备和接收设备与流程

本技术涉及编码设备、编码方法、解码设备、解码方法、发送设备和接收设备。具体而言，本公开涉及用于编码宽视角图像的运动图像数据的编码设备等。

背景技术：

使用对应于宽视角的镜子、透镜等捕获的宽视角图像根据距图像中心的距离而变形。例如，专利文献1描述了作为宽视角图像等的全方位图像。

在对所述宽视角图像的运动图像数据进行编码的情况下，如果通过根据传统方法相对于参考图像平移块形数据来执行运动预测，则残差可能变大并且编码比特率可不合需要地增加。

引用列表

专利文献

专利文献1：日本专利申请公开no.2009-200939

技术实现要素：

本发明要解决的问题

本技术的目的是成功地编码宽视角图像的运动图像数据。

问题的解决方案

本技术的概念在于一种发送设备，包括：

编码设备，对宽视角图像的运动图像数据进行编码，以获得编码流，以及

发送单元，以预定格式发送包括编码流的容器，其中

编码设备包括

块划分单元，将宽视角图像的运动图像数据划分成块，以获得编码目标块，

参考块提取单元，为每个编码目标块提取运动补偿的参考块，

参考块调整单元，对参考块执行旋转和/或缩放的调整处理，

编码单元，对于每个编码目标块，基于编码目标块的像素值和经过调整处理的参考块的像素值计算残差信号，并对每个编码目标块的残差信号进行编码获得编码流，和

信息插入单元，对于每个编码目标块，将调整处理的信息与运动向量一起插入到编码流中。

本技术提供了包括编码设备和发送单元的发送设备。编码设备对宽视角图像的运动图像数据进行编码以获得编码流。发送单元以包括编码流的预定格式发送容器。例如，宽视角图像可以是全方位图像。

编码设备包括块划分单元、参考块提取单元、参考块调整单元、编码单元和信息插入单元。块划分单元将宽视角图像的运动图像数据分成块，以获得编码目标块。参考块提取单元为每个编码目标块提取运动补偿的参考块。

参考块调整单元对参考块执行旋转和/或缩放的调整处理。例如，参考块调整单元可根据参考块和编码目标块的位置自动确定旋转角度。

此外，例如，参考块调整单元可在块匹配之前对每个候选执行旋转处理，在块匹配中参考块提取单元提取参考块。此外，例如，参考块调整单元可对块匹配的结果执行旋转处理，在块匹配中参考块提取单元提取参考块。

编码单元基于编码目标块的像素值和经过调整处理的参考块的像素值计算每个编码目标块的残差信号，并对每个编码目标块的残差信号进行编码以获得编码流。然后，信息插入单元将每个编码目标块的调整处理信息与运动向量一起插入编码流中。

以这种方式，本技术执行对参考块的旋转和/或缩放的调整处理。因此，可减少残差、可降低编码比特率并且因此可提高运动预测的编码性能。此外，对于每个编码目标块，本技术将调整处理信息与运动向量一起插入到编码流中。因此，在解码侧，可基于调整处理的信息和运动向量容易且适当地获得运动补偿参考块，并且可容易且适当地执行解码处理。

此外，本技术的另一个概念是接收设备，包括

接收单元，接收预定格式的容器，所述容器包括通过对宽视角图像的运动图像数据进行编码而获得的编码流，以及

解码设备，对编码流进行解码，得到宽视角图像的图像数据，其中，

解码设备包括

解码单元，对编码流进行解码以获得每个解码目标块的残差信号，

针对每个编码目标块，编码流包括插入到编码流中的用于获得参考块的运动向量以及旋转和/或缩放的调整处理信息，，

解码设备还包括：

参考块提取单元，基于每个块的运动向量和调整处理信息，为每个解码目标块提取参考块，以及

像素值计算单元，对于每个解码目标块，将参考块的像素值与残差信号相加，以获得宽视角图像的运动图像数据。

本技术提供了包括接收单元和解码设备的接收设备。接收单元以预定格式接收容器，该包括通过对宽视角图像的运动图像数据进行编码而获得的编码流。解码设备对编码流进行解码以获得宽视角图像的图像数据。

解码设备包括解码单元、参考块提取单元和像素值计算单元。解码单元对编码流进行解码以获得每个解码目标块的残差信号。编码流接收运动向量和插入到编码流中的旋转和/或缩放的调整处理信息，以获得每个编码目标块的参考块。

参考块提取单元基于每个块的运动向量和调整处理信息，为每个解码目标块提取参考块。然后，像素值计算单元将参考块的像素值与每个解码目标块的残差信号相加，并获得宽视角图像的运动图像数据。

以这种方式，本技术基于每个块的运动向量和插入到编码流中的调整处理信息，提取每个解码目标块的参考块。因此，可容易且适当地获得运动补偿参考块，并且可容易且适当地执行解码处理。

发明效果

根据本技术，可令人满意地编码宽视角图像的运动图像数据。注意，本文列出的效果不是限制性的，并且可获得本文公开的任何一种效果。

附图说明

图1是示出发送和接收系统的实施例的配置实例的框图。

图2示出了由全方位相机捕获的全方位图像的实例。

图3示出了在全方位图像的全景展开之后获得的图像的实例。

图4是示出发送设备的配置实例的框图。

图5示出了通过传统块平移应用运动预测的实例。

图6示出了通过参考块调整应用运动预测的实例。

图7示出了通过传统块平移应用运动预测的实例与通过参考块调整应用运动预测的实例之间的比较。

图8是发送设备的编码器的编码处理部分的配置实例的框图。

图9示出了运动预测/运动补偿电路和参考图像调整信息处理单元中的处理流程的实例。

图10示出了运动预测/运动补偿电路和参考图像调整信息处理单元中的处理流程的另一实例。

图11示出了切片nal单元的实例结构。

图12示出了切片区段数据的实例结构。

图13示出了“ref_block_adjust_proc(x,y,mvx,mvy,ref_idx)”字段的实例结构。

图14示出了“ref_block_adjust_proc(x,y,mvx,mvy,ref_idx)”字段的实例结构中的主要信息的内容。

图15是接收设备的配置实例的框图。

图16是接收设备中的解码器的解码处理部分的配置实例的框图。

具体实施方式

下面将描述用于执行本发明的模式(下文中称为实施例)。请注意，描述按以下顺序给出：

1.实施例

2.修改

<1.实施例>

[发送和接收系统]

图1示出了发送和接收系统10的实施例的配置实例。发送和接收系统10包括发送设备100和接收设备200。

发送设备100通过广播波发送作为容器的传输流ts。传输流ts包括通过对本实施例中的全方位图像的宽视角图像进行编码而获得的编码流(视频流)。

图2示出了由全方位相机捕获的全方位图像的实例。全方位相机使用例如双曲面镜进行成像，如本领域所公知的。在全方位图像中设置参考点(目标点)o。全方位图像具有以参考点o为中心的360度图像。通过全景展开该全方位图像，获得二维360度图像，如图3所示。全方位图像(例如使用如上所述的双曲面镜成像)根据距参考点o的距离和角位置而变形。

发送设备100执行例如运动补偿预测编码，并且当针对每个编码目标块提取运动补偿参考块时，调整参考块的旋转和/或缩放(线性，非线性)。因此，即使全方位图像如上所述变形，也可降低残差和编码比特率，并且运动预测编码的性能得到改善。例如，根据参考块和编码目标块的位置自动确定旋转角度。

发送设备100将调整处理信息与运动向量一起插入到每个编码目标块的编码流中。因此，在接收侧(解码侧)，基于调整处理信息与运动向量一起容易且适当地获得运动补偿参考块，同时容易且适当地执行解码处理，以令人满意地获得全方位运动图像数据。

接收设备200通过广播波接收从发送设备100发送的上述传输流ts。如上所述，传输流ts包括通过对全方位运动图像数据的运动图像数据进行编码而获得的编码流(视频流)。然后，编码流包括与每个编码目标块的运动向量一起插入编码流中的调整处理信息。

接收设备200基于每个块的运动向量和插入到编码流中的旋转和/或缩放调整处理信息，提取每个解码目标块的参考块。因此，容易且适当地获得运动补偿参考块，同时容易且适当地执行解码处理以令人满意地获得全方位运动图像数据。

<发送设备的配置>

图4示出了发送设备100的配置实例。发送设备100包括中央处理单元(cpu)101、全方位相机102、编码器103、压缩数据缓冲器104、ts格式器105和发送单元106。

cpu101是控制发送设备100的每个单元的操作的控制单元。全方位相机102捕获对象的图像以获得全方位图像的运动图像数据vd。编码器103例如根据avc或hevc对全方位图像的运动图像数据vd进行编码，以获得编码流(视频流)。

编码器103执行运动补偿预测编码，并且当针对每个编码目标块提取运动补偿参考块时，对参考块执行旋转和/或缩放调整处理。因此，减少了残差和编码比特率，并且改善了运动预测编码的性能。例如，根据参考块和编码目标块的位置自动确定旋转角度。

图5示出了通过传统块转换的运动预测的应用实例。左视图示出了时间t0处的参考帧(过去帧)，右视图示出了时间t1处的编码目标帧(当前帧)。通过诸如块匹配的运动检测处理，以最小化作为编码目标块与参考块之间的差的残差的方式，在参考块中确定对应于编码目标帧的编码目标块的参考块。mv表示运动向量。

即使当物体在真实空间中随时间进行平移运动时，全方位图像也不会简单地以平移方式移动，而是以旋转和/或缩放移动。因此，编码目标块中的图像相对于参考块中的图像被旋转和/或缩放。因此，如图7(a)所示，残差即参考块的像素值与编码目标块的像素值之间的差值很大。

图6示出了通过参考块调整应用运动预测的实例。左视图示出了时间t0处的参考帧(过去帧)，右视图示出了时间t1处的编码目标帧(当前帧)。通过诸如块匹配的运动检测处理，以最小化作为编码目标块与参考块之间的差的残差误差的方式，在参考块中确定(在调整之前)对应于编码目标帧的块的编码目标的参考块。mv表示运动向量。

确定编码目标块和参考块之间相对于参考点o形成的角度θ。然后，在参考帧中设置覆盖包括参考块的范围的调整处理范围，并且将调整处理范围中的图像旋转角度θ，并且根据需要，进行预定的缩放处理。因此，如图7(b)所示，在调整处理之后，调整处理之前的参考块中的图像已经旋转角度θ并且进一步缩放。残差即参考块的像素值与编码目标块的像素值之间的差值很小。

图8示出了编码器103的编码处理部分的配置实例。编码器103包括阻塞电路121、减法电路122、运动预测/运动补偿电路123、整数转换/量化电路124、逆量化/逆整数转换电路125、加法器电路126、环路滤波器127、存储器128、参考图像调整信息处理单元129和熵编码电路130。

全方位图像的运动图像数据vd被输入到阻塞电路121。在阻塞电路121中，构成运动图像数据vd的每个图片的图像数据被分成编码目标块(mb：宏块)作为编码处理的单元。编码目标块被顺序地提供给减法电路122。

运动预测/运动补偿电路123基于存储在存储器128中的参考图片的图像数据，为每个编码目标块提取运动补偿的参考块(预测参考块)。该参考块已经经过调整处理，诸如如上所述在参考图像调整信息处理单元129中的旋转和/或缩放(参见图6和7(b))。

注意，(1)参考图像调整信息处理单元129对其中运动预测/运动补偿电路123提取参考块的块匹配之前的每个候选执行旋转或缩放处理。可替代地，(2)参考图像调整信息处理单元129对其中运动预测/运动补偿电路123提取参考块的块匹配的结果执行旋转或缩放处理。

图9示出了在(1)的情况下运动预测/运动补偿电路123和参考图像调整信息处理单元129中的处理流程。首先，在步骤st1中，开始处理。接下来，在步骤st2中，设置参考块的左上位置。接下来，在步骤st3中，获得编码目标块和参考块之间的旋转角度θ。

接下来，在步骤st4中，将参考块旋转θ。此外，参考块按比率s进行缩放。注意，旋转和缩放的参考点是参考块的左上角。接下来，在步骤st5中，在已经旋转(缩放)的参考块和编码目标块之间计算残差分量j。在残差功率相对于旋转(缩放)之前的参考块设置位置处的残差分量k是p(k)>p(j)的情况下，存储运动向量和旋转角度θ(缩放比率s)。

注意，可通过基于角度信息的预取处理，相对于编码目标块的相邻区域预先确定每个旋转(缩放)的参考块。在步骤st6中，根据运动向量和旋转角度θ(缩放比率s)将存储在先前循环中的运动向量与残差功率进行比较，并且使用具有较小残差功率和旋转角度θ(缩放比率s)的运动向量用于更新。此外，在步骤st7中，如果未确定循环中的残差功率是最小残差功率，则改变参考块的左上位置并重复上述处理。另一方面，如果确定残差功率最小，则退出该处理。在步骤st8中，将st7的残差功率与通过传统的块匹配获得的残差功率进行比较，并采用较小的值。此后，在步骤st9，处理结束。

图10示出了在(1)的情况下运动预测/运动补偿电路123和参考图像调整信息处理单元129中的处理流程。首先，在步骤st11中，开始处理。接下来，在步骤st12中，根据传统的块匹配获得运动向量。

接下来，在步骤st13中，设置在运动向量的位置处的参考块的左上位置。接下来，在步骤st14中，获得编码目标块与参考块之间的旋转角度θ。接下来，在步骤st15中，将参考块旋转θ。此外，参考块按比率s进行缩放。注意，旋转和缩放的参考点是参考块的左上角。

接下来，在步骤st16中，在已经旋转(缩放)的参考块和编码目标块之间计算残差分量j。接下来，在步骤st17中，将该残差分量k与通过传统的块匹配方法的残差分量k进行比较。在残差功率是p(k)>p(j)的情况下，存储调整信息(旋转角度θ和缩放比率s的信息)。否则，存储调整信息(旋转角度θ＝0并且缩放比率s＝1)。在步骤st17的处理之后，处理在步骤st18结束。

返回图8，由运动预测/运动补偿电路123获得的参考块被顺序地提供给减法电路122。减法电路122对于在阻塞电路121中获得的每个编码目标块，在每个编码目标块和参考块之间执行减法处理，从而获得预测误差(残差信号)。在整数转换/量化电路124中的整数转换(例如，dct转换)之后，量化每个编码目标块的预测误差。

由整数转换/量化电路124获得的每个编码目标块的量化数据被提供给逆量化/逆整数转换电路125。在逆量化/逆整数转换电路125中，逆量化被应用于量化数据，进一步进行逆整数变换，得到预测误差。该预测误差被提供给加法器电路126。

加法器电路126将运动补偿的参考块与预测误差相加以获得块。在通过环路滤波器127去除量化噪声之后，将该块累积在存储器128中。

此外，由整数转换/量化电路124获得的每个编码目标块的量化数据被提供给熵编码电路130，执行熵编码，并且获得编码流(视频流)。注意，针对每个编码目标块的信息，诸如参考图片索引、运动向量和调整处理信息，被添加到编码流作为mb报头信息，用于在接收侧解码。

图11(a)示出了形成编码数据的容器的切片的nal单元的实例结构。nal包括切片区段报头(slice_segment_header())和切片区段数据(slice_segment_data())。图11(b)示出了切片/区段报头的结构的配置实例。“angled_prediction_enable_flag”字段表示指示在编码时参考块是否已经过调整处理的标记信息。“1”表示已应用调整处理，“0”表示尚未应用调整处理。

图12示出了切片区段数据的实例结构。注意，该实例结构示出了执行双向预测的实例情况。“ref_idx_l0”和“ref_idx_l1”是各自指示参考图片索引的字段。“mvd_coding(x0,y0,mvx0_l0,mvy0_l0,ref_idx_l0)”和“mvd_coding(x0,y0,mvx0_l1,mvy0_l1,ref_idx_l1)”是分别指示编码块的预测源的位置和运动向量，以及参考图片的索引的字段。

此外，如果“angled_prediction_enable_flag”是“1”，则存在“ref_block_adjust_proc(x0,y0,mvx0,mvy0,ref_idx_l0)”和“ref_block_adjust_proc(x0,y0,mvx1,mvy1,ref_idx_l1)”字段。这些字段提供调整处理信息(分别为旋转角度θ和缩放比率s的信息，以及编码块的预测源的位置和运动向量以及参考图片的索引)。

图13示出了“ref_block_adjust_proc(x,y,mvx,mvy,ref_idx)”字段的实例结构。图14示出了实例结构的主要信息的内容。“rotation_degree”字段表示旋转角度θ。该字段表示以百倍值表示的逆时针旋转角度。请注意，缩放的参考点是参考块的左上角。例如，“rotation_degree＝1250”表示逆时针旋转12.5度。

“scaling_ratio”字段表示缩放比率s。该字段以百倍值指示参考目标图像的块的大小的缩放比率。例如，“scaling_ratio＝100”表示1倍(无放大率)，“scaling_ratio＝15”表示0.15倍，“scaling_ratio＝366”表示3.66倍。

返回图4，压缩数据缓冲器(cpb)104临时累积由编码器103生成的编码流。ts格式器105读取在压缩数据缓冲器104中累积的编码流，将编码流转换为pes分组，进一步将编码流转换为传输分组，并将它们多路复用，以获得作为多路复用流的传输流ts。发送单元106将由ts格式器105获得的传输流ts放置在广播波或网络分组上，并将传输流ts发送到接收设备200。

简要描述图4中所示的发送设备100的操作。由全方位相机102获得的全方位图像的运动图像数据被提供给编码器103。编码器103根据avc、hevc等对运动图像数据vd进行编码，以获得编码流(视频流)。

编码器103执行运动补偿预测编码。在为每个编码目标块提取运动补偿参考块时，对参考块进行旋转和/或缩放调整处理(参见图9和10)。在全方位图像的运动图像数据vd中，还可减少残差信号并且可提高编码效率。将调整处理信息与每个编码目标块的运动向量一起插入编码流中(见图12和13)。

由编码器103生成的编码流被临时累积在压缩数据缓冲器(cpb)104中。在ts格式器105中，在压缩数据缓冲器104中累积的编码流被读出，被转换为pes分组，进一步被转换为传输分组、被多路复用，并且获得作为多路复用流的传输流ts。

由ts格式器105获得的传输流ts被发送到发送单元106。在发送单元106中，由ts格式器105获得的传输流ts在广播波或网络分组上发送，并被发送到接收设备200。

<接收设备的配置>

图15示出了接收设备200的配置实例。接收设备200包括中央处理单元(cpu)201、接收单元202、ts分析单元203、压缩数据缓冲器(cpb：编码图像缓冲器)204、解码器205、图像格式转换器206和显示单元207。cpu201包括在控制单元中并控制接收设备200的每个单元的操作。

接收单元202在广播波或网络分组上接收从发送设备100发送的传输流ts。ts分析单元203提取与包括在传输流ts中的全方位图像的运动图像数据vd有关的编码流(视频流)，并将编码流发送到压缩数据缓冲器204。编码流包括调整处理信息(旋转角度θ和缩放比率s的信息)与运动向量一起插入编码流中，用于每个编码目标块。压缩数据缓冲器(cpb)204临时累积从ts分析单元203发送的视频流。

解码器205在图片的解码时间戳(dts)中提供的解码定时处读取和解码在压缩数据缓冲器204中累积的每个图片的编码图像数据，从而获得数据vd。此时，解码器205基于每个解码目标块的运动向量和调整处理信息提取参考块，并将参考块的像素值与残差信号相加，以获得运动图像数据vd。

图16示出了解码器205的解码处理部分的配置实例。解码器205包括熵解码电路211、逆量化/逆整数转换电路212、运动补偿电路213、加法器电路214、循环滤波器215、存储器216和参考图像调整信息处理单元217。

熵解码电路211在编码流中执行熵解码，以获得要解码的每个块的量化数据。该量化数据被提供给逆量化/逆整数转换电路212。逆量化/逆整数转换电路212对量化数据应用逆量化，并进一步应用逆整数变换以获得预测误差(残差信号)。每个解码目标块的预测误差被提供给加法器电路214。

运动补偿电路213基于存储在存储器216中的参考图片的图像数据，为每个解码目标块提取运动补偿参考块(预测参考块)。在这种情况下，基于插入到每个块的编码流中的运动向量和调整处理信息，类似于编码的情况，提取经过调整处理的参考块。

由运动补偿电路213获得的参考块被顺序提供给加法器电路214。加法器电路214将对应于各个解码目标块的预测残差(残差信号)的参考块相加，以获得构成全方位图像的运动图片数据vd的块。以这种方式，在由环路滤波器215去除量化噪声之后，以这种方式由加法器电路214获得的块被累积在存储器216中。然后，通过从存储器216读取累积数据获得全方位图像的运动图像数据vd。

返回图15，图像格式转换器206对由解码器205获得的全方位图像的运动图像数据vd执行全景展开的图像处理，以获得用于全景显示的图像数据。显示单元207基于来自图片格式转换器206的显示图像数据显示图像。显示单元207包括例如液晶显示器(lcd)、有机电致发光(el)面板等。注意，显示单元207可以是连接到接收设备200的外部设备。

简要描述图15中所示的接收设备200的操作。接收单元202接收从发送设备100发送的以广播波或网络分组的形式的传输流ts。该传输流ts被提供给ts分析单元203。

ts分析单元203从传输流ts中提取与包括在传输流ts中的全方位图像的运动图像数据vd相关的编码流(视频流)，并将编码流发送到压缩数据缓冲器204。在压缩数据缓冲器(cpb)204中，编码流是临时累积的从ts分析单元203发送的视频流，在压缩数据缓冲器(cpb)204中，针对每个编码目标块，调整处理信息(旋转角度θ和缩放比率s的信息)与运动向量一起插入到该编码流中。

解码器205在由图片的解码时间戳(dts)给出的解码定时处对在压缩数据缓冲器204中累积的每个图片的编码图像数据进行读取和解码，以获得全方位图像的运动图像数据vd。此时，解码器205针对每个解码目标块，基于运动向量和调整处理信息，与编码的情况类似地提取参考块，并且将参考块的像素值与残差信号相加以获得图像数据vd。

由解码器205获得的全方位图像的运动图像数据vd被提供给图像格式转换器206。图像格式转换器206对运动图像数据vd执行全景展开的图像处理，以获得用于全景显示的图像数据。在显示单元207中，通过由图片格式转换器206获得的显示图像数据显示图像。在这种情况下，显示单元207可显示全景图的整个图像，或者仅选择性地显示图像的部分范围，例如，根据用户的选择操作。

如上所述，在图1所示的发送/接收系统10中，发送侧编码器103对参考块执行旋转和/或缩放的调整处理。因此，可减少残差、可降低编码比特率，并且因此可提高运动预测的编码性能。

此外，在图1所示的发送/接收系统10中，针对每个编码目标块，发送侧编码器103将调整处理信息与运动向量一起插入。因此，接收图像侧的解码器205可基于调整处理信息与运动向量一起容易且适当地获得运动补偿参考块，并且可容易且适当地执行解码处理。

<2.修改>

注意，已经以处理全方位图像的运动图像数据的实例描述了上述实施例。然而，本技术不限于全方位图像的运动图像数据，并且可类似地应用于处理其他宽视角图像的运动图像数据的情况。

此外，已经利用包括发送设备100和接收设备200的发送/接收系统10描述了上述实施例，但是应用本技术的发送/接收系统的配置不限于此。例如，接收设备200可具有例如包括机顶盒和经由诸如高清晰度多媒体接口(hdmi)等的数字接口连接的监视器的配置。请注意，术语“hdmi”是注册商标。

此外，已经利用其中容器是传输流(mpeg-2ts)的实例描述了上述实施例。然而，本技术可类似地应用于允许使用诸如因特网的网络分发到接收终端的系统。经由因特网的分发通常使用isobmff(或mp4)或其他格式的容器。也就是说，容器可以是各种格式，诸如数字广播标准中采用的传输流(mpeg-2ts)，或者因特网分发中使用的isobmff(或mp4)。

此外，本技术还可以以下面的方式配置。

(1)一种编码设备，包括：

块划分单元，将宽视角图像的运动图像数据划分成块，以获得编码目标块；

参考块提取单元，为每个编码目标块提取运动补偿的参考块；

参考块调整单元，对所述参考块执行旋转和/或缩放的调整处理；

编码单元，针对每个编码目标块，基于所述编码目标块的像素值和经过了调整处理的参考块的像素值来计算残差信号，并且为每个编码目标块的残差信号编码以获得编码流；和

信息插入单元，对于每个编码目标块，将所述调整处理的信息与运动向量一起插入到所述编码流中。

(2)根据(1)所述的编码设备，其中，

所述参考块调整单元根据所述参考块和所述编码目标块的位置自动确定所述旋转的角度。

(3)根据(1)或(2)所述的编码设备，其中

所述参考块调整单元在块匹配之前对每个候选进行旋转处理，在所述块匹配中，所述参考块提取单元提取所述参考块。

(4)根据(1)或(2)所述的编码设备，其中

所述参考块调整单元对块匹配的结果执行旋转处理，在所述块匹配中，所述参考块提取单元提取所述参考块。

(5)一种编码方法，包括以下步骤：

由块划分单元将宽视角图像的运动图像数据划分为块，以获得编码目标块；

由参考块提取单元为每个编码目标块提取参考块；

由参考块调整单元对所述参考块执行旋转和/或缩放的调整处理；

针对每个编码目标块，编码单元基于所述编码目标块的像素值和经过所述调整处理的参考块的像素值来计算残差信号，并为每个编码目标块的残差信号编码以获得编码流；和

对于每个编码目标块，由信息插入单元将所述调整处理的信息与运动向量一起插入到所述编码流中。

(6)一种解码设备，包括：

解码单元，其解码编码流以获得每个解码目标块的残差信号，所述解码流包括通过将宽视角图像的运动图像数据划分为块而获得的每个编码目标块的编码信号，

对于每个编码目标块，编码流包括插入到所述编码流中的运动向量以及旋转和/或缩放的调整处理信息，以获得每个编码目标块的参考块，并且

所述解码设备还包括：

参考块提取单元，基于每个块的所述运动向量和所述调整处理信息，为每个解码目标块提取参考块；和

像素值计算单元，对于每个所述解码目标块，将所述参考块的像素值与残差信号相加，以获得所述宽视角图像的运动图像数据。

(7)一种解码方法，包括：

由解码单元解码通过将宽视角图像的运动图像数据划分为块而获得的每个编码目标块的编码流，以通过获得每个解码目标块的残差信号的步骤，

所述编码流包括运动向量和插入到所述编码流中的旋转和/或缩放的调整处理信息，以获得每个编码目标块的参考块，并且

所述解码方法还包括：

对于每个编码目标块，编码流包括被插入到所述编码流中的用于获得参考块的运动向量以及旋转和/或缩放的调整处理信息；和

由像素值计算单元对于每个解码目标块将所述参考块的像素值与所述残差信号相加，以获得所述宽视角图像的运动像素数据。

(8)一种发送设备，包括：

编码设备，对宽视角图像的运动图像数据进行编码，以获得编码流；和

发送单元，以预定格式发送包括所述编码流的容器，其中

所述编码设备包括：

块划分单元，将所述宽视角图像的运动图像数据划分成块，以获得编码目标块，

参考块提取单元，为每个编码目标块提取运动补偿的参考块，

参考块调整单元，对所述参考块执行旋转和/或缩放的调整处理，

编码单元，对于每个所述编码目标块，基于所述编码目标块的像素值和经过所述调整处理的参考块的像素值，计算残差信号，并对每个编码目标块的残差信号进行编码以获得所述编码流，和

信息插入单元，对于每个编码目标块，将所述调整处理的信息与运动向量一起插入到编码流中。

(9)一种接收设备，包括：

接收单元，接收预定格式的容器，所述容器包括通过对宽视角图像的运动图像数据进行编码而获得的编码流；和

解码设备，对所述编码流进行解码，以获得所述宽视角图像的图像数据，其中，

所述解码设备包括：

解码单元，对所述编码流进行解码以获得每个解码目标块的残差信号，

针对每个编码目标块，所述编码流包括插入到所述编码流中的用于获得参考块的运动向量以及旋转和/或缩放的调整处理信息，并且

所述解码设备还包括：

参考块提取单元，基于每个块的所述运动向量和所述调整处理信息，为每个解码目标块提取参考块；和

像素值计算单元，对于每个所述解码目标块，将所述参考块的像素值与所述残差信号相加，以获得所述宽视角图像的运动图像数据。

本技术的主要特征是在对全方位图像(宽视角图像)的运动图像数据进行预测编码时，对参考块应用旋转处理和/或缩放调整处理，从而减少残差并提高编码效率(见图6)。

参考符号列表

10发送和接收系统

100发送设备

101cpu

102全方位相机

103编码器

104压缩数据缓冲器

105ts格式器

106发送单元

121阻塞电路

122减法电路

123运动预测/运动补偿电路

124整数转换/量化电路

125逆量化/逆整数转换电路

126加法器电路

127环路滤波器

128存储器

129参考图像调整信息处理单元

130熵编码电路

200接收设备

201cpu

202接收单位

203ts分析单元

204压缩数据缓冲器

205解码器

206图片格式转换器

207显示单元

211熵解码电路

212逆量化/逆整数转换电路

213运动补偿电路

214加法器电路

215环路滤波器

216存储器

217参考图像调整信息处理单元