半导体装置、移动图像处理系统、控制半导体装置的方法与流程

相关申请的交叉引用

包括说明书、附图和摘要的在2016年9月12日提交的日本专利申请no.2006-177759的公开内容通过引用整体并入本文。

本发明涉及半导体装置、移动图像处理系统和控制半导体装置的方法。例如，本发明可以优选用于处理移动图像的半导体装置。

背景技术：

近年来，通过一次图像采集来采集相机周围的整体图像的360度相机已经很好地发展，并且再现侧装置解码并显示由360相机采集的360度移动图像的情况的数量有所增加。然而，再现侧装置是智能电话等，使得显示单元的画面小，并且整个移动图像可能不被显示。

因此，存在将作为显示区域的移动图像的区域的一部分切出(cutout)并在显示区域中显示图像的再现侧装置。此外，存在能够移动从移动图像切出的显示区域的再现侧装置。

作为现有技术，有日本未审查专利申请公开no.2009-194920。在日本未审查专利申请公开no.2009-194920中描述的技术将全景图像分割为多个小画面图像(分块：tile)，并且对多个小画面图像中的每一个进行独立编码。

技术实现要素：

这里，假设在日本未审查专利申请公开no.2009-194920中描述的技术中，当再现侧装置将多个小画面图像中的一个定义为显示区域并且已经解码并显示小画面图像时，再现侧装置将显示区域移动到相邻的小画面图像。

此时，移动目的地的小画面图像不被解码，使得需要立即解码小画面图像。此外，此时，如果移动目的地的小画面图像不是i(帧内)帧，则需要通过参考在小画面图像紧接之前或紧接之后的i帧来解码小画面图像。然而，当通过参照在小画面图像紧接之前的i帧来解码小画面图像时，需要对多个帧进行解码，使得直到显示移动目的地的小画面图像为止需要时间。此外，当通过参考小画面图像紧接之后的i帧来解码小画面图像时，需要将移动目的地的小画面图像的显示延迟到紧挨小画面图像之后的i帧。

如上所述，在日本未审查专利申请公开no.2009-194920中描述的技术存在的问题是，当将显示区域移动到相邻的小画面图像时，如果移动目的地的小画面图像不是i帧，则直到显示移动目的地的小画面图像需要时间，并且不可能平滑地移动显示区域。上述问题不仅是360度移动图像和全景图像的问题，而且对于其中在正在移动从移动图像切出的显示区域的同时显示在显示区域中的图像的构成也是常见的问题。

从本说明书和附图的描述中，其他问题和新颖特征将变得显而易见。

根据实施例，半导体装置包括：接收单元，接收整个图像；确定单元，确定包括要解码的小画面图像并且被包括在整个图像中的解码区域；和解码单元，对由所述确定单元确定并且被包括在整个图像中的解码区域中的小画面图像进行解码，并且当在解码区域中出现帧内小画面图像时，确定单元确定新的解码区域。

根据上述实施例，可以有助于解决上述问题。

附图说明

图1是示出根据第一实施例的移动图像处理系统的构成示例的图。

图2是示出根据第一实施例的编码侧装置10的构成示例的框图。

图3是示出根据第一实施例的再现侧装置20的构成示例的框图。

图4是示出根据第一实施例的编码侧装置10和再现侧装置20的操作示例的概述的图。

图5是示出根据第一实施例的编码侧装置10和再现侧装置20的操作示例的概述的图。

图6是示出根据第一实施例的再现侧装置20的操作示例的流程的流程图。

图7是示出根据第一实施例的变形例的编码侧装置10的构成的框图。

图8是示出根据第一实施例的变形例的再现侧装置20的构成的框图。

图9是示出根据第二实施例的移动图像处理系统的构成示例的图。

图10是示出根据第二实施例的编码侧装置10和再现侧装置20a、20b的操作示例的概述的图。

图11是示出根据第二实施例的编码侧装置10和再现侧装置20a和20b的操作示例的概述的图。

图12是示出根据第二实施例的再现侧装置20a、20b的操作示例的流程的流程图。

图13是示出根据第三实施例的构成示例1的再现侧装置20的构成的框图。

图14是示出根据第三实施例的构成示例2的再现侧装置20的构成的框图。

图15是示出根据第三实施例的构成示例3的移动图像处理系统的构成的图。

图16是示出根据第三实施例的构成示例3的服务器装置30的构成的框图。

图17是示出根据第三实施例的构成示例3的再现侧装置20a、20b的构成的框图。

图18是示出根据第三实施例的构成示例4的编码侧装置10的构成的框图。

图19是示出根据第三实施例的构成示例4的再现侧装置20的构成的框图。

图20是示出根据第三实施例的构成示例1的编码侧装置10和再现侧装置20的操作示例的概述的图。

图21是示出根据第三实施例的构成示例4的编码侧装置10和再现侧装置20的操作示例的概述的图。

图22是示出根据第三实施例的构成示例4的再现侧装置20的操作示例的流程的流程图。

图23是示出根据第四实施例的编码侧装置10和再现侧装置20的操作示例1的概述的图。

图24是示出根据第四实施例的编码侧装置10和再现侧装置20的操作示例2的概述的图。

图25是示出根据第五实施例的编码侧装置10和再现侧装置20的操作示例的概述的图。

图26是在概念上示出根据第一至第五实施例的移动图像处理系统的构成示例的图。

图27是示出根据实施例的编码侧装置、再现侧装置和实现再现侧装置的硬件构成的框图。

具体实施例

以下，将对实施例进行说明。为了说明的清楚，适当地省略并简化了以下描述和附图。在附图中，相同的部件用相同的附图标记表示，并且省略重复的描述。

(1)第一实施例

(1-1)第一实施例的构成

<根据第一实施例的移动图像处理系统的构成>

以下，将对第一实施例的构成进行说明。首先，将参照图1说明根据第一实施例的移动图像处理系统的构成示例。如图1所示，根据第一实施例的移动图像处理系统包括编码侧装置10和再现侧装置20。

编码侧装置10从移动图像生成编码数据，并将生成的编码数据发送到再现侧装置20。再现侧装置20从编码侧装置10接收编码数据，并再现和显示作为接收的编码数据的源的移动图像的一部分。由此，用户可以看到在再现侧装置20上显示的移动图像。

<根据第一实施例的编码侧装置10的构成>

接着，将参照图2说明根据第一实施例的编码侧装置10的构成示例。如图2所示，根据第一实施例的编码侧装置10包括图像输入单元101、小画面分割单元102、编码单元103和数据发送单元104。编码侧装置10的构成组件可以通过半导体装置实现。小画面分割单元102是分割单元的示例。数据发送单元104是发送单元的示例。

将包含在作为360度移动图像等的移动图像中的多个时间连续的图像(以下，每个图像被适当地称为整体图像)顺序地输入到图像输入单元101中。例如，整体图像从相机(图中未示出)等输入到图像输入单元101中。

小画面分割单元102将输入到图像输入单元101的整体图像分割成多个小画面图像。这里，小画面图像的大小与编码单位的大小相同，该单位是编码单元103进行编码的单位。根据编码单元103的编码效率和再现侧装置20的显示单元206(参见图3)的画面大小，由编码侧装置10确定编码单位的大小。可以通过来自再现侧装置20的请求来确定编码单位的大小。

编码单元103对由小画面分割单元102分割的多个小画面图像中的每一个进行编码。这里，编码单元103将小画面图像以恒定时间间隔编码为i帧，并通过参照紧接在小画面图像之前或之后的i帧或p(预测)帧，将未被编码为i帧的小画面图像编码为p帧或b(双向预测)帧。

数据发送单元104将由编码单元103编码的多个小画面图像中的每一个的编码数据发送到再现侧装置20。

以上述方式，每当将整体图像输入到图像输入单元101中时，编码侧装置10将通过分割整体图像而获得的多个小画面图像中的每一个的编码数据发送到再现侧装置20。

<根据第一实施例的再现侧装置20的构成>

接下来，将参照图3描述根据第一实施例的再现侧装置20的构成示例。如图3所示，根据第一实施例的再现侧装置20包括数据接收单元201、显示区域输入单元202、解码区域确定单元203、解码单元204、图像切出单元205和显示单元206。除了显示单元206之外的再现侧装置20的构成组件可以通过半导体装置来实现。数据接收单元201是接收单元的示例。显示区域输入单元202是输入单元的示例。解码区域确定单元203是确定单元的示例。

数据接收单元201从编码侧装置10接收从整体图像分割的多个小画面图像中的每一个的编码数据。

向显示区域输入单元202输入被包括在整体图像中包含并且由显示单元206显示的图像的显示区域的指令。显示区域是用户通过对应于整体图像中的显示区域和显示区域的大小的位置指定的区域，并且通过诸如触摸面板和键盘的输入装置(未示出)将显示区域输入到显示区域输入单元202。

解码区域确定单元203基于输入到显示区域输入单元202的显示区域，确定被包括在整体图像中包含并由解码单元204解码的小画面图像的解码区域。解码区域包括当前显示区域和当前显示区域的边距区域(marginarea)。解码区域的大小是编码单位大小的任何整数倍。

解码单元204将由数据接收单元201作为编码数据接收的整体图像中包括并且还包括在由解码区域确定单元203确定的解码区域中的图像进行解码。因此，获得在解码区域中的原始图像。

图像切出单元205从由解码单元204解码的图像中切出输入到显示区域输入单元202的显示区域中的图像。

显示单元206显示由图像切出单元205切出的图像。

以这种方式，再现侧装置20从整体图像切出并显示由用户输入的当前显示区域中的图像，并显示图像。再现侧装置20重复上述操作。因此，用户可以在移动显示区域的同时在显示区域中看到移动图像。

从编码侧装置10发送到再现侧装置20的信息基本上是通过编码小画面图像而获得的编码数据。然而，编码侧装置10可以发送编码数据的管理信息和控制信息以及移动图像中的对象的运动信息等。

(1-2)第一实施例的操作

以下，对第一实施例的操作进行说明。在下面的描述中，为了便于描述，假设编码侧装置10仅在水平方向上将整体图像分割为小画面图像。

<根据第一实施例的编码侧装置10和再现侧装置20的操作示例的概述>

首先，参照图4和图5，将对根据第一实施例的编码侧装置10和再现侧装置20的操作示例的概述进行说明。

如图4所示，编码侧装置10的小画面分割单元102形成移动图像。小画面分割单元102将多个时间连续的图像(整体图像)中的每一个分割为多个小画面图像，并且编码侧装置10的编码单元103对多个小画面图像中的每一个进行编码。

如图5所示，编码侧装置10的编码单元103以恒定的时间间隔将小画面图像编码为i帧。在图5的示例中，编码侧装置10的编码单元103将i帧的时间间隔定义为n，并且在时间t1和t2将所有小画面图像编码为i帧。在图5的示例中，编码侧装置10的编码单元103将未被定义为i帧的小画面图像编码为p帧。然而，编码单元103可以将小画面图像编码为b帧(以下相同)。

另一方面，如图4所示，再现侧装置20的解码区域确定单元203确定其中向显示区域添加边距的区域(在图4的示例中，边距被添加到显示区域的左侧和右侧)作为解码区域，并且再现侧装置20的解码单元204解码在由解码区域确定单元203确定的解码区域中的图像。

这里，再现侧装置20的解码区域确定单元203在i帧的图像出现在解码区域中的定时基于当前显示区域确定新的解码区域。在图5的示例中，在解码区域出现i帧的图像的时间是t1和t2，使得解码区域确定单元203在时间t1和t2确定新的解码区域。

在图4的示例中，上图示出了初始整体图像x，下图示出了当在解码区域中其后出现i帧的图像时的整体图像z，并且中间图示出了在紧接整体图像z之前的整体图像y。因此在初始整体图像x之后，在当在解码区域中出现i帧的图像时的整体图像z的定时，再现侧装置20确定其中向当前显示区域的左侧和右侧添加边距的区域作为新的解码区域。这里，当前显示区域已经相对于初始整体图像x向右移动，使得新确定的解码区域也根据显示区域的移动而向右移动。

以这种方式，再现侧装置20的解码区域确定单元203在i帧的图像出现在解码区域中的定时基于当前显示区域确定新的解码区域。这里，可以快速解码i帧。在确定新的解码区域之前，小画面图像是p帧，并且可以通过参考最近确定的解码区域中的i帧和i帧之后的p帧来预先解码p帧。因此，通过预先解码在解码区域中的小画面图像，即使在显示区域移动到在解码区域中的另一编码单位的区域的情况下，也可以快速显示显示区域。因此，可以平滑地移动显示区域。

在上面的描述中，描述了仅在水平方向上将整体图像分割成小画面图像的示例。然而，可以根据在整体图像的大小与显示单元206的画面大小之间的关系在垂直方向上分割整体图像。当整体图像在垂直方向上被分割时，操作与当整体图像仅在水平方向上被分割时的操作相同，并且新的解码区域是在当前显示区域上方和下方添加边距的区域。

<根据第一实施例的再现侧装置20的操作示例的流程>

接着，将参照图6说明根据第一实施例的再现侧装置20的操作示例的流程。在数据接收单元201接收到通过分割整体图像获得的多个小画面图像中的每一个的编码数据的时间点开始图6的操作。

如图6所示，解码区域确定单元203确定i帧是否出现在由数据接收单元201接收的整体图像的解码区域中(步骤a1)，并且如果没有i帧出现(在步骤a1中的否)，则解码区域确定单元203确定不改变解码区域(步骤a3)。

另一方面，如果在步骤a1中在解码区域中出现i帧(步骤a1中的是)，则解码区域确定单元203基于当前显示区域确定新的解码区域(步骤a2)。

接下来，解码单元204解码由数据接收单元201接收的整体图像中包括并且在由解码区域确定单元203确定的解码区域中的图像(步骤a4)。接下来，图像切出单元205从由解码单元204解码的图像中切出输入到显示区域输入单元202的显示区域中的图像(步骤a5)。接下来，显示单元206显示由图像切出单元205切出的图像(步骤a6)。

接下来，解码区域确定单元203确定数据接收单元201是否接收到下一个整体图像的编码数据(步骤a7)。如果接收到下一个整体图像(在步骤a7中的是)，则解码区域确定单元203返回步骤a1的处理。如果没有接收到下一个整体图像(步骤a7中的否)，则解码区域确定单元203结束处理。

(1-3)第一实施例的效果

如上所述，根据第一实施例，编码侧装置10将形成移动图像的整体图像分割为多个小画面图像并对小画面图像进行编码，并且再现侧装置20在i帧出现在解码区域中的定时基于当前显示区域确定新的解码区域。因此，通过预先对解码区域中的小画面图像进行解码，即使当显示区域移动到解码区域中的另一区域时，也可以在移动之后快速地在显示区域中显示图像。因此，可以平滑地移动显示区域。

(1-4)第一实施例的变形例

在第一实施例中，编码侧装置10发送整体图像的所有区域的编码数据。然而，编码侧装置10可以仅发送要由再现侧装置20解码的解码区域的编码数据，以便对在编码侧装置10和再现侧装置20之间的传输路径进行频带抑制。在此情况下，例如，编码侧装置10可以具有图7所示的构成，并且再现侧装置20可以具有图8所示的构成。

如图8所示，根据第一实施例的变形例的再现侧装置20与图3所示的再现侧装置20不同在增加了数据发送单元207。数据发送单元207将由解码区域确定单元203确定的解码区域的信息发送到编码侧装置10。

如图7所示，根据第一实施例的变形例的编码侧装置10与图2所示的编码侧装置10不同在添加了数据接收单元105、数据管理单元106和编码数据存储器107。数据接收单元105从再现侧装置20接收解码区域的信息。数据管理单元106向编码数据存储器107内临时存储由编码单元103编码的整体图像(被分成多个小画面图像)的所有区域的编码数据。然后，数据管理单元106基于从再现侧装置20接收到的解码区域的信息来仅仅从存储在编码数据存储器107中的整体图像的所有区域的编码数据提取解码区域的编码数据，并将提取的解码区域的编码数据输出到数据发送单元104。数据发送单元104仅将从数据管理单元106输出的解码区域的编码数据发送到再现侧装置20。

由此，仅将解码区域的编码数据从编码侧装置10发送到再现侧装置20，从而可以抑制在编码侧装置10和再现侧装置20之间的传输路径的频带。

(2)第二实施例

在上述第一实施例中，为一个编码侧装置10提供一个再现侧装置20。

另一方面，在第二实施例中，为一个编码侧装置10提供多个再现侧装置20，并且每个再现侧装置20基于由编码侧装置10产生的一个编码数据单独显示移动图像。

(2-1)第二实施例的构成

<根据第二实施例的移动图像处理系统的构成>

以下，将对第二实施例的构成进行说明。首先，将参照图9说明根据第二实施例的移动图像处理系统的构成示例。如图9所示，根据第二实施例的移动图像处理系统与图1所示的不同在包括两个再现侧装置20a和20b(以下在没有指定特定再现侧装置时适当地称为“再现侧装置20”)。这里，为了便于说明，再现侧装置20的数量为2。然而，该数量不限于两个，并且再现侧装置20的数量可以是两个或更多个。

再现侧装置20a和20b中的每一个基于在编码侧装置10中生成的一个编码数据单独显示移动图像。

此时，由用户分别为再现侧装置20a和20b指定的显示区域可以彼此不同。因此，再现侧装置20a和20b中的每一个单独地确定解码区域，执行解码，并执行图像的切出和显示。

此外，再现侧装置20a和20b的当前显示区域的处理性能和移动量(移动速度)可以彼此不同。这里，当前显示区域的移动量(移动速度)是当前显示区域从先前显示区域移动的移动量。因此，再现侧装置20a和20b基于当前显示区域的移动量来切换解码区域的大小(即，添加到显示区域的边距的大小)。然而，不限于此，再现侧装置20a和20b可以基于移动图像中的对象(例如球、车辆等)的移动速度和再现侧装置20和编码侧装置10之间的传输路径的频带等来切换解码区域的大小。假设再现侧装置20a和20b从编码侧装置10获取对象的移动速度，从用户通过诸如触摸面板和键盘的输入装置(在附图中未示出)中输入的显示区域导出当前显示区域的移动量，并且预先知道它们自己的性能和传输路径的频带。

编码侧装置10的内部构成可以与图2或7所示的相同，因此将省略其图示和描述。尽管如上所述，再现侧装置20a和20b可以具有彼此不同的处理性能，但是再现侧装置20a和20b可以具有与图3或8所示的相同的内部构成。因此，将省略再现侧装置20a和20b的内部构成的图示和描述。

(2-2)第二实施例的操作

以下，将对第二实施例的操作进行说明。编码侧装置10的操作与第一实施例的操作相同，因此下文将仅描述再现侧装置20a和20b的操作。此外，在下面的描述中，假设再现侧装置20a和20b的每个基于当前显示区域的移动量单独地切换解码区域的大小。

<根据第二实施例的再现侧装置20a和20b的操作示例的概述>

首先，参照图10和11对根据第二实施例的再现侧装置20a和20b的操作示例的概述进行说明。

在图10和图11的示例中，上图示出了在显示区域移动紧接之前的整体图像x，中间图示出了在显示区域从整体图像x的显示区域移动了小的移动量后的整体图像y，下图示出了在显示区域从整体图像x的显示区域移动了大的移动量后的整体图像z。图10是解码区域的大小小的情况的示例，图11是解码区域的大小大的情况的示例。

在图10的示例中，解码区域的大小是小的。在整体图像x的显示区域已经移动了小的移动量的整体图像y中，移动后的整个显示区域被包括在解码区域中，使得可以解码并显示在移动后的显示区域中的图像。然而，在整体图像x的显示区域移动了大的移动量的整体图像z中，移动后的显示区域的一部分从解码区域突出。突出的显示区域中的图像不能被解码，使得图像被显示为黑色图像等。

另一方面，在图11的示例中，解码区域的大小是大的。因此，即使在整体图像x的显示区域已经移动了大的移动量的整体图像z中，移动后的整个显示区域被包括在解码区域中，使得可以解码和显示在移动后的显示区域中的图像。因此，可以平滑地移动显示区域。

因此，当当前显示区域的移动量大时，再现侧装置20a和20b的解码区域确定单元203增加解码区域的大小。因此，即使当其后的显示区域移动了大的移动量时，也可以在移动后的显示区域中显示图像。

<根据第二实施例的再现侧装置20a和20b的操作示例的流程>

接下来，将参考图12描述根据第二实施例的再现侧装置20a和20b的操作示例的流程。图12与图6不同在包括步骤b1至b3来取代步骤a2。

如图12所示，首先，执行与图6中相同的步骤a1的处理，并且如果在整体图像的解码区域中没有出现i帧(步骤a1中的否)，则执行与图6中的相同的步骤a3的处理。

另一方面，如果i帧出现在整体图像的解码区域(步骤a1中的是)，则解码区域确定单元203确定当前显示区域的移动量是否大(步骤b1)。关于确定移动量是否大的方法，例如，考虑设定阈值的方法，并且当移动量超过阈值时确定移动量大。然而，并不限于此。

在步骤b1中，如果当前显示区域的移动量大(步骤b1中的是)，则解码区域确定单元203基于当前显示区域重新确定大的大小的解码区域(步骤b2)。具体地，解码区域确定单元203通过将向当前显示区域的左侧和右侧添加的边距扩大到比通常大来增加解码区域的大小。此后，解码区域确定单元203进行到步骤a4的处理。

另一方面，在步骤b1中，如果当前显示区域的移动量不大(步骤b1中的否)，则解码区域确定单元203基于当前显示区域重新确定小的大小的解码区域(步骤b3)。具体地，解码区域确定单元203通过将向当前显示区域的左侧和右侧添加的边距的大小设置为正常的小的大小来减小解码区域的大小。此后，解码区域确定单元203进行到步骤a4的处理。

此后，执行与图6中的相同的步骤a4至a7的处理。

(2-3)第二实施例的效果

如上所述，根据第二实施例，再现侧装置20a和20b基于当前显示区域的移动量来切换解码区域的大小。例如，当当前显示区域的移动量大时，再现侧装置20a和20b的解码区域确定单元203增加解码区域的大小。因此，即使当显示区域此后移动大的移动量时，也可以在移动后的显示区域中显示图像。

在上面的描述中，描述了再现侧装置20a和20b基于当前显示区域的移动量来切换解码区域的大小的操作。然而，如上所述，再现侧装置20a和20b可以基于再现侧装置20的处理性能、在移动图像中的对象的移动速度以及在再现侧装置20和编码侧装置10之间的传输路径的频带等来切换解码区域的大小。例如，当使用再现侧装置20的处理性能时，如果处理性能高，则优选地增加解码区域的大小。当使用移动图像中的对象的移动速度时，如果移动速度高，则优选地增加解码区域的大小。当使用传输路径的频带时，如果频带宽，则优选增加解码区的大小。

(3)第三实施例

在上述第一和第二实施例中，再现侧装置20基于当前显示区域确定新的解码区域。

另一方面，在第三实施例中，再现侧装置20不仅基于当前显示区域而且基于前一个显示区域、显示区域的历史和在移动图像中的对象的运动和要注意的点的位置等来确定新的解码区域。

(3-1)第三实施例的构成

以下，对第三实施例的构成示例1至4进行说明。

<第三实施例的构成示例1>

构成示例1基于当前显示区域的移动方向预测下一个和后续显示区域，并且基于所预测的下一个和后续显示区域来确定新的解码区域。当前显示区域的移动方向表示当前显示区域从先前显示区域移动的方向。

根据构成示例1的移动图像处理系统的构成可以与图1或9所示的构成相同，因此将省略其图示和描述。此外，根据构成示例1的编码侧装置10的构成可以与图2或7所示的构成相同，因此将省略其图示和描述。

因此，将参照图13描述根据构成示例1的再现侧装置20的构成。如图13所示，根据构成示例1的再现侧装置20与图3所示的再现侧装置20不同在，添加了延迟单元208和减法器209。根据构成示例1的再现侧装置20可以具有其中向图8添加相同的延迟单元208和减法器209的构成。

延迟单元208将用户通过输入设备(图中未示出)输入的当前显示区域延迟一帧。减法器209导出在当前显示区域和由延迟单元208延迟的先前显示区域之间的差异，并将导出的差异的信息输出到解码区域确定单元203。

解码区域确定单元203基于从减法器209输出的差异的信息来预测下一个和后续的显示区域，并且基于所预测的下一个和后续的显示区域来确定新的解码区域。例如，当当前显示区域从先前显示区域向右移动时，解码区域确定单元203预测下一个和后续显示区域向右移动。在这种情况下，解码区域确定单元203确定其中将向当前显示区域的左侧和右侧添加的边距的右边距设置为大于左边距的区域作为新的解码区域。

<第三实施例的构成示例2>

构成示例2基于显示区域的历史来预测下一个和后续显示区域，并且基于所预测的下一个和后续显示区域来确定新的解码区域。

根据构成示例2的移动图像处理系统的构成可以与图1或9所示的构成相同，因此将省略其图示和描述。此外，根据构成示例2的编码侧装置10的构成可以与图2或7所示的构成相同，因此将省略其图示和描述。

因此，将参照图14描述根据构成示例2的再现侧装置20的构成示例。如图14所示，根据构成示例2的再现侧装置20与图3所示的再现侧装置20不同在添加了历史信息存储器210。根据构成示例2的再现侧装置20可以具有向图8添加相同的历史信息存储器210的构成。

历史信息存储器210存储表示用户通过输入装置(图中未示出)输入的显示区域的历史的历史信息。解码区域确定单元203基于存储在历史信息存储器210中的包括当前显示区域的显示区域的历史信息来预测下一个和后续显示区域，并且基于所预测的下一个和后续的显示区域来确定新的解码区域。例如，当确定当前显示区域的下一个移动方向倾向于从显示区域的历史向右时，解码区域确定单元203预测下一个和后续的显示区域向右移动。在这种情况下，解码区域确定单元203确定其中将向当前显示区域的左侧和右侧添加的边距的右边距设置为大于左边距的区域作为新的解码区域。

<第三实施例的构成示例3>

构成示例3基于由另一个用户使用的显示区域的累积历史信息来预测下一个和后续显示区域，并且基于所预测的下一个和后续显示区域来确定新的解码区域。

首先，将参照图15说明根据构成示例3的移动图像处理系统的构成示例。根据构成示例3的移动图像处理系统与图1所示的移动图像处理系统不同在添加了服务器装置30。

接下来，将参照图16描述根据构成示例3的服务器设备30的构成示例。如图16所示，根据构成示例3的服务器装置30具有数据接收单元301、历史信息存储器302以及数据发送单元303。

数据接收单元301从再现侧装置20接收再现侧装置20的显示区域的信息。历史信息存储器302将表示再现侧装置20的显示区域的历史的历史信息添加到已经累积的由另一个用户使用的显示区域的历史信息。数据发送单元303将已经累积的由另一个用户使用的显示区域的历史信息发送到再现侧装置20。

接下来，将参考图17描述根据构成示例3的再现侧装置20的构成示例。如图17所示，根据构成示例3的再现侧装置20具有与图3所示的部件相同的部件，然而，执行与图3所示的操作不同的操作。

具体地，数据接收单元201从编码侧装置10接收编码数据，并从服务器装置30接收另一个用户使用的显示区域的历史信息。解码区域确定单元203基于由另一个用户使用的显示区域的历史信息预测下一个和后续显示区域，并且基于所预测的下一个和后续显示区域确定新的解码区域。例如，当确定当前显示区域的下一移动方向倾向于从另一个用户使用的显示区域的历史向右时，解码区域确定单元203预测下一个和后续显示区域向右移动。在这种情况下，解码区域确定单元203确定其中将向当前显示区域的左侧和右侧添加的边距的右边距设置为大于左边距的区域作为新的解码区域。

根据构成示例3的再现侧装置20可以具有与图8所示的相同的部件，并执行与上述相同的操作。根据构成示例3的编码侧装置10的内部构成可以与图2或7所示的相同，因此将省略其图示和描述。

<第三实施例的构成示例4>

构成示例4基于在移动图像中的对象的运动和要注意的点的位置来确定新的解码区域。这里，要注意的点是用户关注的位置。例如，当在360度移动图像中彼此分离的两个位置分别给出性能时，要注意的点是给出用户关注的性能的位置。假设要注意的点由用户指定，并通过诸如触摸面板和键盘(图中未示出)的输入装置输入到显示区域输入单元202或另一输入单元(图中未示出)。另一方面，该对象是移动图像中其运动大的对象(例如球和车辆等)。

根据构成示例4的移动图像处理系统的构成可以与图1或9所示的构成相同，因此将省略其图示和描述。

因此，首先，参照图18对根据构成示例4的编码侧装置10的构成示例进行说明。如图18所示，根据构成示例4的编码侧装置10与图2所示的编码侧装置10不同在添加了编码时间信息存储器108。根据构成示例4的编码侧装置10可以具有其中向图7添加相同的编码时间信息存储器10的构成。

当编码单元103执行编码时，编码时间信息存储器108存储编码时间信息，其是在通过图像识别等获得的编码数据中的信息(对象的运动和要注意的点的位置等)。数据发送单元104将编码数据发送到再现侧装置20，并且将存储在编码时间信息存储器108中的编码时间信息作为元数据发送到再现侧装置20。

接下来，将参照图19描述根据构成示例4的再现侧装置20的构成示例。如图19所示，根据构成示例4的再现侧装置20具有与图3所示的部件相同的部件，然而，执行与图3所示的操作不同的操作。

具体地，数据接收单元201从编码侧装置10接收编码数据和元数据。解码区域确定单元203基于当前显示区域和元数据来确定新的解码区域。当使用与对象的运动相关的元数据时，解码区域确定单元203基于当前显示区域和对象的运动方向来预测下一个和后续显示区域，并且基于所预测的下一个和后续显示区域来确定新的解码区域。例如，当对象的运动方向向右时，解码区域确定单元203预测下一个和后续的显示区域向右移动。在这种情况下，解码区域确定单元203确定其中向当前显示区域的左侧和右侧添加的边距的右边距被设置为大于左边距的区域作为新的解码区域。当使用与要注意的点相关的元数据时，解码区域确定单元203不仅确定其中向当前显示区域的左侧和右侧添加边距的区域作为解码区域，而且确定包括要注意的点的特定区域作为解码区域。由此，只要用户想要，可以将显示区域移动到要注意的点。

根据构成示例4的再现侧装置20可以具有与图8所示的相同的部件。并执行与上述相同的操作。

<第三实施例的另一构成示例>

第三实施例可以具有除了上述构成示例1至4之外的构成。例如，再现侧装置20的解码区域确定单元203可以基于用户的放大和缩小操作来确定新的解码区域。例如，当显示大小被放大为原始大小的两倍的图像时，放大前的必要图像的大小变为一半，使得显示区域的大小变为一半。另一方面，当显示大小减小到原始大小的一半的图像时，缩小之前的必要图像的大小变为两倍，使得显示区域的大小变为两倍。以这种方式，显示区域的大小根据用户的放大和缩小操作而变化，从而可以根据显示区域的变化的大小来确定解码区域。

(3-2)第三实施例的操作

以下，将对第三实施例的动作进行说明。首先，作为第三实施例的操作示例的概述，将对作为代表的构成示例1和4的操作示例进行说明。构成示例1和4的编码侧装置10的操作与第一实施例的相同，因此下文将仅描述再现侧装置20的操作。

<根据第三实施例的构成示例1的再现侧装置20的操作示例的概述>

首先，将参考图20描述根据第三实施例的构成示例1的再现侧装置20的操作示例的概述。

在图20的示例中，下图示出了当解码区域中出现i帧的图像时的整体图像y，上图示出了紧接整体图像y之前的整体图像x。这里，当i帧的图像出现时的整体图像y的显示区域从整体图像y紧接之前的整体图像x的显示区域向右移动。因此，再现侧装置20的解码区域确定单元203预测显示区域在下一个和后续整体图像中向右移动，并且确定其中向当前显示区域的左侧和右侧添加的边距的右边距被设置为大于左边距的区域作为新的解码区域。

<根据第三实施例的构成示例4的再现侧装置20的操作示例的概述>

接下来，将参照图21描述根据第三实施例的构成示例4的再现侧装置20的操作示例的概述。图21示出了当使用与要注意的点的位置相关的元数据时的操作示例。

在图21的示例中，上图示出了在显示区域移动前的整体图像x，下图示出了在显示区域从整体图像x的显示区域移动之后的整体图像y。这里，假设i帧的图像出现在整体图像x的解码区域中。此外，假设由移动图像数据的提供者指定要注意的点。因此，再现侧装置20的解码区域确定单元203不仅确定其中向当前显示区域的左侧和右侧添加边距的区域作为解码区域#1，而且确定包括要注意的点的特定区域作为在整体图像x中的解码区域#2。结果，再现侧装置20的解码单元204对两个解码区域#1和#2中的图像进行解码。因此，当使用整体图像y时，如果用户想要将显示区域移动到要注意的点，则可以快速显示要注意的点的图像。由此，只要用户期望，就可以平滑地将显示区域移动到要注意的点。

随后，将描述根据第三实施例的再现侧装置20的操作示例的流程。在下面的描述中，将作为代表来描述构成示例4的操作示例。

<根据第三实施例的构成示例4的再现侧装置20的操作示例的流程>

将参考图22描述根据第三实施例的构成示例4的再现侧装置20的操作示例的流程。图22示出了当使用与对象的运动有关的元数据时的操作示例。图22与图6不同在包括步骤c1至c3来取代步骤a2。

如图22所示，首先，执行与图6中相同的步骤a1的处理。并且如果在整体图像的解码区域中没有出现i帧(步骤a1中的否)，则执行与图6中相同的步骤a3的处理。

另一方面，如果i帧出现在整体图像的解码区域(步骤a1中的是)，则解码区域确定单元203确定移动图像中的对象的运动方向是否向左(步骤c1)。关于确定对象的运动方向是否向左的方法，例如，考虑下述方法：其设定阈值，并且当对象的向左侧移动量超过阈值时确定对象的移动方向向左。然而，并不限于此。

在步骤c1中，如果对象的运动方向向左(步骤c1中的是)，则解码区域确定单元203确定其中向当前显示器的左侧和右侧添加的边距的左边距被设置为大于右边距的区域作为新的解码区域(步骤c2)。此后，解码区域确定单元203进行到步骤a4的处理。

另一方面，如果对象的运动方向不向左(步骤c1中的否)，则解码区域确定单元203确定其中添加到当前显示区域的左侧和右侧的边距的右边距被设置为大于左边距的区域作为新的解码区域(步骤c3)。此后，解码区域确定单元203进行到步骤a4的处理。

此后，执行与图6中相同的步骤a4至a7的处理。

(3-3)第三实施例的效果

如上所述，根据第三实施例，再现侧装置20不仅基于当前显示区域而且基于先前的显示区域等来确定新的解码区域。因此，可以提高解码区域的精度。特别地，当切换解码区域时，可以提高边界附近的解码区域的精度。其他效果与第一实施例相同。

(4)第四实施例

在上述第一至第三实施例中，编码侧装置10将i帧的时间间隔定义为n，并以那个时间间隔将所有小画面图像编码为i帧。

另一方面，在第四实施例中，编码侧装置10可以改变编码侧装置10将小画面图像编码为i帧的时间间隔。

(4-1)第四实施例的构成

第四实施例的构成可以与上述第一至第三实施例中的任一个相同，因此将省略其图示和描述。

(4-2)第四实施例的操作

以下，对第四实施例的操作进行说明。在第四实施例中，如后所述，与上述第一至第三实施例相比，出现i帧的定时是不规则的。然而，当i帧出现时，再现侧装置20可以识别i帧并执行在第一至第三实施例中描述的处理。换句话说，再现侧装置20的操作可以与上述第一到第三实施例中的任何一个相同(对于稍后描述的第五实施例也是如此)。因此，在下文中将仅描述编码侧装置10的操作。

<根据第四实施例的编码侧装置10的操作示例1的概述>

首先，将参考图23描述根据第四实施例的编码侧装置10的操作示例1的概述。

在操作示例1中，编码侧装置10的编码单元103移位将多个小画面图像中的一些编码为i帧的定时。

编码侧装置10的编码单元103将编码从左侧起的奇数编号的小画面图像为i帧的定时设置为与上述第一至第三实施例中相同的定时，并将在时间t1和t3的小画面图像编码为i帧。另一方面，编码侧装置10的编码单元103移位将从左侧起的偶数小画面图像编码为i帧的定时，并将在时间t1、t2和t4的小画面图像编码为i帧。

在上述第一至第三实施例中，编码侧装置10的编码单元103将i帧的时间间隔定义为n，并以那个时间间隔将所有小画面图像编码为i帧。在这种情况下，再现侧装置20的解码区域确定单元203只能以时间间隔n重新确定新的解码区域。

另一方面，在操作示例1中，编码侧装置10的编码单元103移位将从左侧起的偶数小画面图像编码为i帧的定时。因此，在图23的示例中，i帧在时间t1、t2、t3和t4出现，即以时间间隔n/2出现。因此，再现侧装置20的解码区域确定单元203可以以时间间隔n/2重新确定新的解码区域。因此，虽然编码侧装置10的编码单元103几乎不改变i帧的平均时间间隔(平均时间间隔影响编码效率)，但是再现侧装置20的解码区域确定单元203可以以更短的间隔重新确定新的解码区域。

<根据第四实施例的编码侧装置10的操作示例2的概述>

接下来，将参考图24描述根据第四实施例的编码侧装置10的操作示例2的概述。

在操作示例2中，编码侧装置10的编码单元103基于移动图像中的对象的移动速度来动态地改变i帧的时间间隔。

当进行编码时，编码侧装置10的编码单元103可以知道移动图像中的对象的移动速度是否高。关于对象的移动速度是否高，例如，当设定阈值并且对象的移动速度超过阈值时，认为对象的移动速度被确定为高。然而，并不限于此。

编码侧装置10的编码单元103在对象的移动速度较低的时段中将i帧的时间间隔定义为n，并以时间间隔n(在时间t1和t4)将所有小画面图像编码为i帧。

另一方面，编码侧装置10的编码单元103在对象的移动速度高的时段将i帧的时间间隔定义为n/2，并以时间间隔n/2(在时间t2和t3)将所有小画面图像编码为i帧。因此，再现侧装置20的解码区域确定单元203可以以更短的间隔重新确定新的解码区域。

在操作示例2中，编码侧装置10的编码单元103基于移动图像中的对象的移动速度来动态地改变i帧的时间间隔。然而，并不限于此。例如，编码侧装置10的编码单元103可以通过来自再现侧装置20的请求等来动态地改变i帧的时间间隔。

(4-3)第四实施例的效果

如上所述，根据第四实施例，编码侧装置10可以改变i帧的时间间隔。因此，编码侧装置10可以移位多个小画面图像中的一些的i帧的时间间隔，并且根据移动图像中的对象的移动速度动态地改变i帧的时间间隔。因此，再现侧装置20可以以更短的间隔重新确定新的解码区域。因此，当显示区域的移动量(移动速度)大或对象的移动速度高时，再现侧装置20可以根据移动量或移动速度来确定解码区域。结果，再现侧装置20可以对于相同大小的解码区域以更高的速度移动显示区域。此外，可以减小获得显示区域的相同移动量(移动速度)所需的解码区域的大小。其他效果与第一实施例相同。

(5)第五实施例

在上述第一至第四实施例中，编码侧装置10的编码单元103通过处理作为独立的小画面图像的多个小画面图像中的每一个并应用帧间预测编码来执行编码。

另一方面，在第五实施例中，编码侧装置10的编码单元103通过组合帧间预测编码和诸如mvc(多视点视频编码)的在小画面图像之间的预测编码来对小画面图像进行编码。

mvc在以下非专利文献中公开。

hideakikimata,"trendsofinternationalstandardizationofthree-dimensionalvideocoding(三维视频译码的国际标准化趋势)",ntttechnicalreview,october2011vol.9no.10,<url:https://www.ntt-review.jp/anqtest/archive/ntttechnical.php？contents＝ntr201110gls.html>

第五实施例的构成可以与上述第一至第四实施例中的任何一个相同，因此省略其图示和描述。

以下，对第五实施例的操作进行说明。然而，再现侧装置20的操作可以与上述第一至第三实施例中的任何一个相同。因此，在下文中将仅描述编码侧装置10的操作。这里，将参考图25描述根据第五实施例的编码侧装置10的操作示例的概述。

编码侧装置10的编码单元103将多个小画面图像中的从左起的奇数编号的小画面图像分类为基本视图。编码侧装置10的编码单元103通过以与第一至第四实施例相同的方式应用帧间预测编码，对分类为基本视图的小画面图像进行编码。具体地，编码单元103将属于基本视图的小画面图像以恒定的时间间隔编码为i帧，或将小画面图像编码为参考i帧和在i帧之后的p帧的p帧和b帧。

另一方面，编码侧装置10的编码单元103将多个小画面图像中的从左侧起的偶数编号的小画面图像分类为非基本视图。编码侧装置10的编码单元103通过在小画面图像之间应用预测编码来对分类为非基本视图的小画面图像进行编码。具体地，编码单元103通过参照同时属于基本视图的i帧或p帧，将属于非基本视图的所有小画面图像编码为p帧和b帧。

在图25的示例中，i帧以时间间隔n出现，即在时间t1和t2出现，使得再现侧装置20的解码区域确定单元203重新确定新的解码区域。在图25的示例中，再现侧装置20的解码区域确定单元203使得解码区域的大小大于第一至第四实施例中的大小。然而，并不限于此。

在第五实施例中，可以通过适当地确定基本视图和非基本视图之间的位置关系、非基本视图参考的基本视图的位置关系和解码区域的大小，进一步提高编码效率。

如上所述，根据第五实施例，编码侧装置10通过组合帧间预测编码和诸如mvc的在小画面图像之间的预测编码来对小画面图像进行编码，使得可以进一步改进移动图像的编码效率。其他效果与第一实施例相同。

(6)第一至第五实施例的概念

在下文中，将参照图26描述概念性地示出上述第一至第五实施例的移动图像处理系统的构成。图26所示的移动图像处理系统包括编码侧装置80和再现侧装置90。编码侧装置80对应于编码侧装置10，再现侧装置90对应于再现侧装置20、20a和20b。

形成移动图像的多个时间上连续的整体图像被顺序地输入到编码侧装置80中，并且编码侧装置80将输入的整体图像分割成多个小画面图像，对分割的多个小画面图像进行编码，并将编码的多个小画面图像发送到再现侧装置90。再现侧装置90从编码侧装置80顺序地接收包括多个小画面图像的整体图像，并对接收到的整体图像进行解码。

编码侧装置80包括分割单元801、编码单元802和发送单元803。分割单元801对应于小画面分割单元102，编码单元802对应于编码单元103，并且发送单元803对应于数据发送单元104。编码侧装置80的构成组件可以由半导体装置实现。

多个整体图像被顺序地输入到分割单元801中，并且分割单元801将输入的整体图像分割成多个小画面图像。编码单元802对由分割单元801分割的多个小画面图像进行编码。发送单元803将包括由编码单元802编码的多个小画面图像的整体图像发送到再现侧装置90。

再现侧装置90包括接收单元901、确定单元903和解码单元902。接收单元901对应于数据接收单元201，确定单元903对应于解码区域确定单元203，并且解码单元902对应于解码单元204。再现侧装置90的构成组件可以由半导体装置实现。

接收单元901从编码侧装置80顺序地接收包括多个小画面图像的整体图像。确定单元903确定包括要解码的小画面图像并且被包括在整体图像中的解码区域。解码单元902解码由确定单元903确定并且被包括在由接收单元901接收的整体图像中的解码区域中的小画面图像。这里，确定单元903在i帧的小画面图像出现在解码区域的时候确定新的解码区域。

发送单元803和接收单元901可以由诸如天线和线缆的电路形成。分割单元801、编码单元802、确定单元903和解码单元902可以以软件方式实现，或者可以由硬件方式由硬件电路形成。可以通过例如考虑画面大小等来选择编码单元802和解码单元902是否由软件或硬件实现。

在图26所示的移动图像处理系统中，当在解码区域中出现i帧的小画面图像时，再现侧装置90确定新的解码区域。这里，可以在解码区域中快速解码i帧的小画面图像。此外，可以通过参考最近确定的解码区域中的i帧，预先解码解码区域中的除了i帧之外的小画面图像。由此，即使当显示区域移动到解码区域中的另一区域时，可以快速地显示移动后的显示区域中的图像，从而可以平滑地移动显示区域。

虽然已经基于实施例具体描述了发明人所做出的发明，但是不用说，本发明不限于所述实施例，并且可以在不脱离本发明的范围的情况下进行各种修改。

例如，尽管在上述各实施例中将显示单元设置在再现侧装置的内部，但并不限于此。

此外，尽管在上述每个实施例中移动图像是360度移动图像等，但不限于此。例如，当将相对于地图在时间方向上变化的附加信息(例如，交通堵塞信息)添加到地图并且将地图用作移动图像时，其中附加信息被添加到地图的数据作为整体是非常巨大的数据。因此，将附加信息添加到地图的数据被分割为要被编码的多个数据是很自然的，因此可以应用上述实施例。由此，可以在平滑地移动显示区域的同时，无延迟地实时显示其中附加信息被附加到地图上的数据。

作为编码侧装置、再现侧装置和在再现侧装置中进行各种处理的功能块的在附图中所示的部件可以由如图27所示作为硬件的下述部分形成：执行计算处理和控制处理等的诸如cpu(中央处理单元)的处理器1001；由处理器1001执行的程序；存储各种数据的存储器1002；以及诸如从外部输入和向外部输出信号的接口(i/f)1003的电路。此外，可以通过作为软件由处理器1001从存储器1002读取的程序来实现组件。因此，本领域技术人员应当理解，功能块可以通过仅硬件、仅软件或这些的组合以各种形式实现，并且功能块不限于硬件、软件和这些的组合。

上述程序可以存储在各种类型的非暂时性计算机可读介质中，并被提供给计算机。非暂时计算机可读介质包括各种类型的有形存储介质。非暂时计算机可读介质的示例包括磁记录介质(例如，软盘、磁带和硬盘驱动器)、磁光记录介质(例如，磁光盘)、cd-rom(致密盘-只读存储器)、cd-r(可记录cd)、cd-r/w(可重写cd))、半导体存储器(例如，掩模rom、prom(可编程rom)、eprom(可擦除存储器)、闪存rom、ram(随机存取存储器))。可以通过各种类型的暂时计算机可读介质将程序提供给计算机。暂时计算机可读介质的示例包括电信号、光信号和电磁波。暂时计算机可读介质可以通过诸如电线和光纤的有线通信路径或无线通信路径将程序提供给计算机。