专利名称：图像处理装置、图像处理方法和图像处理系统的制作方法
图像处理装置、图像处理方法和图像处理系统技术领域
本公开涉及一种图像处理装置、图像处理方法和图像处理系统，且更具体地涉及一种提供其中处理负荷和图像质量劣化少的根据编码标准的多图片再现系统的图像处理装置、图像处理方法和图像处理系统。
背景技术：
随着内容被数字化以及配置了传输图片的基础设施，通过因特网分发图片变得越来越普遍。近年来，通过个人计算机，可连接至网络的电视接收器用作接收端设备。因此， 分发的图片内容可使用电视接收器查看。近年来，通过云服务的发展，包括私密内容的各种频道可通过网络被提供给观众。因此，对图I中示出的多图片再现系统的需求变大，在该系统中可同时查看多个图片内容并且可简单地查找期望的图片内容。
在图I的多图片再现系统中，显示在画面上的多图片再现图像使用多个图片内容进行配置。以最大尺寸将在要显示的多个图片内容中作为主要查看的图片内容的主图片内容布置在画面中央。以比主图片内容的尺寸小的尺寸在主图片内容周围布置可选择(切换)的其它图片内容。可选择的图片内容是TV广播频道、网络画面、例如电影的视频内容和TV聊天画面并且从云(网络)获取。
作为实现多图片再现图像的显示的第一种方法，存在一种从云中的服务器接收对应于多个图片内容的多个编码流的方法。客户端设备接收该多个编码流、解码该流、执行合成处理并生成多图片再现图像。例如，日本专利申请公开No. 2002-064818公开了一种多图片再现图像，其中接收多个基本流(elementary stream, ES),并且基于显示优先级将宽显示区域分配给具有较高优先级的ES。发明内容
然而，需要宽的传输带宽以分发多个编码流。由于客户端设备应同时解码该多个编码流并执行合成处理，因此接收器变得昂贵。
作为实现多图片再现图像的显示的第二种方法，存在一种生成多图片再现图像作为一个编码流并在服务器端上进行分发的方法，如图2所示。在这种情形下，服务器解码要合成的多个图片内容、在调整尺寸和图像合成之后再编码该图片内容并生成编码流。从而，由于服务器执行用于进行解码、调整尺寸、图像合成和再编码的处理，对于每一个图片内容，其负荷变大。另外，由于解码之后再编码，图像质量被劣化。
多图片再现图像的编码流应符合编码标准。
鉴于以上情况作出本公开的内容，且本公开提供一种处理负荷和图像质量劣化都少的根据编码标准的多图片再现系统。
根据本公开的第一实施方式，提供一种图像处理装置，其包括编码处理单元，对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码图片内容，并且生成多图片再现图像的编码流以同时生成显示多个图片内容。当包括在所述图片内容的编码流中的、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流，再编码该流，并将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流。
根据本公开的第一实施方式的图像处理方法对应于根据本公开的第一实施方式的图像处理装置。
根据本公开的第一实施方式，对于多个图片内容的每一个生成不同显示尺寸的多个编码流，使用编码流以预定块的单位对图片内容进编码，并且生成同时显示多个图片内容的多图片再现图像的编码流。具体地，当包括在图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在多图片再现图像的编码流中被禁用的禁用参数时，编码处理单元解码原始块的编码流、再编码该流并且将获得的编码流设定为预定块的编码流，而当原始块的参数不是禁用参数时，编码处理单元将原始块的编码流设定为预定块的编码流。
根据本公开的第二实施方式，提供一种包括服务器设备和客户设备的图像处理系统，所述服务器设备包括编码处理单元，其对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容并且生成多图片再现图像的编码流以同时显示多个图片内容；以及发送单元，其将由所述编码处理单元生成的所述多图片再现图像的编码流发送至客户设备，当包括在所述图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流、再编码该流并且将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流，以及所述客户设备包括接收单元，其接收由所述发送单元发送的所述多图片再现图像的编码流；以及显示控制单元，其基于接收的所述多图片再现图像的编码流在预定显示单元上显示所述多图片再现图像。
根据本发明的第二实施方式，对于多个图片内容的每一个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码图片内容，并且生成同时显示多个图片内容的多图片再现图像的编码流。具体地，当包括在图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在多图片再现图像的编码流中被禁用的禁用参数时，编码处理单元解码原始块的编码流、再编码该流并且将获得的编码流设定为预定块的编码流，而当原始块的参数不是禁用参数时，编码处理单元将原始块的编码流设定为预定块的编码流。随后，服务器设备将生成的多图片再现图像的编码流传输至客户设备。
传输的多图片再现图像的编码流被客户设备接收并且多图片再现图像基于接收的多图片再现图像的编码流被显示在预定显示单元上。
根据上述本公开的实施方式，可提供一种处理负荷和图像质量劣化都少的根据编码标准的多图片再现系统。
图I是示出多图片再现系统的图2是示出其中多图片再现图像作为一种编码流被分发的情形的实例的图3是示出应用本公开的多图片再现系统的实施方式的配置实例的框图4是示出应用本公开的生成多图片再现图像的方法的图5是应用本发明的多图片再现图像的生成的概念功能框图6是示出图片内容和多图片再现图像的片的边界的图7是示出图片内客和多图片再现图像的帧的边界的图8是示出当图片内容的显示位置改变时的参考像素的图9是示出当图片内容的显示位置改变时跳跃宏块的参考像素的图10是示出当图片内容的显示位置改变时参数的改变的图11是编码处理单元的功能框图12是示出频道列表更新(生成)处理的流程图；
图13是示出开始客户端的处理的流程图14是示出图片内容改变处理的流程图15是示出查看设置改变请求接收处理的流程图16是不出查看设置请求对应处理的流程图17是示出多图片再现图像生成处理的流程图18是示出位置改变处理的流程图19是示出无损编码的处理序列的图20是示出HEVC的帧内预测模式的第一实例的图21是示出HEVC的帧内预测模式的第二实例的图；以及
图22是示出应用本公开的计算机的一种实施方式的配置实例的框图。
具体实施方式
根据本发明一方面，提供一种图像处理装置，包括编码处理单元，对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码图片内容， 并且生成同时显示多个图片内容的多图片再现图像的编码流，其中，当包括在所述图片内容的编码流中的、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流，再编码该流，并将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流。
根据本发明另一方面，提供一种图像处理方法，包括使用图像处理装置对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容，并且生成多图片再现图像的编码流以同时显示多个图片内容，其中，在编码处理步骤中，当包括在所述图片内容的编码流中、与作为对应于所述预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述原始块的编码流被解码，该流被再编码并且获得的编码流被设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述原始块的编码流被设定为所述预定块的编码流。
根据本发明又一方面，提供一种图像处理系统，包括服务器设备和客户设备其中，所述服务器设备包括编码处理单元，其对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容并且生成多图片再现图像的编码流以同时显示多个图片内容；以及发送单元，其将由所述编码处理单元生成的所述多图片再现图像的编码流发送至客户设备，当包括在所述图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流、再编码该流并且将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流，以及所述客户设备包括接收单元，其接收由所述发送单元发送的所述多图片再现图像的编码流；以及显示控制单元，其基于接收的所述多图片再现图像的编码流在预定显示单元上显示所述多图片再现图像。
下文中，将参照附图详细描述本公开的优选实施方式。应注意，在说明书和附图中，具有基本相同的功能和结构的结构元件使用相同的附图标记表示，且省略对这些结构元件的重复说明。
[多图片再现系统的配置示例]
图3示出了应用本公开的多图片再现系统的实施例的配置示例。
使用分发图片内容的内容分发服务器11和通过网络12连接至内容分发服务器11 的内容接收设备13来配置作为图像处理系统的多图片再现系统I。
内容分发服务器11将多个图片内容合成到一个画面的多图片再现图像，并将该多图片再现图像作为编码流分发至更作为客户端的内容接收设备13。内容接收设备13通过例如因特网的网络12接收由内容分发服务器11分发的编码流。内容接收设备13在例如包括在其自身的内容接收设备中的液晶显示器的显示单元上或者连接至其自身的内容接收设备的显示设备上显示基于接收的编码流的多图片再现图像。内容接收设备13可使用具有网络连接功能的电视接收器、机顶盒(STV)或个人计算机进行配置。
图3仅示出一个内容接收设备13。然而，多个内容接收设备13连接至网络12，且内容分发服务器11通过多播将编码流传输至多个内容接收设备13。
[生成多图片再现图像的方法]
使用生成同时显示4个图片内容A、B、C和D的多图片再现图像的情形作为例子， 参照图4描述一种通过内容分发服务器11生成多图片再现图像的方法。
内容分发服务器11使用例如AVC(Advanced Video Coding，高级视频编码)(MPEG4 第10部分(高级视频编码))的预定编码方法以多种显示尺寸编码要分发的多个图片内容的每个，预先生成显示尺寸不同的多个编码流，并存储该编码流。例如，对于图片内容A，内容分发服务器11生成大、中和小尺寸的编码流。类似地，对于图片内容B、C和D，内容分发服务器11生成大、中和小尺寸的编码流。下文中，大、中和小尺寸被分别描述为尺寸(大)、 尺寸(中)和尺寸(小)。尺寸(大)为对应于画面尺寸的尺寸。尺寸的种类被预先确定。
如图4所示，当生成包括尺寸(小)的图片内容A、B和C和尺寸(中)的图片内容D的多图片再现图像时，内容分发服务器11使用预先生成的不同尺寸的多个编码流生成多图片再现图像。
具体地，内容分发服务器11根据画面的布置(显示位置)将多个图片内容的预定尺寸的编码流切换成合成对象、执行参数的转换编码(transcoding)并生成要分发的多图片再现图像的编码流。
在这种情形下，参数的转换编码是用于使用在处理对象的编码流中添加至图片内容的编码数据的、与编码有关的参数执行编码的编码处理，而不必执行帧内/帧间(intra/ inter)类型的确定处理、块尺寸确定处理、运动矢量计算处理和巾贞内预测模式确定处理。该参数是宏块(MB)的类型信息(帧内类型和帧间类型)、预测块的块尺寸信息、表示运动矢量 (motion vector)的MV信息和巾贞内预测模式。
图5示出使用参数转换编码的本公开的多图片再现图像的生成的概念功能框图。
在例如硬盘的内容存储单元41A中，存储对于图片内容A预先生成的尺寸(大)、 尺寸(中)和尺寸(小)的编码流。在内容存储单元41B中，存储尺寸(大)、尺寸(中) 和尺寸(小)的图片内容B的编码流。类似地，在内容存储单元41C和内容存储单元41D 中，存储尺寸(大)、尺寸(中)和尺寸(小)的图片内容C和图片内容D的编码流。
当生成包括尺寸(小)的图片内容A、B和C和尺寸(中)的图片内容D的多图片再现图像时，参数解码器42A从内容存储单元41A获取图片内容A的尺寸(小)的编码流。 参数解码器42A从输入编码流提取编码数据和参数、将编码数据提供至图像排列处理单元 43,并且将参数提供至参数排列处理单元44。
参数解码器42B从内容存储单元41B获取图片内容B的尺寸(小)的编码流。参数解码器42B从输入编码流提取编码数据和参数、将编码数据提供至图像排列处理单元43， 并且将参数提供至参数排列处理单元44。
除了处理对象的编码流是图片内容C的尺寸(小)的编码流之外，参数解码器42C 的处理与参数解码器42B的处理相同。
参数解码器42D从内容存储单元41D获取图片内容D的尺寸(中)的编码流。参数解码器42D从输入编码流提取编码数据和参数，将编码数据提供至图像排列处理单元43， 并且将参数提供至参数排列处理单元44。
当图像排列处理单元43将多图片再现图像分成预定宏块的单位并关注每一个宏块时，图像排列处理单元43根据设置在每一个宏块的位置处的图片内容切换要输出至后续步骤的参数使用编码器45的图像数据。
也就是说，当在生成的多图片再现图像中关注的宏块的位置为设置图片内容A的区域时，图像排列处理单元43将由参数解码器42A提供的编码数据输出至参数使用编码器 45。
当在生成的多图片再现图像中关注的宏块的位置为其中设置图片内容B的区域时，图像排列处理单元43将由参数解码器42B提供的编码数据输出至参数使用编码器45。 这在设置图片内容C和D的区域中是相同的。
参数排列处理单元44关于参数执行与图像排列处理单元43相同的处理。
也就是说，当在生成的多图片再现图像中关注的宏块的位置为设置图片内容A的区域时，参数排列处理单元44将由参数解码器42A提供的参数输出至参数使用编码器45。
当在生成的多图片再现图像中关注的宏块的位置为设置图片内容B的区域时，参数排列处理单元44将由参数解码器42B提供的参数输出至参数使用编码器45。这在设置图片内容C和D的区域中是相同的。
当在生成的多图片再现图像中关注的宏块的位置为设置图片内容A的区域时，图片内容A的编码数据和参数被提供至参数使用编码器45。当关注的宏块的位置是设置图片内容B的区域时，图片内容B的编码数据和参数被提供至参数使用编码器45。这在设置图片内容C和D的区域中是相同的。
参数使用编码器45基于提供的参数将参数添加至编码数据、执行参数转换编码并且生成多图片再现图像的编码流。
在图5中，内容存储单元41A至41D被描述为不同的内容存储单元以有利于理解。 然而，内容存储单元41A至41D可为相同的内容存储单元41。类似地，由参数解码器42A至 42D执行的处理可由一个参数解码器42执行。内容存储单元41A至41D可被设置在内容分发服务器11中并且可被设置在与内容分发服务器11不同的设备中。
简而言之，在生成的多图片再现图像中设置图片内容A的位置的宏块中，内容分发服务器11执行来自图片内容A的编码流的参数转换编码。在设置图片内容B的位置的宏块中，内容分发服务器11执行来自图片内容B的编码流的参数转换编码。类似地，在设置图片内容C或D的位置处的宏块中，内容分发服务器11执行来自图片内容C或D的编码流的参数转换编码。
内容分发服务器11对于图片内容的编码流基本上执行参数转编码。然而，可能需要通过内容分发服务器11执行通常的解码和再编码。
在编码流中可应用多分割以提高编码的操作效率或接受来自再现端的请求。在这种情形下，如图6所示，图片内容的片的边界51和多图片再现图像的片的边界52可能不匹配。
在这种情形下，对于位于片或帧的边界处的预测块，存在被编码标准禁用的例如帧内预测模式的参数(下文中称作禁用参数)。例如，在AVC标准中，预测块的块尺寸为 4X4像素、8X8像素和16X16像素，并且对于每一个尺寸定义了表示预测方向的多种帧内预测模式。由于对于帧内预测模式中的一些帧内预测模式，参考像素逻辑上不存在，因此对于位于片或帧的边界处的预测块，禁止使用预测模式。例如，对于上侧位于片或帧的边界处的预测块，禁止使用垂直模式。
当边界52和边界51不匹配时，位于边界52处的图片内容的预测块不位于图片内容上的边界处。因此，预测块的参数可能是禁用参数。
因此，当在位于边界52处的宏块的参数中包括禁用参数时，内容分发服务器11应解码宏块的编码流并且执行再编码，以使得不包括禁用参数。
如图7所示，当多图片再现图像的显示范围移动时，图片内容可能从多图片再现图像的画面部分地突出。在这种情形下，图片内容的帧的边界53和多图片再现图像的帧的边界54不匹配，而位于边界54处的图片内容的预测块的参数可能是禁用参数，类似于图6 的情形。
因此，当禁用参数被包括在位于边界54处的宏块的参数中时，内容分发服务器11 应解码宏块的编码流并且执行再编码，以使得不包括禁用参数，类似于图6的情形。
当图片内容的显示位置由于多图片再现图像的显示范围的移动而改变时，基于帧间类型的宏块的运动矢量的其它帧的多图片再现图像的参考像素与最初要参考的像素不同。因此，当使用参考像素执行再编码时，在多图片再现图像中可主观地生成观察到劣化的块噪声。内容分发服务器11基于图片内容的显示位置的改变校正运动矢量，以便参考最初要参考的像素。
然而，即使当运动矢量被校正时，如图8所示，参考像素仍然可能突出至多图片再现图像的画面的外部。因此，在这种情形下，内容分发服务器11应解码编码流并执行再编码，以便在多图片再现图像的画面中存在参考像素。
当宏块为跳跃宏块时，如图9所示，基于对应于跳跃宏块的运动矢量的其它帧的多图片再现图像的参考像素与最初要参考的像素不同，类似于图8的情形。因此，类似于图 8的情形，内容分发服务器11应基于图片内容的显示位置的改变校正运动矢量或解码编码流并且执行再编码，使得在多图片再现图像的画面中存在参考像素。
如果运动矢量被校正或执行了再编码，则成为跳跃宏块的宏块的运动矢量与对应于跳跃宏块的运动矢量不同。为此，如图10所示，MV信息应被改变成运动矢量并且块尺寸信息应被改变成16X 16像素。
图11以宏块为单位示出图3的内容分发服务器11的执行参数转换编码的编码处理单元60的功能框图。
图11的编码处理单元60包括开关61、参数解码器62、参数修改单元63、参数确定单元64、帧内预测/运动补偿单元65、DCT/量化单元66、无损编码单元67、输出单元68、 逆量化/逆DCT单元69、解块滤波器70和解码图片缓冲器(decoded picture buffer, DPB)71。
要预先生成的形成多图片再现图像的预定尺寸的图片内容的编码流以对应于多图片再现图像的宏块的图片内容的块(下文中称作原始块)为单位被输入至开关61。开关 61用作接收单元，从用户接收表示相对于多图片再现图像的显示范围的运动指令(改变指令)的显示信息，并且基于显示信息确定是否需要提取原始块的参数。
当确定不需要提取原始块的参数时，开关61将原始块的编码流提供至输出单元 68。同时，当确定需要提取原始块的参数时，开关61将原始块的编码流提供至参数解码器 62。
参数解码器62从由开关61提供的原始块单元的编码流提取原始块的参数。参数解码器62确定是否需要基于原始块的参数、显示信息修改原始块的参数，宏块是否位于多图片再现图像上的片或帧的边界处以及原始块的参数是否是禁用参数。
当确定不需要修改原始块的参数时，参数解码器62将原始块的编码流提供至输出单元68。当确定需要修改原始块的参数时，参数解码器62确定是否需要基于原始块的参数、显示信息执行再编码，宏块是否位于多图片再现图像上的片或帧的边界处，以及原始块的参数是否为禁用参数。参数解码器62从编码流提取编码数据。
当确定不需要执行再编码时，参数解码器62将原始块的参数和编码数据提供至参数修改单元63。同时，当确定需要执行再编码时或当从参数修改单元63请求再编码时， 参数解码器62解码原始块的编码数据并将获得的图像数据提供至参数确定单元64。
参数修改单元63基于对应于由显示信息表示的运动指令的运动量修改(更新) 从参数解码器62提供的原始块的参数的MV信息。参数修改单元63基于修改的参数确定在多图片再现图像的画面中是否存在参考像素。当确定在多图片再现图像的画面中存在参考像素时，参数修改单元63将修改的参数和编码数据提供至无损编码单元67。
同时，当确定在多图片再现图像的画面中不存在参考像素时，参数修改单元63请求参数解码器62将原始块的图像数据提供至参数确定单元64。
参数确定单元64基于从参数解码器62提供的原始块的图像数据确定参数。具体地，参数确定单元64与帧内预测/运动补偿单元65类似地对于从参数解码器62提供的原始块的图像数据执行帧内预测处理和运动补偿处理，并且生成预测图像数据。参数确定单元64确定当生成具有最小编码成本的预测图像数据时使用的参数作为最终的参数。
参数确定单元64将确定的参数和图像数据提供至帧内预测/运动补偿单元65，并且将参数提供至无损编码单元67。
帧内预测/运动补偿单元65基于来自参数确定单元64的参数参考存储在DPB71 中的解码图像数据，并对于来自参数确定单元64的图像数据执行帧内预测处理或运动补偿处理。帧内预测/运动补偿单元65将帧内预测数据和图像数据提供至DCT/量化单元 66，并且将预测图像数据提供至逆量化/逆DCT单元69。
DCT/量化单元66计算从帧内预测/运动补偿单元65提供的图像数据和预测图像数据的差。DCT/量化单元66对于获得的差分图像数据执行正交变换，并且执行用于计算转换效率的DCT处理。DCT/量化单元66执行用于量化计算的转换效率的量化处理。DCT/量化单元66将量化处理之后的图像数据提供至无损编码单元67。
对于从DCT/量化单元66提供的量化的图像数据，无损编码单元67执行例如可变长度编码和算术编码的无损编码。作为可变长度编码，存在由H. 264/AVC方法确定的 CAVLC (Context-Adaptive Variable Length Coding,上下文自适应可变长度编码)。作为算术编码，存在 CABAC (Context-Adaptive Binary Arithmetic Coding,上下文自适应二进制算术编码)。无损编码单元67将从参数确定单元64或参数修改单元63提供的参数添加至作为无损编码的结果获得的编码数据或者来自参数修改单元63的编码数据。无损编码单元67将获得的编码流提供至输出单元68。
输出单元68输出从无损编码单元67提供的原始块单位的编码流或者从开关61 提供的原始块单位的编码流，作为多图片再现图像的宏块单位的编码流。
逆量化/逆DCT单元69逆量化从DCT/量化单元66提供的被量化的转换效率，并对于获得的转换效率执行逆正交变换。换句话说，逆量化/逆DCT单元69使用对应于由 DCT/量化单元66执行的DCT处理和量化处理的方法执行逆量化处理和逆DCT处理。逆量化/逆DCT单元69将作为逆正交变换的结果获得的差分图像数据和从帧内预测/运动补偿单元65提供的预测图像数据相加，并将获得的图像数据作为解码图像数据提供至解块滤波器70。
解块滤波器70对于从逆量化/逆DCT单元69提供的解码图像数据执行解块处理以去除块失真。解块滤波器70将执行解块处理的解码图像数据或者不执行解块处理的解码图像数据提供至DPB71。
DPB71存储从解块滤波器70提供的解码图像数据。
如上所述，当确定不需要提取参数或当确定不需要修改参数时，编码处理单元60 输出输入编码流作为多图片再现图像的编码流，并执行参数转换编码。下文中，这一参数转换编码被称作无修改参数转换编码。
当确定需要修改参数时，当确定不需要执行再编码时，以及当确定在多图片再现图像的画面中存在参考像素时，编码处理单元60仅修改包括在输入编码流中的参数并且执行参数转换编码。下文中，这一参数转换编码被称作修改参数转换编码。同时，当在多图片再现图像的画面中不存在参考像素时或者当编码处理单元60确定需要修改参数并且确定需要执行再编码时，编码处理单元60解码编码流并且执行再编码。
[频道列表更新处理的流程图]
图12为当内容分发服务器11获取新的图片内容时执行的频道列表更新(生成) 处理的流程图。
在这一处理中，首先，在步骤SI中，内容分发服务器11确定是否获取了新的图片内容，并重复步骤Si的处理直到确定获取了新的图片内容。
在步骤SI中，当确定获取了新的图片内容时，该处理继续进行至S2，并且内容分发服务器11对于尺寸(大)、尺寸(中)和尺寸(小)的每个显示尺寸生成获取的新的图片内容的编码流。
在步骤S3中，内容分发服务器11将获取的新的图片内容的信息添加至存储在内容存储元41中的频道列表并更新频道列表。当频道列表不在内容存储单元41中时，内容分发服务器11生成包括获取的新的图片内容的信息的频道列表并且将频道列表存储在内容存储单元41中。
通过上述处理，频道列表更新结束。
[开始处理的流程图]
图13为当作为客户端的内容接收设备13启动时执行的启动处理的流程图。
在这一处理中，首先，在步骤Sll中，内容接收设备13接收来自内容分发服务器11 的频道列表。内容接收设备13可发送命令以请求频道列表的发送，并且接收根据命令发送的频道列表，或接收规则或不规则地发送的频道列表。
在步骤S12中，内容接收设备13从图中未示出的设定存储单元获取初始查看设置信息，其中定义了最初作为多图片再现图像显示的多个图片内容的类型和排列。例如，当内容接收设备13在内容接收设备13被制造之后立即首次启动时，获取预先存储在设定存储单元中的初始查看设置信息。当内容接收设备13被第二次和后续启动时，获取与之前显示多图片再现图像时的最终状态相对应的初始查看设置信息。
在步骤S13中，内容接收设备13生成查看设置请求以请求内容分发服务器11发送基于获取的初始查看设置信息的多图片再现图像。
例如，可以以如下格式生成查看设置请求，该格式包括图片内容的数目、识别图片内容的内容标识符，和要作为按照对角线坐标显示的图片内容的显示区域的内容区域(设置区域)。
[内容数目(N)，内容I标识符，内容I的位置(左上X坐标，左上y坐标，右下X 坐标和右下y坐标)，内容2标识符，内容2的位置(左上X坐标，左上y坐标，右下X坐标和右下y坐标)，……，内容N标识符，内容N的位置(左上X坐标，左上y坐标，右下X坐标和右下y坐标)]。
在步骤S14中，内容接收设备13将生成的查看设置请求发送至内容分发服务器11，并结束处理。
[图片内容改变处理]
图14为在内容接收设备13中显示多图片再现图像之后，当对于形成多图片再现图像的图片内容进行预定改变时执行的图片内容改变处理的流程图。
首先，在步骤S21中，内容接收设备13确定是否执行了用于改变图片内容的操作， 并重复步骤S21的处理直到确定执行了用于改变图片内容的操作。
当在步骤S21确定执行了用于改变图片内容的操作时，在步骤S22中，内容接收设备13生成对应于改变之后的多图片再现图像的配置的查看设置请求。
在步骤S23中，内容接收设备13将生成的查看设置请求发送至内容分发服务器11 并结束处理。
[查看设置改变请求接收处理]
图15是对于通过图13或14的处理从内容接收设备13发送的查看设置改变请求， 由内容分发服务器11执行的查看设置改变请求接收处理的流程图。
首先，在步骤S31中，内容分发服务器11确定是否接收了查看设置改变请求，并重复步骤S31的处理直到确定接收了查看设置改变请求。
在步骤S31中，当确定接收到查看设置改变请求时，处理继续进行至步骤S32，且内容分发服务器11根据查看设置改变请求执行用于生成(改变)多图片再现图像的查看设置请求对应处理，并结束处理。
[查看设置请求对应处理]
图16为在图15的步骤S32中执行的查看设置请求对应处理的详细流程图。
在这一处理中，首先，在步骤S41中，内容分发服务器11接收从内容接收设备13 发送的查看设置请求。在查看设置请求中，描述了图片内容的数目N、识别图片内容的内容标识符和图片内容的内容区域(位置和尺寸)。因此，内容分发服务器11基于接收的查看设置请求设定内容的数目N、用O取代表示图片内容的变量i，并执行初始化。
在步骤S42中，内容分发服务器11获取第i个图片内容(下文中称作内容(i)) 的信息。也就是说，内容分发服务器11基于查看设置请求对于内容⑴通过内容标识符指定图片内容并且指定图片内容的显示位置和显示尺寸。
在步骤S43中，内容分发服务器11确定是否正显示内容(i)，也就是说，在接收查看设置请求之前是否在多图片再现图像中显示内容(i)。
在步骤S43中，当确定不显示内容(i)时，也就是说，内容(i)是选择为重新显示的图片内容时，处理继续进行至步骤S44并且内容分发服务器11执行内容改变处理。
同时，在步骤S43中，当确定正显示内容⑴时，也就是说，在改变之前在多图片再现图像中显示内容(i)，处理继续进行至步骤S45。在步骤S45中，内容分发服务器11确定在内容(i)的显示尺寸中是否不存在改变。
在步骤S45中，当确定在内容(i)的显示尺寸中存在改变时，处理继续进行至步骤 S46，并且内容分发服务器11执行用于改变内容(i)的显示尺寸的尺寸改变处理。
同时，在步骤S45中，当确定在内容(i)的显示尺寸中不存在改变时，处理继续进行至步骤S47。在步骤S47中，内容分发服务器11确定是否不存在内容(i)的显示位置的改变，也就是说，是否接收了显示信息。
在步骤S47中，当确定存在内容(i)的显示位置的改变时，处理继续进行至步骤 S48，并且内容分发服务器11执行用于改变内容(i)的显示位置的位置改变处理。在参考改变显示位置之前的图像的若干帧(场)中，确定存在内容(i)的显示位置的改变，并且执行位置改变处理。
同时，在步骤S47中，当确定不存在内容(i)的显示位置的改变时，处理继续进行至步骤S49，并且内容分发服务器11执行用于进行无修改参数转换编码的无修改参数转换编码处理。
在步骤S44、S46、S48或S49的处理之后，在步骤S50中，内容分发服务器11将变量i加I并进行处理至步骤S51。
在步骤S51中，内容分发服务器11确定是否存在未处理的图片内容，也就是说，变量i是否小于内容的数目N。
在步骤S51中，当确定存在未处理的图片内容时，也就是说，变量i小于内容的数目N，处理返回至步骤S42并且重复执行如下处理。也就是说，对于显示在多图片再现图像上的下一个图片内容执行上述步骤S42至S50的处理。
同时，在步骤S51中，当确定不存在未处理的图片内容时，查看设置请求对应处理结束并且处理返回至图15。
如上所述，在查看设置请求对应处理中，内容分发服务器11执行与当显示位置改变时、当显示尺寸改变时、当内容改变时和当不存在改变时相对应的处理。
由于对于作为客户端的内容接收设备13启动之后立即首次传输的查看设置请求，不存在改变之前的多图片再现图像(图片内容)，因此对于所有的图片内容执行与步骤 S44的处理相同的处理。
[宏块单位的多图片再现图像生成处理]
参照图16描述的查看设置请求对应处理是以图片内容单位考虑多图片再现图像的生成时的处理。
接下来，将参照图17描述以宏块单位考虑多图片再现图像的生成时的处理。图17 是用于在时间t生成(第t个)多图片再现图像的多图片再现图像生成处理。多图片再现图像的生成(更新)周期为场周期。
首先，在步骤S61中，内容分发服务器11的编码处理单元60执行生成的多图片再现图像的宏块(macro block)MB的初始设定。具体地，编码处理单元60将“O”作为初始值设置到变量X和y，以指定处理对象的宏块MB。在这一实施方式中，多图片再现图像被分成水平方向上的X个宏块和垂直方向上的Y个宏块，且宏块MB的边界至少与作为设置图片内容的区域的内容区域的边界匹配。下文中，将水平方向为变量X的位置且垂直方向为变量 I的位置的宏块MB描述为宏块MB (X，y)。
在步骤S62中，编码处理单元60确定在作为设置图片内容的区域的内容区域中是否存在时间t的宏块MB (X，y)_t。
在步骤S62中，当确定在内容区域中不存在时间t的宏块MB(x,y)_t时,处理继续进行至步骤S63，且编码处理单元60对作为时间t的宏块MB(x，y)_t的图像数据的固定数据执行通常的编码处理。也就是说，固定数据作为宏块MB (X，7)_丨的图像数据被输入至参数确定单元64，通过帧内预测/运动补偿单元65、DCT/量化单元66、无损编码单元67和输出单元68对固定数据执行通常的编码处理，输出固定数据。该固定数据是显示固定黑色图像的图像数据。
同时,在步骤S62中，当确定时间t的宏块MB(x, y)_t在内容区域中时,处理继续进行至步骤S64。在步骤S64中，编码处理单元60的开关61确定时间t的宏块MB (x，y)_ t的图片内容和在时间t的宏块MB(x，y)_t之前的时间t-Ι的宏块MB(x，y)_t_l的图像内容的图片内容是否彼此相同。在这一情形下，图片内容在时间t和在时间t-Ι彼此相同并不意味着图像彼此相同，而是意味着节目(内容)彼此相同。
在步骤S64中，当确定时间t的宏块MB (X, y)_t和时间t_l的宏块MB (x, y)_t_l 的图片内容彼此不同时，开关61确定需要提取参数。开关61将宏块MB(x，7)_1的编码流提供至参数解码器62。在步骤S65，编码处理单元60执行时间t的宏块MB(x，y)_t的内容改变处理。
具体地，当改变之后的图片内容为现场播放内容时，内容分发服务器11从改变之后的图片内容的当前播放的图片执行编码。因此，当对应于宏块MB (X，y)_t的原始块的图片类型为P图片时，编码处理单元60将P图片再编码成I图片。
也就是说，参数解码器62确定需要执行再编码，参数确定单元64将宏块MB(x，y)_ t设定为I图片并且再次确定参数。此时，当宏块于帧或片的边界处时，除了禁用参数之外的参数被确定为新的参数。帧内预测/运动补偿单元65、DCT/量化单元66、 无损编码单元67和输出单元68使用再次确定的参数再编码对应于宏块MB (x，y)_t的原始块的编码数据的解码结果，并且输出获得的编码流。
因此，当宏块MB(x，y)的图片类型为P图片时，可实现高响应性，因为在P图片变成I图片之前不需要改变图片内容。
当对应于宏块MB(x，y)_t的原始块的图片类型为I图片,宏块MB (x，y)_t不位于帧或片的边界处，或者宏块MB (X，y)_t位于帧或片的边界处，并且参数不是禁用参数时，编码处理单元60原样输出原始块的编码流，。
也就是说，在这一情形下，参数解码器62确定不需要修改参数并且将对应于宏块 MB (x, y)_t的原始块的编码流提供至输出单元68。因此，对应于输入宏块MB (x，y)_t的原始块的编码流作为多图片再现图像的宏块MB(x，y)_t的编码流原样被输出。
同时，当对应于宏块MB (X，y) _t的原始块的图片类型为I图片时，该宏块MB (x,y)_ t位于帧或片的边界处，并且参数为禁用参数，编码处理单元60再编码原始块的编码流。
也就是说，在这一情形下，参数解码器62确定需要执行再编码，且参数确定单元 64再次将宏块MB(x，7)_丨的参数确定为禁用参数之外的参数。帧内预测/运动补偿单元 65、DCT/量化单元66、无损编码单元67和输出单元68使用再次确定的参数再编码对应于宏块MB(x，y)_t的原始块的编码数据的解码结果，并且输出获得的编码流。
当对应于宏块MB(x，y)_U^原始块的图片类型是B图片时，编码处理单元60不执行所有的处理而是等待I图片或P图片。
同时，当改变之后的图片内容不是现场图片播放内容时，内容分发服务器11从图片内容的头部执行编码。为此，编码处理单元60执行与当在改变之后的图片内容为现场播放内容并且对应于宏块MB(X，y)_t的原始块的图片类型是I图片时的处理相同的处理。
在步骤S64中，当确定时间t的宏块MB (X, y)_t和时间t_l的宏块MB (x, y)_t_l的图片内容彼此相同时，处理继续进行至步骤S66。在步骤S66中，开关61确定时间t的宏块MB(x，y)_t和时间t-Ι的宏块MB(x，y)_t_l的图片内容的内容区域的显示尺寸是否彼此相等。
在步骤S66中，当确定内容区域的显示尺寸彼此不相等时，开关61确定需要提取参数。开关61将对应于宏块原始块的编码流提供至参数解码器62。在步骤 S67中，编码处理单元60执行时间t的宏块MB(x，y)_t的尺寸改变处理。除了编码对象为其中显示尺寸被改变的图片内容之外，尺寸改变处理与内容改变处理相同。
同时，在步骤S66中，当确定内容区域的显示尺寸彼此相等时，处理继续进行至步骤S68。在步骤S68中，开关61确定时间t的宏块MB(x，y)_t和时间t_l的宏块MB(x，y)_ t-i的内容区域的位置是否彼此相同。
在步骤S68中，当确定内容区域的位置彼此不相同时，开关61确定需要提取参数并且将对应于宏块MB(x，y)_t的原始块的编码流提供至参数解码器62。在步骤S69中，编码处理单元60执行对应于时间t的宏块MB (X，y)_t的图片内容的位置改变处理。将参照下述图18描述宏块MB (X，y)_t的位置改变处理的细节。
同时，在步骤S68中，当内容区域的位置彼此相同时，开关61确定不需要提取参数并且继续处理至步骤S70。在步骤S70中，编码处理单元60对时间t的宏块MB(x，y)_t执行无修改参数转换编码处理。
具体地，当宏块MB(x，y)_t不位于多图片再现图像上的片或帧的边界处时，编码处理单元60的开关61将对应于输入宏块MB(x，y)_t的原始块的编码流提供至输出单元 68。输出单元68照原样输出该编码流作为多图片再现图像的宏块MB(x，y)_t的编码流。
同时，当宏块MB(x，7)_丨位于多图片再现图像上的片或帧的边界处时，开关61确定需要提取原始块的参数并且将对应于宏块MB (X，y)_t的原始块的编码流提供至参数解码器62。当宏块MB(x，y)_t的参数是禁用参数时，参数解码器62确定需要执行再编码，并且参数确定单元64再次将宏块参数确定为禁用参数之外的参数。帧内预测/ 运动补偿单元65、DCT/量化单元66、无损编码单元67和输出单元68使用再次确定的参数再编码对应于宏块MB(x，y)_t的原始块的编码数据的解码结果，并且输出获得的编码流。
当宏块MB (X，y) _t的参数不是禁用参数时，参数解码器62确定不需要修改参数并且将对应于宏块MB(x，y)_t的原始块的编码流提供至输出单元68。输出单元68照原样输出该编码流作为多图片再现图像的宏块MB(x，y)_t的编码流。
在步骤S63、S65、S67、S69或S70之后，处理继续行至步骤S71。在步骤S71中，编码处理单元60将变量X加I并且继续进行处理至步骤S72。
在步骤S72中，编码处理单元60确定变量x是否等于在水平方向上宏块的数目X。 在步骤S72中，当确定变量X不等于宏块的数目X时(变量X小于宏块的数目X)，处理继续进行至步骤S62。
同时，在步骤S72中，当确定变量X等于宏块的数目X时，处理继续进行至步骤S73 并且编码处理单元60将变量X重新设定为“O”并将变量y加I。
在步骤S74中，编码处理单元60确定变量y是否等于在垂直方向上宏块的数目Y。 在步骤S74中，当确定变量y不等于宏块的数目Y时(变量y小于宏块的数目Y)，处理返回至步骤S62。
同时，在步骤S74中，当确定变量y等于宏块的数目Y时，处理结束。
[宏块MB(X，y) _t的位置改变处理]
图18为在图17的步骤S69中执行的宏块MB (x，y)_t的位置改变处理的详细流程图。
首先，在步骤SlOl中，参数解码器62提取包括在与通过开关61输入的宏块MB (X， y)_t对应的原始块的编码流中的参数，作为宏块MB (X，y)_t的参数。
在步骤S102中，参数解码器62基于步骤SlOl中提取的参数确定对应于宏块 MB(x, y)_t的原始块的类型信息是否为帧间类型。
在步骤S102中，当确定对应于宏块MB (X，y)_t的原始块的类型信息是帧间类型时，参数解码器62确定不需要执行再编码。参数解码器62将在步骤SlOl中提取的参数和包括在原始块的编码流中的编码数据提供至参数修改单元63。
在步骤S103中，参数修改单元63基于从参数解码器62提供的参数确定对应于宏块MB(x，y)_t的原始块的MV信息是否是跳跃宏模式。
当在步骤S103中确定MV信息为跳跃宏模式时，在步骤S104中，参数修改单元63 将块尺寸信息改变(更新)至16X16像素。接下来，处理继续进行至步骤S105。
同时，当在步骤S103中确定MV信息不是跳跃宏模式时，步骤S104被跳过并且处理继续进行至步骤S105。
在步骤S105中，参数修改单元63执行宏块MB(x，y)_t的靈转换。具体地，如果宏块MB(x，y)_t的初始运动矢量被设定成(MvX，MvY)，并且从改变之前的位置至改变之后的位置的运动量被设定成((^，(1￥)，则参数修改单元63将宏块1^(1，7)_丨的新的运动矢量更新成(MvX+dX，MvY+dY)，并以其运动矢量更新MV信息。
在步骤S106中，参数修改单元63基于宏块MB(x，y)_t的新的运动矢量(MvX+dX， MvY+dY)确定是否存在参考像素，也就是说，在多图片再现图像的画面中是否存在参考像素。
在步骤S106中，当确定存在参考像素时，处理继续进行至步骤S107并且编码处理单元60执行用于进行修改参数转换编码的修改参数转换编码处理。具体地，参数修改单元 63将更新的参数添加至从参数解码器62提供的编码数据，将获得的编码流提供至输出单元68并且输出该编码流作为宏块MB (X，y)_t的编码流。
同时，当在步骤S106中确定不存在参考像素时，在步骤S108中，参数修改单元63 确定参考像素对多图片再现图像的画面的突出量是否为预定的量或更多。
当在步骤S108中确定突出量为预定量或更多时,参数修改单元63请求参数解码器62将图像数据提供至参数确定单元64。接下来，处理继续进行至步骤S109，并且编码处理单元60对宏块MB (X，y)_t执行再编码处理。
具体地，参数解码器62解码对应于宏块MB (X，y)_t的原始块的编码数据，并且将获得的图像数据提供至参数确定单元64。参数确定单元64使用从参数解码器62提供的图像数据和参考图像数据执行帧内预测处理和运动补偿处理，并且再次确定参数。帧内预测 /运动补偿单元65、DCT/量化单元66和无损编码单元67使用再次确定的参数编码图像数据并且添加参数。输出单元68输出获得的编码流作为宏块MB(x，y)_t的编码流。
同时，当在步骤S108中确定突出量不是预定量或更多时,参数修改单元63请求参数解码器62将图像数据提供至参数确定单元64，并且将修改之后的参数提供至参数解码器62。处理继续进行至步骤S110，并且编码处理单元60对宏块MB(x，y)_t执行预定的再编码处理。
具体地，参数解码器62解码对应于宏块MB (X，y)_t的原始块的编码数据，并且将获得的图像数据和修改的参数提供至参数确定单元64。参数确定单元64将从参数解码器 62提供的修改的参数确定为新的参数。帧内预测/运动补偿单元65、DCT/量化单元66和无损编码单元67使用修改的参数编码图像数据。此时，由于参考像素不在多图片再现图像的画面中，因此参考预定的参考像素。参数被添加至编码图像数据，并且输出单元68输出获得的编码流作为宏块MB (X，y)_t的编码流。
在上述步骤S102中，当确定宏块MB(x，y)_t的类型信息为帧内类型时，处理继续进行至步骤Slll。在步骤Slll中，参数解码器62确定宏块MB(x，y)_t是否位于多图片再现图像中的片或帧的边界处。
当在步骤Slll中确定宏块MB (X，y)_t位于在多图片再现图像中的片或帧的边界处时，在步骤SI 12中，参数解码器62确定宏块MB (X，y)_t的参数是否为禁用参数。
当在步骤S112中确定宏块MB(x，y)_t的参数为禁用参数时，参数解码器62确定需要执行再编码并且将图像数据提供至参数确定单元64。处理继续进行至步骤S109，并且编码处理单元60执行上述再编码处理。
同时，当在步骤S111中确定宏块MB (X，y) _t不是位于多图片再现图像中的片或帧的边界处时，或者当在步骤S112中确定宏块MB(x，y)_t的参数不是禁用参数时，参数解码器62确定不需要修改参数。
在步骤SI 13中，编码处理单元60对时间t的宏块MB (X，y)_t执行无修改参数转换编码处理。具体地，参数解码器62确定不需要修改参数并且将对应于宏块MB (x，y)_t的原始块的编码流提供至输出单元68。输出单元68照原样输出该编码流作为多图片再现图像的宏块MB (X, y)_t的编码流。
如上所述，内容分发服务器11对可分发的所有图片内容预先生成不同显示尺寸的多个编码流并且存储该编码流。基于接收的查看设置请求，内容分发服务器11对预先生成的编码流执行参数转换编码，生成其中设置多个图片的多图片再现图像的一个编码流， 并且将该编码流传输至内容接收设备13。
因此，由于从内容分发服务器11向内容接收设备13提供了一个编码流，所以即使当内容接收设备是不能再现仅一个编码流的设备时，内容接收设备13仍可显示多图片再现图像。
当服务器端的内容分发服务器11生成多图片再现图像时的参数转换编码量与生成一种图片内容的编码流时的参数转换编码量基本相同。因此，与根据现有技术生成多图片再现图像的方法相比，可执行高速处理。
当由于片或帧的边界的位置改变导致参数变成禁用参数时，内容分发服务器11 执行再编码而不是参数转换编码。因此，可防止由多图片再现图像的编码流违反标准导致生成解码误差。
当图片内容的显示位置改变时，内容分发服务器11基于图片内容的显示位置的改变校正运动矢量，使得参考最初要参考的像素。当基于校正的运动矢量的参考像素不在多图片再现图像的画面中时，内容分发服务器11执行再编码而不是参数转换编码。因此， 可防止参考不是最初要参考的像素导致生成图像质量的劣化。
如上所述，内容分发服务器11尽可能多地使用之前生成的编码流的参数执行参数转换编码，仅再编码预期到违反标准或图像质量劣化的部分，并生成多图片再现图像的编码流。因此，内容分发服务器11可将处理负荷和图像质量的劣化抑制到最小并符合编码标准。
为了简化描述，当已执行参数转换编码时，不执行由DCT/量化单元66进行的处理和由无损编码单元67进行的无损编码处理。然而，即使当执行了参数转换编码时，仍可执行由DCT/量化单元66进行的处理和由无损编码单元67进行的无损编码处理。
例如，当在参数转换编码之前和之后通过改变量化精度控制要生成的位的量时， 对编码数据进行解码并且执行由DCT/量化单元66进行的处理和由无损编码单元67进行的无损编码处理。如图19所示，当多个图片内容A至D被设置在多图片再现图像的相同片上时，关于图片内容的边界解码编码数据并执行由DCT/量化单元66进行的处理和由无损编码单元67进行的无损编码处理。
也就是说，无损编码取决于无损编码对象的宏块的上和下块。因此，如图19所示， 通过参照上和左块，在每个图片内容中按照从左至右和从上至下的顺序对图片内容A至D 的宏块执行无损编码。同时，通过参照上和下块，需要在整个多图片再现图像中按照从左至右和从上至下的顺序对多图片再现图像的宏块执行无损编码。因此，在图片内容的边界处需要再次执行无损编码。
如上所述，无损编码取决于无损编码对象的宏块的外围块。因此，当再次执行外围块的无损编码时，对编码数据进行解码并且执行由DCT/量化单元66进行的处理和由无损编码单元67进行的无损编码处理。
在上面的描述中，当在再编码时再次确定参数时，不参考初始参数。然而，可参考初始参数。例如，初始参数中的类型信息可用作更新之后的参数中的类型信息。在这一情形下，当类型信息为帧内类型时，通过仅执行帧内预测再次确定参数，而当类型信息为帧间类型时，通过仅执行运动补偿再次确定参数。因此，与不参考初始参数的情形相比，可降低处理负荷。同时，当不参考初始参数时，可抑制图像质量的劣化，因为可生成最适当的预测图像。
除了 AVC方法之外，本公开的编码方法可以是HEVC(高效视频编码)方法。当编码方法是HEVC方法时，其中预测块尺寸为8X8像素的亮度信号的帧内预测模式是包括33个方向的帧内预测模式和表示DC预测的帧内预测模式的34个帧内预测模式，如图20所示。 此外，其中预测块尺寸是16X16像素、32X32像素和64X64像素的亮度信号的帧内预测模式对应于坐标(dxlntra, dylntra)并且模式的数目为33,如图21所示。坐标(dxlntra, dylntra)表示与预测块相邻的相邻块中用作预测像素的像素与之交叉的线的、相对于预定坐标U，y)的基点像素之外的端点的基点像素的位置。也就是说，在相邻块中用作预测像素的像素与稱合基点像素和坐标(x+dxlntra, y+dylntra)的位置的线交叉。
上述处理序列可通过硬件执行，然而也可通过软件执行。当通过软件执行该处理系列时，构成该软件的程序被安装入计算机。这里，术语“计算机”包括当各种程序被安装时可实现各种功能的并入有专用硬件的计算机和通用个人计算机等。
图22为示出执行前述处理序列并用作内容分发服务器11或内容接收设备13的计算机的实施方式的配置实例的框图。
在该计算机中，中央处理单元(CPU) 101、只读存储器(ROM) 102和随机存取存储器 (RAM) 103通过总线104相互连接。
输入/输出接口 105也连接至总线104。输入单元106、输出单元107、存储单元 108、通信单元109和驱动器110连接至输入/输出接口 105。
输入单元106通过键盘、鼠标、耳机等来配置。输出单元107通过显示器、扬声器等来配置。存储单元108通过硬盘、非易失性存储器等来配置。通信单元109通过网络接口等配置。驱动器110驱动例如磁盘、光盘、磁-光盘、半导体存储器等的可移动记录介质 111。
在如上所述配置的计算机中，CPUlOl通过输入/输出接口 105和总线104将存储在例如存储单元108中的程序加载至RAM103上，并执行该程序。由此执行上述处理序列。
当使用计算机配置内容分发服务器11时，CPUlOl对多个图片内容的每一个执行用于预先生成不同显示尺寸的多个编码流的处理和对应于编码处理单元60的参数转换编码处理。存储单元108存储预先生成的图片内容的每一个的多个显示尺寸的编码流。通信单元109从内容接收设备13接收查看设置请求或将生成的编码流传输至内容接收设备13。
当使用计算机配置内容接收设备13时，CPUlOl生成查看设置请求或解码一个流的编码流、生成多图片再现图像并且在显示单元(输出单元107)上显示多图片再现图像。 通信单元109将查看设置请求传输至内容分发服务器11或接收传输自内容分发服务器11 的一个流的编码流并且将该编码流提供至CPUlOl。
作为一个例子，由计算机(CPUlOl)运行的程序可通过记录在作为封装介质等的可移除记录介质111上被提供。程序也可通过有线或无线传输介质来提供，例如局域网、因特网或数字卫星广播。
在计算机中，通过可移除记录介质111装入驱动器110中，程序可通过输入/输出接口 105安装至存储单元108中。也可使用通信单元109通过有线或无线传输介质接收程序并将程序安装至存储单元108中。作为替选，可将程序提前安装到R0M102或存储单元 108 中。
应注意说明书所附的流程图中记载的步骤当然也可以以所示的顺序按时间序列执行，但该步骤不必按时间序列执行而是可并行或在必要的定时执行，例如当调用处理时。
在本公开中，系统表示一组结构元件(设备和模块(产品)等)并且所有的结构元件可或可不存储在相同的壳体中。因此，存储在不同壳体中并且通过网络连接的多个设备和在一个壳体中存储多个模块的一个设备也是系统。
本公开的实施方式不限于上述实施方式，在不脱离本公开的范围的情况下可进行各种改变。
例如，在实施方式中，描述了其中使用三种尺寸(小)的图片内容和一种尺寸 (中)的图片内容配置多图片再现图像的实例。然而，多图片再现图像不限于此。换句话说，在多图片再现图像中，可适当地设置图片内容的显示尺寸和要在一个画面上同时显示 (查看)的图片内容的数目或排列。
在实施方式中，内容分发服务器11生成要合成的所有图片内容的尺寸的编码流并且通过其自身存储编码流。然而，要合成的不同显示尺寸的多个编码流可通过其它服务器(计算机)生成，且内容分发服务器11可获取编码流并且生成多图片再现图像。内容分发服务器11可组合并使用通过其自身生成的编码流和从其它服务器获取的编码流。
使用不同显示尺寸的图片内容的组合配置多图片再现图像。然而，仅可组合的相同尺寸的多个图片内容。
本公开可采用通过网络与多个设备共享一个功能且共同地执行处理的云计算的配置。
流程图中描述的步骤可通过一个设备执行或可通过多个设备执行。
当多个处理包括在一个步骤中时，包括在一个步骤中的多个处理可通过一个设备执行或可通过多个设备执行。
本领域技术人员应理解，根据设计需求和其它因素可作出各种修改、组合、子组合和变化，只要它们落入所附的权利要求或其等价形式的范围即可。
此外，本技术也可如下配置。
一种图像处理装置，包括
编码处理单元，对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码图片内容，并且生成多图片再现图像的编码流以同时生成显示多个图片内容，
其中，当包括在所述图片内容的编码流中的、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时， 所述编码处理单元解码所述原始块的编码流，再编码该流，并将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流。
(2)根据(I)所述的图像处理装置，进一步包括
接收单元，接收表示所述多图片再现图像的显示范围的变化的显示信息；
其中，当所述接收单元接收所述显示信息时，所述编码处理单元确定所述原始块的参数是否是禁用参数。
(3)根据⑴或⑵所述的图像处理装置，
其中所述禁用参数是在位于多图片再现图像的片或帧的边界处的所述预定块的编码流中被禁用的参数。
(4)根据(I)至(3)任一项所述的图像处理装置，
其中，当所述原始块的参数不是禁用参数并且包括对应于参考像素的运动矢量时，所述编码处理单元基于形成所述多图片再现图像的图片内容的显示位置的改变更新运动矢量，并且设定其中运动矢量被更新的所述原始块的编码流作为所述预定块的编码流。
(5)根据⑷所述的图像处理装置，
其中，当在多图片再现图像的画面中存在基于更新的运动矢量的图片内容时，所述编码处理单元将包括运动矢量的原始块的编码流设定为所述预定块的编码流，而当基于更新的运动矢量的图片内容不在所述多图片再现图像的画面中时，所述编码处理单元解码对应于所述运动矢量的所述原始块的编码流、再编码该流并将获得的编码流设定为所述预定块的编码流。
(6)根据(I)至(5)任一项所述的图像处理装置，
其中，当所述原始块的参数不是禁用参数并且包括作为表示所述原始块的运动矢量的信息的跳跃宏模式时，所述编码处理单元基于形成所述多图片再现图像的图片内容的显示位置的改变计算对应于所述预定块的参考像素的运动矢量，以所述运动矢量更新所述跳跃宏模式，并且将参数被更新的原始块的编码流设定为所述预定块的编码流。
(7) —种图像处理方法，包括
使用图像处理装置对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容，并且生成多图片再现图像的编码流以同时显示多个图片内容，
其中，在编码处理步骤中，当包括在所述图片内容的编码流中、与作为对应于所述预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述原始块的编码流被解码，该流被再编码并且获得的编码流被设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述原始块的编码流被设定为所述预定块的编码流。
(8) 一种图像处理系统，包括服务器设备和客户设备
其中，所述服务器设备包括编码处理单元，其对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容并且生成多图片再现图像的编码流以同时显示多个图片内容；以及发送单元，其将由所述编码处理单元生成的所述多图片再现图像的编码流发送至客户设备，
当包括在所述图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流、再编码该流并且将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流，以及
所述客户设备包括接收单元，其接收由所述发送单元发送的所述多图片再现图像的编码流；以及显示控制单元，其基于接收的所述多图片再现图像的编码流在预定显示单元上显示所述多图片再现图像。
本公开包括与2011年9月6日在日本专利局递交的日本优先权专利申请 JP2011-193808中公开的内容有关的主题，其整个内容通过参考结合于此。
权利要求
1.一种图像处理装置，包括 编码处理单元，对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码图片内容，并且生成同时显示多个图片内容的多图片再现图像的编码流， 其中，当包括在所述图片内容的编码流中的、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流，再编码该流，并将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流。
2.根据权利要求I所述的图像处理装置，进一步包括 接收单元，接收表示所述多图片再现图像的显示范围的变化的显示信息； 其中，当所述接收单元接收所述显示信息时，所述编码处理单元确定所述原始块的参数是否是禁用参数。
3.根据权利要求I所述的图像处理装置， 其中所述禁用参数是在位于多图片再现图像的片或帧的边界处的所述预定块的编码流中被禁用的参数。
4.根据权利要求I所述的图像处理装置， 其中，当所述原始块的参数不是禁用参数并且包括对应于参考像素的运动矢量时，所述编码处理单元基于形成所述多图片再现图像的图片内容的显示位置的改变来更新运动矢量，并且设定其中运动矢量被更新的所述原始块的编码流作为所述预定块的编码流。
5.根据权利要求4所述的图像处理装置， 其中，当在多图片再现图像的画面中存在基于更新的运动矢量的图片内容时，所述编码处理单元将包括运动矢量的原始块的编码流设定为所述预定块的编码流，而当基于更新的运动矢量的图片内容不在所述多图片再现图像的画面中时，所述编码处理单元解码对应于所述运动矢量的所述原始块的编码流、再编码该流并将获得的编码流设定为所述预定块的编码流。
6.根据权利要求I所述的图像处理装置， 其中，当所述原始块的参数不是禁用参数并且包括作为表示所述原始块的运动矢量的信息的跳跃宏模式时，所述编码处理单元基于形成所述多图片再现图像的图片内容的显示位置的改变来计算对应于所述预定块的参考像素的运动矢量，以所述运动矢量更新所述跳跃宏模式，并且将其中参数被更新的原始块的编码流设定为所述预定块的编码流。
7.一种图像处理方法，包括 使用图像处理装置对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容，并且生成多图片再现图像的编码流以同时显示多个图片内容， 其中，在编码处理步骤中，当包括在所述图片内容的编码流中、与作为对应于所述预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述原始块的编码流被解码，该流被再编码并且获得的编码流被设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述原始块的编码流被设定为所述预定块的编码流。
8.一种图像处理系统，包括服务器设备和客户设备 其中，所述服务器设备包括编码处理单元，其对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单位编码所述图片内容并且生成多图片再现图像的编码流以同时显示多个图片内容；以及发送单元，其将由所述编码处理单元生成的所述多图片再现图像的编码流发送至客户设备， 当包括在所述图片内容的编码流中、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流、再编码该流并且将获得的编码流设定为所述预定块的编码流，而当所述原始块的参数不是所述禁用参数时，所述编码处理单元将所述原始块的编码流设定为所述预定块的编码流，以及 所述客户设备包括接收单元，其接收由所述发送单元发送的所述多图片再现图像的编码流；以及显示控制单元，其基于接收的所述多图片再现图像的编码流在预定显示单元上显示所述多图片再现图像。
全文摘要
提供了一种图像处理装置、图像处理方法和图像处理系统。该图像处理装置包括编码处理单元，对多个图片内容的每个生成不同显示尺寸的多个编码流，使用该编码流以预定块的单编码图片内容，并且生成同时显示多个图片内容的多图片再现图像的编码流。当包括在所述图片内容的编码流中的、与作为对应于预定块的图片内容的块的原始块的编码有关的参数是在所述多图片再现图像的编码流中被禁用的禁用参数时，所述编码处理单元解码所述原始块的编码流，再编码该流，并将获得的编码流设定为所述预定块的编码流。
文档编号H04N21/2662GK102984543SQ201210316990
公开日2013年3月20日 申请日期2012年8月30日 优先权日2011年9月6日
发明者鹤大辅 申请人:索尼公司