视频编码装置和方法、视频解码装置和方法

视频编码装置和方法、视频解码装置和方法
【专利摘要】本发明公开了一种视频编码装置和方法、视频解码装置和方法。存储单元对在编码目标图像之前被编码的编码图像的解码图像进行存储，该编码目标图像包括在应用静态图像编码和视频编码的视频中。视频编码单元通过帧间预测编码对编码目标图像进行编码，当静态图像编码应用于在编码目标图像之前一个图像的图像以及视频编码应用于编码目标图像时，帧间预测编码使用解码图像作为参考图像。
【专利说明】
视频编码装置和方法、视频解码装置和方法
技术领域
[0001]本文中所讨论的实施例涉及视频编码装置、视频编码方法、视频解码装置以及视频解码方法。
【背景技术】
[0002]在许多情况下，存在使用大量数据的视频数据。因此，当视频数据从发送装置发送到接收装置或者当视频数据被存储在存储单元中时，该视频数据接受压缩编码。
[0003]作为代表性的视频编码标准，运动图像专家组阶段2(MPEG-2)、MPEG_4和MPEG-4高级视频编码(MPEG-4AVC/H.264)是已知的。这些视频编码标准是由国际标准化组织/国际电工委员会(IS0/IEC)开发的。
[0004]此外，作为新的视频编码标准，高效率视频编码(HEVC，MPEG-H/H.265)正在被开发(例如，参见非专利文献I)。
[0005]上述视频编码标准采用两种编码方法，S卩，帧间预测编码和帧内预测编码。帧间预测编码是使用编码图像的信息以对编码目标图像进行编码的编码方法，而帧内预测编码是仅使用包括在编码目标图像中的信息以对编码目标图像进行编码的编码方法。编码目标图像还被称为帧或图片。
[0006]作为这些视频编码标准的目标的视频是自然图像，主要通过使用各种类型的相机获得。然而，随着近年来信息技术的进步，除了将视频编码应用于自然图像以外，出现了将视频编码应用于屏幕内容图像如显示在个人计算机(PC)桌面等上的那些图像的趋势。
[0007]作为屏幕内容图像的视频编码的特定示例，存在将显示在PC或游戏装置上的图像无线发送到平板显示装置的无线显示。作为另一特定示例，存在使用因特网协议将虚拟操作系统的用户窗口发送到移动装置的虚拟显示架构(VDI)。
[0008]屏幕内容图像是通过使用计算机图形等生成的人工图像，并且具有不同于自然图像的特征。屏幕内容图像的第一个特征是像素的低相关性。在自然图像中，目标像素的像素值与相邻像素的像素值之间的相关性高。由所有视频编码标准所采用的离散余弦变换(DCT)利用该高相关性并且可以实现高压缩效率。
[0009]相反地，屏幕内容图像具有其中像素值的相关性为低的许多区域。这方面的示例包括文本编辑窗口中的字符的轮廓、计算机辅助设计(CAD)数据编辑窗口中的一个像素级窄线以及其他。当DCT应用于这些区域时，可以视觉感知并且特别是在具有低比特率的条件下可以明显地视觉感知被称为蚊式失真的高频分量失真。
[0010]在HEVC的第一个版本(在2013年国际标准化)中，部分引入了在屏幕内容图像上进行高效压缩编码的技术。其中特定示例是变换跳过(TS)，该变换跳过(TS)跳过针对帧内预测编码和帧间预测编码中的预测误差所应用的DCT。
[0011]另外，在HEVC的下一版本(正在被标准化)中，将引入进一步增大屏幕内容图像的压缩效率的技术(例如，参见非专利文献2)。
[0012]能够生成高质量静态图像同时抑制电路规模的增大的摄影装置也是已知的(例如，参见专利文献I)。该摄影装置对视频进行压缩以输出压缩视频、对压缩视频进行扩展以输出扩展视频、生成扩展视频与对应于扩展视频的视频之间的差分视频、对差分视频进行压缩以输出压缩差分视频。在此之后，摄影装置对压缩差分视频进行扩展以输出扩展差分视频、将扩展视频和扩展差分视频相加以生成相加视频并且通过使用相加视频生成静态图像。
[0013]专利文献1:日本公开特许公报第2011-239240号
[0014]非专利文献1:1TU-T H.265 | IS0/IEC 23008-2，“High efficiency videocoding”,2013
[0015]非专利文献2: D.Flynn等人，“High Efficiency Video Coding(HEVC)RangeExtens1ns text specificat1n:Draft 6，，，JCTVC-P1005，16th JCT-VC Meeting,SanJos0，US，2014年I 月 9 日至17 日

【发明内容】

[0016]本发明的一个方面的目的是在使用静态图像编码和视频编码两者的编码系统中抑制由从静态图像编码切换到视频编码所引起的信息量的增加。
[0017]根据一个构思，视频编码装置包括存储单元和视频编码单元。
[0018]存储单元对在编码目标图像之前被编码的编码图像的解码图像进行存储，该编码目标图像包括在应用静态图像编码和视频编码的视频中。视频编码单元通过帧间预测编码对编码目标图像进行编码，当静态图像编码应用于在编码目标图像之前一个图像的图像以及视频编码应用于编码目标图像时，帧间预测编码使用解码图像作为参考图像。
【附图说明】
[0019]图1示出了图像的劣化。
[0020]图2示出了产生的信息量的变化的示例。
[0021 ]图3示出了视频编码装置的配置。
[0022]图4示出了视频解码装置的配置。
[0023]图5示出了视频编码装置的特定示例。
[0024]图6示出了编码电路的配置。
[0025]图7示出了编码视频。
[0026]图8是静态视频混合编码处理的流程图。
[0027]图9示出了视频解码装置的特定示例。
[0028]图10示出了解码电路的配置。
[0029]图11是示出静态视频混合解码处理的流程图。
[0030]图12示出了信息处理设备的配置。
【具体实施方式】
[0031 ]下文中，参照附图对实施例进行详细描述。
[0032]在屏幕内容图像的编码中，不仅编码系统重要，而且在编码之前对像素值的滤波也很重要。
[0033]在视频编码标准如MPEG等中，通常以RGB 4:4:4格式捕获屏幕内容图像，通常以YCbCr 4: 2:0格式对像素值进行编码。当视频编码应用于RGB 4:4:4格式的屏幕内容图像时，将RGB 4:4:4格式的图像转换为YCbCr 4:4:4格式的图像。通过随后对YCbCr 4:4:4格式的图像应用下采样滤波器，生成YCbCr 4:2:0格式的图像。
[0034]与YCbCr4:4:4格式的图像相比，在YCbCr 4:2:0格式的图像中，两个色差分量Cb和Cr在竖直方向和水平方向下采样至1/2。在视频编码中使用YCbCr 4:2:0格式的目的是在编码中减少信息量。
[0035]相较于人眼对于亮度分量Y的空间方向分辨率具有的感知特性，人眼对于色差分量Cb和Cr的空间方向分辨率具有较低的感知特性，而自然图像几乎没有高空间频率的色差分量，其通过下采样丢失。因此，几乎感知不到YCbCr 4:4:4格式与YCbCr 4:2:0格式之间的差异。
[0036]相反地，在屏幕内容图像中，可以清楚地感知到YCbCr 4:4:4格式与YCbCr 4:2:0格式之间的差异。例如，一个像素级窄线如CAD图像中的布线包括高空间频率的色差分量，这导致这样的窄线的劣化在常用于屏幕内容图像的平坦的背景中是明显的情况。
[0037]图1示出了由下采样所导致的图像的劣化的示例。在转换前的YCbCr4:4:4格式的图像101中，中间部分周围的竖直线111的像素值(￥，03，0)是(128，0，0)，而作为除了竖直线111以外的区域的区域112的像素值是(O，128，128)。
[0038]当沿水平方向(和竖直方向)将2: I下采样滤波器应用于色差分量Cb和Cr以将图像转换为4:2:0格式以及应用1:2上采样滤波器以将图像还原到原始格式4:4:4时，获得图像102。在图像102中，竖直线113的像素值变为(124，64，64)，以及与竖直线113相邻的区域114的像素值变为(O，96，96)。
[0039]如上所述，通过应用下采样滤波器和上采样滤波器，竖直线和与竖直线相邻的区域中的色差分量变化。当使用均匀背景时，通过人眼清楚地察觉到像素值的这种变化。
[0040]为了防止一个像素级窄线的劣化，理想的是将YCbCr4:4:4格式或RGB 4:4:4格式应用于视频编码。然而，与4:2:0格式的情况相比，这样的应用导致色差分量的更多的像素被编码并且增大编码后信息量。
[0041]鉴于此，可以进行如下的静态视频混合编码:采用以YCbCr 4:4:4格式进行编码的静态图像编码和以YCbCr 4:2:0格式或以YCbCr 4:2:2格式进行编码的视频编码两者。对于静态图像编码，使用例如联合图像专家组(JPEG)系统，而MPEG系统例如用于视频编码。
[0042]根据静态视频混合编码，编码模式基于与屏幕中的全部或部分对应的图像是静态的还是运动的来进行动态切换。当图像是静态的时，特别是当两个连续帧之间的差为零时，视频编码装置在图像变为静态后将静态图像编码应用于第一帧并且对后续帧不进行编码。在对接受静态图像编码的帧进行解码之后，视频解码装置重复显示相同的解码图像直到视频解码装置接收到下一编码数据为止。当图像是运动的时，视频编码装置将视频编码应用于帧。
[0043]相较于人眼对于静态区域的图像劣化具有的感知特性，人眼对于涉及运动的区域的图像劣化具有较低的感知特性。这使得可以减少产生的信息量，同时将由人类感知的图像劣化最小化。
[0044]应注意，在自然图像中，当获得这样的图像时由于多种因素而出现噪声，并且因此，即使当图像是静态的时，像素值是略微可变的，并且因此任何帧之间的差不为零。相反地，在屏幕内容图像中，不会出现这样的噪声，以及当图像是静态的时，帧之间的差是零。
[0045]图2示出了在上述静态视频混合编码中产生的信息量的变化的示例。在静态视频混合编码中，静态图像编码数据和视频编码数据每个都是本身封闭的。
[0046]例如当静态场景转变到涉及运动的场景时，视频编码装置首先将静态图像编码应用于帧，并且从静态图像编码切换到视频编码。在视频编码如MPEG等中，视频编码装置使用帧内预测编码以对紧接在切换到视频编码之后的第一帧进行编码，并且通过使用帧间预测编码对后续帧进行编码。
[0047]在帧内预测编码中，产生许多信息，这导致如峰201所描绘的当编码模式从静态图像编码切换到视频编码时信息产生爆炸造成通信网络拥塞的可能性。
[0048]当涉及运动的场景转变到静态场景时，视频编码装置将编码模式从帧间预测编码切换到静态图像编码。在静态图像编码如JPEG等中，如峰202如所描绘的，相较于由帧间预测编码所引起的信息，由静态图像编码引起更多的信息。
[0049]为了抑制由于从静态图像编码切换到视频编码而产生过度信息，其中获得接受静态图像编码的编码帧的解码帧与切换后的第一帧之间的差以通过帧内预测编码对这个差进行编码的方法是可行的。然而，该方法可以减少在对第一帧进行编码后的信息量，同时该方法不能减少后续帧的信息量。
[0050]其原因是，对于后续帧，以帧间预测编码方式对过去被编码的帧与编码目标帧之间的差进行编码。当切换后的第一帧的解码帧不是正常帧而是两个帧之间的差时，与作为下一编码目标帧的正常帧的差变得过大，极大地减小了帧间预测的效率。
[0051]应注意，这个问题不仅出现在对包括屏幕内容图像的视频进行编码的情况下，而且出现在对包括其中图像劣化是明显的其他类型图像的视频进行编码的情况下。
[0052]鉴于上述情况，其中将接受静态图像编码的编码帧的解码帧作为在切换后的第一帧之前被编码的帧来处理，以及通过使用该帧作为参考帧将帧间预测编码应用于切换后的第一帧的方法是可行的。在这种方法中，通过帧间预测编码对切换后的第一帧进行编码，因为切换后的第一帧是通过帧间预测编码进行编码的，所以编码产生的信息量少于帧内预测编码产生的信息量。
[0053]图3示出了根据实施例的视频编码装置的配置示例。图3所示的视频编码装置301包括存储电路311和视频编码电路312。存储电路311对在编码目标图像之前被编码的图像的解码图像进行存储，编码目标图像包括在应用静态图像编码和视频编码的视频中。当静态图像编码应用于在编码目标图像之前一个图像的图像以及视频编码应用于编码目标图像时，视频编码电路312通过使用采用解码图像作为参考图像的帧间预测编码对编码目标图像进行编码。
[0054]图4示出了根据实施例的视频解码装置的配置示例。图4所示的视频解码装置401包括存储电路411和视频解码电路412。存储电路411对在解码目标图像之前被解码的解码图像进行存储，解码目标图像包括在应用静态图像解码和视频解码的编码视频中。当静态图像解码应用于在解码目标图像之前一个图像的编码图像以及视频解码应用于解码目标图像时，视频解码电路412通过使用采用解码图像作为参考图像的帧间预测解码对解码目标图像进行解码。
[0055]根据图3所示的视频编码装置301或图4所示的视频解码装置401，可以在使用静态图像编码和视频编码两者的编码系统中抑制由从静态图像编码切换到视频编码所引起的信息量的增加。
[0056]视频编码装置301和视频解码装置401用于各种目的。例如，视频编码装置301或视频解码装置401可以被安装在视频相机、视频传输装置、视频接收装置、视频电话系统、计算机或移动电话装置中。
[0057 ]图5示出了图3中所示的视频编码装置301的特定示例。图3所示的视频编码装置301包括模式确定电路501、帧转换电路502至帧转换电路505、差计算电路506、加法器电路507、编码电路508、静态图像编码电路509、静态图像解码电路510以及多路复用电路511。
[0058]例如，视频编码装置301可以被实现为硬件电路。在这样的情况下，视频编码装置301可以包括相应构成部分作为单独的电路或者可以是一个集成电路。
[0059]视频编码装置301对输入的编码目标视频进行编码，并且输出编码视频。编码目标视频包括多个帧。每个帧对应于编码目标图像(编码目标帧)以及每个帧可以是彩色图像或者可以是单色图像。当帧是彩色图像时，像素值可以是RGB信号或者可以是色差信号。下文中，将给出其中像素值是色差信号的情况的说明。
[0060]模式确定电路501包括帧缓存器并且对编码目标帧的像素值与作为在编码目标帧之前一个图像的前一帧的像素值之间的差进行计算。然后，模式确定电路501基于两个帧之间的差确定编码目标帧是否是静态的。
[0061]当编码目标帧涉及运动时，模式确定电路501选择视频编码作为编码模式，以及当编码目标帧是静态的时，模式确定电路501选择静态图像编码作为编码模式。然后，模式确定电路501向视频编码装置301中的每个电路输出表示所选择的编码模式的控制信号。
[0062]帧转换电路502将编码目标帧的色差格式转换为静态图像编码的色差格式，并且将经转换的帧输出到差计算电路506 ο帧转换电路503将从编码电路508输出的解码帧的色差格式(视频编码的色差格式)转换为静态图像编码的色差格式，将经转换的解码帧输出到差计算电路506和加法器电路507。
[0063]编码目标帧的色差格式可以是YCbCr4:4:4的格式，静态图像编码的色差格式可以是YCbCr 4:2:2的格式，以及视频编码的色差格式可以是YCbCr 4:2:0的格式。
[0064]当前一帧的编码模式是视频编码时，差计算电路506对从帧转换电路502输出的帧的像素值与从帧转换电路503输出的帧的像素值之间的差进行计算。然后，差计算电路506将两个帧之间的差输出到静态图像编码电路509。当前一帧的编码模式是静态图像编码时，差计算电路506将从帧转换电路502输出的帧原样输出到静态图像编码电路509。
[0065]静态图像编码电路509对从差计算电路506输出的帧或差进行静态图像编码以生成静态图像编码帧，并且将帧输出到静态图像解码电路510和多路复用电路511。静态图像解码电路510对从静态图像编码电路509输出的静态图像编码帧进行解码，并且将两个帧之间的差或解码帧输出到加法器电路507。
[0066]当从静态图像解码电路510输出差时，加法器电路507将差添加至从帧转换电路503输出的解码帧，并且将作为相加结果的解码帧输出到帧转换电路504。当从静态图像解码电路510输出解码帧时，加法器电路507将解码帧原样输出到帧转换电路504。
[0067]帧转换电路504将从加法器电路507输出的解码帧的色差格式转换为视频编码的色差格式，并且将经转换的解码帧输出到编码电路508。帧转换电路505将编码目标帧的色差格式转换为视频编码的色差格式，并且将经转换的帧输出到编码电路508。
[0068]编码电路508使用从帧转换电路504输出的解码帧以进行视频编码来对从帧转换电路505输出的帧进行编码，并且生成视频编码帧以将视频编码帧输出到多路复用电路511。此外，编码电路508对所生成的视频编码帧进行本地解码以生成解码帧，并且将解码帧输出到帧转换电路503。
[0069]多路复用电路511对从静态图像编码电路509输出的静态图像编码帧和从编码电路508输出的视频编码帧进行多路复用以输出所得的帧作为编码视频。将每个编码帧的编码模式的信息、每个编码模式中的色差格式的信息等添加至编码视频。视频编码装置301可以经由通信网络将编码视频传输至视频解码装置401。
[ΟΟΤ?]图6示出了图5中所示的编码电路508的配置示例。图6所示的编码电路508包括视频编码电路312、输入帧缓存器601和参考帧缓存器602。输入帧缓存器601和参考帧缓存器602对应于存储电路311。视频编码电路312包括源编码电路603和熵编码电路604。
[0071 ]输入帧缓存器601将从帧转换电路505输出的帧存储为处理目标帧，并且将帧输出到源编码电路603。参考帧缓存器602将从帧转换电路504输出的解码帧存储为参考帧。当将帧间预测编码应用于从静态图像编码切换到视频编码之后的第一帧时，该参考帧被输出到源编码电路603。
[0072]源编码电路603将源编码应用于被存储在输入帧缓存器601中的处理目标帧，并且将编码结果输出到熵编码电路604。源编码对应于帧间预测编码或帧内预测编码，以及源编码包括帧间预测或帧内预测、预测误差的量化和频率转换、逆量化和逆频率转换的转换结果与预测像素值相加以及使用环路内滤波器的滤波。
[0073]在帧间预测编码中，源编码电路603基于存储在输入帧缓存器601中的处理目标帧的像素值以及存储在参考帧缓存器602中的参考帧的像素值来计算预测误差。然后，源编码电路603对频率转换预测误差的结果进行量化以将量化结果输出到熵编码电路604。此外，源编码电路603通过对量化结果进行本地解码生成解码帧并且将所生成的解码帧存储在参考帧缓存器602中作为参考帧。
[0074]熵编码电路604进行熵编码以与预测编码参数等一起对从源编码电路603输出的量化结果进行编码来生成视频编码帧，并且将视频编码帧输出到多路复用电路511。例如，预测编码参数包括量化步长的信息、运动矢量等。
[0075]图7示出了从多路复用电路511输出的编码视频的示例。图7所示的编码视频包括根据传输序列输出的多个编码帧701。每个编码帧701是静态图像编码帧或视频编码帧以及包括头部711和编码数据712。
[0076]头部711包括表示编码帧701的编码模式、编码目标帧的色差格式和编码帧701的色差格式的信息。编码数据712对应于编码目标帧的编码结果。
[0077]图8是说明由视频编码装置301进行的静态视频混合编码处理的示例的流程图。首先，模式确定电路501对编码目标帧与前一帧之间的差进行计算(步骤801)并且将差与阈值进行比较(步骤802)。
[0078]当差等于或大于阈值(步骤802的是)时，模式确定电路501选择视频编码作为编码模式(步骤803)，同时帧转换电路505将编码目标帧的色差格式转换为视频编码的色差格式。
[0079]接下来，帧转换电路504检查是否紧接在编码模式切换到视频编码之后(步骤804)。当前一帧的编码模式是静态图像编码时，确定紧接在切换之后，以及当前一帧的编码模式是视频编码时，确定未紧接在切换之后。
[0080]当紧接在切换到视频编码之后(步骤804的是)时，帧转换电路504将接受静态图像编码的前一帧的解码帧的色差格式转换为视频编码的色差格式(步骤805)。然后，编码电路508将经转换的解码帧存储在参考帧缓存器602的参考帧列表中(步骤806)。
[0081]接下来，编码电路508使用经转换的解码帧作为参考帧以通过使用帧间预测编码对编码目标帧进行编码来生成视频编码帧(步骤807)。然后，编码电路508生成视频编码帧的解码帧，并且将该解码帧添加至参考帧缓存器602的参考帧列表中。帧转换电路503将该解码帧的色差格式转换为静态图像编码的色差格式。
[0082]如上所述，相比于帧内预测编码的情况，通过使用帧间预测编码对在从静态图像编码切换到视频编码之后的第一编码目标帧进行编码可以抑制由切换所引起的编码量的过度增加。
[0083]当未紧接在切换到视频编码之后(步骤804的否)时，编码电路508使用参考帧列表中的参考帧之一并且通过使用帧间预测编码对编码目标帧进行编码(步骤807)。
[0084]接下来，模式确定电路501检查是否仍存在未被处理的帧(步骤815)，以及当仍存在未被处理的帧(步骤815的是)时，将下一帧看作编码目标帧来重复步骤801以及步骤801的后续处理。
[0085]当差小于阈值(步骤802的否)时，模式确定电路501选择静态图像编码作为编码模式(步骤808)，同时帧转换电路502将编码目标帧的色差格式转换为静态图像编码的色差格式。
[0086]接下来，帧转换电路503检查是否紧接在编码模式切换到静态图像编码之后(步骤809)。当前一帧的编码模式是视频编码时，确定紧接在切换之后，以及当前一帧的编码模式是静态图像编码时，确定未紧接在切换之后。
[0087]当紧接在切换到静态图像编码之后(步骤809的是)时，帧转换电路503将接受视频编码的前一帧的解码帧的色差格式转换为静态图像编码的色差格式(步骤810)。然后，差计算电路506计算经转换的编码目标帧与经转换的解码帧之间的差(步骤811)。
[0088]接下来，静态图像编码电路509通过静态图像编码对差进行编码以生成静态图像编码帧(步骤812)。在此之后，静态图像解码电路510通过对静态图像编码帧进行解码生成差。
[0089]如上所述，通过使用与接受视频编码的前一帧的解码帧的差来对从视频编码切换到静态图像编码之后的第一编码目标帧进行编码。由此，相较于静态图像编码如JPEG等的情况，可以抑制由切换所引起的编码量的过度增加。
[0090]当未紧接在切换到静态图像编码之后(步骤809的否)时，静态图像编码电路509使用静态图像编码对经转换的编码目标帧进行编码以生成静态图像编码帧(步骤812)。然后，静态图像解码电路510通过对静态图像编码帧进行解码生成解码帧。
[0091]接下来，加法器电路507检查是否紧接在编码模式切换到静态图像编码之后(步骤813)。当紧接在切换到视频编码之后(步骤813的是)时，加法器电路507将由静态图像解码电路510所生成的差添加至经转换的解码帧以生成作为相加结果的解码帧(步骤814)。当未紧接在切换到静态图像编码之后(步骤813的否)时，加法器电路507原样输出由静态图像解码电路510所生成的解码帧。
[0092]接下来，模式确定电路501执行步骤815和步骤815的后续处理。当所有帧被编码(步骤815的否)时，模式确定电路501结束处理。
[0093]图9示出了图4中所示的视频解码装置401的特定示例。图9所示的视频解码装置401包括解码控制电路901、逆多路复用电路902、静态图像解码电路903、解码电路904、帧转换电路905至帧转换电路908、加法器电路909以及帧缓存器910。
[0094]例如，视频解码装置401可以被实现为硬件电路。在这样的情况下，视频解码装置401可以包括相应构成部分作为单独的电路或者可以是一个集成电路。
[0095]视频解码装置401对输入的编码视频进行解码，并且输出作为解码结果的视频。编码视频包括多个编码帧，并且每个编码帧对应于解码目标图像(解码目标帧)。
[0096]逆多路复用电路902对编码视频进行逆多路复用以提取静态图像编码帧、视频编码帧、每个编码帧的编码模式的信息、每个编码模式下的色差格式的信息。然后，逆多路复用电路902将静态图像编码帧输出到静态图像解码电路903、将视频编码帧输出到解码电路904以及将编码模式的信息和色差格式的信息输出到解码控制电路901。
[0097]解码控制电路901根据从逆多路复用电路902输出的编码模式的信息和色差格式的信息来获得解码目标帧的编码模式、静态图像编码的色差格式和视频编码的色差格式。然后，解码控制电路901将指定编码模式和色差格式的控制信号输出到视频解码装置401中的每个电路。
[0098]静态图像解码电路903通过使用静态图像解码对从逆多路复用电路902输出的静态图像编码帧进行解码以生成解码结果并且将解码结果输出到加法器电路909。当在作为解码目标帧之前一个图像的前一帧的编码模式是视频编码时，解码结果表示两个帧之间的差，以及当前一帧的编码模式是静态图像编码时，解码结果表示静态图像解码帧。
[0099]当前一帧的编码模式是视频编码时，加法器电路909将从静态图像解码电路903输出的差和从帧转换电路90 7输出的经转换的解码帧相加以生成作为相加结果的解码帧。然后，加法器电路909将作为相加结果的解码帧输出到帧转换电路905和帧转换电路906。当前一帧的编码模式是静态图像编码时，加法器电路909将从静态图像解码电路903输出的静态图像解码帧原样输出到帧转换电路906。
[0100]帧转换电路906将作为相加结果的解码帧的色差格式或者从加法器电路909输出的静态图像解码帧的色差格式(静态图像编码的色差格式)转换为从视频解码装置401输出的视频的色差格式。然后，帧转换电路906将经转换的解码帧输出到帧缓存器910。帧转换电路905将从加法器电路909输出的作为相加结果的解码帧的色差格式转换为视频编码的色差格式，并且将经转换的解码帧输出到解码电路904。
[0101]静态图像编码的色差格式可以是YCbCr4:2:2的格式以及视频编码的色差格式可以是YCbCr 4:2:0的格式，同时从视频解码装置401输出的视频的色差格式可以是YCbCr 4:4:4的格式。
[0102]解码电路904使用从帧转换电路905输出的经转换的解码帧以通过使用视频解码对从逆多路复用电路902输出的视频编码帧进行解码，并且生成视频解码帧。然后，解码电路904将视频解码帧输出到帧转换电路907和帧转换电路908。
[0103]帧转换电路908将从解码电路904输出的视频解码帧的色差格式(视频编码的色差格式)转换为从视频解码装置401输出的视频的色差格式，并且将经转换的解码帧输出到帧缓存器910。帧转换电路907将从解码电路904输出的视频解码帧的色差格式转换为静态图像编码的色差格式，并且将经转换的解码帧输出到加法器电路909。
[0104]帧缓存器910对从帧转换电路906和帧转换电路908输出的经转换的解码帧进行缓存，并且根据显示时间将所述帧输出到显示装置。从而，将视频显示在屏幕上。
[0105]图10示出了图9中所示的解码电路904的配置示例。图10所示的解码电路904包括视频解码电路412和参考帧缓存器1001。参考帧缓存器1001对应于存储电路411。视频解码电路412包括熵解码电路1011和源解码电路1012。
[0106]参考帧缓存器1001将从帧转换电路905输出的解码帧存储为参考帧。当将帧间预测解码应用于从静态图像编码切换到视频编码之后的第一视频编码帧时，将参考帧输出到源解码电路1012。
[0107]熵解码电路1011使用熵解码对从逆多路复用电路902输出的视频编码帧进行解码，并且将解码结果输出到源解码电路1012。解码结果包括预测编码参数等。
[0108]源解码电路1012将源解码应用于从熵解码电路1011输出的解码结果以生成视频解码帧，并且将所生成的视频解码帧作为参考帧存储在参考帧缓存器1001中。源解码对应于帧间预测解码或帧内预测解码，以及源解码包括逆量化和逆频率转换、帧间预测或帧内预测、逆量化和逆频率转换的转换结果与预测像素值相加以及使用内环路滤波器的滤波。
[0109]在帧间预测解码中，源解码电路1012对从熵解码电路1011输出的解码结果进行逆量化、对逆量化的结果进行逆频率转换以及生成预测误差。然后，源解码电路1012根据所生成的预测误差和存储在参考帧缓存器1001中的参考帧的像素值生成视频解码帧，并且将视频解码帧存储在参考帧缓存器1001中。
[0110]存储在参考帧缓存器1001中的视频解码帧被输出到帧转换电路907和帧转换电路908，并且被用作后续视频编码帧的参考帧。
[0111]图11是说明由图9中所示的视频解码装置401进行的静态视频混合解码处理的示例的流程图。首先，解码控制电路901从逆多路复用电路902获得编码模式的信息(步骤1101)，并且检查解码目标帧的编码模式是视频编码还是静态图像编码(步骤1102)。
[0112]当解码目标帧的编码模式是视频编码(步骤1102的是)时，帧转换电路905检查是否紧接在编码模式切换到视频编码之后(步骤1103)。当前一帧的编码模式是静态图像编码时，确定紧接在切换之后，以及当前一帧的编码模式是视频编码时，确定未紧接在切换之后。
[0113]当紧接在切换到视频编码之后(步骤1103的是)时，帧转换电路905将前一静态图像解码帧的色差格式转换为视频编码的色差格式(步骤1104)。然后，解码电路904将经转换的解码帧存储在参考帧缓存器1001的参考帧列表中(步骤1105)。
[0114]接下来，解码电路904使用经转换的解码帧作为参考帧，并且通过帧间预测解码对解码目标帧进行解码以生成视频解码帧(步骤1106)。然后，解码电路904将所生成的视频编码帧添加到参考帧缓存器1001的参考帧列表中。
[0115]当未紧接在切换到视频编码之后(步骤1103的否)时，解码电路904使用参考帧列表中的参考帧之一以通过帧间预测解码对解码目标帧进行解码(步骤1106)。
[0116]接下来，帧转换电路908将视频解码帧的色差格式转换为从视频解码装置401输出的视频的色差格式，同时帧缓存器910将经转换的解码帧输出到显示装置(步骤1111)。
[0117]接下来，解码控制电路901检查是否仍存在未被处理的帧(步骤1112)，以及当仍存在未被处理的帧(步骤1112的是)时，解码控制电路901通过将下一帧看作解码目标帧来重复步骤1101以及步骤1101的后续处理。
[0118]当解码目标帧的编码模式是静态图像编码(步骤1102的否)时，静态图像解码电路903通过静态图像解码对解码目标帧进行解码以生成解码结果(步骤1107)。
[0119]接下来，帧转换电路907检查是否紧接在编码模式切换到静态图像编码之后(步骤1108)。当前一帧的编码模式是视频编码时，确定紧接在切换之后，以及当前一帧的编码模式是静态图像编码时，确定未紧接在切换之后。
[0120]当紧接在切换到静态图像编码之后(步骤1108的是)时，帧转换电路907将通过对前一视频编码帧进行解码而获得的视频解码帧的色差格式转换为静态图像编码的色差格式(步骤1109)。然后，加法器电路909将经转换的解码帧和由对解码目标帧进行解码的结果表示的两个帧之间的差相加，以生成作为相加结果的解码帧(步骤1110)。
[0121]当未紧接在切换到静态图像编码之后(步骤1108的否)时，加法器电路909将由对解码目标帧进行解码而获得的静态图像解码帧输出到帧转换电路906。
[0122]接下来，帧转换电路906将作为相加结果的解码帧的色差格式或静态图像解码帧的色差格式转换为从视频解码装置401输出的视频的色差格式(步骤111)。然后，帧缓存器910将经转换的解码帧输出到显示装置。
[0123]接下来，解码控制电路901进行步骤1112以及步骤1112的后续处理。当所有帧被解码(步骤1112的否)时，解码控制电路901结束处理。
[0124]图3和图5中所示的视频编码装置301的配置以及图6中所示的编码电路508仅是示例性的，并且可以根据视频编码装置301的目的或条件省略或改变一些构成部分。
[0125]例如，当编码目标帧、静态图像编码和视频编码采用相同的色差格式时，可以省略图5中所示的帧转换电路502至帧转换电路505。当通过使用静态图像编码如JPEG等对从视频编码切换到静态图像编码之后的第一编码目标帧进行编码时，可以省略图5中所示的差计算电路506和加法器电路507。当不进行熵编码时，可以省略图6中所示的熵编码电路604。
[0126]图4和图9中所示的视频解码装置401的配置和图10中所示的解码电路904仅是示例性的，并且可以根据视频解码装置401的目的或条件省略或改变一些构成部分。
[0127]例如，当从视频解码装置401输出的视频、静态图像编码和视频编码采用相同的色差格式时，可以省略图9中所示的帧转换电路905至帧转换电路908。当通过静态图像编码如JPEG等对从视频编码切换到静态图像编码之后的第一编码目标帧进行编码时，可以省略图9中所示的加法器电路909。当不进行熵编码时，可以省略图10中所示的熵解码电路1011。
[0128]图8和图11所示的流程图仅是示例性的，并且可以根据视频编码装置301和视频解码装置401的配置或条件省略或改变流程图中的一些处理。例如，当编码目标帧、静态图像编码和视频编码采用相同的色差格式时，可以省略图8中所示的步骤805和步骤810的处理。在这样的情况下，还可以省略步骤803和步骤808中的色差格式转换处理。
[0129]当从视频解码装置401输出视频时，静态图像编码和视频编码采用相同的色差格式，可以省略图11中所示的步骤1104和步骤1109的处理。在这样的情况下，还可以省略步骤1111中的色差格式转换处理。
[0130]当通过静态图像编码如JPEG等对从视频编码切换到静态图像编码之后的第一编码目标帧进行编码时，可以省略图8中所示的步骤809至步骤811、步骤813和步骤814的处理。在这样的情况下，还可以省略图11中所示的步骤1108至步骤1110的处理。
[0131 ]在图8所示的步骤807中，当紧接在切换到视频编码之后时，编码电路508可以使用作为在编码目标帧之前N(N是等于或大于2的整数)个帧的帧的解码帧而不是作为在编码目标帧之前一个图像的前一帧的解码帧作为参考帧。这导致参考帧的更多选择候选。在这样的情况下，在步骤805中，帧转换电路504将作为在编码目标帧之前N个帧的帧的解码帧的色差格式转换为视频编码的色差格式。
[0132]此外，在图11所示的步骤1104中，帧转换电路905将作为在解码目标帧之前的N个帧的静态图像解码帧的色差格式转换为视频编码的色差格式。然后，在步骤1106中，解码电路904使用与N个帧前的静态图像解码帧对应的经转换的解码帧作为参考帧。
[0133]在图8所示的步骤807中用作参考帧的N个帧前的帧可以是通过使用视频编码进行编码的帧。
[0134]在图8所示的步骤811中，当紧接在切换到静态图像编码之后时，差计算电路506可以通过使用作为在编码目标帧之前N个帧的帧的解码帧而不是作为在编码目标帧之前一个图像的前一帧的解码帧来计算差。这导致用于计算差的帧的更多选择候选。在这样的情况下，在步骤810中，帧转换电路503将作为在编码目标帧之前N个帧的帧的解码帧的色差格式转换为静态图像编码的色差格式。
[0135]此外，在图11所示的步骤1109中，帧转换电路905将通过对作为在解码目标帧之前N个帧的视频编码帧进行解码而获得的视频解码帧的色差格式转换为静态图像编码的色差格式。在步骤1110中，加法器电路909将与N个帧前的视频解码帧对应的经转换的解码帧和由对解码目标帧进行解码的结果所表示的两个帧之间的差相加。
[0136]在图8所示的步骤811中用于计算差的N个帧前的帧可以是由静态图像编码进行编码的帧。
[0137]编码目标图像不限于包括屏幕内容图像的视频，还可以是包括其中图像劣化是明显的不同类型的图像的视频。
[0138]图3和图5中所示的视频编码装置301以及图4和图9中所示的视频解码装置401可以由硬件电路来实现，或者可以通过使用如图12所示的信息处理设备(计算机)来实现。
[0139]图12所示的信息处理设备包括中央处理单元(CPU)1201、存储器1202、输入装置1203、输出装置1204、辅助存储装置1205、介质驱动装置1206和网络连接装置1207。这些构成部分经由总线1208彼此连接。
[0140]例如，存储器1202是半导体存储器如只读存储器(R0M)、随机存取存储器(RAM)、闪速存储器等，并且存储用于静态视频混合编码处理或静态视频混合解码处理的程序和数据。存储器1202可以用作图3中所示的存储电路311、图4中所示的存储电路411、图6中所示的输入帧缓存器601和参考帧缓存器602、图9中所示的帧缓存器910或图10中所示的参考帧缓存器1001。
[0141]CPU 1201(处理器)通过例如使用存储器1202执行程序以操作为图3和图6中所示的视频编码电路312或者图4和图1O中所示的视频解码电路412。
[0142]CPU 1201还操作为图5中所示的模式确定电路501、帧转换电路502至帧转换电路505、差计算电路506、加法器电路507、编码电路508、静态图像编码电路509、静态图像解码电路510和多路复用电路511XPU1201还操作为图6中所示的源编码电路603和熵编码电路604。
[0143]CPU 1201还操作为图9中所示的解码控制电路901、逆多路复用电路902、静态图像解码电路903、解码电路904、帧转换电路905至帧转换电路908以及加法器电路909 XPU1201还操作为图中10所示的熵解码电路1011和源解码电路1012。
[0144]例如，输入装置1203是键盘、指示装置等，并且用于从用户或操作者输入指令或信息。例如，输出装置1204是显示装置、打印机、扬声器等，并且用于向用户或操作者输出查询或处理结果。处理结果可以是从图9中所示的帧缓存器910输出的视频。
[0145]例如，辅助存储装置1205是磁盘装置、光盘装置、磁光盘装置、磁带装置等。辅助存储装置1205可以是硬盘驱动器。信息处理设备可以预先将程序和数据存储在辅助存储装置1205中以将程序和数据加载到存储器1202上并且使用程序和数据。
[0146]介质驱动装置1206驱动便携式记录介质1209访问存储在其中的信息。便携式记录介质1209是存储器装置、软盘、光盘、磁光盘等。便携式记录介质1209可以是光盘只读存储器(CD-ROM)、数字多功能盘(DVD)、通用串行总线(USB)存储器等。用户或操作者可以将程序和数据存储在便携式记录介质1209中以将程序和数据加载到存储器1202上并且使用程序和数据。
[0147]如上所述，用于对用于处理的程序和数据进行存储的计算机可读记录介质是物理(非暂时性)记录介质如存储器1202、辅助存储装置1205或便携式记录介质1209。
[0148]网络连接装置1207是连接到通信网络如局域网(LAN)、因特网等以执行用于通信的数据的转换的通信接口。网络连接装置1207向视频解码装置401发送编码视频以及还可以从视频编码装置301接收编码视频。信息处理设备可以经由网络连接装置1207从外部装置接收程序和数据以将程序和数据加载到存储器1202上并且使用程序和数据。
[0149]应注意，信息处理设备不需要包括图12中所示的所有构成部分，以及根据目的或条件可以省略一些构成部分。例如，当与用户或操作者的接口是没有必要时，可以省略输入装置1203和输出装置1204。此外，当信息处理设备不访问便携式记录介质1209时，可以省略介质驱动装置1206。
【主权项】
1.一种视频编码装置，包括: 存储单元，所述存储单元用于对在编码目标图像之前被编码的编码图像的解码图像进行存储，所述编码目标图像包括在应用静态图像编码和视频编码的视频中；以及 视频编码单元，所述视频编码单元用于通过帧间预测编码对所述编码目标图像进行编码，当所述静态图像编码应用于在所述编码目标图像之前一个图像的图像以及所述视频编码应用于所述编码目标图像时，所述帧间预测编码使用所述解码图像作为参考图像。2.根据权利要求1所述的视频编码装置，还包括: 静态图像编码单元，所述静态图像编码单元用于通过所述静态图像编码对在所述编码目标图像之前一个图像的图像或在所述编码目标图像之前两个或更多个图像的图像进行编码来生成所述编码图像。3.根据权利要求1所述的视频编码装置，还包括: 静态图像编码单元，所述静态图像编码单元用于当所述视频编码应用于第一图像以及所述静态图像编码应用于第二图像时通过所述静态图像编码对所述第一图像的编码图像的解码图像与所述第二图像的编码图像的解码图像之间的差进行编码，所述第一图像通过所述视频编码进行编码并且在所述编码目标图像之后，以及所述第二图像在所述第一图像之后一个图像。4.根据权利要求1至3中任一项所述的视频编码装置，还包括: 确定单元，所述确定单元用于当所述编码目标图像与在所述编码目标图像之前一个图像的图像之间的差大于阈值时确定将所述视频编码应用于所述编码目标图像。5.—种视频编码方法，包括: 将在编码目标图像之前被编码的编码图像的解码图像存储在存储单元中，所述编码目标图像包括在应用静态图像编码和视频编码的视频中；以及 通过帧间预测编码对所述编码目标图像进行编码，当所述静态图像编码应用于在所述编码目标图像之前一个图像的图像以及所述视频编码应用于所述编码目标图像时，所述帧间预测编码使用所述解码图像作为参考图像。6.根据权利要求5所述的视频编码方法，还包括: 通过所述静态图像编码对在所述编码目标图像之前一个图像的图像或在所述编码目标图像之前两个或更多个图像的图像进行编码来生成所述编码图像。7.根据权利要求5所述的视频编码方法，还包括: 当所述视频编码应用于第一图像以及所述静态图像编码应用于第二图像时通过所述静态图像编码对所述第一图像的编码图像的解码图像与所述第二图像的编码图像的解码图像之间的差进行编码，所述第一图像通过所述视频编码进行编码并且在所述编码目标图像之后，以及所述第二图像在所述第一图像之后一个图像。8.根据权利要求5至7中任一项所述的视频编码方法，还包括: 当所述编码目标图像与在所述编码目标图像之前一个图像的图像之间的差大于阈值时确定将所述视频编码应用于所述编码目标图像。9.一种视频解码装置，包括: 存储单元，所述存储单元用于对在解码目标图像之前被解码的解码图像进行存储，所述解码目标图像包括在应用静态图像编码和视频编码的编码视频中；以及 视频解码单元，所述视频解码单元用于通过帧间预测解码对所述解码目标图像进行解码，当所述静态图像解码应用于在所述解码目标图像之前一个图像的编码图像以及所述视频解码应用于所述解码目标图像时，所述帧间预测解码使用所述解码图像作为参考图像。10.一种视频解码方法，包括: 将在解码目标图像之前被解码的解码图像存储在存储单元中，所述解码目标图像包括在应用静态图像解码和视频解码的编码视频中；以及 通过帧间预测解码对所述解码目标图像进行解码，当所述静态图像解码应用于在所述解码目标图像之前一个图像的编码图像以及所述视频解码应用于所述解码目标图像时，所述帧间预测解码使用所述解码图像作为参考图像。
【文档编号】H04N19/117GK106028031SQ201610154130
【公开日】2016年10月12日
【申请日】2016年3月17日
【发明人】数井君彦, 山田幸二
【申请人】富士通株式会社