一种码流处理方法及装置与流程

本发明实施例涉及多媒体技术领域，尤指一种码流处理方法及装置。

背景技术：

随着多媒体业务的发展，多媒体被广泛应用于不同的领域，例如数字广播、网络媒体和移动媒体等。在异构网络中，海量的媒体数据需要采用高效的媒体数据分发策略，以适应具有不同格式输入要求的终端设备，从而满足用户的需求。

相关技术中，有两种解决方法，一种是存储多个码流，一方面是实时转码。针对存储多个码流的方法，由于该方案需要占用存储空间，当所要存储的码流过多时，很可能会造成存储空间不足。另一种方法是实时转码，实时转码是对码流进行解码，再根据需要进行重新编码，这种方法在实施过程中相当于进行了一次完全解码和一次完全编码，因此计算量大，需要资源多，转码效率低下。

技术实现要素：

为了解决上述技术问题，本发明实施例提供了一种码流处理方法及装置，能够提高转码效率。

为了达到本发明目的，本发明实施例提供了一种码流处理方法，包括：

获取码流中辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；

使用所述辅助信息对所述码流进行转码操作，并生成转码码流。

本发明实施例还提供了一种码流处理装置，包括：

获取模块，用于获取码流中辅助信息；其中，所述辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种；

处理模块，用于使用所述辅助信息对所述码流进行转码操作，并生成转码码流。

与现有技术相比，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种码流处理方法的流程示意图；

图2为本发明实施例提供的一种码流处理装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明实施例提供一种码流处理方法，如图1所示，该方法包括：

步骤101、获取码流中辅助信息。

其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。

具体的，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。

具体的，可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。

需要说明的是，编码类型指的是所符合的视频标准，其中，视频标准可以是h.265/高效率视频编码(highefficiencyvideocoding，hevc)，h.264/高级视频编码(advancedvideocoding，avc)，网络视频图像压缩标准mpeg4，h.263，dvd/超级vcd的视频图像压缩标准mpeg2，由google开发的开放格式、无使用授权费的视频压缩标准vp9，微软推出的一种流媒体格式标准wmv等；能力等级指解码器在正确解码码流时需要具有的能力等级；码率可以是2mbps或10mbps等；帧频可以是25fps、30fps等；图像分辨率可以是720p、1080p等；颜色空间可以是颜色标准yuv，或颜色标准rgb等；亮度色度采样格式可以是yuv444、yuv420等；动态范围可以是标准动态范围(standarddynamicrange，sdr)，或高动态范围图像(high-dynamicrange，hdr)等。

步骤102、使用辅助信息对码流进行转码操作，并生成转码码流。

具体的，当辅助信息为码流的编码类型时，获取码流的编码类型能够支持的目标编码类型；如果接收端请求的编码类型与码流的编码类型相同，或包含在目标编码类型中，对码流进行转码操作，并生成转码码流。当辅助信息为码流的编码类型和转码码流的编码类型时，判断是进行完全编解码，或是进行部分编解码(即判断码流的编码类型和转码码流的编码类型是否一致)；如果进行部分编解码(即码流的编码类型和转码码流的编码类型一致)，根据码流的编码信息对码流进行转码操作，并生成转码码流。

当辅助信息为码流的编码能力等级时，获取码流的编码能力等级能够支持的目标编码能力等级；如果接收端请求的编码能力等级不高于目标编码能力等级，对码流进行转码操作，并生成转码码流。当辅助信息为码流的编码能力等级和转码码流的编码能力等级时，判断是进行完全编解码，或是进行部分编解码，后续步骤与当辅助信息为码流的编码类型和转码码流的编码类型时的执行步骤一致，再此不再赘述。

当辅助信息为码流的码率时，获取码流的码率能够支持的目标码率；当辅助信息为码流的帧频时，获取码流的码率能够支持的目标帧频；当辅助信息为码流的图像分辨率时，获取码流的码率能够支持的目标图像分辨率；当辅助信息为码流的颜色空间时，获取码流的码率能够支持的目标颜色空间；当辅助信息为码流的色度采样格式时，获取码流的码率能够支持的目标色度采样格式；当辅助信息为码流的色度动态范围时，获取码流的码率能够支持的目标色度动态范围；后续步骤与当辅助信息为码流的编码类型时的执行步骤一致，再此不再赘述。

当辅助信息为码流的码率和转码码流的码率时，当辅助信息为码流的帧频和转码码流的帧频时，或当辅助信息为码流的图像分辨率和转码码流的图像分辨率时，或当辅助信息为码流的颜色空间和转码码流的颜色空间时，或或当辅助信息为码流的色度采样格式和转码码流的色度采样格式时，或当辅助信息为码流的色度动态范围和转码码流的色度动态范围时，判断进行完全编解码，或是进行部分编解码，后续步骤与当辅助信息为码流的编码类型和转码码流的编码类型时的执行步骤一致，在此不再赘述。

当辅助信息为码流的编码信息时，如转码的编码过程中可以直接使用上述编码信息，省略重新生成上述编码信息的步骤，并生成转码码流。当辅助信息为码流的编码信息是残差信息时，进行部分编解码，直接在编码过程中使用码流残差信息，加上上述码流的编码信息，省略重新生成残差和上述编码信息的步骤，生成转码码流。当辅助信息为码流的用户自定义信息和转码码流的用户自定义信息中至少一种时，根据具体自定义信息帮助转码操作。

具体的，下面以几种具体的应用场景中的实施例，对如何使用辅助信息对码流进行转码操作，并生成转码码流进行进一步说明。

实施例一：

在本实施例中，假设辅助信息为码流的编码类型(码流的编码类型为h.265/hevc)和转码码流的编码类型(转码码流的编码类型为h.265/hevc)，码流的编码类型和转码码流的编码类型相同，由此可知，可以进行完全编解码，也可以进行部分编解码。

进一步，辅助信息中还有码流的编码信息，因此解码码流生产重建图像后，转码中编码时不再进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。

更进一步，辅助信息中还有转码码流的残差，其中残差是码流与转码码流的残差差值，因此转码中解码只需码流的残差，而无需进行重建操作，在转码的编码过程中直接使用码流残差与转码码流的残差相加，并生成转码后残差，加上码流的编码信息进行编码生成新的码流，而无需进行模式选择和运动估计等操作。

实施例二：

在本实施例中，假设辅助信息为码流的编码类型(码流的编码类型是h.265/hevc)和转码码流的编码类型(转码码流的编码类型是h.264/avc)，码流的编码类型和转码码流的编码类型不相同，如果从辅助信息中没有解析出h.264/avc可用编码信息，则需要进行完全编解码，如果从辅助信息中解析出h.264/avc可用编码信息，则可以进行部分编解码。

进一步，辅助信息中还有码流的编码信息，同时，编码信息是转码码流的编码类型h.264/avc可用信息，因此解码码流生成重建图像后，重新编码时不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。

更进一步，辅助信息中还有转码码流的残差，其中残差是码流与转码码流的残差差值，因此转码中解码只需码流的残差，而无需进行重建操作，在转码的编码过程中直接使用码流的残差与转码码流的残差相加，并生成转码后残差，加上码流的编码信息进行编码生成新的码流，无需进行模式选择和运动估计等操作。

实施例三：

在本实施例中，假设辅助信息为码流的颜色空间(码流的颜色空间为yuv)和转码码流的颜色空间(转码码流的颜色空间是rgb)，因此转码中需要将码流重建图像的颜色空间由yuv转换为rgb，再进行编码操作。

进一步，辅助信息中还有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。

实施例四：

在本实施例中，假设辅助信息为码流的动态范围(码流的动态范围是sdr)和转码码流的动态范围(转码码流的动态范围是hdr)，因此转码中需要将码流重建图像的动态范围由sdr转换为hdr，再进行编码操作。可选地，辅助信息中可以携带从标准动态范围到高动态范围的映射表，也可以携带指明映射方式的信息。

进一步，辅助信息中还有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。

实施例五：

在本实施例中，假设辅助信息为码流的分辨率(码流的分辨率为1080p)和转码码流的分辨率(转码码流的分辨率为720p)，因此转码中需要将码流重建图像从1080p下采样为720p，再进行编码操作。可选地，辅助信息里可以携带下采样滤波表，也可以携带指明滤波方式的信息。

进一步，辅助信息中有码流的编码信息，在这些编码信息可被转码码流转码使用的情况下，转码的编码过程中不再需要进行模式选择和运动估计等操作，直接使用码流的编码信息进行编码。

更进一步，辅助信息中有转码码流的残差，其中残差是码流残差下采样后与转码码流的残差差值，因此转码中解码只需码流的残差，不进行重建操作，再对码流的残差进行下采样，在转码的编码过程中直接使用码流的残差下采样数值与转码码流的残差相加，生成转码后残差，加上码流的编码信息进行编码生成新的码流，无需进行模式选择和运动估计等操作。

本发明实施例提供的码流处理方法，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。

可选地，使用辅助信息对码流进行转码操作，并生成转码码流之后，还包括：

根据生成的转码码流生成新的辅助信息。

将生成的新的辅助信息添加至生成的转码码流中。

可选地，将生成的新的辅助信息添加至生成的转码码流中之后，还包括：

在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。

可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。

可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为补充增强信息(supplementalenhancementinformation，sei)单元时，辅助信息位于sei单元中有效载荷类型字段为预设标识的位置；获取码流中辅助信息，包括：

解析码流，获取sei单元。

在sei单元中有效载荷类型字段为预设标识的位置获取辅助信息。

具体的，在sei单元中，有效载荷类型字段可以是payloadtype，预设标识可以是transcoding_info。transcoding_info的结构可以如表1所示，

表1

在表1的基础上，辅助信息的表示可以如表2所示，

表2

如表2所示，codec_info指码流编码类型信息，bitrate_info是指码流码率信息，transcoding_codec_info指转码码流编码类型信息，transcoding_bitrate_info是指转码码流码率信息。

可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为视频应用信息(videousabilityinformation，vui)单元时，辅助信息位于vui单元中转码信息标记字段为预设值的位置；获取码流中辅助信息，包括：

解析码流，获取vui单元；在vui单元中转码信息标记字段为预设值的位置获取辅助信息。

具体的，在vui单元中，转码信息标记字段可以是transcoding_info_flag，预设值可以是1。transcoding_info_flag的结构可以如表2所示，

表3

如表3所示，codec_info指码流编码类型信息，bitrate_info是指码流码率信息，transcoding_codec_info指转码码流编码类型信息，transcoding_bitrate_info是指转码码流码率信息。

可选地，还可以从系统层媒体描述单元中获取辅助信息，辅助信息具体示例如表3所示的结构。例如在传输流的描述子、文件格式的数据单元(例如box中)、传输流的媒体描述信息，例如媒体呈现描述(mediapresentationdescription，mpd)等信息单元。

需要说明的是，本发明实施例提供的码流处理方法中的辅助信息可以包含多组信息，用于生成多个转码码流。

还需要说明的是，本发明实施例提供的码流处理方法，还可以应用于立体视频的处理，设置码流是立体视频数据中的左视场信息，携带的辅助信息与右视场相关，因此如果接收端请求立体视频，则使用辅助信息协助转码出右视场码流，再与左视场码流组合为立体码流发送给接收端；如果接收端请求右视场视频，则使用辅助信息协助转码出右视场码流，直接发送给接收端。

还需要说明的是，本发明实施例提供的码流处理方法，还可以应用于兴趣视频的处理，设置码流是全景视频，携带的辅助信息与用户感兴趣区域相关，因此如果接收端请求感兴趣区域码流，则使用辅助信息协助转码出感兴趣区域码流，再发送给接收端。

还需要说明的是，本发明实施例提供的码流处理方法，携带的辅助信息可以包含多组可用于转码码流信息或可支持转码码流信息，可以根据接收端请求不同，使用不同的转码码流信息或可支持转码码流信息。

本发明实施例还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述任一项信号处理方法。

本发明实施例提供一种码流处理装置，如图2所示，该码流处理装置2包括：

获取模块21，用于获取码流中辅助信息；其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。

处理模块22，用于使用辅助信息对码流进行转码操作，并生成转码码流。

可选地，处理模块22还用于：

根据生成的转码码流生成新的辅助信息。

将生成的新的辅助信息添加至生成的转码码流中。

可选地，该码流处理装置2还包括添加模块23，用于在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。

可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。

可选地，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。

可选地，可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。

可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为sei单元时，辅助信息位于sei单元中有效载荷类型字段为预设标识的位置；获取模块21具体用于：

解析码流，获取sei单元。

在sei单元中有效载荷类型字段为预设标识的位置获取辅助信息。

当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为vui单元时，辅助信息位于vui单元中转码信息标记字段为预设值的位置；获取模块21具体用于：

解析码流，获取vui单元。

在vui单元中转码信息标记字段为预设值的位置获取辅助信息。

本发明实施例提供的码流处理装置，由于获取了码流中包括可用于转码的码流信息和可支持转码的码流信息中至少一种的辅助信息，而无论辅助信息是可用于转码的码流信息还是可支持转码的码流信息都能够对转码操作提供帮助，因此提高了转码效率。

在实际应用中，获取模块21、处理模块22和添加模块23均可由位于码流处理装置中的中央处理器(centralprocessingunit，cpu)、微处理器(microprocessorunit，mpu)、数字信号处理器(digitalsignalprocessor，dsp)或现场可编程门阵列(fieldprogrammablegatearray，fpga)等实现。

本发明实施例还提供一种用于实现码流处理的装置，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：

获取码流中辅助信息；其中，辅助信息包括可用于转码的码流信息和可支持转码的码流信息中至少一种。

使用辅助信息对码流进行转码操作，并生成转码码流。

可选地，存储器中还存储有以下可被处理器执行的指令：

根据生成的转码码流生成新的辅助信息。

将生成的新的辅助信息添加至生成的转码码流中。

可选地，存储器中还存储有以下可被处理器执行的指令：

在生成的转码码流中添加标志位信息，以用于表示该转码码流是否经过转码。

可选地，辅助信息位于携带有预设标识的数据单元中，数据单元包括传输码流的辅助信息单元、系统层媒体描述单元和媒体文件格式包含的媒体描述单元。

可选地，可用于转码的码流信息包括码流的编码类型、码流的编码能力等级、码流的码率、码流的帧率、码流的图像分辨率、码流的颜色空间、码流的亮度色度采样格式、码流的动态范围、码流的编码信息和码流的用户自定义信息中至少一种；其中，码流的编码信息包括码流的分块信息，或者，码流的编码信息包括码流的模式选择信息、码流的运动估计信息和码流的量化信息中至少一种以及码流的分块信息、码流的残差；码流的残差包括可用于转码码流的残差，或码流与可用于转码码流的残差差值。

可支持转码的码流信息包括转码码流的编码类型、转码码流的编码能力等级、转码码流的码率、转码码流的帧率、转码码流的图像分辨率、转码码流的颜色空间、转码码流的亮度色度采样格式、转码码流的动态范围和转码码流的用户自定义信息中至少一种。

可选地，当数据单元为传输码流的辅助信息单元，且传输码流的辅助信息单元为sei单元时，辅助信息位于sei单元中有效载荷类型字段为预设标识的位置，存储器中具体存储有以下可被处理器执行的指令：

解析码流，获取sei单元。

在sei单元中有效载荷类型字段为预设标识的位置获取辅助信息。

可选地，当数据单元为传输码流的辅助信息单元中的vui单元时，辅助信息位于vui单元中转码信息标记字段为预设值的位置，存储器中具体存储有以下可被处理器执行的指令：

解析码流，获取vui单元。

在vui单元中转码信息标记字段为预设值的位置获取辅助信息。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。