一种视频图像的处理方法及移动终端与流程

本发明涉及图像处理技术领域，尤其涉及一种视频图像的处理方法及移动终端。

背景技术：

在视频图像的处理过程中，经常需要利用阿尔法(alpha)透明通道制作各种特技效果。阿尔法通道数据用八位二进制数字表示，存储图像文件中代表各像素点透明度的附加信息。利用阿尔法通道的透明特性能够创作出十分丰富的图像效果，不仅在多媒体作品，而且在电影、电视、动画等方面都有大量应用。在影视节目制作中，可以利用阿尔法透明通道来完成特殊画面的叠加与合成，使图像中某一部分依据不同原理透明，将所选颜色或者亮度从图像中去除，从而使去掉颜色的图像部分透出背景，没有去掉颜色的部分依旧保持原来的图像。

在传统的视频领域中，mp4(movingpicturesexpertsgroup-4，动态图像专家组mpeg-4)是一种较为理想的视频存储格式，因为视频的容量较小，储存的数据量大的特点很适合于传输与播放。但是，mp4格式的图像没有透明通道，这一直是业界所讨论的话题。但是mp4格式的视频图像在不支持透明度的情况下，在制作特效方面和合成效果方面会第一时间会抛弃。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

在现有视频图像的处理方法中，针对mp4格式的视频图像只能生成rbg通道(red、green、blue，红绿蓝通道)，而不能生成透明通道，因此，现有视频图像的处理方法，无法结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合，这样不仅会导致mp4格式的视频图像的处理效果较差，而且还会增加爱mp4格式的视频图像的传输复杂度。

技术实现要素：

为解决上述技术问题，本发明实施例期望提供一种视频图像的处理方法及移动终端，可以结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合，这样不仅能够改善mp4格式的视频图像的处理效果，而且还可以降低mp4格式的视频图像的传输复杂度。

本发明的技术方案是这样实现的：

本发明实施例提供了一种视频图像的处理方法，应用于移动终端，所述方法包括：

当接收到用户通过所述移动终端的触摸屏发送的操作指令时，获取第一通道对应的第一视频图像；其中，所述操作指令包括：点击操作指令和滑动操作指令；

将所述第一视频图像转换为第二通道对应的第二视频图像；其中，所述第一视频图像和所述第二视频图像均为动态图像专家组mpeg-4格式的视频图像；

将第一视频图像和第二视频图像合成为目标视频图像。

在上述实施例中，所述第一通道为：红绿蓝rbg通道；所述第二通道为：透明通道。

在上述实施例中，所述将所述第一视频图像转换为第二通道对应的第二视频图像，包括：

获取所述第一视频图像对应的rgb色彩空间；

将所述rgb色彩空间转换为yuv色彩空间；

根据所述yuv色彩空间将所述第一视频图像转换为第二视频图像。

在上述实施例中，所述将所述第一视频图像和第二视频图像合成为目标视频图像，包括：

将所述rgb色彩空间和所述yuv色彩空间均转换为nv色彩空间；

根据各个nv色彩空间将所述第一视频图像和所述第二视频图像进行解码；

将解码后的第一视频图像和解码后的第二视频图像合成为所述目标视频图像。

在上述实施例中，所述将解码后的第一视频图像和解码后的第二视频图像合成为所述目标视频图像，包括：

将解码后的第一视频图像和解码后的第二视频图像进行opengl渲染；

将渲染后的第一视频图像和第二视频图像合成为所述目标视频图像。

本发明实施例还提供了一种移动终端，所述移动终端包括：获取单元、转换单元和合成单元；其中，

所述获取单元，用于当接收到用户通过所述移动终端的触摸屏发送的操作指令时，获取第一通道对应的第一视频图像；其中，所述操作指令包括：点击操作指令和滑动操作指令；

所述转换单元，用于将所述第一视频图像转换为第二通道对应的第二视频图像；其中，所述第一视频图像和所述第二视频图像均为动态图像专家组mpeg-4格式的视频图像；

所述合成单元，用于将所述第一视频图像和第二视频图像合成为目标视频图像。

在上述实施例中，所述第一通道为：红绿蓝rbg通道；所述第二通道为：透明通道。

在上述实施例中，所述转换单元包括：获取子单元和第一转换子单元；其中，

所述获取子单元，用于获取所述第一视频图像对应的rgb色彩空间；

所述第一转换子单元，用于将所述rgb色彩空间转换为yuv色彩空间；根据所述yuv色彩空间将所述第一视频图像转换为第二视频图像。

在上述实施例中，所述合成单元包括：第二转换子单元、解码子单元和合成子单元；其中，

所述第二转换子单元，用于将所述rgb色彩空间和所述yuv色彩空间均转换为nv色彩空间；

所述解码子单元，用于根据各个nv色彩空间将所述第一视频图像和所述第二视频图像进行解码；

所述合成子单元，用于将解码后的第一视频图像和解码后的第二视频图像合成为所述目标视频图像。

在上述实施例中，所述合成子单元，具体用于将解码后的第一视频图像和解码后的第二视频图像进行opengl渲染；将渲染后的第一视频图像和第二视频图像合成为所述目标视频图像。

由此可见，在本发明实施例的技术方案中，当接收到用户通过移动终端的触摸屏发送的操作指令时，先获取第一通道对应的第一视频图像，然后将第一视频图像转换为第二通道对应的第二视频图像，最后将第一视频图像和第二视频图像合成为目标视频图像。也就是说，在本发明实施例的技术方案中，可以将第一通道对应的第一视频图像转换为第二通道对应的第二视频图像，然后将第一视频图像和第二视频图像合成为目标视频图像。而在现有技术中，无法根据第一视频图像和第二视频图像合成目标视频图像，即无法结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合。因此，和现有技术相比，本发明实施例提出的视频图像的处理方法及移动终端，可以结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合，这样不仅能够改善mp4格式的视频图像的处理效果，而且还可以降低mp4格式的视频图像的传输复杂度；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

附图说明

图1为本发明实施例中视频图像的处理方法的第一实现流程示意图；

图2为本发明实施例中将第一视频图像转换为第二视频图像的实现方法流程示意图；

图3为本发明实施例中将第一视频图像和第二视频图像合成为目标视频图像的实现方法流程示意图；

图4为本发明实施例中移动终端的第一组成结构示意图；

图5为本发明实施例中移动终端的第二组成结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

图1为本发明实施例中视频图像的处理方法的第一实现流程示意图。如图1所示，视频图像的处理方法可以包括以下步骤：

步骤101、当接收到用户通过所述移动终端的触摸屏发送的操作指令时，获取第一通道对应的第一视频图像；其中，操作指令包括：点击操作指令和滑动操作指令。

在本发明的具体实施例中，当移动终端接收到用户通过所述移动终端的触摸屏发送的操作指令时，移动终端可以通过多种方法获取第一通道对应的第一视频图像；其中，操作指令可以包括：点击操作指令和滑动操作指令。例如，在本发明的具体应用场景中，当移动终端通过触摸屏接收到用户发送的点击操作指令或者滑动操作指令时，移动终端可以通过移动终端中的mp4播放器获取第一通道对应的第一视频图像。在本发明的具体实施例中，第一通道可以为：红绿蓝rbg通道；第二通道为：透明通道。具体地，在本发明的具体实施例中，所述点击操作可以是单击操作，也可以是双击操作；所述滑动操作可以是顺时针滑动操作，也可以是逆时针滑动操作。

步骤102、将第一视频图像转换为第二通道对应的第二视频图像；其中，第一视频图像和第二视频图像均为mpeg-4格式的视频图像。

在本发明的具体实施例中，在获取到第一通道对应的第一视频图像之后，可以将第一视频图像转换为第二通道对应的第二视频图像；其中，第一视频图像和第二视频图像可以均为mpeg-4格式的视频图像。图2为本发明实施例中将第一视频图像转换为第二视频图像的实现方法流程示意图。如图2所示，将第一通道对应的第一视频图像转换为第二通道对应的第二视频图像的方法可以包括以下步骤：

步骤102a、获取第一视频图像对应的rgb色彩空间。

在现有技术中，rgb色彩空间是工业界的一种颜色标准，是通过对红(r)、绿(g)、蓝(b)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。电脑屏幕上的所有颜色，都由这红色绿色蓝色三种色光按照不同的比例混合而成的。一组红色绿色蓝色就是一个最小的显示单位。屏幕上的任何一个颜色都可以由一组rgb值来记录和表达。因此这红色绿色蓝色又称为三原色光，用英文表示就是r(red)、g(green)、b(blue)。在电脑中，rgb的所谓“多少”就是指亮度，并使用整数来表示。通常情况下，rgb各有256级亮度，用数字表示为从0、1、2…直到255。因此，在本发明的具体实施例中，可以采用现有技术获取第一视频图像对应的rgb色彩空间。

步骤102b、将rgb色彩空间转换为yuv色彩空间。

在现有技术中，视频编码都是基于yuv色系，yuv是被欧洲电视系统所采用的一种颜色编码方法，它是pal和secam模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色ccd摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到rgb，再经过矩阵变换电路得到亮度信号y和两个色差信号b－y(即u)、r－y(即v)，最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的yuv色彩空间表示。

对于数字视频，定义了从rgb到两个主要yuv的转换。这两个转换都基于称为itu-rrecommendationbt.709的规范。第一个转换是bt.709中定义用于50-hz的较早的yuv格式；第二个转换为bt.709中定义用于60-hz的较新yuv格式，应该被视为用于高于sdtv的视频分辨率的首选格式。

步骤102c、根据yuv色彩空间将第一视频图像转换为第二视频图像。

在现有技术中，jpeg是我们最常用的图片格式之一，而它进行压缩的第一步就是将色彩空间转化为yuv，第二步是将整副图拆成一个个16x16或者8x8的宏块，然后对每个宏块的值进行dct变换，从而得到一个频域概念的数据块，第三步让数据块和量化表相乘，平时在用uiimagejpegrepresentation中第二个代表压缩率的参数就是作用在量化表的选择上，这三步是最关键的压缩步骤，在h.264编码过程也会涉及到。h.264是一种视频编码标准，h264标准各主要部分有accessunitdelimiter(访问单元分割符)，sei(附加增强信息)，primarycodedpicture(基本图像编码)，redundantcodedpicture(冗余图像编码)。还有instantaneousdecodingrefresh(idr，即时解码刷新)、hypotheticalreferencedecoder(hrd，假想参考解码)、hypotheticalstreamscheduler(hss，假想码流调度器)。实际上，h.264并没有说不能编码带透明通道的图像组。在本发明的具体实施例中，在将rgb色彩空间转换为yuv色彩空间之后，可以根据yuv色彩空间将第一视频图像转换为第二视频图像。

根据上述的分析可知，通过上述的步骤102a-102c，可以将第一视频图像转换为第二视频图像，从而可以将第一视频图像和第二视频图像合成为目标视频图像。这样不仅能够改善mp4格式的视频图像的处理效果，而且还可以降低mp4格式的视频图像的传输复杂度

步骤103、将第一视频图像和第二视频图像合成为目标视频图像。

在本发明的具体实施例中，在将第一视频图像转换为第二视频图像之后，可以将将第一视频图像和第二视频图像合成为目标视频图像。图3为本发明实施例中将第一视频图像和第二视频图像合成为目标视频图像的实现方法流程示意图。如图3所示，将第一视频图像和第二视频图像合成为目标视频图像的方法可以包括以下步骤：

步骤103a、将rgb色彩空间和yuv色彩空间均转换为nv色彩空间。

在本发明的具体实施例中，由于硬解码只支持一种格式nv12，因此，需要将rgb色彩空间和yuv色彩空间均转换为nv色彩空间。它和yuv420p非常类似，都是y:u:v＝4:1:1，也就是4个y共用一个u和一个v。不同的是yuv420p三个分量都是平面模式存储，而nv12的y是平面模式，uv交叉存储。

步骤103b、根据各个nv色彩空间将第一视频图像和第二视频图像进行解码。

在本发明的具体实施例中，h.264码流是一个个nalu，nalu头有两个格式0x00000001和0x000001，紧挨着nalu头的一个字节是nalutype，当type为7时，是sps(序列参数集)，type为8是pps(图像参数集)，type为5是idr(i帧)，type为1是non-idr(b帧或者p帧)。用硬解码得到数据帧前，需要先获取sps和pps来创建一个vtdecompressionsession，再用session对type＝(5||1)的数据进行解码，最后得到一个cvpixelbuffer，每一组gop解帧前都要重新创建session。

步骤103c、将解码后的第一视频图像和解码后的第二视频图像合成为目标视频图像。

在本发明的具体实施例中，在将第一视频图像和第二视频图像进行解码之后，可以将解码后的第一视频图像和解码后的第二视频图像合成为目标视频图像。较佳地，在本发明的具体实施例中，还可以先将解码后的第一视频图像和解码后的第二视频图像进行opengl渲染，然后将渲染后的第一视频图像和第二视频图像合成为所述目标视频图像。具体地，渲染部分可以利用opengl。解码后的cvpixelbuffer通过cvopenglestexture得到包含y+alpha数据的纹理1和uv数据的纹理2，最后在片元着色器，也就是gpu上完成alpha值的提取(纹理1的上半部分是y，下半部分是alpha)。

本发明实施例提出的视频图像的处理方法，当接收到用户通过移动终端的触摸屏发送的操作指令时，先获取第一通道对应的第一视频图像，然后将第一视频图像转换为第二通道对应的第二视频图像，最后将第一视频图像和第二视频图像合成为目标视频图像。也就是说，在本发明实施例的技术方案中，可以将第一通道对应的第一视频图像转换为第二通道对应的第二视频图像，然后将第一视频图像和第二视频图像合成为目标视频图像。而在现有技术中，无法根据第一视频图像和第二视频图像合成目标视频图像，即无法结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合。因此，和现有技术相比，本发明实施例提出的视频图像的处理方法，可以结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合，这样不仅能够改善mp4格式的视频图像的处理效果，而且还可以降低mp4格式的视频图像的传输复杂度；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

图4为本发明实施例中移动终端的第一组成结构示意图。如图4所示，所述移动终端包括：获取单元401、转换单元402和合成单元403；其中，

所述获取单元401，用于当接收到用户通过所述移动终端的触摸屏发送的操作指令时，获取第一通道对应的第一视频图像；其中，所述操作指令包括：点击操作指令和滑动操作指令；

所述转换单元402，用于将所述第一视频图像转换为第二通道对应的第二视频图像；其中，所述第一视频图像和所述第二视频图像均为动态图像专家组mpeg-4格式的视频图像；

所述合成单元403，用于将所述第一视频图像和第二视频图像合成为目标视频图像。

进一步的，所述第一通道为：红绿蓝rbg通道；所述第二通道为：透明通道。

图5为本发明实施例中移动终端的第二组成结构示意图。如图5所示，所述转换单元402包括：获取子单元4021和第一转换子单元4022；其中，

所述获取子单元4021，用于获取所述第一视频图像对应的rgb色彩空间；

所述第一转换子单元4022，用于将所述rgb色彩空间转换为yuv色彩空间；根据所述yuv色彩空间将所述第一视频图像转换为第二视频图像。

进一步的，所述合成单元403包括：第二转换子单元4031、解码子单元4032和合成子单元4033；其中，

所述第二转换子单元4031，用于将所述rgb色彩空间和所述yuv色彩空间均转换为nv色彩空间；

所述解码子单元4032，用于根据各个nv色彩空间将所述第一视频图像和所述第二视频图像进行解码；

所述合成子单元4033，用于将解码后的第一视频图像和解码后的第二视频图像合成为所述目标视频图像。

进一步的，所述合成子单元4033，具体用于将解码后的第一视频图像和解码后的第二视频图像进行opengl渲染；将渲染后的第一视频图像和第二视频图像合成为所述目标视频图像。

本发明实施例提出的移动终端，当接收到用户通过移动终端的触摸屏发送的操作指令时，先获取第一通道对应的第一视频图像，然后将第一视频图像转换为第二通道对应的第二视频图像，最后将第一视频图像和第二视频图像合成为目标视频图像。也就是说，在本发明实施例的技术方案中，可以将第一通道对应的第一视频图像转换为第二通道对应的第二视频图像，然后将第一视频图像和第二视频图像合成为目标视频图像。而在现有技术中，无法根据第一视频图像和第二视频图像合成目标视频图像，即无法结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合。因此，和现有技术相比，本发明实施例提出的移动终端，可以结合mp4的视频图像的rbg通道和透明通道将mp4的视频图像进行特效融合，这样不仅能够改善mp4格式的视频图像的处理效果，而且还可以降低mp4格式的视频图像的传输复杂度；并且，本发明实施例的技术方案实现简单方便、便于普及，适用范围更广。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。