一种应用于手机平台的视频处理装置及处理方法与流程

本发明涉及视频处理领域，尤其涉及一种应用于手机平台的视频处理装置及处理方法。

背景技术：
今年来，移动通信由于其突出的个人性和便捷性而取得飞速发展，我国已成为世界上手机用户超过固定电话用户的国家之一，同时，手机的用户数量的发展速度稳定保持在30％以上，这就意味着该领域具有巨大的市场。另一方面，在手机日益普及的同时，其功能也随着人们要求的多元化而日益强大，例如手机内部的媒体播放器能支持多格式的音频、图片和视频格式，以满足人们对个性化以及高品质视听感觉的追求，另外，手机的拍摄视频，然后根据自己的需要进行制作个性化视频也逐渐的流行。传统的手机拍摄视频时，需要前期对视频进行采集，然后通过后期进行处理，首先这种方案的缺点是其无法在拍摄时对需要进行特效处理的视频进行实时所见所得，其次在后期处理的时候，手机端往往采用cpu进行统一处理，而其他的部件，例如DSP，GPU处于空闲，因此处理速度较慢。

技术实现要素：
针对上述技术缺陷，本发明提出一种应用于手机平台的视频处理装置及处理方法。为了解决该技术问题，本发明的技术方案如下：一种应用于手机平台的视频处理装置，包括视频获取模块、视频压缩编码模块、特效叠加装置、显示模块、记录模块和存储模块；所述视频获取模块用于获取视频数据；所述特效叠加装置用于将设置的特效叠加在所述视频数据中；所述显示模块用于对特效叠加的视频数据进行显示；所述视频压缩编码模块用于对需要录制的视频数据进行压缩编码；所述存储模块用于对经过压缩编码后的视频数据进行存储；所述记录模块用于记录对视频数据的操作并生成配置文件。进一步的，还包括视频解码模块、视频解码缓冲模块和渲染模块；所述视频解码模块用于对存储模块存储的视频数据进行解码；所述视频解码缓冲模块用于将解码后的视频数据进行暂存；所述渲染模块用于从所述视频解码缓冲模块读取视频数据，并根据所述配置文件或额外的特效渲染操作，对视频数据进行渲染处理；所述显示模块还用于对经过渲染的视频数据进行显示。进一步的，还包括视频编码缓冲模块，所述视频编码缓冲模块用于接收从所述渲染模块传输的经过渲染的视频数据并进行暂存；所述视频压缩编码模块还用于对所述视频编码缓冲模块暂存的数据进行压缩编码。一种应用于手机平台的视频处理方法，包括视频拍摄步骤，所述视频拍摄步骤包括如下步骤：41)通过摄像头采集视频数据，显示模块对采集的视频数据进行实时显示；42)设置特效操作，将特效叠加到视频数据中，显示模块对叠加特效的视频数据进行实时显示；43)进行录制操作，选择需要录制的视频数据，对视频进行录制并对需要录制的视频数据进行压缩编码并进行存储，录制的视频数据包括摄像头采集的视频数据或经过叠加特效的视频数据；44)对特效操作和录制操作进行记录，生成操作记录文件。进一步的，还包括视频预览步骤，所述视频预览步骤包括如下步骤：51)提取存储的视频数据，对视频源文件进行解析；52)利用手机上的解码DSP对视频源文件进行硬件解码，将解码后的数据传输至视频解码输出缓冲队列中；53)读取操作记录文件，提取其中的特效信息，并根据需要对特效信息进行添加或者修改，从而形成渲染数据；53)手机GPU读取渲染数据，并读取视频解码输出缓冲队列中的解码的视频数据，对解码的视频数据进行渲染处理，并通过显示模块对经过渲染的视频数据进行实时显示；54)手机CPU对整体处理的时钟进行控制，调整解码DSP的解码速率和渲染处理的速率。进一步的，还包括所述视频导出步骤，所述视频导出步骤包括如下步骤：61)提取存储的视频数据，对视频源文件进行解析；62)利用手机上的解码DSP对视频源文件进行硬件解码，将解码后的数据传输至视频解码输出缓冲队列中；63)读取操作记录文件，提取其中的特效信息，并根据需要对特效信息进行添加或者修改，从而形成渲染数据；64)手机GPU读取渲染数据，并读取视频解码输出缓冲队列中的解码的视频数据，对解码的视频数据进行渲染处理；65)将经过渲染的视频数据暂存至视频编码输入缓冲队列中，然后手机编码DSP读取视频编码输入缓冲队列中的视频数据进行视频硬件编码；66)手机CPU对经过编码后的视频数据进行合成形成视频目标文件；67)手机CPU对整体处理的时钟进行控制，调整解码DSP的解码速率、渲染处理的速率及比编码DSP的编码速率。本发明的有益效果在于：相比传统手机拍摄视频，本发明可以在正式录制前进行特效的实时预览，从而选择自己需要后期制作的视频素材，通过这样的设计，方便操作人员实时根据外部环境和自己的灵感采集素材，另外对于特效的操作进行记录，实现后期制作特效时的参考数据，对于拍摄的视频源文件，通过综合利用手机的硬件资源，进行分配并行处理，并采用缓冲机制，来协调同步时数据的处理速率问题，加快了手机处理视频的速度。附图说明图1为本发明拍摄处理的流程图；图2为现有技术中的视频预览流程图；图3为本发明的视频预览处理流程图；图4为现有技术中的视频导出流程图；图5为本发明的视频导出处理流程图。具体实施方式下面将结合附图和具体实施例对本发明做进一步的说明。本发明采用的智能手机可采用传统的智能手机，即包括摄像头，用于采集视频数据；解码DSP用于对存储的视频源文件进行解码操作；编码DSP用于对视频数据进行编码操作，存储部，用于存储视频源文件；CPU，用于对各个部件进行整体控制和协调工作，GPU，用于对视频数据进行特效渲染处理；显示屏，提供视频数据以及操作界面的显示；以上的硬件部分以及其连接方式跟现有的智能手机一致，然而本发明的要点就是基于现有的智能手机的硬件，充分利用其硬件资源，从而解决现有技术的缺陷，实现本发明的目的。如图1所示，操作者打开摄像头，摄像头进行初始化后进行采集视频数据，显示屏对摄像头采集的视频数据进行实时显示，操作者根据所录制的视频数据素材，在显示屏进行触摸操作，控制摄像头进行录制和暂定的操作，另外，如果操作者设定特效设置，例如采用滤镜效果、边框合成效果、文字合成效果，显示屏根据操作者的设置，将这些特效叠加在采集的视频数据中，从而实时在显示屏对这些效果进行实时显示，这时，如果操作者认为某一特效和外界环境配合富有美感，则可通过显示屏进行录制操作，此时系统对摄像头采集的视频数据进行编码压缩，而对于这项特效的操作，系统对特效的参数进行记录，记录的参数包括录制的开始时间和截止时间、某一段录制时间内的特效参数等。由于上述操作不需要对视频数据进行渲染处理操作，因此其处理的速度相对较快，而且能实现对添加特效的效果实时显示，方便操作者选择对适合的特效进行未来的视频加工处理。如图2所示，传统的智能手机的视频预览方案，在视频数据进行存储后，系统读取存储的视频源文件，对该视频源文件进行解析，然后进行软件解码后进行编辑操作，最后将编辑后的视频数据显示在显示屏中，在此过程中，全部由cpu负责完成，而编解码DSP、GPU均处于空闲阶段，这样的操作流程其浪费了现有的硬件资源，而且处理速度较慢。如图3所示，本发明对视频浏览处理进行了改进，首先跟传统的步骤一样提取存储的视频数据，对视频源文件进行解析；然后将解析后的视频数据发送至手机上的解码DSP对视频源文件进行硬件解码，将解码后的数据传输至视频解码输出缓冲队列中；该视频解码输出缓冲队列用于协调后续渲染处理的速率，防止解码过快或者渲染过快导致的速率严重不平衡。系统读取操作记录文件，提取其中的特效信息，并根据需要对特效信息进行添加或者修改，从而形成渲染数据；手机GPU读取渲染数据，并读取视频解码输出缓冲队列中的解码的视频数据，对解码的视频数据进行渲染处理，并通过显示屏对经过渲染的视频数据进行实时显示，例如实时显示滤镜效果、边框合成效果、文字合成效果等，手机CPU对整体处理的时钟进行控制，调整解码DSP的解码速率和渲染处理的速率。如图4所示，传统的智能手机的视频导出方案，在视频数据进行存储后，系统读取存储的视频源文件，对该视频源文件进行解析，然后进行软件解码后进行渲染操作，然后进行软件编码后进行视频文件合成，从而导出需要格式的视频目标文件。在此过程中，全部由cpu负责完成，而编解码DSP、GPU均处于空闲阶段，这样的操作流程其浪费了现有的硬件资源，而且处理速度较慢。如图5所示，本发明对视频导出处理进行了改进，首先跟传统的步骤一样提取存储的视频数据，对视频源文件进行解析；然后将解析后的视频数据发送至手机上的解码DSP对视频源文件进行硬件解码，将解码后的数据传输至视频解码输出缓冲队列中；该视频解码输出缓冲队列用于协调后续渲染处理的速率，系统读取操作记录文件，提取其中的特效信息，并根据需要对特效信息进行添加或者修改，从而形成渲染数据；视频解码输出缓冲队列用于防止解码过快或者渲染过快导致的速率严重不平衡。系统读取操作记录文件，提取其中的特效信息，并根据需要对特效信息进行添加或者修改，从而形成渲染数据；手机GPU读取渲染数据，并读取视频解码输出缓冲队列中的解码的视频数据，对解码的视频数据进行渲染处理；系统将经过渲染的视频数据暂存至视频编码输入缓冲队列中，然后手机编码DSP读取视频编码输入缓冲队列中的视频数据进行视频硬件编码；所示视频编码输入缓冲队列用于平衡渲染的速率和后续编码的速率，防止编码过快或者渲染过快导致的速率严重不平衡，手机CPU对经过编码后的视频数据进行合成形成视频目标文件；手机CPU对整体处理的时钟进行控制，根据视频解码输出缓冲队列和视频编码输入缓冲队列输入和输出的视频数据的速率，调整解码DSP的解码速率、渲染处理的速率及比编码DSP的编码速率，从而从整体把控视频的处理速度。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。