多媒体数据复合法及安卓系统中播放动图的视频播放器的制造方法
【技术领域】
[0001]示范性实施方式涉及一种将多媒体数据复合的方法及用于播放运动图片的视频播放器；更具体地，涉及一种在移动系统中将多媒体数据，诸如运动图片和图像数据，复合的方法及用于在安卓(android)移动系统中播放包含所述复合多媒体数据的运动图片的安卓视频播放器。
【背景技术】
[0002]近来，由于运输和通信技术的高度发展，在特定的局部地区和地点生产和消费的局部文化产品在全球范围内散布和消费，已经具有日渐增长趋势。特别是，近来信息和通信技术的令人^(异的发展使具有高音频/视频性能的个人移动设备(诸如智能手机和平板电脑)能够在全球范围内使用无论是哪个国家和洲，这使得文化产品不论时间和地点在全球范围内快速地散布和消费。结果，文化产品的市场容量超越各国边界以指数的方式增加。
[0003]具有音频和视频内容的文化产品(诸如电影、电视剧和音乐)往往是通过消费者的情感和感受而消费，因此许多消费者无论他们所处的地理位置均可以共享在文化产品媒体中的相同感受。文化产品的热心消费者往往组成他们自己的团体(诸如歌迷俱乐部)并且参与和他们自己共享的文化产品有关的各种在线和离线活动，这可产生与文化产品有关的伴生市场。例如，可从电影、音乐和电视剧衍生出时装、旅游、配饰和人物的市场。
[0004]然而，从消费者的观点来看，时装、旅游、配饰和人物(被称为第二文化内容)的伴生产品通常与电影、电视剧和音乐(被称为第一文化内容)的关系较弱。
[0005]例如，流行电影和戏剧的主题歌可容易地通过以数字多媒体数据形式从在线互联网站下载音乐而在消费者自己的个人移动设备中消费。然而，流行电影和戏剧的拍摄场地可以通过高成本的旅游而主动和直接地感受，或者可以仅通过拍摄场地的图像和运动图片而被动和间接地感受，这些图像中的大部分是由第一文化内容的供应商所提供。亦即，从消费者个人观点来看，拍摄场地与主题歌并不是相互束缚的并且可以被消费者单独地消费。
[0006]预期上述个人旅游到拍摄场地与主题歌个人下载之间的分离消费会加强，因为这些文化产品是在全球范围内被散布和消费。主题歌可以仅通过经由个人互联网下载到个人移动设备中而容易地以低价被消费，无论消费者在哪个国家。然而，旅游到拍摄场地会受到非常严格的限制，例如国际旅游的高成本和长时间。由于这些原因，消费者通常仅购买第一文化产品或者由文化产品供应商所提供第一文化产品与第二文化产品的简单组合，并且不能享受第一文化产品与第二文化产品的个人和情感组合。例如，当韩国电视剧的消费者旅游到韩国的拍摄场地时，在韩国拍摄场的个人感受难以单独地与在其个人移动设备中的电视剧组合。
[0007]因此，已提出用于在虚拟空间(诸如个人计算机和移动设备)中将第一与第二文化产品的多媒体数据加以复合的各种方案。例如，个人在个人电脑中通过使用常规图形程序用拍摄场地的图像代替主题歌音乐视频的背景图像。作为另一个例子，在消费者自己的个人电脑中，也可将音乐视频的演唱者与消费者的个人图像加以复合。
[0008]然而，大部分所提供的文化产品是为了个人娱乐本身，因此不允许任何复制(诸如其转换)或复合。因此，个人复合运动图片是相当粗糙的且质量差，这不足以促进文化产品的消费。
[0009]另外，由于安卓操作系统可访问的硬件资源和编解码器程序的限制，多种复合多媒体数据难以在安卓移动设备中显示。特别是，因为编解码器程序依赖于各移动设备的操作系统，所以复合多媒体数据并不始终由移动设备的内部视频播放器所显示。
[0010]由于这些原因，多媒体数据的个人复合受到移动设备的操作系统和硬件资源的限制。特别是，即使是安卓操作系统，其编程源与其编程源处在供应商APPLE强力控制下的封闭操作系统1S相比是相对开放的，并且可以自由地接入各种程序，也因为编解码器程序的软件问题而不能充分地允许多媒体数据的复合和复合多媒体数据在安卓移动设备中的显示。例如，衍生文化内容(诸如色键运动图片)和衍生文化内容与第二文化内容的复合运动图片不能显示在本发明的安卓移动显示器中。
[0011]因此，对于可容易地将多媒体数据加以复合并且充分地显示复合多媒体数据的改进的安卓移动设备现已存在需求。
【发明内容】
[0012]本发明的示范性实施方式提供一种在安卓移动设备中将多媒体数据加以复合的方法。
[0013]本发明的其他示范性实施方式提供一种用于操控包含在安卓移动设备中的复合多媒体数据的运动图片的视频播放器。
[0014]根据一些示范性实施方式，提供一种在安卓移动设备中将多媒体数据加以复合的方法。从存储在由安卓操作系统操作的安卓移动设备中的一组多媒体数字数据中选出第一数据和第二数据。通过处理第一和第二数据而生成第一视频数据、第二视频数据、第一音频数据、和第二音频数据，并且将第一视频数据与第二视频数据复合由此形成复合视频数据。从第一音频数据、第二音频数据、以及包含第一和第二音频数据的至少一种数据的混合数据的一种中选出复合音频数据。使复合视频数据与复合音频数据同步，由此形成复合多媒体数据。
[0015]在一个TJK范性实施方式中，以如下方式选出第一数据和第二数据:在安卓移动设备的显示器上激活控制图标，并且在列出多媒体数字数据的显示器屏幕上进行触摸。
[0016]在一个示范性实施方式中，以如下方式生成第一视频数据、第二视频数据、第一音频数据、和第二音频数据:分别从第一数据和第二数据中分离出视频数据和音频数据，由此根据第一和第二数据各自的格式类型生成第一和第二经分离的视频数据及第一和第二经分离的音频数据。然后，从第一和第二经分离的视频数据生成第一和第二视频像素数据。利用色键技术处理第一和第二视频像素数据，由此将第一视频像素数据转换成第一视频数据作为背景去除视频数据并且将第二视频像素数据转换成第二视频数据作为背景视频数据。从第一和第二经分离的音频数据生成第一和第二音频脉冲编码调制(PCM)数据。
[0017]在一个示范性实施方式中，以如下方式利用色键技术处理第一和第二视频像素数据:在移动设备中设定第一色键值。然后，使第一视频像素数据的颜色通道与对应于第一色键值的第一阿尔法通道相关联，使得一部分的第一视频像素数据具有透明颜色并且将剩余部分的第一视频像素数据形成为背景去除视频数据。在移动设备中设定第二色键值。然后，使第二视频像素数据的颜色通道与对应于第二色键值的第二阿尔法通道相关联，使得一部分的第二视频像素数据具有透明颜色并且将第二视频像素数据形成为背景视频数据。
[0018]在一个示范性实施方式中，第一视频像素数据和第二视频像素数据具有相同的像素大小和帧尺寸，并且第一阿尔法通道与第二阿尔法通道为互补关系。
[0019]在一个示范性实施方式中，由是FFmpeg的库程序中的一个的imagemux程序来执行第一视频数据和第二视频数据。
[0020]在一个示范性实施方式中，第一数据包含由文化产品供应商生成的电影、电视剧和音乐的数字文件，并且第二数据包含由移动设备用户个人生成的运动图片和图像的数字文件。
[0021]在一个示范性实施方式中，第一数据包括由文化产品供应商生成的电影、电视剧和音乐的数字文件，并且第二数据包含由移动设备用户个人生成电影、电视剧和音乐的数字文件。
[0022]根据一些示范性实施方式，提供一种用于在由安卓操作系统(OS)所操作的移动设备中播放运动图片的视频播放器。该视频播放器包括:控制单元，作为开源多媒体控制程序的FFmpeg程序通过安卓本地开发工具包(NDK)接入所述控制单元，该控制单元控制安卓移动设备的硬件资源由此播放运动图片；将运动图片分离成音频源数据和视频源数据并单独地存储音频源数据和视频源数据的数据存储单元；将音频源数据和视频源数据转换成音频脉冲模式调制(PCM)数据和视频像素数据的解码单元；连接到解码单元并且响应于控制单元的声音产生信号而使用java编程语言的Aud1Track类从音频PCM数据产生声音的声音产生单元；和连接到解码单元并且响应于控制单元的图像产生信号而通过采用图形标准应用编程接口(API)从视频像素数据产生图像的图像产生单元，该图形标准应用编程接口(API)经过GLUE例程连接到安卓操作系统。
[0023]在一个示范性实施方式中，数据存储单元包括音频包队列和视频包队列:其中音频源数据以预定的音频包按时间顺序存储至所述音频包队列，且视频源数据以预定的视频包按时间顺序存储至视频包队列；并且解码单元包括:连接到音频包队列并且将音频源数据解码成音频PCM数据的音频解码器、和连接到视频包队列并且将视频源数据解码成视频像素数据的视频解码器。
[0024]在一个示范性实施方式中，数据存储单元还包括通过使用是FFmpeg的库程序的一个的Iibavformat程序来检测运动图片的声音和图像信号的格式类型的源阅读器；并且解码单元还包括存储作为FFmpeg的库程序的编解码器程序的编解码库。
[0025]在一个示范性实施方式中，声音产生单元包括:具有响应于声音产生信号而调用Aud1Track类的第一函数调用部的PCM数据传输器,通过使用Aud1Track类利用该PCM数据传输器从音频解码器中连续且顺序地传输音频PCM数据；和具有用于调用利用安卓本地开发工具包(NDK)的java本地接口(JNI)而接入移动设备的硬件驱动模块的第二函数调用部的第一硬件驱动器，该第一硬件驱动器通过使用硬件驱动模块而驱动用于声音的硬件资源由此根据音频PCM数据产生声音。
[0026]在一个示范性实施方式中，音频解码器处于以java线程的形式由控制单元激活的状态，从而在播放运动图片时将音频源数据连续地转换成音频PCM数据。
[0027]在一个示范性实施方式中，图像产生单元包括:连接到视频解码器并且从视频解码器中顺序地将视频像素数据所传输到的视频图片队列；响应于图像产生信号而产生用于激活图形标准API的API信号的视频刷新器；和响应于API信号而从视频图片队列中接收视频像素数据并且通过利用图形标准API中的数据处理步骤来处理视频像素数据由此根据视频像素数据产生图像的像素数据处理器。
[0028]在一个示范性实施方式中，像素数据处理器包括:具有响应于API信号而调用OpenGL模块的GLSur f ac e V i ew类的第三函数调用部的像素数据请求,该Op enGL模块是图形标准API中的库模块中的一个；像素数据请求激活GLSurfaceView类从而按时间顺序从视频图片队列中连续地传输视频像素数据；和处理由GLSurfaceView类所传输的视频像素数据并且在移动设备显示器上产生图像的第二硬件驱动器。
[0029]在一个示范性实施方式中，像素数据处理器还包括用于将视频像素数据帧尺寸控制成等于视频源数据的帧尺寸以便在显示器上生成具有视频源数据的帧尺寸的图像的帧控制模块。
[0030]在一个示范性实施方式中，图形标准API包含是用于嵌入系统的OpenGL的改良版本的OpenGL ES，并且帧控制模块具有用于调用OpenGL ES的纹理映射类的第四函数调用部。
[003