一种桌面共享音频方法及系统的制作方法_4

文档序号:9420607阅读:来源:国知局
图像进行对应的客户端桌面区域共享。
[0142]视频解码模块425,被配置为对视频编码数据包进行解码获取视频图像;
[0143]视频裁剪模块426,被配置为对视频图像根据位置参数进行裁剪为对应的显示区域,视频裁剪模块426,具体被配置为将解码后的视频图像根据至少一个位置参数进行裁剪为对应的显示区域;
[0144]区域显示模块427,被配置为对裁剪后的视频图像对应的显示区域进行桌面区域共享。
[0145]本实施例中,通过取当前整个桌面的所有应用程序窗口,并确定包含有音频数据的应用程序窗口,实现了将应用程序窗口与其播放的声音一一对应,解决了目前由于用户电脑桌面可能多个应用程序播放音频,无法分开单独获取合成各应用程序声音,且当共享应用程序窗口视频图像的同时共享音频,会将全部系统声音共享给目标用户,而导致的目标用户将会收到非观看窗口播放声音的干扰的技术问题,同时,对显示区域中包括至少2个应用程序窗口的音频数据进行混音处理,实现了多个应用程序窗口的音频不干扰的有益效果,同时,通过先同时获取用户选择一个或多个共享区域的位置参数,将视频压缩数据和一个或多个区域位置参数一起发往目标客户。在目标机上对解码桌面视频,依据区域位置参数裁剪出一个或多个视频图像区域用于显示,解决了目前由于应用程序窗口的共享方法是在源端(或者共享端)将应用程序窗口视频图像从桌面区域中裁剪出来后,经过视频图像编码压缩后发送给目标用户,使得用户在改变窗口过程中视频编码器需要频繁初始化,不仅影响视频传输的流程,以及造成的视频播放停顿,影响目标用户观看的流畅性的技术问题。
[0146]为了便于理解,下面以一具体应用场景对本发明实施例的桌面共享音频系统进行详细的描述,请参阅图5,应用例包括:
[0147]用户A客户端、目标用户D目标服务端、目标用户C目标服务端、目标用户B目标服务端;
[0148]win7及以上系统电脑桌面静态显示区域I中,无应用程序窗口 ;静态显示区域2中,有3个应用程序窗口,其中窗口 I和2播放声音;动态显示区域3(即窗口 4),有窗口 4播放声音。用户A希望将电脑显示器桌面中显示区域I共享给目标用户D观看,将显示区域2和3同时共享给用户C收听/观看,将窗口 4 (显示区域3)共享给目标用户B收听/观看。应用程序窗口 5播放声音,没有被共享。
[0149]用户A客户端:
[0150](I)位置参数获取模块,获取用户A选定3个共享区域1/2/3的位置参数1/2/3 (例如,参数集包括显示区域各顶点在桌面的坐标及宽高等)。并将位置参数1/2/3送到音频检测模块。
[0151](2)音频检测模块,首先枚举当前所有窗口 1/2/3/4/5,获取它们的位置参数,然后与区域位置参数1/2/3进行比较得到:
[0152](2.1)显示区域1,无应用程序窗口 ;
[0153](2.2)显示区域2,存在应用程序窗口 1/2/3 ;
[0154](2.3)显示区域3,存在应用程序窗口 4。
[0155]接着获取应用程序窗口 1/2/3/4名称,与系统音量合成管理器中各声道名称比较,可得到窗口 1/2/4播放声音。将显示区域2中存在窗口 1/2播放声音、显示区域3(窗口 4)播放声音的结果,分别送到音频抓取模块和配对决策模块。
[0156](3)桌面截屏模块,截取用户A的整个显示器桌面视频后,送到视频压缩模块进行编码压缩,然后压缩数据送到配对决策模块。
[0157](4)音频抓取模块,根据(2)检测结果,分别从声卡中抓取窗口 1/2/4的声音,并将3组音频数据送入混音模块。
[0158](5)混音模块,对显示区域2中的窗口 1/2的播放2组音频数据混音得到显示区域2播放的声音;显示区域只有窗口 3播放声音,不进行混音处理。然后将显示区域2/3播放的2组声音送到音频压缩模块进行编码压缩处理后,再将它们送到配对决策模块。
[0159](6)配对决策模块:
[0160](6.1)依据步骤(2)的音频检测匹配结果,区域音频/位置参数集I中音频标志位为空,对区域音频/位置参数集2/3中音频标志位进行标识;
[0161](6.2)将区域音频/位置参数集2/3,分别与对应区域播放音频压缩数据进行绑定。依据用户A将显示区域3共享给目标用户B,将区域3的音频压缩数据与区域音频/位置参数集3 —起通过网络模块发送给目标用户B ;依据用户A将显示区域2共享给目标用户C,将区域2的音频压缩数据与区域音频/位置参数集2 —起通过网络模块发送给目标用户C ;依据用户A将显示区域I共享给目标用户D,显示区域I无音频播放,不发送任何音频数据给目标用户D。
[0162](6.3)依据用户A将显示区域3共享给目标用户B,将桌面视频压缩数据和区域音频/位置参数集3 —起发送给目标用户B ;依据用户A将显示区域1/2共享给目标用户B,将桌面视频压缩数据和区域音频/位置参数集1/2 —起发送给目标用户B ;依据用户A将显示区域I共享给目标用户D,将桌面视频压缩数据和区域音频/位置参数集I 一起发送给目标用户D。
[0163]目标用户D目标服务端:
[0164](7)网络接收模块接收到目标用户A发来的数据包后,送到类型解析模块进行处理。
[0165](8)类型解析模块,解析网络数据包为桌面视频压缩数据和区位音频/位置参数集I,后送到视频解码模块进行解码。
[0166](9)视频解码模块,解码后得到桌面视频数据,并将解码后的桌面视频数据和区位音频/位置参数集I送到视频裁剪模块。
[0167](10)视频裁剪模块,依据区位音频/位置参数集I中位置参数裁剪出用户A桌面的显示区域I。然后将它们送入音/视频配对模块。
[0168](11)音视频配对模块,检测到音频/位置参数集I中音频标志位为空后,直接将共享区域I的视频数据送到区域显示模块播放给目标用户D观看,即进行桌面区域共享。
[0169]目标用户C目标服务端:
[0170](12)网络接收模块接收到目标用户A发来的数据包后,送到类型解析模块进行处理。
[0171](13)类型解析模块,若解析网络数据包为桌面视频压缩数据和区位音频/位置参数集1/2,则送到视频解码模块进行解码;若解析为音频压缩数据和区位音频/位置参数集2,则送到音频解码模块进行解码。
[0172](14)视频解码模块,解码后得到桌面视频数据,并将解码后的桌面视频数据和区位音频/位置参数集1/2送到视频裁剪模块。
[0173](15)视频裁剪模块,依据区位音频/位置参数集1/2中位置参数1/2裁剪出用户A桌面的显示区域1/2。然后将它们送入音/视频配对模块。
[0174](16)音频解码模块,解码后得到显示区域2播放的一组音频数据,然后送到音/视频配对模块。
[0175](17)音视频配对模块,检测到音频/位置参数集I中音频标志位为空后,直接将共享区域I的视频数据送到音/视频播放模块;检测到区域音频/位置参数集2中音频标志位已被标识后,依据视频和音频的区域音频/位置参数集相同,将它们匹配在一起后,送到音/视频播放模块。
[0176](18)区域显示模块,依据目标用户C的选择,或者播放显示区域I视频,或者播放显示区域2的音/视频,或者同时播放显示区域I的视频和显示区域2的音/视频。
[0177]目标用户B目标服务端:
[0178](19)网络接收模块接收到目标用户A发来的数据包后,送到类型解析模块进行处理。
[0179](20)类型解析模块,若解析网络数据包为桌面视频压缩数据和区位音频/位置参数集3,则送到视频解码模块进行解码;若解析为音频压缩数据和区位音频/位置参数集3,则送到音频解码模块进行解码。
[0180](21)视频解码模块,解码后得到桌面视频数据,并将解码后的桌面视频数据和区位音频/位置参数集3送到视频裁剪模块。
[0181](22)视频裁剪模块,依据区位音频/位置参数集3中位置参数3裁剪出用户A桌面的显示区域3 (应用程序窗口 4)。然后将它们送入音/视频配对模块。
[0182](23)音频解码模块,解码后得到显示区域3 (应用程序窗口 4)播放的一组音频数据,然后送到音/视频配对模块。
[0183](24)音视频配对模块,检测到区域音频/位置参数集3中音频标志位已被标识后,依据视频和音频的区域音频/位置参数集相同,将它们匹配在一起后,送到区域显示模块播放,即进行桌面区域共享。
[0184]本应用例中,用户A在以上共享过程中,慢慢移动或放大窗口 4,即显示区域3移动或扩大共享范围,只是将区域的位置参数发送到目标用户的目标服务端对桌面视频做重新裁剪,不改变音/视频编码器参数,不需中断正常处理的流程,从而影响用户正常的观看/收听。
[0185]所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
[0186]在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1