直播视频流分镜显示控制方法及其相应的装置与流程

本发明涉及网络直播技术领域，更具体地，涉及一种直播视频流分镜显示控制方法及其相应的装置。

背景技术：

网络直播吸取和延续了互联网的优势，利用视讯方式进行网上现场直播，可以将产品展示、相关会议、背景介绍、方案测评、网上调查、对话访谈、在线培训等内容现场发布到互联网上，利用互联网的直观、快速，表现形式好、内容丰富、交互性强、地域不受限制、受众可划分等特点，加强活动现场的推广效果。

现有的技术方案中，直播间参与成员观看主播直播时一般只能看到一个完整的画面，当主播需要向参与成员展示所述完整画面中一个局部的细节或需要对局部的内容强调说明时，要将整个画面放大并将预览窗口锁定在所述需要展示的局部画面，以使参与成员可以看到或者注意到所述局部画面，但此时原始的完整画面无法显示，导致主播无法同时对照原始的完整画面解释或说明所述局部画面，直播间参与成员也会因为只看到所述局部画面而遗漏原始完整画面中的其他内容。

同时，对于直播间参与成员一端而言，如果所述完整的画面太大，受直播间用户界面限制会导致一些区域的画面细节展示不清晰，如果直播间用户需要了解局部的细节内容，需要通过放大画面后才能达到一定的展示效果，而在直播间接收到的数据往往是通过压缩后的原始视频数据，直接放大画面导致像素变低，画面模糊不清，不能满足用户的观看需求。

因此，有必要为相关技术难题的解决提供可供业内延伸发展的基础方案。

技术实现要素：

鉴于上述问题，本发明提出了一种直播视频流分镜显示控制方法及其装置，解决现有技术中，主播无法同时向直播间用户展示完整画面和局部细节的难题。

本发明第一方面提供一种直播视频流分镜显示控制方法，包括以下步骤：接收主播用户在其原始视频流预览窗口中对分镜区域的设定；获取该原始视频流中与所述分镜区域所占原始画幅尺寸相对应的图像部分；将该图像部分从原始画幅放大到预定画幅；将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流；将所述待推送视频流上传给服务器以推送给参与直播的成员用户。

优选的，所述接收主播用户在其原始视频流预览窗口中对分镜区域的设定包括：在所述预览窗口中显示原始视频流；接收主播用户作用在该预览窗口中的框选指令，确定该框选指令所框选的框体的几何尺寸及其相对于该预览窗口的相对位置关系；依据所述几何尺寸计算出该框体在所述原始视频流中的原始画幅尺寸，依据该相对位置关系定位出所述原始画幅尺寸所对应的原始视频流的图像部分，从而完成所述分镜区域的设定。

进一步，同一待推送视频流中包含多个所述的分镜区域。

优选的，所述将该图像部分从原始画幅放大到预定画幅的过程为：按照待推送视频流的预设默认画幅的分辨率，将所述图像部分处理为与前者相同分辨率，且符合预定尺寸大小，从而形成所述的预定画幅。

进一步，当所述原始视频流的图像部分的分辨率高于所述待推送视频流的预设默认画幅的分辨率时，若所述图像部分填充到预定尺寸时其分辨率高于前者，则对其进行图像压缩以匹配前者；若所述图像部分填充到预定尺寸时其分辨率低于前者，则对其进行数码放大以匹配前者。

进一步，所述将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流时，所述预定画幅的尺寸小于所述预设默认画幅的尺寸且大于所述图像部分的原始画幅尺寸，所述图像部分在待推送视频流中被合成为所述原始视频流的前景图像或邻接图像。

优选的，包括如下步骤：将所述待推送视频流输出到另一预览窗口中供主播用户进行视频预览。

优选的，包括如下步骤：接收主播用户对所述分镜区域的调整设定，同步所述待推送视频流中已合成的图像部分为所述分镜区域被调整后所对应的图像部分；或，以所述图像部分的图像特征动态跟踪该图像部分在其原始视频流的原始画幅中的位移而同步调整相应的分镜区域，使所述待推送视频流中已合成的图像部分保持基本一致。

进一步，包括如下步骤：接收主播用户删除所述分镜区域的删除指令，恢复所述待推送视频流的图像内容为所述原始视频流的图像内容。

本发明第二方面提供一种直播视频流分镜显示控制装置，包括：视频截取模块，用以接收主播用户在其原始视频流预览窗口中对分镜区域的设定，获取该原始视频流中与所述分镜区域所占原始画幅尺寸相对应的图像部分；视频放大模块，用以将该图像部分从原始画幅放大到预定画幅；视频合成模块，用以将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流；视频传输模块，用以将所述待推送视频流上传给服务器以推送给参与直播的成员用户。

相对于现有技术，基于本发明提供的方案，主要具有以下优点：

(1)通过将原始视频流中与分镜区域所占原始画幅尺寸相对应的图像部分放大到预定画幅，可以向直播间用户展示主播想要强调的局部细节。

(2)由于传输过程中对图像的压缩，原始画面像素高于参与成员接收的画面像素，先将所述图像部分的放大再传输，在原始画面中放大对参与成员接收的画面像素影响小，使参与成员接收到的放大画面清晰。

(3)将放大到预定画幅的图像部分与原始视频流合成为具有预设默认画幅的待推送视频流，使单路视频流同时传输原始画面和局部图像部分的放大画面，具有不增加传输带宽而增强直播展示内容的效果。

(4)通过主播创建和删除所述分镜区域，控制参与成员用户界面显示和关闭所述图像部分的放大画面，有利于整体操控。

本发明的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种实施例直播视频流分镜显示控制方法的流程图；

图2为本发明图1所述直播视频流分镜显示控制方法中S101步骤的一种实施例的流程图；

图3为本发明图1所述直播视频流分镜显示控制方法中S101步骤的另一种实施例的流程图；

图4为本发明应用所述直播视频流分镜显示控制方法的原始画面示意图；

图5为本发明一种实施例对图4所述原始画面进行直播视频流分镜显示控制的示意图；

图6为本发明另一种实施例对图4所述原始画面进行直播视频流分镜显示控制的示意图；

图7为本发明另一种实施例对图4所述原始画面进行直播视频流分镜显示控制的示意图；

图8为本发明另一种实施例对图4所述原始画面进行直播视频流分镜显示控制的示意图；

图9为本发明一种实施例直播视频流分镜显示控制装置的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

在本发明的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

在对本发明的实施例做出具体阐述之前，有必要先对本发明的应用场景及其原理进行如下的先导性说明。

互联网中，一般包括用户端(用户终端设备)、网络和服务器(如网站的Web服务器等)。其中用户端可以是用户的互联网终端设备，如台式机(PC)、膝上型计算机(Laptop),带有网页浏览功能的智能型设备，如个人数字助理(PersonalDigitalAssisstant,PDA)，以及移动互联网设备(Mobile Internet Device,MID)和智能手机(Phone)等。这些终端设备都可以在互联网环境中，典型的如英特网环境中，请求由另一进程(如服务器提供的进程)提供某项服务。服务器通常是可通过互联网等通信媒介，典型的如英特网访问的远程计算机系统。而且，服务器通常可以为来自互联网的多个用户端提供服务。提供服务过程包括接收用户端发来的请求，收集用户端情报和反馈信息等。实质上，服务器充当计算机网络的信息提供者这一角色。服务器通常位于提供服务的一方，或由服务提供方配置以服务内容，这样的服务提供方可以如互联网服务公司的网站等。

在网络直播过程中，用户通过终端设备上的网络直播应用程序或相应的直播间站点进入网络直播间。在网络直播间内具有两种成员，分别是主播成员和参与成员。主播成员可进行唱歌、跳舞等直播表演，通过终端设备录制视频或音频文件，再上传至网络直播服务器，网络直播服务器再将该视频或音频文件发布至网络直播间，以供参与成员观看。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明第一方面提供一种直播视频流分镜显示控制方法，如图1，包括以下步骤：

步骤S101：接收主播用户在其原始视频流预览窗口中对分镜区域的设定；

步骤S102：获取该原始视频流中与所述分镜区域所占原始画幅尺寸相对应的图像部分；

步骤S103：将该图像部分从原始画幅放大到预定画幅；

步骤S104：将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流；

步骤S105：将所述待推送视频流上传给服务器以推送给参与直播的成员用户。

其中，

步骤S101中，所述原始视频流可以是摄像头拍摄的主播直播间实时画面的视频数据，也可以是从主播终端设备显存中获取的视频数据，经过处理后成为待推送视频流。例如摄像头拍摄的主播现场表演的画面或者从主播终端显存中获取的主播正在进行的游戏画面。

请参照图2，作为一种实施例，所述接收主播用户在其原始视频流预览窗口中对分镜区域的设定S101，可以包括以下步骤：

步骤S201，在所述预览窗口中显示原始视频流。通过主播终端播放系统在主播终端界面显示原始视频流的预览画面。

步骤S202，接收主播用户作用在该预览窗口中的框选指令，确定该框选指令所框选的框体的几何尺寸及其相对于该预览窗口的相对位置关系。所述框选指令是指主播用户通过鼠标或触摸屏等输入设备在主播终端界面发出的指令，所述框选的框体为在主播界面的预览窗口中框选出的图形区域；优选的，所述图形区域为规则几何图形，例如为圆形区域或矩形区域。所述确定框体的几何尺寸，即确定所述图形区域的尺寸；例如，当框选的图形为为圆，即确定其半径或直径，当框选的图形为矩形，即确定其边长。所述确定其相对于该预览窗口的相对位置关系，即确定所述图形区域在预览窗口中的坐标等位置数据；例如，当框选的图形为为圆，根据系统设置可以选择确定其圆心或一个象限点在预览窗口中的坐标，当框选的图形为矩形，根据系统设置可以选择确定任意一个角点在预览窗口中的坐标。

步骤S203，依据所述几何尺寸计算出该框体在所述原始视频流中的原始画幅尺寸，依据该相对位置关系定位出所述原始画幅尺寸所对应的原始视频流的图像部分。所述依据所述几何尺寸计算出该框体在所述原始视频流中的原始画幅尺寸的步骤具体为：通过预览窗口中预览画面与视频流的原始画面的压缩比例，确实所述几何尺寸对应的原始画幅尺寸；例如，所述原始画面的尺寸为1000*800，所述预览画面为500*400，通过计算所述预览画面尺寸为所述原始画面尺寸的1/2，此时框选的图形为半径为20的圆形，则该框体在所述原始视频流中的原始画幅尺寸即为40的圆形半径。所述依据该相对位置关系定位出所述原始画幅尺寸所对应的原始视频流的图像部分的具体步骤为：通过预览窗口中预览画面与视频流的原始画面的压缩比例，将所述框体相对于该预览窗口的相对位置关系转换为所述框体对应的原始画幅相对于所述视频流原始画面的相对位置关系，并结合上述得出的所述原始画幅尺寸，确定所述框体对应的原始视频流的图像部分；例如，在根据上述半径为20的圆的圆心在预览窗口中的坐标确定半径为40的圆对应在视频流中的图像部分，此时所述图像部分即为分镜区域，为从而完成所述分镜区域的设定。

请参照图3，作为另一种实施例，所述接收主播用户在其原始视频流预览窗口中对分镜区域的设定S101，还可以为以下步骤：

步骤S301，在所述预览窗口中显示原始视频流。此步骤同上述步骤S201，不再赘述。

步骤S302，接收主播用户作用在该预览窗口中的点击指令，识别点击位置的物品在预览画面中的物品特征。所述物品特征包括物品的轮廓特征和人物的面部特征；例如直播用户直播一场多个人同台表演的街舞秀，主播需要展示领舞者的单独画面，通过人脸识别，识别出每个表演者，主播点击领舞者作为目标人物，识别出领舞者的面部特征，进而提取领舞者的整个身体的轮廓特征。

步骤S303，依据该物品特征和预设的范围确定所述物品特征所对应的原始视频流的图像部分。所述预设范围可以是根据物品的轮廓为中心的圆形范围；例如上述以领舞者的轮廓中最远两点距离为直径的圆形区域，即确定在原始视频流中以领舞者为中心的包含领舞者在内的最小圆形区域对应的图像部分，此时所述图像部分即为分镜区域，从而完成所述分镜区域的设定。

步骤S102中，所述画幅是指一张按照一定分辨率和尺寸构成的图，所述原始画幅是指所述分镜区域对应到原始视频流的原始画面中的局部画幅。例如，在电脑上显示的一张图，如果此图是从显存中获取的，此图为符合电脑屏幕分辨率和尺寸的画幅，且与所述原始画面为同一张画幅；如果是从摄像头读入到内存中再在电脑显示的，此图与原始画面可能是不同的画幅，电脑显示的图是所述原始画面为适应显示的需要而被处理的画幅。在步骤S203以及步骤S303已经阐述，所述分镜区域对应的原始画幅中图像部分的位置确定方法，此步进一步在所述原始画面中截取所述图像部分的视频内容，可以通过对原始画面中图像部分的截图处理，也可以截取原始视频流数据中对应分镜区域的数据。

步骤S103中，所述预定画幅通常是主播用户默认设定或者软件默认，包括设定所述预定画幅的尺寸，还可以包括设定所述预定画幅放到待推送视频流预览窗口的具体位置(也可认为在下一步中进行)。优选的，所述将该图像部分从原始画幅放大到预定画幅的过程为：按照待推送视频流的预设默认画幅的分辨率，将所述图像部分处理为与前者相同分辨率，且符合预定尺寸大小，从而形成所述的预定画幅。当所述原始视频流的图像部分的分辨率高于所述待推送视频流的预设默认画幅的分辨率时，若所述图像部分填充到预定尺寸时其分辨率高于前者，则对其进行图像压缩以匹配前者；若所述图像部分填充到预定尺寸时其分辨率低于前者，则对其进行数码放大以匹配前者。

步骤S104中，所述预设默认画幅与最终输出到服务器的画幅相对应，即最终推送的视频流的尺寸和分辨率。所述将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流时，所述预定画幅的尺寸小于所述预设默认画幅的尺寸且大于所述图像部分的原始画幅尺寸，所述图像部分在待推送视频流中被合成为所述原始视频流的前景图像或邻接图像。

请参照图4，在原始视频流的原始画面A中确定虚线框体选中的部分为分镜区域对应的图像部分a。

请参照图5，所述图像部分a在待推送视频流中被合成为所述原始视频流的前景图像a0，此时所述原始视频流不做处理仍为原始画面A，同时前景图像a0对原始画面A形成局部覆盖的效果。其中所述前景图像a0在原始画面的位置和大小可以由主播进行设定和调整。

请参照图6至图8，所述图像部分a在待推送视频流中被合成为所述原始视频流的邻接图像a1，所述邻接图像a1与处理后的原始画面A在待推送视频流中形成拼接的效果。以上下拼接，且邻接图像a1占原始画面A的尺寸的1/2为例；如图6，将原始画面A进行锁定纵横比放缩处理，将其长和宽均转化为原尺寸的一半形成第一图像A1，将所述邻接图像a1和所述第一图像A1在待推送视频流中形成上下拼接；如图7，将原始画面A移动显示需要展示的部分形成第二图像A2，将所述邻接图像a1和所述第二图像A2在待推送视频流中形成上下拼接；如图8，将原始画面A进行纵向收窄处理，长度保持不变将其宽度转化为的原尺寸的一半形成第三图像A3，将所述邻接图像a1和所述第三图像A3在待推送视频流中形成上下拼接。此外，还可以采用左右拼接或对角拼接等拼接方式，其具体实施原理与所述上下拼接相同，不在赘述。

步骤S105中，将步骤S104中合成的包含所述图像部分与原始视频流的待推送视频流通过网络上传到服务器，并经服务器的打包压缩推送给参与直播的成员用户，以在所述参与成员用户的界面显示所述图像部分和所述原始视频流的分镜画面。

此外，

作为一种实施例，同一待推送视频流中包含多个所述的分镜区域。例如，视频会议中，把视频流中的各个参会人员的脸部图像以圆形分镜区域的形式进行合成，可以展示参会人员的表情和说话动作，使每个人都真正参与到视频会议中。

优选的，包括如下步骤：将所述待推送视频流输出到另一预览窗口中供主播用户进行视频预览。所述另一预览窗口中的内容可以与图5至图8任意一副内容相同，即为将步骤S104中合成的包含所述图像部分与原始视频流的待推送视频流在另一预览窗口中显示预览。此步操作可以是在将所述待推送视频流上传给服务器之前进行，也可以是接收服务器推送的待推送视频流进行的显示。此时主播用户可以在所述另一预览窗口中预览或同步到参与直播的成员用户接受到的视频画面，并通过调整在图4中所示的分镜区域或者图5中所示的的放大画面的位置，控制推送给参与成员的视频流的画面内容，主播用户会有更好的用户体验，一边调整一边看效果。

优选的，包括如下步骤：接收主播用户对所述分镜区域的调整设定，同步所述待推送视频流中已合成的图像部分为所述分镜区域被调整后所对应的图像部分。作为一种实施方式，此步操作可以理解为与所述步骤202相关，通过主播用户重新框选分镜区域，在所述原始视频流中重新获取分镜区域对应的原始画幅，并将所述原始画幅进一步放大处理为预定画幅，最终将重新框选的分镜区域在原始视频流中的图像部分合成到所述待推送视频流中，实现所述调整和同步更新。

优选的，包括如下步骤：以所述图像部分的图像特征动态跟踪该图像部分在其原始视频流的原始画幅中的位移而同步调整相应的分镜区域，使所述待推送视频流中已合成的图像部分保持基本一致。作为一种实施方式，可以是默认的在首次确定分镜区域时提取相应的图像部分的图像特征，在跟踪时，便在整个原始视频流的整幅图像(以帧为单位)中查找相应的图像特征，然后迅速定位这些图像特征中去，即能够跟踪这个图像部分，从而实现所述同步调整相应的分镜区域。作为另一种实施方式，还可以将其与步骤S302和S303结合理解，可以认为是通过主播重新点击选取的物品，从而更新的物品特征，或者为更新的同一物品特征在不同画幅中的位置变化，最终实现所述动态跟踪。所述基本一致是指，由于在移位时，帧处理滞后，或者由于物品移动后光线和角度对摄像头的影响等因素，会导致图像形状、品质等可能有所不同，这种情况下不能保证分镜区域与合成的图像部分完全一致，一般会有相应且在可接受范围内的偏差，但只要有这些图像特征，仍然可认为是一致。

进一步，包括如下步骤：接收主播用户删除所述分镜区域的删除指令，恢复所述待推送视频流的图像内容为所述原始视频流的图像内容。当主播用户需要强调的细节或者需要展示的内容完成，删除分镜区域，恢复待推送的视频流为原始视频流，在参与者用户界面显示单一的原始视频流画面。可以理解的还可以是删除多个分镜区域中的部分分镜区域，将待推送视频流的图像内容重新合成为保留的分镜区域对应的图像部分和原始视频流的图像内容；例如，上述视频会议中部分参会者提前离开，另外部分参会者继续会议，需要删除离开的参会者对应的分镜区域。

本发明第二方面提供一种直播视频流分镜显示控制装置，包括：视频截取模块41，用以接收主播用户在其原始视频流预览窗口中对分镜区域的设定，获取该原始视频流中与所述分镜区域所占原始画幅尺寸相对应的图像部分；视频放大模块42，用以将该图像部分从原始画幅放大到预定画幅；视频合成模块43，用以将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流；视频通信模块44，用以将所述待推送视频流上传给服务器以推送给参与直播的成员用户。

上述直播视频流分镜显示控制装置所包含的功能模块的具体说明，可参见上述直播视频流分镜显示控制方法部分的实施例，在此不做赘述。

所述直播视频流分镜显示控制装置可以为手机、平板电脑、个人电脑等任意一种终端设备。以手机为例，包括处理器，输入单元和输出单元。所述输入单元和所述输出单元分别包括具有触摸输入功能的屏幕及其对应的电路模块。作为一种具体实施例，可以包括以下步骤：在屏幕上显示原始视频流的预览画面；响应主播用户在触摸屏上的两次点击操作，将两点作为矩形对角线在预览画面中框选出分镜区域；处理器获取该原始视频流中与所述分镜区域所占原始画幅尺寸相对应的图像部分；将所述图像部分在屏幕上生成图像部分预览；接收主播用户两个手指同时接触触摸屏后向外滑动扩张的放大命令，将该图像部分预览放大到预定大小；处理器根据上步放大操作，将所述图像部分从原始画幅放大到预定画幅；在屏幕同时显示预定画幅预览和原始视频流的预览画面；接收主播用户在触摸屏对所述预定画幅预览和所述预览画面的拖动命令；处理器将放大到预定画幅的所述图像部分与原始视频流合成为具有预设默认画幅的待推送视频流；最后处理器将所述待推送视频流上传给服务器以推送给参与直播的成员用户。

以上对本发明所提供的一种用于直播视频流分镜显示控制的手机进行了详细介绍，对于本领域的一般技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

本技术领域技术人员可以理解，本发明包括涉及用于执行本发明中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random Access Memory，随即存储器)、EPROM(Erasable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。