专利名称：一种视频画面处理方法、系统、设备及终端的制作方法
技术领域：
本发明涉及视频处理技术领域，特别是涉及一种视频画面处理方法、系统、设备及终端。
背景技术：
随着IP(Internet Protocol,网络协议)网络的迅速发展,视频会议系统,特别是基于H. 323 (视频会议标准)的视频会议 系统得到日益广泛的应用。在现有技术一种视频会议的典型应用场景中，终端T_A、T_B、T_C分别是位于不同会场内的终端设备，这些终端设备均接入MCU(Multipoint Control Unit,多点控制单元)设备MCU_A。终端T_A、T_B、T_C分别将本终端会场内的视频画面经过编码后传递给MCU_A，MCU_A将各个视频画面进行解码，并将解码后的视频画面缩小并叠加，叠加后的多画面形成一幅视频画面，对该一幅视频画面进行视频编码，再将编码后的视频码流发送到需要观看的终端设备上进行呈现，视频设备对该一幅视频画面进行呈现时，仅能针对该一幅画面进行整体的放大、缩小等。由此可见，现有技术中不论是终端设备发送的视频码流，还是MCU发送的多画面视频码流，对于接收上述视频码流的设备来说，只能选择对叠加后的多画面形成的一幅视频画面进行缩放处理，或者直接输出该一幅视频画面。因此，按照现有视频画面处理方式，接收终端难以根据自身需求对包含多画面的组合画面进行灵活操作，比如，当终端用户想要从接收到的组合画面中挑选其中一个会场对应的视频画面进行观看时，则按照现有实现方式难以满足该需求。
发明内容
本发明实施例提供了一种视频画面处理方法、系统、设备及终端，以解决现有技术中接收端难以对接收到的组合画面中的每个画面进行单独处理的问题。本发明实施例公开了如下技术方案一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，包括视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；根据所述视频画面的内容描述信息对所述视频画面进行处理。一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，包括视频码流发送端向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。一种视频画面处理系统，应用于视频会议中对多视频画面进行处理，包括视频码流接收端和视频码流发送端，所述视频码流接收端，用于获取所述视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息，并根据所述视频画面的内容描述信息对所述视频画面进行处理；所述视频码流发送端，用于向所述视频码流接收端发送视频画面的内容描述信息，并接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。一种视频画面处理设备，应用于视频会议中对多视频画面进行处理，所述视频画面处理设备作为视频码流接收端，包括获取单元，用于获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；处理单元，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。
一种视频画面处理终端，应用于视频会议中对多视频画面进行处理，所述视频画面处理终端作为视频码流发送端，包括第二发送单元，用于向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息；接收单元，用于接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。由上述实施例可以看出，本发明实施例中视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息中包括视频画面中分区画面的个数，以及每个分区画面的属性信息，视频码流接收端根据视频画面的内容描述信息对视频画面进行处理。本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图I为本发明视频画面处理方法的第一实施例流程图；图2为本发明视频画面处理方法的第二实施例流程图；图3为应用本发明视频画面处理方法实施例的第一种应用场景示意图；图4为应用本发明视频画面处理方法实施例的第二种应用场景示意图；图5为应用本发明视频趣面处理方法实施例的第二种应用场景意图；图6为应用本发明视频画面处理方法实施例的第四种应用场景示意图；图7为本发明视频画面处理系统的实施例框图；图8为本发明视频画面处理设备的第一实施例框图；图9A为本发明视频画面处理设备的第二实施例框图；图9B为图9A中处理单元的实施例框图10为本发明视频画面处理终端的实施例框图。
具体实施例方式本发明如下实施例提供了一种视频画面处理方法、系统、设备及终端。为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。本发明实施例应用在视频 会议系统中，其中视频码流接收端与视频码流发送端之间通过交互对多视频画面进行处理，上述交互过程包括视频会议的建立过程和视频会议通话过程，其中视频会议建立过程进一步包括视频码流发送端与视频码流接收端之间的媒体协商过程，以及在媒体协商完成后打开通话双方媒体通道的过程。结合具体的应用场景，本发明实施例中的视频码流接收端可以为MCU，视频码流发送端可以为该MCU下连接的多个终端设备；或者，视频码流接收端可以为级联的多个MCU中的最上层MCU，视频码流发送端可以为最上层MCU下连接的多个MCU;或者，视频码流接收端可以为级联的多个MCU中的最上层MCU，视频码流发送端可以为最上层MCU下连接的至少一个MCU和至少一个终端设备。参见图1，为本发明视频画面处理方法的第一实施例流程图步骤101 :视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，视频码流发送端和视频码流接收端之间要进行会话时，首先要进行视频通信建立过程，包括会话双方的媒体协商过程，以及打开会话双方媒体通道的过程；其次在视频通信建立的基础上进行视频通话过程。因此，本发明实施例中视频码流接收端可以在打开与视频码流发送端之间的媒体通道后，获取视频码流发送端所发送视频画面的内容描述信息，视频码流接收端也可以在与视频码流发送端进行视频通信的过程中，获取视频码流发送端携带在所发送视频画面码流中的内容描述信息；进一步，视频码流接收端可以在打开与视频码流发送端之间的媒体通道后，以及在与视频码流发送端进行视频通信的过程中，同时接收视频画面的内容描述信息。内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。步骤102 :根据视频画面的内容描述信息对该视频画面进行处理。其中，对该视频画面进行处理包括根据内容描述信息对视频画面中无效的分区画面进行填充；根据内容描述信息对所述视频画面中的分区画面进行提取；对所提取的分区画面进行缩小、放大、删除或重新组合。需要说明的是，上面列举了所有可能用到的对视频画面进行处理的方式，在实际应用过程中，可以根据需要仅应用其中的部分处理方式，例如，仅包含对分区画面进行提取，并对提取的分区画面进行缩小或放大，或者，仅包含对分区画面进行提取并进行重新组合等等，即对于处理方式的各种组合应用本发明实施例不进行限制。由上述实施例可知，由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。参见图2，为本发明视频画面处理方法的第二实施例流程图步骤201 :视频码流接收端在与视频码流发送端进行媒体协商的过程中，向视频码流发送端发送视频码流接收端所能支持的视频画面的内容描述信息类型。视频码流发送端和视频码流接收端之间要进行会话时，首先要进行视频通信建立过程，包括会话双方的媒体协商过程，以及打开会话双方媒体通道的过程；其次在视频通信 建立的基础上进行视频通话过程。其中，在视频码流发送端与视频码流接收端进行媒体协商过程中，通常需要协商双方使用的视频压缩协议、视频画面的分辨率、视频的压缩带宽等参数。本实施例中，进一步，视频码流接收端可以将本端所能支持的视频画面的内容描述信息类型发送给视频码流发送端。与实施例一中的描述一致，该内容描述信息类型中描述了视频码流接收端所能支持的视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括每个分区画面是否有效的标志属性，每个分区画面在视频画面中的位置信息，每个分区画面的内容长度信息和内容信息。也就是说，视频码流接收端在协商过程中，将自身可以支持的视频画面的分区个数和分区属性告知视频码流发送端，以使视频码流发送端可以根据视频码流接收端的支持能力发送相应的视频画面。步骤202 :视频码流接收端在打开与视频码流发送端之间的媒体通道后，获取视频码流发送端所发送视频画面的内容描述信息。在打开会话双方媒体通道的过程中，视频码流发送端可以将本端所能发送的视频画面的内容描述信息发送给视频码流接收端。与实施例一中的描述一致，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。需要说明的是，本发明实施例中所描述的视频码流发送端，当其发送视频码流时，也可作为视频码流接收端。因此，对于同一个视频终端来说，其作为视频码流发送端时所发送的视频画面的内容描述信息，与其作为视频码流接收端时所发送的能够接收的视频画面的内容描述信息可以不同。步骤203 :视频码流接收端在与视频码流发送端进行视频通信的过程中，获取视频码流发送端携带在所发送视频画面码流中的内容描述信息。
在视频通话过程中，视频码流发送端可以将视频画面的内容描述信息携带在视频码流中发送给视频码流接收端。与实施例一中的描述一致，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息。其中，分区画面的个数用于表示视频画面中所包含的分区画面的数量；每个分区画面的属性信息包括每个分区画面是否有效的标志属性，用于表示该分区画面是否为需要被提取的分区画面；每个分区画面在视频画面中的位置信息，用于指示在视频画面中的哪个位置提取该分区画面；每个分区画面的内容长度信息及内容信息，其中内容长度信息用于表示该分区画面视频内容的起止位置，内容信息表示该分区画面的具体视频内容。步骤204 :视频码流接收端根据视频画面的内容描述信息对视频画面进行处理。其中，对该视频画面进行处理包括根据内容描述信息对视频画面中无效的分区画面进行填充；根据内容描述信息对所述视 频画面中的分区画面进行提取；对所提取的分区画面进行缩小、放大、删除或重新组合(简称重组)。例如，可以根据内容描述信息中的分区画面是否有效的属性信息，识别出有效的分区画面，然后根据该分区画面在视频画面中位置信息查找到该分区画面的起始位置，并根据分区画面的内容长度信息提取出有效的分区画面，对于提取出来的有效分区画面，可以进一步对其内容信息进行放大处理；或者，将提取出来的有效的多个分区画面中的若干分区画面的内容信息进行缩小，放置在包含更多分区画面的视频画面中，比如将9个分区画面中的有效分区画面提取之后缩小，作为分区画面放置在一个具有16个分区画面的视频画面中；或者，将提取出来的有效的多个分区画面中的各分区画面位置重新组合，针对不同的视频呈现终端将不同的分区画面进行重新组合，针对不同的视频呈现终端需要重点显示某个分区画面，则将其它分区画面删除，或者在无效区域填充该需要重点显示的分区画面。需要说明的是，上述实施例示出了视频通信建立过程和视频通话过程中均传输视频画面的内容描述信息，在实际应用中，可以仅在视频通信建立过程传输视频画面的内容描述信息，或者仅在视频通话过程中传输视频画面的内容描述信息，对此本发明实施例不进行限制。另外，在视频码流发送端和视频码流接收端进行视频通话过程中，随着通话时间的变化，以及视频画面的内容切换变化，视频码流接收端和视频码流发送端之间也可以更新视频画面的内容描述信息，并将更新后的视频画面的内容描述信息携带在视频码流中进行传输。由上述实施例可见，本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求；进一步，由于接收端预先向发送端发送了自身可以支持的视频画面的分区个数和分区属性，因此视频码流发送端可以根据视频码流接收端的支持能力发送相应的视频画面，提高了视频画面的传输处理效率。下面介绍几种前述视频画面处理方法实施例所应用的视频会议场景。参见图3，为应用本发明视频画面处理方法实施例的第一种应用场景示意图 图3中，终端T_A (媒体码流接收端)和MCU_A (媒体码流发送端)之间建立视频通话后，MCU_A将包含了多个分区画面的视频画面的内容描述信息传输给终端T_A，终端T_A根据接收的内容描述信息和视频画面的媒体码流，可以选择将多个分区画面中的若干分区画面提取出来，分别进行缩小、放大、填充、删除、重组等操作。例如，图3中，终端Τ_Α将多个分区画面中的分区画面B单独提取出来，放大后输出到显示设备上进行独立显示。参见图4，为应用本发明视频画面处理方法实施例的第二种应用场景示意图图4中，MCU_A下级联了三个终端T_A、T_B和T_C。其中，终端T_A、T_B、T_C可以分别与MCU_A建立视频通话连接。当MCU_A需要将终端T_A、T_B、T_C发送的视频画面组成一个包含多个分区画面的视频画面时，组成多画面的方式可以根据视频会议的要求得到，例如，要求四等分视频画面，并在每个分区画面中显示一个终端传输的视频画面，则MCU_A可以在分别与终端T_A、T_B、T_C进行视频通话协商过程中，根据分区画面的位置和大小等内容描述信息，告知终端T_A、T_B、T_C将本端视频画面进行缩小，并放置在视频画面中的指定位置，同时在传输视频画面码流时将视频画面的内容描述信息同时发送给MCU_A。如图4中，终端T_A发送的视频画面中，分区画面A位于左上角，终端T_B发送的视频画面中，分 区画面B位于右上角，终端T_C发送的视频画面中，分区画面C位于左下角，MCU_A作为终端T_A、T_B、T_C的接收方，根据终端T_A、T_B、T_C发送的视频画面描述信息以及视频画面码流解码出来的视频图像，进行分区画面的提取、放大、缩小、填充、删除、重组等操作。如图4中，MCU_A结合接收到的终端T_A、T_B、T_C发送的视频画面描述信息，对其中的各个分区画面进行处理，把终端!'_八、T_B、T_C发送的视频画面中的分区画面提取出来，其中分区画面A、B、C均放置在一个新的视频画面中，然后MCU_A可以将该新的视频画面发送给各个终端。参见图5,为应用本发明视频画面处理方法实施例的第二种应用场景不意图图5 中，MCU_A 下级联了终端 T_A、T_B、T_C, MCU_B 下级联了终端 T_D、T_E、T_F,MCU_A和MCU_B之间也相互连接。其中，MCU_A可以采用如图4中所示的方式，得到包含由终端T_A、T_B、T_C所传输分区画面所组成的视频画面。进一步，MCU_B可以通过与MCU_A协商获得视频画面的内容描述信息，或者也可以由据视频会议要求将得到的包含多个分区画面的视频画面的内容描述信息跟随视频画面码流传输给MCU_B。MCU_B作为MCU_A的接收方，根据MCU_A发送的视频画面的内容描述信息以及视频画面码流解码出来的视频图像，对其中的分区画面进行提取、放大、缩小、填充、删除、重组等操作。如图5中，MCU_B结合接收到的MCU_A发送的视频画面的内容描述信息，对其中的分区画面进行处理，把分区画面A、B、C分别提取出来，缩小后放置在新的视频画面中，同时将终端T_D、T_E、T_F传输的分区画面D、E、F缩小后分别放置在新的视频画面的相应位置，然后MCU_B可以将该新的视频画面发送给各个终端。参见图6，为应用本发明视频画面处理方法实施例的第四种应用场景示意图图6 中，MCU_A 下级联了终端 T_A、T_B、T_C, MCU_B 下级联了终端 T_D、T_E、T_F,MCU_A和MCU_B均级联到MCU_C下。其中，MCU_A和MCU_B均可以采用如图4中所示的方式，得到包含由终端级联终端传输的分区画面所组成的视频画面。其中，MCU_C和MCU_A、MCU_B分别建立视频通话后，MCU_A将终端T_A、T_B、T_C传输的视频画面根据内容描述信息组成一个视频画面，MCU_B将终端T_D、T_E、T_F传输的视频画面根据内容描述信息组成一个视频画面。MCU_C可以通过和MCU_A、MCU_B协商得到视频画面的内容描述信息，也可以由MCU_A、MCU_B根据视频会议要求将得到的包含多个分区画面的视频画面的内容描述信息跟随视频画面码流传输给MCU_C。MCU_C作为MCU_A、MCU_B视频画面的接收方，根据MCU_A、MCU_B发送的视频画面的内容描述信息以及视频画面码流解码出来的视频图像，进行分区画面的提取、放大、缩小、填充、删除、重组等操作。如图6中，MCU_C结合接收到的MCU_A、MCU_B发送的视频画面的内容描述信息，对其中的分区画面进行处理，提取MCU_A发送的视频画面码流中的分区画面A、B、C，以及MCU_B发送的视频画面码流中的分区画面D、E、F，其中分区画面B、C、D、E、F缩小后放置在新的视频画面中的相应位置，分区画面A放大后放置在新的视频画面的相应位置，MCU_C可以将组合后的新的视频画面发送给MCU_A和MCU_B，MCU_A和MCU_B分别将该新的视频画面发送给所级联的终端。通过上述在视频会议场景中应用本发明视频画面处理过程的描述可知，由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此使得接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，尤其应用在级联的视频会场环境中时，每个接收视频画面的设备都可以对接收到的视频画面进行提取、放大、缩小、删除、重 组等操作，相应提升了视频画面呈现的多样性，满足终端用户的不同需求。下面对视频码流发送端和视频码流接收端采用不同的协议进行视频会话时，视频画面的内容描述信息的具体形式进行描述。一、采用SIP协议上述视频会议应用场景中，在视频建立过程中，如果视频会话双方协商过程采用SIP协议，则在传输视频画面的内容描述信息时，可以根据SIP协议下媒体协商标准文档<rfc2327. txt>中的媒体流相关参数进行描述，如下参数中的加粗斜体字部分
6. SDP Specification
Media description
m= (media name and transport address)i=* (media title)
c=* (connection information - optional if included at session-level)
b=* (bandwidth information)
k=* (encryption key)
r=* (video sub-rectangle number)One or more sub-rectangle descriptions (see below) e=* (sub-rectangle properties)
a=* (zero or more media attribute lines)
format:
r=<number>
<number> is the sub-rectangle number e=<valid-flag> <top> <bot tom> <left> <right> <description> <valid-flag> is the valid flag for sub-rectangle，
0- the sub-rectangle is invalid;
1- the sub-rectangle is valid;
<top> is the top line for sub-rectangle;
<bottom> is the bottom line for sub-rectangle;
<left> is the left line for sub-rectangle;
<right> is the right line for sub-rectangle;
<description> is description information for sub-rectangle二、采用 Η· 323 协议上述视频会议应用场景中，如果采用H. 323协议进行视频会话，则在传输视频画面的内容描述信息时，需要在H. 323的协商标准文档H. 245协议中需要添加如下加粗斜体
字部分描述的信息
Η261 VideoCapability ::=SEQUENCE {
qcifMPIINTEGER (1..4) OPTIONAL,- units 1/29.97 Hz
cifMPIINTEGER (1..4) OPTIONAL,- units 1/29.97 Hz
temporalSpatialTradeOffCapability BOOLEAN, maxBitRateINTEGER (1..19200), — units of
—100 bit/s
stilllmageTransmission BOOLEAN,— Annex D/H.261…5
videoBadMBsCapBOOLEAN
rectangleDescription RectangleDescription OPTIONAL，
}
H263 VideoCapability ::=SEQUENCE {
sqcifMPI INTEGER (1..32) OPTIONAL, - units 1/29.97 Hz qcifMPI INTEGER (1..32) OPTIONAL, - units 1/29.97 Hz cifMPI INTEGER (1..32) OPTIONAL, - units 1/29.97 Hz cif4MPI INTEGER (1..32) OPTIONAL, - units 1/29.97 Hz cifl6MPI INTEGER (1..32) OPTIONAL, - units 1/29.97 Hz maxBitRate INTEGER (1..192400),— units 100 bit/s
rectangleDescription RectangleDescription OPTIONAL， unrestrictedVectorBOOLEAN,
arithmeticCodingBOOLEAN,
advancedPredictionBOOLEAN,
pbFramesBOOLEAN,
temporalSpatialTradeOffCapability BOOLEAN, hrd-BINTEGER (0..524287) OPTIONAL, - units 128 bits
bppMaxKb INTEGER (0..65535) OPTIONAL, - units 1024 bits
…5
slowSqcifMPI INTEGER (1..3600) OPTIONAL, — units seconds/frame slowQcifMPI INTEGER (1..3600) OPTIONAL, — units seconds/frame slowCifMPI INTEGER (1..3600) OPTIONAL, — units seconds/frame slowCif4MPI INTEGER (1..3600) OPTIONAL, — units seconds/frame slowCifl6MPI INTEGER (1..3600) OPTIONAL, — units seconds/frame errorCompensationBOOLEAN,
enhancementLayerlnfo EnhancementLayerInfo OPTIONAL,
h2630ptions H263Options OPTIONAL
}
RectangleDescription
{
subRectangleNumber INTE GER(1. .256), — number of sub-rectanglesubRectangleDescription SubRectangleDescription OPTIONAL，
—description for the 1st sub-rectangle
subRectangleDescription SubRectangleDescription OPTIONAL,
—description for the —SubRectangleNumberth sub-rectangle }
SubRectangleDescription
{
validFlagBOOLEAN， — O- the sub-rectangle is invalid;
— I - the sub-rectangle is valid; topLineINTERGERf0.. 65535), — the top line of sub-rectangle
bottomLineINTERGER(0.. 65535), — the bottom line of
sub-rectangle
IeftLineINTERGER(0.. 65535), — the left line of sub-rectangle
rightLine INTERGER(0.. 65535), — the right line of sub-rectangledescription OCTET STRING , — description information forsub-rectangle
}同样，在协商标准Η. 245的补充文档H. 241协议(针对视频压缩标准H. 264的协商协议)中，需要在如下表I所示的能力描述(Capability Identifier)表中增加使用加粗斜体字描述的内容表ICapability nameITU-T Rec. H.241 H.264 Video Capabilities
Capability identifier typestandard
Capability identifier value{itu-t(O) recommendation(O) h(8) 241
specificVideoCodecCapabilities(O) h264(0) generic-capabilities(l)} maxBitRateThis field shall be included, in units of 100 bit/s
collapsingThis field shall contain the H.264 Capability Parameters as
given below.
nonCollapsingThis field shall not be included,
nonColIapsingRawThis field shall not be included,
transportThis field shall not be included
rectangleDescriptionRectangleDescription
Description for sub-rectangle进一步，还要增加如下表2和表3，用于描述视频画面的内容描述信息，包括分区画面的个数、每个分区画面的属性(是否有效、在视频画面中的边界位置信息、相关的描述信息等)表2
subRectangleNumberINTERGER
The number of sub-rectangle SubRectangleDescription[] SubRectangleDescription array
The element count is subRectangleNumber表 3
validFlagBOOLEAN,
—0 - the sub-rectangle is invalid;
—I - the sub-rectangle is valid; topLineINTERGER(0.. 65535)，
权利要求
1.一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，其特征在于，包括 视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息； 根据所述视频画面的内容描述信息对所述视频画面进行处理。
2.根据权利要求I所述的方法，其特征在于，所述视频码流接收端通过至少一种下述方式，获取视频码流发送端所发送视频画面的内容描述信息 所述视频码流接收端在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息； 所述视频码流接收端在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携帯在所发送视频画面码流中的内容描述信息。
3.根据权利要求I所述的方法，其特征在于，所述视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息之前，还包括 所述视频码流接收端在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。
4.根据权利要求I所述的方法，其特征在于，所述视频码流接收端按照至少ー种下述方式，根据所述内容描述信息对所述视频画面进行处理 根据所述内容描述信息对所述视频画面中无效的分区画面进行填充； 根据所述内容描述信息对所述视频画面中的分区画面进行提取； 对所提取的分区画面进行缩小、放大、删除或重新组合。
5.根据权利要求I至4任意一项所述的方法，其特征在于，所述每个分区画面的属性信息包括 每个分区画面是否有效的标志属性，每个分区画面在所述视频画面中的位置信息，每个分区画面的内容长度信息及内容信息。
6.根据权利要求I至4所述的方法，其特征在干， 所述视频码流接收端为多点控制单元MCU，所述视频码流发送端为所述MCU下连接的多个终端设备；或者， 所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的多个MCU ;或者， 所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的至少ー个MCU和至少ー个终端设备。
7.一种视频画面处理方法，应用于视频会议中对多视频画面进行处理，其特征在于，包括 视频码流发送端向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息； 接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。
8.根据权利要求7所述的方法，其特征在干，所述视频码流发送端通过至少一种下述方式，向视频码流接收端发送视频画面的内容描述信息 所述视频码流发送端在打开与所述视频码流接收端之间的媒体通道后，向所述视频码流接收端发送视频画面的内容描述信息； 所述视频码流发送端在与所述视频码流接收端进行视频通信的过程中，向所述视频码流接收端发送携帯了内容描述信息的视频画面码流。
9.根据权利要求7所述的方法，其特征在于，所述视频码流发送端向视频码流接收端发送视频画面的内容描述信息之前，还包括 所述视频码流发送端在与所述视频码流接收端进行媒体协商的过程中，接收所述视频码流接收端发送的所述视频码流接收端所能支持的视频画面的内容描述信息类型； 所述视频码流发送端根据所述视频码流接收端所能支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。
10.根据权利要求7至9任意一项所述的方法，其特征在于，所述每个分区画面的属性信息包括 每个分区画面是否有效的标志属性，每个分区画面在所述视频画面中的位置信息，每个分区画面的内容长度信息及内容信息。
11.一种视频画面处理系统，应用于视频会议中对多视频画面进行处理，其特征在干，包括视频码流接收端和视频码流发送端， 所述视频码流接收端，用于获取所述视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息，并根据所述视频画面的内容描述信息对所述视频画面进行处理； 所述视频码流发送端，用于向所述视频码流接收端发送视频画面的内容描述信息，并接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。
12.根据权利要求11所述的系统，其特征在干， 所述视频码流接收端，具体用于在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息；或在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携帯在所发送视频画面码流中的内容描述信ο
13.根据权利要求11所述的系统，其特征在干， 所述视频码流接收端，还用于在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。
14.根据权利要求11至13任意一项所述的系统，其特征在干， 所述视频码流接收端为多点控制单元MCU，所述视频码流发送端为所述MCU下连接的多个终端设备；或者， 所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的多个MCU ;或者，所述视频码流接收端为级联的多个MCU中的最上层MCU，所述视频码流发送端为所述最上层MCU下连接的至少ー个MCU和至少ー个终端设备。
15.一种视频画面处理设备，应用于视频会议中对多视频画面进行处理，其特征在干，所述视频画面处理设备作为视频码流接收端，包括 获取单元，用于获取视频码流发送端所发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息； 处理单元，用于根据所述视频画面的内容描述信息对所述视频画面进行处理。
16.根据权利要求15所述的设备，其特征在干， 所述获取単元，具体用于在打开与所述视频码流发送端之间的媒体通道后，获取所述视频码流发送端所发送视频画面的内容描述信息，或在与所述视频码流发送端进行视频通信的过程中，获取所述视频码流发送端携帯在所发送视频画面码流中的内容描述信息。
17.根据权利要求15所述的设备，其特征在于，还包括 第一发送单元，用于在与所述视频码流发送端进行媒体协商的过程中，向所述视频码流发送端发送所述视频码流接收端所支持的视频画面的内容描述信息类型，以使所述视频码流发送端根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。
18.根据权利要求15至17任意一项所述的设备，其特征在于，所述处理単元包括至少一个下列単元 填充单元，用于根据所述内容描述信息对所述视频画面中无效的分区画面进行填充； 提取单元，用于根据所述内容描述信息对所述视频画面中的分区画面进行提取； 缩小单元，用于对所述提取単元所提取的分区画面进行缩小； 放大单元，用于对所述提取単元所提取的分区画面进行放大； 删除单元，用于对所述提取単元所提取的分区画面进行删除； 重组单元，用于对所述提取単元所提取的分区画面进行重新组合。
19.一种视频画面处理终端，应用于视频会议中对多视频画面进行处理，其特征在干，所述视频画面处理终端作为视频码流发送端，包括 第二发送单元，用于向视频码流接收端发送视频画面的内容描述信息，所述内容描述信息包括所述视频画面中分区画面的个数，以及每个分区画面的属性信息； 接收单元，用于接收所述视频码流接收端根据所述视频画面的内容描述信息对视频画面进行处理后的视频画面。
20.根据权利要求19所述的终端，其特征在于，所述发送単元，具体用于在打开与所述视频码流接收端之间的媒体通道后，向所述视频码流接收端发送视频画面的内容描述信息，或者在与所述视频码流接收端进行视频通信的过程中，向所述视频码流接收端发送携带了内容描述信息的视频画面码流。
21.根据权利要求19所述的终端，其特征在于，所述接收単元，还用于所述视频码流发送端在与所述视频码流接收端进行媒体协商的过程中，接收所述视频码流接收端发送的所述视频码流接收端所支持的视频画面的内容描述信息类型； 所述发送単元，具体用于根据所述视频码流接收端所支持的视频画面的内容描述信息类型，向所述视频码流接收端发送视频画面的内容描述信息。
全文摘要
本发明实施例公开了一种视频画面处理方法，系统、设备及终端，应用于视频会议中对多视频画面进行处理，该方法包括视频码流接收端获取视频码流发送端所发送视频画面的内容描述信息，该内容描述信息包括视频画面中分区画面的个数，以及每个分区画面的属性信息；根据视频画面的内容描述信息对视频画面进行处理。本发明实施例由于在传输视频画面的过程中，增加了对视频画面中分区画面的内容描述信息，因此接收端可以依据内容描述信息对接收到的分区画面进行灵活处理，如对接收到的视频画面进行提取、放大、缩小、删除、重组等操作，提升了视频画面呈现的多样性，满足终端用户的不同需求。
文档编号H04N5/45GK102685415SQ20111006608
公开日2012年9月19日 申请日期2011年3月18日 优先权日2011年3月18日
发明者王浦林 申请人:华为终端有限公司