专利名称：一种保持视频图像连续性的方法和装置的制作方法
技术领域：
本发明涉及计算机网络多媒体通信技术领域，特别涉及一种保持视频图像连续性的方法和装置。
背景技术：
实时视频查看是指用户通过监控设备实时观看特定摄像头的监控内容，在此业务中，数据生产者为视频编码器，负责把摄像机的图像数据转为IP数据包，通过IP网络发送到后端；数据消费者为视频解码器，负责把从视频编码器传来的IP数据包还原为图像数据，输出到图像显示设备上。参见图1，图1为视频数据报文传输结构示意图。图1中视频编码器101通过网络向视频解码器102传输视频数据报文，当遇到网络拥塞的时候，会产生丢包，视频解码器 102如果没有收到完整的视频帧数据报文，就会产生卡顿、黑屏或者中断视频等现象。现有技术中，解决上述问题通过丢包重传或者冗余发包。其中，丢包重传指如果报文丢失，则重新发送丢失的报文。该种解决方式存在的缺点是，视频业务对于实时性要求很高，如果重新发送数据会有时延。冗余发包是指在视频编码器生成冗余数据报文，以便在数据丢失后，利用冗余数据来恢复数据。该种解决方式的缺点是，当网络发生拥塞时，交换机并不能判断哪些数据是正常报文，哪些是冗余报文，可能会同时将正常报文和冗余报文丢弃，视频解码器收到的数据不一定能完全恢复数据。综上所述，现有技术中，当网络出现拥塞时，在保证实时性的同时，视频解码器收到的数据报文不能完全恢复要查看的视频数据。
发明内容
有鉴于此，本发明提供一种保持视频图像连续性的方法和装置，当网络出现拥塞的时候，在保证实时性的情况下，能够保持视频图像的连续性。为解决上述技术问题，本发明的技术方案是这样实现的一种保持视频图像连续性的方法，该方法包括视频编码器采用不同码率分别对视频中每一帧画面进行编码，并将每一帧画面不同码率的数据报文通过网络传输给视频解码器；其中，各码率的和为视频会话协商出的会话总码率；视频解码器按照码率的不同对接收到的数据报文分别保存和解码，并按照视频画面帧的顺序进行显示；对于每一帧画面的显示，如果视频解码器接收到所述视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果视频解码器未接收到因网络拥塞而被丢弃的，视频解码器采用的最高码率编码的当前视频画面帧的数据报文，则在解码后数据报文中选择当前码率最高的解码后数据报文，并切换为显示所述选择出的解码后数据报文。
一种保持视频图像连续性的视频编码器，该视频编码器包括编码单元和发送单元；所述编码单元，与所述发送单元相连，用于采用不同码率分别对视频中每一帧画面进行编码；其中，各码率的和为视频会话协商出的会话总码率；所述发送单元，用于将每一帧画面不同码率的数据报文通过网络传输给视频解码
ο一种保持视频图像连续性的视频解码器，该视频解码器包括接收单元、处理单元和显示单元；所述接收单元，与所述处理单元相连，用于通过网络接收到来自视频编码器的数据报文，所述数据报文是视频编码器对视频中每一帧画面编码后获得的数据报文，且每一帧画面是采用不同码率分别进行编码的，各码率的和为视频会话协商出的所述视频解码器要查看的会话总码率；所述处理单元，与所述显示单元相连，用于将所述接收单元接收的数据报文按照码率的不同分别保存和解码；所述显示单元，用于将所述处理单元解码后数据报文按照视频画面帧的顺序进行显示；对于每一帧画面的显示，如果所述接收单元接收到所述视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果所述接收单元未接收到因网络拥塞而被丢弃的当前视频画面帧的最高码率数据报文，则在解码后数据报文中选择码率最高的解码后数据报文，并切换为显示所述选择出的解码后数据报文。综上所述，本发明视频编码器将视频中同一帧画面采用不同码率进行编码，并通过网络传输给视频解码器，当视频解码器显示收到的视频图像时，对于某一帧画面如果收到视频编码器采用的最高码率编码的数据报文，则解码并按按照视频画面帧的顺序优先显示视频编码器采用的最高码率编码的解码后的数据报文，如果因为网络拥塞，视频编码器采用的最高码率编码的某帧数据报文未收到，则切换显示收到的该帧画面的最高码率的数据报文。因此当网络出现拥塞时，本发明在保证实时性的同时，能够保持视频图像的连续性。
图1为视频数据报文传输结构示意图；图2为本发明保持视频图像连续性的方法的流程图；图3为本发明具体实施例中保持视频图像连续性的方法的流程图；图4为动态降低r流程图；图5为本发明保持视频图像连续性的视频编码器结构示意图；图6为本发明保持视频图像连续性的视频解码器结构示意图。
具体实施例方式为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。参见图2，图2为本发明保持视频图像连续性的方法的流程图。具体步骤为
步骤201，视频编码器采用不同码率分别对视频中每一帧画面进行编码，并将每一帧画面不同码率的数据报文通过网络传输给视频解码器；其中，各码率的和为视频会话协商出的会话总码率。步骤202，视频解码器按照码率的不同对接收到的数据报文分别保存和解码，并按照视频画面帧的顺序进行显示。步骤203，对于每一帧画面的显示，如果视频解码器接收到视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果视频解码器未接收到因网络拥塞而被丢弃的，视频解码器采用的最高码率编码的当前视频画面帧的数据报文，则在解码后数据报文中选择当前码率最高的解码后数据报文，并切换为显示择出的解码后数据报文。本发明实施例中提到的码率可以用M来表示，对于不同码率可以由高到低依次排序为M1;M2，...，Mi;...，Mn，其中，的A倍，A为大于等于1的数，η为不同码率的个数，η为大于等于2的自然数，i为小于等于η的自然数。这里之所以倍数为ri;因为Mi 与Mi+1的比值可以是一样的，也可以是不一样，根据需要或应用经验而定，只要所有的不同码率的和为会话总码率即可。视频解码器统计接收数据报文的丢包率，如果丢包率低于第一预设值，频解码器发送修改(Modify)报文给视频编码器，通知视频编码器调高A的值；视频解码器收到视频编码器发来的已调高A值的确认报文。如果丢包率高于第二预设值时，需要降低A的值，过程同上述调高过程，这里不再赘述。本发明在显示每帧画面时，不仅按照最高码率解码后的数据报文进行显示，还可以根据分辨率或者丢包率来切换显示。如果当前显示画面的实际分辨率小于码率为Mi解码后的数据报文显示画面的分辨率到第一预设值以上时，切换为显示码率为Mw解码后数据报文显示；如果当前显示画面的实际分辨率大于码率为Mi解码后的数据报文显示画面的分辨率的值到第二预设值以上时，切换为显示码率为Mg解码后数据报文。这里的第一预设值和第二预设值可以根据经验值来确定。下面描述对于丢包率的变化，如何进行切换显示。统计不同码率数据报文的丢包率，当丢包率高于码率为Mi视频的可容忍丢包率， 并持续预设时间时，切换为显示码率为Mw解码后数据报文；当丢包率低于码率为Mi的可容忍丢包率，并持续预设时间时，切换为显示码率为Mp1解码后数据报文。在视频解码器收到视频数据报文之前，首先视频会话启动，视频解码器和视频编码器进行协商，假设会话协商结果为视频编码器要求查看TMbps的视频，即会话总码率为 TMbps ；并且通过单通道传输视频数据流。在实际应用中，使用者可以根据具体需要来对要发送的每帧视频画面进行多次编码，在本实施例中，以两次编码为例，来详细说明本发明的视频报文传输过程，其中，码率较高的称为高码率，码率较低的称为低码率。参见图3，图3为本发明具体实施例中保持视频图像连续性的方法的流程图。具体步骤为步骤301，视频编码器对要传输的视频的每帧画面采用不同码率编码两次，将编码后的高码率数据报文和低码率数据报文均通过网络传输给视频解码器，其中，高低码率码率的和为视频会话协商出的会话总码率。本步骤中对每帧画面编码两次后的数据报文添加应用层标识，用于区分不同码率的数据报文；为报文添加差分服务编码点(DSCP)标签，用于标识报文的优先级。其中，高码率报文打低优先级标识，低码率报文打高优先级标识，根据使用者对该视频的重视程度而定，当使用者认为该视频非常重要时，为本步骤中的数据报文打的优先级标识均应高于普通数据业务的优先级。当在传输过程中，网络拥塞时，优先丢弃高码率报文，本发明具体实施例中根据DSCP标签，优先丢弃优先级低的报文。本步骤中进行的两次编码，一次为高码率，假设为HMbps，另一次为低码率，假设为 LMbps，其中H+L = T0假设高码率为3. 5Mbps，那么低码率为0. 5Mbps。该步骤中的不同码率可以事先设定，也可以通过动态调整。具体实现方式如下设会话总码率为TMbps，高低码率比值为r，则高码率H = rXT/(l+r)；低码率L = T/(l+r)。其中，1 < r <= 100，r的范围为根据实际经验和习惯获得的较合适比例范围， 如果r的比值更大的时候，如果网络拥塞，将高码率的报文丢弃，而低码率的报文由于码率太低将显示的画面质量太差，这样的高低码率划分将没有太大意义。上述对r值的调整的实现方法参见图4，图4为动态降低r的流程图。具体步骤为步骤401，视频解码器统计丢包率较低。视频解码器统计接收报文的丢包率，如果网络条件很好，丢包率很低，这时候可以考虑适当调高高码率报文的码率，以便提供更好的显示质量，丢包率的触发条件可以以不同码率报文的丢包容忍度为依据，当统计丢包率低于可容忍丢包率预设值以上，可以调高r 值。通常该处的预设值可以设为80%。步骤402，视频解码器向视频编码器发送Modify报文，通知视频编码器调高r值。步骤403，视频编码器调高r值。本步骤中的视频编码器收到Modify报文，Modify报文携带视频解码器ID、视频编码器ID和当前画面对应会话ID。是否携带r值可选，当携带r值时视频编码器根据当前画面对应会话ID和r值直接调整对应r值；当报文未携带r值时，视频编码器根据当前画面对应会话ID以及自身应用情况适当提高r值。步骤404，视频编码器向视频解码器发送已调高r值确认报文。本步骤中的确认报文携带视频解码器ID、视频编码器ID和当前画面对应会话ID。 是否携带r值可选，当携带r值时，视频解码器收到该确认报文时，根据报文携带的r值调整维护队列的长度，也可以不进行调整。步骤405，视频编码器等待预设时间，未再收到调整r的Modify报文，用新的r值计算高低码率的值。如果在等待时间内再次收到Modify报文，继续对r值调整，以最后一次调整为准， 重新计算高低码率的值。步骤406，视频编码器按调整后的高低码率值发送高低码率数据报文给视频解码器。
视频解码器统计丢包率，当网络条件很差时，统计丢包率高于可容忍丢包率预设值以上，一般预设百分比设为50%，这时网络中可能存在拥塞，高码率报文可能已经被交换机设备丢弃，这时候考虑降低r值。降低r值的过程同调高r值过程类似，这里不再赘述。步骤302，视频解码器为该次会话维护两个队列，收到视频解码器发来的每帧画面的数据报文，根据报文携带的码率不同，分别将高、低码率的数据报文进入两个队列。本步骤中视频解码器按照应用层标识的不同对接收到的数据报文分别进入两个队列。步骤303，视频解码器对两个队列的数据报文分别解码，并按照视频画面帧的顺序进行显示。步骤304，对于每一帧画面，如果收到该帧高码率的数据报文，则显示该帧采用高码率编码的解码后的数据报文。步骤305，如果未收到高码率的数据报文，切换为显示该帧采用低码率编码的解码后的数据报文。本步骤中，当网络拥塞时，该帧采用高码率编码的数据报文有丢失，视频解码器未收到时，切换为显示采用低码率编码的数据报文。下面详细描述一下高低码率解码后，优先选择高码率报文切换，但是根据网络情况，也可切换显示。第一种切换显示方式，根据画面的实际分辨率变化进行切换。如果当前显示画面的实际分辨率小于高码率报文分辨率到一定阀值D以上，切换到低码率报文队列显示；如果当前显示画面的实际分辨率大于低码率报文分辨率到一定阀值d以上，切换到高码率报文队列显示。其中，D和d值的大小可以根据实际应用情况进行设置。下面举具体例子来详细说明。例如，高码率报文为720p(U80*720)，低码率报文为QCIF (176*144)。如果实际画面为CIF(352M88)，则可以选择切换到低码率队列显示。如果实际画面为Dl (704*576)，则可以选择切换到高码率队列显示。第二种切换方式，通过高低码率报文队列的丢包率进行切换。分别统计2个队列的丢包率，高码率视频对于丢包率的容忍度较低，而低码率视频对报文丢包率容忍度较高，当统计丢包率高于高码率视频的可容忍丢包率，并持续预设时间时，切换到低码率报文队列显示。根据丢包率统计结果，当丢包率低于高码率视频的可容忍丢包率，可选择切换回高码率报文队列显示。本实施例中，不同码率的数据报文可以同时发送，也可以分先后发送。实际应用中，低码率数据报文的数据量较小，在传输和解码工作上负担较轻，视频编码器可以优先发送低码率的报文，当视频解码器收到该低码率报文开始解码时，视频编码器开始混杂发送高码率报文。视频会话协商时，还可以协商多条数据流通道，视频编码器将不同码率的数据报文通过不同数据流通道传送给视频解码器。本实施例还可应用于双向视频。实现只需在视频编码器端如上所述的方式设置视频解码器，在视频编码器端如上所述的方式设置视频编码器，数据报文传输方式也同上，这里不再赘述。基于上述同样的发明构思，本发明还提出一种保持视频图像连续性的视频编码器。参见图5，图5为本发明保持视频图像连续性的视频编码器的结构示意图。该视频编码器包括编码单元501和发送单元502。编码单元501，与发送单元502相连，用于采用不同码率分别对视频中每一帧画面进行编码；其中，各码率的和为视频会话协商出的会话总码率；发送单元502，用于将每一帧画面不同码率的数据报文通过网络传输给视频解码
ο较佳地，该视频编码器进一步包括标识单元503。标识单元503，与编码单元501相连，用于为不同码率的数据报文添加应用层标识，使所述视频编码器根据收到的数据报文的应用层标识区分不同码率的数据报文。较佳地，标识单元503，进一步用于为不同码率的数据报文添加DSCP标签，该DSCP 标签用于标识报文优先级；当网络拥塞时，使网络根据数据报文携带的DSCP标签从优先级低到高的顺序优先丢弃优先级低的数据报文；其中，按各码率从高到低的顺序为各数据报文分别分配从低到高的优先级。较佳地，发送单元502，进一步用于向视频解码器从单通道传输不同码率的数据报文；该单通道传输为视频会话协商出的；或，发送单元502，进一步用于向视频解码器从多通道传输不同码率的数据报文； 该多通道传输为视频会话协商出的。基于上述同样的发明构思，本发明还提出一种保持视频图像连续性的视频解码器。参见图6，图6为本发明保持视频图像连续性的视频解码器的结构示意图。该视频解码器包括接收单元601、处理单元602和显示单元603 ；接收单元601，与处理单元602相连，用于通过网络接收到来自视频编码器的数据报文，该数据报文是视频编码器对视频中每一帧画面编码后获得的数据报文，且每一帧画面是采用不同码率分别进行编码的，各码率的和为视频会话协商出的所述视频解码器要查看的会话总码率；处理单元602，与显示单元602相连，用于将接收单元601接收的数据报文按照码率的不同分别保存和解码；显示单元603，用于将处理单元602解码后数据报文按照视频画面帧的顺序进行显示；对于每一帧画面的显示，如果接收单元601接收到所述视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果接收单元 601未接收到因网络拥塞而被丢弃的当前视频画面帧的最高码率数据报文，则在解码后数据报文中选择码率最高的解码后数据报文，并切换为显示选择出的解码后数据报文。较佳地，各码率的关系为各码率由高到低依次排序为M1, M2, ...，Mi, ...，Mn，其中，Mi为Mi+1的ri倍，r,为大于1的数，η为不同码率的个数，η为大于等于2的自然数，i 为小于等于η的自然数。较佳地，该视频解码器进一步包括统计单元604和调整单元605 ；统计单元604，与接收单元601相连，用于统计接收数据报文的丢包率；调整单元605，与统计单元604相连，用于当统计单元604统计丢包率低于第一预设值时，向视频解码器发送Modify报文给视频编码器，通知视频编码器调高A值；或，用于当所述统计单元统计丢包率高于第二预设值时，向视频解码器发送Modify报文给视频编码器，通知视频编码器降低A值；接收单元601，进一步用于当调整单元605通知视频编码器调高巧值之后，接收到视频编码器发来的已调高A值的确认报文；或用于当调整单元605通知视频编码器降低ri 值之后，接收到视频编码器发来的已降低^值的确认报文。较佳地，接收单元601，进一步用于接收视频编码器发来的已调高或较低A值的确认报文之后，接收到不同码率的数据报文；该不同码率的数据报文为用调高或降低后的^ 值重新计算的不同码率进行编码的数据报文。较佳地，该视频解码器进一步包括切换单元；切换单元606，与显示单元601相连，用于如果当前显示画面的实际分辨率小于码率为Mi解码后的数据报文显示画面的分辨率到第三预设值以上时，切换为显示码率为Mi+1 解码后数据报文显示；如果当前显示画面的实际分辨率大于码率为Mi解码后的数据报文显示画面的分辨率的值到第四预设值以上时，切换为显示码率为Mp1解码后数据报文；显示单元601，显示切换单元606切换后的解码后的数据报文；或，切换单元606，与统计单元604和显示单元601相连，用于当统计单元604统计不同码率数据报文的丢包率高于码率为Mi视频的第一预设容忍丢包率，并持续预设时间时， 切换为显示码率为Mw解码后数据报文；用于当统计单元604统计不同码率数据报文丢包率低于码率为Mi视频的第二预设容忍丢包率，并持续预设时间时，切换为显示码率为Mp1解码后数据报文；显示单元601，显示切换单元606切换后的解码后数据报文。较佳地，接收单元601，进一步用于从单通道收到视频编码器传输的不同码率的数据报文；该单通道为视频会话协商出的；或，接收单元601，进一步用于从多通道收到视频编码器传输的不同码率的数据报文；该多通道为视频会话协商出的。上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。综上所述，本发明的视频编码器采用不同码率对视频图像中的每一帧环面进行编码，并通过网络传输给视频解码器，其中，各不同码率的码率和为会话总码率，因此与现有传输方式相比，并未增加网络的传输负担。视频解码器收到视频编码器发来的编码后的数据报文，按码率的不同分别保存并能解码。按照视频画面帧的顺序进行显示。现有技术中用单一码率传输该帧的数据报文，如果网络拥塞时，该数据报文被丢低，则无法连续显示视频图像。而本发明多个不同码率对同一帧的画面进行传输，当网络拥塞时，高码率编码的数据报文被丢低，较低码率的数据报文还是会被传输，因此，在显示该帧画面时，不会出现卡顿、 黑屏或者中断。因此本发明在网络拥塞时，在保证视频传输实时的情况下，能够保持视频图像的连续性。以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
权利要求
1.一种保持视频图像连续性的方法，其特征在于，所述方法包括视频编码器采用不同码率分别对视频中每一帧画面进行编码，并将每一帧画面不同码率的数据报文通过网络传输给视频解码器；其中，各码率的和为视频会话协商出的会话总码率；视频解码器按照码率的不同对接收到的数据报文分别保存和解码，并按照视频画面帧的顺序进行显示；对于每一帧画面的显示，如果视频解码器接收到所述视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果视频解码器未接收到因网络拥塞而被丢弃的，视频解码器采用的最高码率编码的当前视频画面帧的数据报文，则在解码后数据报文中选择当前码率最高的解码后数据报文，并切换为显示所述选择出的解码后数据报文。
2.根据权利要求1所述的方法，其特征在于，所述不同码率的数据报文携带应用层标识，用于区分不同码率的数据报文；所述视频解码器按照码率的不同对接收到的数据报文分别保存和解码的方法为所述视频解码器根据所述数据报文携带的应用层标识，区分收到的不同码率的数据报文并分别保存和解码。
3.根据权利要求1所述的方法，其特征在于，所述不同码率的数据报文携带差分服务编码点DSCP标签，用于标识报文优先级；其中，按各码率从高到低的顺序为不同码率的数据报文分别分配从低到高的优先级；当网络拥塞时，根据数据报文携带的DSCP标签从优先级低到高的顺序优先丢弃优先级低的数据报文。
4.根据权利要求1所述的方法，其特征在于，所述各码率的和为会话总码率之后，该方法进一步包括所述各码率的关系为各码率由高到低依次排序为M1, M2, ...，Mi, ...，Mn，其中，Mi为 Mi+1的α倍，r,为大于1的数，η为不同码率的个数，η为大于等于2的自然数，i为小于等于η的自然数。
5.根据权利要求4所述的方法，其特征在于，所述方法进一步包括所述视频解码器统计接收数据报文的丢包率，当丢包率低于第一预设值，所述视频解码器发送修改Modify报文给所述视频编码器，通知所述视频编码器调高所述A的值；所述视频编码器收到所述视频解码器发来的调高所述^的值的通知时，调高所述A 值，并向所述视频解码器发送^的值已调高的确认报文；当丢包率高于第二预设值，所述视频解码器发送Modify报文给所述视频编码器，通知所述视频编码器降低所述^的值；所述视频编码器收到所述视频解码器发来的降低所述^的值的通知时，降低所述A 值，并向所述视频解码器发送^的值已降低的确认报文。
6.根据权利要求5所述的方法，其特征在于，所述视频解码器收到所述视频编码器发来的已调高或降低所述^值的确认报文之后，该方法进一步包括所述视频编码器用调高或降低的A值重新计算不同码率，采用重新计算的不同码率对视频帧中未传输的视频帧进行编码，并通过网络传输给所述视频解码器；所述视频解码器按照码率的不同对接收到的所述采用重新计算的不同码率编码的数据报文分别保存和解码，并按照视频画面帧的顺序进行显示。
7.根据权利要求4-6任意一项所述的方法，其特征在于，所述切换方法进一步包括下述方式之一或任意组合如果当前显示画面的实际分辨率小于码率为Mi解码后的数据报文显示画面的分辨率到第三预设值以上时，切换为显示码率为Mw解码后数据报文显示；如果当前显示画面的实际分辨率大于码率为Mi解码后的数据报文显示画面的分辨率的值到第四预设值以上时，切换为显示码率为Mp1解码后数据报文；或，所述视频解码器统计不同码率数据报文的丢包率，当丢包率高于码率为Mi视频的第一预设容忍丢包率，并持续预设时间时，切换为显示码率为Mw解码后数据报文；当丢包率低于码率为Mi的第二预设容忍丢包率，并持续预设时间时，切换为显示码率为Mp1解码后数据报文。
8.根据权利要求4-6任意一项所述的方法，其特征在于，所述视频编码器将每一帧画面不同码率的数据报文通过网络传输给视频解码器的方法为所述视频编码器先发送1的数据报文，当所述视频解码器收到所述Mn的数据报文并开始解码时，所述视频编码器混杂发其他码率的数据报文。
9.根据权利要求1-6任意一项所述的方法，其特征在于，所述方法进一步包括所述视频编码器和视频解码器还会话协商通过单通道传输数据报文；所述视频编码器向所述视频解码器从单通道传输不同码率的数据报文；所述视频解码器从单通道收到所述视频编码器发来的不同码率的数据报文；或，所述视频编码器和视频解码器还会话协商通过多通道传输数据报文；所述视频编码器向所述视频解码器从多通道传输不同码率的数据报文；所述视频解码器从多通道收到所述视频编码器发来的不同码率的数据报文。
10.一种保持视频图像连续性的视频编码器，其特征在于，所述视频编码器包括编码单元和发送单元；所述编码单元，与所述发送单元相连，用于采用不同码率分别对视频中每一帧画面进行编码；其中，各码率的和为视频会话协商出的会话总码率；所述发送单元，用于将每一帧画面不同码率的数据报文通过网络传输给视频解码器。
11.根据权利要求10所述的视频编码器，其特征在于，所述视频编码器进一步包括标识单元；所述标识单元，与所述编码单元相连，用于为不同码率的数据报文添加应用层标识，使所述视频编码器根据收到的数据报文的应用层标识区分不同码率的数据报文。
12.根据权利要求10所述的视频编码器，其特征在于，所述标识单元，进一步用于为不同码率的数据报文添加差分服务编码点DSCP标签，所述DSCP标签用于标识报文优先级；当网络拥塞时，使网络根据数据报文携带的DSCP标签从优先级低到高的顺序优先丢弃优先级低的数据报文；其中，按各码率从高到低的顺序为各数据报文分别分配从低到高的优先级。
13.根据权利要求9-12任意一项所述的视频编码器，其特征在于，所述发送单元，进一步用于向所述视频解码器从单通道传输不同码率的数据报文；所述单通道传输为视频会话协商出的；或，所述发送单元，进一步用于向所述视频解码器从多通道传输不同码率的数据报文； 所述多通道传输为视频会话协商出的。
14.一种保持视频图像连续性的视频解码器，其特征在于，所述视频解码器包括接收单元、处理单元和显示单元；所述接收单元，与所述处理单元相连，用于通过网络接收到来自视频编码器的数据报文，所述数据报文是视频编码器对视频中每一帧画面编码后获得的数据报文，且每一帧画面是采用不同码率分别进行编码的，各码率的和为视频会话协商出的所述视频解码器要查看的会话总码率；所述处理单元，与所述显示单元相连，用于将所述接收单元接收的数据报文按照码率的不同分别保存和解码；所述显示单元，用于将所述处理单元解码后数据报文按照视频画面帧的顺序进行显示；对于每一帧画面的显示，如果所述接收单元接收到所述视频编码器采用的最高码率编码的当前视频画面帧的数据报文，则显示该解码后最高码率数据报文；如果所述接收单元未接收到因网络拥塞而被丢弃的当前视频画面帧的最高码率数据报文，则在解码后数据报文中选择码率最高的解码后数据报文，并切换为显示所述选择出的解码后数据报文。
15.根据权利要求14所述的视频解码器，其特征在于，所述各码率的关系为各码率由高到低依次排序为M1, M2, ...，Mi, ...，Mn，其中，Mi为 Mi+1的α倍，r,为大于1的数，η为不同码率的个数，η为大于等于2的自然数，i为小于等于η的自然数。
16.根据权利要求15所述的视频解码器，特征在于，所述视频解码器进一步包括统计单元和调整单元；所述统计单元，与所述接收单元相连，用于统计接收数据报文的丢包率；所述调整单元，与所述统计单元相连，用于当所述统计单元统计丢包率低于第一预设值时，向视频解码器发送修改Modify报文给视频编码器，通知视频编码器调高所述A值； 或，用于当所述统计单元统计丢包率高于第二预设值时，向视频解码器发送Modify报文给视频编码器，通知视频编码器降低所述A值；所述接收单元，进一步用于当所述调整单元通知视频编码器调高所述^值之后，接收到视频编码器发来的已调高所述A值的确认报文；或用于当所述调整单元通知视频编码器降低所述！^值之后，接收到视频编码器发来的已降低所述值的确认报文
17.根据权利要求15所述的视频解码器，其特征在于，所述接收单元，进一步用于接收视频编码器发来的已调高或较低所述^值的确认报文之后，接收到不同码率的数据报文；所述不同码率的数据报文为用调高或降低后的所述^ 值重新计算的不同码率进行编码的数据报文。
18.根据权利要求15-17所述的视频解码器，其特征在于，所述视频解码器进一步包括切换单元；所述切换单元，与所述显示单元相连，用于如果当前显示画面的实际分辨率小于码率为Mi解码后的数据报文显示画面的分辨率到第三预设值以上时，切换为显示码率为Mw解码后数据报文显示；如果当前显示画面的实际分辨率大于码率为Mi解码后的数据报文显示画面的分辨率的值到第四预设值以上时，切换为显示码率为Mp1解码后数据报文； 所述显示单元，显示所述切换单元切换后的解码后数据报文； 或，所述切换单元，与所述统计单元和所述显示单元相连，用于当所述统计单元统计不同码率数据报文的丢包率高于码率为Mi视频的第一预设容忍丢包率，并持续预设时间时，切换为显示码率为Mw解码后数据报文；用于当所述统计单元统计不同码率数据报文丢包率低于码率为Mi视频的第二预设容忍丢包率，并持续预设时间时，切换为显示码率为Mp1解码后数据报文；所述显示单元，显示所述切换单元切换后的解码后数据报文。
19.根据权利要求14-17任意一项所述的视频解码器，其特征在于， 所述接收单元，进一步用于从单通道收到所述视频编码器传输的不同码率的数据报文；所述单通道为视频会话协商出的；或，所述接收单元，进一步用于从多通道收到所述视频编码器传输的不同码率的数据报文；所述多通道为视频会话协商出的。
全文摘要
本发明公开了一种保持视频图像连续性的方法，该方法包括视频编码器采用不同码率分别对视频中每一帧画面进行编码，通过网络传输给视频解码器；其中，各码率的和为视频会话协商出的会话总码率；视频解码器按照码率的不同对接收到的数据报文分别保存和解码，并按照视频画面帧的顺序进行显示；对于每一帧画面，在收到的数据报文中选择该帧码率最高的数据报文，进行解码并显示。基于上述同样的发明构思，本发明还提出了一种装置，当网络出现拥塞的时候，在保证实时性的情况下，能够保持视频图像的连续性。
文档编号H04N7/26GK102307302SQ20111018891
公开日2012年1月4日 申请日期2011年7月6日 优先权日2011年7月6日
发明者李飞 申请人:杭州华三通信技术有限公司