有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置的制造方法
【专利说明】有效地对用于低带宽传送的视频流中的要素进行优先化的方法和装置
[0001]相关申请
[0002]本申请是于2012年11月20日提交的第13/682，688号美国申请的继续。通过引用将上述申请的全部教导并入本文。
【背景技术】
[0003]网络中的流视频内容可能来自各种来源。例如，视频监视系统可以提供包括凡是在监视摄像机的镜头的视野内的图像的视频内容流。随着电影和其他视频节目已经日益变得可以经由网络在家中访问，网络上的视频内容也增加了。随着网络中的越来越多的应用流视频和其他内容，网络带宽需求继续增加。
【发明内容】
[0004]本发明的实施例提供一种用于对通信网络中的包进行优先化的方法、装置和对应的系统。根据一个实施例，对通信网络中的包进行优先化的方法可以包含将内容映射到内容标识符。在内容源处，该方法可以包含逐个包地根据包流的包中的内容来分配内容标识符。该方法还可以包含转发关于包的内容标识符以使下游网络节点能够实现包流内的包的优先化。
[0005]内容源可以是摄像机、录像机或网关。
[0006]内容可以包括在视频帧内。
[0007]内容可以包括真实世界物品的表示，可选地，可以包括计算机生成的图形指示器。
[0008]内容标识符可以将诸如视频内容这样的内容映射到实体对象标识符。实体对象标识符可以指示图像或音频记录中的场景内的脸、牌照、个性化标识符或者与被摄体(例如，人、动力或对象)关联的其他表示。
[0009]将内容映射到内容标识符可以包括利用标准内容映射表。下游节点可以使用标准内容映射表来分配优先化。
[0010]该方法还可以包括对内容标识符分配优先级。将内容映射到内容标识符以及对内容标识符分配优先级可以在内容源处进行。将内容映射到内容标识符可以在内容源处进行，并且对内容标识符分配优先级可以在与内容源分开的设备处进行。
[0011]根据一个实施例，转发关于包的内容标识符可以包含转发与包括内容的包关联的包中的内容标识符。转发关于包的内容标识符可以包括在实时协议(RTP)首部扩展中指定内容标识符。该方法还可以包含通过使用在实时协议(RTP)首部扩展中指定的内容标识符将视频内容映射到实体对象。
[0012]根据另一个实施例，在网络节点处对包进行优先化的方法可以包含访问多个内容标识符到多个优先化值的映射。该方法可以用包流中的多个内容标识符的内容标识符的集合对包进行优先化。内容标识符的集合可以根据包括在被优先化的包中的内容而变化。优先化可以基于内容标识符的集合以及基于所访问的映射的多个优先化值的优先化值的集入口 O
[0013]内容可以包含在视频帧内。
[0014]内容标识符可以将诸如视频内容这样的内容映射到实体对象标识符。实体对象标识符可以指示图像或音频记录中的场景内的脸、牌照、个性化标识符或者与被摄体(例如，人、动物或对象)关联的其他表示。内容标识符可以在视频源处被分配给每个包。
[0015]该方法还可以包括基于所包括的内容标识符和内容标识符到优先化值的映射来确定针对每个包的丢弃或转发动作。
[0016]根据另一个实施例，装置可以包含:视频内容分类器，被配置为逐个包地根据视频包流的包中的内容来分配内容标识符。该装置还可以包括:转发引擎，被配置为转发关于包的内容标识符以使下游网络节点能够实现对视频包流内的包的优先化。
[0017]根据又一个实施例，一种非临时性计算机可读介质，在其上存储指令序列，所述指令序列在被处理器载入和执行时可以使处理器处理视频场景并且生成包的表示视频场景的多个包的包流。还可以使处理器对多个包中的每个包分配内容标识符，每个包可以包括所分配的内容标识符，所分配的内容标识符可以根据由每个包所表示的视频内容来分配。
[0018]应当理解的是，本发明的实施例可以实现为方法、装置、系统或在其上实施程序代码的计算机可读介质的形式。一般地，应当理解到，如本领域的普通技术人员所理解的那样，在本文中所描述的方法、模块和流程图的要素可以实现为软件、硬件、固件。本发明的示例实施例可以包括包含可以被处理器载入并执行的指令的非临时性计算机可读介质，所述指令在被执行时可以使处理器完成在本文中所描述的方法。为了便于阅读，在描述的各个部分中使用术语“系统”，其可以表示本发明的一些或所有形式的实施例和实现方式，诸如系统、方法、装置、设备、计算机可读介质、网络节点和网络等。
【附图说明】
[0019]根据下面对本发明的示例实施例的更具体的描述，前述内容将是显而易见的，本发明的示例实施例如附图所示，其中相同的附图标记指代在不同的视图中的相同部件。附图未必是按比例的，而是在图示本发明的实施例时加以强调。
[0020]图1A图示用于对通信网络中的包进行优先化的系统的实施例。
[0021]图1B图示用于对通信网络中的包进行优先化的系统的另一实施例。
[0022]图2是图示用于对通信网络中的包进行优先化的方法的实施例的流程图。
[0023]图3是将内容类型映射到内容标识符和优先级的内容映射表300的实施例的示例。
[0024]图4是实时传输协议(RTP)首部格式的示例。
[0025]图5是用于对通信网络中的包进行优先化的方法的另一个实施例的流程图。
[0026]图6是用于在网络节点处对包进行优先化的方法的实施例的流程图。
[0027]图7是用于在网络节点处对包进行优先化的方法的另一个实施例。
[0028]图8是装置的实施例的框图。
[0029]图9是可以实现本发明的各个实施例的计算机的示例性内部结构的框图。
【具体实施方式】
[0030]下面是对本发明的示例性实施例的描述。
[0031]当在网络上递送视频或其他内容时，网络条件可能改变。例如，带宽的改变可能造成拥挤，导致传输网络中的视频或其他内容的网络设备丢失视频或其他内容。跨越低带宽链路或者甚至高饱和硬布线链路对视频内容或其他内容进行流化可能往往造成由于沿着路径的某处在介质中的拥挤而导致的丢弃帧。视频(或其他数据)的各个包可能被链路饱和的联网设备随机地丢弃以便降低总的带宽。
[0032]这样的被随机丢弃的包可能包括可能被分类为比未被丢弃的包中所包括的数据更有用的数据。例如，在监视的领域内，包括与感兴趣的对象有关的数据的包可能比包括与感兴趣的对象周围的背景有关的数据的包更有用。当存在拥挤时，网络设备的随机的包丢弃可能影响可能包括有用的、安全性有关的内容的视频内容的损失，同时传输包括不太有用的内容的包。
[0033]另外，网络传输包包括视频内容之外的数据的包。例如，包可以包括声音内容。在声音的情况下，包括对话的包可能比包括无声的包更有用。例如，911急救呼叫可能包括指定急救响应者应当到达的街道地址的对话。当存在拥挤时，网络设备的随机的包丢弃可能影响来自911急救呼叫的包括对话的包的损失。被丢弃的包可能包括诸如指定街道地址的对话之类的更有用的信息，而传输包包括诸如可能在呼叫期间存在的无声这样的不太有用的内容。
[0034]图1A图示用于对通信网络中的包进行优先化的系统100的实施例。在示例性实施例中，诸如摄像机102这样的源可以捕捉凡是在摄像机的镜头的视野内的图像。例如，摄像机102可以捕捉包括视频帧142的视频场景，视频帧包括诸如山脉140a、房屋140b、人140c、树140d、车道140e、卡车140h、牌照140g、卡车140f的司机的脸140f这样的内容。在示例性实施例中，摄像机102可以经由包括具有内容标识符的包106a发送所捕捉到的视频。内容标识符可以指示正在被传送的内容的实体类型，使得接收视频流的网络设备116或下游节点144的智能丢弃决定能够有效地降低带宽传送。
[0035]实体类型可以表示诸如脸104f、卡车140f、牌照140g、个性化标识符(未示出)等这样的真实世界物品。