信息编解码方法、设备和视频监控系统的制作方法
【专利摘要】本发明实施方式公开了信息编解码方法、设备和视频监控系统。该信息编码方法包括：将与监控视频数据相关的特征信息转换成文本信息；对文本信息以可扩展标记语言格式进行结构化描述；以及将结构化描述作为监控视频的一种监控扩展信息，和监控视频数据一起编码到监控视频码流中。根据本发明的实施方式，提供了一种高扩展性地和简便易行地将与监控视频数据相关的特征信息数据编码在视频数据中、以及从视频数据码流中提取特征信息的方案。
【专利说明】
信息编解码方法、设备和视频监控系统
技术领域
[0001]本发明的实施方式涉及视频监控的技术领域，具体而言，涉及一种将特征信息编码在视频中的信息编码方法和设备、一种从监控视频码流中提取特征信息的信息解码方法和设备、以及一种视频监控系统。
【背景技术】
[0002]随着视频监控的日益普及，特别是随着物联网技术和视频监控技术的发展结合，应用于监控行业的视频码流可携带很多与视频数据关联的监控扩展信息，比如物联网特征信息数据，比如，如时间、地点、报警事件信息、传感器信息等。在现有视频监控系统中，监控摄像机产生特征信息数据，通过网络传输，在视频监控平台端可提取特征信息数据进行实时显示或查看。在系统设计过程中，特征信息数据从前端产生到被视频监控平台提取，中间需要经过多重交互。
[0003]上述数据交互过程往往由视频监控装置提供者和使用者通过交互协议的方式进行约定，对于这种方式，由于监控扩展信息涵盖的特征信息类型日益增多，对特征信息进行处理的规模也变得庞大，每增加一项新的特征信息数据，在信息提取以及使用环节都需要重新协商数据交互协议，开发和维护的难度也日益增加，同时给系统的稳定性带来了隐患；而如果不协商交互协议，那么这些特征信息则无法使用。针对以上问题，期望改善诸如与视频数据相关的特征信息数据的视频监控系统的监控扩展信息数据在监控摄像机和视频监控平台之间的交互。
【发明内容】
[0004]本发明的实施方式所要解决的技术问题是改善与视频数据相关的特征信息数据的编码和解码。
[0005]根据本发明的第一方面，提供一种信息编码方法。该方法可以包括:将与监控视频数据相关的特征信息转换成文本信息;对所述文本信息以可扩展标记语言格式进行结构化描述；以及将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中。
[0006]进一步地，与监控视频数据相关的特征信息可以为监控视频中出现的特定事件。该方法还可以包括:对所述监控视频数据进行智能分析；以及提取出所述监控视频中出现的所述特定事件。将与监控视频数据相关的特征信息转换成文本信息具体为:对所述监控视频数据中出现的所述特定事件以文本形式进行描述。
[0007]进一步地，与监控视频数据相关的特征信息可以为物联网传感器的读数、或者针对所述视频数据人为插入的信息。
[0008]根据本发明的第二方面，提供一种信息编码设备。该设备可以包括:转换装置，用于将与监控视频数据相关的特征信息转换成文本信息；结构化描述装置，用于对所述文本信息以可扩展标记语言格式进行结构化描述；以及编码装置，用于将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中。
[0009]进一步地，与监控视频数据相关的特征信息可以为视频中出现的特定事件。该设备还包括:分析装置，用于对所述监控视频数据进行智能分析；以及提取装置，用于提取出所述监控视频中出现的所述特定事件。将与监控视频数据相关的特征信息转换成文本信息可以具体为:对所述监控视频数据中出现的所述特定事件以文本形式进行描述。
[0010]进一步地，与视频数据相关的特征信息可以为物联网传感器的读数、或者针对所述视频数据人为插入的信息。
[0011]根据本发明的第三方面，提供一种信息解码方法。该方法可以包括:从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息；以及从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。
[0012]根据本发明的第四方面，提供一种信息解码设备。该设备可以包括:解析装置，用于从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息；以及提取装置，用于从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。
[0013]根据本发明的第五方面，提供一种视频监控系统。该系统可以包括:监控摄像机，被配置为采集监控视频数据，将与监控视频相关的特征信息转换成文本信息，对所述文本信息以可扩展标记语言格式进行结构化描述，并且将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中；以及视频监控平台，被配置为接收所述监控摄像机发送的所述监控视频码流，从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息，并且从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。
[0014]进一步地，视频监控平台还可以被配置为:通过字符匹配的方式对所提取出的以文本信息形式的特征信息进行处理;和/或通过语义从所提取出的以文本信息形式的特征信息中提取数据。
[0015]根据本发明的实施方式，提供了一种高扩展性地和简便易行地将与监控视频数据相关的特征信息数据编码在视频数据中的方案。提取特征信息时，先解析得到码流中的监控扩展信息，进一步提取其中的可扩展标记数据，进而得到其中的文本描述信息。从而，使得能够在信息交互环节不再关注特征信息的具体含义。
【附图说明】
[0016]图1示出了根据本发明实施方式的方法可以在其中应用的系统的结构示意图；
[0017]图2示出了根据本发明一种实施方式的信息编码方法的流程图；
[0018]图3示出了根据本发明一种实施方式的监控视频码流的结构示意图；
[0019]图4示出了根据本发明一种实施方式的信息解码方法的流程图；
[0020]图5示出了根据本发明一种实施方式的信息编码设备的框图；以及[0021 ]图6示出了根据本发明一种实施方式的信息解码设备的框图。
【具体实施方式】
[0022]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]参考图1，其示出了根据本发明实施方式的方法可以在其中应用的系统100的结构图。系统100包括监控摄像机1I和视频监控平台102。监控摄像机1I产生监控视频、以及获得与视频相关的特征信息，并且将监控视频数据和特征信息数据一起上传给视频监控平台102。视频监控平台102可以对接收的数据进行处理，从中提取出与视频相关的特征信息数据和/或对其执行进一步的处理。
[0024]与视频相关的特征信息可以是与监控摄像机101连接的各种物联网传感器采集的数据、监控摄像机101对监控的视频进行智能分析所产生的数据、或者人为插入的数据。
[0025]参考图2，其示出了根据本发明一种实施方式的信息编码方法200的流程图。
[0026]在步骤S210，将与监控视频数据相关的特征信息转换成文本信息。
[0027]在步骤S220，对文本信息以可扩展标记语言(XML)格式进行结构化描述。
[0028]在步骤S230，将结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中。
[0029]根据本发明实施方式的信息编码方法，前端监控摄像机处的特征信息数据可以经过处理，选择以文本信息的方式进行表达，然后将文本信息以可扩展标记语言进行结构化封装，并且将该结构化标记语言的封装以一定的语法编码在视频码流中，通过网络发送给视频监控平台。
[0030]在一个实施方式中，与监控视频数据相关的特征信息是各种物联网传感器的读数，包括时间信息、地点信息、温度信息、湿度信息、报警事件信息、传感器工作状况信息等。物联网传感器可以与监控摄像机相通讯。例如，视频监控摄像机可以采集摄像机附近的传感器信息，以文本信息的方式描述，例如“当前温度:°C”，还可以选择将时间、地点等其他信息进行文字描述。
[0031]在一个实施方式中，方法200在步骤S210之前还可以包括:步骤S202，利用智能视频分析算法，对视频数据进行智能分析；以及步骤S204，提取出视频中出现的特定事件。与视频数据相关的特征信息可以是对视频中出现的特定事件的文本形式的描述。
[0032]智能视频分析算法可以是用于检测人物或车辆等物体出现在监控画面中的算法、用于人脸识别的算法、用于识别人群聚集的算法、或者其他任何适当的算法。
[0033]视频监控摄像机可以在采集音视频数据的同时，可选择对视频图像进行智能分析，并对发生的特定事件以文本形式进行描述。这样的文本信息例如可以是“发生区域入侵报警，区域的坐标是X”、“出现人脸，它的坐标是Y”等。
[0034]在一个实施方式中，与监控视频数据相关的特征信息可以是人为在视频数据中插入的信息。可以插入其他关联信息例如“旁白:A”、“字幕:B”。
[0035]可以在视频监控摄像机端将文本信息进行编码，以特定语法T以结构化标记语言(XML)进行封装，包含在视频码流中。例如，可以约定将视频数据相关的特征信息的文本信息插入在一帧视频图像的帧头、中间、或者结尾处，并且以特定的前导符号引导。视频监控平台可以从视频码流中的提取出所述前导符号引导的文本描述信息。
[0036]在一个实施方式中，视频码流可以包括位于首部的结构化描述信息和位于其后的视频数据。可选地，结构化描述信息也可以在视频码流中位于视频数据之后。
[0037]作为一个示例，图3示出了根据本发明一种实施方式的监控视频码流的结构示意图。根据本发明实施方式的方式可以适用于国家标准“安全防范监控数字视音频编解码技术标准” SVAC标准(GB/T 25724-2010)。如图3所示，一个SVAC码流可以包括视频数据NAL(网络抽象层;Network Abstract1n Layer)单元和位于其后的监控扩展信息NAL单元。监控扩展信息NAL单元可以包括一个以可扩展标记语言格式(XML)进行结构化描述的监控扩展信息块。该监控扩展信息块是对某视频监控相关地址信息的XML描述。
[0038]进一步地，XML格式的结构化描述信息还可以描述至少一个特征信息的文本信息在解码后的视频中的呈现位置。
[0039]参考图4，其示出了根据本发明一种实施方式的信息解码方法400的流程图。
[0040]在步骤S410，从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息。
[0041]在步骤S420，从结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。
[0042]根据本发明实施方式的信息解码方法，视频监控平台提取特征信息时，可以从接收的获取码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息，进一步提取其中的文本信息形式的特征信息。该文本信息可直接用于实时显示或其他的处理。
[0043]在视频监控平台处，可以获取以特定语法T以结构化标记语言进行封装的视频码流数据，通过对应的解码，获得视频中的文本信息。可选地，还可以获取文本信息在视频中的呈现位置等信息。从而，监控平台可将文本信息叠加在对应的实时视频画面中进行显示。
[0044]在一个实施方式中，在视频监控平台处，可以通过字符匹配的方式对所提取出的文本信息进行处理。例如，监控平台可以通过字符匹配来快速处理接收到的视频，查找到特定文本信息对应的一个或多个视频段;或者，在监控平台处或者监控平台自身，可以通过语义检索从文本信息中提取数据，用于进行相应的应用开发。
[0045]参考图5，其示出了根据本发明一种实施方式的信息编码设备500的框图。信息编码设备500可以包括:转换装置510，用于将与监控视频数据相关的特征信息转换成文本信息;结构化描述装置520，用于将文本信息以可扩展标记语言格式进行结构化描述；以及编码装置530，用于将结构化描述作为监控视频的一种监控扩展信息，和监控视频数据一起编码到监控视频码流中。
[0046]参考图6，其示出了根据本发明一种实施方式的信息解码设备600的框图。信息编码设备600可以包括:解析装置610，用于从接收的监控视频码流中解析出以可扩展标记语言格式进行的结构化描述的监控扩展信息；以及提取装置620，用于从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。
[0047]应当理解，设备500中记载的每个模块与参考图2描述的方法200中的每个步骤相对应，并且设备600中记载的每个模块与参考图4描述的方法400中的每个步骤相对应。由此，上文针对图2描述的操作和特征同样适用于设备500及其中包含的模块，并且上文针对图4描述的操作和特征同样适用于设备600及其中包含的模块，在此不再赘述。
[0048]根据本发明的各种实施方式，在视频监控端，可以对视频数据相关的特征信息进行文本描述，并且对文本描述以结构化标记语言进行结构化描述和编码，视频监控平台只需根据约定语法从视频码流中提取出结构化描述，并且从中解析出文本描述的特征信息。从而，与现有的视频特征信息的编码方法相比，能够极大地提高特征信息传输的扩展性。在现有监控编码端，对特征信息的处理不采用文本描述，只采取数据编码的方式进行，一方面不可能穷举所有的特征信息，另一方面扩展性不好。另外，在现有监控系统中，在前端编码和数据交互环节中都没有利用结构化形式的文本描述所带来的灵活性。在信息交互环节关心信息内容，随着特征信息的增加，会带来系统复杂度的上升。根据本发明的实施方式，在信息交互环节可不关心信息内容，而是以透明传输的方式进行，从而提供了一种扩展性强且简便的特征信息编码和传输方法。
[0049]根据本发明的各种实施方式，在视频监控平台，还可以对文本描述的特征信息进行快速检索，也可以通过文字中的语义进行数据提取并二次利用。另外，根据本发明实施方式的特征信息编码方案可以与传统数据交互方式共存。这样，在很多应用场合，相比传统的数据交互方式，基于结构化标记语言的特征信息文本描述的编码与交互方式可以形成一个重要的补充。
[0050]应当理解，本发明实施方式所提出的信息编码方法和设备可以被实现为软件、硬件或者软件和软件的组合。硬件可通过被设计来执行上述功能的转用集成电路(ASIC)、数字信号处理器(DSP)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微处理器、其他电子单元或其组合来实现。软件可通过执行上述功能的模块来实现。软件可被存储在存储单元中并由处理器运行。作为存储单元或处理器，可采用本领域技术人员公知的各种单元。
[0051]已经出于示出和描述的目的给出了本发明的说明书，但是其并不意在是穷举的或者限制于所公开形式的发明。本领域技术人员可以想到很多修改和变体。在不脱离本发明精神的前提下，做出的所有修改和替换都将落入所附权利要求定义的本发明保护范围内。
【主权项】
1.一种信息编码方法，其特征在于，包括: 将与监控视频数据相关的特征信息转换成文本信息； 对所述文本信息以可扩展标记语言格式进行结构化描述；以及将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中。2.根据权利要求1所述的方法，其特征在于，所述与监控视频数据相关的特征信息为监控视频中出现的特定事件，所述方法还包括: 对所述监控视频数据进行智能分析；以及 提取出所述监控视频中出现的所述特定事件， 其中，所述将与监控视频数据相关的特征信息转换成文本信息具体为:对所述监控视频数据中出现的所述特定事件以文本形式进行描述。3.根据权利要求1所述的方法，其特征在于，所述与监控视频数据相关的特征信息为物联网传感器的读数、或者针对所述视频数据人为插入的信息。4.一种信息编码设备，其特征在于，包括: 转换装置，用于将与监控视频数据相关的特征信息转换成文本信息； 结构化描述装置，用于对所述文本信息以可扩展标记语言格式进行结构化描述；以及编码装置，用于将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中。5.根据权利要求4所述的设备，其特征在于，所述与监控视频数据相关的特征信息为视频中出现的特定事件，所述设备还包括: 分析装置，用于对所述监控视频数据进行智能分析；以及 提取装置，用于提取出所述监控视频中出现的所述特定事件， 其中，所述将与监控视频数据相关的特征信息转换成文本信息具体为:对所述监控视频数据中出现的所述特定事件以文本形式进行描述。6.根据权利要求4所述的设备，其特征在于，所述与视频数据相关的特征信息为物联网传感器的读数、或者针对所述视频数据人为插入的信息。7.一种信息解码方法，其特征在于，包括: 从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息；以及 从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。8.一种信息解码设备，其特征在于，包括: 解析装置，用于从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息；以及 提取装置，用于从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。9.一种视频监控系统，其特征在于，包括: 监控摄像机，被配置为采集监控视频数据，将与监控视频相关的特征信息转换成本文信息，对所述文本信息以可扩展标记语言格式进行结构化描述，并且将所述结构化描述作为监控视频的一种监控扩展信息，和所述监控视频数据一起编码到监控视频码流中；以及视频监控平台，被配置为接收所述监控摄像机发送的所述监控视频码流，从接收的监控视频码流中解析出以可扩展标记语言格式进行结构化描述的监控扩展信息，并且从所述结构化描述的监控扩展信息中提取出与监控视频数据相关的以文本信息形式的特征信息。10.根据权利要求9所述的系统，其特征在于，所述视频监控平台还被配置为: 通过字符匹配的方式对所提取出的以文本信息形式的特征信息进行处理;和/或 通过语义从所提取出的以文本信息形式的特征信息中提取数据。
【文档编号】H04N19/46GK105847752SQ201610255643
【公开日】2016年8月10日
【申请日】2016年4月22日
【发明人】马伟, 王秦镜
【申请人】广东中星电子有限公司