一种视频数据和传感器数据的编码方法和装置与流程

本发明涉及数据编码领域，尤其涉及一种视频数据和传感器数据的编码方法和装置。

背景技术：

随着物联网的迅速发展，越来越多的应用场景需要利用视频采集设备及各类传感器设备记录环境数据。然而在现有技术中，视频采集设备采集到的视频数据和传感器设备采集到的传感器数据大都是分开储存的，这使得两类数据的关联性较差。现有技术还提供了在系统软化初始设计时将上述两类数据预先关联的方案，但是在“大数据”的应用中，很多应用是随机的，无法在初始设计时提前设定数据关联方案。现有技术所提供对数据的储存方式不利于后期新增加的应用对传感器数据的联合检索或者分析处理。且当视频数据或者传感器数据在不同平台上中转时，操作人员需要对数据的相关性及完整性做繁琐而细致的工作，这也给后期的数据维护带来不便。

技术实现要素：

本发明实施例提供一种视频数据和传感器数据的编码方法和装置，将同一时间内采集到的视频数据和各类传感器数据编入同一视频码流，解决了现有技术中视频数据和各类传感器数据分开存储的问题。

本发明一实施例提供了一种视频数据和传感器数据的编码方法，包括：

采集视频采集区域的视频数据和至少一种传感器数据；

将同一时间内采集到的所述视频数据和所述至少一种传感器数据编入同一视频码流中。

本发明一实施例提供了一种视频数据和传感器数据的编码装置，包括：

视频采集器，用于采集视频采集区域的视频数据；

至少一个传感器，用于采集视频采集区域的至少一种传感器数据；

数据编码单元，用于将同一时间内采集到的所述视频数据和所述至少一种传感器数据编入同一视频码流中；

本发明实施例提供的一种视频数据和传感器数据的编码方法和装置，将视频数据和传感器数据编入同一视频码流中，视频数据和传感器数据在时间上同步关联，方便了后端应用对视频数据和传感器数据的分析检索；且由于两种数据通过该同一视频码流传输和保存，可保证视频码流在不同平台之间转移或者拷贝时，仍然保持两种数据的关联性和完整性。

附图说明

图1为本发明实施例提供的一种视频数据和传感器数据的编码方法流程图。

图2a～2b为本发明实施例提供的一种视频数据和传感器数据的编码方法的应用原理示意图。

图3a～3b为本发明实施例提供的一种视频数据和传感器数据的编码方法的应用原理示意图。

图4a～4b为本发明实施例提供的一种视频数据和传感器数据的编码方法的应用原理示意图。

图5为本发明实施例提供的一种H.264标准中传输单元NAL结构图。

图6为本发明实施例提供的一种视频数据和传感器数据的编码装置结构图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种视频数据和传感器数据的编码方法流程图。如图1所示，该编码方法包括如下步骤。

步骤110：采集视频采集区域的视频数据和至少一种传感器数据。

在本发明一实施例中，可以通过视频采集设备采集视频数据，视频采集设备可以是摄像头、摄像机或者录像机等。视频数据可同时包括视频采集区域的画面数据及声音数据。传感器数据可通过传感器设备采集，利用不同的传感器设备可以得到不同的传感器数据，传感器设备可以是温度传感器、位移传感器、压力传感器或者液位传感器等。在本发明一实施例中，传感器数据包括温度、湿度、运动速度或者位置。

在本发明一实施例中，传感器设备预先布置在视频采集区域的指定位置，以获取视频采集区域指定位置的传感器数据。该指定位置的传感器数据和视频采集区域的视频数据编入同一视频码流后，该视频码流可通过一个视频播放设备解码以显示出其视频图像，此时该在指定位置采集的传感器数据可显示在该视频图像上的指定位置。

本领域技术人员可以理解，传感器数据的种类可根据用户对视频采集区域的采集需求而定，用户可根据实际的采集需求增加或减少传感器数据的种类，本发明对此不做限定。

步骤120：将同一时间内采集到的所述视频数据和所述至少一种传感器数据编入同一视频码流中。

如前所述，用户可根据实际采集需求选择传感器数据的种类。当将同一时间内采集到的视频数据与温度/湿度传感器数据编入同一视频码流时，该视频码流被播放时可实时显示该在视频采集区域采集的温度/湿度数据。例如，如图2a所示，在一个植物幼苗培育中心，可在该培育中心的几个指定位置分别设置温度/湿度传感器，这些指定位置采集的温度/湿度数据将和视频数据一起编入同一视频码流。这样当该视频码流被实时播放时，如图2b所示，在视频码流的视频图像上即可实时显示该几个指定位置上所采集的温度/湿度数据，从而使得工作人员可以及时调整环境条件，保证植物幼苗的健康成长。工作人员还可以将这些视频码流作为资料进行保存，之后便可根据该视频码流获取植物幼苗培育中心在任意时刻某一指定位置的温度/湿度数值，再结合视频图像即可获取植物幼苗各个生长阶段的一系列温度/湿度数据，这无疑对植物生长的科学研究工作具有重要意义。

当将同一时间内采集到的视频数据与速度传感器数据编入同一视频码流时，该视频码流被播放时可实时显示在视频采集区域采集的速度数值。例如，可将本发明提供的视频数据和传感器数据编码方法应用在行车记录仪上。如图3a所示，该行车记录仪中包括一个速度传感器，且该行车记录仪可将该速度传感器采集到的速度数据和拍摄到的道路视频数据编入同一视频码流。该行车记录仪形成的视频码流在播放时，如图3b所示，行车记录仪的视频监控 图像上会对应显示该时刻车辆行驶的速度数值。这样当车辆发生交通意外时，不仅能够通过视频码流了解当时的周围环境，还能够知道当时车辆的行驶速度，为划定事故责任提供证据。

当将同一时间内采集到的视频数据与位置传感器数据编入同一视频码流时，该视频码流被播放时可实时显示在该视频监控区域采集的位置坐标数值。在本发明一实施例中，可将本发明提供的视频数据和传感器数据编码装置应用于某种穿戴设备中，相应的位置传感器可为一个GPS模块，这样该穿戴装置既可以实时记所处周围环境的影像，也可以记录穿戴者的以经纬度表示的具体位置坐标。例如，如图4a所示，当该穿戴设备为手表时，该手表中内置一个GPS模块和一个视频采集器，只要使用者戴上该手表就可以实时记录使用者所处的以经纬度表示的GPS位置信息以及周围的环境影像，而且该GPS位置信息以及环境影像被编入同一视频码流。这样该视频码流在播放时，如图4b所示，该视频码流的视频图像可以实时显示每帧视频图像所对应位置的经纬坐标。

本领域技术人员可以理解的是，本发明仅提供了有限个应用场景，使用者可以根据自己的需求将本发明提供的视频数据和传感器数据编码装置应用在不同场景中，本发明对此不做限定。

在本发明一实施例中，可按照帧的方式将同一时间内的采集到的视频数据和各种传感器数据封装到同一视频码流的多个传输单元中，从而保证每一帧数据所对应的视频码流数据即包括视频数据又包括传感器数据，以提高两种数据关联的准确性。

具体过程可为：将与一帧视频数据相对应的至少一种传感器数据分别封装在该帧视频数据的至少一个传输单元中；其中，传输单元包括传输单元头和传 输单元载荷；每个传输单元的传输单元头中对应设置一种传感器标识；与该传输单元对应的传输单元载荷赋值为相应传感器的传感器数据。

本领域技术人员可以理解，现有的视频流格式标准(例如，H.264标准、AVS标准、或MPEG标准)中的传输单元均包括传输单元头(header)和传输单元载荷(payload)两部分。但由于各种视频标准对传输单元头长度以及传输单元载荷长度的定义可能会有不同，传感器标识在传输单元头内所占的比特位或长度可能会存在差异。本发明对此不做限定。

在本发明一实施例中，传感器标识由传输单元头中未定义的比特位或未定义的比特位取值表示。由于传输单元的结构可符合H.264标准、AVS标准、或MPEG标准。下面以H.264标准为例对传输单元的结构进行解释说明。H.264标准的传输单元(NAL单元)包括传输单元头(header)和传输单元载荷(payload)两部分，每个NAL单元由8比特的传输单元头部分和可变长度的传输单元载荷部分组成，其中，传输单元头部分包括5比特长度的NAL单元类型标识(nal_unit_type)，如图5所示。在H.264标准中，部分nal_unit_type的取值已经预先确定，但保留了nal_unit_type取值为24到31的NAL单元未定义。在本发明一实施例中，可将nal_unit_type取值为24到31的NAL单元分别用于传输不同的传感器数据。例如，在一个NAL单元，传输头单元中的nal_unit_type取值为24，则定义此取值为24的nal_unit_type表示温度传感器标识，对应的传输单元载荷赋值为温度传感器数据。而当nal_unit_type取值为31时，则定义此取值为31的nal_unit_type表示位移传感器标识，对应的传输单元载荷赋值为位移传感器数据。

在本发明一实施例中，还可读取外接设备的输入数据，并将外接设备的输入数据与视频码流关联存储。这样就可将视频数据和各种传感器数据与外接设 备的输入数据相关联，进一步保证视频数据和传感器数据的唯一性从而使得后端对视频数据和传感器数据的分析检索更加便捷。例如，一个摄像师可通过一个身份证读取设备将自己的身份证信息编入视频码流中。这样所形成的视频码流在播放时，可以同步显示视频拍摄者身份信息，进而确定该视频的所有者的版权。再例如，在播放一段爱心捐赠视频时，可通过一个银行卡读卡设备将被捐赠者的银行卡信息也随视频图像实时显示，方便捐赠者第一时间知晓捐款方式。在本发明另一实施例中，在设置银行卡读取单元的同时，也可以通过一个身份证读取设备将被捐赠者的身份信息编入视频码流，可进一步方便捐赠者了解被捐赠者的信息。再例如，还可通过一个二维码读取设备将企业的二维码信息与企业宣传的视频码流关联起来。这样当该企业宣传视频被播放时，观看者可以扫描与视频同步播出的二维码，以了解更多企业信息。

本领域技术人员可以理解，用户可以根据实际需要选择不同的外接设备输入不同的数据，本发明对外接设备输入数据的具体形式不做限定。

图6为本发明实施例提供的一种视频数据和传感器数据的编码装置结构图。如图6所示，该编码装置包括：视频采集器、至少一个传感器和数据编码单元。

视频采集器用于采集视频采集区域的视频数据。至少一个传感器用于采集视频采集区域的至少一种传感器数据。数据编码单元，用于将同一时间内采集到的所述视频数据和所述至少一种传感器数据编入同一视频码流中。

视频采集器和传感器将同一时间内采集到的视频数据和传感器数据传输至数据编码单元。数据编码单元在视频码流数据传输单元的传输单元头中定义传感器标识，并将与传输单元头对应的传输单元载荷赋值为相应的传感器数据。以温度传感数据为例，数据编码单元在一个传输单元的传输单元头中定义温度 传感器标识，对应的传感器载荷赋值为具体的温度数据。

本领域技术人员可以理解，用户可根据对视频采集区域的采集需求增加或减少传感器的种类和数量，本发明对此不做限定。

本领域技术人员同样可以理解，数据编码单元可以通过软件或硬件实现。当数据编码单元通过软件实现时，该软件可安装在一个服务器或PC机上。此时该数据编码单元与视频采集器和传感器的连接可通过与服务器或PC机的电路连接实现。本发明对数据编码单元的具体实现形式不做限定。

在本发明一实施例中，还可以在该装置上设置外接设备读取单元，用于读取外接设备的信息，并将读取到的信息与所述视频数据关联储存，以便于后端的具体应用。

在本发明一实施例中，外接设备读取单元可为一个身份证读取单元，可将读取到的身份证信息与视频码流关联起来。外接设备读取单元还可以为一个银行卡读取单元，以将读取到的银行卡信息与视频码流关联起来。在本发明一实施例中，外接设备读取单元还可以是一个二维码读取单元，以将读取到的二维码数据与视频码流关联起来。

本领域技术人员可以理解，使用者可以根据具体的应用场景，选择外接不同的外接设备读取单元，本发明对外接设备读取单元的具体形式不做限定。

本领域技术人员还可以理解的是，在该装置上设置外接设备读取单元是对本装置的进一步拓展。在具体应用时，这些外接设备可以安装也可以不安，本发明对此不做限定。

上述实施例只为说明本发明的技术构思及特点，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。