信息编码方法、解码方法及装置与流程

本发明涉及信息处理技术领域，具体而言，涉及一种信息编码方法、解码方法及装置。

背景技术：

现有技术中，为了更好地实现场景再现，通常会在多媒体信息的基础上添加环境信息，以使用户体验到更为逼真的场景。但添加环境信息后，如何实现环境信息与多媒体信息的同步仍是一大问题，在使用中，若环境信息不能与多媒体信息同步再现，将会使用户体验大打折扣，无法满足用户的需求。

技术实现要素：

有鉴于此，本发明的目的在于提供一种信息编码方法、解码方法及装置，以解决上述问题。

为了实现上述目的，本发明较佳实施例采用如下技术方案：

一种信息编码方法，所述方法包括：获取多媒体信息及包括多个环境数据的环境信息；以及

对所述多媒体信息及环境信息进行编码，使每一单位的多媒体信息获得对应的环境数据。

本发明较佳实施例还提供一种信息解码方法，所述方法包括：

获取本发明提供的信息编码方法中的多媒体码流及环境码流，并对所述多媒体码流进行解码播放；以及

获取当前播放的单位多媒体信息的时间信息，从所述环境信息中查找出与当前播放的单位多媒体信息所处时间对应的环境数据，将所述环境数据发送到环境信息还原设备，控制该环境信息还原设备执行与该环境数据对应的操作。

本发明较佳实施例还提供一种信息编码装置，所述信息编码装置包括：

信息获取模块，用于获取多媒体信息及包括多个环境数据的环境信息；以及

同步编码模块，用于对所述多媒体信息及环境信息进行编码，使每一单位的多媒体信息获得对应的环境数据。

本发明较佳实施例还提供一种信息解码装置，所述信息解码装置包括：

码流获取模块，用于获取本发明提供的信息编码装置中的多媒体码流及环境码流，并对所述多媒体码流进行解码播放；以及

同步解码模块，用于获取当前播放的单位多媒体信息的时间信息，从所述环境信息中查找出与当前播放的单位多媒体信息所处时间对应的环境数据，将所述环境数据发送到环境信息还原设备，控制该环境信息还原设备执行与该环境数据对应的操作。

本发明实施例提供的信息编码方法、解码方法及装置，能够通过同步编码及解码，实现环境信息与多媒体信息的同步再现，能够提高用户体验，更好地满足用户的需求。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的场景还原系统的连接框图。

图2为本发明实施例提供的电子设备的方框示意图。

图3为本发明实施例提供的一种信息编码装置的功能模块框图。

图4为图3所示的多媒体编码子模块的连接框图。

图5为视频信息与音频信息的同步编码示意图。

图6为图3所示的环境数据同步编码子模块的连接框图。

图7为视频信息和环境信息的同步编码示意图。

图8为本发明实施例提供的一种信息解码装置的功能模块框图。

图9为本发明实施例提供的一种信息编码方法的流程示意图。

图10为图9所示的步骤S102的子步骤示意图。

图11为图10中所示的步骤S201的子步骤示意图。

图12为图10中所示的步骤S202的子步骤示意图。

图13为本发明实施例提供的一种信息解码方法的流程示意图。

图标：10-场景还原系统；100-电子设备；110-存储器；120-处理器；130-通信单元；140-音频单元；150-显示单元；200-信息采集设备；300-环境信息还原设备；400-网络；500-信息编码装置；501-信息获取模块；502-同步编码模块；510-多媒体编码子模块；511-时间信息获取单元；512-同步编码单元；520-环境数据同步编码子模块；521-环境信息检测单元；522-第一环境数据获取单元；5221-环境数据查找子单元；5222-环境数据计算子单元；523-第二环境数据获取单元；600-信息解码装置；601-码流获取模块；602-同步解码模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本发明实施例提供的信息编码方法、解码方法及装置可以适用于需要多媒体信息与环境信息同步播放的场景，例如：三维电影播放，又例如：真实地还原某一场景(如，监控现场等)。

如图1所示，是本发明较佳实施例提供的场景还原系统10的连接框图。所述场景还原系统10包括电子设备100、至少一个信息采集设备200以及环境信息还原设备300。所述电子设备100、信息采集设备200以及环境信息还原设备300通过网络400通信连接，以实现数据交互或通信。

所述信息采集设备200用于采集多媒体信息及环境信息，其中所述多媒体信息可以为音频信息和/或视频信息，所述环境信息可以包括温度信息、湿度信息、风力信息及风向信息中的至少一种。可选地，本实施例中，所述信息采集设备200可以包括麦克风、摄像头以及温度传感器、湿度传感器、风力传感器、风向传感器中的至少一种。

根据实际需求，所述信息采集设备200可以通过网络400连接到物联网传感云平台，以将采集到的数据存储到所述物联网传感云平台。所述信息采集设备200也可以直接与存储设备(如，U盘或者硬盘)电性连接，以将采集到的信息存储到所述存储设备。

所述环境信息还原设备300可以包括空调、湿度调节器以及风扇等，用于将采集到的环境信息还原。

所述电子设备100可以是具有音视频播放功能以及数据处理功能的任意设备(如，计算机、服务器等)，本实施例对此不做限制。

所述网络400可以是，但不限于，有线网络或无线网络。

如图2所示，是本发明较佳实施例提供的一种电子设备100的方框示意图。

所述电子设备100可以包括信息编码装置500、信息解码装置600、存储器110、处理器120、通信单元130、音频单元140及显示单元150。

所述存储器110、处理器120、通信单元130、音频单元140及显示单元150各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述信息编码装置500与信息解码装置600包括至少一个可以软件或固件(firmware)的形式存储于所述存储器110中或固化在所述电子设备100的操作系统(operating system，OS)中的软件功能模块。所述处理器120用于执行所述存储器110中存储的可执行模块，例如所述信息编码装置500与信息解码装置600所包括的软件功能模块及计算机程序等。

其中，所述存储器110可以是，但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)，可编程只读存储器(Programmable Read-Only Memory，PROM)，可擦除只读存储器(Erasable Programmable Read-Only Memory，EPROM)，电可擦除只读存储器(Electric Erasable Programmable Read-Only Memory，EEPROM)等。

所述处理器120可以是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(DSP))、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本实施例中，所述存储器110用于存储程序，所述处理器120在接收到执行指令后，执行所述程序。所述通信单元130用于通过网络400建立电子设备100、信息采集设备200与环境信息还原设备300之间的通信连接，并用于通过所述网络400收发数据。

所述音频单元140向用户提供音频接口，其可以包括一个或多个麦克风，一个或者多个扬声器以及音频电路。

所述显示单元150用于显示所述视频信息，或者在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)。在本实施例中，所述显示单元150可以是液晶显示器或触控显示器。

如图3所示，是本发明较佳实施例提供的一种信息编码装置500，所述信息编码装置500包括信息获取模块501与同步编码模块502。

其中，所述信息获取模块501用于获取多媒体信息及环境信息。

本实施例中，所述多媒体信息可以包括音频信息和/或视频信息，所述音频信息可以通过麦克风或者其他音频采集装置进行采集，所述视频信息可以通过摄像头进行采集。所述环境信息可以包括温度信息、湿度信息、风力信息以及风向信息中的至少一种。

所述多媒体信息与环境信息可以存储于存储设备(如U盘、硬盘)中，也可以存储于物联网传感云平台。实施时，所述电子设备100根据所述多媒体信息及环境信息的实际存储位置，获取所述多媒体信息及环境信息。

所述环境信息包括多个离散的环境数据。例如，当所述环境信息为温度信息，所述温度信息包括多个温度数据。当所述环境信息为湿度信息时，所述湿度信息包括多个湿度数据。

所述同步编码模块502用于同步地对所述多媒体信息及环境信息进行编码，使每一单位的多媒体信息获得对应的环境数据。

本实施例中，在获取所述多媒体信息及环境信息后，需要对所述多媒体信息及环境信息进行编码，以使每一单位的多媒体信息都有至少一个环境数据与之对应。

需要说明的是，当某一单位的多媒体信息与一个环境数据对应时，即意味着，该单位的多媒体信息与该环境数据所处时间相同。其中，每一单位的多媒体信息会持续一定时间，在该时间内可能采集到多个环境数据，因此，每一单位的多媒体信息可以与一个、两个或者多个环境数据对应。根据实际需求，本实施例以每一单位的多媒体信息与一个环境数据对应为例进行说明。

可选地，所述同步编码模块502可以包括多媒体编码子模块510与环境数据同步编码子模块520。

所述多媒体编码子模块510用于对所述多媒体信息进行编码，得到多媒体码流。

在本实施例中，当所述多媒体信息仅包括音频信息或视频信息时，可以直接对所述多媒体信息进行编码，以实现数据压缩。当所述多媒体信息同时包括音频信息和视频信息时，需要对所处时间相同的单位视频信息和单位音频信息同时进行编码。

请参阅图4，当所述多媒体信息同时包括音频信息和视频信息时，所述多媒体编码子模块510可以包括时间信息获取单元511和同步编码单元512。

其中，所述时间信息获取单元511用于同步地对所处时间相同的单位视频信息和单位音频信息进行编码。

需要说明的是，所述单位视频信息可以为一帧视频、两帧视频或者多帧视频，所述音频信息也可以为一帧音频、两帧音频或者多帧音频。下面将以一帧视频和一帧音频为单位举例进行说明。

本实施例中，每一帧视频和每一帧音频中都标记有时间信息，所述时间信息用于表征该帧视频和音频的实际采集时间。可选地，所述时间信息的标记方式可以为：在采集到的第一帧视频中标记第一系统时间戳，在所述第一帧视频后采集的每一帧视频中标记该视频帧与所述第一系统时间戳的相对时间戳。在采集到的第一帧音频中标记有第二系统时间戳，在所述第一帧音频后采集的每一帧音频中标记有该音频与所述第二系统时间戳的相对时间戳。

所述同步编码单元512用于同步地对所处时间相同的单位视频信息和单位音频信息进行编码。

以一帧视频和一帧音频为单位举例，本实施例中，所述电子设备100可以根据每一帧视频和每一帧音频中的时间戳进行编码。请参阅图5，直线L1表示视频信息，L1包括A0、A1、A2、A3及A4等多个视频帧，直线L2表示音频信息，L2包括B0、B1及B2等多个音频帧。

其中，A0为标记有第一系统时间戳的第一视频帧，B0为标记有第二系统时间戳的第一音频帧。当系统计时开始并且到达A0时，所述电子设备100开始对视频信息编码，当系统计时到达B0时，电子设备100开始对音频信息编码。并且，在对每一帧视频进行编码时，电子设备100检查所述音频信息中是否有到达对应相对时间戳的音频帧，若没有则不进行任何操作，若有则对该音频帧进行编码。例如，当电子设备100对A2视频帧进行编码时，可以检测到音频信息中的B1音频帧已经到达标记的相对时间戳，表明A2视频帧与B1音频帧所处的时间相同，应当对两者同步编码。

请再参阅图3，所述环境数据同步编码子模块520用于从所述环境信息中获取与每一单位的多媒体信息所处时间对应的环境数据，得到对应于多个单位的多媒体信息的多个环境数据，将获取的所述多个环境数据编码成与所述多媒体码流在时间上同步的环境码流。

此处所述的“在时间上同步”指，所处时间相同的单位多媒体信息和环境数据中的时间信息所表征的时间相同。

本实施例中，每一单位的多媒体信息和每个环境数据中均包括时间信息，每个环境数据中的时间信息用于表征该环境数据的实际采集时间。可选地，所述环境信息中标记时间信息的方式可以与所述多媒体信息相同。也即，采集到的第一个环境数据中标记有第一系统时间戳(或者第二系统时间戳)，第一个环境数据后采集到的每一个环境数据中标记有该环境数据与所述第一系统时间戳(或者第二系统时间戳)的相对时间戳。

需要说明的是，当所述多媒体信息中仅包含音频信息时，可以将每一单位的音频信息与环境数据对应。当所述多媒体信息中包含视频信息时，可以将每一单位的视频信息与环境数据对应。当所述多媒体信息中同时包含有视频信息和音频信息时，可以将每一单位的视频信息与每一单位的音频信息一一对应，再将每一单位的视频信息与环境数据对应。

请参阅图6，所述环境数据同步编码子模块520可以包括环境信息检测单元521、第一环境数据获取单元522以及第二环境数据获取单元523。

其中，所述环境信息检测单元521用于针对每一单位的多媒体信息，检测所述环境信息中是否存在与该单位的多媒体信息所处时间对应的环境数据。

此处所述的“与该单位的多媒体信息所处时间对应的环境数据”指，与该单位的多媒体信息的所处时间相同的环境数据，也即，该单位的多媒体信息所处时间的环境数据。

第一环境数据获取单元522用于在所述环境信息中不存在与该单位的多媒体信息所处时间对应的环境数据时，根据所述环境信息与所述多媒体信息的相对时间关系计算与该单位的多媒体信息所处时间对应的环境数据，将该单位的多媒体信息所处时间作为计算得到的环境数据的时间信息，获取该环境数据。

本实施例中，针对每一单位的多媒体信息，所述电子设备100获取该单位的多媒体信息中的相对时间戳，同时检测所述环境信息中是否存在已经到达标记的相对时间戳的环境数据，若有，则表明该环境数据与该单位的多媒体信息所处的时间相同，可以对该环境数据进行编码。若没有，则需要计算该单位的多媒体信息所处时间的环境数据，再对计算出的环境数据进行编码。

以所述多媒体信息中包括仅包括视频信息，或者同时包括视频信息和音频信息为例，如图7所示，直线L1表示视频信息，所述视频信息包括A0、A1、A2、A3及A4多个连续的视频帧，直线L3表示环境信息，所述环境信息包括C0、C1、C2及C3多个离散的环境数据。

其中，A0为第一视频帧，其中标记有第一系统时间戳。C0为第一个环境数据，其中标记有与第一视频帧中相同的系统时间戳，即第一系统时间戳。在实施时，当系统开始计时并到达所述第一系统时间戳所表示的时间时，同时开始对所述视频信息与环境信息进行编码。

在编码过程中，针对每一帧视频，如A2视频帧，电子设备100检测环境信息中是否存在已经到达标记的相对时间戳的环境数据，若存在，则表明该环境数据与A2视频帧所处时间相同，在对A2视频帧编码的同时，对所述环境数据编码。若不存在，则需要计算A2视频帧所处时间的环境数据，其具体计算过程可以由所述第一环境数据获取单元522实现。

对于所述多媒体信息仅包括音频信息的情况，可以以音频信息为参考，将所述环境信息与所述音频信息进行同步编码，其具体实现方式与上述对视频信息与环境信息的同步过程相同，此处不再赘述。

可选地，所述第一环境数据获取单元522可以包括环境数据查找子单元5221以及环境数据计算子单元5222。

所述环境数据查找子单元5221用于在所述环境信息中查找出与该单位的多媒体信息所处时间最接近的预设数量个环境数据。

所述环境数据计算子单元5222用于计算所述预设数量个环境数据的平均值，作为该单位的多媒体信息所处时间内的环境数据。

请再参阅图7，在对A2视频帧进行编码时，需要计算A2视频帧所处时间的环境数据。所述预设数量可以为一个，实施时，可以将环境数据C1或环境数据C2直接作为A2视频帧所处时间的环境数据。所述预设数量也可以为两个或者多个，以两个为例，实施时，与A2视频帧所处时间最接近的环境数据是C1和C2，则可以求出环境数据C1和环境数据C2的平均值，并将该平均值作为A2视频帧所处时间的环境数据。

在计算出A2视频帧所处时间的环境数据后，可以将A2视频帧所处时间转换成相对于第一系统时间戳的相对时间戳，标记到A2视频帧所处时间的环境数据中。

第二环境数据获取单元523用于在所述环境信息中存在与该单位的多媒体信息所处时间相同的环境数据时，获取该环境数据。

在编码得到多媒体码流和环境码流后，可以将所述多媒体码流和环境码流封装成一个多媒体文件，并将所述多媒体文件存储到云平台或者存储设备中。

本发明较佳实施例还提供一种信息解码装置600，用于对本发明提供的信息编码装置500编码形成的多媒体码流及环境码流进行解码播放。

如图8所示，所述信息解码装置600包括码流获取模块601和同步解码模块602。

其中，所述码流获取模块601用于获取所述信息编码装置500编码形成的多媒体码流及环境码流，并对所述多媒体码流进行解码播放。

本实施例中，所述电子设备100获取经编码形成的多媒体码流和环境码流后，直接对所述多媒体码流进行解码播放。当所述多媒体码流包括视频码流和音频码流时，需要对所述视频码流和音频码流中的所处时间相同的单位视频信息和单位音频信息同时进行解码播放。

所述同步解码模块602用于获取当前播放的单位多媒体信息的时间信息，从所述环境信息中查找出与当前播放的单位多媒体信息所处时间对应的环境数据，将所述环境数据发送到环境信息还原设备300，控制所述环境信息还原设备300执行与该环境数据对应的操作。

本实施例中，需要参照当前播放的多媒体信息中的时间信息对环境信息进行解码还原。假设所述时间信息为时间戳，在实施时，电子设备100获取当前播放的单位多媒体信息中的时间戳，查找出所述环境信息中到达时间戳的环境数据，则该到达时间戳的环境数据与当前播放的单位多媒体信息所处时间相同，将所述环境数据发送到环境信息还原设备300进行还原。

可选地，所述环境信息还原设备300可以包括空调、湿度调节器及风扇中的至少一种。其中，当所述环境信息包括温度信息时，所述环境信息还原设备300至少包括空调，也即，所述空调用于还原所述温度信息。当所述环境信息包括湿度信息时，所述环境信息还原设备300至少包括湿度调节器，也即，所述湿度调节器用于还原所述湿度信息。当所述环境信息包括风向信息及风力信息时，所述环境信息还原设备300至少包括风扇，也即，所述风扇用于还原所述风向信息及风力信息。

如图9所示，本发明较佳实施例还提供一种信息编码方法，所述方法应用于所述电子设备100。所述方法有关的流程所定义的方法步骤可以由所述电子设备100中的处理器120来实现。下面将对图9所示的具体流程进行详细的阐述。

步骤S101：获取多媒体信息及包括多个环境数据的环境信息。

本实施例中，步骤S101可以由图3中的信息获取模块501执行。

步骤S102：对所述多媒体信息及环境信息进行编码，使每一单位的多媒体信息获得对应的环境数据。

本实施例中，步骤S102可以由图3中的同步编码模块502执行。

可选地，如图10所示，所述步骤S102可以包括步骤S201和步骤S202两个子步骤。

步骤S201：对所述多媒体信息进行编码，得到多媒体码流。

本实施例中，步骤S201可以由图3中的多媒体编码子模块510执行。

步骤S202：从所述环境信息中获取与每一单位的多媒体信息所处时间相同的环境数据，得到对应于多个单位的多媒体信息的多个环境数据，将获取的所述多个环境数据编码成与所述多媒体码流在时间上同步的环境码流。

其中，每一单位的多媒体信息中包括时间信息，每个环境数据中包括时间信息。本实施例中，步骤S202可以由图3中的环境数据同步编码子模块520执行。

可选地，所述环境信息可以包括视频信息和/或音频信息，如图11所示，当所述多媒体信息同时包括视频信息和音频信息时，所述步骤S201可以包括步骤S301和步骤S302两个子步骤。

步骤S301：获取所述视频信息和音频信息中的时间信息。

本实施例中，步骤S301可以由图4中的时间信息获取单元511执行。

步骤S302：对所处时间相同的单位视频信息和单位音频信息同时进行编码，得到在时间上同步的视频码流和音频码流。

本实施例中，步骤S302可以由图4中的同步编码单元512执行。

可选地，如图12所示，所述步骤S202可以包括步骤S401、步骤S402和步骤S403三个次子步骤。

步骤S401：针对每一单位的多媒体信息，检测所述环境信息中是否存在与该单位的多媒体信息所处时间对应的环境数据。若不存在，则执行步骤S402。若存在，则执行步骤S403。

步骤S402：根据所述环境信息与所述多媒体信息的相对时间关系计算与该单位的多媒体信息所处时间对应的环境数据，将该单位的多媒体信息所处时间作为计算得到的环境数据的时间信息，获取包括该时间信息的环境数据。

步骤S403：获取该环境数据。

本实施例中，步骤S401可以由图6中的环境信息检测单元521执行，步骤S402可以由图6中的第一环境数据获取单元522执行，步骤S403可以由图6中的第二环境数据获取单元523执行。

其中，步骤S402中，根据所述环境信息与所述多媒体信息的相对时间关系计算与该单位的多媒体信息所处时间对应的环境数据的方式可以如下：

首先，在所述环境信息中查找出与该单位的多媒体信息所处时间最接近的预设数量个环境数据。

本实施例中，此步骤可以由图6中所示的环境数据查找子单元5221执行。

其次，计算所述预设数量个环境数据的平均值，作为与该单位的多媒体信息所处时间对应的环境数据。

本实施例中，此步骤可以由图6中所示的环境数据计算子单元5222执行。

如图13所示，本发明较佳实施例还提供一种信息解码方法，用于对通过本发明提供的信息编码方法编码形成的多媒体码流和环境码流进行解码播放。所述方法有关的流程所定义的方法步骤可以由所述电子设备100中的处理器120来实现。下面将对图13所示的具体流程进行详细的阐述。

步骤S203：获取多媒体码流及环境码流，并对所述多媒体码流进行解码播放。

其中，所述多媒体码流及环境码流由本发明提供的信息编码方法编码形成。本实施例中，步骤S203可以由图8中所示的码流获取模块601执行。

步骤S204：获取当前播放的单位多媒体信息的时间信息，从所述环境信息中查找出与当前播放的单位多媒体信息所处时间对应的环境数据，将所述环境数据发送到环境信息还原设备300，控制所述环境信息还原设备300执行与该环境数据对应的操作。

其中，所述环境信息还原设备300包括空调、湿度调节器及风扇中的至少一种。本实施例中，步骤S204可以由图8中所示的同步解码模块602执行。

综上所述，本发明实施例提供的信息编码方法、解码方法及装置，通过对采集到的环境信息与多媒体信息进行同步编码和解码，将环境信息同步地添加到多媒体信息中，从而实现环境信息与多媒体信息的同步解码播放。上述设计使得最终还原的场景更加逼真，能够更好地满足用户的需求。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。