视频传输方法及其装置与流程

本发明涉及数据传输领域，具体涉及一种视频传输方法及其装置。

背景技术：

如今，增强现实(ar)越来越多地应用于人们的日常生活中。在ar使用中有时可能会用到远程实时通信的情况。然而，当附加的ar内容比较多的时候可能会对通信传输会带来负担，增加传输的延迟，使得ar视频传输的效率变得低下。

因此，需要一种高效的ar视频传输方法。

技术实现要素：

为了解决上述问题，本发明实施例提供了一种视频传输方法及其装置。

根据本发明的一个方案，提供了一种用于视频传输的方法，应用于电子设备，所述方法包括：

获取待传输的视频，所述视频包括第一视频内容和用于对所述第一视频内容进行增强的第二视频内容；

从所述视频中提取第一视频数据和第二视频数据，其中，所述第一视频数据是所述电子设备采集得到的对所述第一视频内容进行表示的视频数据，且所述第二视频数据是用于对所述第二视频内容进行表示的视频数据；

对所述第一视频数据进行压缩；以及

发送所述第二视频数据和已压缩的第一视频数据。

根据本发明的另一方案，提供了一种用于视频传输的方法，应用于电子设备，所述视频包括第一视频内容和用于对所述第一视频内容进行增强的第二视频内容，所述方法包括：

接收第一视频数据和第二视频数据，其中，所述第一视频数据是用于对所述第一视频内容进行表示的已压缩的视频数据，且所述第二视频数据是用于对所述第二视频内容进行表示的视频数据，

对所述第一视频数据进行解压缩，并根据解压缩的第一视频数据生成所述第一视频内容；

使用所述第二视频数据生成所述第二视频内容；

将所述第二视频内容与所述第一视频内容进行时间同步；以及

将已时间同步的第二视频内容和第一视频内容进行融合，以生成所述视频。

根据本发明的另一方案，提供了一种用于视频传输的装置，应用于电子设备，所述装置包括：

存储器，存储有计算机可读指令；以及

处理器，被配置为执行所述存储器中的计算机可读指令，以使得：

获取待传输的视频，所述视频包括第一视频内容和用于对所述第一视频内容进行增强的第二视频内容；

从所述视频中提取第一视频数据和第二视频数据，其中，所述第一视频数据是所述电子设备采集得到的用于对所述第一视频内容进行表示的视频数据，且所述第二视频数据是用于对所述第二视频内容进行表示的视频数据；

对所述第一视频数据进行压缩；以及

发送所述第二视频数据和已压缩的第一视频数据。

根据本发明的另一方案，提供了一种用于视频传输的装置，应用于电子设备，所述视频包括第一视频内容和用于对所述第一视频内容进行增强的第二视频内容，所述装置包括：

存储器，存储有计算机可读指令；以及

处理器，被配置为执行所述存储器中的计算机可读指令，以使得：

接收第一视频数据和第二视频数据，其中，所述第一视频数据是用于对所述第一视频内容进行表示的已压缩的视频数据，且所述第二视频数据是用于对所述第二视频内容进行表示的视频数据，

对所述第一视频数据进行解压缩，并根据解压缩的第一视频数据生成所述第一视频内容；

使用所述第二视频数据生成所述第二视频内容；

将所述第二视频内容与所述第一视频内容进行时间同步；以及

将已时间同步的第二视频内容和第一视频内容进行融合，以生成所述视频。

上述方案将ar视频中的采集到的现实世界的视频数据与用于进行现实增强的增强现实视频数据分开进行视频处理并进行发送，由此有效地减少了要发送的数据量，实现了高效的ar视频传输。

附图说明

通过下面结合附图对发明进行的详细描述，将使本发明的上述特征和优点更加明显，其中：

图1示出了根据本发明的实施例的一种用于视频传输的方法的简要流程图；

图2示出了根据本发明的实施例的另一种用于视频传输的方法的简要流程图；

图3示出了根据本发明的实施例的又一种用于视频传输的方法的简要流程图；

图4示出了根据本发明的实施例的一种用于视频传输的装置的简要框图；以及

图5示出了根据本发明的实施例的另一种用于视频传输的装置的简要框图。

具体实施方式

下面，参考附图详细说明本发明的优选实施方式。在附图中，虽然示于不同的附图中，但相同的附图标记用于表示相同的或相似的组件。为了清楚和简明，包含在这里的已知的功能和结构的详细描述将被省略，以避免使本发明的主题不清楚。

在ar的使用中，可能需要实时传输包括现实世界内容和用于进行现实增强的增强现实内容在内的视频数据。例如，在一个具体应用中，计算机用户可利用ar技术来在远程专家的指导下修理计算机。这种实时通信不仅需要将现场的视频(例如，处于维修现场的计算机的视频)实时传递给远处的专家，也需要将ar的内容(例如，用于指示故障部件的位置和状况的三维(3d)图像、指示标记等)实时传递给该专家。这样的视频传输需要传输包括现实世界内容和ar内容在内的组合视频。特别是在ar内容较多的情况下，该组合视频的数据量会很大，导致即使对该组合视频进行图像压缩，ar视频传输的效率也低。

为解决该问题，根据本发明的实施例提供了一种用于视频传输的方法。该方法可应用于发送侧的电子设备。如图1所示，该方法包括：步骤s110，获取待传输的视频，该视频包括第一视频内容和用于对第一视频内容进行增强的第二视频内容。

上述第一视频内容例如可以是反映现实世界的视频内容。第二视频内容可以是用于对现实世界的视频内容进行现实增强的ar内容(例如上述的用于指示故障部件的位置和状况的三维(3d)图像、指示标记等)。

图1所示的方法还包括：步骤s120，从视频中提取第一视频数据和第二视频数据，其中，所述第一视频数据是电子设备采集得到的对第一视频内容进行表示的视频数据，且第二视频数据是用于对第二视频内容进行表示的视频数据。然后，在步骤s130中，对第一视频数据进行压缩，且在步骤s140中发送第二视频数据和已压缩的第一视频数据。

图1所示的方法将反映现实世界的第一视频数据和反映增强现实的第二视频数据分开进行处理。由于用于反映增强现实的第二视频数据可以是具体的参数集合，与现有技术中对包括现实世界内容和ar内容在内的组合视频进行图像处理而获得的视频数据相比，需要传输的数据量要小得多，使得可实现高效的视频传输。

在一些实施例中，还可对第二视频数据(即，针对于ar内容的视频数据)进行压缩。在此情况下，发送第二视频数据和已压缩的第一视频数据可包括：发送已压缩的第二视频数据和已压缩的第一视频数据。

在对第二视频数据进行压缩的实施例中，可对第二视频数据采取与第一视频数据不同的压缩方式。例如，使用图像压缩方式对第一视频数据进行压缩，而采用文件压缩方式对第二视频数据进行压缩。在此，可采用本领域技术人员通常使用的任何图像压缩方式来压缩第一视频数据，也可采用本领域技术人员通常使用的任何文件压缩方式来压缩第二视频数据，本发明示例不受具体使用的压缩方式的限制。通过对第二视频数据进行压缩，可进一步减少要发送的数据量，进一步提高视频传输的效率。

如上所述，第二视频数据可以是具体的参数集合。该第二视频数据可包括第二视频内容的显示参数和第二视频内容中包含的对象的显示形状。通过使用这些参数，在接收端可恢复在发送端生成的第二视频内容，例如用于指示故障部件的位置和状况的三维(3d)图像、指示标记等。在此情况下，对第二视频数据进行压缩可以包括对整个参数集合进行压缩，也可以包括仅对显示形状进行压缩。

在本发明的一些实施例中，发送(已压缩的)第二视频数据和已压缩的第一视频数据可以包括将(已压缩的)第二视频数据和已压缩的第一视频数据分开发送，或者将(已压缩的)第二视频数据作为已压缩的第一视频数据的附加信息进行发送。例如，可将(已压缩的)第二视频数据与已压缩的第一视频数据在不同的信道中进行发送。例如，可将(已压缩的)第二视频数据作为已压缩的第一视频数据的附加字段进行发送。当然，也可以采用本领域中惯用的任何数据传输方式来发送该两种视频。本发明不受具体数据发送方式的限制。

根据本发明的实施例还提供了一种用于视频传输的方法。该方法可应用于接收侧的电子设备。图2示出了这样的实施例。在图2所示的实施例中，视频包括第一视频内容和用于对第一视频内容进行增强的第二视频内容。如图2所示，该方法包括：步骤s210，接收第一视频数据和第二视频数据，其中，第一视频数据是用于对第一视频内容进行表示的已压缩的视频数据，且第二视频数据是用于对第二视频内容进行表示的视频数据。

上述第一视频内容例如可以是反映现实世界的视频内容。第二视频内容可以是用于对现实世界的视频内容进行现实增强的ar内容(例如上述的用于指示故障部件的位置和状况的三维(3d)图像、指示标记等)。

图2所示的方法还包括：步骤s220，对第一视频数据进行解压缩，并根据解压缩的第一视频数据生成所述第一视频内容；步骤s230，使用第二视频数据生成第二视频内容；步骤s240，将第二视频内容与第一视频内容进行时间同步；以及步骤s250，将已时间同步的第二视频内容和第一视频内容进行融合，以生成所需视频。

图2所示的方法将反映现实世界的第一视频数据和反映增强现实的第二视频数据分开接收，并分别进行处理以生成对应的视频内容。由于用于反映增强现实的第二视频数据可以是具体的参数集合，与现有技术中对包括现实世界内容和ar内容在内的组合视频进行图像处理而获得的视频数据相比，需要传输的数据量要小得多，使得可实现高效的视频传输。

在一些实施例中，在发送端处还可能对第二视频数据(即，针对于ar内容的视频数据)进行了压缩。在此情况下，在接收端处接收到的第二视频数据是已压缩第二视频数据。在此情况下，图2所示的方法还可包括对已压缩第二视频数据进行解压缩。此时，使用第二视频数据生成第二视频内容可包括：根据已解压缩的第二视频数据生成第二视频内容。

在一些实施例中，在发送端处还可能对第二视频数据采取与第一视频数据不同的压缩方式进行了压缩。例如，使用图像压缩方式对第一视频数据进行压缩，而采用文件压缩方式对第二视频数据进行压缩。在此情况下，对第一视频数据进行解压缩可包括使用图像解压缩方式对第一视频数据进行解压缩。以及对已压缩的第二视频数据进行解压缩可包括使用文件解压缩方式对已压缩的第二视频数据进行解压缩。在本发明实施例中，也可采用本领域技术人员通常使用的任何图像解压缩方式来解压缩第一视频数据，也可采用本领域技术人员通常使用的任何文件解压缩方式来解压缩第二视频数据，只要所采用的解压缩方式与发送侧使用的压缩方式相对应。本发明示例不受具体使用的压缩/解压缩方式的限制。

第二视频数据可以是具体的参数集合。已压缩第二视频数据可以包括第二视频内容的显示参数和第二视频内容中包含的对象的显示形状，其中，显示形状可以是已压缩显示形状。在此情况下，对第二视频数据进行解压缩可以包括对已压缩显示形状进行解压缩。

在上述图1和图2所示的实施例中示出了在发送侧和接收侧分别执行的视频传输方法。在接下来对图3的描述中，将发送侧和接收侧相结合来阐述本发明实施例的技术方案。需要注意的是，图3所示的仅是实现本发明实施例的技术方案的一个具体示例，不应将其视为是对本发明实施例技术方案的限制。例如，图3所示的具体细节不应被视为是实现本发明实施例技术方案必不可少的组成部分。

在本发明实施例的一个场景中，发送侧的用户可能正在使用ar技术观看具有ar内容的视频。例如，该用户可能正在接受远程专家的指导维修计算机。此时，该用户可能正在观看具有ar内容的视频，例如通过所佩戴的ar设备(例如，ar眼镜)观看，或通过显示有ar内容的显示器观看。该ar视频不仅包含要维修的计算机的现实世界图像，还包含了用于辅助计算机维修的指示故障部件的位置和状况的三维(3d)图像、指示标记等。

为了得到远程专家的指导，需要将包含ar内容的ar视频实时发送给远端的接收设备，以使得远程专家能够实时了解到现场的具体情况。在接收端处，在步骤s310中，将ar视频划分为反映现实世界的现实世界内容和用于对现实世界内容进行现实增强的ar内容。其中，现实世界内容可以是通过例如一个或多个摄像设备采集到的视频内容。该划分可以是在将现实世界内容和ar内容合成ar视频之后进行的划分，也可以是简单地通过将来自不同源(例如，摄像设备和用于生成ar内容的应用)的未经合成的不同内容分开进行处理来执行的划分。

然后，在步骤s320中，在发送侧对现实世界内容和ar内容分别进行处理。具体地，针对现实世界内容，使用例如图像压缩方式进行压缩表示现实世界内容的现实世界数据。而针对ar内容，可以可选地对表示ar内容的ar数据(例如，可用于生成ar内容的参数集合)进行文件压缩然后再发送，也可以直接发送。在对ar数据进行压缩时，可以仅压缩ar数据中包含的表示对象的显示形状的数据，例如表示故障部件的显示形状和所指示标记的形状的数据。

在步骤s330中，发送现实世界数据和ar数据。如前所述，可将现实世界数据和ar数据分开发送(例如通过不同的信道进行发送)，或者将ar数据作为现实世界数据的附加信息(例如，附加字段)进行发送。

在步骤s340处，接收侧可接收发送侧发送的现实世界数据和ar数据。其中，根据发送侧的具体实现，ar数据可作为现实世界数据的附加信息接收，也可以被单独接收。

然后，在步骤s350中，根据接收到的数据恢复现实世界内容和ar内容。具体地，对接收到的现实世界内容进行解压缩(例如，图像解压缩)，并根据解压缩后的数据生成现实世界内容。此外，还根据接收到的ar数据生成ar内容。可选地，当发送侧对ar数据进行了压缩的情况下，在接收侧生成ar内容之前还需要对接收到的已压缩的ar数据进行解压缩，例如文件解压缩。

接下来，在步骤s360中，将步骤s350中生成的现实世界内容和ar内容进行时间同步，例如，通过时间戳的方式实现时间同步。

然后，在步骤s370中，对已时间同步的现实世界内容和ar内容进行融合，以生成具有ar内容的视频。在一些示例中，可通过将ar内容叠加到现实世界内容上来实现融合，例如，可将用于指示故障部件的位置和状况的三维(3d)图像、指示标记等简单地叠加到发送侧通过摄像设备采集到的计算机的图像上。当然，本领域中所采用的其他更加复杂的实现也是可能的，且在此不再赘述。

接收侧的用户(例如指导进行计算机维修的远程专家)可利用步骤s370中生成的具有ar内容的视频来查看计算机故障，并例如通过回送同样带有ar内容的视频来进行指导。例如，远程专家可在接收到的视频中添加包括相关故障的维修步骤的ar内容来进行指导。通过一个或多个这样的交互，可协助发送端处的用户进行维修。

根据本发明的实施例还提供了一种用于视频传输的装置。该装置可应用于发送侧的电子设备。图4示出了这样的装置400。如图4所示，这样的装置400可包括：存储器420，存储有计算机可读指令；以及处理器410，被配置为执行存储器420中的计算机可读指令，以使得：

获取待传输的视频，该视频包括第一视频内容和用于对第一视频内容进行增强的第二视频内容；

从视频中提取第一视频数据和第二视频数据，其中，第一视频数据是电子设备采集得到的用于对第一视频内容进行表示的视频数据，且第二视频数据是用于对第二视频内容进行表示的视频数据；

对第一视频数据进行压缩；以及

发送第二视频数据和已压缩的第一视频数据。

在根据本发明的一些实施例中，图4所示的存储器420还存储使处理器410执行以下操作的指令：对第二视频数据进行压缩。其中，发送第二视频数据和已压缩的第一视频数据包括：发送已压缩的第二视频数据和已压缩的第一视频数据。

在根据本发明的一些实施例中，图4所示的存储器420还存储使处理器410执行以下操作的指令：使用图像压缩方式对第一视频内容进行压缩；以及使用文件压缩方式对第二视频数据进行压缩。

在根据本发明的一些实施例中，第二视频数据包括第二视频内容的显示参数和第二视频内容中包含的对象的显示形状。在该情况下，图4所示的存储器420还存储使处理器410执行以下操作的指令：对显示形状进行压缩。

在根据本发明的一些实施例中，图4所示的存储器420还存储使处理器410执行以下操作的指令：将第二视频数据和已压缩的第一视频内容分开发送；或将第二视频数据作为已压缩的第一视频内容的附加信息进行发送。

图4所示的处理器410例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器410还可以包括用于缓存用途的板载存储器。

存储器(例如计算机可读存储介质420)，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

在示例实施例中，计算机可执行指令可以包括一个或多个程序模块，例如包括421a、模块421b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器410执行时，使得处理器410可以执行例如上面结合图1所描述的方法流程及其任何变形。

根据图4所示的电子设备，还可以包括信号发送器430和信号接收器440。信号发送器430和信号接收器440可以是可与电子设备外的设备和装置发送/接收信息的任何发送器和接收器，本发明不限于具体的发送器和接收器。

根据本发明的实施例还提供了一种用于视频传输的装置。该装置可应用于接收侧的电子设备。所述视频包括第一视频内容和用于对第一视频内容进行增强的第二视频内容。图5示出了这样的装置500。如图5所示，这样的装置500可包括：存储器520，存储有计算机可读指令；以及处理器510，被配置为执行存储器520中的计算机可读指令，以使得：

接收第一视频数据和第二视频数据，其中，所述第一视频数据是用于对所述第一视频内容进行表示的已压缩的视频数据，且所述第二视频数据是用于对所述第二视频内容进行表示的视频数据，

对所述第一视频数据进行解压缩，并根据解压缩的第一视频数据生成所述第一视频内容；

使用所述第二视频数据生成所述第二视频内容；

将所述第二视频内容与所述第一视频内容进行时间同步；以及

将已时间同步的第二视频内容和第一视频内容进行融合，以生成所述视频。

在根据本发明的一些实施例中，第二视频数据是已压缩第二视频数据。在该情况下，图5所示的存储器520还存储使处理器510执行以下操作的指令：对已压缩第二视频数据进行解压缩。其中，使用第二视频数据生成第二视频内容包括：根据已解压缩的第二视频数据生成第二视频内容。

在根据本发明的一些实施例中，图5所示的存储器520还存储使处理器510执行以下操作的指令：使用图像解压缩方式对第一视频数据进行解压缩；以及使用文件解压缩方式对已压缩第二视频数据进行解压缩。

在根据本发明的一些实施例中，已压缩第二视频数据包括第二视频内容的显示参数和第二视频内容中包含的对象的显示形状，显示形状是已压缩显示形状。在该情况下，图5所示的存储器520还存储使处理器510执行以下操作的指令：对已压缩显示形状进行解压缩。

图4所示的处理器510例如可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器510还可以包括用于缓存用途的板载存储器。

存储器(例如计算机可读存储介质520)，例如可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(hdd)；光存储装置，如光盘(cd-rom)；存储器，如随机存取存储器(ram)或闪存；和/或有线/无线通信链路。

在示例实施例中，计算机可执行指令可以包括一个或多个程序模块，例如包括521a、模块521b、……。应当注意，模块的划分方式和个数并不是固定的，本领域技术人员可以根据实际情况使用合适的程序模块或程序模块组合，当这些程序模块组合被处理器510执行时，使得处理器510可以执行例如上面结合图1所描述的方法流程及其任何变形。

根据图4所示的电子设备，还可以包括信号发送器530和信号接收器540。信号发送器530和信号接收器540可以是可与电子设备外的设备和装置发送/接收信息的任何发送器和接收器，本发明不限于具体的发送器和接收器。

根据本发明各实施例的上述方法、装置、单元和/或模块可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。该系统可以包括存储设备，以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置，但不限于此。执行这样的指令使得电子设备被配置为执行根据本发明的上述各项操作。上述各设备和/或模块可以在一个电子设备中实现，也可以在不同电子设备中实现。这些软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块)，所述一个或多个程序包括指令，当电子设备中的一个或多个处理器执行所述指令时，所述指令使得电子设备执行本发明的方法。

这些软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似rom等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如ram、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，cd、dvd、磁盘或磁带等等)。应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本发明的实施例。实施例提供程序和存储这种程序的机器可读存储装置，所述程序包括用于实现本发明的任何一项权利要求所述的装置或方法的代码。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。

根据本发明各实施例的方法、装置、单元和/或模块还可以使用例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)或可以以用于对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。该系统可以包括存储设备，以实现上文所描述的存储。在以这些方式实现时，所使用的软件、硬件和/或固件被编程或设计为执行根据本发明的相应上述方法、步骤和/或功能。本领域技术人员可以根据实际需要来适当地将这些系统和模块中的一个或多个，或其中的一部分或多个部分使用不同的上述实现方式来实现。这些实现方式均落入本发明的保护范围。

如本领域技术人员将会理解的，为了任何的以及所有的目的，例如在提供书面说明书的方面，本申请中所公开的所有范围也涵盖任何的以及所有的可能的子范围以及其子范围的组合。任何所列出的范围均能够被容易地识别成充分的描述以及使同样的范围能够至少被分解成同等的两部分、三部分、四部分、五部分、十部分，等等。作为非限制性的例子，本申请中所讨论的每个范围均能够被容易地分解成下三分之一、中三分之一以及上三分之一等等。如本领域技术人员还将会理解的，诸如“直到”、“至少”、“大于”、“小于”等的所有语言均包括所表述的数量并且是指能够随之被分解成如以上所讨论的子范围的范围。最后，如本领域技术人员将会理解的，范围包括各个单独的成分。所以，例如，具有1-3个单元的组是指具有1、2或者3个单元的组。类似地，具有1-5个单元的组是指具有1、2、3、4或者5个单元的组，等等。

尽管已经参照本发明的特定示例性实施例示出并描述了本发明，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本发明的精神和范围的情况下，可以对本发明进行形式和细节上的多种改变。因此，本发明的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。