本公开涉及视频编码和解码。
背景技术：
1、虚拟现实（vr）、增强现实（ar）和混合现实（mr）技术的普及正在快速增长，并且预计将被广泛用于除游戏以外的应用，诸如医疗保健、教育、社交、零售等。vr、ar和mr可以统称为扩展现实（xr）。由于这种日益流行，对具有高质量3d图形、更高视频分辨率和低延迟响应的xr设备（诸如xr眼镜）的需求也在增加。
技术实现思路
1、本公开描述了用于在发送设备和接收设备中处理视频数据的技术。发送设备可以是xr设备或其他类型的设备。接收设备可以是用户设备（ue）装置，诸如智能手机或平板电脑。发送设备可以对视频数据执行有限的视频编码过程以生成编码视频数据。发送设备可以对编码视频数据应用信道编码以生成纠错数据。发送设备可以向接收设备发送纠错数据和至少一些编码视频数据。接收设备可以基于一个或多个先前重建的图片来估计视频数据。然后，接收设备可以对估计的视频数据进行编码。接收设备可以使用一个或多个编解码工具来对发送设备在对视频数据执行有限视频编码过程时未使用的估计的视频数据进行编码。接收设备可以使用纠错数据和预测视频数据来重新生成发送设备没有发送的编码视频数据的部分。该过程可以避免发送部分编码视频数据的需要。
2、在一个示例中，本公开描述了一种对视频数据进行解码的方法，包括：在接收设备处从发送设备获得纠错数据，其中纠错数据提供纠错信息并且基于视频数据的图片的一个或多个块的编码视频数据而生成；在接收设备处，使用不用于生成一个或多个块的编码视频数据的一个或多个编解码工具来生成用于该图片的预测数据，其中用于该图片的预测数据包括至少部分基于视频数据的一个或多个先前重建的图片的块而对该图片的块的预测；在接收设备处，基于用于图片的预测数据来生成编码视频数据；在接收设备处，使用纠错数据来生成经纠错的编码视频数据，以对编码视频数据执行纠错操作；以及在接收设备处执行重建操作，该重建操作基于经纠错的编码视频数据来重建图片的块，其中该重建操作由一个或多个参数的值来控制。
3、在另一示例中，本公开描述了一种对视频数据进行编码的方法，包括：在发送设备处从视频源获得视频数据；在发送设备处，基于一组参数来生成视频数据的第一图片的编码视频数据和视频数据的第二图片的编码视频数据；在发送设备处，对第一图片的编码视频数据和第二图片的编码视频数据执行信道编码以生成第一图片的纠错数据和第二图片的纠错数据；以及在发送设备处发送第一图片的编码视频数据、第一图片的纠错数据和第二图片的纠错数据。
4、在另一示例中，本公开描述了一种对视频数据进行编码的方法，包括：在发送设备处从视频源获得视频数据；在发送设备处基于视频数据来生成变换块；在发送设备处确定变换块中的哪些是锚变换块；在发送设备处计算变换块集的相关矩阵；在发送设备处生成比特缩减的非锚变换矩阵；以及在发送设备处向接收设备发送锚变换块、非锚变换块和相关矩阵。
5、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；通信接口；以及在电路中实现并且耦合到存储器的一个或多个处理，该一个或多个处理器被配置为执行权利要求1至22中任一项所述的方法。
6、在另一示例中，本公开描述了一种用于处理视频数据的设备，其包括被配置为存储视频数据的存储器；以及被配置为从发送设备获得纠错数据的通信接口，其中该纠错数据提供关于视频数据的图片的纠错信息；在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：生成用于图片的预测数据，其中用于图片的预测数据包括至少部分基于视频数据的一个或多个先前重建的图片而对该图片的块的预测；基于用于图片的预测数据来生成编码视频数据，其中编码视频数据包括变换块，变换块包括变换系数；基于比特位置的可靠性值来对变换块的变换系数的比特进行缩放；使用纠错数据来生成经纠错的编码视频数据，以对变换块的变换系数的经缩放的比特执行纠错操作；以及基于经纠错的编码视频数据来重建图片。
7、在另一示例中，本公开描述了一种用于处理视频数据的设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：获得视频数据；获得预测质量反馈，其中预测质量反馈基于由接收设备生成的估计图片的可靠性；基于预测质量反馈来适配视频编码参数或信道编码参数中的一个或多个参数；执行视频编码过程以基于所获得的视频数据的一个或多个图片来生成编码视频数据，其中视频编码过程由视频编码参数控制；对编码视频数据执行信道编码过程以生成信道编码数据，其中信道编码过程由信道编码参数控制；以及被配置为向接收设备发送信道编码数据的通信接口。
8、在另一示例中，本公开描述了一种处理视频数据的方法，包括：在接收设备处从发送设备获得纠错数据，其中纠错数据提供关于视频数据的图片的纠错信息；在接收设备处生成用于图片的预测数据，其中用于图片的预测数据包括至少部分基于视频数据的一个或多个先前重建的图片而对该图片的块的预测；在接收设备处基于用于图片的预测数据来生成编码视频数据，其中编码视频数据包括变换块，变换块包括变换系数；在接收设备处基于比特位置的可靠性值来对变换块的变换系数的比特进行缩放；在接收设备处使用纠错数据来生成经纠错的编码视频数据，以对变换块的变换系数的经缩放的比特执行纠错操作；以及在接收设备处基于经纠错的编码视频数据来重建图片。
9、在另一示例中，本公开描述了一种处理视频数据的方法，包括：获得视频数据；获得预测质量反馈，其中预测质量反馈基于由接收设备生成的估计图片的可靠性；基于预测质量反馈来适配视频编码参数或信道编码参数中的一个或多个参数；执行视频编码过程以基于所获得的视频数据的一个或多个图片来生成编码视频数据，其中视频编码过程由视频编码参数控制；对编码视频数据执行信道编码过程以生成信道编码数据，其中信道编码过程由信道编码参数控制；以及向接收设备发送信道编码数据。
10、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：获得视频数据的第一组多视图图片，其中第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；向接收设备发送第一编码视频数据，其中第一编码视频数据基于第一组多视图图片；从接收设备接收多视图编码提示；获取视频数据的第二组多视图图片，其中第二组多视图图片包括第三图片和第四图片，第三图片来自第一视点，并且第四图片来自第二视点；基于从接收设备接收的多视图编码提示，对第二组多视图图片执行多视图编码过程以生成第二编码视频数据，其中多视图编码过程减少了第三图片与所述第四图片之间的视图间冗余；以及向接收设备发送第二编码视频数据。
11、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：从发送设备获得第一编码视频数据，其中第一编码视频数据基于视频数据的第一组多视图图片，第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；基于第一编码视频数据来确定多视图编码提示；向发送设备发送多视图编码提示；从发送设备获得第二编码视频数据，其中第二编码视频数据基于包括第三图片和第四图片的第二组多视图图片，第二编码视频数据是使用基于多视图编码提示减少第三图片与第四图片之间的视图间冗余的多视图编码过程来进行编码的。
12、在另一示例中，本公开描述了一种处理视频数据的方法，包括：获得视频数据的第一组多视图图片，其中第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；向接收设备发送第一编码视频数据，其中第一编码视频数据基于第一组多视图图片；从接收设备接收多视图编码提示；获取视频数据的第二组多视图图片，其中第二组多视图图片包括第三图片和第四图片，第三图片来自第一视点，并且第四图片来自第二视点；基于从接收设备接收的多视图编码提示，对第二组多视图图片执行多视图编码过程以生成第二编码视频数据，其中多视图编码过程减少了第三图片与所述第四图片之间的视图间冗余；以及向接收设备发送第二编码视频数据。
13、在另一示例中，本公开描述了一种处理视频数据的方法，包括：从发送设备获得第一编码视频数据，其中第一编码视频数据基于视频数据的第一组多视图图片，第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；基于第一编码视频数据来确定多视图编码提示；向发送设备发送多视图编码提示；从发送设备获得第二编码视频数据，其中第二编码视频数据基于包括第三图片和第四图片的第二组多视图图片，第二编码视频数据是使用基于多视图编码提示减少第三图片与第四图片之间的视图间冗余的多视图编码过程来进行编码的。
14、在另一示例中，本公开描述了一种设备，其包括：用于获得视频数据的第一组多视图图片的部件，其中第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；用于向接收设备发送第一编码视频数据的部件，其中第一编码视频数据基于第一组多视图图片；用于从接收设备接收多视图编码提示的部件；用于获得视频数据的第二组多视图图片的部件，其中第二组多视图图片包括第三图片和第四图片，第三图片来自第一视点，并且第四图片来自第二视点；用于基于从接收设备接收的多视图编码提示来对第二组多视图图片执行多视图编码过程以生成第二编码视频数据的部件，其中多视图编码过程减少了第三图片与所述第四图片之间的视图间冗余；以及用于向接收设备发送第二编码视频数据的部件。
15、在另一示例中，本公开描述了一种设备，包括：用于从发送设备获得第一编码视频数据的部件，其中第一编码视频数据基于视频数据的第一组多视图图片，第一组多视图图片包括第一图片和第二图片，第一图片来自第一视点，并且第二图片来自第二视点；用于基于第一编码视频数据来确定多视图编码提示的部件；用于向发送设备发送多视图编码提示的部件；用于从发送设备获得第二编码视频数据的部件，其中第二编码视频数据基于包括第三图片和第四图片的第二组多视图图片，第二编码视频数据是使用基于多视图编码提示减少第三图片与第四图片之间的视图间冗余的多视图编码过程来进行编码的。
16、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：对视频数据的第一组图片进行编码以生成第一编码视频数据；向接收设备发送第一编码视频数据；从接收设备接收抽取模式指示，该抽取模式指示指示基于第一组图片所确定的抽取模式，抽取模式是编码视频数据不发送的模式；对视频数据的第二组图片进行编码以生成第二编码视频数据；将抽取模式应用于第二编码视频数据以生成经抽取的视频数据；以及向接收设备发送经抽取的视频数据。
17、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：从发送设备接收第一编码视频数据；执行解码过程以基于第一编码视频数据来重建第一组图片；基于第一组图片来确定指示编码视频数据不发送的模式的抽取模式；向发送设备发送指示所确定的抽取模式的抽取模式指示；从发送设备接收经抽取的视频数据，其中经抽取的视频数据包括已对其应用抽取模式的第二编码视频数据，其中第二编码视频数据是基于视频数据的第二组图片而生成的；以及执行解码过程以基于第二编码视频数据来重建第二组图片。
18、在另一示例中，本公开描述了一种方法，包括：对视频数据的第一组图片进行编码以生成第一编码视频数据；向接收设备发送第一编码视频数据；从接收设备接收抽取模式指示，该抽取模式指示指示基于第一组图片所确定的抽取模式，抽取模式是编码视频数据不发送的模式；对视频数据的第二组图片进行编码以生成第二编码视频数据；将抽取模式应用于第二编码视频数据以生成经抽取的视频数据；以及向接收设备发送经抽取的视频数据。
19、在另一示例中，本公开描述了一种方法，包括：从发送设备接收第一编码视频数据；应用解码过程以基于第一编码视频数据来重建第一组图片；基于第一组图片来确定指示编码视频数据不发送的模式的抽取模式；向发送设备发送指示所确定的抽取模式的抽取模式指示；从发送设备接收经抽取的视频数据，其中经抽取的视频数据包括已对其应用抽取模式的第二编码视频数据，其中第二编码视频数据是基于视频数据的第二组图片而生成的；以及执行解码过程以基于第二编码视频数据来重建第二组图片。
20、在另一示例中，本公开描述了一种设备，包括：用于对视频数据的第一组图片进行编码以生成第一编码视频数据的部件；用于向接收设备发送第一编码视频数据的部件；用于从接收设备接收抽取模式指示的部件，该抽取模式指示指示基于第一组图片所确定的抽取模式，抽取模式是编码视频数据不发送的模式；用于对视频数据的第二组图片进行编码以生成第二编码视频数据的部件；用于将抽取模式应用于第二编码视频数据以生成经抽取的视频数据的部件；以及用于向接收设备发送经抽取的视频数据的部件。
21、在另一示例中，本公开描述了一种设备，包括：用于从发送设备接收第一编码视频数据的部件；用于执行解码过程以基于第一编码视频数据来重建第一组图片的部件；用于基于第一组图片来确定指示编码视频数据不发送的模式的抽取模式的部件；用于向发送设备发送指示所确定的抽取模式的抽取模式指示的部件；用于从发送设备接收经抽取的视频数据的部件，其中经抽取的视频数据包括已对其应用抽取模式的第二编码视频数据，其中第二编码视频数据是基于视频数据的第二组图片而生成的；以及用于执行解码过程以基于第二编码视频数据来重建第二组图片的部件。
22、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：对视频数据的第一图片进行编码以生成第一编码视频数据；向接收设备发送第一编码视频数据；从接收设备接收用于视频数据的第二图片的编码选择数据，其中：用于第二图片的编码选择数据指示用于对第二图片的估计进行编码的编码选择，并且第二图片按照解码顺序跟随第一图片；基于用于第二图片的编码选择数据来对第二图片进行编码以生成第二编码视频数据；以及向接收设备发送第二编码视频数据。
23、在另一示例中，本公开描述了一种设备，其包括被配置为存储视频数据的存储器；以及在电路中实现并且耦合到存储器的一个或多个处理器，该一个或多个处理器被配置为：从发送设备接收第一编码视频数据；基于第一编码视频数据来重建视频数据的第一图片；基于第一图片来估计视频数据的第二图片，该第二图片是按解码顺序出现在第一图片之后的图片；生成用于第二图片的编码选择数据，其中用于第二图片的编码选择数据指示用于对第二图片进行编码的编码选择；向发送设备发送用于第二图片的编码选择数据；从发送设备接收第二编码视频数据；以及基于第二编码视频数据来重建第二图片。
24、在另一示例中，本公开描述了一种处理视频数据的方法，包括：对视频数据的第一图片进行编码以生成第一编码视频数据；向接收设备发送第一编码视频数据；从接收设备接收用于视频数据的第二图片的编码选择数据，其中：用于第二图片的编码选择数据指示用于对第二图片的估计进行编码的编码选择，并且第二图片按照解码顺序跟随第一图片；基于用于第二图片的编码选择数据来对第二图片进行编码以生成第二编码视频数据；以及向接收设备发送第二编码视频数据。
25、在另一示例中，本公开描述了一种处理视频数据的方法，包括：从发送设备接收第一编码视频数据；基于第一编码视频数据来重建视频数据的第一图片；基于第一图片来估计视频数据的第二图片，该第二图片是按解码顺序出现在第一图片之后的图片；生成用于第二图片的编码选择数据，其中用于第二图片的编码选择数据指示用于对第二图片进行编码的编码选择；向发送设备发送用于第二图片的编码选择数据；从发送设备接收第二编码视频数据；以及基于第二编码视频数据来重建第二图片。
26、在另一示例中，本公开描述了一种设备，包括：用于对视频数据的第一图片进行编码以生成第一编码视频数据的部件；用于向接收设备发送第一编码视频数据的部件；用于从接收设备接收用于视频数据的第二图片的编码选择数据的部件，其中：用于第二图片的编码选择数据指示用于对第二图片的估计进行编码的编码选择，并且第二图片按照解码顺序跟随第一图片；用于基于用于第二图片的编码选择数据来对第二图片进行编码以生成第二编码视频数据的部件；以及用于向接收设备发送第二编码视频数据的部件。
27、在另一示例中，本公开描述了一种设备，包括：用于从发送设备接收第一编码视频数据的部件；用于基于第一编码视频数据来重建视频数据的第一图片的部件；用于基于第一图片来估计视频数据的第二图片的部件，该第二图片是按解码顺序出现在第一图片之后的图片；用于生成用于第二图片的编码选择数据的部件，其中用于第二图片的编码选择数据指示用于对第二图片进行编码的编码选择；用于向发送设备发送用于第二图片的编码选择数据的部件；用于从发送设备接收第二编码视频数据的部件；以及用于基于第二编码视频数据来重建第二图片的部件。
28、在附图和以下描述中阐述一个或多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优势将显而易见。