头戴式设备的无线串流传输方法、装置及电子设备与流程

1.本公开涉及数据传输技术领域，更具体地，涉及一种头戴式设备的无线串流传输方法、装置及电子设备。


背景技术：

2.在无线串流场景中，由终端设备将图像数据传输至头戴式设备进行显示。为了降低传输时间，通常会对图像数据进行大幅度的压缩，通过降低压缩后的大小来减少传输时间。但是由于压缩幅度较大，导致编码时间过长，延迟较高。


技术实现要素：

3.本公开的一个目的是提供一种新的头戴式设备的无线串流传输方法、装置及电子设备，能够解决无线串流场景中延迟高的技术问题。
4.根据本公开的第一方面，提供了一种头戴式设备的无线串流传输方法，所述方法包括：
5.获取编码耗时与压缩比的第一对应关系；
6.获取传输耗时与压缩比的第二对应关系；
7.根据所述第一对应关系和所述第二对应关系，计算总耗时最小的第一压缩比；其中，所述总耗时为所述编码耗时与所述传输耗时之和；
8.根据所述第一压缩比对图像进行编码压缩。
9.可选地，所述获取编码耗时与压缩比的第一对应关系，包括：
10.获取第一数据集；其中，所述第一数据集包含多个压缩比以及与每个压缩比对应的编码耗时；
11.对所述第一数据集进行处理，得到所述第一对应关系。
12.可选地，所述获取传输耗时与压缩比的第二对应关系，包括：
13.获取第二数据集；其中，所述第二数据集包含多个压缩比以及与每个压缩比对应的传输耗时；
14.对所述第二数据集进行处理，得到所述第二对应关系。
15.可选地，在所述根据所述第一压缩比对图像进行编码压缩之前，所述方法还包括：
16.根据所述第一压缩比确定第一范围；
17.在所述第一范围内选取多个压缩比；
18.计算每个压缩比对应的总耗时；
19.确定最小总耗时对应的第二压缩比；
20.所述根据所述第一压缩比对图像进行编码压缩，包括：
21.根据所述第二压缩比对图像进行编码压缩。
22.可选地，所述根据所述第一对应关系和所述第二对应关系，计算出总耗时最小的第一压缩比，包括：
23.根据所述第一对应关系和所述第二对应关系，计算出所述总耗时相对于所述压缩比的导数；
24.根据所述总耗时相对于所述压缩比的导数，计算所述第一压缩比；其中，所述第一压缩比对应的导数为零。
25.根据本公开的第二方面，提供了一种头戴式设备的无线串流传输装置，所述装置包括：
26.第一获取模块，用于获取编码耗时与压缩比的第一对应关系；
27.第二获取模块，用于获取传输耗时与压缩比的第二对应关系；
28.第一计算模块，用于根据所述第一对应关系和所述第二对应关系，计算出总耗时最小的第一压缩比；其中，所述总耗时为所述编码耗时与所述传输耗时之和；
29.第一编码模块，用于根据所述第一压缩比对图像进行编码压缩。
30.可选地，所述装置还包括：
31.第三获取模块，用于获取第一数据集；其中，所述第一数据集包含多个压缩比，以及与每个压缩比对应的编码耗时；
32.第一处理模块，用于对所述第一数据集进行处理，得到所述第一对应关系。
33.可选地，所述装置还包括：
34.第四获取模块，用于获取第二数据集；其中，所述第二数据集包含多个压缩比，以及与每个压缩比对应的传输耗时；
35.第二处理模块，用于对所述第二数据集进行处理，得到所述第二对应关系。
36.可选地，所述装置还包括：
37.第一确定模块，用于根据所述第一压缩比确定第一范围；
38.第二确定模块，用于在所述第一范围内选取多个压缩比；
39.第二计算模块，用于计算每个压缩比对应的总耗时；
40.第三确定模块，用于确定最小总耗时对应的第二压缩比；
41.所述第一编码模块，还用于根据所述第二压缩比对图像进行编码压缩。
42.根据本公开的第三方面，提供了一种电子设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本发明第一方面所述的头戴式设备的无线串流传输方法的步骤。
43.根据本公开的实施例，本发明通过综合考虑编码耗时与压缩比之间的第一对应关系和传输耗时与压缩比之间的第二对应关系，让总耗时最小，能够有效降低无线串流场景中的延迟。
44.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征及其优点将会变得清楚。
附图说明
45.被结合在说明书中并构成说明书的一部分的附图示出了本公开的实施例，并且连同其说明一起用于解释本公开的原理。
46.图1是本技术实施例中头戴式设备的无线串流传输方法的流程图。
47.图2是本技术实施例中无线串流场景示意图。
48.图3是本技术实施例中编码耗时与压缩比关系示意图。
49.图4是本技术实施例中传输耗时与压缩比关系示意图。
50.图5是本技术实施例中头戴式设备的无线串流传输装置示意图。
51.图6是本技术实施例中电子设备示意图。
具体实施方式
52.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
53.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
54.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
55.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
56.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
57.本发明实施例介绍了一种头戴式设备的无线串流传输方法。头戴式设备可以是具有显示功能的设备，能够显示图像、视频等。比如头戴式设备可以是ar(augmented reality，增强显示)眼镜。
58.在无线串流场景下，头戴式设备接收其它设备发送的图像数据，其它设备可以是手机、电脑等设备。其它设备对图像数据进行编码处理，将编码数据发送至头戴式设备。头戴式设备对编码数据进行解码处理后，头戴式设备显示图像数据。如图2所示的一种无线串流场景，ar眼镜和手机之间可以通过wifi进行通信，手机对图像数据进行编码处理后将编码数据发送给ar眼镜，ar眼镜对编码数据进行解码后显示图像数据。
59.如图1所示，所述方法包括步骤s1100-s1300。
60.s1100：获取编码耗时与压缩比的第一对应关系。
61.在对图像进行编码的过程中会根据压缩比对图像进行压缩，以降低数据大小。压缩比为编码前的图像大小与编码后的图像大小之间的比值。比如对于h.265编码协议，压缩比可以达到200。
62.编码耗时是图像的编码过程所需要的时间。图像的编码耗时与压缩比有关，压缩比越大编码耗时越长。第一对应关系可以反映不同压缩比对应的编码耗时。
63.s1200：获取传输耗时与压缩比的第二对应关系。
64.对图像进行编码后，需要将编码数据传输至头戴式设备。传输耗时为编码数据的传输过程所需要的时间。对于同一幅图像，压缩比越大编码数据越小，对应的传输耗时也越小。第二对应关系可以反映不同压缩比对应的编码耗时。
65.s1300：根据所述第一对应关系和所述第二对应关系，计算总耗时最小的第一压缩比；其中，所述总耗时为所述编码耗时与所述传输耗时之和。
66.根据第一对应关系和第二对应关系可以得到总耗时与压缩比之间的对应关系。根
据总耗时与压缩比之间的对应关系，计算出让总耗时最小的第一压缩比。
67.s1400：根据所述第一压缩比对图像进行编码压缩。
68.在计算出第一压缩比后，根据第一压缩比对图像进行编码压缩，将编码数据传输至头戴式设备。
69.本实施例通过综合考虑编码耗时与压缩比之间的第一对应关系和传输耗时与压缩比之间的第二对应关系，让总耗时最小，能够有效降低无线串流场景中的延迟。
70.在一种实施方式中，所述步骤s1100，包括步骤s1110-s1120。
71.s1110：获取第一数据集；其中，所述第一数据集包含多个压缩比以及与每个压缩比对应的编码耗时。
72.第一数据集可以通过仿真实验得到。选取多个不同的压缩比，根据多个不同的压缩比对图像进行编码，记录每个压缩比对应的编码耗时。
73.如图3所示的编码耗时与压缩比之间的对应关系，图中横坐标表示压缩比，纵坐标表示编码耗时。随着压缩比的增大，编码耗时也逐渐增大。
74.s1120：对所述第一数据集进行处理，得到所述第一对应关系。
75.在得到第一数据集后，可以对第一数据集进行拟合，得到第一拟合函数。第一拟合函数的自变量为压缩比，第一拟合函数的因变量为编码耗时。
76.在一种实施方式中，所述步骤s1200，包括步骤s1210-s1220。
77.s1210：获取第二数据集；其中，所述第二数据集包含多个压缩比以及与每个压缩比对应的传输耗时。
78.第二数据集可以通过仿真实验得到。选取多个不同的压缩比，根据多个不同的压缩比对图像进行编码，将编码数据传输至头戴式设备，记录每个压缩比对应的传输耗时。
79.如图4所示的传输耗时与压缩比之间的对应关系，图中横坐标表示压缩比，纵坐标表示传输耗时。随着压缩比的增大，传输耗时逐渐减小s1220：对所述第二数据集进行处理，得到所述第二对应关系。
80.在得到第二数据集后，可以对第二数据集进行拟合，得到第二拟合函数。第二拟合函数的自变量为压缩比，第二拟合函数的因变量为传输耗时。
81.在一种实施方式中，在所述步骤s1400之前，所述方法还包括步骤s2100-s2400。
82.s2100：根据所述第一压缩比确定第一范围。
83.第一范围可以是第一压缩比为中心的区间范围。比如第一压缩比为20，那么第一范围可以是18-22的区间范围。
84.s2200：在所述第一范围内选取多个压缩比。
85.在第一范围内选取多个压缩比时，可以按照指定间隔大小在第一范围内依次选取。比如第一压缩比为20，第一范围是18-22的区间范围，以间隔大小为1依次选取，得到的压缩比分别为18、19、21、22。
86.s2300：计算每个压缩比对应的总耗时。
87.根据总耗时和压缩比之间的对应关系，得到从第一范围内选取的多个压缩比分别对应的总耗时。比如从第一范围内选取的多个压缩比分别为18、19、21、22，那么根据总耗时和压缩比之间的对应关系，计算出压缩比18对应的总耗时，计算出压缩比19对应的总耗时，计算出压缩比21对应的总耗时，计算出压缩比22对应的总耗时。
88.s2400：确定最小总耗时对应的第二压缩比。
89.将第一压缩比对应的总耗时、以及从第一范围内选取的多个压缩比对应的总耗时进行比对，选出最小总耗时，将最小总耗时对应的压缩比确定为第二压缩比。
90.比如，第一压缩比为20，在第一范围内选取的压缩比分别为18、19、21、22。压缩比20所对应的总耗时为12.5，压缩比18对应的总耗时为12.6，压缩比19对应的总耗时为12.8，压缩比21对应的总耗时为12.4，压缩比22对应的总耗时为12.9。那么最小总耗时为12.4，对应的压缩比为21，将压缩比21确定为第二压缩比。
91.所述根据所述第一压缩比对图像进行编码压缩，包括：根据所述第二压缩比对图像进行编码压缩。
92.在得到第二压缩比后，根据第二压缩比对图像进行编码压缩。比如在计算出第一压缩比为20的情况下，计算出第二压缩比为21，那么根据第二压缩比21来对图像进行编码压缩。
93.在通过实验测量得到第一对应关系和第二对应关系时，可能会存在测量误差，降低第一对应关系和第二对比关系的准确度，导致计算出的第一压缩比所对应的总耗时不是最小总耗时。本实施例通过在第一压缩比周围确定第二压缩比，根据第二压缩比对图像进行编码处理，能够降低测量误差的影响。
94.在一种实施方式中，所述步骤s1300，包括步骤s1310-s1320。
95.s1310：根据所述第一对应关系和所述第二对应关系，计算出所述总耗时相对于所述压缩比的导数。
96.编码前图像大小为m0，压缩比为x，编码后的大小为m。可以得出：
97.m＝m0/x
98.将编码耗时记为e(x)，传输耗时记为t(m)，那么总耗时f(x)通过以下公式进行计算：
99.f(x)＝e(x)+t(m)
100.总耗时相对于压缩比的导数为
[0101][0102]
s1320：根据所述总耗时相对于所述压缩比的导数，计算所述第一压缩比；其中，所述第一压缩比对应的导数为零。
[0103]
在总耗时相对于压缩比的导数为零的情况下，总耗时最低。将总耗时相对于压缩比的导数为零的条件代入上述总耗时相对于压缩比的导数的公式，可以得出对应的第一压缩比为：
[0104][0105]
本实施例介绍的一种头戴式设备的无线串流传输方法，包括步骤s3100-s3900。
[0106]
s3100：获取编码耗时与压缩比的第一对应关系。
[0107]
s3200：获取传输耗时与压缩比的第二对应关系。
[0108]
s3300：根据第一对应关系和第二对应关系，计算出总耗时相对于压缩比的导数，其中，总耗时为编码耗时与传输耗时之和。
[0109]
s3400：根据总耗时相对于压缩比的导数，计算第一压缩比，其中，第一压缩比对应的导数为零。
[0110]
s3500：根据第一压缩比确定第一范围。
[0111]
s3600：在所述第一范围内选取多个压缩比。
[0112]
s3700：计算每个压缩比对应的总耗时。
[0113]
s3800：确定最小总耗时对应的第二压缩比。
[0114]
s3900：根据所述第二压缩比对图像进行编码压缩。
[0115]
本实施例通过综合考虑编码耗时与压缩比之间的第一对应关系和传输耗时与压缩比之间的第二对应关系，让总耗时最小，能够有效降低无线串流场景中的延迟。
[0116]
如图5所示，本实施例介绍了一种头戴式设备的无线串流传输装置200，所述装置包括：
[0117]
第一获取模块201，用于获取编码耗时与压缩比的第一对应关系。
[0118]
第二获取模块202，用于获取传输耗时与压缩比的第二对应关系。
[0119]
第一计算模块203，用于根据所述第一对应关系和所述第二对应关系，计算出总耗时最小的第一压缩比；其中，所述总耗时为所述编码耗时与所述传输耗时之和。
[0120]
第一编码模块204，用于根据所述第一压缩比对图像进行编码压缩。
[0121]
本实施例通过综合考虑编码耗时与压缩比之间的第一对应关系和传输耗时与压缩比之间的第二对应关系，让总耗时最小，能够有效降低无线串流场景中的延迟。
[0122]
在一种实施方式中，所述装置还包括：
[0123]
第三获取模块，用于获取第一数据集；其中，所述第一数据集包含多个压缩比，以及与每个压缩比对应的编码耗时。
[0124]
第一处理模块，用于对所述第一数据集进行处理，得到所述第一对应关系。
[0125]
在一种实施方式中，所述装置还包括：
[0126]
第四获取模块，用于获取第二数据集；其中，所述第二数据集包含多个压缩比，以及与每个压缩比对应的传输耗时。
[0127]
第二处理模块，用于对所述第二数据集进行处理，得到所述第二对应关系。
[0128]
在一种实施方式中，所述装置还包括：
[0129]
第一确定模块，用于根据所述第一压缩比确定第一范围。
[0130]
第二确定模块，用于在所述第一范围内选取多个压缩比。
[0131]
第二计算模块，用于计算每个压缩比对应的总耗时。
[0132]
第三确定模块，用于确定最小总耗时对应的第二压缩比。
[0133]
所述第一编码模块，还用于根据所述第二压缩比对图像进行编码压缩。
[0134]
在一种实施方式中，所述装置还包括：
[0135]
第三计算模块，用于根据所述第一对应关系和所述第二对应关系，计算出所述总耗时相对于所述压缩比的导数。
[0136]
第四计算模块，用于根据所述总耗时相对于所述压缩比的导数，计算所述第一压缩比；其中，所述第一压缩比对应的导数为零。
[0137]
如图6所示，本实施例介绍了一种电子设备300，包括处理器301和存储器302，所述存储器302存储可在所述处理器301上运行的程序或指令，所述程序或指令被所述处理器301执行时实现如本发明任一实施例所述的头戴式设备的无线串流传输方法的步骤。
[0138]
本公开的内容还可以包括计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令，即，可执行指令。
[0139]
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是，但不限于，电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
[0140]
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
[0141]
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
[0142]
这里参照根据本公开实施例的方法、计算设备和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
[0143]
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据
处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
[0144]
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
[0145]
附图中的流程图和框图显示了根据本公开的多个实施例的计算设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的计算设备来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
[0146]
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。