图像传输方法及装置、计算机可读存储介质与流程

1.本公开涉及图像传输技术领域，尤其涉及图像传输方法及装置、计算机可读存储介质。


背景技术：

2.参照图1，是现有的图像传输系统的基本结构，发送端对采集到的图像进行编码后通过网络发送到接收端，接收端对接收到的编码图像进行解码后，通过显示器进行显示。
3.在现有的图像传输系统中，特别是通过广域网传输图像时，如果发送端采用固定的分辨率和帧率进行图像发送，则接收端的显示效果将依赖于网络状况，网络状况好时，显示图像清晰且延迟小，但当网络状态不佳时，则会出现马赛克、卡顿等情况，影响图像的显示效果。


技术实现要素：

4.本公开实施例提供一种图像传输方法及装置、计算机可读存储介质，能够解决图像传输过程中因网络状态不佳而影响图像显示效果的问题。所述技术方案如下：
5.根据本公开实施例的第一方面，提供一种图像传输方法，该方法包括：
6.获取当前的网络状态信息，所述网络状态信息包括网络带宽；
7.根据所述当前的网络状态信息确定目标图像传输模式；
8.将当前的图像传输模式调整为所述目标图像传输模式；
9.采用所述目标图像传输模式传输图像数据；
10.其中，一种图像传输模式对应一种图像传输参数，所述图像传输参数包括帧率和/或分辨率。
11.本公开实施例提供的图像传输方法，能够根据当前的网络状态实时调整当前的图像传输模式，以适配于当前网络状态的图像传输参数传输图像数据，从而在有限的网络资源下尽可能的保证了图像的显示效果，提高了用户的观看体验。
12.在一个实施例中，所述获取当前的网络状态信息包括：
13.向接收端设备发送预设数量个大小相同的子探测数据包；
14.记录发送所述子探测数据包的时间，得到第一时间信息；
15.接收接收端设备反馈的第二时间信息，所述第二时间信息为所述接收端设备接收完所述预设数量个大小相同的子探测数据包的时间；
16.根据所述第一时间信息、所述第二时间信息和所述预设数量个大小相同的子探测数据包的总数据量确定当前的网络状态信息。
17.在一个实施例中，所述向接收端设备发送预设数量个大小相同的探测数据包之前，所述方法还包括：
18.获取当前的图像传输模式；
19.选取数据量与所述当前的图像传输模式匹配的探测数据包；
20.将所述探测数据包拆分为预设数量个大小相同的子探测数据包。
21.在一个实施例中，所述根据所述当前的网络状态信息确定目标图像传输模式包括：
22.从预设的第一传输模式列表中查找所述当前的网络状态信息对应的图像传输模式，得到目标图像传输模式；
23.所述第一传输模式列表中包括网络状态信息与图像传输模式的对应关系。
24.在一个实施例中，该方法还包括：
25.监测当前的网络延迟；
26.根据所述当前的网络延迟对当前的图像传输模式进行调整，得到调整后的图像传输模式；
27.采用所述调整后的图像传输模式传输图像数据。
28.通过对当前的网络延迟进行监测，并根据当前的网络延迟实时调整当前的图像传输模式，能够使网络在尽可能满足图像传输需求的同时保证图像的显示效果，提高了用户的观看体验。
29.在一个实施例中，所述根据所述当前的网络延迟对当前的图像传输模式进行调整包括：
30.判断所述当前的网络延迟是否在预设的网络延迟区间内；
31.若所述当前的网络延迟小于所述网络延迟区间的最小值，则根据预设的第二传输模式列表将当前的图像传输模式上调一个传输模式档位，所述第二传输模式列表中包括多个预设的图像传输模式，所述多个预设的图像传输模式按照帧率和/或分辨率大小进行档位排序；
32.若所述当前的网络延迟大于或等于所述网络延迟区间的最大值，则根据所述第二传输模式列表将当前的图像传输模式降低一个传输模式档位。
33.在一个实施例中，在所述根据所述第二传输模式列表将当前的图像传输模式降低一个传输模式档位之后，所述方法还包括：
34.判断是否当前的图像传输模式已降低至最小传输模式档位且所述当前的网络延迟大于或等于所述网络延迟区间的最大值；
35.若是，则保持当前的图像传输模式为所述最小传输模式档位对应的图像传输模式，并显示当前网络状态不佳的提示信息。
36.通过设定网络延迟区间，在当前图像传输模式下，判断当前的网络延迟是否在预设的网络延迟区间内，若小于网络延迟区间的最小值，说明当前的网络足够支撑当前的图像传输模式，并且可能有一定的富余，此时将当前的图像传输模式上调一个传输模式档位，能够在一定的网络状况下尽可能的提高图像的显示效果；若当前的网络延迟大于或等于网络延迟区间的最大值，说明当前的网络不能支撑当前的图像传输模式，此时将当前的图像传输模式降低一个传输模式档位，能够以适配于当前网络状态的图像传输模式传输图像数据，使图像传输系统在当前的网络状态下能够达到最佳的图像显示效果。
37.根据本公开实施例的第二方面，提供一种图像传输装置，包括：
38.获取模块，用于获取当前的网络状态信息，所述网络状态信息包括网络带宽；
39.确定模块，用于根据所述当前的网络状态信息确定目标图像传输模式；
40.调整模块，用于将当前的图像传输模式调整为所述目标图像传输模式；
41.传输模块，用于采用所述目标图像传输模式传输图像数据；
42.其中，一种图像传输模式对应一种图像传输参数，所述图像传输参数包括帧率和/或分辨率。
43.本公开实施例提供的图像传输装置，能够根据当前的网络状态实时调整当前的图像传输模式，以适配于当前网络状态的图像传输参数传输图像数据，从而在有限的网络资源下尽可能的保证了图像的显示效果，提高了用户的观看体验。
44.在一个实施例中，该装置还包括监测模块；
45.所述监测模块用于监测当前的网络延迟；
46.所述调整模块还用于根据所述当前的网络延迟对当前的图像传输模式进行调整，得到调整后的图像传输模式；
47.所述传输模块要用于采用所述调整后的图像传输模式传输图像数据。
48.通过对当前的网络延迟进行监测，并根据当前的网络延迟实时调整当前的图像传输模式，能够使网络在尽可能满足图像传输需求的同时保证图像的显示效果，提高了用户的观看体验。
49.根据本公开实施例的第三方面，提供一种计算机可读存储介质，所述存储介质中存储有至少一条计算机指令，所述计算机指令由处理器加载并执行以实现如上任一实施例所述的图像传输方法中所执行的步骤。
50.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
52.图1是现有的图像传输系统的基本结构示意图；
53.图2是本公开实施例提供的一种图像传输方法的流程图；
54.图3是本公开实施例提供的另一种图像传输方法的流程图；
55.图4是本公开实施例提供的一种图像传输装置的结构示意图；
56.图5是本公开实施例提供的另一种图像传输装置的结构示意图；
57.图6是本公开实施例提供的又一种图像传输装置的结构示意图；
58.图7是本公开实施例提供的再一种图像传输装置的结构示意图。
具体实施方式
59.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
60.本公开实施例提供一种图像传输方法，如图2所示，该图像传输方法可以包括以下步骤：
61.步骤201：获取当前的网络状态信息。
62.网络状态信息可以包括网络带宽和/或丢包率。
63.具体的，可以通过如下的方法获取当前的网络状态信息：向接收端设备发送预设数量个大小相同的子探测数据包；记录发送该预设数量个大小相同的子探测数据包的时间，得到第一时间信息；接收接收端设备反馈的第二时间信息，该第二时间信息为接收端设备接收完该预设数量个大小相同的子探测数据包的时间；根据第一时间信息、第二时间信息和预设数量个大小相同的子探测数据包的总数据量确定当前的网络状态信息。
64.以当前的网络状态信息为当前的网络带宽为例，可以根据如下公式计算得到当前的网络带宽l：l＝n/(t2
‑
t1)。其中，当前的网络带宽的单位为kb/s或者mb/s，n代表预设数量个大小相同的子探测数据包的总数据量，t1代表第一时间信息，t2代表第二时间信息。
65.在向接收端设备发送预设数量个大小相同的探测数据包之前，该方法还包括：获取当前的图像传输模式；选取数据量与当前的图像传输模式匹配的探测数据包；将该探测数据包拆分为预设数量个大小相同的子探测数据包。
66.其中，在不同的图像传输模式下，进行网络探测时，所选取的探测数据包的大小是不同的，在本公开实施例中，可以设置多种图像传输模式，比如省流模式、标清模式、高清模式和超清模式，每种图像传输模式对应一种图像传输参数，该图像传输参数可以包括帧率和/或分辨率。一种示例性的图像传输参数如表1所示：
67.表1
68.图像传输模式图像传输参数省流模式帧率：20；分辨率：640*360标清模式帧率：30；分辨率：960*540高清模式帧率：60；分辨率：1280*720超清模式帧率：60～144；分辨率：1920*1280
69.示例性的，图像传输模式和对应的探测数据包大小可以定义为如下的表2：
70.表2
71.图像传输模式探测数据包大小省流模式200kb标清模式2mb高清模式5mb超清模式50mb
72.如表2所示，在省流模式下可以选取200kb的探测数据包，在标清模式下可以选取2mb的探测数据包，在高清模式下可以选取5mb的探测数据包，在超清模式下可以选取50mb的探测数据包。
73.步骤202：根据当前的网络状态信息确定目标图像传输模式。
74.可以预先设置不同的网络状态与图像传输模式的对应关系。具体的，在获取到当前的网络状态信息后，可以从预设的第一传输模式列表中查找当前的网络状态信息所对应的图像传输模式，得到目标图像传输模式。其中，第一传输模式列表中包括网络状态信息与图像传输模式的对应关系。
75.在本公开实施例中，以网络状态信息是网络带宽为例，第一传输模式列表可以定
义为如下的表3：
76.表3
77.网络状态信息(网络带宽)图像传输模式300kb以下省流模式300kb～5mb标清模式5mb～50mb高清模式50mb以上超清模式
78.步骤203：将当前的图像传输模式调整为目标图像传输模式。
79.比如，如果获取到当前的网络带宽为7.2mb/s，则根据表3可以确定出目标图像传输模式为高清模式，则将当前的图像传输模式调整为高清模式。
80.步骤204：采用目标图像传输模式传输图像数据。
81.将当前的图像传输模式调整为目标图像传输模式后，采用该目标图像传输模式传输图像数据。
82.在当前的图像传输模式下，还可以持续对当前的网络延迟进行监测，根据监测到的网络延迟对当前的图像传输模式进行调整。具体的，该方法还包括：监测当前的网络延迟；根据当前的网络延迟对当前的图像传输模式进行调整，得到调整后的图像传输模式；采用调整后的图像传输模式传输图像数据。
83.其中，根据当前的网络延迟对当前的图像传输模式进行调整包括：判断当前的网络延迟是否在预设的网络延迟区间内；若当前的网络延迟小于网络延迟区间的最小值，则根据预设的第二传输模式列表将当前的图像传输模式上调一个传输模式档位，若当前的网络延迟大于或等于网络延迟区间的最大值，则根据第二传输模式列表将当前的图像传输模式降低一个传输模式档位。其中的第二传输模式列表中包括多个预设的图像传输模式，该多个预设的图像传输模式按照帧率和/或分辨率大小进行档位排序。比如，如表1所示，按照“省流模式
→
标清模式
→
高清模式
→
超清模式”的顺序，传输模式档位依次增高，可以将该排序作为第二传输模式列表。
84.具体的，在根据第二传输模式列表将当前的图像传输模式降低一个传输模式档位之后，该方法还包括：判断是否当前的图像传输模式已降低至最小传输模式档位且当前的网络延迟大于或等于网络延迟区间的最大值；若是，则保持当前的图像传输模式为最小传输模式档位对应的图像传输模式，并显示当前网络状态不佳的提示信息。
85.本公开实施例提供的图像传输方法，能够根据当前的网络状态自适应调整当前的图像传输模式，以适配于当前网络状态的图像传输参数传输图像数据，从而在有限的网络资源下尽可能的保证了图像的显示效果，提高了用户的观看体验。
86.基于上述图2对应的实施例提供的图像传输方法，本公开实施例提供另一种图像传输方法，该方法可以应用于图像传输系统中，该图像传输系统包括发送端设备和接收端设备，发送端设备可以通过网络向接收端设备传输图像数据。具体的，该方法可以是应用于发送端设备上，也可以是应用于图像传输系统中单独设置的图像传输装置上。本实施例以该方法应用于发送端设备上、网络状态信息是网络带宽为例进行说明，但并不代表本公开局限于此。参照图3所示，本实施例提供的图像传输方法包括以下步骤：
87.步骤301：在图像传输的初始阶段，根据预设规则设置图像传输模式。
88.可以预先设置多种图像传输模式，比如按照表1所示设置省流模式、标清模式、高清模式和超清模式，每一种图像传输模式对应一种图像传输参数。示例性的，也可以在图像传输的初始阶段，由用户根据传输需求设置所需的图像传输模式，比如设置不同的帧率和/或分辨率，每一种帧率和/或分辨率代表一种图像传输模式。
89.具体的，在图像传输的初始阶段，还不确定网络状况时，首先可以按照预设规则进行图像传输模式的设置。比如，可以将图像传输模式固定设置为标清模式或高清模式等，即就是，每一次图像传输一开始都默认是标清模式或高清模式。或者，也可以统计之前一段时间内向当前接收端设备发送图像数据时，各种图像传输模式的使用时长，然后将使用时长最长的那一种图像传输模式确定为当前传输初始阶段所设定的图像传输模式，传输一开始，将默认以该种图像传输模式传输图像数据。
90.步骤302：探测当前的网络带宽。
91.可以通过发送探测数据包的方式来探测当前的网络带宽。在不同图像传输模式下，进行网络带宽探测时，所选取的探测数据包的大小不同。示例性的，不同图像传输模式所对应的探测数据包的大小可参见表2。
92.在该步骤中，可以通过如下的步骤3021～步骤3025来探测当前的网络带宽：
93.步骤3021：选取与当前的图像传输模式匹配的探测数据包。
94.例如，在图像传输的初始阶段，默认的图像传输模式为标清模式，根据表2所示，可以在标清模式下取200kb图像数据作为探测数据包。
95.步骤3022：将选取出的探测数据包拆分成n个大小相同的子探测数据包。其中，n为大于1的整数。示例性的，n的取值可以由用户设置。
96.步骤3023：将n个大小相同的子探测数据包发送到接收端设备，并记录这些子探测数据包的发送时间，得到第一时间信息t1。
97.步骤3024：接收端设备接收到n个子探测数据包后，向发送端设备反馈接收完这n个子探测数据包时的时间，得到第二时间信息t2。
98.步骤3025：发送端设备根据接收端设备反馈的t2计算当前的网络带宽l。具体的计算公式如下：
99.l(单位为kb/s或mb/s)＝n/(t2
‑
t1)；
100.其中，n代表n个子探测数据包的总数据量。
101.步骤303：根据当前探测到的网络带宽确定图像传输模式。
102.具体的，可以根据前探测到的网络带宽，利用表3确定图像传输模式。
103.步骤304：实时调整当前的图像传输模式。
104.具体的，在当前的图像传输模式下，实时探测当前的网络带宽，根据当前探测到的网络带宽实时调整当前的图像传输模式。
105.例如，图像传输系统当前以标清模式传输图像数据，结合表3所示，如果当前的网络带宽为7.2mb/s，则将当前的图像传输模式从标清模式调整为高清模式；如果当前的网络带宽为2.1mb/s，则对应的图像传输模式为标清模式，此时不需要对当前的图像传输模式进行调整；如果当前的网络带宽低于300kb/s，则将当前的图像传输模式从标清模式调整为省流模式。
106.步骤305：在当前的图像传输模式下，监测当前的网络延迟。
107.通常，发送端设备发送的图像数据在通过网络到达接收端设备时会出现一定的网络延迟，如果网络延迟在一定范围内，对观看者的观看体验影响不大；但如果网络延迟过大，超过一定的范围，则会影响图像显示效果，给观看者带来一定的影响。因此，可以实时地监测当前的网络延迟，根据监测到的网络延迟适应性地调整当前的图像传输模式，以满足观看者的观看要求。
108.一种比较简单的网络延迟计算方法是：将数据发送和应答的时间差作为网络延迟。
109.步骤306：根据监测到的网络延迟调整当前的图像传输模式。
110.在本公开实施例中，可以设定用户能容忍的网络延迟的最大值tmax为50ms。如果在当前的图像传输模式下，监测到的网络延迟大于或等于50ms，则确定当前的网络不能支撑当前的图像传输模式，则将当前的图像传输模式向下调整一个传输模式档位。具体的，比如，如果当前是高清模式，则调整为标清模式，如果当前是标清模式，则调整为省流模式。
111.如果在当前的图像传输模式下，监测到的网络延迟小于20ms，则说明当前的网络状态足够支撑当前的图像传输模式，并且可能有一定富余，因此，可以尝试将当前的图像传输模式向上调整一个传输模式档位。具体的，比如，若当前的图像传输模式为标清模式，则调整为高清模式；若当前的图像传输模式为高清模式，则调整为超清模式。
112.如果在当前的图像传输模式下，网络延迟在[20，50)之间，则确定当前的图像传输模式与当前的网络状态比较匹配，可维持当前的图像传输模式。
[0113]
下面通过一个实例对上述方案做如下具体的说明：
[0114]
如果当前的图像传输模式为高清模式，且监测到当前的网络延迟大于50ms，则对当前的图像传输模式进行向下调整，即就是，将高清模式调整为标清模式。第一次调整后，继续监测网络延迟，如果监测到的网络延迟仍大于50ms，则继续向下调整图像传输模式，将标清模式调整为省流模式；如果调整后的网络延迟仍大于50ms，则维持当前的省流模式，并提示用户当前的网络状态不佳。
[0115]
第一次调整后，如果监测到的网络延迟在[20，50)之间，则暂时不再调整，而将当前的图像传输模式维持在标清模式，同时，继续对当前的网络延迟进行监测，并依据监测到的网络延迟进行后续调整。
[0116]
第一次调整后，如果监测到的网络延迟小于20ms，则可以对当前的图像传输模式进行向上档位的调整，以上述类似的过程，在每一次调整图像传输模式之后，仍继续对网络延迟进行监测，并依据监测结果进行图像传输模式的调整。
[0117]
在图像传输模式是向上调整档位的情况下，如果调整到最高档位的图像传输模式，比如超清模式，此时，如果网络延迟仍然小于20ms，则保持当前的图像传输模式不再调整。
[0118]
在本公开实施例中，可以在当前的图像传输模式下实时监测当前的网络状态信息和/或当前的网络延迟，根据监测结果，采用上述的策略动态调整当前的图像传输模式。
[0119]
本公开实施例提供的图像传输方法，能够根据当前的网络状态实时调整当前的图像传输模式，以适配于当前网络状态的图像传输参数传输图像数据，从而在有限的网络资源下尽可能的保证了图像的显示效果。进一步的，还可以通过对当前的网络延迟进行监测，并根据当前的网络延迟实时调整当前的图像传输模式，能够使网络在尽可能满足图像传输
需求的同时保证图像的显示效果，尽可能的提高了用户的观看体验。
[0120]
基于上述图2和图3对应的实施例中所描述的图像传输方法，下述为本公开装置实施例，可以用于执行本公开方法实施例。
[0121]
本公开实施例提供一种图像传输装置，如图4所示，该图像传输装置40包括：获取模块401、确定模块402、调整模块403和传输模块404；
[0122]
获取模块401用于获取当前的网络状态信息，该网络状态信息包括网络带宽；
[0123]
确定模块402用于根据当前的网络状态信息确定目标图像传输模式；
[0124]
调整模块403用于将当前的图像传输模式调整为确定模块402确定出的目标图像传输模式；
[0125]
传输模块404用于采用目标图像传输模式传输图像数据；
[0126]
其中，一种图像传输模式对应一种图像传输参数，该图像传输参数包括帧率和/或分辨率。
[0127]
在一个实施例中，确定模块402具体用于从预设的第一传输模式列表中查找当前的网络状态信息对应的图像传输模式，得到目标图像传输模式；其中的第一传输模式列表中包括网络状态信息与图像传输模式的对应关系。
[0128]
如图5所示，获取模块401可以包括发送单元4011、记录单元4012、接收单元4013和计算单元4014；
[0129]
发送单元4011用于向接收端设备发送预设数量个大小相同的子探测数据包；
[0130]
记录单元4012用于记录发送单元4011发送子探测数据包的时间，得到第一时间信息；
[0131]
接收单元4013用于接收接收端设备反馈的第二时间信息，该第二时间信息为接收端设备接收完发送单元4011发送的预设数量个大小相同的子探测数据包的时间；
[0132]
计算单元4014用于根据第一时间信息、第二时间信息和预设数量个大小相同的子探测数据包的总数据量确定当前的网络状态信息。
[0133]
在一个实施例中，如图6所示，获取模块401还可以包括获取单元4015、选取单元4016和均分单元4017；
[0134]
获取单元4015用于获取当前的图像传输模式；
[0135]
选取单元4016用于选取数据量与当前的图像传输模式匹配的探测数据包；
[0136]
均分单元4017用于将选取单元4016选取的探测数据包拆分为预设数量个大小相同的子探测数据包。
[0137]
如图7所示，图像传输装置40还包括监测模块405；
[0138]
监测模块405用于监测当前的网络延迟；
[0139]
调整模块403还用于根据当前的网络延迟对当前的图像传输模式进行调整，得到调整后的图像传输模式；
[0140]
传输模块404还用于采用所述调整后的图像传输模式传输图像数据。
[0141]
在一个实施例中，调整模块403还具体用于判断当前的网络延迟是否在预设的网络延迟区间内，若当前的网络延迟小于网络延迟区间的最小值，则根据预设的第二传输模式列表将当前的图像传输模式上调一个传输模式档位，其中的第二传输模式列表中包括多个预设的图像传输模式，该多个预设的图像传输模式按照帧率和/或分辨率大小进行档位
排序，若当前的网络延迟大于或等于网络延迟区间的最大值，则根据第二传输模式列表将当前的图像传输模式降低一个传输模式档位。
[0142]
在一个实施例中，调整模块403还具体用于在根据第二传输模式列表将当前的图像传输模式降低一个传输模式档位之后，判断是否当前的图像传输模式已降低至最小传输模式档位且当前的网络延迟大于或等于网络延迟区间的最大值，若是，则保持当前的图像传输模式为该最小传输模式档位对应的图像传输模式，并显示当前网络状态不佳的提示信息。
[0143]
本公开实施例提供的图像传输装置，能够根据当前的网络状态实时调整当前的图像传输模式，以适配于当前网络状态的图像传输参数传输图像数据，从而在有限的网络资源下尽可能的保证了图像的显示效果，提高了用户的观看体验。
[0144]
基于上述图2和图3对应的实施例中所描述的图像传输方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：read only memory，rom)、随机存取存储器(英文：random access memory，ram)、cd
‑
rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图2和图3对应的实施例中所描述的图像传输方法，此处不再赘述。
[0145]
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0146]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。