一种实时图像传输方法及装置与流程

本发明属于数据编码，尤其涉及一种实时图像传输方法及装置。

背景技术：

1、在图像传输过程中，为了减小数据量，图像通常会被压缩，传输过程中，接收方需要对压缩的图像进行解压缩，压缩和解压缩统称为编码。图像编码可以根据网络条件的变化进行调整，选择合适的压缩算法或参数，以适应不同的网络带宽和质量，这种灵活性使得图像传输能够在不同环境下都能够有效进行。图像编码在图像传输过程中是至关重要的，它通过降低数据量、提高传输速度、节省存储空间、提高安全性等方面的优势，为图像传输提供了有效的解决方案。

2、目前在图像传输过程中，图像编码方式往往会经过传统的分块dct压缩算法压缩数据，由于差分编码和熵编码的存在使得后续数据的解码过程依赖于前面其他的解码数据，这均会导致当传输和fec解码失败时后续的数据虽传输成功却无法解码恢复，造成图像数据传输失败，浪费网络资源。

技术实现思路

1、鉴于以上现有技术的不足，发明的目的在于提供一种实时图像传输方法及装置，提高了图像传输过程中的抗干扰能力，即使出现部分数据丢失的情况下，仍能够在不重发的情况下将图像恢复至可接受的程度。

2、本发明的第一方面，提出了一种实时图像传输方法，包括：

3、s1：接收待传输图像；

4、s2：对待传输图像进行基于dct变换的预处理，获取待传输图像中每个图像分块的dct系数，其中，dct系数包括每个图像分块的dc系数和ac系数，其中，图像分块的大小为8x8像素；

5、s3：对dct系数进行量化处理，获取离散的dct系数；

6、s4：获取网络的连续丢包允许长度，基于连续丢包允许长度对量化后的dct系数进行重排，使得属于同一图像分块的dct系数位于不同的传输数据包；

7、s5：分别将每个图像分块中重排后的dc系数组合得到第一级序列，第一个ac系数至第三个ac系数组合得到第二级序列，剩余的ac系数组合得到第三级序列；

8、s6：分别对第一级序列、第二级序列和第三级序列按不同的分段长度进行熵编码，并记录熵编码后每个序列的比特长度；

9、s7：选取不同的fec编码方式的码率对分别由第一级序列、第二级序列和第三级序列组成的第一子带、第二子带和第三子带进行有区别的冗余度编码，得到具有冗余度的传输数据包；

10、s8：采用自适应uep策略调整单个具有冗余度的传输数据包中相对应子带比特数的占比，使得各个子带的比特长度与相对应的冗余度编码之和相同，并使具有冗余度的传输数据包包括不同优先级子带的数据；

11、s9：将调整后的具有冗余度的传输数据包作为压缩数据传输至目标端；

12、s10：在压缩数据在传输过程中具有信息丢失的情况下，利用错误隐藏算法根据邻域信息对待恢复dct系数进行数据恢复；

13、s11：对恢复后的压缩图像进行解码，完成待传输图像的传输。

14、进一步地，预处理还包括色彩空间转换和色度降采样。

15、进一步地，s2具体包括：

16、s201：对待传输图像待传输图像进行dct变换，获取待传输图像中每个图像分块的dct系数f(u,v)：

17、

18、

19、其中，0≤u,v＜8，f(i,j)表示8x8像素大小的图像分块像素值，n表示图像分块总数量，i，j表示所述图像分块内像素点的相对位置，u，v表示所述待传输图像dct变换后对应的频点位置。

20、进一步地，s3具体为：

21、s301：选取第一预设量化步长对dc系数进行量化，选取第二预设量化步长对ac系数进行量化，其中，第一预设量化步长小于第二预设量化步长。

22、进一步地，s4具体包括：

23、s401：以第一边长d的正方形将待传输图像划分为多个一级重排单位：

24、

25、其中，t表示一级重排单位的总数量，n表示图像分块总数量；

26、s402：以第二边长e的正方形将一级重排单位划分为多个二级重排单位：

27、

28、其中，k表示连续丢包允许长度；

29、s403：将二级重排单位中的元素按从上至下、从左至右的顺序进行编号，并以同样的方式对一级重排单位进行编号。

30、进一步地，每个图像分块包括64个dct系数，其中包括一个dc系数和63个ac系数；s5具体包括：

31、s501：将每个图像分块的dc系数进行组合，得到第一级序列；

32、s502：将每个图像分块的第一个ac系数至第三个ac系数组合得到第二级序列；

33、s503：将每个图像分块中剩余的60个ac系数进行组合得到第三级序列。

34、进一步地，s7具体包括：

35、s701:通过卷积码(n,g,l)，选取fec编码方式的码率为确定fec编码方式的冗余度为其中，第二子带的冗余度大于第一子带的冗余度，第一子带的冗余度大于第三子带的冗余度；

36、s702：按冗余度对相应码率的子带(s1，s2，s3)分别进行fec编码，获得相应的fec编码数据(f1,f2,f3)，其中，s1和f1分别表示第一子带和第一子带的efc编码数据，s2和f2分别表示第二子带和第二子带的efc编码数据，s3和f3分别表示第三子带和第三子带的efc编码数据；

37、s703：将子带和相对应的fec编码数据进行拼接，得到具有冗余度的传输数据包。

38、进一步地，s8具体为：

39、s801：根据具有冗余度的传输数据包的比特长度，采用自适应uep策略调整子带比特数在具有冗余度的传输数据包的占比：

40、

41、其中，p表示具有冗余度的传输数据包的比特长度，x，y，z分别表示第一子代、第二子带和第三子带在单个具有冗余度的传输数据包比特数，r1，r2，r3分别表示第一子代、第二子带和第三子带的冗余度，t1，t2，t3分别表示所有的具有冗余度的传输数据包的总比特数。

42、进一步地，s10具体包括：

43、s1001：以待恢复dct系数所在的图像分块为目标块划分搜索区域，其中，搜索区域为以目标块为中心的3x3区域；

44、s1002：在搜索区域内搜索dc系数未丢失的图像分块作为参考块；

45、s1003：在搜索区域内未搜索到参考块的情况下，对搜索区域进行更新，直至搜索到参考块，其中，更新的规则为向目标块中未丢失块的方向进行扩展；

46、s1004：记录参考块到中心块的距离dr(x,y)：

47、

48、其中，x，y分别表示参考块相对于中心块在横纵坐标轴上的距离；

49、s1005：在目标块和参考块的ac系数均未丢失的情况下，将目标块的dc系数置为0后进行idct变换，将相邻位置像素分别记为和

50、s1006：根据参考块的ac系数估计目标块的dc系数，得到估计dc系数值edc(x,y)：

51、

52、其中，rdc(x,y)表示参考块的dc系数值；

53、s1007：结合参考块到中心块的距离，对根据不同参考块得到的dc系数值分配权值，并结合权值对相对应的dc系数值进行加权平均，得到待恢复dct系数的值edc：

54、

55、本发明的第二方面，提出了一种实现实时图像传输方法的装置，包括处理器和用于存储处理器可执行指令的存储器；处理器被配置为调用存储器存储的指令，以执行第一方面的实时图像传输方法。

56、本发明有益效果如下：

57、(1)本发明在压缩过程中考虑网络可接受的连续丢包允许长度，即在可恢复的前提下允许压缩数据丢失的长度，进而确定重排方案，使得属于同一图像分块的dct系数位于不同的传输数据包，改变原始不同图像分块dct系数的排布顺序，使得最终序列的任何一段均能包含不同图像位置而非连续相邻分块位置的dct系数，该操作可以在传输中发生丢包时使得丢失的数据位置分散，进而提升数据传输过程中的抗干扰能力，减弱突发丢失的影响并有效地使得丢失数据的位置更加分散，有利于采用简单的策略进行图像恢复和获得更好的视觉效果。

58、(2)本发明对于每个图像分块，按dct系数的重要程度进行优先级划分，将重排后的dct系数序列从低频到高频的扫描顺序划分成多个子序列分段进行熵编码，确定不同dct系数的重要程度，便于后续进行非对等保护(uep)策略的fec编码设计，以及在解码过程中，便于利用错误隐藏算法按照每一特定分段间隔对dct系数进行熵编码并额外记录编码长度信息来确保编解码同步性，尽可能解压缩恢复所有接收到的数据，以重建视角展开了非对等保护策略的fec编码保护对重建效果影响更大的数据，并增加了对应的错误隐藏环节来保证在fec解码失败后仍能更大化恢复视觉质量更高的图像。

59、(3)本发明通过本专利完整的压缩、数据组织、fec编码和重建环节的设计，能够使得在一个往返时间内成功传输良好视觉效果的图像，即使遇到拥塞、延迟卡顿、数据损坏与丢失等网络状况不佳的现象，仍然能够在各策略的配合下保证图像重建视觉效果可接受，避免损失重传造成的大量网络资源浪费，这有利于应对在恶劣网络条件下实现实时图像传输所面临的挑战，在新兴的一些对实时性具有高要求应用场景如云桌面系统中的桌面图像传输、5g远程自动驾驶中的捕获图像传输、云宇宙等交互式视频应用的多帧传输中具有广阔的市场应用价值。