一种基于图像增量信息的通信方法及装置的制造方法
【专利摘要】本发明公开了一种基于图像增量信息的通信方法及装置。其中，用于发送端的通信方法包括：当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据；根据操作前后的屏幕帧图像数据获取图像增量信息；将操作信息及图像增量信息封装为交互数据包后发送至接收端。本发明通过采用增量信息的传输方式，可以有效缩小交互数据包的大小，充分节约传输所需的带宽资源；同时将用户的操作信息和图像的增量信息整体封装进交互数据包中，便于发送端和接收端同步图像信息。
【专利说明】
一种基于图像増量信息的通信方法及装置
技术领域
[0001]本发明涉及无线通信领域，尤其涉及一种基于图像增量信息的通信方法及装置。
【背景技术】
[0002]无线图像传输系统近年来发展迅速，随着底层网络技术的成熟，日益成为重要的新兴产业。基于无线图像传输技术，人们可以方便地获取异地的图像信息，为人们的生活和工作提供了便利。因此如何在无线图像传输系统中，对图像进行高质量、实时的传输已经成为一个核心的研究方向。
[0003]为了实现图像的低带宽传输，通常采用的方法是在传输前对图像数据进行压缩，减少其传输的数据量，从而降低对传输带宽的要求。图像压缩编码就是消除各种冗余，并在给定的畸变下用尽量少的比特数来表征和重建图像，使它符合预定应用场合的要求。图像压缩编码分为两种:一种是冗余度压缩编码，典型代表有哈夫曼编码、香农编码和游程编码等，压缩比相对较低，该种方法不会丢失数据，并且能够完全100%的恢复出原始图像，因此称为无损压缩编码。另一种是信息量压缩编码，典型代表有预测编码、统计编码和变换编码等，这种压缩方法在压缩过程中会丢失一些图像信息，且所丢失的信息不能够恢复，因此又被称为有损压缩编码。
[0004]然而现有的图像传输技术方案，不管是采用有损压缩还是采用无损压缩，其压缩比都很小，还是不能满足无线图像传输系统中低带宽的传输要求。通常无损压缩的压缩比很小，只有2:1?5:1，而有损压缩压缩比例虽然稍大，但是会影响图像的质量，达不到某些场合的对于图像高质量的要求。因此如何实现降低图像的数据量，以满足无线图像传输系统对于图像高质量以及实时传输要求，已经成为目前通信领域一个核心的研究方向。
【发明内容】
[0005]本发明所要解决的技术问题在于提供一种基于图像增量信息的通信方法及装置，用于解决现有技术的无线图像传输系统中如何实现图像高质量以及实时传输的技术问题。
[0006]为解决上述发明目的，本发明采用下述的技术方法:
[0007]依据本发明的一方面，提供一种基于图像增量信息的通信方法，用于发送端，包括:
[0008]当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据；
[0009]根据操作前后的屏幕帧图像数据获取图像增量信息；
[0010]将所述操作信息及所述图像增量信息封装为交互数据包后发送至接收端。
[0011]进一步地，所述获取用户操作前后的屏幕帧图像数据后，通过行扫描的方式对所述屏幕帧图像数据进行编码。
[0012]进一步地，所述根据操作前后的屏幕帧图像数据获取图像增量信息，包括:
[0013]将用户操作前后的屏幕帧图像数据进行对比，获取像素变化的路径信息和颜色信息;
[0014]将所述颜色信息和所述路径信息作为所述图像增量信息。
[0015]进一步地，所述交互数据包包括操作信息位、颜色位以及路径位;其中，所述操作信息位包括撤销位以及除撤销操作外其他操作的操作位。
[0016]进一步地，所述将所述操作信息及所述图像增量信息封装为交互数据包后，将所述交互数据包进行缓存。
[0017]进一步地，所述将所述操作信息及所述图像增量信息封装为交互数据包，包括:
[0018]判断所述操作信息是否为撤销操作:
[0019]若为撤销操作，则获取上一次缓存的交互数据包，修改所述交互数据包的撤销位；
[0020]若非撤销操作，则根据操作信息修改所述操作位，根据所述图像增量信息修改所述颜色位和所述路径位。
[0021]进一步地，所述方法还包括:
[0022]在预设时间内重复发送所述交互数据包，若在所述预设时间内监听到所述接收端发送的已收到反馈信息，则停止发送。
[0023]依据本发明的一方面，提供一种基于图像增量信息的通信方法，用于接收端，包括:
[0024]接收发送端发送的交互数据包；
[0025]根据所述交互数据包获取操作信息以及图像增量信息；
[0026]根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。
[0027]进一步地，所述根据所述交互数据包获取操作信息以及图像增量信息，包括:
[0028]解析所述交互数据包中撤销位、颜色位、操作位以及路径位；
[0029]所述操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息；
[0030]所述图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。
[0031]进一步地，所述根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作，包括:
[0032]根据撤销位判断是否为撤销操作:
[0033]若非撤销操作，则根据操作位获取执行的操作类型，根据所述颜色位和所述路径位获取像素变化的路径信息和颜色信息;根据所述路径信息和颜色信息在当前屏幕帧图像中执行所述操作类型对应的操作；
[0034]若为撤销操作，则撤销所述操作位对应的操作。
[0035]进一步地，所述接收发送端发送的交互数据包后，向所述发送端发送已收到反馈
?目息O
[0036]依据本发明的一方面，提供一种基于图像增量信息的通信装置，用于发送端，包括:
[0037]第一获取单元，用于当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据；
[0038]第二获取单元，用于根据操作前后的所述屏幕帧图像数据获取图像增量信息；
[0039]封装单元，用于将所述操作信息及所述图像增量信息封装为交互数据包；
[0040]发送单元，用于将所述交互数据包发送至接收端。
[0041]进一步地，所述第一获取单元还用于获取用户操作前后的屏幕帧图像数据后，通过行扫描的方式对所述屏幕帧图像数据进行编码。
[0042]进一步地，所述第二获取单元具体用于:
[0043]将用户操作前后的屏幕帧图像数据进行对比，获取像素颜色变化的路径信息和颜色信息；
[0044]将所述颜色信息和所述路径信息作为所述图像增量信息。
[0045]进一步地，所述封装单元封装的交互数据包包括撤销位、颜色位、操作位以及路径位。
[0046]进一步地，所述装置还包括缓存单元，用于在封装交互数据包后进行缓存。
[0047]进一步地，所述封装单元具体用于:
[0048]判断所述操作信息是否为撤销操作:
[0049]若为撤销操作，则获取上一次保存的交互数据包，修改所述交互数据包的撤销位；
[0050]若非撤销操作，则根据操作信息修改所述操作位，根据所述图像增量信息修改所述颜色位和所述路径位。
[0051 ]进一步地，所述发送单元还用于，在预设时间内重复发送所述交互数据包，若在所述预设时间内监听到所述接收端发送的已收到反馈信息，则停止发送。
[0052]依据本发明的一方面，提供一种基于图像增量信息的通信装置，用于接收端，包括:
[0053]接收单元，用于接收发送端发送的交互数据包；
[0054]获取单元，用于根据所述交互数据包获取操作信息以及图像增量信息；
[0055]处理单元，用于根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。
[0056]进一步地，所述获取单元具体用于:
[0057 ]解析所述交互数据包中撤销位、颜色位、操作位以及路径位；
[0058]所述操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息；
[0059]所述图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。
[0000]进一步地，所述处理单元具体用于:
[0061 ]根据撤销位判断是否为撤销操作:
[0062]若非撤销操作，则根据操作位获取执行的操作类型，根据所述颜色位和所述路径位获取像素变化的路径信息和颜色信息;根据所述路径信息和颜色信息在当前屏幕帧图像中执行所述操作类型对应的操作；
[0063]若为撤销操作，则撤销所述操作位对应的操作。
[0064]进一步地，所述装置还包括发送单元，用于接收发送端发送的交互数据包后，向所述发送端发送已收到反馈信息。
[0065]本发明具有以下有益效果:
[0066]本发明所提供的基于图像增量信息的通信方法及装置，通过获取用户操作后屏幕中图像的增量信息，并将增量信息作为图像传输信息，可以有效减少数据量，缩小交互数据包的大小，充分节约传输所需的带宽资源；同时将用户的操作信息和图像的增量信息整体封装进交互数据包中，便于发送端和接收端同步图像信息;通过在交互数据包中区分撤销操作与其他操作，为用户的还原操作提供了简易可行的方法;通过采用监听重传机制，确保交互数据包在传输过程中不会出现丢包的情况，保证了数据传输的可靠性。
[0067]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【附图说明】
[0068]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0069]图1为本发明实施例中发送端的基于图像增量信息的通信方法的流程图；
[0070]图2为本发明一实施例中交互数据包的封装格式图；
[0071 ]图3为本发明一实施例中交互数据包的封装格式图；
[0072]图4为本发明实施例中接收端的基于图像增量信息的通信方法的流程图；
[0073]图5为本发明实施例中用于发送端的基于图像增量信息的通信装置的结构框图；
[0074]图6为本发明实施例中用于接收端的基于图像增量信息的通信装置的结构框图。
【具体实施方式】
[0075]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0076]本发明实施例提供了一种基于图像增量信息的通信方法，如图1所示，具体包括如下步骤:
[0077]SlOl，当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据；
[0078]S102，根据操作前后的屏幕帧图像数据获取图像增量信息；
[0079]S103，将操作信息及图像增量信息封装为交互数据包后发送至接收端。
[0080]本发明实施例所提供的基于图像增量信息的通信方法，通过获取用户操作后屏幕中图像的增量信息作为交互信息，可以有效缩小交互数据包的大小，充分节约传输带宽资源；同时将用户的操作信息和图像增量信息进行整体封装，便于发送端和接收端实现图像信息的同步。
[0081]下面结合附图和具体实施例对本发明的技术内容做进一步详细说明。
[0082]SlOl，当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据。
[0083]本发明的实施例中，操作信息包括撤销、绘制以及擦除等信息。用户在对图像进行操作时，通常选择操作的类型。例如，需要进行绘制时，需要先选择绘制命令;擦除时，获取橡皮擦命令。
[0084]在该步骤中，本发明实施例中采用监听器实时监听屏幕中是否有用户操作动作，包括撤销、绘制以及擦除等。当监测到操作动作后，采集屏幕中的信息，获取该动作完成后屏幕帧图像数据，即每一个操作动作后进行一次屏幕帧图像数据的获取。接着，对屏幕帧图像数据进行预处理编码。在进行预处理编码时，屏幕帧图像数据按照从上到下的顺序划分成行，从左到右的顺序划分成列。通过行扫描的方式，当一行的全部列完成后，继续扫描下一行，实现图片数据的编码。
[0085]对于操作前屏幕帧图像数据的获取，可以从缓存数据中获取。由于每完成一个屏幕帧图像数据的采集后，将该屏幕帧图像数据进行缓存，用于下一次用户操作后，将缓存的屏幕帧图像数据作为操作前的屏幕帧图像数据。
[0086]S102，根据操作前后的屏幕帧图像数据获取图像增量信息。
[0087]在该步骤中，图像增量信息包括像素变化的路径信息和颜色信息。在获取图像增量信息时，根据用户操作前后的屏幕帧图像中每个像素的数据分别进行对比，获取颜色变化后的像素的颜色信息和坐标信息。所有变化的像素坐标信息即为路径信息。
[0088]具体地，本发明实施例中，按照行读取的方式依序获取操作前后的屏幕帧图像中每个像素颜色信息，并将像素颜色进行对比；如果不同，则将该像素的坐标位置作为增量的路径信息进行存储，同时保存像素变化后的颜色信息;如果相同，则忽略该像素的信息。
[0089]S103，将操作信息及图像增量信息封装为交互数据包后发送至接收端。
[0090]本发明的实施例中，交互数据包包括操作信息和图像增量信息。其中，操作信息具体细分为撤销操作和非撤销操作。对于交互数据包的封装格式，可以采用图2中的封装格式。该封装格式适用于对图像进行单颜色的改变操作。
[0091]具体地，该封装格式包括撤销位、颜色位、操作位和路径位。其中撤销位占用I位，O表示普通操作，I表示撤销操作;颜色位占用4位，表示16种颜色;操作位占用两位，可以表示4种操作数，每个操作数对应一种操作类型，例如绘制或者擦除等，具体的类型不做限定;后面的内容为路径位，按行存储像素变化的坐标位置。交互数据包的总的长度(包括报头)不超过 1400bit。
[0092]对于交互数据包的封装格式，还可以选择图3所示的格式。该封装格式适用于对图像进行多种颜色的改变操作。不同于图2中将颜色位作为单独的操作位，图3所示的格式将每个像素的颜色位与坐标位进行封装。
[0093]本发明实施例中采用交互数据包，撤销操作占用单独的一位。当用户需要还原操作时，复制最近保存的一个交互数据包，并将撤销操作标志位设置为I后，加入缓存中，以此来区分当前操作是否是撤销操作，为用户的还原操作提供了简易可行的方法，便于在本地以及接收端同时实现撤销操作。
[0094]具体地，在根据操作信息和图像增量信息封装交互数据包时，具体包括如下步骤:
[0095]判断操作信息是否为撤销操作:
[0096]如果为撤销操作，则获取上一次保存的交互数据包，修改交互数据包的撤销位为 I；
[0097]如果非撤销操作，则根据操作信息修改操作位为相应操作数，同时根据图像增量信息修改颜色位和路径位。
[0098]本发明实施例中，在封装完图像交互数据包后，将交互数据包进行缓存。具体地，设置一级缓存、二级缓存和三级缓存，分别缓存5个、10个、20个交互数据包。缓存顺序为:先填满一级缓存，再填充二级缓存，最后填充三级缓存。当交互数据包的数目超过容量时，则丢弃最先缓存的交互数据包。通过采用分级缓存的方式，可以有效提升终端CPU的处理效率。在接收到用户的发送信号后，从分级缓存中获取交互数据包，当接收到用户的发送信号后，发送交互数据包至接收端。
[00"] 进一步地，本发明实施例中，发送交互数据包时，采用UDP(User DatagramProtocol，用户数据报)协议。采用UDP协议虽然可以使得传输速度增快，但同时也会出现丢包的情况。采用增量信息的传输机制，对图像信号进行了充分的压缩和预处理，所以一个数据包内的信息十分重要。为了保证传输过程中不会丢包，发送端采用了监听重传机制，通过接收端主动反馈的方式，在降低发送成本的同时，增加信息传输的可靠性。
[0100]具体地，在发送交互数据包后，需要在一定的时间内重复发送交互数据包;若在该段时间内，监听到接收端发送的反馈信息后，则停止继续发送。若在该时间内，未获取到接收端的反馈信息，则重新从缓存中获取交互数据包，并重新发送至接收端。
[0101]参见图4，本发明还提供了一种基于图像增量信息的通信方法，用于接收端具体包括如下步骤:
[0102]S301，接收发送端发送的交互数据包；
[0103]S302，根据交互数据包获取操作信息以及图像增量信息；
[0104]S303，根据操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。
[0105]具体地，根据交互数据包获取操作信息以及图像增量信息时，解析交互数据包中撤销位、颜色位、操作位以及路径位;操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息；图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。
[0106]进一步地，根据操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作，包括:
[0107]根据撤销位判断是否为撤销操作:
[0108]若非撤销操作，则根据操作位获取执行的操作类型，根据颜色位和路径位获取像素变化的路径信息和颜色信息;根据路径信息和颜色信息在前一屏幕帧图像中执行操作类型对应的操作；
[0109]若为撤销操作，则撤销操作位对应的操作。
[0110]进一步地，接收发送端发送的交互数据包后，向发送端发送已收到反馈信息。
[0111]如图5所示，本发明还提供了一种基于图像增量信息的通信装置，用于发送端，具体包括:
[0112]第一获取单元，用于当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据；
[0113]第二获取单元，用于根据操作前后的所述屏幕帧图像数据获取图像增量信息；
[0114]封装单元，用于将所述操作信息及所述图像增量信息封装为交互数据包；
[0115]发送单元，用于将所述交互数据包发送至接收端。
[0116]进一步地，所述第一获取单元还用于获取用户操作前后的屏幕帧图像数据后，通过行扫描的方式对所述屏幕帧图像数据进行编码。
[0117]进一步地，所述第二获取单元具体用于:
[0118]将用户操作前后的屏幕帧图像数据进行对比，获取像素颜色变化的路径信息和颜色信息；
[0119]将所述颜色信息和所述路径信息作为所述图像增量信息。
[0120]进一步地，所述封装单元封装的交互数据包包括撤销位、颜色位、操作位以及路径位。
[0121]进一步地，所述装置还包括缓存单元，用于在封装交互数据包后进行缓存。
[0122]进一步地，所述封装单元具体用于:
[0123]判断所述操作信息是否为撤销操作:
[0124]若为撤销操作，则获取上一次保存的交互数据包，修改所述交互数据包的撤销位；
[0125]若非撤销操作，则根据操作信息修改所述操作位，根据所述图像增量信息修改所述颜色位和所述路径位。
[0126]进一步地，发送单元还用于，在预设时间重复发送所述交互数据包，若在所述预设时间内监听到所述接收端发送的已收到反馈信息，则停止发送。
[0127]参见图6，本发明实施例还提供了一种基于图像增量信息的通信装置，用于接收端，包括:
[0128]接收单元，用于接收发送端发送的交互数据包；
[0129]获取单元，用于根据交互数据包获取操作信息以及图像增量信息；
[0130]处理单元，用于根据操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。
[0131]进一步地，获取单元具体用于:
[0132]解析所述交互数据包中撤销位、颜色位、操作位以及路径位；
[0133]所述操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息；
[0134]所述图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。
[0135]进一步地，处理单元具体用于:
[0136]根据撤销位判断是否为撤销操作:
[0137]若非撤销操作，则根据操作位获取执行的操作类型，根据颜色位和路径位获取像素变化的路径信息和颜色信息;根据路径信息和颜色信息在当前屏幕帧图像中执行操作类型对应的操作；
[0138]若为撤销操作，则撤销操作位对应的操作。
[0139]进一步地，该装置还包括发送单元，用于接收发送端发送的交互数据包后，向发送端发送已收到反馈信息。
[0140]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。
[0141]虽然通过实施例描述了本申请，本领域的技术人员知道，本申请有许多变形和变化而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种基于图像增量信息的通信方法，用于发送端，其特征在于，包括: 当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据； 根据操作前后的屏幕帧图像数据获取图像增量信息； 将所述操作信息及所述图像增量信息封装为交互数据包后发送至接收端。2.如权利要求1所述的方法，其特征在于，所述获取用户操作前后的屏幕帧图像数据后，通过行扫描的方式对所述屏幕帧图像数据进行编码。3.如权利要求1所述的方法，其特征在于，所述根据操作前后的屏幕帧图像数据获取图像增量信息，包括: 将用户操作前后的屏幕帧图像数据进行对比，获取像素变化的路径信息和颜色信息； 将所述颜色信息和所述路径信息作为所述图像增量信息。4.如权利要求3所述的方法，其特征在于，所述交互数据包包括操作信息位、颜色位以及路径位;其中，所述操作信息位包括撤销位以及除撤销操作外其他操作的操作位。5.如权利要求4所述的方法，其特征在于，所述将所述操作信息及所述图像增量信息封装为交互数据包后，将所述交互数据包进行缓存。6.如权利要求5所述的方法，其特征在于，所述将所述操作信息及所述图像增量信息封装为交互数据包，包括: 判断所述操作信息是否为撤销操作: 若为撤销操作，则获取上一次缓存的交互数据包，修改所述交互数据包的撤销位； 若非撤销操作，则根据操作信息修改所述操作位，根据所述图像增量信息修改所述颜色位和所述路径位。7.如权利要求1所述的方法，其特征在于，所述方法还包括: 在预设时间内重复发送所述交互数据包，若在所述预设时间内监听到所述接收端发送的已收到反馈信息，则停止发送。8.一种基于图像增量信息的通信方法，用于接收端，其特征在于，包括: 接收发送端发送的交互数据包； 根据所述交互数据包获取操作信息以及图像增量信息； 根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。9.如权利要求8所述的方法，其特征在于，所述根据所述交互数据包获取操作信息以及图像增量信息，包括: 解析所述交互数据包中撤销位、颜色位、操作位以及路径位； 所述操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息； 所述图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。10.如权利要求9所述的方法，其特征在于，所述根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作，包括: 根据撤销位判断是否为撤销操作: 若非撤销操作，则根据操作位获取执行的操作类型，根据所述颜色位和所述路径位获取像素变化的路径信息和颜色信息;根据所述路径信息和颜色信息在当前屏幕帧图像中执行所述操作类型对应的操作； 若为撤销操作，则撤销所述操作位对应的操作。11.如权利要求8所述的方法，其特征在于，所述接收发送端发送的交互数据包后，向所述发送端发送已收到反馈信息。12.一种基于图像增量信息的通信装置，用于发送端，其特征在于，包括: 第一获取单元，用于当监听到屏幕有操作动作时，获取用户的操作信息以及操作前后的屏幕帧图像数据； 第二获取单元，用于根据操作前后的所述屏幕帧图像数据获取图像增量信息； 封装单元，用于将所述操作信息及所述图像增量信息封装为交互数据包； 发送单元，用于将所述交互数据包发送至接收端。13.如权利要求12所述的装置，其特征在于，所述第一获取单元还用于获取用户操作前后的屏幕帧图像数据后，通过行扫描的方式对所述屏幕帧图像数据进行编码。14.如权利要求13所述的装置，其特征在于，所述第二获取单元具体用于: 将用户操作前后的屏幕帧图像数据进行对比，获取像素颜色变化的路径信息和颜色信息; 将所述颜色信息和所述路径信息作为所述图像增量信息。15.如权利要求14所述的装置，其特征在于，所述封装单元封装的交互数据包包括撤销位、颜色位、操作位以及路径位。16.如权利要求15所述的装置，其特征在于，所述装置还包括缓存单元，用于在封装交互数据包后进行缓存。17.如权利要求16所述的装置，其特征在于，所述封装单元具体用于: 判断所述操作信息是否为撤销操作: 若为撤销操作，则获取上一次保存的交互数据包，修改所述交互数据包的撤销位；若非撤销操作，则根据操作信息修改所述操作位，根据所述图像增量信息修改所述颜色位和所述路径位。18.如权利要求12所述的装置，其特征在于，所述发送单元还用于， 在预设时间内重复发送所述交互数据包，若在所述预设时间内监听到所述接收端发送的已收到反馈信息，则停止发送。19.一种基于图像增量信息的通信装置，用于接收端，其特征在于，包括: 接收单元，用于接收发送端发送的交互数据包； 获取单元，用于根据所述交互数据包获取操作信息以及图像增量信息； 处理单元，用于根据所述操作信息、图像增量信息在当前屏幕帧图像中执行增量处理操作。20.如权利要求19所述的装置，其特征在于，所述获取单元具体用于: 解析所述交互数据包中撤销位、颜色位、操作位以及路径位； 所述操作信息即为撤销位表示的撤销操作信息以及操作位表示的除撤销操作外其他操作信息； 所述图像增量信息即为颜色位表示的像素变化颜色信息以及路径位表示的像素变化路径。21.如权利要求20所述的装置，其特征在于，所述处理单元具体用于: 根据撤销位判断是否为撤销操作: 若非撤销操作，则根据操作位获取执行的操作类型，根据所述颜色位和所述路径位获取像素变化的路径信息和颜色信息;根据所述路径信息和颜色信息在当前屏幕帧图像中执行所述操作类型对应的操作； 若为撤销操作，则撤销所述操作位对应的操作。22.如权利要求19所述的装置，其特征在于，所述装置还包括发送单元，用于接收发送端发送的交互数据包后，向所述发送端发送已收到反馈信息。
【文档编号】H04N21/647GK105959796SQ201610279992
【公开日】2016年9月21日
【申请日】2016年4月29日
【发明人】王淼, 李永华, 尹珊
【申请人】海尔优家智能科技（北京）有限公司