图像传输系统和图像传输方法与流程

文档序号:13767833阅读:178来源:国知局

本发明实施例涉及图像处理领域,尤其涉及一种图像传输系统和一种图像传输方法。



背景技术:

随着数字照相机分辨率的不断提高,照相机拍摄的照片中包含的信息量愈发巨大,对存储及传输提出挑战。常见的解决方案是采用图像压缩技术,利用图像像素间的空间相关性,在不损害或轻微损害图像质量的前提下,移除冗余信息,减小图像文件大小,以利于图像的存储及传输,常见的图像格式如jpg、png即是这类方案的体现。

针对照相机的位置及朝向固定,将不定时拍摄的多张照片传输至另一电子装置这一应用场景,传统技术方案是将每张照片单独压缩处理,并将处理后的文件传输至远端。由于图像压缩技术非常成熟,有诸多的工业标准,远端通常不需额外操作即可解码压缩后的图像,从而完成照相机至远端电子装置之间的信息传输。然而,这种传统技术方案没有利用照相机的位置及朝向固定时所拍摄照片在内容上有高度相关性这一特点,因而在传输过程中对数据带宽有浪费。

因此,需要提供一种图像传输系统和图像传输方法来克服或缓解上述技术问题。



技术实现要素:

根据本发明实施例的一个方面,提供了一种图像传输方法,可以包括:

照相机针对对象拍摄当前图像;

利用本地数据压缩模型,选择多个压缩规则之一对当前图像进行压缩;

将当前图像的压缩数据包发送到远端设备;以及

远端设备接收所述压缩数据包,使用远端数据压缩模型对压缩数据包进行解压缩,并利用解压缩的图像数据更新远端数据压缩模型;

其中,根据当前图像和数据压缩模型中的一个或多个历史图像之间的差异选择所述压缩规则之一,所述压缩数据包包括压缩图像数据以及辅助数据。

优选地,基于所述照相机在相同位置处以相同角度按照时间顺序针对所述对象预先拍摄的一个或多个历史图像,来创建所述数据压缩模型。

优选地,所述根据当前图像和一个或多个历史图像之间的差异选择所述压缩规则之一包括:

计算当前图像与作为目标图像的所述照相机拍摄的前一图像的一致块比率R;

如果当前图像与所述前一图像的拍摄时间间隔Δt小于第一阈值T1,则当一致块比率R大于第二阈值T2时选择第一压缩规则;

在所述拍摄时间间隔Δt不小于第一阈值T1的情况下以及在时间间隔Δt小于第一阈值T1但一致块比率R小于等于第二阈值T2的情况下,分别计算所述当前图像与作为目标图像的一个或多个历史图像的一致块比率R,当存在R值大于第三阈值T3的至少一个历史图像时选择第二压缩规则,当不存在R值大于第三阈值T3的历史图像时选择第三压缩规则。

优选地,计算一致块比率包括:将当前图像和目标图像分别划分为相同尺寸的N个块,N是大于1的整数;计算当前图像和所述目标图像的对应块的相似度,将所述相似度大于预定阈值T4的块定义为当前图像与目标图像的一致块;以及将一致块比率定义为n/N,其中n是一致块的数目,且n是大于等于0的整数。

优选地,第一压缩规则包括计算当前图像与所述照相机拍摄的前一图像的第一残差图像,对第一残差图像进行压缩得到压缩图像数据;第二压缩规则包括计算当前图像与至少一个历史图像的统计特征,选择统计特征与当前图像最接近的历史图像作为选定历史图像,计算选定历史图像与当前图像的第二残差图像,对第二残差图像进行压缩得到压缩图像数据;第三压缩规则包括计算所述历史图像的特征图像,将当前图像表示为所述特征图像的线性组合和第三残差图像,对第三残差图像进行压缩得到压缩图像数据。

优选地,所述辅助数据包括压缩规则的编号,还包括以下中的至少一个:特征图像的索引、特征图像的线性加权系数、选定历史图像的编号。

优选地,如果通过第一到第三压缩规则之一得到的当前图像的压缩数据包的尺寸大于常规压缩格式的当前图像的尺寸,则直接向远程设备传输常规压缩格式的当前图像和辅助数据。

根据本发明实施例的另一方面,提供了一种图像传输系统,可以包括:

照相机,针对对象拍摄当前图像;

本地图像处理设备,与照相机相连,包括存储器,用于存储本地数据压缩模型,所述本地图像处理设备选择多个压缩规则之一对当前图像进行压缩,将当前图像的压缩数据包发送到远端图像处理设备;以及

远端图像处理设备,用于接收所述压缩数据包,使用远端数据压缩模型对压缩数据包进行解压缩,并利用解压缩的图像数据更新远端数据压缩模型;

其中,根据当前图像和数据压缩模型中的一个或多个历史图像之间的差异选择所述压缩规则之一,所述压缩数据包包括压缩图像数据以及辅助数据。

优选地,基于所述照相机在相同位置处以相同角度按照时间顺序针对所述对象预先拍摄的一个或多个历史图像,来创建所述本地数据压缩模型。

优选地,本地图像处理设备配置为:

计算当前图像与作为目标图像的所述照相机拍摄的前一图像的一致块比率R;

如果当前图像与所述前一图像的拍摄时间间隔Δt小于第一阈值T1,则当一致块比率R大于第二阈值T2时选择第一压缩规则;

在所述拍摄时间间隔Δt不小于第一阈值T1的情况下以及在时间间隔Δt小于第一阈值T1但一致块比率R小于等于第二阈值T2的情况下,分别计算所述当前图像与作为目标图像的一个或多个历史图像的一致块比率R,当存在R值大于第三阈值T3的至少一个历史图像时选择第二压缩规则,当不存在R值大于第三阈值T3的历史图像时选择第三压缩规则。

根据本发明的另一方面,还提供了一种图像传输系统,包括:

照相机,针对对象拍摄当前图像;

本地图像处理设备,与照相机相连,包括:

第一输入/输出接口,接收由照相机拍摄的当前图像以及将当前图像的压缩数据包发送到远端图像处理设备;

第一存储器,用于存储本地数据压缩模型;

第一控制器,用于选择多个压缩规则之一对当前图像进行压缩以生成当前图像的压缩数据包;

远端图像处理设备,包括:

第二输入/输出接口,接收来自本地图像处理设备的当前图像的压缩数据包;

第二存储器,用于存储远端数据压缩模型;

第二控制器,用于使用远端数据压缩模型对压缩数据包进行解压缩,并利用解压缩的图像数据更新第二存储器中存储的远端数据压缩模型;

其中,第一控制器根据当前图像和数据压缩模型中的一个或多个历史图像之间的差异选择所述压缩规则之一,所述压缩数据包包括压缩图像数据以及辅助数据。

优选地,基于所述照相机在相同位置处以相同角度按照时间顺序针对所述对象预先拍摄的一个或多个历史图像,来创建所述本地数据压缩模型。

根据本发明实施例,针对照相机位置及朝向固定时所拍摄图像序列的特点,提供新的图像压缩处理方案,降低图像文件数据量,从而在将图像传输至远端的过程中,降低了传输数据带宽,提高传输速度,缩短了响应时间。

附图说明

通过参考附图更加清楚地理解本发明实施例的特征和优点,附图是示意性的而不应理解为对本发明进行任何限制,在附图中:

图1示出了根据本发明实施例的图像传输系统的方框图;

图2示出了根据本发明实施例的图像传输系统的示意方框图;

图3A和3B分别示出了根据本发明实施例的本地图像处理设备和远端图像处理设备的示意方框图;

图4示出了根据本发明实施例的图像传输方法的流程图;

图5示出了根据本发明实施例的图像传输方法中压缩规则选择的详细流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明实施例进一步详细说明。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

图1示出了根据本发明实施例的图像传输系统的方框图。如图1所示,根据本发明实施例的图像传输系统1000可以包括:本地图像处理设备1010、远端图像处理设备1020和照相机1030。本领域技术人员可以理解,尽管图1中仅示出了一个照相机1030,可以存在多个照相机1030,分别从不同角度对对象进行拍摄。

图2示出了根据本发明实施例的图像传输系统的示意方框图。参考图1和图2,照相机1030可以针对对象拍摄当前图像。本地图像处理设备1010可以通过各种方式(有线或无线)与照相机1030相连。本地图像处理设备1010可以包括存储器,用于存储本地数据压缩模型,所述本地图像处理设备选择多个压缩规则之一对当前图像进行压缩,将当前图像的压缩数据包发送到远端图像处理设备。远端图像处理设备1020接收所述压缩数据包,使用远端数据压缩模型对压缩数据包进行解压缩,并利用解压缩的图像数据更新远端数据压缩模型,从而实现与本地数据压缩模型的同步。本地图像处理设备1010可以根据当前图像和数据压缩模型中的一个或多个历史图像之间的差异选择所述压缩规则之一,所述压缩数据包包括压缩图像数据以及辅助数据。

图3A和3B分别示出了根据本发明实施例的本地图像处理设备和远端图像处理设备的示意方框图。如图3A所示,根据本发明实施例的本地图像处理设备1010可以包括第一控制器1011、与第一控制器1011相连的第一输入/输出接口1013以及与第一控制器1011相连的第一存储器1015。如图3B所示,优选地,远端图像处理设备1020可以包括第二控制器1021、与第二控制器1021相连的第二输入/输出接口1023以及与第二控制器1021相连的第二存储器1025。本地数据压缩模型和远端数据压缩模型可以分别存储在第一存储器1015和第二存储器1025中。

本地数据压缩模型可以包括所拍摄的一个或多个历史图像(原始图像和/或常规压缩格式的图像)、图像编号、利用历史图像得到的特征图像等。数据压缩模型还可以包括以下信息项中的至少一个:被拍摄的对象的编号、拍摄该图像的照相机的编号、拍摄该图像的照相机的位置及拍摄角度、拍摄条件(例如时间、光照等)。本领域技术人员可以理解,可以按照任何适当的形式来存储数据压缩模型,例如,查找表,其中可以按照各种方式对历史图像进行排序和分类。在一次新的拍摄动作后,利用数据压缩模型对拍摄的当前图像进行压缩操作,然后将新拍摄的当前图像保存到数据压缩模型,从而实现了对本地数据压缩模型的更新。远端数据压缩模型可以包括与本地数据压缩模型相同的内容,并且在每一次向远端图像处理设备发送新的图像压缩数据包时,使用远端数据压缩模型对图像压缩数据包进行解压缩,并利用解压缩的图像数据更新远端数据压缩模型,从而实现远端数据压缩模型与本地数据压缩模型的同步。

关于本地数据压缩模型的创建,可以基于照相机1030在相同位置处以相同角度按照时间顺序针对对象预先拍摄的一个或多个历史图像,来创建本地数据压缩模型。例如,在照相机刚刚设置好,或者是照相机的位置、姿态有变动后,可以清空拍摄的历史图像,重新进行初始化,并将此信息同步到远端数据压缩模型。例如,数据压缩模型的初始化有两种方式,一种方式在于,在拍摄第一张图像后,将该图像用例如JPEG等常规图像压缩方式压缩并传输至远端,同时将该图像保存到拍摄历史中。另一种方式在于,选择有代表性的环境条件,如阴天/晴天、一年的不同季节、一天的不同时刻拍摄图像,建立一个多样化且覆盖性好的图像历史库,作为初始的数据模型。

以上按照控制器、输入/输出接口、存储器等为分立元件的形式对本地图像处理设备和远端图像处理设备分别进行了描述。本领域技术人员可以理解,本发明实施例并不局限于此。可以将这些分立元件实现为集成模块的形式,只要能实现相应的功能即可。当然,也可以将本地图像处理设备集成到照相机中。

图4示出了根据本发明实施例的图像传输方法的流程图。如图4所示,在步骤S10,照相机针对对象拍摄当前图像。这里可以存在多个照相机,在不同位置处以不同角度对该对象进行拍摄,然后针对每个照相机应用根据本发明的图像传输方法。

在步骤S20,利用本地数据压缩模型,选择多个压缩规则之一对当前图像进行压缩。其中,可以根据当前图像和数据压缩模型中的一个或多个历史图像之间的差异选择所述压缩规则之一。

在步骤S30,将当前图像的压缩数据包发送到远端设备。压缩数据包可以包括压缩图像数据以及辅助数据,这里的辅助数据可以包括压缩规则的编号,还包括其他辅助数据,下文将详细进行描述。

然后,在步骤S40,远端设备接收所述压缩数据包,使用远端数据压缩模型对压缩数据包进行解压缩,并利用解压缩的图像数据更新远端数据压缩模型。

图5示出了根据本发明实施例的图像传输方法中压缩规则选择的详细流程图。接下来将参考图5来详细描述根据本发明实施例的压缩规则的选择。

首先,在步骤203,计算当前图像与作为目标图像的所述照相机拍摄的前一图像的一致块比率R。可以通过以下方式来计算当前图像与目标图像的一致块比率R:将当前图像和目标图像分别划分为相同尺寸的N个块,N是大于1的整数,例如块的尺寸可以是256×256像素,将同一图像划分为多个块,这多个块的尺寸可以彼此相同或不同,只要按照对应相同尺寸来划分当前图像和目标图像即可;计算当前图像和目标图像的对应块的相似度,将相似度大于预定阈值T的块定义为当前图像与目标图像的一致块;以及将一致块比率定义为n/N,其中n是一致块的数目,且n是大于等于0的整数。例如,这里的预定阈值T可以设置为3/4,本发明并不局限于此,本领域技术人员可以根据实际情况来进行设置。例如,相似度可以是灰度直方图之差,或本领域公知的其他参数。

在步骤205,确定当前图像与前一图像的拍摄时间间隔Δt是否小于预定第一阈值T1。如果Δt小于预定第一阈值T1(Y),则执行步骤207,确定一致块比率R是否大于预定第二阈值T2。如果一致块比率R大于预定第二阈值T2(Y),则执行步骤214,选择第一压缩规则。第一压缩规则可以包括计算当前图像与照相机拍摄的前一图像的第一残差图像,对第一残差图像进行压缩得到压缩图像数据。可以向第一压缩规则分配压缩规则编号,例如,001。

在步骤205,如果拍摄时间间隔Δt不小于预定第一阈值T1(N),则执行步骤209。在步骤207,如果一致块比率R不大于第二阈值T2(N),则也执行步骤209。在步骤209,分别计算所述当前图像与作为目标图像的一个或多个历史图像的一致块比率R,当存在R值大于预定第三阈值T3的至少一个历史图像时(Y),执行步骤210,选择第二压缩规则。第二压缩规则可以包括分别计算当前图像与至少一个历史图像的统计特征,选择统计特征与当前图像最接近的一个历史图像作为选定历史图像,计算选定历史图像与当前图像的第二残差图像,对第二残差图像进行压缩得到压缩图像数据。可以向第二压缩规则分配压缩规则编号,例如,002。统计特征可以包括平均亮度、灰度直方图等。本领域技术人员可以选择其他常用的统计特征。

在步骤209,当不存在R值大于预定第三阈值T3的至少一个历史图像时(N),执行步骤212,选择第三压缩规则。第三压缩规则可以包括计算数据压缩模型中的多个历史图像的特征图像(如通过图像的主成份分析),将当前图像表示为所述特征图像的线性组合和第三残差图像之和,然后对第三残差图像进行压缩得到压缩图像数据。特征图像的线性组合加权系数通过实时计算得到,以保证这种组合方式是当前图像的一个较优近似。具体的计算方法视特征图像的生成方法而定,例如特征图像是通过主成份分析得到的,则线性加权系数即是当前图像向各特征图像的投影系数。本领域技术人员可以使用数据压缩模型中的所有多个历史图像或选择部分历史图像来计算特征图像。若是选择部分历史数据,可以考虑选择最近一段时间(如10天)内的所有图像,或是利用图像间一致块得到一个相互间距离较大的图像子集,但要确保本地和服务器上的选择一致。可以向第三压缩规则分配压缩规则编号,例如,003。

例如,这里的第一阈值可以设置为3分钟,第二阈值可以设置为2/3或本发明并不局限于此,本领域技术人员可以根据实际情况来进行设置。这里的第三阈值T3可以设置为2/3,本发明并不局限于此。

本领域技术人员还可以理解,步骤203中的预定阈值T、步骤205中的第二阈值T2以及步骤209中的第三阈值T3彼此可以相同或不同,本领域技术人员可以根据实际情况来进行设置。优选地,可以第三阈值T3可以设置为小于或等于上述阈值T和/或第二阈值,以便能够使用更多的历史图像来计算其统计特征。

在选择使用第一压缩规则的情况下,可以将当前图像编号、压缩规则编号(例如001)以及压缩的第一残差图像打包为压缩数据包,发送到远端图像处理设备1020。在选择使用第二压缩规则的情况下,可以将压缩规则编号(例如002)、选定历史图像的编号以及压缩的第二残差图像打包为压缩数据包,发送到远端图像处理设备1020。在选择使用第三压缩规则的情况下,可以将压缩规则编号(例如003)、特征图像的索引、特征图像的对应加权系数以及压缩的第三残差图像打包为压缩数据包,发送到远端图像处理设备1020。由于远端图像处理设备的远端数据压缩模型已经与本地数据压缩模型同步,远端图像处理设备的第二控制器能够根据压缩数据包中提供的辅助数据,使用远端数据压缩模型按照不同方式解压缩对应的残差图像。

在实际应用中,通过以上第一到第三压缩规则之一得到的当前图像的压缩数据包的尺寸有可能大于例如利用JPEG等常规压缩方式得到的压缩当前图像的尺寸。因此,根据本发明实施例的方法还可以包括步骤216。在步骤216,确定通过以上第一到第三压缩规则之一得到的当前图像的压缩数据包的数据量是否小于与例如利用JPEG等常规压缩方式得到的压缩当前图像的数据量进行比较。如果压缩数据包的数据量不小于常规压缩图像的数据量(N),则执行步骤218,直接向远程图像处理设备传输例如JPEG格式的当前图像,并以本领域公知的各种方式向远程图像处理设备通知压缩图像是JPEG格式。如果压缩数据包的数据量小于常规压缩图像的数据量(Y),则执行步骤220,向远程图像处理设备发送压缩数据包。

本发明实施例利用照相机位置及朝向固定时所拍摄图像在内容上有高度相关性这一特点,利用之前拍摄的历史图像建立数据压缩模型,以实现对当前图像的更高效的压缩,从而降低当前图像的文件数据量,降低传输至远端的数据量,提高传输效率。同时,根据本发明实施例的图像传输系统利用当前图像修正数据压缩模型,以反映最新的场景变化。

在以上实施例中,本领域技术人员应该理解,控制设备中的第一控制器以及智能设备中的第二控制器可以按照各种方式实现。通过使用方框图、流程图和/或示例,已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下,本领域技术人员应理解,这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中,本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而,本领域技术人员应认识到,这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中,实现为在一台或多台计算机上运行的一个或多个计算机程序(例如,实现为在一台或多台计算机系统上运行的一个或多个程序),实现为在一个或多个处理器上运行的一个或多个程序(例如,实现为在一个或多个微处理器上运行的一个或多个程序),实现为固件,或者实质上实现为上述方式的任意组合,并且本领域技术人员根据本公开,将具备设计电路和/或写入软件和/或固件代码的能力。此外,本领域技术人员将认识到,本公开所述主题的机制能够作为多种形式的程序产品进行分发,并且无论实际用来执行分发的信号承载介质的具体类型如何,本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于:可记录型介质,如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等;以及传输型介质,如数字和/或模拟通信介质(例如,光纤光缆、波导、有线通信链路、无线通信链路等)。

以上所述的具体实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1