图像处理方法、设备和系统与流程

本申请涉及图像处理领域，特别涉及一种用于超高清图像的图像处理方法、设备和系统。

背景技术：

超高清(Ultra High-Definition，UHD，又称作超高分辨率)是继FHD(FullHD，全高清)后的下一代显示技术。国际电信联盟最新批准将屏幕分辨率达到4K(3840×2160像素)及其以上(例如，7680×2160像素、4096×4096像素等)的显示称为超高清。超高清图像的显示对数据的处理和传输都提出了很高的要求。

目前，UHD图像的显示主要包括两种方式：一种方式是通过多个显卡级联和图像接入板，通过多个显卡级联来产生超高分辨率图像，同时开发图像接入板卡，对来自显卡的超高分辨率图像进行处理和传输，将多个低分辨率图像拼接成UHD图像，并将该UHD图像显示在电视墙上；另一种方式是利用处理器将低分辨率的图像转换为UHD图像，随后将UHD图像的数据发送到显示器，显示器根据所述数据来显示该UHD图像。第一种方式需要购买专业显卡，实施复杂度高且提高了成本；第二种方式需要将UHD图像的全部数据发送到显示器，这一实现过程对处理器的性能要求较高，且由于实现过程中消耗处理器的大量性能，因此刷新帧率低，此外，这种基于串行处理的图像处理机制扩展性较差。

技术实现要素：

本发明的主要目的在于提供一种图像处理方法、设备和系统，旨在解决以上提到的问题。

本申请实施例提供一种图像处理方法，包括：将接收到的图像转换为超高清图像；基于转换后的超高清图像，确定基准图像以发送给显示单元进行显示；将当前帧的超高清图像与所述基准图像进行比较，从而确定在当前帧的超高清图像中与所述基准图像相比发生变化的图像区域；将与所述图像区域对应的图像数据发送到显示单元以供显示单元根据所述图像数据更新当前显示的基准图像。

本发明实施例提供一种图像处理设备，包括：转换单元，将接收到的图像转换为超高清图像；确定单元，基于转换后的超高清图像，确定基准图像以发送给显示单元进行显示；比较单元，将当前帧的超高清图像与所述基准图像进行比较，从而确定在当前帧的超高清图像中与所述基准图像相比发生变化的图像区域；发送单元，将与所述图像区域对应的图像数据发送到显示单元以供显示单元根据所述图像数据更新当前显示的基准图像；显示单元，显示发送单元发送的数据。

本发明的图像处理方法及其设备在不增加硬件的情况下，通过将UHD图像与基准图像进行比较并基于根据比较结果来传输数据，从而减少了传输数据量，降低了对数据带宽的要求并且提高了刷新速率。

本申请实施例还提供一种图像处理系统包括：处理器，将接收到的图像转换为超高清图像；存储器，将超高清图像划分为多个图像块并存储每个图像块数据以及每个图像块在超高清图像中的位置信息；现场可编程门阵列，从存储器中分别获取当前帧的超高清图像和基准图像中的每个图像块数据；将当前帧的超高清图像中的每个图像块数据分别与基准图像中相对应的图像块数据进行比较；若进行比较的两个图像块数据不同，则将当前帧的超高清图像中的所述图像块数据对应的图像块作为变化图像块；从存储器获取变化图像块在当前帧的超高清图像中的位置信息，并从存储器获取超高清图像中与该位置信息相应的图像块数据；将所述图像块数据经由总线发送到显示器；显示器，显示基准图像；接收所述图像块数据；根据所述图像块数据，更新基准图像中与变化图像块的位置对应的图像块；总线，将处理器、存储器和现场可编程门阵列与显示器相互连接，使得它们之间相互传输数据。

所述图像处理系统在利用处理器进行转换操作的基础上利用FPGA将基准图像与UHD进行比较来确定变化图像块并基于变化图像块进行传输和显示，从而提高了处理速度，减少实际传输的数据量，降低了传输过程中需要的数据带宽并提高了刷新帧率，此外，本发明在硬件上利用处理器和FPGA两个组件分别进行处理，从而有利于系统的升级，以满足日益增加的显示需求。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1示出根据本发明的示例性实施例的图像处理方法的流程图；

图2示出根据本发明的示例性实施例的图像处理方法的流程图；

图3示出根据本发明的示例性实施例的确定基准图像的示图；

图4示出根据本发明的示例性实施例的基准图像与后续图像进行比较的示图；

图5示出根据本发明的示例性实施例的具有变化图像块的基准图像的示图；

图6示出根据本发明的示例性实施例的图形处理设备的框图；

图7示出根据本发明的示例性实施例的图像处理系统的框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1示出根据本发明的示例性实施例的图像处理方法的流程图。

图1是示出现有的图像处理方法的示图。如图1所述，处理器基于超分辨率算法，将获取的图像处理为UHD图像，具体来说，具体来说，由于网络带宽和存储空间的限制，在传输过程中通常会先对图像进行压缩，从而获取低分辨率的图像，并在显示在高分辨率显示器之前，利用超分辨率算法，将获取的初始图像转换为UHD图像，其中，超分辨率算法是指通过一系列的处理将低分辨率图像转换为高分辨率图像的图像处理过程。图像超分辨算法可以包括图像插值处理，图像插值处理是指通过对邻近像素点做加权平均求得未知像素点的处理，其中，权值通常与像素点间的距离相关，插值处理可以采用最邻近插值、双线性插值和双立方插值等处理。除此之外，图像超分辨率算法还包括MAP算法、IBP算法和稀疏表示算法，其中，MAP算法和IBP算法均适用于单帧图像超分辨率算法，稀疏表示算法是基于学习的算法，依赖于外部高分辨率图像库。

随后，处理器将所述UHD图像发送到显示器。应注意，由于UHD图像的数据量一般都比较大，因此，对处理器的要求较高，并且在实际传输过程中需要的数据带宽较大。

图2示出根据本发明的示例性实施例的图像处理方法的流程图，如图2所示，在S210，将接收到的图像转换为超高清图像。以上已经参照图1具体说明了将接收到的图像转换为超高清图像的具体过程，在此将不再详细说明。在S220基于转换后的超高清图像，确定基准图像以发送给显示单元进行显示。例如，可将初始图像转换后的超高清图像确定为基准图像。在可替换实施例中，每隔预设时间间隔将转换后的当前帧的超高清图像重新确定为基准图像；或者将变化图像块满足预定阈值的超高清图像确定为基准图像。

在S230，将当前帧的超高清图像与所述基准图像进行比较，从而确定在当前帧的超高清图像中与所述基准图像相比发生变化的图像区域。具体来说，可将当前帧的超高清图像中的每个像素点的像素值与所述基准图像中对应的像素点的像素值进行比较，若不同，则确定该像素值为发生变化的像素值。若相同，则没有发生变化。由此可以看出，发生变化的图像区域是发生变化的像素值的集合。在可选实施例中，可先对当前超高清图像与所述基准图像进行分块，并在分块之后进行比较。此外，关于基准图像的确定方式以及两个图像的比较步骤将结合图3、图4和图5在以下进行详细说明。

随后，在S240，将与所述图像区域对应的图像数据发送到显示单元以供显示单元根据所述图像数据更新当前显示的基准图像。所述图像数据是指用数值表示的各像素(pixel)的像素值的集合，例如，对于灰度图像，所述图像数据是指用数值表示的各像素的灰度值的集合，而对于彩色图像，所述图像数据是指用数值表示的各像素的RGB值的集合。

由此看来，本发明的图像处理方法在不增加硬件的情况下，通过将UHD图像与基准图像进行比较并基于比较结果来传输数据，从而减少了传输数据量。更进一步地，本发明的图像处理方法基于所述数据来更新基准图像并显示更新后的基准图像，从而减少了显示单元的运算量，提高了刷新速率。

现在，参照图3、图4和图5详细说明图像处理方法中的比较步骤，图3示出根据本发明的示例性实施例的确定基准图像的示图；图4示出根据本发明的示例性实施例的基准图像与UHD图像进行比较的示图；图5示出根据本发明的示例性实施例的具有变化图像块的UHD图像的示图。

在进行比较步骤之前，需要先确定基准图像，现在参照图3进行详细说明。根据示例性实施例，基准图像可以在图像处理过程中不发生改变，也可发生改变。以下将就基准图像发生改变的情况进行解释。基准图像发生改变的方式可包括每隔预设时间间隔将转换后的当前帧的超高清图像重新确定为基准图像；或者将变化图像块满足预定阈值的超高清图像确定为基准图像。

在每隔预设时间间隔将转换后的当前帧的超高清图像的实施例中，可逐帧或每隔数帧来改变基准图像，例如，将获取的第一帧UHD图像确定为基准图像，并在比较步骤之后将第二帧UHD图像确定为UHD图像，随后执行比较操作。

此外，不定时地更改基准图像可包括：例如，如图3所述，在t4时刻，将t4时刻的UHD图像确定为基准图像，则t5至t8时刻基于该基准图像执行比较步骤，随后，在t9时刻，将t9时刻的UHD图像确定为基准图像。通过不定时地改变基准图像，能够降低显示容错性。

此外，在将变化图像块满足预定阈值的超高清图像确定为基准图像的情况下，可将变化图像块到达阈值的UHD图像设置为新的基准图像，其中，所述预定阈值可由供应商在制造过程中设置或在使用中由用户自行设置，阈值设置越大，准确性越低但刷新帧率越大，而阈值设置越小，准确性越高，但刷新帧率越小。在此之后，可基于新的基准图像执行比较步骤。这种方式，能够更准确地检测出发生变化的变化图像块。

在可替换实施例中，可将超高清图像划分为多个图像块；存储每个图像块对应的图像块数据以及每个图像块在超高清图像中的位置信息。例如，如图4所示，将超高清图像划分为16个图像块并存储每个图像块对应的图像块数据(也就是说，每个像素位置上的像素值)以及每个图像块在超高清图像中的位置信息。然后，确定发生变化的变化图像块并记录变化图像块的位置坐标，举例来说，将与UHD图像的16个图像块对应的图像块数据以及16个图像块的二维坐标或三维坐标存储在存储单元中，随后可将UHD图像A的16个图像块与基准图像的16个图像块分别比较，从而确定发生变化的变化图像块，此外，可仅通过标号来表示每个图像块的位置信息，例如，将UHD图像划分为16个图像块，分别通过标号1、2、3….16来表示这16个图像块。在可替换的实施例中，可将UHD图像A作为整体与基准图像进行比较，从而确定发生变化的变化区域，进而确定与变化区域相对应的图像块，最后，将UHD图像相对于基准图像发生变化的变化图像块的位置信息(例如，二维坐标)存储在存储单元中，如图5所示，UHD图像A相对于基准图像变化的变化图像块是变化图像块0、变化图像块1、变化图像块2和变化图像块3，然后将这四块变化图像块的位置信息存储在存储单元中，例如，可用变化图像块的顶点坐标和底点坐标来表示变化图像块的位置，变化图像块0的坐标为(x1，0)和(x2，y0)；变化图像块1的坐标为(x2，0)和(x3，y0)；变化图像块2的坐标为(x1，y0)和(x2，y1)；变化图像块3的坐标为(x2，y0)和(x3，y1)。

此外，确定UHD图像与基准图像相比变化的图像块或图像区域的方法可包括：例如，可通过帧间差分法来检测前景目标，并确定前景目标在基准图像中对应的图像块的位置，或者可利用背景差分算法来检测出发生运动的运动对象，而运动对象在基准图像中对应的图像块即为变化的图像块，具体来说，利用基准图像来构建背景模型，然后通过分析UHD图像与背景模型的偏差来获取运动对象。所述背景差分算法包括：高斯混合模型、特征背景模型以及核密度估计法等。此外，还可以通过光流法来获取变化的变化图像块。

返回参照图4，UHD图像A的右上角用灰色斜线标识出的图像区域为发生变化的变化图像块，因此，变化图像块的数量为4，因此，为了显示下一帧，可根据这四块图像块的位置信息(例如，坐标)，从存储单元中获取UHD图像中的这四块图像块的数据，并将这四块图像块的数据发送到显示单元，随后，显示单元可根据接收到的数据，仅替换这四块的数据。而UHD图像B与基准图像相比，变化图像块是14块，则可从存储单元中获取这十四块变化图像块的数据，并将所述数据发送到显示单元。可以明显看出，UHD图像B与基准图像相比，发生变化的图像块较多，如果仍然采用与UHD图像A相同的传输和显示方式，很明显会增加运算量，同时运输量并不会明显减少，因此，在可替换实施例中，可将UHD图像B的数据直接传输至显示单元，并基于该数据显示UHD图像B，由上可知，可设置变化图像块的预定阈值，当大于或等于所述阈值时，将转换后的UHD图像直接传输至显示单元并显示该UHD图像，同时，将UHD图像确定为新的基准图像，此后，基于新的基准图像进行比较步骤。

与图1中示出的图像处理方法，本发明的图像处理方法在显示UHD图像之前，将UHD图像与基准图像进行比较，从而确定发生变化的变化图像块，从而可仅传输变化图像块的数据，减少了数据运输量，降低了对数据带宽的要求，随后根据所述数据来更新基准图像，从而降低了显示时的处理难度，提高了刷新帧率。更进一步地，通过按照预定方式更改基准图像，从而使得显示的高清晰图像更准确，降低了系统显示的容错性。

图6示出根据本发明的示例性实施例的图像处理设备的框图，根据示例性实施例，图像处理设备是指具有处理单元的设备，包括但不限于计算机。

如图6所述，图像处理设备600包括转换单元610、确定单元620、比较单元630、发送单元640和显示单元650。此外，本领域普通技术人员将理解：图6中的图像处理设备600仅示出了与本示例性实施例相关的组件，在图像处理设备600中还包括除了图6中示出的组件之外的通用组件。

转换单元610将接收到的图像转换为超高清图像。具体来说，转换单元610可基于超分辨率算法，将获取的图像转换为超高清图像。超分辨率算法是指通过一系列的处理将低分辨率图像转换为高分辨率图像的图像处理过程。图像超分辨算法包括图像插值处理，图像插值处理是指通过对邻近像素点做加权平均求得未知像素点的处理，其中，权值通常与像素点间的距离相关。差值处理有最邻近插值、双线性插值和双立方插值等处理，除此之外，图像超分辨率算法还包括MAP算法、IBP算法和稀疏表示算法，其中，MAP算法和IBP算法均适用于单帧图像超分辨率算法，稀疏表示算法是基于学习的算法，依赖于外部高分辨率图像库。

随后，确定单元620基于转换后的超高清图像，确定基准图像以发送给显示单元进行显示。在可替换实施例中，确定单元可每隔预设时间间隔将转换后的当前帧的超高清图像重新确定为基准图像；或者将变化图像块满足预定阈值的超高清图像确定为基准图像。

然后，比较单元630将当前帧的超高清图像与所述基准图像进行比较，从而确定在当前帧的超高清图像中与所述基准图像相比发生变化的图像区域。发送单元640将与所述图像区域对应的图像数据发送到显示单元以供显示单元根据所述图像数据更新当前显示的基准图像。

显示单元650显示发送单元发送的数据，显示单元650可从传输单元接收图像数据，并基于所述图像数据进行显示。例如，显示单元650可显示基准图像，并根据发生变化的图像区域的图像数据更新当前显示的基准图像。

此外，所述图像处理设备还包括存储单元(未示出)，存储单元将超高清图像划分为多个图像块；存储每个图像块对应的每个图像块数据以及每个图像块在超高清图像中的位置信息。在可替换实施例中，比较单元630从存储器获取当前帧的超高清图像和基准图像中的每个图像块数据；将当前帧的超高清图像中的每个图像块数据分别与基准图像中相对应的图像块数据进行比较；若进行比较的两个图像块数据不同，则将当前帧的超高清图像中的所述图像块数据对应的图像块作为变化图像块。

由此看来，本发明的图像处理设备在不增加硬件的情况下，通过将UHD图像与基准图像进行比较并基于根据比较结果来传输数据，从而减少了传输数据量并且提高了刷新速率。更进一步地，本发明的图像处理设备基于所述数据来更新基准图像并显示更新后的基准图像，从而减少了显示单元的运算量，提高了刷新速率。

在可替换的实施例中，可利用多个处理器(例如，X86处理器)组成的处理器组将获取的图像转换为UHD图像，也就是说，利用处理器组来取代转换单元，如此，所述处理器组仅用于生成UHD图像。处理器组中包含的处理器越多，则可生成的图像的分辨率越大，并且方便后续扩展。

在可替换的实施方案中，可利用硬件(例如，现场可编程门阵列(FPGA))确定基准图像，并将基准图像与UHD图像进行比较，从而确定在当前帧的超高清图像中与所述基准图像相比发生变化的图像区域；随后显示器可基于与发生变化的变化区域对应的图像数据，改变显示在显示单元上的基准图像中的相应图像区域。也就是说，可利用单独的硬件可以提高处理速度，从而提高刷新帧率。

以下将参照图7对另一可替换实施例进行详细描述。图7示出根据本发明的示例性实施例的图像处理系统的框图。参照图7，图像处理系统700包括处理器710、现场可编程逻辑阵列(FPGA)720、显示器730、存储器740和总线，其中，总线用于连接处理器710、FPGA 720、显示器730和存储器740，使得它们之间可以传输数据。

处理器710可包括但不限于X86处理器、X64处理器和IA64处理器，用于将获取的图像转换为超高清图像确定基准图像。存储器740将超高清图像划分为多个图像块并存储每个图像块数据以及每个图像块在超高清图像中的位置信息。随后，FPGA720从存储器740中分别获取当前帧的超高清图像分别与基准图像中的每个图像块数据；将当前帧的超高清图像中的每个图像块数据分别与基准图像中相对应的图像块数据进行比较；若进行比较的两个图像块数据不同，则将当前帧的超高清图像中的所述图像块数据对应的图像块作为变化图像块；从存储器740获取变化图像块在当前帧的超高清图像中的位置信息，并从存储器740获取超高清图像中与该位置信息相应的图像块数据；将所述图像块数据经由总线发送到显示器730。显示器730在接收到来自FPGA的数据之后，根据所述数据，更新基准图像并显示更新后的基准图像。

在可替换的实施例中，FPGA 720判断变化图像块的数量是否超过预定阈值，若否，则将所述图像块数据发送到显示器730，若是，将与超高清图像对应的全部数据发送到显示器730，同时将所述超高清图像确定为基准图像。

本发明的图像处理系统在利用处理器进行转换操作的基础上利用FPGA将基准图像与UHD进行比较来确定变化图像块并基于变化图像块进行传输和显示，从而提高了处理速度，减少实际传输的数据量，降低了传输过程中需要的数据带宽并提高了刷新帧率，此外，本发明在硬件上利用处理器和FPGA两个组件分别进行处理，从而有利于系统的升级，以满足日益增加的显示需求。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以生成一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令生成用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令生成包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以生成计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中特定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。