图像处理方法、主机、单板及系统与流程

本公开涉及计算机图像技术领域，尤其涉及图像处理方法、主机、单板及系统。

背景技术：

目前，针对采集卡对视频输入接口的采集功能的校验，需要由采集卡将从hdmi接口采集到的图像发送到主机，有主机将采集到的图像与原图进行对比并生成对比结果，以确定采集卡从hdmi接口采集到的画面的准确率。其中，视频输入接口包括：hdmi接口，vga接口、dvi接口和dp接口等。由于画面对比的工作由主机完成，在同时校验多个采集卡时，主机的cpu占用率较大，影响主机的运算效率。

对于vdi(virtualdesktopinfrastructure，即虚拟桌面基础架构)中的零终端设备，零终端设备的特点是存储空间有限，flash小于64m，甚至于32m字节，对于零终端设备，若需要将采集到的图像先在设备内部保存再回传主机，不仅占用存储空间，而且耗费时间较多。尤其在主机同时对多个单板同时进行检测的情况下，时间成本相当高。

技术实现要素：

本公开实施例提供一种图像处理方法、主机、单板和系统，能够解决现有校验过程中占用存储空间大的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种图像处理方法，其特征在于，所述方法包括：

接收单板的令牌请求，其中，所述令牌请求中包含申请令牌；

判断所述申请令牌的状态是否空闲；

如果所述申请令牌的状态为空闲，向单板发送图像源的显示规则。

在一个实施例中，上述方法还包括：

接收单板的图像采集请求；其中，所述图像采集请求是单板基于所述显示规则产生的；

根据所述单板的图像采集请求，向单板输入对应的图像源。

在一个实施例中，上述方法还包括：

将申请令牌的状态设置为忙碌。

在一个实施例中，上述方法还包括：

释放所述申请令牌，并将申请令牌的状态设置为空闲。

在一个实施例中，显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式。

根据本公开实施例的第一方面，提供一种图像处理方法，其特征在于，所述方法包括：

接收主机发送的图像源的显示规则；其中，所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式；

根据所述图像源的显示规则向主机发送图像采集请求；其中，所述图像采集请求用于指示主机发送对应的图像，所述图像采集请求包括采集内容；

采集所述主机发送的对应图像；其中，所述对应图像是根据采集内容生成的；

将所述对应图像和预设图像比较，计算所述对应图像和预设图像的相似度；

根据所述对应图像和预设图像的相似度确定单板的工作状态。

在一个实施例中，显示规则指示图像帧的显示顺序为：红色、绿色、蓝色依次显示；

图像帧的切换方式为：每个图像帧预设保持n妙，当收到切换请求后切换到下一图像帧，其中，n为预设常量。

根据本公开实施例的第三方面，提供一种主机，其特征在于，所述主机包括：

第一接收模块，用于接收单板的令牌请求，其中，所述令牌请求中包含申请令牌；

判断模块，用于判断所述申请令牌的状态是否空闲；

图像源发送模块，用于如果所述申请令牌的状态为空闲，向单板发送图像源的显示规则。

在一个实施例中，上述主机还包括：

第二接收模块，用于单板的图像采集请求；其中，所述图像采集请求是单板基于所述显示规则产生的；

输入模块，用于根据所述单板的图像采集请求，向单板输入对应的图像源。

在一个实施例中，主机还包括：

设置模块，用于将申请令牌的状态设置为忙碌。

在一个实施例中，主机还包括：

释放模块，用于释放所述申请令牌，并将申请令牌的状态设置为空闲。

根据本公开实施例的第四方面，提供一种单板，该单板包括：

第三接收模块，用于接收主机发送的图像源的显示规则；其中，所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式；

发送模块，用于根据所述图像源的显示规则向主机发送图像采集请求；其中，所述图像采集请求用于指示主机发送对应的图像，所述图像采集请求包括采集内容；

采集模块，用于采集所述主机发送的对应图像；其中，所述对应图像是根据采集内容生成的；

计算模块，用于将所述对应图像和预设图像比较，计算所述对应图像和预设图像的相似度；

确定模块，用于根据所述对应图像和预设图像的相似度确定单板的工作状态。

根据本公开实施例的第五方面，提供一种图像处理系统，该系统包括：

上述任意一种主机和任意一种单板。

根据本公开实施例的第六方面，提供一种图像处理系统，该系统包括：

上述任意一种主机和任意一种单板以及分屏器，其中，所述分屏器的输入端和主机的输出端连接，所述分屏器的输出端和至少一个单板的输入端连接。

本公开将比较采集图像和原图的任务从主机转移到采集卡和视频输入接口所在单板的cpu上。

这样，每个单板可以完成自身采集卡对视频输入接口的采集功能的校验，在主机同时对多个单板进行校验的场景下，可以减轻主机的工作量，提高主机的工作效率。本方案提供一种低成本且高效，可多板并行校验的解决方法。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开实施例提供的一种图像处理方法的流程图；

图2是本公开实施例提供的一种图像处理方法的流程图；

图3是本公开实施例提供的一种主机结构图；

图4是本公开实施例提供的一种主机结构图；

图5是本公开实施例提供的一种主机结构图；

图6是是本公开实施例提供的一种主机结构图；

图7是本公开实施例提供的一种单板结构图；

图8是本公开实施例提供的一种单板结构图；

图9是本公开实施例提供的一种图像处理系统架构图；

图10是本公开实施例提供的一种图像处理系统架构图；

图11是本公开实施例提供的一种图像处理方法的流程图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开实施例提供一种图像处理方法，如图1所示，该图像处理方法包括以下步骤：

步骤101、接收单板的令牌请求，其中，所述令牌请求中包含申请令牌(token)；

本公开实施例中的令牌用于指示主机的资源是否被占用。

步骤102、判断所述申请令牌的状态是否空闲；

申请令牌的状态包括空闲和忙碌，忙碌表示和主机连接的单板中有至少一个单板占用该令牌资源，即如果有其它设备正在使用token，申请令牌对应的状态是忙碌；空闲表示和主机连接的单板中都没有占用该令牌资源；则必须等待其它设备释放token之后，申请令牌的状态是空闲时，才能允许当前的单板使用token，也就是说，向当前的单板发送token。

步骤103、如果所述申请令牌的状态为空闲，向单板发送图像源的显示规则。

所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式。

其中，显示规则的内容可以自定义，比如，可以将图像源定义为红绿蓝纯色三帧图像依次显示，每图预设保持5s，当收到切换请求后切换到下一图。

可选的，该实施例公开的图像处理方法还包括：

接收单板的图像采集请求；其中，所述图像采集请求是单板基于所述显示规则产生的；

根据所述单板的图像采集请求，向单板输入对应的图像源。

可选的，该实施例公开的图像处理方法还包括：

将申请令牌的状态设置为忙碌。

可选的，该实施例公开的图像处理方法还包括：

释放所述申请令牌，并将申请令牌的状态设置为空闲。

将申请令牌的状态设置为空闲，以便其他单板使用该令牌。

显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式。

本公开实施例提供一种图像处理方法，如图2所示，该图像处理方法包括以下步骤：

步骤201、接收主机发送的图像源的显示规则；其中，所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式；

示例性的，显示规则指示图像帧的显示顺序为：红色、绿色、蓝色依次显示；

图像帧的切换方式为：每个图像帧预设保持n妙，当收到切换请求后切换到下一图像帧，其中，n为预设常量。

步骤202、根据所述图像源的显示规则向主机发送图像采集请求；其中，所述图像采集请求用于指示主机发送对应的图像，所述图像采集请求包括采集内容；

比如，采集内容指示要采集红色、绿色或蓝色。

步骤203、采集所述主机发送的对应图像；其中，所述对应图像是根据采集内容生成的；

主机侧根据所述图像采集请求，向单板发送对应的图像。

步骤204、将所述对应图像和预设图像比较，计算所述对应图像和预设图像的相似度；

示例性的，计算所述对应图像和预设图像的峰值信噪比(peaksignaltonoiseratio，psnr作为所述对应图像和预设图像的相似度。

步骤205、根据所述对应图像和预设图像的相似度确定单板的工作状态。

工作状态包括：比较结果一致或比较结果不一致。

具体的，当所述psnr＝100是，确定所述对应图像和预设图像一致；当所述psnr不等于100，确定所述对应图像和预设图像不一致。

本公开实施例提供一种主机，如图3所示的主机30，该主机包括第一接收模块301、判断模块302和发送模块303，其中：第一接收模块301，用于接收单板的令牌请求，其中，所述令牌请求中包含申请令牌；判断模块302，用于判断所述申请令牌的状态是否空闲；发送模块303，用于如果所述申请令牌的状态为空闲，向单板发送图像源的显示规则。

本公开实施例提供一种主机，如图4所示的主机40，该主机包括第一接收模块401、判断模块402、发送模块403、第二接收模块404和输入模块405，其中，第二接收模块404用于单板的图像采集请求；其中，所述图像采集请求是单板基于所述显示规则产生的；

输入模块405用于根据所述单板的图像采集请求，向单板输入对应的图像源。

本公开实施例提供一种主机，如图5所示的主机50，该主机包括第一接收模块501、判断模块502、第一发送模块503和设置模块504，其中，设置模块504用于将申请令牌的状态设置为忙碌。

本公开实施例提供一种主机，如图6所示的主机60，该主机包括第一接收模块601、判断模块602、发送模块603和释放模块604，其中，释放模块604用于将申请令牌的状态设置为忙碌。

本公开实施例提供一种单板，如图7所示的单板70，该单板包括第三接收模块701、第二发送模块702、采集模块703、计算模块704和确定模块705，其中，

第三接收模块701用于接收主机发送的图像源的显示规则；其中，所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式；

第二发送模块702用于根据所述图像源的显示规则向主机发送图像采集请求；其中，所述图像采集请求用于指示主机发送对应的图像，所述图像采集请求包括采集内容；

采集模块703用于采集所述主机发送的对应图像；其中，所述对应图像是根据采集内容生成的；

计算模块704用于将所述对应图像和预设图像比较，计算所述对应图像和预设图像的相似度；

确定模块705用于根据所述对应图像和预设图像的相似度确定单板的工作状态。

本公开实施例提供一种单板，如图8所示的单板80包括：

视频输入接口801、采集卡802、网口803和处理器804，其中，网口803用于单板和主机交互，通过视频输入接口801接收主机发送的图像源的显示规则；其中，所述显示规则用于指示图像帧的显示顺序和/或图像帧的切换方式；处理器804根据所述图像源的显示规则向主机发送图像采集请求；其中，所述图像采集请求用于指示主机发送对应的图像，所述图像采集请求包括采集内容；通过采集卡802采集所述主机发送的对应图像；其中，所述对应图像是根据采集内容生成的；处理器804将所述对应图像和预设图像比较，计算所述对应图像和预设图像的相似度；处理器804根据所述对应图像和预设图像的相似度确定单板的工作状态。

本公开实施例提供一种图像处理系统，如图9所示的图像处理系统90，包括上述任意一主机901和单板902(图中仅给了一个单板，可以是多个)。

本公开实施例提供一种图像处理系统，如图10所示的图像处理系统100，包括上述任意一主机1001、至少一单板1002和分屏器1003，其中，所述分屏器的输入端和主机的输出端连接，所述分屏器的输出端和至少一个单板的输入端连接。

在该实施例中，主机只需控制将图像源输入到待校验的单板，具体的，通过一分多的分屏器(比如hdmisplitter)使多个待校验的单板共享同一个图像源。主机通过token管理每个单板的令牌请求，以使得单板在捕获想要的图像源后，可以放心去计算结果，而不必等其它单板的同步操作。其中，hdmisplitter是指，一路hdmi信号进去，可以分成多路相同的hdmi输出。

需要说明的是，由于主机上的图像源是共享的，前面说过有一分多的分屏器，因此，所有待校验的单板收到的图像源都是同一个。只不过拥有token的单板可以专享，而没有token的设备只能等待，直到拥有token的单板使用完成后(完整抓到一帧)，发消息告诉主机，并将token归还给主机；之后，主机再把token分派给其它单板。单板在归还token之后，就开始计算psnr(峰值新信噪比)，而下一个拿到token的单板则开始采集图像，这就完全是并行的。有可能计算时间较长的话，可能token可以分派给好多设备了。

本公开实施例提供一种图像处理系统，如图10所示的图像处理系统100，包括上述任意一主机1001、单板1002和分屏器1003。

根据图3至图8和文字描述，可以看出：单板上的模块包括视频输入接口、网口、采集卡和处理器cpu，其中，cpu中内置有单板驻留校验服务进程，用于控制校验流程，参考图11：。

步骤s1，单板cpu中的单板驻留校验服务进程通过网卡向主机发送令牌请求，令牌请求中包括申请token(令牌)。

步骤s2，主机在接收到令牌请求之后，根据当前的token分配情况决定token调度，如果有其它设备正在使用token，则必须等待其它设备释放token之后，才能允许当前的单板使用token，也就是说，向当前的单板发送token。

步骤s3，主机在单板在接收到token后，通过网口，向单板cpu中的单板驻留校验服务进程发送图像源的显示规则，以及向视频输入接口输入图像源。

其中，显示规则可以自定义，比如，可以将图像源定义为红绿蓝纯色三帧图像依次显示，每图预设保持5s，当收到切换请求后切换到下一图。

主机只需控制将图像源输入到待校验的单板，具体的，通过一分多的分屏器(比如hdmisplitter)使多个待校验的单板共享同一个图像源。主机通过token管理每个单板的令牌请求，以使得单板在捕获想要的图像源后，可以放心去计算结果，而不必等其它单板的同步操作。其中，hdmisplitter是指，一路hdmi信号进去，可以分成多路相同的hdmi输出。

需要说明的是，由于主机上的图像源是共享的，前面说过有一分多的分屏器，因此，所有待校验的单板收到的图像源都是同一个。只不过拥有token的单板可以专享，而没有token的设备只能等待，直到拥有token的单板使用完成后(完整抓到一帧)，发消息告诉主机，并将token归还给主机；之后，主机再把token分派给其它单板。单板在归还token之后，就开始计算psnr(峰值信噪比)，而下一个拿到token的单板则开始采集图像，这就完全是并行的。有可能计算时间较长的话，可能token可以分派给好多设备了。

在实际应用中，主机的主板通常有两个视频输出口，一个vga口，一个hdmi口(或者dvi、dp等高清视频输出口)，vga口与显示器连接，显示器可以显示正常的操作系统桌面，比如运行校验工具界面；另一个hdmi口可以接到单板的hdmi输入接口，该hdmi可用于主机向单板输出图像源。

可见，本方案设计的是利用主机的操作系统扩展屏，主屏显示操作界面，扩展屏显示图像源。这样在不需要额外图像源，不影响操作的情况下，方便实现图像源受控显示。

步骤s4，单板cpu中的单板驻留校验服务进程控制采集卡通过视频输入接口采集图像源中的图像。cpu每采集到一帧后，会向主机发送切换请求，提示主机切换图像源以便采集下一帧。如此交替往复，直到所有期望帧都采集完毕并得到计算结果。

其中，期望帧就是单板根据显示规则，预期得到的图像帧。比如，单板根据显示规则，当前需要获取到的图像源是红色图像帧，单板在向主机申请并拿到token之后，确定主机上的图像源可以独享；此时，单板发消息给主机，要求获取一张红色的图像帧(显示规则)，主机收到后会显示红色的图像帧，重复这个请求和显示的交互过程，直到单板归还token。

图像源一共可以包括至少三帧图像，三帧图像可以分别为红色纯色图、绿色纯色图和蓝色纯色图。图像源类似于ppt显示方式，固定一帧停留数秒，以便设备采集。

图像源可以有两种方式：

1.任意的图像，非纯色图。

图像源中的图像需要加上水印，以便处理器cpu可以识别出来；并且，原图需要以文件的形式提前保存在单板中。这样，cpu可以根据采集到的图像的水印，从提前保存的文件中找到对应的原图，进而进行对比，生成对比结果。在零终端环境中不推荐。

2.纯色图。

以红绿蓝三帧为主，也可以增加其它纯色多帧。如果是存在噪声的环境下，纯色图更好，更容易得到比较结果。因为是纯色图，cpu可以自动生成原图，因此无需将原图提前保存在单板中。此外，可以通过显示规则告知单板图像源中的图像类型，因此，图像无需通过添加水印进行识别。

步骤5，cpu按照显示规则，将采集到的图像与原图进行对比。

比如，若显示规则为纯红、纯绿和纯蓝三帧标准图像依次显示，每帧保持5s，那么，cpu可以先采集纯红图像，采集后立刻开始计算红色对应的psnr；然后要求图像源切换，继续采集纯绿图像，采集后立刻开始计算绿色对应的psnr；接下来再要求图像源切换，继续采集纯蓝图像，采集后立刻开始计算蓝色对应的psnr。具体的，只需要把采集到的图像中的每个像素的三个字节，固定与三个常量值比较即可。红色就是rgb(255,0，0)，绿色就是rgb(0,255，0)，蓝色就是rgb(0,0，255)，计算更快。且采集后立即计算，可以节省空间，尽量不做缓存。

又比如，假设输入分辨率为1920*1080为例，一帧图像大小为1920*1080*3＝6220800字节。若图像源为非纯色图像，则在计算psnr之前，必须先缓存原图像帧，再进行比较。由于中间过程涉及到事先保存原图像帧，再读取原图像帧内容到内存，最后将采集到的图像和原图像帧逐像素比较生成结果，因此，过程比较繁琐。

采集图像和原图稍微有一些不同，哪怕一个像素点的一个字节不一样，算出来的psnr结果也完全不一样。这样很容易知道采集的前后到底有没有信息损失。当psnr＝100时，可以认为采集图像和原图完全相同。根据标准psnr的计算公式，完全无损psnr为无限大，因为分母为0。这里只是定义一种可以工程上操作的参考值。分母为零，psnr定义为100。

需要说明的是，由于非纯色图像太占内存，因此，本发明将纯色图像作为标准图像，这样，每次将采集图像与原图对比，只需要的图像实际比较三个值就行了。每个像素的三个字节都是对应相等的，在板子内部不用太大空间。

hdmi接口如果由于物理原因引入了噪声，干扰了图像，则采集到的采集图像会出现大量噪点，这会导致将采集图像和原图生成的psnr值很低。因此，根据对比生成的psnr值，就可以确定采集卡对hdmi接口的采集功能的优劣。

在主机同时校验多个单板时，可以将一个图像源通过一分多的hdmisplitter同时灌到多个单板，单板之间通过轮流获取token实现合理互斥，只有获取token的单板才能获取主机发送的图像源，以及告知主机切换图像源，以便一个主机同时校验多个单板。

具体的，在主机同时校验多个单板的场景下，主机在保证当前的图像源被单板采集到了，就可以切换控制去响应其它单板的令牌请求了。如果采集后结果需要在主机侧计算得到，会影响其它单板获取控制权，整体效率会低。计算由单板自己处理，那么在此单板在算结果的时候，主机可以把画面切走给其它单板使用，调度更快，效率更高。

需要说明的是，图像质量的评估也可以用结构相似性(structuralsimilarityindex，ssim)指标，ssim的计算时间比psnr更长。

基于上述图1和图2对应的实施例中所描述的图像处理方法，本公开实施例还提供一种计算机可读存储介质，例如，非临时性计算机可读存储介质可以是只读存储器(英文：readonlymemory，rom)、随机存取存储器(英文：randomaccessmemory，ram)、cd-rom、磁带、软盘和光数据存储装置等。该存储介质上存储有计算机指令，用于执行上述图1和图2对应的实施例中所描述的图像处理方法，此处不再赘述。

本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。