一种图像处理方法、装置、电子设备及存储介质与流程

1.本技术涉及人工智能领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.21世纪是信息爆炸的时代，生活中充斥着各种类型的信息，比如视觉信息、听觉信息、触觉信息等。据不完全统计，视觉信息量已经占总信息量的60％。图像信息作为视觉信息的重要载体，而图像中掺杂各种无用的图像，因此，如何从冗余的图像信息中筛选出那些少量的有价值的图像信息来服务军工、民生是一个亟需解决的问题。目前对于图像信息的筛选、识别可以通过计算机视觉、人工筛选等多种方式实现：计算机视觉，其处理速度快，但对于包含噪声较大的图像信息，分类准确率较低；人工筛选，其分类准确率较高，但效率普遍偏低。但是人类所还具备的视觉信息处理能力，能够在很短的时间内实现对图像的判别的能力。
3.针对相关技术中计算机进行图片分类的方式准确率较低，长时间人工判别准确率也会下降的问题，目前尚未提出有效的解决方案。


技术实现要素：

4.本技术的主要目的在于提供一种图像处理方法、装置、电子设备及存储介质，以解决相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
5.为了实现上述目的，根据本技术的一个方面，提供了一种图像处理方法。该方法包括：获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，所述脑电设备佩戴在观看所述图像的目标对象上，所述图像显示在显示设备上；根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段；分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果，其中，所述识别结果为对所述图像的识别结果；基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果。
6.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号之前，所述方法还包括：通过向多个显示装置发送所述图像以及显示所述图像的显示指令，其中，多个显示装置与多个脑电设备一一对应；通过所述显示装置在显示所述图像后，将信号同步标签发送给对应的脑电设备，其中，所述信号同步标签包括所述显示装置显示所述图像的显示时间。
7.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号包括：接收多个脑电设备采集的事件电位信号，其中，所述事件电位信号为脑电设备采集所述目标对象识别所述图像的事件的电位信号；接收所述显示装置发送给所述脑电设备的信号同步标签。
8.可选的，根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标
信号段包括：确定所述事件对应的识别结果触发的事件电位的触发时间段；根据所述信号同步标签确定所述图像显示的时间；对所述事件电位信号按照所述图像显示的时间和所述触发时间段进行截取，得到所述目标信号段。
9.可选的，分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果包括：通过分类算法对所述多个目标信号段的波形进行处理，得到所述多个目标信号段对应的分类结果；将所述分类结果作为所述多个目标信号段对应的识别结果。
10.可选的，分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果之前，所述方法还包括：通过训练图像对所述分类算法进行训练，其中，对所述训练图像进行识别的事件与对所述图像进行识别的事件为同类事件；根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段之前，所述方法还包括：对所述事件电位信号进行滤波和去噪处理。
11.可选的，基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果包括：确定多个脑电设备的权重；根据多个所述脑电设备的权重，以及对应的脑电信号的识别结果，确定所述图像的识别结果。
12.为了实现上述目的，根据本技术的另一方面，提供了一种图像处理装置。该装置包括：采集模块，获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，所述脑电设备佩戴在观看所述图像的目标对象上，所述图像显示在显示设备上；截取模块，根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段；处理模块，分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果，其中，所述识别结果为对所述图像的识别结果；确定模块，基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果。
13.根据本技术的另一方面，还提供了一种计算机可读存储介质，所述处存储介质包括存储的程序，其中，所述程序执行上述中任意一项所述的图像处理方法。
14.根据本技术的另一方面，还提供了一种电子设备，包括一个或多个处理器和存储器，所述存储器用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述中任意一项所述的图像处理方法。
15.通过本技术，采用以下步骤：获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，脑电设备佩戴在观看图像的目标对象上，图像显示在显示设备上；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段；分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果，其中，识别结果为对图像的识别结果；基于多个目标信号段对应的识别结果确定图像的目标识别结果，通过脑电设备与人工识别相结合的方式，达到了对目标图像和非目标图像快速准确进行分类的目的，实现了提高图像识别准确率以及识别效率的技术效果，解决了相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
附图说明
16.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1是根据本技术实施例提供的图像处理方法的流程图；
18.图2是根据本技术实施例提供的基于群体脑-机接口的图像识别系统框架的示意图；
19.图3是根据本技术实施例提供的视听刺激同步、信号采集同步原理图；
20.图4是根据本技术实施例提供的系统控制端流程图；
21.图5是根据本技术实施例提供的视觉刺激端流程图；
22.图6是根据本技术实施例提供的64导脑电采集点分布图；
23.图7是根据本技术实施例提供的信号采集端流程图；
24.图8是根据本技术实施例提供的脑电信号和同步标签信号示意图；
25.图9是根据本技术实施例提供的数据处理端流程图；
26.图10是根据本技术实施例提供的群体多人脑电信号协同处理流程图；
27.图11是根据本技术实施例提供的图像处理装置的示意图；
28.图12是根据本技术实施例提供的一种电子设备的示意图。
具体实施方式
29.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
30.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
31.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
32.需要说明的是，本公开所涉及的相关信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。例如，本系统和相关用户或机构间设置有接口，在获取相关信息之前，需要通过接口向前述的用户或机构发送获取请求，并在接收到前述的用户或机构反馈的同意信息后，获取相关信息。
33.下面结合优选的实施步骤对本发明。
34.进行说明，图1是根据本技术实施例提供的图像处理方法的流程图，如图1所示，该方法包括如下步骤：
35.步骤s101，获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，脑电设备佩戴在观看图像的目标对象上，图像显示在显示设备上；
36.步骤s102，根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号
段；
37.步骤s103，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果，其中，识别结果为对图像的识别结果；
38.步骤s104，基于多个目标信号段对应的识别结果确定图像的目标识别结果。
39.采用上述步骤，获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，脑电设备佩戴在观看图像的目标对象上，图像显示在显示设备上；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段；分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果，其中，识别结果为对图像的识别结果；基于多个目标信号段对应的识别结果确定图像的目标识别结果，通过脑电设备与人工识别相结合的方式，达到了对目标图像和非目标图像快速准确进行分类的目的，实现了提高图像识别准确率以及识别效率的技术效果，解决了相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
40.上述目标对象可以通过上述显示设备观看图像，上述图像可以作为一种视觉刺激，上述目标对象在观看的图像的视觉刺激时，根据预先知晓的识别信息，目标对象的大脑会产生相应的脑电信号，触发大脑对应识别事件的事件电位，即目标对象可以对识别图像的事件产生相应的事件电位信号。例如，在从10张图像中识别包含汽车的图像时，10张图像包括包含汽车的图像或者不包含汽车的图像，目标对象在识别汽车图像的识别信息下，观看到包含汽车的图像，大脑就会在对应位置产生一定的电位变化，触发对应的事件电位。通过对事件电位是否发生，就可以确定出目标对象观看某一张图片时，是否确定该图像为包含汽车的图像。
41.上述图像可以显示通过多个显示设备分别向多个目标对象进行显示，也可以通过一个显示设备向多个目标对象进行显示，由于显示设备在显示某一张图像时，同时记录该图像的显示时间，也即是通过该图像对目标对象形成刺激的时间，通过该事件就可以在目标对象的脑电信号中找到对应的可能产生事件电位的波段，在该波段中查找是否产生事件电位就可以确定出目标对象对该图像的识别结果。因此，本实施例对于显示设备与目标对象的对应关系，可以是一个显示设备同时供多个目标对象观看，或者同一个显示设备先后供多个目标对象观看，还可以是多个显示设备分别同时供多个目标对象观看，一个目标对象观看一个显示设备，当然也可以多个显示设备在供多个目标对象观看不同时。从而降低目标对象观看显示设备的局限性，并不需要针对特定的显示设备在特定的时间下观看才有效，极大的降低了图像识别的空间和时间上的额局限性。
42.对于不同的目标对象在观看显示设备时，显示设备上的多张图像可以进行顺序打乱后，先后进行显示，由于记录了每张图像的显示时间，因此，不需要对多张图像的显示顺序进行设定，而且打乱顺序可以有避免大脑由于固定顺序的产生的思维惯性，降低识别的准确度。
43.上述多张图像在显示时，其显示的间隔时间不得超过目标对象大脑的对该识别事件的反应时间，例如，大脑对图像刺激的识别的反应时间为2s，则该多张图像显示的时间间隔不得超过该反应时间，避免图像切换过快，目标对象的大脑难以反应和识别。上述显示频率的设定可以满足目标对象的反应时间需求，保证目标对象对图像识别的准确性。
44.上述脑电设备佩戴在观看图像的目标对象上，多个显示设备可以多个目标对象一
一对应，多个目标对象也可以与多个脑电设备一一对应，上述脑电设备可以采集上述目标对象接受图像刺激时产生的脑电信号，即目标对象观看图像可以产生识别图像的事件的事件电位信号，上述脑电设备可以根据每个图像显示设备显示图片的时间进行脑电信号与相应的图像进行信号的同步。上述脑电设备采集到的事件电位信号可以先进行去燥和滤波的预处理，保证采集的脑电信号的清晰，便于对脑电信号的分析处理。上述脑电设备与观看图像的目标对象进行结合，可以不再使用传统的效率较低人工图像识别，也可以避免采用准确率较低的传统脑机接口技术。
45.上述目标信号段可以指图像对目标对象进行视觉刺激产生的识别图像的事件的事件电位信号段，根据图像的显示时间，对脑电信号进行截取操作，得到多个目标信号段，可以分别对多个目标信号段的波形进行处理，计算，图像判别分析得到图像的目标识别结果，可以根据多个目标对象的多个脑电设备的权重，根据对应的目标识别结果计算图像的识别结果，可以保证得到的图像识别结果准确可靠。
46.通过脑电设备与人工识别相结合的方式，达到了对目标图像和非目标图像快速准确进行分类的目的，实现了提高图像识别准确率以及识别效率的技术效果，解决了相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
47.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号之前，方法还包括：通过向多个显示装置发送图像以及显示图像的显示指令，其中，多个显示装置与多个脑电设备一一对应；通过显示装置在显示图像后，将信号同步标签发送给对应的脑电设备，其中，信号同步标签包括显示装置显示图像的显示时间。
48.通过脑电设备采集脑电之前，还可以通过控制端向多个显示装置发送图像以及显示图像的显示指令，上述控制端可以对系统的整体运行进行控制，上述显示装置可以接收控制端发送的图像显示指令，上述显示指令可以包括图像在显示装置上显示的方式，显示方式可以是让图像按照一定的频率或一定的顺序进行显示，上述显示装置可以将控制端发送过来的图像作为一种视觉刺激，多个显示装置可以与多个脑电设备一一对应，上述显示装置还可以将图像显示的对应的显示时间信息，作为系统同步标签发送给对应的脑电设备，可以保证显示装置通过图像产生的视觉刺激与脑电设备接收到的视觉刺激产生的信号具有一一对应的关系。
49.通过多个显示装置以及对应的多个脑电设备，采用信号标签进行信号同步的方式，达到了目标对象与脑电设备进行结合的目的，实现了提高图像识别速度的技术效果。
50.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号包括：接收多个脑电设备采集的事件电位信号，其中，事件电位信号为脑电设备采集目标对象识别图像的事件的电位信号；接收显示装置发送给脑电设备的信号同步标签。
51.上述脑电设备可以采集显示设备显示的图像信息产生脑电信号，系统控制端可以接收多个脑电设备采集的目标对象的对识别图像的事件的事件电位信号，上述识别图像的事件电位信号可以是脑电信号。采用多个脑电设备采集个多目标对象的识别图像的脑电信号，可以保证识别结果的准确性。
52.上述目标对象可以是能够对图像进行识别并产生相应的脑电信号响应的对象，上述需要识别出的识别图像可以是某类图像或具有某些特征的图像，上述脑电设备可以采集
到目标对象识别图像时产生的事件电位信号，上述脑电设备可以根据显示装置显示图片时发送的同步标签将脑电设备采集到得脑电信号与对应的识别图像进行信息同步，保证图像产生的视觉刺激与相应的脑电信号一一对应。
53.上述识别图像的事件根据识别图像的性质进行确定，例如，上述时间可以为小概率目标事件电位，具体可以是对100张图像进行识别，从中选取2张符合目标条件的图像，在观看每张图像时，出现符合目标条件的图像的事件，是概率小于预设概率的小概率目标事件，大脑对该小概率目标事件的反映在大脑的特定位置的特定点位，通过检测目标对象的目标信号段是否在特定位置产生特定电位，来确定目标对象识别的该图片时是否触发符合目标条件的图像的事件，进而确定目标对象识别的该图片是否为符合目标条件的图像。
54.通过多个脑电设备采集识别图像事件的事件电位信号，达到了利用脑电设备进行图像识别的目的，实现了提高图像识别效率的技术效果。
55.可选的，根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段包括：确定事件对应的识别结果触发的事件电位的触发时间段；根据信号同步标签确定图像显示的时间；对事件电位信号按照图像显示的时间和触发时间段进行截取，得到目标信号段。
56.可以根据图像的显示时间，对显示图像产生的相应脑电信号进行截取，可以根据信号同步标签确定图像的显示时间，根据图像的显示时间和图片的显示频率时间可以对事件电位信号的信号段进行截取，取得识别图像触发的目标信号段。
57.通过图像的显示时间，对脑电信号进行截取，达到了获取图像识别信号段的目的，实现了提高对识别图像的信号进行处理的速度的技术效果。
58.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果包括：通过分类算法对多个目标信号段的波形进行处理，得到多个目标信号对应的分类结果；将分类结果作为多个目标信号段对应的识别结果。
59.对根据同步标签确定的目标信号段可以进行分析处理，得到目标对象的图像识别结果，可以分别对图像刺激产生的多个目标信号段通过分类算法进行波形处理，得到分别与多个目标信号段对应的识别结果，上述分别算法可以是对脑电信号中提取特征，进行脑电信号研究，还可以根据上述提取特征对信号进行判别，得到目标信号对应的分类结果，可以将上述分类结果作为目标信号段对应的识别结果。
60.具体的，对目标对象群体中的目标对象的脑电信号进行预处理。从预处理后信号中提取特征。可以根据odd-ball范式诱发的小概率目标事件电位的相关研究，上述提取特征主要集中在事件刺激后400ms内。特征提取可以选用预处理过的图像呈现后0-400ms的对应的脑电集作为特征。可以根据特征对信号进行判别，获取判别结果。可以选用线性判别分析(linear discriminant analysis,lda)和逻辑斯蒂回归实现(logistic regression,lr)分类。
61.通过对目标信号段的波形进行处理，达到了获取目标信号段的识别结果的目的，实现了提高识别结果准确性的技术效果。
62.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果之前，方法还包括：通过训练图像对分类算法进行训练，其中，对训练图像进行识别的事件与对图像进行识别的事件为同类事件；根据图像的显示时间，对脑电信号执行
截取操作，得到多个目标信号段之前，方法还包括：对事件电位信号进行滤波和去噪处理。
63.在运行图像识别系统时，可以进行一轮实验采集多个目标对象的目标图像和非目标图像诱发的脑电信号集，可以利用实验获取的脑电信号集对分类算法进行训练，可以从训练中的目标图像的识别事件产生的脑电信号中选取一套合适的脑电信号集作为图像识别系统的一个模型，对训练图像进行识别的事件与图像进行识别的事件为同类事件，训练图像进行识别的事件的事件电位信号与图像进行识别的事件的事件电位信号可以具有相似或相同性的同一类事件电位信号。
64.根据图像的显示时间,对脑电信号截取得到多个目标信号段之前，还可以对事件电位信号进行滤波和去燥处理，对脑电信号段进行滤波可以去除脑电信号中夹杂的噪声，对脑电信号进行滤波和去燥处理可以使截取到的目标信号段图像识别分析结果更加准确。例如，对目标对象群体中名成员的脑电信号进行独立的滤波来去除脑电信号中夹杂的噪声，如眼点信号，肌电信号、工频噪声等以及250hz的下采样。可以选用fir滤波。
65.通过对图像分类算法进行训练，达到了获取图像分类模型的目的，实现了提高系统图像识别准确性的技术效果。
66.可选的，基于多个目标信号段对应的识别结果确定图像的目标识别结果包括：确定多个脑电设备的权重；根据多个脑电设备的权重，以及对应的脑电信号的识别结果，确定图像的识别结果。
67.基于多个目标信号段对应的识别结果可以确定图像的目标识别结果，对图像的目标识别结果可以通过设定多个脑电设备的权重，可以根据多个脑电设备的目标识别结果，以及脑电设备对应的权重，通过计算最终可以得到图像的目标识别结果，多个脑电设备的权重可以根据佩戴脑电设备的目标对象对图像进行识别的准确度来确定，以此可以增加识别结果的准确性。
68.通过给脑电设备设定权重来参与图像的识别结果的判定，达到了增加图像识别的准确性目的，实现了提高图像识别的准确率的技术效果。
69.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
70.需要说明的是，本实施例还提供一种可选的实施方式，下面对该实施方式进行详细的说明。
71.脑-机接口是一种绕过外围肌肉神经实现人脑与外界交互的技术。大脑会对经过时间和空间上设计的不同类型的刺激(如视觉刺激、听觉刺激、嗅觉刺激等)产生相对应的脑电响应。利用信号处理方法对脑电信号进行分析、处理，可以获取大脑想要表达的信息并将其转化为其他类型的指令(如控制轮椅、机械手臂的指令，或者本系统中图像判别结果指令)。传统的odd-ball范式的脑-机接口技术系统中，采集的是单人的脑电信号，并对其进行分析和处理，从而完成一系列的判别任务。但随着环境噪声的干扰和执行任务者长时间工作带来的注意力瞬脱、精神疲劳等因素，系统的判别性能会越来越差。
72.本实施方式提供了一种基于高精度同步的群体脑-机接口的图像分类系统及方法。脑-机接口技术具有能够对大脑高速活动进行实时分析的能力，本实施方式利用脑-机接口技术能够有效的将人类视觉处理能力与计算机数据处理能力相结合来实现对图像的
分类、筛选等操作。
73.上述的群体脑-机接口要求用于诱发群体内多名成员的脑电信号的多个视听事件能够同步发生，受到视听事件刺激下的群体内多名成员的脑电信号能够同步采集，然后利用机器学习方法对每张图像对应的群体脑电信号进行协同处理、分类，从而实现该图像是否是目标图像的分类。使用该套系统前，会告知群体内多名成员哪类图像属于目标图像。群体内所有成员在执行图像分类的任务时，要集中精力去判别当前显示器上所呈现图像是否为目标图像，若组内成员主观判断是目标图像，则在心中默数目标图像个数。
74.下面结合图例对本实施方式进行说明。
75.图2是根据本技术实施例提供的基于群体脑-机接口的图像识别系统框架的示意图，如图2所示，该系统主要由四个部分组成：(1)系统控制端：相当于整体系统运行的中央控制台，对视觉刺激端何时开始视觉刺激进行控制，若接收数据处理端发送过来的处理结果，再通过视觉刺激端呈现分类结果，使整套系统形成闭环。(2)视觉刺激呈现端：本系统视觉刺激选用快速序列视觉呈现(rapid series visual presentation，rsvp)范式，用于诱发群体中各名成员的事件相关电位，更准确地说是小概率目标事件电位。(3)脑电采集端：利用脑电放大器对受到视觉刺激而产生的大脑皮层电位的响应进行实时采集，并通过网络协议将信号发送给数据处理端。(4)数据处理端：对通过网络协议汇总到本处的群体内多人脑电信号进行协同处理，并将处理结果通过网络协议发送给系统控制端。
76.对于群体脑-机接口的图像识别系统来说，实现群体内各个成员视觉刺激的同步发生、脑电信号的同步采集是核心。图3是根据本技术实施例提供的视听刺激同步、信号采集同步原理图，如图3所示，本实施方式的高精度视听事件同步呈现、群体内多成员脑电信号同步采集技术方案：使用同一台工作站渲染一张大的视觉刺激界面，这张大的视觉刺激界面由群体内成员各自的视觉刺激界面组合而成。通过屏幕拓展的方式，在组群内各名成员面前的显示器呈现属于自己的那部分视觉刺激界面。为了保证组群内各名成员的脑电信号采集同步，在同一台工作站通过拓展的方式呈现多个视觉刺激某张图像的同时，利用并口一分多的技术，工作站向多台独立的脑电采集设备发送信号同步标签。保证了视觉刺激、信号采集均同步，这也是群体脑-机接口的图像识别系统的基础。
77.下面分别对系统控制端、视觉刺激呈现端、脑电采集端、数据处理端进行说明。
78.系统控制端：系统控制端主要是对系统整体的运行时序进行控制，其包含与视觉刺激呈现端之间的通信、与多个信号采集端之间的通信、与数据处理端之间的通信。图4是根据本技术实施例提供的系统控制端流程图，其流程如图4所示，假设本次任务有10批次待判别的图像集、每批次有100张图像。与视觉刺激端之间的通信，一方面将从上游获取到的需要判别的图像发送给视觉刺激呈现端，另一方面控制视觉刺激呈现端何时开始呈现视觉刺激、何时停止呈现视觉刺激。与多个信号采集端之间的通信是根据视觉刺激端的呈现情况，控制信号采集端何时开始采集、停止采集信号，保证采集信号完整。与数据处理端之间的通信，是为了从数据处理端获取每张图像的判别结果，最终完成对序列图像中目标、非目标图像二分类的任务。
79.视觉刺激端：视觉刺激端主要是呈现群体内多面成员的视觉刺激界面。其每批次图像的开始刺激、停止刺激由系统控制端决定。每批次所采用的呈现方式是快速序列视觉呈现范式，即以固定频率(频率在一定范围内，保证成员在注视屏幕时能够意识并判别出当
前图像是否为目标图像，可在6-12hz之间选择)呈现图像，其中图像中包含两类图像，一类目标图像(比如图像中包含轿车的图像)，另一类非目标图像(比如图像中不含轿车的图像)，其中目标图像出现的频率要远小于非目标图像，在这种模型下，才能诱发大脑的小概率目标事件电位，从而实现目标、非目标的分类。图5是根据本技术实施例提供的视觉刺激端流程图，其流程如图5所示，一批图像集中，每呈现一张图像，均向多个脑电采集端发送信号同步标签，群体内每名成员注视自己面前的显示器。这保证了每个图像呈现时，所采集到的群体内多名成员的脑电信号是同步的。
80.信号采集端：信号采集端是使用64导脑电帽(图6是根据本技术实施例提供的64导脑电采集点分布图，其信号采集点分布如图6所示)搭配商用的一些脑电信号放大器如(neuroscan设备，该设备的采样率能够达到1000hz)来采集受到视觉刺激下的脑电信号。图7是根据本技术实施例提供的信号采集端流程图，其流程如图7所示，信号采集设备何时开始采集、何时停止采集有系统控制端决定。一套信号采集端负责采集群体内一名成员的脑电信号，并对所采集到的脑电进行放大、滤波、模数转化，然后根据视觉刺激端在呈现每张图像时发送过来的同步标签从连续不间断的脑电信号中截取每张图片对应的脑电数据(图8是根据本技术实施例提供的脑电信号和同步标签信号示意图，如图8所示，其中最下面一列是视觉刺激端通过并口拓展发送过来的信号同步标签，图像刚呈现时，该图像对应的同步标签通过并口线发送给采集端，选取该图像呈现前0.1s到呈现后1s时间段内64导的脑电信号作为该图像诱发的脑电信号)。然后通过网络协议将所保存的该批次100张图像对应的脑电信号集发送给数据处理端。
81.数据处理端：对同步视觉刺激下的群体多人脑电信号进行协同处理，最终实现对图像集中目标、非目标图像的分类，并通过网络协议发送给系统控制端统计、汇总。图9是根据本技术实施例提供的数据处理端流程图，其流程如图9所示，主要包括收集群体脑电数据、处理群体脑电数据、发送处理结果。对于群体脑电数据的协同处理如下，以某张图像诱发的群体中各名成员的脑电集为例：
82.(1)对群体中各名成员的脑电信号进行预处理。其中包括对群体内各名成员的脑电信号进行独立的滤波来去除脑电信号中夹杂的噪声，如眼点信号，肌电信号、工频噪声等以及250hz的下采样。本系统选用的是fir(finite impulse response，有限冲激响应滤波器)滤波。
83.(2)从预处理后信号中提取特征。根据odd-ball(oddball paradigm，怪球范式)范式诱发的小概率目标事件电位的相关研究，特征主要集中在事件刺激后400ms内。本系统特征提取选用预处理过的图像呈现后0-400ms的对应的脑电集作为特征。
84.(3)根据特征对信号进行判别，获取判别结果。本系统选用线性判别分析(linear discriminant analysis，lda)和逻辑斯蒂回归实现(logistic regression，lr)分类。
85.(4)加权决策得出最后判别结果。图10是根据本技术实施例提供的群体多人脑电信号协同处理流程图，群体多人脑电信号协同处理流程如图10所示，同步视觉刺激下各名成员的脑电信号经过预处理、特征提取、模式判别已得出判别结果，然后对每名成员的判别结果进行加权，得到最终的群体判别结果。
86.本套基于高清度同步的群体脑-机接口的图像分类系统的使用方法如下：
87.(1)给群体中的所有成员佩戴脑电帽，保证各导联的脑电帽与大脑头皮的阻抗小
于15千欧，从而确保数据的准确性。
88.(2)告知群体内所有成员图像集中哪类图像为目标图像，若意识到屏幕上呈现的是目标图像时，在心中默数目标图像个数。
89.(3)运行该系统进行第一轮实验，采集群体内所有成员的目标图像和非目标图像诱发的脑电信号集。利用实验获取的脑电信号集对分类算法线性判别分析和逻辑斯蒂回归模型进行训练，并从中选取中较为适合本套图像识别系统的模型。
90.(4)一旦训练好群体内所有成员对应的分类算法的模型，则运行该系统利用群体间的协作进行更准确的图像分类任务。
91.本实施方式涉及人工智能脑科学与计算机技术领域。特别涉及一种基于高精度同步的群体脑-机接口的图像识别系统，利用群体间的协作，实现对目标图像和非目标图像更准确地分类。
92.本实施方式的关键在于与现有技术相比，本发明所具有的有益效果为：本发明利用脑-机接口这种新型技术实现了对大量图像集里目标图像、非目标图像进行分类；本实施例提出了一种高精度同步(视听事件同步、信号采集同步)的脑-机接口系统，并基于此系统，通过群体间的协同合作提高了对目标图像、非目标图像的更准确地分类。
93.本技术实施例还提供了一种图像处理装置，需要说明的是，本技术实施例的图像处理装置可以用于执行本技术实施例所提供的用于图像处理方法。以下对本技术实施例提供的图像处理装置进行介绍。
94.图11是根据本技术实施例的图像处理装置的示意图。如图11所示，该装置包括：采集模块110，截取模块112，处理模块114，确定模块116，下面对该装置进行详细说明。
95.采集模块110，获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，所述脑电设备佩戴在观看所述图像的目标对象上，所述图像显示在显示设备上；截取模块112，与上述采集模块110相连，根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段；处理模块114，与上述截取模块112相连，分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果，其中，所述识别结果为对所述图像的识别结果；确定模块116，与上述处理模块114相连，基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果。
96.通过上述装置，通过采集模块110获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，所述脑电设备佩戴在观看所述图像的目标对象上，所述图像显示在显示设备上；截取模块112根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段；处理模块分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果，其中，所述识别结果为对所述图像的识别结果；确定模块118基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果，通过脑电设备与人工识别相结合的方式，达到了对目标图像和非目标图像快速准确进行分类的目的，实现了提高图像识别准确率以及识别效率的技术效果，解决了相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
97.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号之前，还包括：通过向多个显示装置发送图像以及显示图像的显示指令，其中，多个显示装置与多个脑电设备一一对应；通过显示装置在显示图像后，将信号同步标签发送给对应的脑电设备，其
中，信号同步标签包括显示装置显示图像的显示时间。
98.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号包括：接收多个脑电设备采集的事件电位信号，其中，事件电位信号为脑电设备采集目标对象识别图像的事件的电位信号；接收显示装置发送给脑电设备的信号同步标签。
99.可选的，根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段包括：确定事件对应的识别结果触发的事件电位的触发时间段；根据信号同步标签确定图像显示的时间；对事件电位信号按照图像显示的时间和触发时间段进行截取，得到目标信号段。
100.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果包括：通过分类算法对多个目标信号段的波形进行处理，得到多个目标信号对应的分类结果；将分类结果作为多个目标信号段对应的识别结果。
101.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果之前，还包括：通过训练图像对分类算法进行训练，其中，对训练图像进行识别的事件与对图像进行识别的事件为同类事件；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段之前，方法还包括：对事件电位信号进行滤波和去噪处理。
102.可选的，基于多个目标信号段对应的识别结果确定图像的目标识别结果包括：确定多个脑电设备的权重；根据多个脑电设备的权重，以及对应的脑电信号的识别结果，确定图像的识别结果。
103.本技术实施例提供的图像处理装置，通过采集模块110获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，所述脑电设备佩戴在观看所述图像的目标对象上，所述图像显示在显示设备上；截取模块112根据所述图像的显示时间，对所述脑电信号执行截取操作，得到多个目标信号段；处理模块分别对所述多个目标信号段进行波形处理，得到分别与所述多个目标信号段对应的识别结果，其中，所述识别结果为对所述图像的识别结果；确定模块118基于所述多个目标信号段对应的识别结果确定所述图像的目标识别结果，通过脑电设备与人工识别相结合的方式，达到了对目标图像和非目标图像快速准确进行分类的目的，实现了提高图像识别准确率以及识别效率的技术效果，解决了相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。
104.所述图像处理装置包括处理器和存储器，上述采集模块110，截取模块112，处理模块114，确定模块118等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
105.处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来解决相关技术中仅通过计算机进行图片分类的方式准确率较低，仅通过人工进行图片分类效率较低的问题。。
106.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。
107.本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现所述图像处理方法。
108.本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行
时执行所述图像处理方法。
109.如图12所示，本技术实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，脑电设备佩戴在观看图像的目标对象上，图像显示在显示设备上；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段；分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果，其中，识别结果为对图像的识别结果；基于多个目标信号段对应的识别结果确定图像的目标识别结果。
110.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号之前，方法还包括：通过向多个显示装置发送图像以及显示图像的显示指令，其中，多个显示装置与多个脑电设备一一对应；通过显示装置在显示图像后，将信号同步标签发送给对应的脑电设备，其中，信号同步标签包括显示装置显示图像的显示时间。
111.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号包括：接收多个脑电设备采集的事件电位信号，其中，事件电位信号为脑电设备采集目标对象识别图像的事件的电位信号；接收显示装置发送给脑电设备的信号同步标签。
112.可选的，根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段包括：确定事件对应的识别结果触发的事件电位的触发时间段；根据信号同步标签确定图像显示的时间；对事件电位信号按照图像显示的时间和触发时间段进行截取，得到目标信号段。
113.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果包括：通过分类算法对多个目标信号段的波形进行处理，得到多个目标信号段对应的分类结果；将分类结果作为目标信号段对应的识别结果。
114.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果之前，方法还包括：通过训练图像对分类算法进行训练，其中，对训练图像进行识别的事件与对图像进行识别的事件为同类事件；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段之前，方法还包括：对事件电位信号进行滤波和去噪处理。
115.可选的，基于多个目标信号段对应的识别结果确定图像的目标识别结果包括：确定多个脑电设备的权重；根据多个脑电设备的权重，以及对应的脑电信号的识别结果，确定图像的识别结果。
116.本文中的设备可以是服务器、pc、pad、手机等。
117.本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序：获取通过脑电设备采集目标对象接受图像刺激的脑电信号，其中，脑电设备佩戴在观看图像的目标对象上，图像显示在显示设备上；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段；分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果，其中，识别结果为对图像的识别结果；基于多个目标信号段对应的识别结果确定图像的目标识别结果。
118.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号之前，方法还包括：通过向多个显示装置发送图像以及显示图像的显示指令，其中，多个显示装置与多个脑电设备一一对应；通过显示装置在显示图像后，将信号同步标签发送给对应的脑电设备，
其中，信号同步标签包括显示装置显示图像的显示时间。
119.可选的，获取通过脑电设备采集目标对象接受图像刺激的脑电信号包括：接收多个脑电设备采集的事件电位信号，其中，事件电位信号为脑电设备采集目标对象识别图像的事件的电位信号；接收显示装置发送给脑电设备的信号同步标签。
120.可选的，根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段包括：确定事件对应的识别结果触发的事件电位的触发时间段；根据信号同步标签确定图像显示的时间；对事件电位信号按照图像显示的时间和触发时间段进行截取，得到目标信号段。
121.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果包括：通过分类算法对多个目标信号段的波形进行处理，得到多个目标信号段对应的分类结果；将分类结果作为目标信号段对应的识别结果。
122.可选的，分别对多个目标信号段进行波形处理，得到分别与多个目标信号段对应的识别结果之前，方法还包括：通过训练图像对分类算法进行训练，其中，对训练图像进行识别的事件与对图像进行识别的事件为同类事件；根据图像的显示时间，对脑电信号执行截取操作，得到多个目标信号段之前，方法还包括：对事件电位信号进行滤波和去噪处理。
123.可选的，基于多个目标信号段对应的识别结果确定图像的目标识别结果包括：确定多个脑电设备的权重；根据多个脑电设备的权重，以及对应的脑电信号的识别结果，确定图像的识别结果。
124.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
125.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
126.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
127.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
128.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
129.存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。存储器是计算机可读介质的示例。
130.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
131.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
132.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
133.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。