用于处理来自医学成像设备的实时视频并检测视频中的对象的系统和方法与流程

1.本公开总体上涉及神经网络领域以及涉及这种网络用于图像分析和对象检测的用途。更具体地但不是限制性地，本公开涉及用于训练生成式对抗网络以及处理实时视频的计算机实现的系统和方法。本文公开的系统、方法和经训练的神经网络可用于各种应用和视觉系统，例如得益于精确的目标检测能力的医学图像分析和系统。


背景技术：

2.在许多对象检测系统中，对象是在图像中检测到的。感兴趣对象可以是人、地点或事物。在诸如医学图像分析和诊断的应用中，对对象的定位也很重要。然而，利用图像分类器的计算机实现的系统通常不能识别或提供检测到的对象的位置。因此，仅使用图像分类器的现有系统并不是非常有用。
3.此外，用于对象检测的训练技术将依赖于手动注释的训练集。当被训练的检测网络是基于边界框(例如yolo(you only look once)架构、单镜头检测器(single shot detector，ssd)架构等)的网络时，这种注释是耗时的。因此，大数据集很难为训练进行注释，这通常产生针对较小数据集进行训练的神经网络，这降低了精确度。对于计算机实现的系统，现有的医学成像通常建立在单一的探测器网络上。因此，一旦进行了检测，网络就简单地将检测结果例如输出给医生或其他专业护理人员。然而，这种检测结果可能是假阳性，例如内窥镜检查等中的非息肉。这种系统并不提供用于区分假阳性和真阳性的单独网络。
4.此外，基于神经网络的对象检测器通常将由神经网络识别的特征馈送到检测器中，该检测器可以包括第二神经网络。然而，这种网络通常是不精确的，因为特征检测是由通用网络来执行的，而只有检测器部分是专用的。
5.最后，许多现有的对象探测器在延时下工作。例如，医学图像将在分析之前被捕获和存储。然而，一些医学过程，如内窥镜检查，是基于实时诊断的。因此，这些系统通常难以以需求的实时方式进行应用。


技术实现要素：

6.鉴于前面所述，本公开的实施例提供了用于训练生成式对抗网络并将其用于诸如医学图像分析的应用的计算机实现的系统和方法。本公开的系统和方法提供了优于现有系统和技术的益处，包括改进的对象检测和位置信息。
7.根据一些实施例，提供了计算机实现的系统，该系统包括识别感兴趣特征(即，异常或感兴趣对象)及其位置的对象检测器网络，以及区分真阳性和假阳性的对抗网络。此外，本公开的实施例提供用于训练对象检测器网络的两循环(two
‑
loop)技术。该训练过程基于检查检测来使用注释，使得手动注释可以发生得更快，并因此具有更大的数据集。此外，该过程可用于训练生成式对抗网络，以区分假阳性和真阳性。
8.此外，提供了将对象检测器网络与生成式对抗网络组合的公开系统。通过将这些
网络组合，可以区分假阳性和真阳性，从而提供更精确的输出。通过减少假阳性，由于提高的精确性，医生或其他专业医护人员将会更加关注来自网络的输出。
9.此外，本公开的实施例包括这样的神经网络：其不使用通过与专用检测器组合的一个神经网络进行的通用特征识别。相反，针对对象检测器部分训练单个无缝式神经网络，这产生更好的专门化以及更高的精确度和效率。
10.最后，本公开的实施例被配置成在单个显示器上显示实时视频(例如内窥镜视频或其他医学图像)以及对象检测。因此，本公开的实施例提供了视频旁路，以使来自对象检测器的错误和其他潜在缺点的潜在问题最小化。此外，可以以特别设计的方式显示对象检测，以更好地引起医生或其他专业护理人员的注意。
11.在一个实施例中，一种用于处理实时视频的系统可以包括：用于接收实时视频的输入端口；用于传送所接收的实时视频的第一总线；至少一个处理器，被配置成：从所述第一总线接收所述实时视频，对所述所接收的实时视频的帧执行对象检测，在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；用于接收具有叠加的边界的视频的第二总线；用于将所述具有叠加的边界的视频从所述第二总线输出至外部显示器的输出端口；以及用于将所接收的实时视频直接地传输至所述输出端口的第三总线。
12.在一些实施例中，一旦从所述至少一个处理器接收到错误信号，可以启动第三总线。
13.在任何实施例中，所述至少一个检测到的对象可以是异常。在该实施例中，所述异常可包括在人体组织上的形成或人体组织的形成。额外地或可替代地，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可以包括人体组织从预期的人体组织的位置处的缺失。
14.在任何实施例中，所述异常可包括病变。例如，病变可以包括息肉状病变或非息肉状病变。
15.在任何实施例中，所述叠加边界可以包括图形化图案，所述图形化图案围绕包括所述至少一个检测到的对象的所述图像的区域，所述图案以第一颜色显示。在该实施例中，所述至少一个处理器还可以被配置成，在经过一段时间之后，当所述至少一个检测到的对象是真阳性时，则将所述图案修改为以第二颜色显示；并且如果所述至少一个检测到的对象为假阳性，则将所述图案进一步修改为以第三颜色显示。在该实施例中，所述至少一个处理器还可以被配置成：当边界的图案被修改时向一个或多个扬声器发送命令以产生声音。在该实施例中，所述声音的持续时间、音调、频率和幅度中的至少一者可以取决于至少一个检测到的对象是真阳性还是假阳性。作为声音的补充或替代，所述至少一个处理器还可以被配置成：当所述边界的图案被修改时向至少一个可穿戴设备发送命令以进行振动。在该实施例中，所述振动的持续时间、频率和幅度中的至少一者取决于至少一个检测到的对象是真阳性还是假阳性。
16.在一个实施例中，一种用于处理实时视频的系统可以包括：用于接收实时视频的输入端口；至少一个处理器，被配置成：从所述输入端口接收所述实时视频、通过对所接收的实时视频的帧应用经训练的神经网络来执行对象检测，在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；用于将具有叠加的边界的视频从所述至少一个处理器输出至外部显示器的输出端口；以及用于从用户接收灵敏度设置的输入设备。处理器还可
以被配置成响应于灵敏度设置来调整经训练的神经网络的至少一个参数。
17.在一些实施例中，所述至少一个检测到的对象可以是异常。在该实施例中，所述异常可以包括人体组织上的形成或人体组织的形成。额外地或可替代地，所述异常可以包括人体组织从一种类型的细胞到另一种类型的细胞的变化。额外地或可替代地，所述异常可包括人体组织从预期的人体组织的位置处的缺失。
18.在任何实施例中，所述异常可以包括病变。例如，该病变可以包括息肉状病变或非息肉状病变。
19.本公开的额外目的和优点将在下面的详细描述中部分地阐述，并且部分地将从描述中变得明了，或者可以通过本公开的实践来学习。本公开的目的和优点将通过在所附权利要求中特别指出的元素和组合来实现和获得。
20.应当理解，前面总体上的描述和以下详细描述仅是示例性和解释性的，而不是对所公开的实施例进行限制。
附图说明
21.包括本说明书一部分的附图示出了几个实施例，并且与说明书一起用于解释所公开的实施例的原理和特征。在这些附图中：
22.图1是根据本公开的实施例的用于在视频馈送上叠加对象检测的示例性计算机实现系统的示意性表示。
23.图2是根据本公开的实施例的用于对象检测网络的示例性两阶段训练循环。
24.图3是根据本公开的实施例的用于训练对象检测网络的示例性方法的流程图。
25.图4是根据本公开的实施例的具有鉴别器网络和生成式网络的示例性对象检测器的示意性表示。
26.图5是根据本公开的实施例的用于利用鉴别器网络和生成器网络来检测感兴趣特征的示例性方法的流程图。
27.图6是根据本公开的实施例的利用对象检测器网络的计算机实现的系统的示意性表示。
28.图7是根据本公开的实施例的用于利用对象检测器网络在视频源上叠加对象指示符的示例性方法的流程图。
29.图8a是根据本公开的实施例的具有用于视频中的对象检测的叠加物(overlay)的显示的示例。
30.图8b是根据本公开的实施例的具有用于视频中的对象检测的叠加物的显示的另一示例。
31.图8c是根据本公开的实施例的具有用于视频中的对象检测的叠加物的显示的示例。
具体实施方式
32.所公开的实施例涉及用于训练生成式对抗网络以及使用该生成式对抗网络的计算机实现的系统和方法。有利地，所述示例性实施例可以提供改进的训练网络以及快速且有效的对象检测。本公开的实施例还可以为医学图像分析提供改进的具有减少的假阳性的
对象检测。
33.本公开的实施例可以在各种应用和视觉系统中实施和使用。例如，本公开的实施例可以被实施用于医学图像分析系统和受益于对象检测的其他类型的系统，在这些系统中对象可以是真阳性或假阳性。虽然本公开的实施例在本文是总体上参考医学图像分析和内窥镜来描述的，但是应当理解的是，这些实施例也可以应用于其他医学成像过程，例如胃镜检查、结肠镜检查、肠镜检查和上消化道内窥镜检查(例如食管内窥镜检查)。此外，本公开的实施例并不限于其他环境和视觉系统，例如用于或包括激光雷达(lidar)、监控、自动引导和其他成像系统的环境和视觉系统。
34.根据本公开的一个方面，提供了用于利用包括感兴趣特征表示的图像来训练生成式对抗网络的计算机实现的系统。该系统可以包括被配置成存储指令的至少一个存储器以及被配置成执行所述指令的至少一个处理器(例如参见图1和图6)。所述至少一个处理器可以提供第一多个图像。例如，所述至少一个处理器可以从一个或多个数据库提取所述第一多个图像。额外地或可替代地，所述第一多个图像可以包括从一个或多个视频提取的多个帧。
35.如本文所使用的，术语“图像”指场景或视场的任何数字表示。可以以任何适当的格式对该数字表示进行编码，所述格式例如为联合图像专家组(joint photographic experts group，jpeg)格式、图形交换格式(graphics interchange format，gif)、位图格式、可缩放矢量图形(scalable vector graphics，svg)格式、封装的postscript(encapsulated postscript，eps)格式等。类似地，术语“视频”是指由多个图像顺序地组成的场景或感兴趣区域的任何数字表示。可以以任何适当的格式对该数字表示进行编码，所述格式例如为运动图像专家组(moving picture experts group，mpeg)格式、闪存视频格式、音频视频交错(audio video interleave，avi)格式等。在一些实施例中，图像序列可以与音频配对。
36.所述第一多个图像可以包括感兴趣特征(即，异常或感兴趣对象)的表示以及第一多个图像的图像中感兴趣特征的位置的指示符。例如，感兴趣特征可以包括人体组织上的异常或人体组织的异常。在一些实施例中，感兴趣特征可以包括对象，例如车辆、人或其他实体。
37.根据本公开，“异常(abnormality)”可以包括：人体组织上的或人体组织的形成、人体组织从一种类型的细胞到另一种类型的细胞的变化、和/或人体组织从预期人体组织位置处的缺失。例如，肿瘤或其他组织生长可包括异常，因为存在的细胞比预期的多。类似地，瘀伤或细胞类型的其他变化可包括异常，因为血细胞存在于预期位置之外(即，毛细血管之外)的位置处。类似地，人体组织中的凹陷(depression)可以包括异常，因为细胞不存在于预期位置处，从而导致凹陷。
38.在一些实施例中，异常可以包括病变。该病变可以包括胃肠道黏膜病变。可以对病变进行组织学分类(例如，根据维也纳分类(vienna classification))、形态学分类(例如，根据巴黎分类(paris classification))和/或结构化分类(例如，锯齿状或非锯齿状)。所述巴黎分类包括息肉状病变和非息肉状病变。所述息肉状病变可以包括突出式病变、带蒂且突出式病变、或无蒂式病变。非息肉状病变可包括表面隆起式病变、扁平式病变、表面浅凹陷式病变、或凹陷式病变。
39.对于检测到的异常，锯齿状病变可以包括无蒂锯齿状腺瘤(sessile serrated adenomas，ssa)；传统锯齿状腺瘤(traditional serrated adenomas，tsa)；增生性息肉(hyperplastic polyp，hp)；成纤维细胞性息肉(fibroblastic polyp，fp)；或混合式息肉(mixed polyp，mp)。根据维也纳分类，将异常分成以下五类：(第1类)针对肿瘤/异型增生的阴性；(第2类)针对肿瘤/异型增生的不确定性；(第3类)非侵入性低级别恶性肿瘤(低级别腺瘤/异型增生)；(第4类)粘膜式高级别癌变，如高级别腺瘤/异型增生、非侵入性癌(原位癌)或怀疑为侵袭性癌；以及(第5类)侵入性肿瘤、粘膜内癌、粘膜下层癌等。
40.所述异常或感兴趣特征的位置的指示符可以包括点(例如坐标)或区域(例如矩形、正方形、椭圆形、或任何其他规则的或不规则的形状)。指示符可以包括在图像上手动注释或图像的手动注释。在一些实施例中，所述第一多个图像可以包括医学图像，例如人体组织的胃肠器官或其他器官或区域的图像。可以从医学成像设备(例如在内窥镜检查、胃镜检查、结肠镜检查、肠镜检查过程或上消化道内窥镜检查(例如食道内窥镜检查)中使用的医学成像设备)生成图像。在该实施例中，如果感兴趣特征是病变或其他异常，则医生或其他专业护理人员可以对图像进行注释，以将异常的指示符放置在图像中。
41.系统的一个或多个处理器可以使用第一多个图像和感兴趣特征的指示符来训练对象检测网络，以检测感兴趣特征。例如，对象检测网络可以包括具有多个层之一的神经网络，该神经网络被配置成接受作为输入的图像并且输出感兴趣特征的位置的指示符。在一些实施例中，所述对象检测网络可以包括卷积网络。
42.训练所述对象检测网络可以包括调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，可以调整对象检测网络的权重，以使与网络相关联的损失函数最小化。在一些实施例中，所述损失函数可以包括平方损失函数、合页损失函数、逻辑损失函数、交叉熵损失函数、任何其他适当的损失函数、或这些损失函数的组合。在一些实施例中，可以修改对象检测网络的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与到一个或多个节点的输入之间的拟合性。例如，一个或多个处理器可以增加或减小与一个或多个节点相关联的多项式函数的幂、可以将相关联的函数从一种类型改变为另一种类型(例如，将多项式改变为指数函数，将对数函数改变为多项式等)、或者执行对一个或多个节点的一个或多个模型的任何其他调整。
43.一个或多个处理器系统还可以提供包括感兴趣特征的表示的第二多个图像。例如，所述一个或多个处理器可以从一个或多个数据库中提取第一多个图像，无论是存储第一多个图像的相同的一个或多个数据库还是一个或多个不同的数据库。额外地或可替代地，所述第二多个图像可以包括从一个或多个视频中提取的多个帧，无论是用于提取第一多个图像的相同的视频还是一个或多个不同的视频。
44.在一些实施例中，所述第二多个图像可以包括医学图像，例如来自内窥镜设备的图像。在该实施例中，感兴趣特征可以包括病变或其他异常。
45.在一些实施例中，第二多个图像可以包括比第一多个图像中包括的图像的数量更多的图像。例如，第二多个图像可以包括比第一多个图像多至少100倍的图像。在一些实施例中，第二多个图像可以至少部分地包括第一多个图像，或者可以是与第一多个图像不同的图像。在其中从一个或多个视频(至少部分地从其中提取了第一多个图像的至少一部分)中提取第二多个图像的实施例中，所述第二多个图像可以包括与来自相同的一个或多个视
频的第一多个图像不同的帧。
46.一个或多个系统处理器可以将经训练的对象检测网络应用于第二多个图像，以产生感兴趣特征的第一多个检测。例如，在经训练的对象检测网络包括神经网络的实施例中，至少一个处理器可以将第二多个图像输入至网络并且接收检测。该检测可以包括第二多个图像中的感兴趣特征的位置的指示符。如果所述第二多个图像不包括感兴趣特征，则指示符可以包括无感兴趣特征的空指示符或者其他指示符。
47.一个或多个系统处理器还可以提供关于第一多个检测对真阳性和假阳性的手动设置的验证。例如，可以从一个或多个数据库中提取验证或接收验证作为输入。在感兴趣特征包括病变或其他异常的实施例中，所述验证可由医生或其他专业护理人员输入。例如，一个或多个处理器可以向医生或其他专业护理人员输出用于显示的检测，并且响应于所显示的检测来接收验证。
48.一个或多个系统处理器可以使用关于第一多个检测对真阳性和假阳性的验证来训练生成式对抗网络。例如，可以训练网络的生成式分支来生成感兴趣特征的伪表示(artificial representation)。因此，生成式分支可以包括卷积神经网络。
49.类似于对象检测网络，训练生成式分支可以包括调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，如上面所解释的，可以调整生成式分支的权重，以使与网络相关联的损失函数最小化。额外地或可替代地，可以修改生成式分支的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与一个或多个节点的输入之间的拟合性。
50.此外，可以基于手动验证来训练网络的对抗分支，以区分假阳性和真阳性。例如，对抗分支可以包括神经网络，其接受图像和一个或多个对应的检测作为输入并产生验证作为输出。在一些实施例中，一个或多个处理器可以通过提供针对两个或更多个图像中的感兴趣特征的遗漏的检测的假阴性的验证来进一步重新训练生成式网络。通过向对抗分支提供来自生成式分支的伪表示作为输入并且递归地利用来自对抗分支的输出，所述对抗分支和生成式分支可以执行无监督式学习。
51.类似于生成式分支，训练对抗分支可以包括调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，如上面所解释的，可以调整对抗分支的权重，以使与网络相关联的损失函数最小化。额外地或可替代地，可以修改对抗分支的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与一个或多个节点的输入之间的拟合性。
52.因此，在感兴趣特征包括病变或其他异常的实施例中，可以训练生成式分支，以生成看起来类似于异常的非异常的表示，并且可以训练对抗分支，以区分第二多个图像中的伪非异常和异常。
53.一个或多个系统处理器可以利用至少另一组图像和感兴趣特征的检测以及关于感兴趣特征的进一步检测对真阳性和假阳性的进一步手动设置的验证来重新训练生成式对抗网络。例如，一个或多个处理器可以从一个或多个数据库中提取另一组图像，无论是存储第一多个图像和/或第二多个图像的相同的一个或多个数据库还是是一个或多个不同的数据库。额外地或可替代地，该另一组图像可以包括从一个或多个视频中提取的多个帧，无论是用于提取第一多个图像和/或第二多个图像的相同的视频还是一个或多个不同的视
频。类似于训练，重新训练对抗分支可以包括对网络的一个或多个节点的权重的进一步调整和/或对网络的一个或多个节点的激活(或转移)函数的进一步调整。
54.根据本公开的另一方面，提供了用于训练神经网络系统以检测人体器官的图像中的异常的计算机实现的方法。该方法可以由至少一个处理器(例如参见图6的处理器607)来实施。
55.根据示例性的方法，一个或多个处理器可以将包括异常表示的多个视频存储在数据库中。例如，视频可以包括内窥镜视频。视频可以被编码成一种或多种格式，例如运动图像专家组(mpeg)格式、闪存视频格式、音频视频交错(avi)格式等。
56.该方法还可以包括：利用一个或多个处理器选择多个视频的第一子集。例如，一个或多个处理器可以随机地选择第一子集。可替代地，一个或多个处理器可以使用数据库的一个或多个索引来选择第一子集。例如，一个或多个处理器可以选择第一子集作为被索引为包括异常表示的视频。
57.该方法还可以包括：利用一个或多个处理器将对象检测网络的感知分支应用至多个视频的第一子集的帧，以产生对异常的第一多个检测。例如，对象检测网络可以包括经训练以接受图像作为输入并且输出第一多个检测的神经网络。第一多个检测可以包括帧中异常的位置的指示符，例如检测到的异常的点或区域。异常的缺乏将导致无异常的空指示符或其他指示符。感知分支可以包括：被配置成检测息肉并且输出任何检测到的异常的位置的指示符的神经网络(例如卷积神经网络)。
58.该方法还可以包括：利用一个或多个处理器选择多个视频的第二子集。在一些实施例中，所述第二子集可以至少部分地包括所述第一子集，或者可以是与第一子集不同的视频。
59.该方法还可以包括：利用第一多个检测和来自多个视频的第二子集的帧来训练生成器网络，以生成异常的多个伪表示。例如，所述生成器网络可以包括：被配置成生成所述伪表示的神经网络。在一些实施例中，所述生成器网络可以包括卷积神经网络。可以通过残差学习来生成所述多个伪表示。
60.如上面所解释的，训练所述生成式网络可以包括：调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，如上面所描述的，可以调整生成式网络的权重，以使与网络相关联的损失函数最小化。额外地或可替代地，可以修改生成式网络的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与一个或多个节点的输入之间的拟合性。
61.该方法还可以包括：利用一个或多个处理器训练鉴别器网络的对抗分支，以区分异常的伪表示和异常的真表示。例如，所述对抗分支可以包括：神经网络，该神经网络接受作为输入的表示以及输出所输入的表示是伪表示还是真表示的指示。在一些实施例中，所述神经网络可以包括卷积神经网络。
62.类似于生成式分支，训练鉴别器网络的对抗分支可以包括：调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，如上面所解释的，可以调整鉴别器网络的对抗分支的权重，以使与网络相关联的损失函数最小化。额外地或可替代地，可以修改鉴别器网络的对抗分支的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与一个或多个节点的输入之间的拟合性。
63.该方法还可以包括：利用一个或多个处理器将鉴别器网络的对抗分支应用于多个伪表示，以产生被包括在多个视频的第二子集的帧中的异常的伪表示与异常的真表示之间的差异指示符。例如，所述伪表示可以包括看起来类似于异常的非异常表示。因此，每个伪表示可以提供与异常的真表示高度相似的异常的假表示。所述对抗分支可以进行学习以识别非异常(假表示)，特别是与异常相似的非异常与异常(真表示)之间的差异。
64.该方法还可以包括：利用一个或多个处理器将鉴别器网络的感知分支应用于伪表示，以产生对异常的第二多个检测。类似于第一多个检测，所述第二多个检测可以包括伪表示中的异常的位置的指示符，例如检测到的异常的点或区域。异常的缺乏可能导致无异常的空指示符或者其他指示符。
65.该方法还可以包括：基于差异指示符和第二多个检测来重新训练感知分支。例如，重新训练感知分支可以包括：调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，如上面所解释的，可以调整感知分支的权重以使与网络相关联的损失函数最小化。额外地或可替代地，可以修改感知分支的激活(或转移)函数，以改善一个或多个节点的一个或多个模型和差异指示符与第二多个检测之间的拟合性。
66.上述训练的示例性方法可以产生经训练的神经网络系统。该经训练的神经网络系统可以形成用于检测人体器官图像中的感兴趣特征的系统的一部分(例如，神经网络系统可以实现为图1的叠加设备(overlay device)105的一部分)。例如，该系统可以包括被配置成存储指令的至少一个存储器以及被配置成执行所述指令的至少一个处理器。所述至少一个处理器可以从人体器官的视频中选择帧。例如，所述视频可以包括内窥镜视频。
67.一个或多个系统处理器可以将经训练的神经网络系统应用于帧，以产生对感兴趣特征的至少一个检测。在一些实施例中，所述感兴趣特征可以包括异常。所述至少一个检测可以包括感兴趣特征的位置的指示符。例如，所述位置可以包括点或区域，该点或区域检测到的感兴趣特征。可以对神经网络系统进行训练，以检测如上面所解释的异常。
68.在一些实施例中，一个或多个系统处理器还可以将一个或多个附加的分类器和/或神经网络应用到检测到的感兴趣特征。例如，如果感兴趣特征包括病变，则至少一个处理器可以将病变分类为一种或多种类型(例如，癌症或非癌症等)。额外地或可替代地，神经网络系统可以进一步输出所检测到的感兴趣特征是假阳性还是真阳性。
69.一个或多个系统处理器可以在一个帧上生成至少一个检测的位置的指示符。例如，可以从指示符和放置在帧上的位置的图形化指示符中提取感兴趣特征的位置。在位置包括点的实施例中，所述图形化指示符可以包括放置在点上的圆形、星形或任何其他形状。在位置包括区域的实施例中，所述图形化指示符可以包括围绕该区域的边界。在一些实施例中，可以使形状或边界动画化；因此，可以为多个帧生成形状或边界，使得其跟踪整个帧上的感兴趣特征的位置以及当按顺序显示帧时呈现动画。如下面进一步解释的，图形化指示符可以与其它指示符(例如声音和/或振动指示符)配对。
70.指示符的任何方面可取决于感兴趣特征的分类，例如，取决于将感兴趣特征分类为一种或多种类型或分类为假阳性或真阳性。因此，图形化指示符的颜色、形状、图案或其他方面可取决于分类。在还使用声音和/或振动指示符的实施例中，声音和/或振动的持续时间、频率和/或幅度可以取决于分类。
71.一个或多个系统处理器可以将帧重新编码成视频。因此，在生成(图形化)指示符
并将其叠加在一个或多个帧上之后，可以将帧重新组装为视频。因此，系统的一个或多个处理器可以输出具有指示符的重新编码的视频。
72.根据本公开的另一方面，描述了用于处理实时视频的计算机实现的系统(参见例如图1和图6)。该系统可以包括输入端口，该输入端口用于接收实时视频。例如，该输入端口可以包括视频图形化阵列(video graphics array，vga)端口、高清晰度多媒体接口(high
‑
definition multimedia interface，hdmi)端口、数字可视化接口(digital visual interface，dvi)端口、串行数字化接口(serial digital interface，sdi)等。所述实时视频可以包括医学视频。例如，系统可以从内窥镜设备接收实时视频。
73.所述系统还可以包括第一总线，该第一总线用于传送所接收的实时视频。例如，该第一总线可以包括并行连接或串行连接，并且可以被布线成多点拓扑或菊花链拓扑。第一总线可以包括pci express(外围组件互连express)总线、通用串行总线(universal serial bus，usb)、ieee 1394接口(火线(firewire))等。
74.所述系统可以包括至少一个处理器，该处理器被配置成从第一总线接收实时视频、对所接收的实时视频的帧执行对象检测、以及在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置。所述一个或多个处理器可以利用神经网络系统来执行对象检测，该神经网络系统被训练成产生对对象的至少一个检测。在一些实施例中，所述至少一个对象可以包括病变或其他异常。因此，可以对神经网络系统进行训练来检测如上面所解释的异常。
75.一个或多个处理器可以叠加如上面所解释的边界。例如，该边界可以围绕包括对象的区域，该区域是通过由一个或多个处理器进行的至少一个检测来接收的。
76.该系统还可以包括第二总线，该第二总线用于接收具有叠加的边界的视频。例如，类似于第一总线，该第二总线可以包括并行连接或串行连接，并且可以被布线成多点拓扑或菊花链拓扑。因此，与第一总线类似，该第二总线可以包括pci express(外围组件互连express)总线、通用串行总线(usb)、ieee 1394接口(火线)等。第二总线可以包括与第一总线类型相同的总线，或者可以包括不同类型的总线。
77.该系统还可以包括输出端口，该输出端口用于将具有叠加的边界的视频从第二总线输出至外部显示器。该输出端口可以包括vga端口、hdmi端口、dvi端口、sdi端口等。因此，该输出端口可以是与所述输入端口类型相同的端口，或者可以是不同类型的端口。
78.该系统可以包括第三总线，该第三总线用于将所接收的实时视频直接地传输至输出端口。该第三总线可以无源地将实时视频从所述输入端口运送到输出端口，从而即使在整个系统关断时也是启动的。在一些实施例中，第三总线可以是在整个系统关断时也启动的默认总线。在该实施例中，在整个系统是启动的情况下，第一总线和第二总线可以是启动的，而第三总线相应地可以是不启动的。在整个系统关断时，或者一旦从一个或多个处理器接收到错误信号时，可以使第三总线重新启动。例如，如果由处理器实现的对象检测发生故障，则一个或多个处理器可以使第三总线启动，从而允许实时视频流的连续的输出，而不会由于故障发生中断。
79.在一些实施例中，可以在整个帧上修改叠加的边界。例如，所述叠加的边界可以包括二维形状，该二维形状围绕包括所述至少一个检测到的对象的图像的区域进行显示，所述边界为第一颜色。在经过一段时间之后，如果至少一个检测到的对象是真阳性，则一个或
多个处理器可以将边界修改为第二颜色，如果至少一个检测到的对象是假阳性，则一个或多个处理器可以将边界修改为第三颜色。额外地或可替代地，一个或多个处理器可以基于所检测对象的分类来修改边界。例如，如果对象包括病变或其他异常，则修改可以基于病变或形成物是否是癌或其他异常。
80.在上述任何实施例中，叠加的指示符可以与一个或多个附加指示符配对。例如，当检测到至少一个对象时，一个或多个处理器可以向一个或多个扬声器发送命令以产生声音。在边界被修改的实施例中，当边界被修改时，一个或多个处理器可以发送命令。在该实施例中，声音的持续时间、音调、频率和幅度中的至少一者可以取决于检测到的至少一个对象是真阳性还是假阳性。额外地或可替代地，声音的持续时间、音调、频率和幅度中的至少一者可以取决于检测到的对象的分类。
81.额外地或可替代地，当检测到至少一个对象时，一个或多个处理器可以向至少一个可穿戴设备发送命令来振动。在边界被修改的实施例中，当边界被修改时，一个或多个处理器可以发送所述命令。在该实施例中，振动的持续时间、频率和幅度中的至少一者可以取决于至少一个检测到的对象是真阳性还是假阳性。额外地或可替代地，振动的持续时间、音调、频率和幅度中的至少一者可以取决于检测到的对象的分类。
82.根据本公开的另一方面，描述了用于处理实时视频的系统。类似于上述处理系统，该系统可以包括：用于接收实时视频的输入端口；至少一个处理器，该处理器被配置成从所述输入端口接收所述实时视频、通过对所接收的实时视频的帧应用经训练的神经网络来执行对象检测、以及在所述帧中叠加边界，所述边界指示至少一个检测到的对象的位置；以及用于将具有叠加的边界的视频从处理器输出至外部显示器的输出端口。
83.所述系统还可以包括输入设备，该输入设备用于从用户接收灵敏度设置。例如，该输入设备可以包括按键、一个或多个按钮、或者适合于接收一个命令以增加设置和接收另一命令以减少设置的任何其他设备。
84.一个或多个系统处理器可以响应于所述灵敏度设置来调整所述经训练的神经网络的至少一个参数。例如，一个或多个处理器可以基于所述灵敏度设置来调整网络的一个或多个节点的一个或多个权重，以增加或减少由网络产生的检测的数量。额外地或可替代地，可以响应于所述灵敏度设置来增加或减少网络的输出层的一个或多个阈值和/或应用于从网络的输出层接收的检测的一个或多个阈值。因此，如果所述灵敏度设置增加，则一个或多个处理器可以减少所述一个或多个阈值，使得由网络产生的检测次数增加。类似地，如果所述灵敏度设置降低，则一个或多个处理器可以增加所述一个或多个阈值，使得由网络产生的检测次数减少。
85.图1是符合本公开的实施例的示例性系统100的示意图，该系统包括用于在视频源(video feed)上叠加对象检测的线路。如图1的示例所示，系统100包括控制成像设备103的操作者101。在视频源包括医疗视频的实施例中，操作者101可以包括医生或其他专业护理人员。成像设备103可以包括医学成像设备，例如x射线机、计算机断层扫面(computed tomography，ct)机、磁共振成像(magnetic resonance imaging，mri)机、内窥镜检查机、或产生人体或一部分人体的视频或一个或多个图像的其他医学成像设备。操作者101可以通过控制装置103的捕获率和/或控制装置103的移动(例如穿过人体或相对于人体移动)来控制成像设备103。在一些实施例中，成像设备103可以包括pill
‑
cam
tm
设备、或其他形式的代
替外部成像设备的胶囊式内窥镜设备，例如x射线机、或者插入穿过人体腔的成像设备，例如内窥镜设备。
86.如图1所进一步示出的，成像设备103可以将捕获到的视频或图像传输至叠加设备105。叠加设备105可以包括一个或多个处理器来处理视频，如上面所述的。此外，在一些实施例中，除了控制成像设备103以外，操作者101还可以例如通过控制叠加设备105的对象检测器(未示出)的灵敏度来控制叠加设备105。
87.如图1所示出的，叠加设备105可以增强(augment)从成像设备103接收的视频，然后将增强的视频传输至显示器107。在一些实施例中，增强可以包括上述叠加。如图1所进一步示出的，叠加设备105还可以被配置成将来自成像设备103的视频直接地转发至显示器107。例如，叠加设备105可以在预定条件(例如如果包括在叠加设备105中的对象检测器(未示出)发生故障)下执行直接转发。额外地或可替代地，如果操作者101向叠加设备105输入命令，则叠加设备105可以执行直接转发。可以经由叠加设备105上所包括的一个或多个按钮和/或经由诸如键盘等的输入设备来接收所述命令。
88.图2是符合本公开的实施例的用于对象检测网络的两阶段训练循环200的示意性表示。可以由一个或多个处理器来实现循环200。如图2所示，循环200的第一阶段可以使用包括感兴趣特征的图像的数据库201。在图像包括医学图像的实施例中，感兴趣特征可以包括异常，例如病变。
89.如上面所解释的，数据库201可以存储单个图像和/或一个或多个视频，每个视频包括多个帧。在循环200的第一阶段期间，一个或多个处理器可以从数据库201提取图像和/或帧的子集203。一个或多个处理器可以随机地或者至少部分地利用一种或多种模式来选择子集203。例如，如果数据库201存储视频，则一个或多个处理器可以从包括在子集203中的每个视频中选择不多于一个、两个或类似数量的帧。
90.如图2所示出的，特征指示符205可以包括对子集203的注释。例如，注释可以包括点感兴趣特征的点或包括感兴趣特征的区域。在一些实施例中，操作者可以查看视频或图像并且经由输入设备(例如，键盘、鼠标、触摸屏以及显示器的任何组合)将注释手动地输入至一个或多个处理器。该注释可以被存储为独立于图像的数据结构，例如以json、xml、文本等格式进行存储。例如，在图像是医学图像的实施例中，操作者可以是医生或其他专业护理人员。虽然描述为在提取之后添加到子集203，但是子集203可以在被存储到数据库201中之前或在其他更早的时间被注释。在该实施例中，一个或多个处理器可以通过选择具有特征指示符205的数据库201中的图像来选择子集203。
91.子集203连同特征指示符205包括训练集207。一个或多个处理器可以利用训练集207来训练鉴别器网络209。例如，鉴别器网络209可以包括如上所述的对象检测器网络。如上面所进一步解释的，训练所述鉴别器网络可以包括调整网络的一个或多个节点的权重和/或调整网络的一个或多个节点的激活(或转移)函数。例如，可以调整对象检测网络的权重以使与网络相关联的损失函数最小化。在另一示例中，可以修改对象检测网络的激活(或转移)函数，以改善一个或多个节点的一个或多个模型与一个或多个节点的输入之间的拟合性。
92.如图2所示，在循环200的第二阶段期间，一个或多个处理器可以从数据库201提取图像(和/或帧)的子集211。子集211可以至少部分地包括来自子集203的一些或全部图像，
或者可以包括不同的子集。在子集203包括来自一个或多个视频的多个帧的实施例中，子集211可以包括来自一个或多个相同视频的相邻帧或其他帧。子集211可以比子集203包括更多数量的图像，例如，子集211包括比子集203多至少100倍的图像。
93.一个或多个处理器可以向子集211应用鉴别器网络209’(其表示在完成第一阶段的训练之后的鉴别器网络209)以产生多个特征指示符213。例如，特征指示符213可以包括由鉴别器网络209’检测到的感兴趣特征的点或区域。
94.如图2所进一步示出的，验证215可以包括对特征指示符213的注释。例如，注释可以包括每个特征指示符是真阳性还是假阳性的指示符。可以将没有检测到感兴趣特征但包括感兴趣特征的图像标注为假阴性。
95.子集211连同特征指示符213和验证215包括训练集217。一个或多个处理器可以使用训练集217来训练生成式对抗网络219。例如，生成式对抗网络219可以包括如上所述的生成式网络和对抗网络。训练生成式对抗网络可以包括训练生成式网络以产生感兴趣特征的伪表示或者看起来类似于真实感兴趣特征的假感兴趣特征的伪表示，以及训练对抗网络以区分伪表示和真表示，例如包括在子集211中的那些伪表示和真表示。
96.尽管在图2中未示出，验证213可进一步用于再训练鉴别器网络209’。例如，可以调整鉴别器网络209’的权重和/或激活(或转移)函数，以消除被标注为假阳性的图像中的检测和/或调整鉴别器网络209’的权重和/或激活(或转移)函数，以产生被标注为假阴性的图像中的检测。
97.图3是用于训练对象检测网络的示例性方法300的流程图。方法300可以由一个或多个处理器执行。在图3中的步骤301：至少一个处理器可以提供第一多个图像，所述第一多个图像包括感兴趣特征的表示以及第一多个图像的图像中感兴趣特征的位置的指示符。指示符可以包括手动设置的指示符。该手动设置的指示符可以从数据库提取或者从操作者作为输入接收。
98.在步骤303：至少一个处理器可以利用第一多个图像和感兴趣特征的指示符来训练对象检测网络，以检测感兴趣特征。例如，可以如上面所解释地训练所述对象检测网络。
99.在步骤305，所述至少一个处理器可以提供包括所述感兴趣特征的表示的第二多个图像，所述第二多个图像包括比所述第一多个图像中所包括的图像的数量更多的图像。在一些实施例中，第二多个图像可以至少部分地与第一多个图像重叠。可选地，第二多个图像可以由与第一多个图像中的图像不同的图像组成。
100.在步骤307：至少一个处理器可以将经训练的对象检测网络应用于第二多个图像，以产生感兴趣特征的第一多个检测。在一些实施例中，如上面所解释的，所述检测可以包括检测到的感兴趣特征的位置的指示符。例如，所述对象检测网络可以包括输出一个或多个矩阵的卷积神经网络，每个矩阵定义任何检测到的感兴趣特征的坐标和/或区域，并且可选地具有针对每个检测的一个或多个相关联的置信度得分。
101.在步骤309：至少一个处理器可以提供关于第一多个检测对真阳性和假阳性的手动设置的验证。例如，至少一个处理器可以从数据库提取手动设置的验证或者从操作者接收作为输入的验证。
102.在步骤311：至少一个处理器可以利用关于第一多个检测对真阳性和假阳性的验证来训练生成式对抗网络。例如，可以如上面所描述地训练该生成式对抗网络。
103.在步骤313：至少一个处理器可以利用至少另外一组图像和感兴趣特征的检测，连同关于感兴趣特征的进一步检测对真阳性和假阳性的进一步手动设置的验证，来重新训练生成式对抗网络。在一些实施例中，所述另一组图像可以至少部分地与所述第一多个图像和/或所述第二多个图像重叠。可替代地，所述另外一组图像可以由与第一多个图像和第二多个图像不同的图像组成。因此，步骤313可以包括：将经训练的对象检测网络应用到所述另一组图像以产生感兴趣特征的进一步检测；提供关于所述进一步检测的手动设置的真阳性和假阳性的验证；以及利用关于所述进一步检测的验证来重新训练所述生成式对抗网络。
104.符合本公开的示例性方法300可以包括附加步骤。例如，在一些实施例中，方法300可以包括：可以通过提供针对两个或更多个图像中的遗漏的检测的感兴趣特征的假阴性的验证来重新训练生成式网络。因此，从数据库提取的或作为输入接收的手动设置的验证可以包括假阴性的验证以及真阳性和假阳性的验证。可以使用假阴性来重新训练生成式对抗网络。额外地或可替代地，可以使用假阴性来重新训练对象检测网络。
105.图4是对象检测器400的示意图。对象检测器400可以由一个或多个处理器实现。如图4所示，对象检测器400可以使用包括感兴趣特征的视频的数据库401。在图像包括医学图像的实施例中，感兴趣特征可以包括异常，例如病变。在图4的示例中，数据库401包括内窥镜视频的数据库。
106.如图4所示出的，检测器400可以从数据库401中提取视频的子集403。如上文关于图2所解释的，可以随机地和/或使用一种或多种模式来选择子集403。检测器400可以将鉴别器网络405的感知分支407应用于子集403的帧。感知分支407可以包括如上所述的对象检测网络。感知分支407可以被训练，以检测感兴趣特征并且识别与检测到的感兴趣特征相关联的位置(例如，点或区域)。例如，感知分支407可以检测异常以及输出包括检测到的异常的边界框。
107.如图4所示，感知分支407可以输出检测413。如上面所解释的，检测413可以包括识别子集403中检测到的感兴趣特征的位置的点或区域。如进一步在图4中描绘的，检测器400可以从数据库401中提取视频的子集411。例如，子集411可以至少部分地与子集403重叠或由不同视频组成。子集411可以具有比子集403更多数量的视频，例如，子集411具有比子集403多至少100倍的视频。检测器400可以使用子集411和检测器413来训练生成式网络415。可以训练生成式网络415以产生感兴趣特征的伪表示417，例如，异常。伪表示417可以包括看起来类似于感兴趣特征的真表示的感兴趣特征的假表示。因此，可以对生成式网络415进行训练，以欺骗感知分支407进行是假阳性的检测。
108.如进一步在图4中示出的，一旦生成式网络415被训练，其可以产生伪表示417。检测器400可以使用伪表示417来训练鉴别器网络405的对抗分支409。如上面所解释的，可以训练对抗分支409以区分伪表示417和子集411。因此，对抗分支409可以确定差异指示符419。差异指示符419可以表示存在于伪表示417中但不存在于子集411中、存在于子集411中但不存在于伪表示417中的图像的任何特征向量或其他方面，或者表示在伪表示417的特征向量或其他方面与其子集411之间的差异的减法向量或其他方面。
109.如图4所示出的，检测器400可以利用差异指示符419来重新训练感知分支407。例如，在伪表示417包括感兴趣特征的假表示的实施例中，检测器400可以重新训练感知分支
407，使得虚假表示不会导致在子集411中检测到真表示。
110.尽管在图4中未示出，检测器400可以进一步使用递归训练来改善生成式网络415、感知分支407和/或对抗分支409。例如，检测器400可以利用差异指示符419来再训练生成器网络415。因此，对抗性分支409的输出可用于再训练生成器网络415，使得伪表示甚至看起来更类似于真表示。另外，经再训练的生成器网络415可以产生用于再训练对抗分支409的新的伪表示集。因此，对抗分支409和生成器网络415可以进行无监督学习，每一个的输出以递归的方式用于重新训练其他输出。可以重复该递归训练，直到已经达到循环的阈值数量，和/或直到与生成器网络415相关联的损失函数和/或与对抗分支409相关联的损失函数达到阈值。此外，在该递归训练期间，还可以使用差异指示符的每个新输出来重新训练感知分支407，使得可以使用具有新检测的新子集来进一步重新训练生成器网络415。
111.图5是用于利用鉴别器网络和生成器网络来检测感兴趣特征的示例性方法500的流程图。可以由一个或多个处理器来执行方法500。
112.在图5中的步骤501：至少一个处理器可以将多个视频存储在数据库中，所述视频包括感兴趣特征(例如异常)的表示。例如，可以在内窥镜检查过程期间捕获视频。作为步骤501的一部分，至少一个处理器还可以选择多个视频的第一子集。如上面所解释的，至少一个处理器可以随机地进行选择和/或利用一种或多种模式来进行选择。
113.在步骤503：至少一个处理器可以将对象检测网络的感知分支应用于多个视频的第一子集的帧，以产生对异常的第一多个检测。在一些实施例中，如上面所解释的，所述检测可以包括检测到的异常的位置的指示符。此外，在一些实施例中，所述感知分支可以包括卷积神经网络，如上面所解释的。
114.在步骤505：至少一个处理器可以选择多个视频的第二子集。如上面所解释的，至少一个处理器可以随机地进行选择和/或利用一种或多种模式进行选择。利用来自所述多个视频的所述第二子集的所述第一多个检测和帧，所述至少一个处理器可以进一步训练生成器网络，以生成异常的多个伪表示，所述多个伪表示是通过残差学习生成的。如上面所解释的，每个伪表示提供与异常的真表示高度相似的异常的假表示。
115.在步骤507：至少一个处理器可以训练鉴别器网络的对抗分支，以区分异常的伪表示和异常的真表示。例如，如上面所解释的，可以训练对抗分支以识别帧中的伪表示和真表示之间的差异。在一些实施例中，对抗分支可以包括卷积神经网络，如上面所解释的。
116.在步骤509：至少一个处理器可以将鉴别器网络的对抗分支应用于多个伪表示，以产生包括在多个视频的第二子集的帧中的异常的伪表示与异常的真表示之间的差异指示符。例如，如上面所解释的，差异指示符可以表示存在于伪表示中但不存在于帧中的、存在于帧中但不存在于伪表示中的图像的任何特征向量或其他方面，或者是表示伪表示的特征向量或其他方面与其帧之间的差异的减法向量或其他方面。
117.在步骤511：至少一个处理器可以将鉴别器网络的感知分支应用于伪表示，以产生对异常的第二多个检测。类似于第一多个检测，该检测可以包括伪表示中检测到的异常的位置的指示符。
118.在步骤513：至少一个处理器可以基于差异指示符和第二多个检测来重新训练感知分支。例如，在每个伪表示提供与异常的真表示高度相似的异常的假表示的实施例中，至少一个处理器可以重新训练感知分支，以减少从伪表示返回的检测的数量，并且因此增加
从伪表示返回的无异常的空指示符或其他指示符的数量。
119.符合本公开的示例性方法500可以包括附加步骤。例如，在一些实施例中，方法500可以包括基于差异指示符来重新训练生成式网络。在该实施例中，方法500可以进一步包括应用生成式网络以生成异常的另外多个伪表示，并且基于异常的另外多个伪表示来重新训练对抗分支。这种再训练步骤可以是递归式的。例如，方法500可以包括将重新训练的对抗分支应用于另外多个伪表示，以在包括在多个视频的第二子集的帧中的异常的另外伪表示与异常的真表示之间产生另外的差异指示符，并且基于另外的差异指示符来重新训练生成式网络。如上面所解释的，可以重复该递归式再训练，直到已经达到循环的阈值数量和/或直到与生成式网络相关联的损失函数和/或与对抗分支相关联的损失函数达到阈值。
120.图6是符合本公开的实施例的系统600的示意性表示，该系统包括用于视频源的硬件配置。如图6所示，系统600可以可通信地耦合至成像设备601，例如摄像机或输出视频源的其他设备。例如，成像设备601可以包括医学成像设备，例如ct扫描仪、mri机、内窥镜设备等。系统600还可以可通信地耦合至显示器615或用于显示或存储视频的其他设备。例如，显示器615可以包括用于向用户显示图像的监视器、屏幕或其他设备。在一些实施例中，显示器615可以用存储设备(未示出)或可通信地连接至基于云的存储系统(也未示)的网络接口控制器(network interface controller，nic)替换或由其补充。
121.进一步如图6所描绘，系统600可以包括：用于从摄像机601接收视频源的输入端口603，以及用于将视频输出至显示器615的输出端口611。如上面所解释的，输入端口603和输出端口611可以包括vga端口、hdmi端口、dvi端口等。
122.系统600还包括第一总线605和第二总线613。如图6所示，第一总线605可以通过至少一个处理器607发送通过输入端口603接收的视频。例如，一个或多个处理器607可以实施上述任何对象检测器网络和/或鉴别器网络。因此，一个或多个处理器607可以例如通过使用图7的示例性方法700在经由第一总线602接收的视频上叠加一个或多个指示符，例如图8的示例性图形化指示符。然后，处理器607可以经由第三总线609将叠加的视频发送至输出端口611。
123.在某些情况下，由一个或多个处理器607实施的对象检测器可能发生故障。例如，实施对象检测器的软件可能崩溃或以其他方式停止正常运行。额外地或可替代地，一个或多个处理器607可以(例如，从系统600的操作者)接收停止叠加视频的命令。响应于故障和/或命令，一个或多个处理器607可以启动第二总线613。例如，如图6所描绘的，一个或多个处理器607可以发送命令或其它信号来启动第二总线613。
124.如图6所示出的，第二总线613可以将接收到的视频从输入端口603直接地发送至输出端口611，从而使系统600用作成像设备601的直通(pass
‑
through)。即使由处理器607实施的软件发生故障或者如果硬件叠加600的操作者决定在视频源的中间停止叠加，第二总线613也可以允许来自成像设备601的视频的无缝展现。
125.图7是符合本公开的实施例的用于利用对象检测器网络在视频源上叠加对象指示符的示例性方法700的流程图。可以由一个或多个处理器来执行方法700。在图7的步骤701：至少一个处理器可以提供至少一个图像。例如，可以从数据库提取或者从成像设备接收至少一个图像。在一些实施例中，所述至少一个图像可以包括视频源中的帧。
126.在步骤703：所述至少一个处理器可以叠加边界，所述边界包括围绕被检测为包括
感兴趣特征的图像的区域的二维形状，所述边界被渲染为第一颜色。在步骤705：在经过一段时间之后，如果感兴趣特征是真阳性，则至少一个处理器可以修改边界以呈现第二颜色，如果感兴趣特征是假阳性，则修改边界以呈现第三颜色。所经过的时间段可以表示预设的时间段(例如，帧的阈值数量和/或几秒)和/或可以表示感兴趣特征的检测与将其分类为真阳性或假阳性之间所经过的时间。
127.额外地或可替代地，如果感兴趣特征被分类为第一类别，则至少一个处理器可以将边界修改为第二颜色，并且如果感兴趣特征被分类为第二类别，则至少一个处理器可以将边界修改为第三颜色。例如，如果感兴趣特征是病变，则第一类别可以包括癌性病变，并且第二类别可以包括非癌性病变。
128.符合本公开的示例性方法700可以包括附加步骤。例如，在一些实施例中，方法700可以包括当边界被修改时向一个或多个扬声器发送命令以产生声音，和/或当边界被修改时向至少一个可穿戴设备发送命令以振动。在该实施例中，声音和/或振动的持续时间、音调、频率和幅度中的至少一者可以取决于至少一个所检测到的对象是真阳性还是假阳性。
129.图8a示出了符合本公开的实施例的用于视频中的对象检测的示例性叠加物801。在图8a的示例中以及图8b和图8c的示例中，示出的视频样本800a和800b来自结肠镜检查过程。从本公开将认识到，当实施本公开的实施例时，也可以利用来自其他过程和成像设备的视频。因此，视频样本800a和800b是本公开的非限制性示例。另外，通过示例的方式，图8a至图8c中的视频显示可以呈现在显示设备上，例如呈现在图1的显示器107或图6的显示器615上。
130.叠加物801表示被用作在视频中检测到的异常或感兴趣特征的指示符的图形边界的一个示例。如图8a所示，图像800a和图像800b包括视频的帧，该视频的帧包括检测到的感兴趣特征。图像800b包括图形化叠加物801并且对应于在顺序上比图像800a更靠后的帧或者在时间上比图像800a更晚的帧。
131.如图8a所示，图像800a和图像800b包括来自结肠镜检查的视频帧，并且感兴趣特征包括病变或息肉。在其他实施例中，如上面所述的，可以利用来自其他医疗过程(例如胃镜检查、肠镜检查、上消化道内窥镜检查(例如食道内窥镜检查)等)的图像，并且利用图形化指示符(例如叠加物801)进行叠加。在一些实施例中，在检测到异常和经过一定时间(例如，图像800a和图像800b之间的特定数量的帧和/或几秒)之后可以叠加指示符801。在图8a的示例中，叠加物801包括具有预定图案(即，实心角)的矩形边界形式的指示符。在其他实施例中，叠加物801可以是不同的形状(无论是规则的还是不规则的)。此外，叠加物801可以以预定颜色显示，或者从第一颜色过渡到另一颜色。
132.在图8a的示例中，叠加物801包括具有实线拐角(solid corner angle)的指示符，该指示符围绕视频帧中的感兴趣特征的检测位置。叠加物801出现在视频帧800b中，该视频帧800b可以顺序上在视频帧800a之后。
133.图8b示出了根据本公开的实施例的具有用于视频中的对象检测的叠加物的显示的另一示例。图8b描绘了图像810a(类似于图像800a)以及利用指示符811叠加的后续图像810b(类似于图像800b)。在图8b的示例中，叠加物811包括在所有侧上具有实线的矩形边界。在其他实施例中，叠加物811可以为第一颜色和/或不同形状(无论是规则的还是不规则的)。此外，叠加物811可以以预定颜色显示，或者从第一颜色过渡到另一颜色。如图8b所示，
叠加物811被放置在视频中检测到的异常或感兴趣特征上。叠加物811出现在视频帧810b中，该视频帧810b可以顺序上在视频帧810a之后。
134.图8c示出了根据本公开的实施例的具有用于视频中的对象检测的叠加物的显示的另一示例。图8c描绘了图像820a(类似于图像800a)以及利用指示符821叠加的后续图像820b(类似于图像800b)。在图8c的示例中，叠加物821包括在所有侧上具有虚线的矩形边界。在其他实施例中，指示符821可以是不同的形状(无论是规则的还是不规则的)。此外，叠加物821可以以预定颜色显示，或者从第一颜色过渡到另一颜色。如图8c所示，叠加物821被放置在视频中检测到的异常或感兴趣特征上。叠加物821出现在视频帧820b中，该视频帧820b可以顺序上在视频帧820a之后。
135.在一些实施例中，图形化指示符(即，叠加物801、811或821)可以改变图案和/或颜色。例如，可以响应于时间的流逝(例如，图像800a和图像800b、图像810a和图像810b或图像820a和图像820b之间的特定数量的帧和/或秒)来修改图案的边界的图案和/或颜色。额外地或可替代地，可以响应于感兴趣特征的特定分类(例如，如果感兴趣特征是息肉，则将息肉分类为癌性的或非癌性的等)来修改指示符的图案和/或颜色。此外，指示符的图案和/或颜色可以取决于感兴趣特征的分类。因此，如果感兴趣特征被分类为第一类别，则指示符可以具有第一图案或第一颜色，如果感兴趣特征被分类为第二类别，则指示符可以具有第二图案或第二颜色等。可替代地，指示符的图案和/或颜色可以取决于感兴趣特征是被识别为真阳性还是假阳性。例如，所述感兴趣特征可以由如上所述的对象检测器网络(或鉴别器网络的感知分支)检测，从而产生指示符，但随后由如上所述的对抗分支或网络确定为假阳性，从而产生为第一图案或第一颜色的指示符。相反，如果感兴趣特征由对抗分支或网络确定为真阳性，则指示符可以以第二图案或第二颜色进行显示。
136.出于说明的目的，提供了上述描述。该描述不是穷尽的并且并不限于所公开的精确形式或实施例。通过考虑说明书并且实践所公开的实施例，对于这些实施例的修改和改编将是明了的。例如，所描述的实施方式包括硬件，但是符合本公开的系统和方法也可以利用硬件和软件来实现。另外，虽然某些部件已经被描述为彼此耦合，但是这些部件可以以任何合适的方式彼此集成或分布。
137.此外，虽然在本文已描述了说明性实施例，但是范围包括基于本公开的具有等效元素、修改、省略、(例如，跨越各种实施例的各方面的)组合、改编和/或改变的任何和所有实施例。将基于权利要求中使用的语言广义地解释权利要求中的元素，而并不限于本说明书中或本申请的申请期间描述的示例(这些示例将被解释为非排他性的)。此外，可以以任何方式修改所公开的方法的步骤，包括重新排列步骤和/或插入或删除步骤。
138.根据详细的说明书本公开的特征和优点将明了，因此，所附权利要求书旨在涵盖属于本公开的真正精神和范围的所有系统和方法。如本文所使用的，不定冠词“a”和“an”是指“一个或多个”。类似地，所使用的复数术语的不一定表示多个，除非它在给定上下文中是明确的。除非另有特别指示，“和”或“或”等词表示“和/或”。此外，由于在研究本公开时将容易发生许多修改和变化，因此不希望将本公开限制为所示和所描述的确切结构和操作，并且因此，所有适当的修改和等同方式可被采用，并且落入本公开的范围内。
139.通过考虑说明书并实践本文所公开的实施例，其他实施例将变得明了。本说明书和示例仅旨在视为示例性的，所公开的实施例的真实范围和精神由所附权利要求指示。