图像注释系统和方法与流程

本发明涉及一种用于注释样本的显微图像的图像注释系统。本发明进一步涉及一种基于用户输入确定样本的显微图像中至少一个图像区域的方法。

背景技术：

1、为了处理由显微镜收集的大量图像，使用了机器学习算法。经过适当的训练，这些机器学习算法可以自主地对显微图像内的对象进行分类，即识别和标记。一组被称为训练数据集的带注释的图像用于训练。此训练数据集提供了机器学习算法应该重现的内容的示例。根据任务的不同，示例包括单个像素和/或需要由机器学习算法分类的完整对象的轮廓。完整对象的轮廓允许机器学习算法理解更大的上下文。例如，如果要分类的对象是只有明亮边缘的圆形对象，那么很难正确识别对象中间的暗淡信号。此外，勾勒出整个对象可以让机器学习算法理解圆和内/外的概念，因此它有机会正确地对整个对象进行分类。

2、训练数据集中的示例需要由用户提供。为了高效地生成训练数据集，用户需要图像注释系统。例如，可以使用可视界面，其允许用户通过图像处理工具标记显微图像中的单个像素。特别是，允许用户在显微图像上绘制标签的可视界面。

技术实现思路

1、因此，目的是提供一种允许用户以快速和简单的方式注释显微图像的图像注释系统和方法。

2、所提议的用于注释样本的显微图像的图像注释系统包括被配置为显示样本的图像的输出单元和被配置为捕获包括显示的图像上的游标的第一移动的第一用户输入序列和包括显示的图像上的游标的第二移动的至少一个第二用户输入序列的输入单元，第一移动限定第一闭合路径，第二移动限定第二闭合路径。图像注释系统进一步包括处理器。处理器被配置为确定与由第一闭合路径包围的显示的图像的区域相对应的样本的图像的第一图像区域，基于至少一个接近条件确定第二路径是否包括第二路径接近第一图像区域的边界的至少一个接近部分，并且当第二路径不包括接近部分时，确定与由第二闭合路径包围的显示的图像的区域相对应的样本的图像的第二图像区域，并且当第二路径包括接近部分时，确定与由第二闭合路径包围的显示的图像的区域对应的和与第一图像区域的边界和至少一个接近部分之间的显示的图像的至少一个区域对应的第二图像区域。

3、通过将第一和第二图像区域分配给显微图像的不同区域，对显微图像进行注释。每个图像区域可以对应于样本的不同对象或区域。第一图像区域是通过限定第一闭合路径来生成的，即通过在显示的图像上围绕用户想要限定为第一图像区域的显示的图像的区域移动游标。第二图像区域也是通过在显示的图像上围绕用户想要限定为第二图像区域的区域移动游标，即通过绘制第二闭合路径，来限定的。然而，当第二闭合路径包括与第一图像区域的边界接近的部分，在此定义为接近部分时，图像注释系统自动将位于第一图像区域与第二路径的接近部分之间的显微图像的区域添加到第二图像区域。因此，当限定相互边界的图像区域时，用户不需要非常精确，例如，当限定图像区域以注释样本中相互接触的不同对象或区域时。换句话说：通过允许用户粗略地限定第二图像区域并填充空白，图像注释系统支持用户，从而使他们能够更快速有效地工作。因此，图像注释系统为用户提供了一种快速且易于使用的智能工具，用于注释显微图像，例如以便为机器学习算法生成训练数据集。

4、在优选实施例中，处理器被配置为通过执行以下步骤来确定第二路径是否包括至少一个接近部分：对于第二闭合路径上的每个图像点，确定第二闭合路径上的图像点与最接近第二闭合路径上的图像点的第一图像区域的边界上的图像点之间的距离；将每个距离与阈值进行比较；当至少预定数量的距离小于阈值时，确定第二路径包括至少一个接近部分。处理器进一步被配置为基于距离小于阈值的图像点确定至少一个接近部分。优选地，阈值是基于用户输入和/或显示的图像的缩放级别确定的。特别是，如果缩放级别高，即如果显示的图像被放大，阈值则低。这允许用户放大显示的图像，以便更精确地限定第二图像区域。可替代地，或者另外，处理器可以被配置为基于显微图像的图像内容确定阈值。

5、在另一个优选实施例中，处理器被配置为重新确定第二图像区域以排除显示的图像中第一和第二图像区域重叠的区域。在本实施例中，用户在绘制第二闭合路径时可以在第一图像区域上绘制。图像注释系统自动仅将显示的图像中尚未限定为图像区域的部分添加到第二图像区域。这使得用户可以更快地工作。

6、在另一个优选实施例中，第一和第二用户输入序列包括按钮按下和按钮释放，并且第一或第二闭合路径的部分分别由游标在按钮按下和按钮释放之间的移动限定。使用按钮按下/释放来确定第一和第二移动的开始和结束是非常直观的。这允许用户非常快地选择第一和第二图像区域，允许高吞吐量。

7、在另一个优选实施例中，第一和第二用户输入序列包括显示的图像的至少两个图像点的选择，并且第一或第二闭合路径的部分分别由所选择的两个图像点之间的线限定。在本实施例中，用户可以通过选择两个图像点来限定一条直线。这进一步加快了注释过程，从而使用户能够更有效地工作。

8、在另一个优选实施例中，处理器被配置为生成包括图像点的对象图，每个图像点对应于样本的图像的图像点。对象图的每个图像点编码样本的图像的对应图像点所属图像区域的信息。对象图与显微图像不同，并可以用于为机器学习算法生成训练数据集。

9、在另一个优选实施例中，输入单元为计算机鼠标。在本实施例中，处理器被配置为基于计算机鼠标的移动确定游标的第一和第二移动。可替代地，也可以使用其他输入单元，诸如操纵杆或轨道球。特别地，图像注释系统被设置使得可以使用许多不同的输入设备。因此，用户可以选择他们最舒适的输入设备，以确保直观和快速地使用图像注释系统。

10、在另一个优选实施例中，图像注释系统包括构成输出单元和/或输入单元的触摸屏。优选地，处理器被配置为通过确定对象正在触摸触摸屏来确定第一和第二移动的开始，并且通过确定对象不再触摸触摸屏来确定第一和第二移动的结束。处理器被配置为基于对象在触摸屏上的移动来确定游标的第一和第二移动。对象可以是用户的手指、钢笔或触控笔。使用触摸屏，特别是与钢笔或触控笔结合使用，非常直观，因为它模仿了笔和纸的使用。这允许用户快速注释显微图像。

11、在另一个优选实施例中，图像注释系统包括虚拟现实和/或增强现实接口，其被配置为提供输入单元和/或输出单元。虚拟现实和增强现实提供了一种与图像注释系统交互的直观方式。

12、在另一个优选实施例中，处理器被配置为在第二输入序列的输入期间确定第二路径是否包括至少一个接近部分。在本实施例中，图像注释系统可以向用户提供关于第二路径是否包括接近部分的即时反馈。这使用户能够更好地控制第二图像区域的限定，从而使图像注释系统更易于使用。

13、在另一个优选实施例中，输出单元被配置为显示第一和第二图像区域。因此，图像注释系统向用户提供关于分别限定第一和第二图像区域的第一和第二用户输入序列的反馈。这进一步增加了易用性。

14、本发明还涉及一种显微镜系统，包括被配置为捕获样本的图像的光学检测系统和如上所述的图像注释系统。

15、本发明还涉及一种基于用户输入确定样本的显微图像中至少两个图像区域的方法。方法包括以下步骤：显示样本的图像；捕获包括游标在显示的图像上的第一移动的第一用户输入序列，第一移动限定第一闭合路径；捕获包括游标在显示的图像上的第二移动的至少一个第二用户输入序列，第二移动限定第二闭合路径；确定与由第一闭合路径所包围的显示的图像的区域相对应的样本的图像的第一图像区域；当第二路径不包括接近部分时，确定与由第二闭合路径所包围的显示的图像的区域相对应的样本的图像的第二图像区域；当第二路径包括接近部分时，确定与由第二闭合路径包围的显示的图像的区域对应的和与第一图像区域的边界和至少一个接近部分之间的显示的图像的至少一个区域对应的第二图像区域。

16、方法具有与上述图像注释系统相同的优点。特别地，可以使用针对图像注释系统的从属权利要求的特征来补充方法。

17、本发明进一步涉及一种计算机程序，其具有当计算机程序在处理器上运行时执行上述方法的程序代码。处理器可以包括cpu(中央处理单元)、gpu(图形处理单元)、fpga(现场可编程门阵列)、asic(专用集成电路)和dsp(数字信号处理器)中的至少一个。

18、上面主要是与机器学习相结合描述图像注释系统。然而，图像注释系统的使用不限于生成可用于与机器学习算法一起使用的训练图像数据的图像数据。例如，图像注释系统可用于为人类观察者评论或突出显示显微图像的某些特征。