图像处理装置、图像处理方法和程序与流程

本发明涉及图像处理装置、图像处理方法和程序。

背景技术：

例如，下面的专利文献1描述了传统技术，其中，假设当从由数码相机等捕获的图像中读取所有字符时，处理时间缩短。此外，下面的非专利文献1描述了通过使用学习来分割显微图像。

引用列表

专利文献

专利文献1：jp2016-053763a

非专利文献

非专利文献1：zhaozhengyin、ryomabise、meichen、takeokanade的“cellsegmentationinmicroscopyimageryusingabagoflocalbayesianclassifiers”，荷兰鹿特丹，2010年4月14-17日，ieeepresspiscataway,nj,usac2010<url:https://dl.acm.org/citation.cfm？id＝1855995>。

技术实现要素：

技术问题

利用上述专利文献1中公开的技术，执行该处理，以缩小搜索范围，从而缩短处理时间。具体地，根据专利文献1中公开的技术，输入图像没有被完全搜索，并且感兴趣区域被设置为使得搜索分两步执行。该方法的问题在于，由于逐步搜索，导致处理复杂。

此外，在医学和生命科学领域，最近对多种细胞和身体组织的运动或状态的变化进行了观察。为了实现对它们的客观评估，已经开发了用于相对于活体组织区分事件的技术。具体地，当活体组织快速移动时，需要实时高速读取图像。利用上述专利文献中描述的技术，逐步搜索使得难以实时读取快速运动的活体组织等的图像。

因此，需要减少处理时间，而不在图像读取期间执行复杂的处理。

问题的解决方案

根据本公开，提供了一种图像处理装置，包括：划分单元，其将用于检测图像的特征值的检测区域划分成多个区域；抽取处理单元，其对每个区域的像素值执行抽取处理；以及直方图计算单元，其对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图。

此外，根据本公开，提供了一种图像处理方法，包括：将用于检测图像的特征值的检测区域划分成多个区域；对每个区域的像素值执行抽取处理；并且对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图。

此外，根据本公开，提供了一种程序，使计算机用作：将用于检测图像的特征值的检测区域划分成多个区域的装置；对每个区域的像素值执行抽取处理的装置；以及对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图的装置。

发明的有益效果

如上所述，根据本公开，可以在图像读取期间，在无需执行复杂的处理的情况下缩短处理时间。

此外，对上述优点没有具体的限制，并且除了上述优点或者代替上述优点，可以产生说明书中描述的任何优点或者可以从说明书中认识到的其他优点。

附图说明

图1是示出根据本公开的实施方式的系统的配置的概述的示图；

图2是示出学习单元的配置示例的示意图；

图3是示出检测单元的配置示例的示意图；

图4是示出从图像检测图像特征的方式的示意图；

图5是示出用于划分窗口的方法的示意图；

图6是示出4×4像素窗口的像素抽取图案的示意图；

图7是示出根据本实施方式的系统的处理的流程图；

图8是示出用于实时对象检测的应用示例的示意图。

具体实施方式

下面参考附图详细描述本公开的优选实施方式。在说明书和附图中，具有基本相同功能配置的组件用相同的附图标记表示，并且省略重复的描述。

按以下顺序给出描述。

1.系统配置示例

2.由检测单元执行的处理

2.1.概述

2.2.具体处理内容

3.在本实施方式中执行的处理流程

4.适于应用的示例

1.系统配置示例

图1是示出根据本公开的实施方式的系统1的配置的概述的示图。如图1所示，系统1包括成像装置10、信息处理设备20和显示装置30。成像装置10、信息处理设备20和显示装置30经由各种有线或无线网络彼此连接。

成像装置10是执行成像以生成图像(静止图像或运动图像)的装置。根据本实施方式的成像装置10通过使用例如数码相机来实现。或者，成像装置10可以通过使用具有成像功能的任何装置来实现，例如，智能手机、平板电脑或可穿戴装置。

如图1所示，根据本实施方式的成像装置10设置在培养箱(incubator)i1内，并且在培养皿(dish)d1内的观察目标m1(细胞或身体组织)上方。此外，成像装置10以预定的帧速率捕获观察目标m1，以生成图像。

此外，成像装置10可以设置在培养箱i1内，或者可以设置在培养箱i1外。此外，成像装置10还适用于捕获未容纳在培养箱i1中的观察目标m1。此外，成像装置10可以与培养箱i1一体地提供。

更具体地，如图1所示，根据本实施方式的成像装置10包括成像单元101和成像控制单元102。

成像单元101包括各种构件，例如，成像元件，例如，ccd(电荷耦合器件)或cmos(互补金属氧化物半导体)、控制物体图像在成像元件上的聚焦的透镜、或者用光照射对象的光，通过该光捕获实际空间。

为了适当地确定观察目标m1的移动，根据本实施方式的成像单元101捕获包括观察目标m1的特定成像区域。此外，成像单元101可以直接捕获观察目标m1(不使用不同构件，例如，透镜)，或者可以经由不同构件(例如，包括物镜的显微镜)捕获观察目标m1。在这种情况下，为了捕获亚微米量级的观察目标m1的移动，优选地物镜的放大率大约为40倍至60倍。虽然帧速率没有具体限制，但是优选地根据观察目标的变化程度来设置，并且具体地，优选地将其设置为可以捕获亚秒量级的观察目标m1的移动的帧速率。

成像处理期间由成像单元101生成的信号输出到成像控制单元102。

成像控制单元102包括通过使用cpu(中央处理单元)、rom(只读存储器)、ram(随机存取存储器)等实现的处理电路、以及控制成像单元101的整体操作的通信装置。例如，成像控制单元102控制成像单元101的成像处理，并基于在成像处理期间获得的信号生成捕获图像。

例如，成像控制单元102可以控制由成像单元101执行成像处理的时间。更具体地，成像控制单元102可以控制成像单元101在预定时间段期间连续捕获图像，以便生成运动图像。此外，成像控制单元102可以控制成像单元101，以便以预定间隔间歇地执行成像处理(所谓的延时成像)。此外，例如，为了捕获多个胚胎，成像控制单元102可以直接或间接地控制培养箱i1，以便根据作为要捕获的目标的观察目标m1的成像时间来移动成像装置10或培养皿。

此外，成像控制单元102可以控制成像单元101中包括的光源的波长、照射强度或照射时间。例如，成像控制单元102可以控制成像单元101的光源，以便仅在成像单元101执行成像处理的时间段内，用具有适当波长和最小照射强度的光照射观察目标m1。

成像控制单元102将生成的图像等输出到信息处理设备20。

信息处理设备20是具有使用学习功能的图像分析功能的设备。信息处理设备20通过使用具有图像分析功能的任何装置来实现，例如，pc(个人计算机)、平板电脑或智能手机。信息处理设备20包括诸如cpu(中央处理单元)的处理电路、和包括使能无线或有线通信的硬件的通信装置。例如，在根据本实施方式的信息处理设备20中，通信装置从成像装置10获取图像(例如，延时图像或运动图像)。然后，获取由处理电路获取的关于每个静止图像或运动图像的信息，并且使用每组信息来确定观察目标m1的事件。由信息处理设备20的处理电路执行的每个处理输出到设置在信息处理设备20内部或外部的存储装置、显示装置等。此外，信息处理设备20可以通过使用网络上的一个或多个信息处理设备来实现。稍后描述用于执行信息处理设备20的每个功能的功能配置。

此外，根据本实施方式，系统1包括成像装置10、信息处理设备20和显示装置30；然而，本技术并不限于这个示例。例如，成像装置10可以执行关于信息处理设备20的处理(例如，动态分析处理、特征值提取处理、每个估计处理或确定处理)。在这种情况下，通过使用具有动态分析功能等的成像装置来实现系统1。

信息处理设备20可以包括学习单元200和检测单元300的功能。图2是示出学习单元200的配置示例的示意图。学习单元200接收与观察目标m1相同的图像的输入，执行聚类，并生成辨别器(discriminator，识别器)。学习单元200包括：滤波处理单元202，对输入图像执行滤波处理；采样单元204，对已经经过滤波处理的输入图像进行采样；多窗口直方图计算单元206，计算多窗口直方图；相似矩阵计算单元208；聚类单元210；以及学习系数导出单元(辨别器生成单元)212。

作为根据本实施方式的目标的观察目标m1的示例包括快速移动的细胞(例如，精子)。当这样的细胞被成像装置10捕获并呈现在显示装置30上时，期望从背景图像中高速检测细胞区域的图像并实时显示运动。然而，如果细胞区域的检测是耗时的，则禁用实时显示，并且难以充分观察细胞，包括其运动。因此，根据本实施方式，检测算法的高处理负荷部分减少，使得能够进行高速检测，并且可以进行实时细胞观察。

此外，关于学习侧，基本上，可以使用上述非专利文献1中公开的现有算法。尽管不需要由与检测侧的高速处理相关联的学习单元200再学习，但是与检测侧类似的多窗口直方图的计算在学习时被结合。在学习单元200的学习期间，在滤波处理单元202对学习图像执行滤波处理之后，采样单元204基于正确数据对正确窗口和不正确窗口进行采样，然后多窗口直方图计算单元206计算关于正确窗口的多窗口直方图。在此处，对所有像素计算直方图。在直方图的计算完成之后，相似矩阵计算单元208计算相似矩阵，聚类单元210执行聚类，并且在导出学习系数之后，辨别器生成单元212生成辨别器。

此外，图3是示出检测单元300的配置示例的示意图。检测单元300包括滤波处理单元302、采样单元304、多窗口直方图计算单元310和辨别处理单元(discriminationprocessingunit，识别处理单元)320。多窗口直方图计算单元310包括窗口划分单元312、子窗口抽取处理单元(sub-windowdecimationprocessingunit)314和直方图计算内插处理单元316。此外，图2和图3中示出的学习单元200和检测单元300的配置，可以通过使用电路(硬件)或处理器(例如，cpu)和用于使其运行的程序(软件)来配置。

尽管检测单元300的基本流程与学习单元200的基本流程相同，但是学习单元200和检测单元300在多窗口直方图计算部分不同。如图3所示，在多窗口直方图计算单元310中，在由窗口划分单元312进行窗口划分之后，执行由子窗口抽取处理单元314进行的子窗口抽取处理、和由直方图计算内插处理单元316进行的直方图内插处理。在多窗口直方图计算单元310中，直方图计算内插处理单元316对像素值进行内插，以计算直方图。多窗口直方图计算单元310的处理是不同于学习单元200的部分，并且该处理减少了负荷。下面详细描述由检测单元300执行的处理。

2.由检测单元执行的处理

2.1.概述

根据本实施方式，为了减少局部特征值计算期间的计算负荷，将窗口中的局部特征值计算期间的图像中的窗口划分、和直方图计算期间的像素抽取处理相结合，以便减少计算负荷。窗口可以被设置为任何大小，并且窗口可以进一步划分成区域。此外，对于每个划分的区域，像素抽取率也可以改变。为窗口的每个区域计算直方图，并将直方图应用于判别函数。此外，本实施方式的特征在于，在学习期间不执行抽取，而是在检测期间执行抽取，并且对与抽取的像素对应的像素的值进行内插，由此在保持检测精度的同时减少了计算负荷。

局部特征值是图像表达技术，并且通过使用特征值来执行模式识别。为了找到或辨别包含在图像中的对象，需要提取对应于该对象的特征。用于表示特征值的一种计算算法是生成局部直方图。作为局部直方图，例如，可以使用诸如hog(梯度方向直方图)的直方图。

为了计算局部特征值，执行将图像划分成格(cell，室)或将图像划分成块的处理。此外，为了使用机器学习生成辨别器，计算图像中窗口区域的直方图，并且使用诸如svm(支持向量机)的辨别函数。

对象识别或区域检测的大部分处理负荷是计算局部特征值。由于gpu和分布式处理技术的发展，在性能方面有了比以往更多的发展。此外，预计在移动装置(例如，智能手机)中，在未来将越来越多地使用的实时处理和对声音等的其他识别处理的组合。因此，期望尽可能减少计算局部特征值的负荷。减少处理负荷的一个示例是改变特征值的计算算法；然而，需要再学习处理来改变算法。因此，本实施方式使用用于减少处理计算量而不进行再学习的方法。

2.2.具体处理内容

图4是示出从图像10获取表示图像特征的直方图500的方式的示意图。根据本实施方式，准备用于检测图像10的特征的窗口400，并且将窗口400中的特征转换成直方图500。在直方图500中，纵轴表示频率，横轴表示例如亮度值。针对每个窗口获得直方图500，从而可以针对每个窗口400检测图像特征。

为了确定图像特征，将通过学习而已经获得的每个图像特征的直方图与从图像10的窗口400获得的直方图500进行比较。

可以根据应用灵活地确定直方图500的检测单位。例如，在对象检测应用的情况下，图像被分成等间距的格，并且计算格(＝窗口)的直方图500。在分割应用的情况下，尽管计算负荷相应地增加，但是从一个像素到几个像素地提取窗口400的直方图500，从而可以检测每个区域的图像特征。

根据本实施方式，窗口划分单元312划分窗口400，并且子窗口抽取处理单元314执行像素抽取，由此降低了图像特征检测期间的计算成本。具体地，本实施方式在用于确定在窗口400的中心是否存在对象的区域检测处理中是最有效的。

图5是示出用于划分窗口400的方法的示意图。在图2的示例中，窗口400被分成3个区域，即子窗口402、子窗口404和子窗口406。子窗口402是窗口400的最外侧区域，子窗口406是靠近窗口400中心的区域，子窗口404是子窗口402与子窗口406之间的中间区域。此外，期望用于划分窗口400的方法与用于学习的方法一致。即，学习单元200的多窗口直方图计算单元206基于与检测单元300的多窗口计算单元310相同的窗口划分来计算直方图。此外，在学习侧，通过使用所有像素来计算直方图，而不执行像素抽取。因此，不需要在学习侧进行再学习。

关于每个窗口400，确定是否存在诸如细胞的对象，并且在显示装置30上呈现该对象。因此，可以在显示装置30的屏幕上观察到诸如细胞的对象。例如，当确定窗口400的中心像素是否是诸如细胞的对象时，用于确定对象存在概率的最重要的窗口是位于窗口400中心的子窗口406。

子窗口抽取处理单元314对已经被划分出的子窗口402、子窗口404和子窗口406中的每一个执行抽取处理。图6是示出4×4像素的窗口的像素抽取图案的示意图。图6所示的像素抽取图案600示出了之字形抽取图案的情况，并且没有点的白色像素被抽取。抽取的像素没有反映在直方图500中。在诸如像素抽取图案600的之字形抽取图案的情况下，直方图500的频率是没有抽取的情况下的1/2。

此外，图6所示的像素抽取图案610示出了像素被抽取为1/4的情况。抽取处理可以减少生成直方图500时的计算负荷，并进一步提高直方图计算的速度。

在诸如像素抽取图案600的之字形抽取图案的情况下，直方图500的频率是没有抽取的情况下的1/2。因此，频率被加倍以对直方图500的值进行内插。此外，当如像素抽取图案610中所示像素抽取为1/4时，对直方图500的值进行内插，使得频率为4倍。因此，对抽取的像素的像素值进行内插，以便与学习期间使用的像素上的数据集的数量一致。该内插处理消除了学习单元200再学习的需要。

内插处理的方法没有具体限制；例如，在像素抽取图案600是图6所示的之字形抽取图案的情况下，抽取的像素602的像素值用没有被抽取的紧邻的左像素604的像素值进行内插。此外，在像素抽取图案610的情况下，抽取的像素612的像素值用没有被抽取的4个相邻像素614的像素值的平均值进行内插。此外，期望用于内插的像素是位于待内插像素的中心近距离的位置处的像素；然而，当存在细微的差异，只要像素位于附近，就没有具体的限制。由直方图计算内插处理单元316执行该内插处理。

根据本实施方式，窗口400的划分和像素抽取的组合实现了进一步的加速处理。如上所述，当确定窗口400的中心像素是否是诸如细胞的对象时，用于确定对象的存在概率的最重要的窗口是位于窗口400中心的子窗口406。因此，由于外窗口对于窗口中心处的对象的存在概率具有较低的贡献率，所以划分的窗口中的外窗口对于像素抽取具有较高的抽取率。这使得可以大大减少生成直方图500时的处理负荷，并执行加速处理。

在获取直方图500之后，可以基于直方图500的形状来辨别窗口中的图像。检测单元300的辨别处理单元320使用由学习单元200的辨别器生成单元212生成的辨别器，来辨别窗口中的区域的图像。辨别器具有根据学习图像的直方图而聚类的图像阵列的数据库。因此，直方图500应用于辨别器，使得可以辨别窗口中的区域的图像。因此，可以辨别窗口中的区域是例如细胞、活体组织还是背景。

3.在本实施方式中执行的处理流程

图7是示出根据本实施方式的系统1的处理的流程图。首先，在步骤s10，为输入图像设置窗口400和子窗口402、404和406。在此处，窗口400被窗口划分单元312划分成子窗口402、404和406，并且提取所获得的子窗口402、404和406。此外，作为输入图像，可以使用滤波处理单元302已经应用滤波处理(边缘检测、圆检测等)的图像。

在随后的步骤s12，设置像素抽取图案。在此处，为每个子窗口402、404和406设置像素抽取图案。如上所述，设置像素抽取图案，使得窗口400的外侧对于像素抽取具有更高的抽取率。

在随后的步骤s14，基于从子窗口402、404和406中的每一个获得的信息，生成图4中所示的直方图500。抽取图案被应用于每个设置的子窗口，并且为每个子窗口生成直方图500。

在随后的步骤s16，校正直方图500。在此处，对子窗口402、404和406中的每一个执行上述内插处理，并且通过使用获得的像素值来校正直方图500。通过使用与根据抽取图案待内插的像素数量对应的相邻像素的数据，来执行内插。可以同时进行步骤s14和步骤s16的操作。

在随后的步骤s18，辨别该区域的图像。在此处，使用由学习单元200生成的辨别器，并且辨别处理单元320将辨别器应用于直方图500，以辨别窗口400中的区域的图像。因此，做出关于图像特征的确定，包括确定窗口400中的图像是对象还是背景。

4.适于应用的示例

预期是针对需要实时执行捕获和分析的细胞，未来越来越需要根据细胞的运动幅度来改变捕获速度。在此处，捕获速度是获取对象的图像的时间间隔，以及较短的间隔导致较高的捕获速度。为了在捕获速度增加的情况下进行实时检测，期望检测处理的速度增加。

图8是示出用于实时对象检测的应用示例的示意图。图8示出了在显示装置30的显示屏32上显示观察目标m1的状态。例如，图8示出了通过使用触摸面板来配置显示装置30的示例，并且可以通过滑动操作按钮34来改变捕获速度。

当观察目标m1是移动的细胞时，检测单元300的辨别处理单元320执行处理，以辨别存在于每个窗口400中的对象是细胞还是背景。因此，如图8所示，作为观察目标m1的细胞的轮廓被实时检测。

在实时对象检测的情况下，可以基于捕获速度和屏幕尺寸来预测处理负荷。为此，辨别处理单元320检测是细胞还是背景的检测速度根据捕获速度而改变。例如，随着捕获速度变得更快，根据捕获速度，检测速度可以改变为2倍、4倍等。检测速度可以根据抽取量来确定，并且子窗口抽取处理单元314的抽取量越大，检测速度可能越快。根据检测速度，子窗口抽取处理单元314随着检测速度变得更快而增大抽取量。此外，检测速度越慢，抽取量越小；因此，可以增强图像的图像质量。因此，可以根据强调检测速度或强调图像质量的辨别模式，由子窗口抽取处理单元314最佳地调整抽取量。

当实时显示对象时，存在一种基于对象形状的特征来跟踪和显示对象的方法。然而，在使用跟踪的技术中，当诸如细胞的对象的形状改变时，跟踪本身是困难的，并且对动态移动对象的区域的实时检测是不可行的。因此，为了特别检测具有可变区域的对象，期望使用如在本实施方式中通过学习获得的辨别器。如果每当捕获速度增加时都执行对象检测，则处理负荷增加；然而，如果通过使用根据本实施方式的技术来减少处理负荷，则具有高实时性能的对象检测是可行的。因此，本实施方式在移动的并且在尺寸或运动改变的对象(例如，诸如精子的细胞)被实时检测、在屏幕上显示和观察的情况下是有利的。

如上所述，根据本实施方式，在划分窗口400并且对子窗口402、404和406中的每一个抽取像素值时，可以减少在生成直方图500时的处理负荷，并且可以实现特征值检测速度的进一步提高。在这种情况下，由于输入图像本身没有减小，所以与执行减小处理的检测器相比，可以获得具有更高精度的图像。此外，即使当帧速率改变时，也可以在不减小捕获尺寸的情况下执行处理。

虽然上面参考附图详细描述了本公开的优选实施方式，但是本公开的技术范围不限于上述示例。对于本公开领域的技术人员来说，显然可以在权利要求中描述的技术思想的范围内进行各种修改和变化，并且应当理解，这些修改和变化自然属于本公开的技术范围。

此外，本说明书中描述的优点仅仅是为了描述或说明的目的，而非限制。即，除了上述优点之外或者代替上述优点，根据本公开的技术可以具有本领域技术人员从该说明书中显而易见的其他优点。

此外，以下配置也属于本公开的技术范围。

(1)一种图像处理装置，包括：

划分单元，其将用于检测图像的特征值的检测区域划分成多个区域；

抽取处理单元，其对每个区域的像素值执行抽取处理；以及

直方图计算单元，其对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图。

(2)根据(1)的图像处理装置，其中，抽取处理单元执行抽取处理，使得检测区域的外部区域对于抽取处理具有更大的抽取量。

(3)根据(1)或(2)的图像处理装置，其中，划分单元将检测区域划分为相对于检测区域的中心同心的区域。

(4)根据(3)的图像处理装置，其中，抽取处理单元执行抽取处理，使得相对于同心区域，外部同心区域对于抽取处理具有更大的抽取量。

(5)根据(1)至(4)中任一项的图像处理装置，其中，直方图计算单元用与经过抽取处理的像素相邻的像素的像素值，来对经过抽取处理的像素值进行内插。

(6)根据(1)至(5)中任一项的图像处理装置，还包括辨别处理单元，基于直方图辨别检测区域的图像的特征。

(7)根据(6)的图像处理装置，其中，辨别处理单元基于已经对通过学习获得的图像特征进行分类的辨别器，来辨别检测区域的图像。

(8)根据(7)的图像处理装置，其中，划分单元根据用于在学习期间计算学习图像的像素值的直方图的区域划分，来执行区域划分。

(9)根据(6)的图像处理装置，其中，抽取处理单元根据用于辨别图像特征的辨别模式，来改变用于抽取处理的抽取量。

(10)一种图像处理方法，包括：

将用于检测图像的特征值的检测区域划分成多个区域；

对每个区域的像素值执行抽取处理；并且

对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图。

(11)一种程序，使计算机用作：

将用于检测图像的特征值的检测区域划分成多个区域的装置；

对每个区域的像素值执行抽取处理的装置；以及

对经过抽取处理的像素值进行内插，以计算区域的像素值的直方图的装置。

附图标记列表

300检测单元

312窗口划分单元

314子窗口抽取处理单元

316直方图计算内插处理单元。