测量装置和成像控制方法与流程

1.本技术涉及测量装置和测量装置的成像控制方法的技术领域，该测量装置和成像控制方法用于例如基于所捕获的图像来测量包含在流体中的目标对象，诸如包含在水中的浮游生物。


背景技术：

2.常规地，在水中的微生物测量中，采用了检查陆地上的样本的方法，该样本是通过水收集器针对每个水深收集的。因此，花费时间和精力并且缺乏即时性。
3.因此，例如，如以下专利文献1中，存在一种通过将配备有自动识别功能的微生物测量装置安装在自主水下交通工具(auv)或水下无人机上来解决该问题的技术。
4.然而，在专利文献1的方法中，在样本通过流动池之后，无论样本中是否存在微生物，都进行成像和识别。因此，存在需要大的功耗来进行成像的问题。
5.由于探索性船舶的空间和待安装的电池的容量是有限的，测量装置需要尽可能小并且以节能方式操作。
6.下面的专利文献2公开了通过在发射诸如激光等预定光时检测由微生物激发的弱光来检测样本中微生物的存在与否，并且在由微生物的检测触发的定时对样本进行成像。根据专利文献2的方法，不需要始终进行测量用的成像，而不管样本中有无微生物，并且能够实现节能。
7.引用列表
8.专利文献
9.专利文献1：日本专利申请公开号2016-95259
10.专利文献2：us2017-82530a


技术实现要素：

11.本发明要解决的问题
12.但是，在专利文献2的方法中，通过1个(1个像素)使用光电倍增管作为检测微生物有无的光接收传感器，响应于以1个像素检测来自微生物的返回光进行成像。具体地，响应于以单个像素中检测到特定波长的返回光来执行成像。由于成像的开始条件是仅检测特定波长的返回光，因此返回光与微生物以外的物质发生反应的可能性高，难以准确检测微生物的有无。当微生物的有无的检测准确度低时，即使在样本中不存在微生物的情况下也可执行成像，并且难以实现节能。
13.鉴于上述情况，提出了本技术，并且本技术的目的是在测量流体中的目标对象的测量装置(例如，诸如水中的微生物的测量装置)中实现节能。
14.解决问题的方案
15.根据本技术的第一测量装置包括：发光单元，被配置为将光发射至流体；光接收单元，被配置为通过多个像素使用电子雪崩现象对入射光执行光电转换以获得光接收信号；
以及控制单元，被配置为基于光接收信号执行检测流体中的目标对象的处理并且在检测到目标对象的条件下执行目标对象的成像操作。
16.根据上述配置，代替始终进行目标对象的成像，通过基于光接收单元的光接收信号检测目标对象而触发的目标对象的成像，能够基于多个像素的光接收信号来检测目标对象的有无以降低与成像有关的功耗。
17.在根据本技术的上述第一测量装置中，可以设想光接收单元包括spad元件作为光电转换元件。
18.因此，不需要使用诸如光电倍增管的大尺寸且高功耗的光电转换元件作为光接收单元。
19.在上述根据本技术的第一测量装置中，可以设想的是，控制单元基于在光接收单元中的光接收反应部的图像特征来执行检测目标对象的处理。
20.这里所指的“光接收反应部的图像特征”是指包括具有光接收反应的至少一个或多个像素作为光接收反应部的图像的特征，诸如光接收反应部的图像尺寸或位置、接收光的波长或光接收信号的值。
21.在上述根据本技术的第一测量装置中，可以设想，在光接收反应部的图像特征与指定的图像特征不匹配的情况下，控制单元阻止对应于光接收反应部的成像范围的成像。
22.由此，能够防止除具有指定图像特征的对象之外的对象被草率地成像。
23.在上述根据本技术的第一测量装置中，可以设想控制单元检测光接收反应部的像素位置和图像大小作为图像特征。
24.由此，能够对拍摄目标对象的成像元件指定拍摄目标对象的像素范围，即进行成像的像素范围。
25.在上述根据本技术的第一测量装置中，可以设想，控制单元执行控制，使得在对目标对象成像的成像传感器中，仅对其中拍摄目标对象的部分像素范围执行成像操作。
26.因此，与对成像传感器中的整个像素范围执行成像操作的情况相比，可减少与成像相关的功耗。
27.在根据本技术的上述第一测量装置中，可以设想，控制单元针对部分像素范围在捕获图像与模板图像之间执行匹配。
28.通过基于捕获的图像执行匹配，能够适当地识别目标对象的类型。
29.在上述根据本技术的第一测量装置中，可以设想，控制单元针对部分像素范围执行在捕获图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的识别的类别的模板图像执行匹配。
30.通过以这种方式在缩窄类别之后执行图像匹配，可以提高图像匹配处理的效率。
31.在上述根据本技术的第一测量装置中，可以设想，当基于光接收信号检测到目标对象时或之后，控制单元在所述部分像素范围的拍摄图像设定包围框作为围绕所述目标对象的范围，并且在作为预定帧的参考帧中设定作为包括所述包围框且尺寸大于所述包围框的区域的roi，并且在所述参考帧之后的帧中，设定目标对象的包围框并基于前一帧中设定的roi中的包围框来设定roi。
32.由此，即使在目标对象在捕获的图像中移动的情况下，也能够跟踪目标对象。
33.在上述根据本技术的第一测量装置中，可以设想，用作光接收单元的传感器和基
于控制单元的控制对目标对象成像的成像传感器分离。
34.因此，现有的传感器可用作起光接收单元作用的传感器(使用电子雪崩现象执行光电转换的传感器)以及对目标对象进行成像的成像传感器。
35.根据本技术的上述第一测量装置可以被设想为包括单个传感器，该单个传感器具有作为光接收单元的功能和基于控制单元的控制对目标对象成像的功能。
36.在单独提供传感器的情况下，需要提供用于将来自流体的光分配到每个传感器的分光装置。然而，集成传感器消除了设置这种光谱装置的需要。
37.根据本技术的上述第一测量装置可想象为包括流动池，其中，关于内部流路对流体进行采样，其中，在完成成像操作之后，控制单元使与作为样本的流体不同的流体流入流路中以清洗流动池。
38.由此，能够防止诸如被测量目标对象的再次测量等错误测量的发生。
39.在上述根据本技术的第一测量装置中，可以设想，控制单元基于不同流体流入流路之后的光接收信号执行检测目标对象的处理。
40.由此，能够确认清洗后有无残留目标对象。
41.根据本技术的成像控制方法是一种测量装置的成像控制方法，该测量装置至少包括被配置为向流体发射光的发光单元和被配置为通过多个像素使用电子雪崩现象对入射光执行光电转换以获得光接收信号的光接收单元，该成像控制方法包括：执行基于光接收信号检测流体中的目标对象并且在检测到目标对象的条件下执行目标对象的成像操作的处理。
42.根据这种成像控制方法，可以获得与根据本技术的上述第一测量装置的效果类似的效果。
43.根据本技术的第二测量装置包括：发光单元，被配置为将光发射至流体；成像传感器，被配置为通过多个像素对入射光执行光电转换以获得光接收信号；以及控制单元，被配置为基于光接收信号执行检测流体中的目标对象的处理，并且在检测到目标对象的条件下，使成像传感器执行目标对象的成像操作，其中，控制单元执行控制，使得仅对其中捕获目标对象的部分像素范围执行成像操作作为目标对象的成像操作。
44.根据上述配置，不是始终进行目标对象的成像，而是通过基于光接收信号检测目标对象而触发的目标对象的成像，能够降低与成像有关的功耗。此外，与对成像传感器中的整个像素范围执行成像操作的情况相比，可减少与成像相关的功耗。
45.此外，在根据本技术的上述第二测量装置中，控制单元可以针对部分像素范围在捕获图像与模板图像之间执行匹配。
46.通过基于捕获的图像执行匹配，能够适当地识别目标对象的类型。
47.此外，在根据本技术的上述第二测量装置中，控制单元可以针对部分像素范围执行在捕获图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的识别的类别的模板图像执行匹配。
48.通过以这种方式在缩窄类别之后执行图像匹配，可以提高图像匹配处理的效率。
附图说明
49.图1是用于描述作为实施方式的测量装置的装置形式的实例的示图。
50.图2是示出了作为实施方式的测量装置的内部配置实例的框图。
51.图3是示出了在通过后光源照明时的捕获图像的实例的示图。
52.图4为示出在通过前光源照明时的捕获图像的实例的示图。
53.图5是作为实施方式的检测目标对象的处理的说明性示图。
54.图6是示出了由暗电流引起的噪声的实例的示图。
55.图7是在检测目标对象的处理中对抗噪声的对策的视图。
56.图8是示出了定义信息的实例的示图。
57.图9是示出定义信息的另一实例的示图。
58.图10是示出为每个像素设置有不同波长滤波器的spad传感器的实例的示图。
59.图11是为每个波长设置spad传感器的情况的实例的说明图。
60.图12是示意性地示出通过spad传感器的光接收图像的实例的示图。
61.图13是在使用图10的传感器的情况下的检测处理的实例的说明图。
62.图14是在使用图11的传感器的情况下的检测处理的实例的说明图。
63.图15是用于描述实施方式中基于捕获图像确定目标对象的处理的示图。
64.图16是实施方式中跟踪目标对象的说明图。
65.图17是示出实施方式中的从测量开始至测量结束的处理流程的流程图。
66.图18是示出用于实现对目标对象的跟踪的处理过程的流程图。
67.图19是图17中的清洗处理(s117)的流程图。
68.图20是spad传感器和成像传感器形成在不同基板上的实例的说明图。
69.图21是spad传感器和成像传感器形成在共同基板上的实例的说明图。
70.图22是其中在共同半导体芯片中形成作为spad传感器的功能单元和作为成像传感器的功能单元的实例的说明图。
71.图23是示出了与采用图20中示出的配置的情况相对应的省略spad传感器的光路上的反射镜的测量装置的配置实例的示图。
72.图24是具有作为spad传感器的功能和作为成像传感器的功能的单个传感器的实例的说明图。
73.图25是具有作为spad传感器的功能和作为成像传感器的功能的单个传感器的另一实例的说明性示图。
74.图26是示出作为变形例的成像传感器的内部配置实例的框图。
75.图27是示出了作为第一变形例的测量装置的内部配置实例的示图。
76.图28是在第一变形例中测量微塑料的处理的流程图。
77.图29是示出了作为第二变形例的测量装置的内部配置实例的框图。
78.图30是示出第二变形例中的从测量开始到测量结束的处理流程的流程图。
79.图31是示出了作为第三变形例的测量装置的内部配置实例的框图。
80.图32是示出了作为第四变形例的测量装置的内部配置实例的框图。
81.图33是示出捕获图像的实例的视图，其中捕获了浮游动物和浮游植物。
82.图34是说明对于浮游动物计算的roi和对于浮游植物计算的roi的视图。
83.图35是示出了作为第六变形例的测量装置的内部配置实例的框图。
84.图36是示出第六变形例中的从测量开始至测量结束的处理流程的流程图。
具体实施方式
85.在下文中，将按照以下顺序描述实施方式。
86.《1.测量装置的配置》
87.《2.作为实施例的测量方法》
88.《3.处理过程》
89.《4.传感器结构》
90.《5.成像传感器》
91.《6.变形例》
92.[6-1.第一变形例]
[0093]
[6-2.第二变形例]
[0094]
[6-3.第三变形例]
[0095]
[6-4.第四变形例]
[0096]
[6-5.第五变形例]
[0097]
[6-6.第六变形例]
[0098]
《7.实施例的总结》
[0099]
《8.本技术》
[0100]
《1.测量装置的配置》
[0101]
首先，将描述作为根据本技术的实施方式的测量装置1的配置。
[0102]
测量装置1是测量包含在作为样本获取的流体中的目标对象(例如，包含在海水中的微生物)的装置。具体地说，本实施例的测量装置1以海水、湖水等作为样本，测量样本中所含的浮游生物等目标对象。这里的测量是包括对目标对象的数量、类型或特征的识别、或对目标对象的捕获图像的记录或存储中的至少任一者的概念。
[0103]
图1是用于描述测量装置1的装置形式的实例的示图。
[0104]
如图所示，作为测量装置1，例如，可以采用由在海上或在湖面上航行的船舶牵引的牵引类型或者安装在海上或湖面上的安装类型。可替代地，可以采用安装在海中或湖中航行的水下交通工具中的水下交通工具类型作为装置形式。
[0105]
图2是示出测量装置1的内部配置实例的框图。
[0106]
如图所示，测量装置1包括样本容器2、清洗液容器3、样本切换单元4、流动池5、样本排出单元6、前光源7、后光源8、检测光源9、单光子雪崩二极管(spad)传感器10、成像传感器11、半反射镜12、反射镜13、透镜14、透镜15、控制单元16、存储单元17以及通信单元18。
[0107]
样本容器2是储存作为样本的流体(在本实施例中为海水或湖水)的容器，并且储存通过样本入口m1从装置外部获取的样本。
[0108]
清洗液容器3是储存用于清洗流动池5中的流路的清洗液的容器。
[0109]
样本切换单元4在来自样本容器2的样本与来自清洗液容器3的清洗液之间切换流入流动池5中的流路的流体。
[0110]
流动池5用作样本储存单元，并且相对于内部形成的流路对作为样本的流体进行采样。应注意，如下面将描述的，在样本切换单元4被切换至清洗液容器3侧的状态下，清洗液流入流动池5的流路中。
[0111]
样本排出单元6具有用于流体排出的泵，并且当泵被驱动时，通过位于装置外部的
样本排出端口mo排出流动池5的流路中的流体。
[0112]
此处，在本实例中，经由样本切换单元4
→
流动池5从样本容器2至样本排出单元6的流路与经由样本切换单元4
→
流动池5从清洗液容器3至样本排出单元6的流路是一致的，并且通过驱动样本排出单元6的泵执行样本从样本容器2至流动池5的流入和清洗液从清洗液容器3至流动池5的流入。
[0113]
前光源7是用于在通过成像传感器11成像时照亮流动池5中的流体的光源。在此，“前”是指相对于流动池5的位置在成像传感器11侧上的表面。在本实例中，前光源7是环形光源，并且防止与成像传感器11的成像干扰，并且从流动池5的前侧倾斜地照明样本。
[0114]
与前光源7类似，后光源8是用于在通过成像传感器11成像时照亮流动池5中的流体的光源，并且后光源8相对于流动池5位于前光源7的相对侧上。
[0115]
这里，将描述前光源7和后光源8的作用。
[0116]
图3示出了在后光源8进行照明时的捕获图像的实例，并且图4示出了在前光源7进行照明时的捕获图像的实例。
[0117]
后光源8用于明视场成像。成像传感器11接收透过样本的光，这与在一般显微镜中使用的方法类似。由于照明光直接进入透镜15，因此背景变亮。
[0118]
同时，前光源7用于暗视场成像。从样本的倾斜侧施加光，并且目标对象的散射光和反射光被成像传感器11接收。甚至可以以高对比度精细地测量透明物体。在该情况下，由于照明光不直接进入透镜15，因此背景变暗。
[0119]
在图2中，检测光源9向在流动池5中采样的样本发射用于检测目标对象的光。作为检测光源9，例如，使用半导体激光器等。如图所示，从检测光源9发出的光被半反射镜12反射并施加至在流动池5中的流路中采样的流体。
[0120]
spad传感器10用作用于检测流动池5中的流体中的目标对象的传感器。在本实施例的测量装置1中，为了检测微生物或微粒的弱光，使用排列有多个光检测像素的像素阵列。spad被认为是光检测像素的技术之一。在spad中，在施加大于击穿电压的电压的状态下，当一个光子进入高电场的pn结区域时，雪崩倍增发生。此时，通过检测电流瞬时流过的像素的位置和定时，能够指定流动池5中的微生物或颗粒的存在与否、位置、尺寸等。
[0121]
spad传感器10包括使用电子雪崩现象对入射光执行光电转换的spad元件。spad元件中的电子雪崩现象是一种被称为内部光电效应的现象。内部光电效应是当用光照射半导体或绝缘体时物质中的传导电子增加的现象。
[0122]
如已知的，spad元件是具有以光子为单位的光接收分辨率的元件。换言之，该元件能够以光子为单位识别光接收的存在与否。
[0123]
在本示例中的spad传感器10具有其中具有spad元件的多个像素二维排列的配置。
[0124]
从流动池5中的流体中的目标对象发出的光经由半反射镜12、反射镜13和透镜14进入spad传感器10。
[0125]
成像传感器11被配置为例如电荷耦合器件(ccd)型、互补金属氧化物半导体(cmos)型等的成像传感器，并且具有光电转换元件的多个像素二维排列。包括在成像传感器11的每个像素中的光电转换元件不使用电子雪崩现象执行光电转换，并且例如，采用诸如光电二极管的普通成像中使用的光电转换元件。即，光电转换元件是具有比spad元件更低的光接收分辨率的光电转换元件。
[0126]
成像传感器11对流动池5中的流路进行成像(至少包括成像视野中的流路的成像)。来自流动池5的光(图像光)穿过半反射镜12并且经由透镜15进入成像传感器11。
[0127]
控制单元16例如包括具备中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)的微型计算机等，对测量装置1进行整体控制。例如，控制单元16执行样本切换单元4的切换控制、前光源7和后光源8的发光驱动控制、样本排出单元6中的泵的驱动控制、检测光源9的发光驱动控制等。
[0128]
此外，控制单元16执行读取存储在存储单元17中的数据的处理、将数据存储在存储单元17中的处理以及经由通信单元18与外部装置交换各种数据。例如，存储单元17包括非易失性存储器。通信单元18通过有线或无线方式与外部装置执行数据通信。
[0129]
此外，本示例的控制单元16基于spad传感器10的光接收信号执行目标检测处理，基于成像传感器11捕获的图像执行各种类型的图像分析处理等，并且将在下文中再次描述这些处理。
[0130]
《2.作为实施例的测量方法》
[0131]
将描述作为实施例的测量方法。
[0132]
图5是检测样本中的目标对象的处理的说明图。
[0133]
首先，如图5的(a)所示，在作为样本的流体在流动池5中被采样的状态下，使检测光源9发射光以用检测光照射样本。
[0134]
这里，在测量时，作为样本的流体在流动池5的流路中的排出方向(样本排出端口mo的方向)上移动。即，样本排出单元6的泵被驱动，并且流体在排出方向上逐渐移动。
[0135]
如图5的(a)所示，在样本中的目标对象没有出现在视野中的状态下，spad传感器10没有从目标对象接收到返回光。
[0136]
另一方面，当目标对象出现在如图5的(b)所示的视野中时，基于从检测光源9发出的光的来自目标对象的返回光被spad传感器10接收。
[0137]
在此，在目标对象是浮游植物的情况下，返回光通过基于检测光源9的照射光的荧光反应而变为浮游植物激发的光。另外，在目标对象是浮游动物的情况下，返回光是基于检测光源9的照射光在浮游生物中产生的散射光。
[0138]
在本实施方式的测量方法中，在所描述的作为使用检测光照射样本的结果而由spad传感器10接收来自到样本侧的返回光的情况下，执行由成像传感器11进行的成像操作。即，在未接收到返回光的情况下，不进行由成像传感器11进行的成像操作，从而减少与成像相关的功耗。
[0139]
此时，通过使用spad传感器10作为返回光的光接收单元，与采用使用光电倍增管的常规光接收单元的情况相比，可以减小光接收单元的尺寸和功耗。
[0140]
这里，为了适当地确定是否接收到来自目标对象的返回光，应当考虑由暗电流引起的噪声的影响。
[0141]
为了适当地消除噪声的这种影响，在本示例中，基于spad传感器10的光接收信号的对象检测方法采用以下方法。
[0142]
图6示出了由暗电流引起的噪声的实例。
[0143]
如图所示，噪声在一个独立像素中随机产生。
[0144]
因此，在本例中，如图7所示，采用在区域中识别到光接收的情况下将多个相邻像
素的区域确定为来自目标对象的返回光的光接收区域的方法。
[0145]
图7的(a)示出来自浮游植物的返回光的光接收区域(图中的黑像素)的实例，图7的(b)示出来自浮游动物的返回光的光接收区域的实例。
[0146]
如这些附图所示，在识别到来自目标对象的返回光的接收的情况下，执行使用成像传感器11的成像。
[0147]
应注意，在消除噪声的影响时，还可以通过使检测光源9发射脉冲光(闪烁光)并且使spad传感器10的光接收定时与脉冲光同步来采取应对噪声的对策。
[0148]
在此，针对测量装置1预先设置定义待测量的目标对象的信息(以下称为“定义信息i1”)。
[0149]
图8和图9示出了定义信息i1的实例。
[0150]
例如，如图8中所示，定义信息i1可以是包括目标对象的分类颗粒名称、尺寸、波长分量和图像数据的信息。作为分类颗粒名称，例如，在目标对象是浮游生物的情况下，确定特定名称的信息。尺寸信息是表示目标对象的尺寸分类的信息，并且例如是在附图中示出的具有诸如“20μm至40μm”的范围的信息。另外，波长分量信息是定义与检测光源9的照射光对应的返回光的波长分量的信息。图像数据是目标对象的图像数据(图像数据)。作为图像数据，可以使用针对目标对象的个体实际捕获的数据，或者可以使用通过机器学习从多个个体的捕获图像获得的代表性图像数据。
[0151]
此外，定义信息i1可以是仅指定如图9所示的一些特征的信息，而不是指定如图8所示的特定目标对象的信息。
[0152]
图9示出了仅指定待测量的目标对象的尺寸和波长分量的定义信息i1的实例。
[0153]
在测量装置1中，这些定义信息i1存储在例如图2中所示的存储单元17中。
[0154]
为了根据如在图8和图9中示出的定义信息i1检测样本中的目标对象的存在与否，spad传感器10需要能够识别所接收的光的波长。
[0155]
将参考图10和图11描述用于实现这种波长识别功能的spad传感器10的配置。
[0156]
图10是为spad传感器10的每个像素设置不同波长滤波器的示例。
[0157]
在附图中，由“a”表示的像素是设置有具有550nm的波长的波长滤波器的像素(在下文中称为“像素a”)，由“b”表示的像素是设置有具有600nm的波长的波长滤波器的像素(在下文中称为“像素b”)，由“c”表示的像素是设置有具有650nm的波长的波长滤波器的像素(在下文中称为“像素c”)，并且由“d”表示的像素是设置有具有700nm的波长的波长滤波器的像素(在下文中称为“像素d”)。在这种情况下，在spad传感器10中，a像素、b像素、c像素和d像素被布置为在水平方向(行方向)和垂直方向(列方向)的每一个上每隔一个像素存在。
[0158]
利用这种配置，可以指定在哪个像素位置接收具有任何波长的光。
[0159]
图11示出了对应于使用多个spad传感器10的情况的配置示例。
[0160]
如图11的(a)、图11的(b)、图11的(c)和图11的(d)中的每一个所示，使用了仅包括a像素(550nm)的spad传感器10、仅包括b像素(600nm)的spad传感器10、仅包括c像素(650nm)的spad传感器10以及仅包括d像素(700nm)的spad传感器10。在这种情况下，光学系统被配置为分散来自流动池5侧的返回光并且将返回光引导至每个spad传感器10的光接收表面。
[0161]
图12示意性地示出了spad传感器10的光接收图像的示例。在图中，白色模糊和基本上圆形的部分(在所示实例中为三个部分)示意性地表示光接收部分。此外，在附图中，通过两个白色圆圈示出了spad传感器10的光接收表面的尺寸与对象的实际尺寸之间的对应关系。具体地，小白圆表示20μm的尺寸，并且大白圆表示40μm的尺寸。
[0162]
在此，在图12中示出的光接收图像示出了没有波长滤波器的spad传感器10的光接收图像。
[0163]
图13示出了在针对其中a、b、c和d像素如图10所示被混合地布置的spad传感器10的图12的情况中对相同的对象执行光接收操作的情况下的光接收反应像素(在图中以黑色表示)的示例。
[0164]
图13示出了在与图12的情况的相同对象执行光接收操作时与图12的情况类似地在三个点处发生的光接收反应。
[0165]
这里，例如，在图8中所示的定义信息i1被设置为目标对象的定义信息i1的情况下，目标对象的尺寸为20nm到40nm，并且波长分量为650nm
±
10nm。在附图中，在单个b像素和单个d像素中均获得光接收反应，但是这些光接收反应区域与定义信息i1中的波长条件不同并且不满足多个相邻像素的条件，并且因此不被确定为目标对象的光接收区域。
[0166]
同时，在附图中，存在在多个相邻的c像素中获得光接收反应的区域(波长：650nm)。具体地，c像素的光接收反应区域是3
×
3＝9个像素的区域。在此处，为了进行描述，假设3
×
3＝9个像素的区域在实际对象尺寸转换中是具有从20到40μm(包括两个端点)的尺寸的区域。
[0167]
如上所述，在光接收反应区域满足光接收反应区域是多个相邻像素的区域并且满足在定义信息中定义的尺寸和波长分量的条件的情况下，光接收反应区域被确定为目标对象的光接收区域。
[0168]
在使用如以上图11中示出的多个spad传感器10的情况下，可以类似地执行目标对象的光接收区域的这种确定。
[0169]
具体地，在对与图12的情况中相同的对象执行光接收操作的情况下，在每个spad传感器10中获得如图14所示的光接收反应，但是仅b像素的spad传感器10中的光接收反应区域和仅d像素的spad传感器10中的光接收反应区域与定义信息i1中的波长条件不同并且不满足多个相邻像素的条件，并且因此不被确定为目标对象的光接收区域。
[0170]
对于仅具有c像素的spad传感器10中的光接收反应区域，当在附图中示出的2
×
2＝4个像素的区域尺寸是从20μm至40μm(包括两个端点)的尺寸时，在实际对象尺寸转换中，满足定义信息i1中的尺寸和波长的条件，并且还满足多个相邻像素的条件，使得光接收反应区域可以被确定为目标对象的光接收区域。
[0171]
在下文中，根据基于如上所述的定义信息i1的条件确定的目标对象的光接收区域(光接收反应区域)被称为“光接收区域ats”。
[0172]
应注意，图10和图11示出了在spad传感器10的所有像素中提供波长滤波器的示例。然而，可以混合没有波长滤波器的一些像素。
[0173]
在本示例中，基于如上所述的spad传感器10的光接收图像，响应于光接收区域ats的指定，执行成像传感器11的成像操作(即，识别与目标对象的尺寸/波长条件匹配的对象的存在)。
[0174]
此时，在定义信息i1包括如图8所示的目标对象的图像数据的情况下，基于由成像传感器11的捕获图像和图像数据，确定对象是否是目标对象。
[0175]
图15是用于描述基于捕获图像确定目标对象的这种处理的示图。
[0176]
图15的(a)示出了spad传感器10上的光接收区域ats和成像传感器11上的成像区域ati之间的关系。在此，成像区域ati是指能够拍摄与在光接收区域ats中拍摄到的目标对象相同的目标对象的成像传感器11的像素区域。
[0177]
在基于捕获图像的目标对象确定处理中，如图15的(b)所示，将从光接收区域ats指定的成像区域ati的图像与目标图像数据(即，包括在定义信息中的图像数据)进行比较。如果作为图像比较的结果确认了与图像数据的匹配，则获得在成像区域ati中捕获的对象(即，在光接收区域ats中捕获的对象)是目标对象的最终确定结果。
[0178]
在本实例中，对被确定为目标对象的对象执行基于预定的测量设置信息i2的成像操作。
[0179]
测量设置信息i2是定义与目标对象的测量相关的各种条件的信息。具体地说，本示例的测量设置信息i2包含以下各信息。即，包括“测量执行条件”、“样本注入速率”、“成像规则”和“照明设置”。
[0180]“测量执行条件”是定义与测量的执行相关的条件的信息，并且例如是“在每200m深度处测量10分钟”或“在80ms/cm或更大的电导率处测量5分钟”的信息。
[0181]
在此，电导率是矿物在水中的含量程度的指数。电导率可以用于调查矿物质含量与水中居住的微生物之间的关系，并且例如在测量具有大量矿物质的部分中的微生物的情况下，设定如以上实例中的电导率条件。
[0182]
在使用电导率作为测量条件的情况下，将用于检测海水或湖水的电导率的传感器外部附接至测量装置1。外部附接的传感器的检测信息经由图2所示的通信单元18输入至控制单元16。
[0183]“样本注入速率”是定义样本进入流动池5的注入速率的信息，并且例如是诸如“0.5ml/分钟”的信息。
[0184]“成像规则”是定义与使用成像传感器11对目标对象的成像相关的规则的信息，并且例如是诸如“静止图像成像”或“运动图像成像”的信息。此处，移动图像的成像规则还可以是用于指定移动图像成像的结束条件和帧速率的信息，例如，“以20fps执行成像直至目标对象从流动池5流出”。
[0185]“照明设置”是定义在使用成像传感器11对目标对象成像时使用的照明的信息，并且在本实例中是关于上述前光源7和后光源8的定义信息。例如，照明设置是诸如“暗视场成像(前光源7)”和“明视场成像(后光源8)”的信息。注意，前光源7和后光源8均可用于成像时的照明。
[0186]
这样的测量设置信息i2被存储在例如存储单元17中，并且测量装置1根据测量设置信息i2来测量目标对象。
[0187]
在此，测量装置1在spad传感器10基于光接收信号检测目标对象所触发的定时使用成像传感器11执行成像，从而降低与成像相关的功耗。在本示例中，为了进一步降低功耗，仅对成像区域ati进行目标对象的成像操作。
[0188]
具体地，在图15的实例中，关于响应于基于spad传感器10的光接收图像对光接收
区域ats的指定而开始的成像操作，仅使用从光接收区域ats获得的成像区域ati执行成像操作，而不是使用成像传感器11的所有像素执行成像操作。
[0189]
由此，仅对像素范围的必要部分执行用于测量的成像操作，并且可以降低功耗。
[0190]
另外，目标对象的测量是如上所述那样包含指定目标对象的个数、类型、特征的概念，但在按每个类型适当指定(计数)目标对象的数量时，对计数的目标对象和未计数的目标对象的适当管理对于在成像视场中检测目标对象是重要的。
[0191]
因此，在本实例中，跟踪一次识别的目标对象，直到目标对象在成像视场之外，从而避免冗余计数。
[0192]
图16是实施方式中的目标对象的跟踪的说明图。
[0193]
首先，图16的(a)所示的帧f1表示如参考图15的(a)所描述的从光接收区域ats指定成像区域ati的阶段的帧。根据以上说明可知，在帧f1中，仅对成像区域ati进行成像动作。然后，如参考图15的(b)所述，对成像区域ati的图像执行与定义信息i1中的图像数据的图像比较(图像匹配)。
[0194]
在通过该图像匹配识别目标对象的情况下，计算作为包围目标对象的区域的范围的包围框20，如图16的(a)所示。
[0195]
然后，如图16的(b)所示，当计算包围框时，计算基于包围框的关注区域(roi)21。
[0196]
roi 21通过对包围框20的水平和垂直尺寸(x
×
y)进行扩大(ax
×
by)来计算。放大比例a和b可以在垂直方向和水平方向上单独设置，并且放大比可以是固定的或可变的。
[0197]
在图16的(c)中示出的帧f2是帧f1的下一帧。
[0198]
对于帧f2，仅对在作为前一帧的帧f1中计算的roi 21执行成像操作。此时，假定目标对象逐渐向纸面的右方向移动，则帧f2内的目标对象的位置从帧f1内的位置向纸面的右方向移动。此时，roi 21被计算为通过放大包围框20的水平尺寸和垂直尺寸获得的范围，使得可以如图所示在帧f2中的roi 21中捕获目标对象。
[0199]
在帧f2中，例如，通过基于针对在前一帧中计算的roi 21的捕获图像的定义信息i1的图像数据进行图像分析，进行对图像中的目标对象的识别处理，并且计算目标对象的包围框20。
[0200]
然后，在帧f2中，针对新计算的包围框20计算roi 21(图16的(d))。
[0201]
在图16的(e)所示的帧f3中，仅对如上所述在帧f2中计算的roi21进行成像操作。另外，在这种情况下，roi 21是通过扩大包围框20的水平尺寸和垂直尺寸而获得的范围，因此即使在目标对象向某个方向移动的情况下，也能够在roi 21中捕获目标对象。
[0202]
虽然未示出，但是在帧f3中和帧f3之后，通过对在前一帧中计算的roi 21的捕获图像执行图像分析来执行目标对象识别处理，计算所识别的目标对象的包围框20，并基于所计算的包围框20计算roi 21。
[0203]
上述跟踪方法可改述为以下方法。即，设定作为围绕目标对象的范围的包围框20，并且当通过spad传感器10基于光接收信号检测到目标对象时或之后，在作为预定帧的参考帧(在本示例中为帧f1)中设定作为包括包围框20并且大小大于包围框20的区域的roi 21，并且此外，将目标对象的包围框20设定在设置在前一帧中的roi 21中，并且将基于包围框20的roi 21设定在参考帧之后的帧中。
[0204]
通过这种方法，即使在目标对象在捕获图像中移动的情况下，也可以跟踪目标对
象。
[0205]
此时，跟踪目标对象的每一帧中所需的捕获图像仅是roi 21的捕获图像。因此，在本实例中，如上所述，仅对于在前一帧中计算的roi 21在每个帧中执行成像操作。因此，在跟踪目标对象以防止错误计数的情况下，可减少与用于跟踪的成像相关的功耗。
[0206]
注意，在上述说明中，说明了将通过扩大包围框20而得到的矩形区域设定为roi 21的示例。但是，roi 21不限于矩形区域。
[0207]
例如，可以使用语义分段(即，像素级的对象区域检测结果)计算矩形以外的形状的roi 21。
[0208]
这里，在测量装置1中，还执行与使用储存在图2所示的清洗液容器3中的清洗液来清洗流动池5相关的处理，将参照图19的流程图对其进行再次描述。
[0209]
《3.处理过程》
[0210]
接下来，将参照图17至图19的流程图描述用于实现如上述实施方式的测量方法所执行的具体处理过程的实例。
[0211]
图17是示出从测量开始到测量结束的处理流程的流程图。
[0212]
要注意的是，根据在预定的存储装置(例如，内置rom)中存储的程序，由在图2中所示的控制单元16执行在图17至图19中所示的处理。
[0213]
在图17中，在步骤s101中，控制单元16等待测量开始条件的满足。即，控制单元16等待直到满足上述测量设置信息i2中的“测量执行条件”中指定的条件。应注意，在以上描述中，指定深度和电导率的条件的情况已被示例为“测量执行条件”的示例。深度和电导率从外部传感器输入测量装置1。具体地，经由通信单元18输入信息。
[0214]
在满足测量开始条件的情况下，控制单元16进行至步骤s102并且执行样本注入开始处理。即，通过执行控制以将图2中示出的样本切换单元4切换至样本容器2侧并且给出指令以驱动样本排出单元6中的泵，开始将样本注入到流动池5中。此时，根据上述测量设置信息i2中的“样本注入速率”的信息驱动泵。
[0215]
在步骤s102之后的步骤s103中，控制单元16执行开启检测光源9的处理，并且在下一步骤s104中，控制单元16指示spad传感器10接收光。即，使spad传感器10执行用于获得一个光接收图像的光接收操作。然后，在步骤s104之后的步骤s105中，控制单元16进行关闭检测光源9的处理，并且在下一个步骤s106中，控制单元16获取光接收图像。
[0216]
在步骤s106之后的步骤s107中，控制单元16确定是否存在与该条件匹配的光接收区域(即，上述光接收区域ats)。根据以上说明可理解，在本实施例中，不仅满足在相邻的多个像素中能够获得光接收反应区域的条件，而且满足定义信息i1中定义的波长和大小的条件，确定光接收区域ats。
[0217]
在步骤s107中，在确定为不存在匹配条件的光接收区域的情况下，控制单元16返回到步骤s103。因此，重复执行检测光源9的光照射和spad传感器10的光接收操作，直到确定光接收区域ats。
[0218]
在步骤s107中，在确定存在与该条件匹配的光接收区域的情况下，控制单元16进行至步骤s108，并计算成像区域ati。即，基于光接收区域ats计算成像区域ati。
[0219]
然后，在步骤s108之后的步骤s109中，控制单元16使成像元件11进行成像区域ati的部分成像。作为部分成像，即，作为仅针对成像区域ati的成像操作，例如，可以设想以仅
针对作为成像区域ati的部分像素范围执行累积电荷信号的读取的形式来执行成像操作。可替代地，部分成像可以是仅针对一些像素对从每个像素读取的电荷信号执行a/d转换的形式的成像操作。
[0220]
在本实施方式中，针对部分像素范围的成像操作是指针对从开始光接收直到获得数字信号的成像图像信号中至少一些处理，进行限于部分像素范围的处理而不是全部像素范围的处理。
[0221]
应注意，关于步骤s109中的部分成像，可以设想根据上述测量设置信息i2中的“照明设置”的信息控制照明。可选地，可以根据与测量设置信息i2分离的指定信息来进行步骤s109中的部分成像中的照明控制。
[0222]
在步骤s109之后的步骤s110中，控制单元16进行从成像传感器11获取部分捕获图像的处理，并且在下一步骤s111中，控制单元16将部分捕获图像与目标模板图像匹配。即，如上面参照图15的(b)所述，在用于成像区域ati的部分捕获图像与定义信息i1中的图像数据之间进行图像比较，并且执行关于在成像区域ati中捕获的对象是否是定义信息i1中定义的目标对象的确定处理。
[0223]
在步骤s111之后的步骤s112中，控制单元16确定对象是否是目标颗粒。即，根据步骤s111中的匹配处理的结果，确定在成像区域ati中捕获的对象是否是目标对象。
[0224]
在步骤s112中，在确定对象不是目标颗粒(即，不是目标对象)的情况下，控制单元16返回到步骤s103。即，在确定在成像区域ati中捕获的对象不是目标对象的情况下，再次执行spad传感器10的光接收操作。
[0225]
另一方面，在步骤s112中，在确定在成像区域ati中捕获的对象是目标对象的情况下，控制单元16前进到步骤s113并根据在测量设置中指定的成像规则执行成像控制。即，作为成像传感器11的控制，执行根据测量设置信息i2中的“成像规则”的信息的控制。如上所述，作为“成像规则”的信息，例如，可设置诸如“静止图像成像”或“运动图像成像”的信息或诸如“以20fps执行成像直到目标对象从流动池5出来”的信息。
[0226]
在此处，根据在测量设置信息i2中的“照明设置”的信息，执行在步骤s113中执行的成像操作时的照明控制。
[0227]
在步骤s113之后的步骤s114中，控制单元16确定是否满足成像结束条件。此处，成像结束条件是从指定为上述“成像规则”的信息中指定的条件。例如，在“静止图像成像”的情况下，捕获静止图像是成像结束条件，并且在关于运动图像成像的“以20fps执行成像直到目标对象从流动池5出来”的情况下，从成像传感器11的视场(可成像范围)的目标对象的出帧(frame-out，帧出)是成像结束条件。
[0228]
在不满足成像结束条件的情况下，控制单元16再次执行步骤s113的处理。
[0229]
另一方面，在满足成像结束条件的情况下，控制单元16前进到步骤s115，确定是否满足测量结束条件。测量结束条件是从在测量设置信息i2中指定为“测量执行条件”的信息中指定的条件。例如，在“每隔200m深度测量10分钟”被指定为“测量执行条件”的情况下，从满足测量开始条件起经过10分钟是测量结束条件。
[0230]
当不满足测量结束条件时，控制单元16返回到步骤s103。
[0231]
另一方面，当满足测量结束条件时，控制单元16前进到步骤s116并且执行注入停止处理。即，停止样本排出单元6的泵以停止样本注入到流动池5中。
[0232]
然后，控制单元16在下一步骤s117中执行清洗处理并终止在图17中示出的一系列处理。
[0233]
注意，将再次描述步骤s117中的清洗处理。
[0234]
图18是示出用于实现目标对象的跟踪的处理过程的流程图。
[0235]
这里，可设想当将流动池5中的目标对象的数量计数为目标对象的测量时，执行图18中示出的跟踪处理，作为跟踪一度识别到的目标对象直到目标对象出帧之的处理，使得不冗余地计数所计数的目标对象。
[0236]
可替代地，从减少与成像相关的功耗的观点，还可设想执行图18中示出的处理，作为在运动图像成像被指定为“成像规则”的情况下的成像时的处理。
[0237]
首先，在步骤s201中，控制单元16针对成像区域ati的部分捕获图像识别对象区域。使用在图17的步骤s110中获取的成像区域ati的部分捕获图像。在步骤s201的处理中，识别在部分捕获图像中捕获的目标对象的区域。
[0238]
在步骤s201之后的步骤s202中，控制单元16计算包围框20。即，基于在部分捕获图像中识别的目标对象的区域计算在图16中描述的包围框20。
[0239]
在步骤s202之后的步骤s203中，控制单元16计算roi 21，并在步骤s204中等待下一帧。
[0240]
在步骤s204中等待下一帧之后，在步骤s205中控制单元16使roi 21的部分成像被执行。即，使成像传感器11执行在步骤s203中计算的roi21的部分成像。
[0241]
在步骤s205之后的步骤s206中，控制单元16在roi 21中进行目标对象识别处理。即，通过基于定义信息i1等的图像数据进行图像分析，进行对roi 21的部分捕获图像中的目标对象的识别处理。
[0242]
在步骤s206之后的步骤s207中，控制单元16确定是否识别到目标对象。在步骤s207中识别到目标对象的情况下，控制单元16返回到步骤s202。由此，当在前一帧中计算的roi 21中识别出目标对象时，在下一帧中计算目标对象的新包围框20和roi 21。
[0243]
另一方面，在步骤s207中未识别到目标对象时，控制单元16终止在图18中所示的一系列处理。
[0244]
应注意，此处，已经描述了响应于目标对象的丢失终止目标对象的跟踪的实例，但是也可在从丢失起的预定帧内再次识别到目标对象的情况下恢复跟踪。
[0245]
应注意，虽然图18示出了针对一个目标对象的处理，但是在对应于多个目标对象的情况下，仅需要针对已指定了光接收区域ats的每个目标对象执行步骤s201至s207的处理。
[0246]
此外，在图17的处理中，因为样本在流动池5中在某个方向上移动，所以在某个时间点在成像视场中没有捕获的目标对象可在之后的另一个时间点在成像视场中被捕获，并且还可设想执行能够应对这种情况的处理。具体地，在这种情况下，例如，可以设想在步骤s102中开始样本注入之后以固定的时间间隔执行步骤s103至s107的处理。在指定了新的光接收区域ats的情况下，指定与该光接收区域ats对应的成像区域ati，对该成像区域ati进行部分成像。
[0247]
图19是图17所示的清洗处理(s117)的流程图。
[0248]
首先，在步骤s121中，控制单元16进行将容器切换为清洗液容器3的处理。即，控制
单元16指示样本切换单元4将容器从样本容器2切换至清洗液容器3。
[0249]
在步骤s121之后的步骤s122中，控制单元16驱动样本排出单元6的泵以开始将清洗液从清洗液容器3注入到流动池5中作为注入开始处理，并且在下一步骤s123中等待满足注入停止条件。作为这里的注入停止条件，例如，可以设想诸如从开始注入起经过一定时间或将预定量或更多的清洗液注入到流动池5中的条件。注意，可以通过诸如测量设置信息i2的设置信息来可变地设置与清洗有关的条件(诸如注入停止条件)。
[0250]
在满足注入停止条件的情况下，控制单元16执行停止样本排出单元6的泵的驱动的处理作为步骤s124的注入停止处理，并且使处理前进至步骤s125。
[0251]
步骤s125至步骤s128是用于在清洗之后针对流动池5通过spad传感器10获得光接收图像的处理。首先，控制单元16在步骤s125中开启检测光源9，在步骤s126中指示spad传感器10接收光，并且在步骤s127中关闭检测光源9。然后，在下一个步骤s128中，控制单元16通过spad传感器10获取光接收图像。
[0252]
在步骤s128之后的步骤s129中，控制单元16确定是否存在与条件匹配的光接收区域。即，在光接收图像中是否存在与在设置信息i1中指定的波长和大小的条件匹配的光接收区域ats。这对应于确定对应于目标对象的对象是否保留在流动池5中。
[0253]
在步骤s129中，在确定存在与条件匹配的光接收区域的情况下，控制单元16返回到步骤s122。因此，在清洗之后对象保留在流动池5中的情况下，再次清洗流动池5。
[0254]
另一方面，在步骤s129中确定不存在满足条件的光接收区域的情况下，控制单元16前进至步骤s130并且执行将容器切换至样本容器2的处理，并且然后终止图19中示出的一系列处理。
[0255]
在此，虽未图示，但已经针对目标对象的测量指定数量和大小进行了描述，但也可以是指定目标对象的特征的处理。例如，在目标对象＝浮游植物的情况下，可设想通过对所捕获的图像的图像分析来指定形状特征(鞭毛、纤毛、触感、脚、眼、或身体区段的存在与否以及数量)或结构特征(细胞的存在与否、单细胞与多个细胞之间的区别、运动的存在与否、叶绿体的存在与否等)。
[0256]
此外，在测量中，指定的信息可以作为测量结果信息存储在存储单元17等中。例如，可设想存储如上所述的关于形状和结构的特征信息。此外，在通过spad传感器10的光接收图像中，检测到来自目标对象的返回光(荧光、反射光或散射光)，但是也可设想存储指示返回光的波长分量的信息。
[0257]
另外，能够按照指定的目标对象的每种类型存储测量结果。
[0258]
此外，可以将外部传感器的检测信息与这些测量结果的信息一起存储。例如，在使用上述深度和电导率信息的情况下，可以设想将外部传感器信息与测量结果信息一起存储。
[0259]
《4.传感器结构》
[0260]
spad传感器10和成像传感器11可以具有图20至图22中示出的结构。
[0261]
图20示出了spad传感器10和成像传感器11形成在单独基板上的实例。
[0262]
图21示出了spad传感器10和成像传感器11形成在共同基板上的实例。
[0263]
图22示出了作为spad传感器10的功能单元和作为成像传感器11的功能单元形成在共同半导体芯片中的实例。
[0264]
在此，在spad传感器10和成像传感器11形成在如图20所示的单独基板上的情况下，在测量装置1中不必平行地布置spad传感器10和成像传感器11(传感器的光接收表面彼此平行的布置)。
[0265]
因此，可以采用省略反射镜13的配置，如图23所示。
[0266]
此外，还可以使用具有作为spad传感器10的功能和作为成像传感器11的功能(即，基于控制单元16的控制捕获目标对象的功能)的单个传感器。
[0267]
图24和图25示出了这种单个传感器的实例。
[0268]
在图24的实例中，具有作为光电转换元件的spad元件的像素g10和在成像传感器11中使用的像素g11混合在相同的像素阵列单元中。在此，像素g11可以改述为包括具有比spad元件更低的光接收分辨率的光电转换元件的像素。
[0269]
图25的实例是使用具有上述像素g10的功能和像素g11的功能的像素gmx的实例。在这种情况下，在传感器中，如图中所示，二维地排列多个像素gmx。
[0270]
这里，像素gmx可以改述为包括光电转换元件作为光电转换元件的像素，该光电转换元件能够执行以光子为单位的分辨率的光量检测和以正常成像中的分辨率的光量检测两者。
[0271]
在spad传感器10和成像传感器11如在图22和图21的示例中分离的情况下，现有的传感器可以分别用作充当光接收单元的传感器(使用电子雪崩现象执行光电转换的传感器)和捕获目标对象的成像传感器。因此，不需要开发和使用新的传感器，并且在这个方面，可以降低测量装置1的成本。
[0272]
同时，在传感器配置为如图24和图25的实例中的单个传感器的情况下，没有必要提供在传感器被分离的情况下所需要的分光装置(半反射镜12)，并且因此，可以减少光学组件的组件的数目并且减小测量装置1的尺寸。
[0273]
《5.成像传感器》
[0274]
图26是示出作为变形例的成像传感器11a的内部配置实例的框图。
[0275]
成像传感器11a具有生成捕获图像数据的功能以及捕获图像数据的图像处理功能。具体地，成像传感器11a是通过图像分析而具有对象检测功能的装置，并且该装置可称为智能阵列传感器。
[0276]
如图所示，成像传感器11a包括像素阵列单元31、模数转换器(adc)/像素选择器32、缓冲器33、逻辑单元34、存储器35、接口(i/f)单元36以及计算单元37。
[0277]
adc/像素选择器32、缓冲器33、逻辑单元34、存储器35、接口(i/f)单元36以及计算单元37的每个单元可经由总线30彼此执行数据通信。
[0278]
像素阵列单元31通过二维排列多个像素(诸如上述像素g11)来配置，每个像素具有光电转换元件。
[0279]
由像素阵列单元31光电转换的电信号被输入到adc/像素选择器32。adc/像素选择器32数字化作为输入的模拟信号的电信号并且输出图像信号(图像数据)作为数字数据。
[0280]
此外，adc/像素选择器32具有针对像素阵列单元31的像素(光电转换元件)选择像素的功能。因此，光电转换信号可以仅针对像素阵列单元31中的所选择的像素被获取、转换成数字数据并且输出。即，adc/像素选择器32通常针对构成一帧的图像的所有有效像素将光电转换后的信号数字化为数字数据并输出，但是也可以仅将所选择的像素的光电转换后
的信号数字化为数字数据并输出。
[0281]
例如，这种adc/像素选择器32可实现上述成像区域ati的部分成像。
[0282]
adc/像素选择器32以帧为单位获取图像数据，并且将每帧的图像数据临时存储在缓冲器33中，在适当的定时读出，并且用于逻辑单元34的处理。
[0283]
逻辑单元34可对每个输入的帧图像信号执行各种类型的必要的信号处理(图像信号处理)。
[0284]
例如，逻辑单元34可以通过诸如颜色校正、伽马校正、颜色灰度处理、增益处理和轮廓增强处理等的处理来执行图像质量调整。此外，还可以设想逻辑单元34执行改变数据大小的处理，诸如数据压缩处理、分辨率转换和帧速率转换。
[0285]
针对由逻辑单元34执行的各处理，设置用于各处理的参数。例如，存在诸如颜色或亮度校正系数、增益值、压缩率和帧速率的设置值。逻辑单元34使用为每个处理设置的参数来执行必要的处理。在本实施例中，计算单元37可以设定这些参数。
[0286]
由逻辑单元34处理的图像数据被存储在存储器35中，存储器包括例如动态随机存取存储器(dram)等。
[0287]
存储在存储器35中的图像数据在必要的定时由接口单元36传输和输出至外部(例如，控制单元16)。
[0288]
计算单元37包括例如包括cpu、rom、ram等的微型计算机。计算单元37经由总线30与adc/像素选择器32、缓冲器33、逻辑单元34、存储器35以及接口(i/f)单元36的每个单元交换指令和数据。例如，执行向adc/像素选择器32指示光电转换信号要被数字化并作为数字数据输出的像素范围的处理。此外，根据需要向逻辑单元34指示各种参数。
[0289]
另外，计算单元37具有图像处理单元37a的功能。图像处理单元37a例如是具有人工智能(ai)的处理单元，能够进行在成像图像数据中检测对象的处理和识别检测出的对象的处理。
[0290]
如在本文中使用的术语“对象”是指出于从图像识别的目的可以是检测目标的对象。要检测的对象的种类根据测量装置1等的使用而改变，但是任何对象可以是这里所指的对象。例如，诸如包括人的动物、移动物体(汽车、自行车、飞机等)、自然物体(蔬菜、植物等)、工业产品/部件、建筑物、设施、山、海、河、星、太阳、云等的任何对象可对应于要检测的对象，但以上仅是实例。
[0291]
此外，在图像处理单元37a的对象识别处理中，可以对检测对象进行类别分类。在此，类别是指示对象的种类的信息，并且将待分类的对象分类为例如“人”、“汽车”、“飞机”、“船”、“卡车”、“鸟”、“猫”、“狗”、“鹿”、“青蛙”或“马”。
[0292]
在此，如以上举例说明的通过计算单元37的图像处理是在成像传感器中通常不进行的处理。因此，可以认为，成像传感器11a执行比正常成像传感器更智能的处理，并且在这种意义上，可以称为智能阵列传感器。
[0293]
在使用成像传感器11a的情况下，可以在成像传感器11a侧至少进行控制单元16的上述处理中与图像识别相关的处理。
[0294]
具体而言，在图17所示的处理中，步骤s111中的匹配处理和步骤s112中的基于匹配处理的确定处理可以使用成像传感器11a中的图像处理单元37a进行。此外，图18所示的目标对象跟踪处理也可以使用图像处理单元37a执行。
[0295]
这里，在使用图像处理单元37a执行上述处理的情况下，用于目标对象识别处理的图像数据被存储在成像传感器11a中的存储裝置(例如，存储器35)中。
[0296]
另外，在进行如上所述的按每个种类计数目标对象的数量的处理或提取特征信息的处理作为基于成像图像的目标对象的测量的情况下，可以设想使用图像处理单元37a进行处理。在该情况下，例如也可以采用将测量结果信息存储在成像传感器11a的存储装置(例如，存储器35)中的配置，计算单元37响应于来自外部(例如控制单元16)的请求经由接口单元36输出信息。
[0297]
此外，在使用图像处理单元37a在步骤s111中执行匹配处理的情况下，可以执行使用ai的类别识别功能的匹配处理。在那种情况下，作为ai，多个类别(如“浮游植物”和“浮游动物”)被配置为可识别为对象的类别。此外，针对各类别准备要在匹配处理中使用的模板图像(例如，将模板图像存储在存储器35等中)。然后，作为步骤s111的匹配处理，图像处理单元37a对成像区域ati的成像图像执行使用ai的类别识别处理，以识别在成像区域ati中捕获的目标对象的类别。然后，选择与所识别的类别对应的模板图像，进行使用所选择的模板图像的图像匹配，并且进行成像区域ati中的对象是否为目标对象的确定。
[0298]
通过以这种方式在缩窄类别之后执行图像匹配，可以提高图像匹配处理的效率。
[0299]
注意，使用这种类别识别的匹配处理也可以由控制单元16进行。
[0300]
《6.变形例》
[0301]
[6-1.第一变形例]
[0302]
在此，实施方式不限于上述的具体例，能够采用各种变形例的配置。
[0303]
例如，在上述说明中，作为测量目标对象的示例，主要例示诸如浮游植物等生物体，但是目标对象可以是非生物体。以下，作为示例，说明与检测漂浮在海水等中的微塑料作为目标对象的的情况对应的测量装置1b。
[0304]
图27示出了作为变形例的测量装置1b的内部配置实例。
[0305]
首先，作为前提，就形状而言，漂浮在海水等中的微塑料可大致分为芯片型和纤维型。然后，可以根据它们的材料将芯片型和纤维型的微塑料进一步分类。具体地，微塑料的材料类型的实例包括聚乙烯、苯酚、聚碳酸酯、聚苯乙烯和聚丙烯。例如，可以在芯片类型中将聚乙烯材料和苯酚材料彼此区分开，或者尽管它们是相同的聚苯乙烯材料，但将芯片类型和纤维类型彼此区分开。
[0306]
这些微塑料对近红外光(波长约780nm至2000nm)反应(即，产生反射光)。因此，在检测微塑料时，使用能够发射包括近红外光的波长分量的光的检测光源9b来代替检测光源9。此外，作为spad传感器10，使用对近红外光敏感的spad传感器10b。此处，检测光源9b可由例如卤钨灯、半导体激光器等配置。
[0307]
此外，作为成像传感器11，使用对近红外光敏感的成像传感器11b。
[0308]
此外，在测量装置1b中，设置控制单元16b来代替控制单元16，以便检测微塑料并识别目标对象。
[0309]
这里，微塑料具有独特的分布，作为近红外区域中反射光的功率谱分布(反射光强度相对于波长的分布)。这种独特的功率谱分布被称为“特征功率谱”。
[0310]
因此，通过确定近红外区域中的反射光的功率谱分布是否具有作为spad传感器10b中的光接收反应部分的微塑料的特征功率谱的分布，可以确定光接收反应部是否是微
塑料的光接收反应部(光接收区域)。
[0311]
此时，为了能够检测光谱分布，使用设置有针对近红外区域中的不同波长的波长滤波器的spad传感器10b。例如，如图10所示，使用交替布置的具有不同波长的波长滤波器。
[0312]
此外，反射光的功率谱分布的图案根据微塑料的材料类型而变化。在本实例中，假设基于成像传感器11b的捕获图像执行基于这种功率谱分布图案的材料类型确定。
[0313]
因此，与spad传感器10b相似，成像传感器11b被配置为能够识别针对近红外光的反射光的波长差。具体地，如在图10的实例中一样，使用在近红外区域中具有不同波长的交替布置的波长滤波器。
[0314]
在上述前提下，将参照图28的流程图描述用于测量微塑料的处理。
[0315]
应注意，在该图中，假设在检测光源9b已经开启的状态下通过spad传感器10b执行光接收操作，并且通过控制单元16获取光接收图像。
[0316]
在图28中，在步骤s301中，控制单元16b执行从近红外光的光接收区域ats中的目标中排除不具有塑料的特征功率谱的区域的处理。
[0317]
如上所述，spad传感器10b以像素为单位设置有具有在近红外区域中的不同波长的波长滤波器，并且因此在这种情况下可以检测光接收区域ats中针对近红外区域中的不同波长中每一个的反射光功率。在步骤s301中，可以基于针对每个波长的这种反射光功率来确定是否具有塑料的特征功率谱。
[0318]
通过从近红外光接收区域ats中的目标中排除不具有塑料的特征功率谱的区域，不对与光接收区域ats对应的成像范围执行成像。
[0319]
在步骤s301之后的步骤s302中，控制单元16b计算针对目标光接收区域ats的相应成像区域ati。即，针对在步骤s301中被确定为具有塑料的特征功率谱的光接收区域ats计算对应的成像区域ati。
[0320]
然后，在步骤s302之后的步骤s303中，控制单元16b基于成像区域ati的部分捕获图像确定塑料的形状和类型。即，确定上述芯片类型和纤维类型。注意，毋庸置疑，控制单元16b在执行步骤s303的处理时，指示成像单元11b执行成像区域ati的部分成像。
[0321]
可以通过对部分捕获图像的图像分析来进行步骤s303中的形状和类型的确定。例如，可以通过匹配预先针对各目标塑料设置的定义信息i1中的图像数据来确定形状类型。
[0322]
在步骤s303之后的步骤s304中，控制单元16b通过功率谱分析确定塑料材料的类型。如上所述，成像传感器11b以像素为单位设置有在近红外区域中具有不同波长的波长滤波器，因此，在这种情况下，可在成像区域ati中检测针对近红外区域中的不同波长中每一个的反射光功率。在步骤s304中，根据每个波长的反射光功率和预先设置的每个塑料材料的特征功率谱确定塑料材料的类型。
[0323]
在步骤s304之后的步骤s305中，控制单元16b通过图像分析确定塑料的尺寸。对于尺寸确定，可设想确定具有从20μm到40μm的范围的尺寸等。
[0324]
控制单元16b响应于步骤s305的处理的执行终止图28中所示的一系列处理。
[0325]
注意，图28示出了与微塑料的测量相关的处理，但是与微生物(如浮游生物)的测量相关的处理可以与图28的处理一起进行。即，还进行如上述图17或图18所示的与微生物的测量有关的处理。
[0326]
这里，在测量微生物和微塑料的情况下，根据目标微生物的类型，来自微生物的返
回光的波长带可以接近于来自微塑料的返回光的波长带。在这种情况下，为了提高目标对象的检测精度，可以将指定为针对微生物的光接收区域的光接收区域ats从微塑料的检测目标中排除。
[0327]
此外，对于基于捕获的图像的测量，还有可能将其中识别出微生物的特征(例如纤毛虫或鞭毛的存在)的成像区域ati从微塑料的测量目标中排除。
[0328]
应注意，作为变形例，还可以在上述测量装置1b中执行图18中所描述的对目标对象的跟踪处理。即，可以进行对作为微塑料的目标对象的跟踪处理。
[0329]
此外，图26中描述的成像传感器11a也可应用于测量装置1b。在这种情况下，可以设想由图像处理单元37a执行步骤s303中的形状类型确定处理、步骤s304中的材料类型确定处理和步骤s305中的尺寸确定处理。此外，在执行用于微塑料的跟踪处理的情况下，跟踪处理也可以由图像处理单元37a执行。
[0330]
[6-2.第二变形例]
[0331]
在以上描述中，已经描述了在测量目标对象时采样海水作为流向流动池5的样本的实例，但是在测量目标对象时不必使用流动池5。
[0332]
图29是示出了作为第二变形例的能够在不使用流动池5的情况下测量目标对象的测量装置1c的内部配置实例的框图。
[0333]
与图2中示出的测量装置1的不同之处在于，省去了流动池5，省去了与样本相对于流动池5的进入和排出相关的配置，具体地，省去了样本容器2、清洗液容器3(包括样本进入端口mi)、样本切换单元4以及样本排出单元6(包括样本排出端口mo)，并且省去了后光源8。此外，与测量装置1的差别在于，添加基于spad传感器10的光接收信号计算至光接收反应部的距离的距离计算单元25，并且设置控制单元16c来代替控制单元16。
[0334]
在此，距离计算单元25基于spad传感器10的光接收信号通过例如直接飞行时间(tof)方法来计算距离。
[0335]
如图所示，在测量装置1c中，从检测光源9发射并由半反射镜12反射的光经由光透射窗口mt发射至作为存在于测量装置1c外部的海水的样本。在图中，表示为“可成像距离范围”的范围示意性地表示可由成像传感器11捕获图像的距离范围。可成像距离范围被定义为至少由成像传感器11捕获图像时的可聚焦范围(景深范围)。
[0336]
即使在基于spad传感器10的光接收信号检测目标对象的情况下，在其中目标对象存在的位置是在可成像距离范围之外的位置的情况下，不能通过成像传感器11获得对目标对象的合适的捕获图像，并且合适的测量是困难的。
[0337]
因此，在第二变形例中，设置距离计算单元25以计算到目标对象的距离，并且在目标对象位于可成像距离范围内的触发条件下，执行由成像传感器11进行的成像。
[0338]
图30是示出第二变形例中的从测量开始到测量结束的处理流程的流程图。要注意的是，例如，基于存储在预定存储装置(例如，内置rom)中的程序，由控制单元16c执行在图30中的处理。
[0339]
与图17中所示的处理的不同之处在于，省略在步骤s102中开始样本注入的处理，在步骤s107与s108之间插入步骤s151中的确定处理，并且省略步骤s116中的注入停止处理和s117中的清洗处理。
[0340]
在步骤s151中，控制单元16c确定可成像距离范围内是否存在光接收区域。也就是
说，确定在步骤s107中指定的光接收区域ats中的可成像距离范围内是否存在光接收区域。具体而言，控制单元16c基于通过距离计算单元25获得的距离信息(深度图像)来获取与在步骤s107中指定的光接收区域ats相距的距离的信息，并且针对所有指定的光接收区域ats，确定该距离是否是在被定义为可成像距离范围的距离范围内的值。如果甚至存在具有在可成像距离范围内的距离的一个光接收区域ats，则控制单元16c获得在可成像距离范围内存在光接收区域的确定结果，否则，获得在可成像距离范围内不存在光接收区域的确定结果。
[0341]
在确定在可成像距离范围内不存在光接收区域的情况下，控制单元16c返回到步骤s103。即，在可成像距离范围内不存在光接收区域ats的情况下，不进行通过成像传感器11的成像。
[0342]
另一方面，在确定在可成像距离范围内存在光接收区域的情况下，控制单元16c使处理前进至步骤s108。因此，在可成像距离范围内存在光接收区域ats的条件下，执行成像传感器11的成像，并且可以在省略流动池5的配置中执行适当的测量。
[0343]
注意，在第二变形例中，毋庸置疑，对于可成像距离范围内的光接收区域ats执行步骤s108中和步骤s108之后的处理。
[0344]
[6-3.第三变形例]
[0345]
在第三变形例中，在采用如在第二变形例中那样省略流动池5的配置的情况下，使用狭缝光作为目标对象检测光。
[0346]
图31是示出了作为第三变形例的测量装置id的内部配置实例的框图。
[0347]
与图29中所示的测量装置1c的不同之处在于，设置了狭缝光源26来代替检测光源9并且省略了距离计算单元25。
[0348]
如图所示，狭缝光源26发射用于对可成像距离范围进行照明的狭缝光ls。注意，可设想将例如半导体激光器、发光二极管(led)等用于狭缝光源26。
[0349]
通过使用如上所述的狭缝光ls，仅从位于可成像距离范围内的目标对象检测反射光。因此，无需如第二变形例中那样获得到目标对象的距离以便确定目标对象是否位于可成像距离范围内，并且可以省略距离计算单元25。
[0350]
控制单元16d与第二变形例中的控制单元16c的不同之处在于，不对检测光源9而是对狭缝光源26进行检测光源的控制处理(步骤s103和s105)，并且在图30所示的一系列处理中不执行步骤s151中的确定处理，即，关于在可成像距离范围内是否存在光接收区域的确定处理。
[0351]
[6-4.第四变形例]
[0352]
在第四变形例中，通过成像传感器11将数字全息显微镜应用于成像系统。
[0353]
图32是示出了作为第四变形例的测量装置1e的内部配置实例的框图。
[0354]
与上述图2中示出的测量装置1相比，在测量装置1e中，省略了流动池5、关于样本相对于流动池5(样本容器2、清洗液容器3、样本切换单元4以及样本排出单元6)的进入和排出的配置、前光源7、后光源8以及检测光源9。此外，设置控制单元16e来代替控制单元16。
[0355]
测量装置1e中设置有光源27、准直透镜40、分束器41、合束元件42、反射镜43、反射镜44作为实现数字全息显微镜的光学系统。
[0356]
例如，半导体激光器被用作光源27，从光源27发射的相干光的一部分经由准直透
镜40透过分束器41并且作为物体光入射在合束元件42上，并且另一部分被分束器41反射并且然后经由反射镜43和44入射在合束元件42上作为参考光，如图中所示。
[0357]
合束元件42发射入射的物体光，并且将经由反射镜44入射的参考光与相同光轴上的物体光组合，以将组合光发射到半反镜12。
[0358]
如图所示，入射在半反射镜12上的组合光的一部分被传输并被引导至成像传感器11侧，并且另一部分被反射并被引导至spad传感器10侧。
[0359]
数字全息技术是通过成像传感器(成像传感器11)使物体光与参考光之间的干涉条纹的图案成像的技术，并且从成像的干涉条纹图案计算光的衍射现象，以获得物体的三维信息。
[0360]
在一般的显微镜中，景深相对较浅，例如，用于对诸如浮游生物等微粒进行成像的物镜的景深约为1mm。因此，当在潜水时在垂直方向上直接成像海水时，需要在改变深度的同时执行非常多次数的成像。
[0361]
同时，数字全息显微镜可以实施比使用物镜的透镜成像方法深约100倍的景深。因此，当在移动特定体积的同时执行成像时，与一般的显微镜相比，可以大大减少成像的次数。
[0362]
在图32中示出的示例中，从光源27发出的光用于使用spad传感器10来检测目标对象。在这种情况下，响应于基于spad传感器10的光接收信号确定存在满足条件的光接收区域ats，控制单元16e执行控制以开启光源27并且通过成像传感器11执行成像操作。
[0363]
应注意，作为用于使用spad传感器10检测目标对象的光，可以使用来自独立于光源27设置的光源的光代替从光源27发出的光。
[0364]
[6-5.第五变形例]
[0365]
第五变形例是与基于成像传感器11的拍摄图像的目标对象测量有关的变形例。
[0366]
在图18中，已经给出了关于基于成像区域ati的部分捕获图像识别对象区域(s201)、基于识别的目标对象区域计算包围框20(s202：参见图16)、基于计算的包围框20计算roi 21(s203)、在下一帧中对roi 21进行部分成像(s205)以及在roi 21中进行目标对象识别处理(s206)的描述。
[0367]
在这样的一系列处理中，对于在步骤s205中执行的roi 21的部分成像，可以根据在步骤s203中计算的roi 21(即，在前一帧中计算的roi 21)的尺寸使图像分辨率不同。
[0368]
将参考图33和图34描述具体实例。
[0369]
图33示出其中浮游动物pm和浮游植物pp作为由成像传感器11捕获的图像的实例被成像的实例，并且图34示出作为针对浮游动物pm计算的roi 21的roi-1和作为针对浮游植物pp计算的roi 21的roi-2。
[0370]
一般而言，浮游动物pm大于浮游植物pp。例如，浮游动物pm(例如黑星卡尔)具有约2mm至3.5mm的长度，而浮游植物pp(例如肋骨骨架)具有约0.06mm的长度。
[0371]
在第五变形例中，在计算出的roi 21的尺寸小的情况下，与计算出的尺寸大的情况相比，执行控制以增加在下一帧中roi 21的部分成像的图像分辨率。具体地，在图34的实例中，具有小尺寸的浮游植物pp的roi-2的图像分辨率设定为最大(即，不间疏)，而具有大尺寸的浮游植物pm的roi-1的图像分辨率设定为通过将图像分辨率间疏至1/9而获得的分辨率(从3
×
3＝9像素中仅提取一个代表性像素)。
[0372]
这里，在步骤s206(图18)的目标对象识别处理中，即使图像分辨率稍微低，也可以对具有大尺寸的roi 21的对象进行识别，但是如果图像分辨率降低，则存在不可能对具有小尺寸的roi 21的对象进行识别的可能性。
[0373]
因此，在本实例中，在计算出的roi 21的尺寸小的情况下，与计算出的尺寸大的情况相比，执行控制以增加在下一帧中roi 21的部分成像的图像分辨率。由此，能够在减小对roi 21的尺寸大的对象的识别处理负荷的同时，防止对roi 21的小尺寸的对象的识别处理的精度的劣化。换言之，可以实现识别处理负荷的减轻和识别处理精度的劣化的预防两者。
[0374]
这里，如参照图33和图34可看到的，根据到目前为止所描述的实施方式的测量方法，可在不改变目标对象的每个尺寸的物镜的情况下同时测量具有不同尺寸的目标对象。
[0375]
[6-6.第六变形例]
[0376]
在第六变形例中，使用成像传感器11执行已经使用spad传感器10执行的目标对象的检测。
[0377]
图35是示出了作为第六变形例的测量装置1f的内部配置实例的框图。
[0378]
与图2中示出的测量装置1的不同之处在于，省略spad传感器10、反射镜13和透镜14，并且设置控制单元16f来代替控制单元16。
[0379]
在能够基于来自目标对象的弱返回光(诸如由于浮游植物的荧光反应导致的激发光)检测目标对象的情况下，必须使用spad传感器10以便能够检测弱返回光。
[0380]
然而，在可以获得具有比荧光反应足够高的光强度的返回光(诸如浮游动物的散射光)的情况下，spad传感器10是不必要的，并且返回光可以通过成像传感器11(成像传感器)来检测。因此，在第六变形例中，省略spad传感器10，并且使用成像传感器11进行目标对象检测处理。
[0381]
图36是示出第六变形例中的从测量开始至测量结束的处理流程的流程图。图36中的处理由控制单元16f基于存储在诸如内置rom的预定存储裝置中的程序执行。
[0382]
与图17中所示的处理的不同之处在于，进行步骤s161中的光接收指令处理，代替步骤s104中的光接收指令处理。
[0383]
具体地，在步骤s161中，控制单元16f指示成像传感器11接收光。结果，步骤s107中的确定处理，即，关于是否存在满足条件的光接收区域的确定处理，基于成像传感器11的光接收图像(捕获图像)进行。
[0384]
应注意，成像传感器11可采用作为视觉传感器的配置，该视觉传感器仅在事件发生时读取发生事件的像素的光接收信号。视觉传感器是被称为动态视觉传感器(dvs)或基于事件的视觉传感器(evs)的传感器，并且是其中二维排列具有光电转换元件的多个像素的异步成像传感器，并且为每个像素提供实时检测地址事件的检测电路。地址事件是针对分配给多个二维排列的像素中的每个的每个地址发生的事件。例如，这里的事件是基于在光电转换元件中产生的电荷的电流值，或者超过特定阈值的电荷的变化量。视觉传感器检测每个像素的地址事件是否存在的发生，并且在已经检测到地址事件的发生的情况下，从相应地址的像素读取像素信号作为像素数据。
[0385]
在如上所述的视觉传感器中，由于从检测到地址事件的发生的像素中读取像素数据，因此与以预定帧速率读取所有像素的同步成像传感器相比，可以以高得多的速度读取像素，并且作为一帧读取的数据量也小。因此，通过使用视觉传感器，可以更快地检测目标
对象的移动，并且可以降低读取操作的频率，使得可以降低功耗。
[0386]
这里，如参考图36可以看出，第六变形例中的控制单元16f还针对捕获目标对象的部分像素范围在捕获图像和模板图像之间执行匹配(参见步骤s108至s111)。此时，如在图36的变形例中描述的，控制单元16f可以针对部分像素范围执行在捕获图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的识别的类别的模板图像执行匹配。
[0387]
此外，虽然未示出，但第六变形例中的控制单元16f还执行用于实现图18等中描述的目标对象的跟踪的处理。具体而言，进行包围框20的计算和基于包围框20的roi 21的计算，并且进行对roi 21中的目标对象的识别处理等。
[0388]
应注意，在以上描述中，相对于第六变形例描述了使用流动池5的类型的应用实例。然而，还可以采用如在第二和第三变形例中省略流动池5的类型的配置或如在第四变形例中应用数字全息显微镜的类型的配置。
[0389]
在此，在以上描述中，已经描述了在spad传感器(10或10b)中二维地排列多个像素的示例，但是spad传感器还可以采用其中一维地排列多个像素的配置。可替代地，spad传感器可以是单个像素传感器。
[0390]
《7.实施例的总结》
[0391]
如上所述，实施方式的第一测量装置(测量装置1、1b、16c、16d或16e)包括：发光单元(检测光源9或9b或狭缝光源26)，被配置为将光发射至流体；光接收单元(spad传感器10或10b)，被配置为通过多个像素使用电子雪崩现象对入射光执行光电转换以获得光接收信号；以及控制单元(16、16b、16c、16d或16e)，被配置为基于光接收信号执行检测流体中的目标对象的处理并且在检测到目标对象的条件下执行目标对象的成像操作。
[0392]
根据上述配置，代替始终进行目标对象的成像，通过基于光接收单元的光接收信号进行目标对象的检测而触发的目标对象的成像，能够基于多个像素的光接收信号来检测目标对象的有无并且能够降低与成像有关的功耗。
[0393]
因此，可以提高目标对象的有无的检测精度，并且可以实现测量装置的节能。
[0394]
由于实现了测量装置的节能，因此可以减小作为电源的电池的尺寸，并且减小测量装置的尺寸。
[0395]
此外，在作为实施方式的第一测量装置中，光接收单元包括作为光电转换元件的spad元件。
[0396]
因此，不需要使用诸如光电倍增管的大尺寸且高功耗的光电转换元件作为光接收单元。
[0397]
因此，可以减小尺寸并且实现光接收单元的节能，从而可以减小尺寸并且实现测量装置的节能。
[0398]
此外，在作为实施方式的第一测量装置中，控制单元基于光接收单元中的光接收反应部的图像特征执行目标对象检测处理(见图17中的s107和图28中的s301)。
[0399]
这里所指的“光接收反应部的图像特征”是指包括具有光接收反应作为光接收反应部的至少一个或多个像素的图像的特征，诸如光接收反应部的图像尺寸或位置、接收光的波长或光接收信号的值。
[0400]
可以基于光接收反应部的图像特征适当地估计光接收反应部是否捕获目标对象。
[0401]
此外，在作为实施方式的第一测量装置中，在光接收反应部的图像特征与指定的
图像特征不匹配的情况下，控制单元防止对应于光接收反应部的成像范围的成像。
[0402]
由此，能够防止除具有指定图像特征的对象之外的对象被草率地成像。
[0403]
因此，可以降低与成像相关的功耗，并且实现测量装置的节能。
[0404]
此外，在作为实施方式的第一测量装置中，控制单元检测光接收反应部的像素位置和图像大小作为图像特征(见图12至图14等)。
[0405]
由此，对于拍摄目标对象的成像传感器，能够对捕获了目标对象的像素范围(即，进行成像的像素范围)进行指定。
[0406]
由此，能够防止除具有指定图像特征的对象之外的对象被草率地成像，并且能够降低与成像相关的功耗。
[0407]
而且，在作为实施方式的第一测量装置中，控制单元进行控制，以便在对目标对象进行成像的成像传感器(成像传感器11或11b)中，仅仅对捕获目标对象的部分像素范围进行成像操作。
[0408]
因此，与为成像传感器中的整个像素范围执行成像操作的情况相比，可减少与成像相关的功耗。
[0409]
因此，可以实现测量装置的节能。
[0410]
此外，在作为实施方式的第一测量装置中，控制单元针对部分像素范围执行捕获图像和模板图像之间的匹配(参见图17中的s111)。
[0411]
通过基于捕获的图像执行匹配，能够适当地识别目标对象的类型。
[0412]
因此，可以通过提高目标对象的识别精度来提高目标对象测量的精度。
[0413]
此外，在作为实施例的第一测量装置中，控制单元针对部分像素范围执行在捕获图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的所识别的类别的模板图像来执行匹配。
[0414]
通过以这种方式在缩窄类别之后执行图像匹配，可以提高图像匹配处理的效率。
[0415]
此外，在作为实施方式的第一测量装置中，在基于光接收信号检测到目标对象时或之后，控制单元从部分像素范围的捕获图像中设定包围框(包围框20)作为包围目标对象的范围，并且在作为预定帧的参考帧中设定作为包括包围框且尺寸大于包围框的区域的roi(roi 21)，并且在参考帧之后的帧中设定目标对象的包围框并基于在前一帧中设定的roi中的包围框设定roi(参见图16)。
[0416]
由此，即使在目标对象在成像图像中移动的情况下，也能够跟踪目标对象。
[0417]
此时，跟踪目标对象的每一帧中所需的捕获图像仅是roi的捕获图像。因此，在跟踪目标对象以防止错误计数的情况下，可以仅将用于跟踪的成像范围缩小到roi，并且可以减少与用于跟踪的成像相关的功耗。
[0418]
而且，在作为实施方式的第一测量装置中，用作光接收单元的传感器和根据控制单元的控制对目标对象成像的成像传感器被分离(见图20至图22)。
[0419]
因此，现有的传感器可用作起光接收单元作用的传感器(使用电子雪崩现象执行光电转换的传感器)以及对目标对象进行成像的成像传感器。
[0420]
因此，不需要开发和使用新的传感器，并且可以降低测量装置的成本。
[0421]
此外，作为实施方式的第一测量装置包括具有作为光接收单元的功能和基于控制单元的控制对目标对象成像的功能的单个传感器(见图24和图25)。
[0422]
在分离地提供传感器的情况下，需要提供用于将来自流体的光分配到每个传感器的分光装置。然而，集成传感器消除了提供这种分光装置的需要。
[0423]
因此，可以减少光学组件的组件数量，并且可以减小测量装置的尺寸。
[0424]
此外，在作为实施方式的第一测量装置中，包括其中相对于内部流路采样流体的流动池(流动池5)，并且在完成成像操作之后，控制单元使与作为样本的流体不同的流体流入流路中，以清洗流动池(参见图19)。
[0425]
由此，能够防止被测量的目标对象的错误测量的发生，诸如再次测量等。
[0426]
因此，能够提高目标对象的测量精度。
[0427]
此外，在作为实施方式的第一测量装置中，控制单元基于另一个流体流入流路之后的光接收信号执行目标对象检测处理(见图19中的s123至s129)。
[0428]
由此，能够确认清洗后有无残留目标对象。
[0429]
因此，可以执行用于防止错误测量的对策处理，诸如在存在剩余的目标对象的情况下重新清洗流动池，并且可以增强防止错误测量的发生的效果。
[0430]
此外，根据该实施方式的成像控制方法是测量装置的成像控制方法，该测量装置至少包括被配置为向流体发射光的发光单元和被配置为通过多个像素使用电子雪崩现象对入射光执行光电转换以获得光接收信号的光接收单元，该成像控制方法包括：执行基于光接收信号检测流体中的目标对象并且在检测到目标对象的条件下执行目标对象的成像操作的处理。
[0431]
根据这种成像控制方法，也可以获得与作为第一实施方式的上述第一测量装置的功能和效果类似的功能和效果。
[0432]
作为本实施方式的第二测量装置(测量装置1f)包括：发光单元(例如，检测光源9)，被配置为向流体发射光；成像传感器(成像传感器11)，被配置为通过多个像素对入射光执行光电转换以获得光接收信号；以及控制单元(控制单元16f)，被配置为基于光接收信号执行检测流体中的目标对象的处理，并且在检测到目标对象的条件下使成像传感器执行目标对象的成像操作，其中，控制单元执行控制使得仅对其中捕获目标对象的部分像素范围执行成像操作作为目标对象的成像操作。
[0433]
根据上述配置，代替始终进行目标对象的成像，而是通过基于光接收信号检测目标对象而触发的目标对象的成像，能够降低与成像有关的功耗。此外，与为成像传感器中的整个像素范围执行成像操作的情况相比，可减少与成像相关的功耗。
[0434]
因此，可以实现测量装置的节能。
[0435]
此外，在作为实施例的第二测量装置中，控制单元针对部分像素范围在捕获图像与模板图像之间执行匹配。
[0436]
通过基于捕获的图像执行匹配，能够适当地识别目标对象的类型。
[0437]
因此，可以通过提高目标对象的识别精度来提高目标对象测量的精度。
[0438]
此外，在作为上述实施例的第二测量装置中，控制单元针对部分像素范围执行在捕获图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的识别的类别的模板图像来执行匹配。
[0439]
通过以这种方式在缩窄类别之后执行图像匹配，可以提高图像匹配处理的效率。
[0440]
应注意，本说明书中描述的效果仅是实例并且不受限制，并且可以表现出其他效
果。
[0441]
《8.本技术》
[0442]
本技术还可具有以下配置。
[0443]
(1)一种测量装置，包括：
[0444]
发光单元，被配置为向流体发射光；
[0445]
光接收单元，被配置为使用电子雪崩现象对入射光执行光电转换以获得光接收信号；以及
[0446]
控制单元，被配置为基于所述光接收信号执行检测所述流体中的目标对象的处理，并且在检测到所述目标对象的条件下执行所述目标对象的成像操作。
[0447]
(2)根据(1)所述的测量装置，其中
[0448]
所述光接收单元包括spad元件作为光电转换元件。
[0449]
(3)根据(1)或(2)所述的测量装置，其中
[0450]
控制单元基于所述光接收单元中的光接收反应部的图像特征执行检测所述目标对象的所述处理。
[0451]
(4)根据(3)所述的测量装置，其中
[0452]
在所述光接收反应部的所述图像特征与指定的图像特征不匹配的情况下，所述控制单元阻止对与所述光接收反应部对应的成像范围进行成像。
[0453]
(5)根据(3)或(4)所述的测量装置，其中
[0454]
控制单元检测所述光接收反应部的像素位置和图像大小作为所述图像特征。
[0455]
(6)根据(1)至(5)中任一项所述的测量装置，其中
[0456]
控制单元执行控制，使得在对所述目标对象成像的成像传感器中，仅针对捕获所述目标对象的部分像素范围执行所述成像操作。
[0457]
(7)根据(6)所述的测量装置，其中
[0458]
控制单元针对部分像素范围在捕获图像与模板图像之间执行匹配。
[0459]
(8)根据(7)所述的测量装置，其中
[0460]
控制单元针对所述部分像素范围执行在所捕获的图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的所识别的类别的模板图像来执行匹配。
[0461]
(9)根据(6)至(8)中任一项所述的测量装置，其中
[0462]
在基于所述光接收信号检测到所述目标对象时或之后，控制单元在所述部分像素范围的捕获图像中将包围框设置为包围所述目标对象的范围，并且，在作为预定帧的参考帧中设置roi，所述roi是包括所述包围框且尺寸大于所述包围框的区域，以及
[0463]
在所述参考帧之后的帧中，设置所述目标对象的包围框，并基于在前一帧中设置的所述roi中的所述包围框设置所述roi。
[0464]
(10)根据(1)至(9)中任一项所述的测量装置，其中
[0465]
用作所述光接收单元的传感器和基于所述控制单元的控制对所述目标对象成像的成像传感器是分离的。
[0466]
(11)根据(1)至(9)中任一项所述的测量装置，进一步包括：
[0467]
单个传感器，具有作为所述光接收单元的功能和基于所述控制单元的控制对所述目标对象成像的功能。
[0468]
(12)根据(1)至(11)中任一项所述的测量装置，进一步包括：
[0469]
流动池，在所述流动池中相对于内部流路采样所述流体，其中
[0470]
在完成所述成像操作之后，控制单元使与所述流体不同的流体作为样本流入所述流路中以清洗所述流动池。
[0471]
(13)根据(12)所述的测量装置，其中
[0472]
控制单元在所述不同的流体流入所述流路之后，基于所述光接收信号执行检测所述目标对象的处理。
[0473]
(14)一种测量装置的成像控制方法，所述测量装置至少包括被配置为向流体发射光的发光单元和被配置为通过多个像素使用电子雪崩现象对入射光执行光电转换以获得光接收信号的光接收单元，所述成像控制方法包括：
[0474]
执行基于所述光接收信号检测所述流体中的目标对象并且在检测到所述目标对象的条件下执行所述目标对象的成像操作的处理。
[0475]
(15)一种测量装置，包括：
[0476]
发光单元，被配置为向流体发射光；
[0477]
成像传感器，被配置为通过多个像素对入射光执行光电转换以获得光接收信号；以及
[0478]
控制单元，被配置为基于所述光接收信号执行检测所述流体中的目标对象的处理，并且在检测到所述目标对象的条件下，使所述成像传感器执行所述目标对象的成像操作，其中
[0479]
控制单元执行控制，使得仅对其中捕获所述目标对象的部分像素范围执行所述成像操作，作为所述目标对象的所述成像操作。
[0480]
(16)根据(15)所述的测量装置，其中
[0481]
控制单元针对部分像素范围在捕获图像与模板图像之间执行匹配。
[0482]
(17)根据(16)所述的测量装置，其中
[0483]
控制单元针对所述部分像素范围执行所捕获的图像中捕获的对象的类别识别，并且使用为每个类别准备的模板图像中的所识别的类别的模板图像来执行匹配。
[0484]
参考符号列表
[0485]
1、1b、1c、1d、1e、1f测量装置
[0486]
2样本容器
[0487]
3清洗液容器
[0488]
4样本切换单元
[0489]
5流动池
[0490]
6样本排出单元
[0491]
7前光源
[0492]
8后光源
[0493]
9、9b检测光源
[0494]
10、10b spad传感器
[0495]
11、11a、10b成像传感器
[0496]
12半反射镜
[0497]
13反射镜
[0498]
14、15透镜
[0499]
16、16b、16c、16d、16e、16f控制单元
[0500]
17存储单元
[0501]
18通信单元
[0502]
mi样本进入端口
[0503]
mo样本排出端口
[0504]
20包围框
[0505]
21roi
[0506]
g10、g11、gmx像素
[0507]
30总线
[0508]
31像素阵列单元
[0509]
32adc/像素选择器
[0510]
33缓冲器
[0511]
34逻辑单元
[0512]
35存储器
[0513]
36接口单元
[0514]
37计算单元
[0515]
37a图像处理单元。