太赫兹波相机系统和用于控制太赫兹波相机系统的方法与流程

本发明涉及太赫兹波(terahertzwave)相机系统。

背景技术：

太赫兹波通常是具有从0.2thz到30thz的范围中的任何频率带的无线电波。太赫兹波具有比可见光和红外光的波长长的波长，因此不太可能受到从被照体(object)的散射的影响，并且具有高的透过许多物质的特性。太赫兹波具有比毫米波的波长短的波长，因此使得能够获得高的空间分辨率。利用这些特征，期望太赫兹波被应用到安全成像技术以代替x射线技术。例如，期望太赫兹波被应用到隐藏物检查技术，诸如在公共场所中的安全检查或监视相机中使用的那些。

日本专利特开no.2018-87725讨论了太赫兹波被应用到的相机系统。日本专利特开no.2018-87725讨论了一种方法，该方法用于在有源(active)太赫兹波相机系统中，使得多个太赫兹波光源产生太赫兹波、将太赫兹波发射到被照体、以及检测从被照体反射的太赫兹波。

技术实现要素：

本发明的第一方面提供了一种太赫兹波相机系统，包括：第一发送单元，所述第一发送单元能够发射第一太赫兹波；第二发送单元，所述第二发送单元被设置在与所述第一发送单元的位置不同的位置并且能够发射第二太赫兹波；检测单元，所述检测单元能够检测第一反射太赫兹波或者第二反射太赫兹波中的至少一个，并且输出基于检测的太赫兹波的图像数据，所述第一反射太赫兹波是从被照体反射的所述第一太赫兹波的一部分，所述第二反射太赫兹波是从所述被照体反射的所述第二太赫兹波的一部分；以及第一控制单元，所述第一控制单元被配置为在基于所述图像数据设定的条件下，控制所述第一发送单元的操作或者所述第二发送单元的操作中的至少一个。

本发明的第二方面提供了一种太赫兹波相机系统，包括：第一发送单元，所述第一发送单元能够发射第一太赫兹波；第二发送单元，所述第二发送单元被设置在与所述第一发送单元的位置不同的位置并且能够发射第二太赫兹波；第三发送单元，所述第三发送单元被设置在与所述第一发送单元和第二发送单元的位置不同的位置并且能够发射第三太赫兹波；检测单元，所述检测单元能够检测第一反射太赫兹波、第二反射太赫兹波或者第三反射太赫兹波中的至少任何一个，并且输出基于检测的太赫兹波的图像数据，所述第一反射太赫兹波是从被照体反射的所述第一太赫兹波的一部分，所述第二反射太赫兹波是从所述被照体反射的所述第二太赫兹波的一部分，所述第三反射太赫兹波是从所述被照体反射的所述第三太赫兹波的一部分；以及第一控制单元，所述第一控制单元能够选择用于打开所述第一发送单元并且关闭所述第二发送单元和第三发送单元的第一操作、用于打开所述第二发送单元并且关闭所述第一发送单元和第三发送单元的第二操作、以及用于打开所述第三发送单元并且关闭所述第一发送单元和第二发送单元的第三操作。

本发明的第三方面提供了一种用于控制太赫兹波相机系统的方法，所述太赫兹波相机系统包括第一发送单元、第二发送单元以及检测单元，所述第一发送单元能够发射第一太赫兹波，所述第二发送单元被设置在与所述第一发送单元的位置不同的位置并且能够发射第二太赫兹波，所述检测单元能够检测第一反射太赫兹波和第二反射太赫兹波中的至少一个，并且输出基于检测的太赫兹波的图像数据，所述第一反射太赫兹波是从被照体反射的所述第一太赫兹波的一部分，所述第二反射太赫兹波是从所述被照体反射的所述第二太赫兹波的一部分，所述方法包括基于从所述检测单元输出的所述图像数据控制所述第一发送单元的操作或者所述第二发送单元的操作中的至少一个。

从以下参考附图对示例性实施例的描述，本公开的其它特征将变得清楚。

附图说明

图1是图示根据第一示例性实施例的太赫兹波相机系统的配置的图。

图2a和2b各自是图示根据第一示例性实施例的发送单元的配置的示例的图。

图3a和3b各自是图示根据第二示例性实施例的发送单元的配置的示例的图。

图4是图示根据第三示例性实施例的太赫兹波相机系统的配置的图。

图5是图示根据第一示例性实施例的太赫兹波相机系统的操作流程的流程图。

图6a和6b是图示通过根据第一示例性实施例的太赫兹波相机系统获取的太赫兹图像的图像示图。

图7是图示根据第三示例性实施例的太赫兹波相机系统的操作流程的流程图。

图8是图示根据第四示例性实施例的太赫兹波相机系统的配置的图。

图9a、9b和9c各自是图示图像处理单元的配置的示例的图。

图10a是图示根据第一和第三示例性实施例中的每一个的太赫兹波相机系统的图像示图。图10b是图示根据第一示例性实施例的太赫兹波相机系统的示意图。图10c是图示太赫兹波的图。

图11是图示根据第三示例性实施例的太赫兹波相机系统的示意图。

图12a是图示根据第一示例性实施例的太赫兹波相机系统的操作流程的流程图。图12b是图示条件的表。

图13是图示根据第一示例性实施例的太赫兹波相机系统的操作流程的流程图。

图14a和14b是图示根据第五示例性实施例的学习模型的图。

图15是图示根据第六示例性实施例的太赫兹波相机系统的操作流程的流程图。

具体实施方式

下面将参考附图详细描述示例性实施例。以下示例性实施例并非旨在限制本发明。尽管在示例性实施例中描述了多个特征，但是并非所有多个特征对于本发明都是必不可少的，并且可以将多个特征可选地组合在一起。此外，在附图中，相同或类似的组件由相同的参考数字标出，并且不重复地描述。

首先，将描述太赫兹波。通常，太赫兹波是具有从0.2thz到30thz的范围中的任何频率带的无线电波。太赫兹波具有比可见光和红外光的波长长的波长，因此不太可能受到从被照体的散射的影响，并且因此具有高的透过许多物质的特性。太赫兹波具有比毫米波的波长短的波长，因此使得能够获得高的空间分辨率。利用这些特征，期望太赫兹波被应用到安全成像技术以代替x射线技术。具体地，期望太赫兹波被应用到的成像技术是公共场所中的安全检查或监视相机。下面将给出可应用到期望太赫兹波被应用到的安全检查或监视相机的太赫兹波相机系统的描述。

当使用有源太赫兹波相机系统捕获在覆盖物(coveringobject)下面具有隐藏物(concealedobject)的被照体时，发射的太赫兹波的一部分可以从覆盖物反射。作为结果，可以获得其中基于从不想要的界面反射的太赫兹波的信息(即，噪声)叠加在关于隐藏物的信息上的图像。

被照体的表面具有复杂的形状并且针对每个被照体不同。换句话说，被照体具有多个反射表面的组合。因此，针对被照体的每个反射表面，对于反射表面用作光源的照明单元与检测单元之间的位置关系可能改变。在被照体移动的情况下，被照体的朝向随时改变，因此，根据朝向的改变，对于形成被照体的反射表面用作光源的照明单元与检测单元之间的位置关系可能随时改变。由于位置关系的这样的改变，可能入射从被照体反射的太赫兹波当中不想要的反射的太赫兹波，并且可能获得具有大量的噪声的图像。

(第一示例性实施例)

图1是图示根据第一示例性实施例的太赫兹波相机系统100的配置的图。太赫兹波相机系统100至少包括照明单元101、检测单元102、控制单元103和图像处理单元105。太赫兹波相机系统100可以包括可视相机109。照明单元101向被照体106发射太赫兹波。检测单元102检测从被照体106反射的太赫兹波。太赫兹波相机系统100是有源相机系统。

被照体106是例如人或物体。根据本示例性实施例的被照体106至少具有隐藏物106a和覆盖物106b。覆盖物106b覆盖物体。例如，覆盖物106b是人穿戴的东西，诸如衣服或可穿戴物，即，覆盖人的东西。例如，覆盖物106b是覆盖物体的东西，诸如波纹纤维板、封套或包装材料。隐藏物106a是由覆盖物106b覆盖的物体。隐藏物106a的示例包括危险物品(诸如火器或炸药)、装饰品或珠宝、或小装置(诸如智能电话)。隐藏物106a的示例是要被容纳在覆盖物106b内部的物体。在本示例性实施例中，被照体106是人，并且处于被照体106将诸如枪或刀的隐藏物106a藏在作为衣服的覆盖物106b下面的状态。然而，被照体106的示例不限于此，并且可以包括一封邮件，其中作为武器或炸药的隐藏物106a被藏在作为包装材料(诸如波纹纤维板或封套)的覆盖物106b中。

照明单元101至少包括发送单元101a和设置在与发送单元101a的位置不同的位置的发送单元101b。发送单元101a发射太赫兹波107a，并且发送单元101b发射太赫兹波107b。图1图示了其中照明单元101除了发送单元101a和101b之外还包括发送单元101c和101d的示例。照明单元101中包括的发送单元的数量不限于此，并且可以包括单个发送单元或多个发送单元。下面将详细描述发送单元101a等的配置。太赫兹波107a和107b被发射到被照体106。

通常，照明单元101使用的太赫兹波的频带落在从0.2thz到30thz的范围内。太赫兹波的频带可以具有任何频率带，或者可以是单个频率。1thz或者更小的太赫兹波具有足够高的透过衣服(其是可设想的覆盖物106b)的特性。为了获得能够识别隐藏物106a的形状的图像分辨率，期望使用0.3thz或者更大的太赫兹波。因此，根据本示例性实施例的太赫兹波的频带在0.2thz或者更大且30thz或者更小、优选地0.3thz或者更大且1thz或者更小的频率范围中。

检测单元102是太赫兹波相机，其获取来自被照体106的反射的太赫兹波的二维分布。在日本专利特开no.2019-105622中讨论了检测单元102的配置的细节。检测单元102包括接收太赫兹波的接收单元102a。例如，接收单元102a包括多个接收元件，并且多个接收元件中的每一个对太赫兹波具有灵敏度。例如，接收元件包括肖特基(schottky)势垒二极管和天线。

检测单元102检测反射的太赫兹波108a或108b中的至少一个，并且将反射的太赫兹波作为图像数据输出。反射的太赫兹波108a包括从被照体106反射的太赫兹波107a的至少一部分。反射的太赫兹波108b包括从被照体106反射的太赫兹波107b的至少一部分。反射的太赫兹波108a可以是来自被照体106的隐藏物106a的反射波，并且反射的太赫兹波108b可以是来自被照体106的覆盖物106b的反射波。根据本示例性实施例的接收单元102a可以主要接收和检测反射的太赫兹波108a。

图像处理单元105处理从检测单元102输出的图像数据，由此产生太赫兹图像。图像处理单元105基于产生的太赫兹图像进行期望的确定，并且将确定结果输出到控制单元103。具体地，图像处理单元105包括中央处理单元(cpu)和图形处理单元(gpu)。

控制单元103控制照明单元101和检测单元102的操作。此外，控制单元103基于从图像处理单元105发送的太赫兹图像或确定结果控制照明单元101的操作。更具体地，控制单元103控制发送单元101a至101d分别改变太赫兹波107a、太赫兹波107b、太赫兹波107c和太赫兹波107d。

现在参考图10a至10c，将描述根据本示例性实施例的太赫兹波相机系统100。如上所述，对于安全检查和监视相机，需要捕获被照体并且检查被照体是否在覆盖物(例如，衣服或包装)下面包括隐藏物(例如，危险物品(诸如火器或炸药)、装饰品或珠宝、或小装置(诸如智能电话))。本发明人通过详细研究已发现，由太赫兹波相机系统获取的图像是其中基于多个反射的太赫兹波的图像彼此叠加的图像。

包括太赫兹波的电磁波具有以下特性。如果电磁波被发射到等于或小于电磁波的波长的凹凸结构，那么电磁波不在凹凸结构的表面上散射，并且从凹凸结构的表面镜面反射。换句话说，对于某一电磁波，小于电磁波的波长的凹凸结构可以是镜面表面。例如，人体的皮肤表面的凹凸结构和金属表面的凹凸结构小于太赫兹波的波长。因此，对于太赫兹波，人的皮肤表面或金属表面可以是镜面表面。太赫兹波的一部分透过用于衣服的布材料或包装材料(诸如波纹纤维板或封套)，并且太赫兹波的一部分从布材料或包装材料反射。因此，在使用太赫兹波观察将物体隐藏在作为覆盖物的衣服下面的人的情况下，基于来自衣服的反射的太赫兹波的图像、基于来自物体的反射的太赫兹波的图像以及基于来自人的反射的太赫兹波的图像彼此叠加。

图10a是图示其中多个太赫兹波反射图像彼此叠加的状态并且用于描述本示例性实施例的图像示图。被照体1092是在覆盖物1093下面具有与其一起的物体(例如，隐藏物1094)的人。在这种情况下，获得图像1091作为太赫兹图像。图像1091是其中从覆盖物1093导出的图像、从隐藏物1094导出的图像以及从人的皮肤表面导出的图像彼此叠加的图像。如果关注隐藏物1094，那么除隐藏物1094的图像以外的图像叠加在隐藏物1094的图像上，因此可能难以识别隐藏物1094。

图10b是图示多个太赫兹波反射图像的叠加并且用于描述本示例性实施例的示意图。图10b示意性地图示了图10a中示出的被照体1092以及图1中示出的太赫兹波相机系统100的主要部分。参考图10b，将给出其中反射图像彼此叠加的情况的示例的描述。

如图10a中所示，被照体1092具有与其一起的隐藏物1094和覆盖物1093。在x方向上，覆盖物1093位于隐藏物1094与发送单元101a和101b之间。图10b图示了太赫兹波的指向轴。太赫兹波的指向轴将在下面描述。

发送单元101a发射太赫兹波117a，并且发送单元101b发射太赫兹波117b。太赫兹波117a的大部分透过覆盖物1093，并且从隐藏物1094的表面1094a反射。太赫兹波117a变成反射的太赫兹波118a，并且反射的太赫兹波118a由接收单元102a检测。太赫兹波117b的大部分从覆盖物1093的表面1093a反射。太赫兹波117b变成反射的太赫兹波118b，反射的太赫兹波118b由接收单元102a检测。太赫兹波117a和117b中的每一个不限于其全部被反射和透射的太赫兹波，并且太赫兹波的一部分可以被反射和透射。太赫兹波117a和117b中的每一个的一部分可以衰减，或者可以被吸收。由接收单元102a检测的太赫兹波是反射的太赫兹波118a和118b之和，并且包括关于覆盖物1093和隐藏物1094的信息。因此，获取如图10a中所示的图像1091。太赫兹波117a的一部分从覆盖物1093的表面1093a反射并且变成反射的太赫兹波119a，但是反射的太赫兹波119a没有入射在接收单元102a上，因此省略其描述。

为了获取隐藏物1094的图像，期望仅检测反射的太赫兹波118a。即，图像1091包括作为噪声(诸如覆盖物1093)的信息，并且是不清晰的图像。作为响应，在图1中所示的根据本示例性实施例的太赫兹波相机系统100中，控制单元103执行使发送单元101b的输出小于发送单元101a的输出或者使发送单元101b停止的控制。这样的控制使得能够减少变成噪声的反射的太赫兹波108b。

根据本示例性实施例的太赫兹波相机系统100具有包括设置在不同位置的多个发送单元、单个接收单元以及控制单元的配置。替代地，配置包括单个发送单元、设置在不同位置的多个接收单元以及控制单元。还替代地，配置包括设置在不同位置的多个接收单元、设置在不同位置的多个发送单元以及控制单元。利用太赫兹波相机系统100的这样的配置，可以减少变成噪声的反射的太赫兹波108b。因此，相机系统100可以获得其中彼此叠加的图像减少并且噪声减少的图像。

图10c图示了从图1中所示的四个发送单元101a至101d中的每一个发射的太赫兹波的波束图案(发射图案)。如图1中所示，发送单元101a发射太赫兹波107a，并且发送单元101b发射太赫兹波107b。发送单元101c发射太赫兹波107c，并且发送单元101d发射太赫兹波107d。太赫兹波107a至107d的指向轴分别由太赫兹波117a至117d指示。如上所述，图10b中所示的太赫兹波117a和117b指示指向轴。指向轴是来自发送单元的太赫兹波的指向特性的中心轴。例如，指向轴是指示具有最高强度的太赫兹波被从发送单元发射的方向的直线。例如，可以如下获得指向轴。创建以发送单元的重心为中心并且具有不同半径的多个同心球。对于每个球面确定太赫兹波具有高强度的位置，并且这些位置连接在一起。因此，可以获得指向轴。指向轴也可以通过模拟获得。尽管图10b中的太赫兹波由指向轴指示，但是图10b中的太赫兹波是具有如图10c中所示的扩展的电磁波。

返回参考图1，将详细描述根据本示例性实施例的控制单元103的操作。控制单元103控制照明单元101的操作。根据来自控制单元103的控制信号，照明单元101的发送单元101a至101d可以改变发送单元101a至101d的输出和操作。接下来，将详细描述控制单元103的控制。为了便于理解，将基于控制单元103控制两个发送单元101a和101b的假设给出以下描述。然而，可以由控制单元103控制的发送单元的数量不限于此。

控制单元103可以至少执行以下三种类型的控制。控制单元103可以执行用于使得发送单元101a操作并且使发送单元101b停止的控制。控制单元103使发送单元101a进入发送单元101a发射太赫兹波107a的状态。控制单元103使发送单元101b进入发送单元101b不发射太赫兹波107b的状态。可以说，控制单元103可以执行用于使发送单元101a进入发射状态并且使发送单元101b进入非发射状态的控制。控制单元103可以执行用于使发送单元101a停止并且使得发送单元101b操作的控制。控制单元103使发送单元101a进入发送单元101a不发射太赫兹波107a的状态。控制单元103使发送单元101b进入发送单元101b发射太赫兹波107b的状态。可以说，控制单元103可以执行用于使发送单元101a进入非发射状态并且使发送单元101b进入发射状态的控制。即，控制单元103可以执行用于切换照明单元101的输出的存在或不存在的控制。在下文中，操作状态也将被称为“打开(on)状态”，并且停止状态也将被称为“关闭(off)状态”。

操作或发射状态是发送单元发射太赫兹波的状态。停止或非发射状态是发送单元不发射太赫兹波的状态。如果发送单元101b处于非发射状态，例如，那么可以停止向发送单元101b供应电源电压。如果发送单元101b处于非发射状态，那么可以关闭用于控制是否要从发送单元101b发射太赫兹波107b的开关。替代地，可以在发送单元101b的指向轴方向上提供用于在发送单元101b处于非发射状态时阻挡太赫兹波107b的诸如快门的阻挡物。

控制单元103还可以执行用于调整照明单元101的输出的控制。照明单元101包括发送太赫兹波的发送元件，并且可以通过改变发送元件的电压或电流的操作点来调整照明单元101的输出。替代地，如果照明单元101包括多个发送元件，那么可以通过控制要操作的发送元件的数量来调整照明单元101的输出。可以使用能够检测太赫兹波的检测装置或者使用相机系统100的检测单元102检查输出的改变。也可以通过用于监视照明单元101的操作点的方法来检查输出的改变。

例如，控制单元103可以执行用于使发送单元101a的输出强于发送单元101b的输出的控制。控制单元103可以执行用于使发送单元101a的输出弱于发送单元101b的输出的控制。控制单元103可以执行使发送单元101a的输出等于发送单元101b的输出的控制。

控制单元103可以执行用于减小发送单元101a的输出与发送单元101b的输出之间的差的控制。控制单元103可以执行用于增大发送单元101a的输出与发送单元101b的输出之间的差的控制。控制单元103可以执行用于使发送单元101a的输出与发送单元101b的输出之间的差保持恒定、并且还改变发送单元101a的输出和发送单元101b的输出的控制。

如上所述，可以由控制单元103控制的发送单元的数量不限于此描述。换句话说，在多个发送单元当中，控制单元103可以使得特定发送单元操作、使特定发送单元停止、以及切换特定发送单元的输出。在多个发送单元当中，控制单元103可以使得属于特定组的发送单元操作、使属于特定组的发送单元停止、以及切换属于特定组的发送单元的输出。控制单元103由此控制照明单元101的操作，从而减少不想要的反射的太赫兹波。因此，可以获取噪声减少的图像。

控制单元103基于从图像处理单元105输出的信息执行照明单元101的这样的控制。接下来，将描述图像处理单元105的操作。

图像处理单元105基于从检测单元102输出的图像数据产生太赫兹图像。图像处理单元105基于太赫兹图像确定被照体106的形状或类型。如图1中所示，太赫兹波相机系统100可以包括可视相机109，并且图像处理单元105可以将太赫兹图像与来自可视相机109的可视图像进行对比以确定被照体106的形状。可视图像(例如，图9a至9c中所示的可视图像944)包括形状信息。参考这个确定结果，控制单元103控制照明单元101。参考图9a至9c，将描述图像处理单元105的配置。

图9a是图示图像处理单元105的配置的示例的图。根据本示例性实施例的图像处理单元105包括图像产生单元942和确定单元945。图像产生单元942将从检测单元102输出的图像数据941转换成太赫兹图像943。图像数据941是未处理的图像数据。未处理的图像数据是从检测单元102的图像传感器输出的没有改变的数据，并且也被称为“原始数据”。太赫兹图像943是通过将图像数据941转换成适合于后处理的记录格式而获得的数据。确定单元945参考太赫兹图像943确定检测单元102正在观察的目标。在本示例性实施例中，在确定中使用已经受后处理的太赫兹图像943。替代地，也可以使用图像数据941进行确定。在下文中，还包括使用太赫兹图像的情况的确定有时将被称为“基于图像数据进行确定”。

在确定中，例如，计算来自可视相机109的覆盖物106b(参见图1)的可视图像944与太赫兹图像943之间的全部或部分匹配或者相关性。确定单元945确定关于隐藏物106a和覆盖物106b的各条信息中的哪一条具有较大的量、以及正在观察隐藏物106a和覆盖物106b中的哪一个。图像处理单元105将确定结果946传递给控制单元103。控制单元103检查要被观察的物体的指定和确定结果946是否匹配。如果指定和确定结果946不匹配，那么控制单元103控制照明单元101。

图9b是图示图像处理单元105的配置的另一个示例的图。图像处理单元105包括图像产生单元942、确定单元945和数据库947。即，图9b中的图像处理单元105除了图9a中的图像处理单元105的配置之外还包括数据库947。在图9b的配置中，可视相机109也可以被省略。

数据库947存储在例如装置中的存储器空间、网络上的服务器或存储介质中。数据库947存储包括关于被照体106的形状数据的模型图像信息。具体地，数据库947存储预先获取的被照体106的太赫兹图像和太赫兹图像的条件。数据库947存储通过处理太赫兹图像获得的信息(边缘增强图像)。在图9b的配置中，确定单元945使用存储在数据库947中的太赫兹图像和由检测单元102获取的太赫兹图像943进行确定。由于可视图像是被照体106的外观图像，因此可视图像944主要包括关于覆盖物106b的信息。因此，在使用可视图像944和太赫兹图像943进行确定的情况下，可以确定由太赫兹图像943表示的图像是否是覆盖物106b。在使用数据库947中的太赫兹图像和太赫兹图像943进行确定的情况下，可以确定由太赫兹图像943表示的图像是否是隐藏物106a。替代地，数据库947可以具有可视图像。在这种情况下，容易省略可视相机109。存储在数据库947中的信息不限于形状信息。例如，数据库947可以存储预先创建的用于在确定中使用的基于统计处理的分类过滤器、用于在确定中使用的经训练的机器学习模型、以及用于在机器学习中使用的数据组(数据集)。在本示例性实施例中，存储在数据库947中的这些条信息也被称为“形状数据”。

图9c是图示图像处理单元105的配置的另一个示例的图。图9c中的图像处理单元105包括人工智能(ai)。图像处理单元105包括图像产生单元942、数据库947和ai单元948。具体地，图9c中的图像处理单元105的ai单元948代替图9b中的图像处理单元105的确定单元945。

ai单元948具有经训练的机器学习模型。例如，基于关于存储在数据库947中的包括形状信息的图像信息的数据集构造经训练的机器学习模型。使用经训练的机器学习模型，图像处理单元105可以确定太赫兹图像943是隐藏物106a还是覆盖物106b。ai单元948可以具有深度学习功能。通常，机器学习模型需要监督数据，操作者利用该监督数据指示要关注的特征。然而，ai单元948具有深度学习功能使得可以自动提取特征。ai单元948具有深度学习功能，使得图像处理单元105的确定准确度根据数据集的数量的增加而提高。

特别地，深度学习功能的使用适合于学习太赫兹图像943。可视图像944通过可视相机109对来自被照体106的散射光进行检测并成像来获得。作为对比，太赫兹图像943通过对由检测单元102检测的来自被照体106的镜面反射光进行成像来获得。通过仅对已到达检测单元102的反射的太赫兹波进行成像来获得太赫兹图像943，使得仅被照体106的片段形状(fragmentaryshape)被成像。到达检测单元102之前的镜面反射光的光路根据被照体106的朝向而改变。因此，片段形状的图像根据被照体106的朝向而改变。使用深度学习功能的确定对于从片段信息估计和确定被照体106是有用的。

现在参考图12a，在步骤s1201中，初始设定图像捕获条件。图像捕获条件是照明单元101或检测单元102的控制序列。在本文中，图像捕获条件至少包括图12b中所示的条件1231、1232和1233。在条件1231下，使得发送单元101a操作，并且使发送单元101b停止。在条件1232下，使发送单元101a停止，并且使得发送单元101b操作。在条件1233下，使发送单元101a的输出增加，并且使发送单元101b的输出减少。在一个条件下，在使得发送单元101a操作之后，可以使发送单元101a停止，并且可以使发送单元101b操作。可以预先提供另一个条件，但是条件的改变量也可以由图像处理单元105适当地设定。在这种情况下，在步骤s1201中，通过选择条件1231来设定图像捕获条件。

接下来，在基于条件1231的图像捕获条件下捕获图像。在步骤s1202中，获取图像数据。基于图像数据，产生太赫兹图像。在步骤s1203中，进行期望的确定，诸如确定太赫兹图像中包括的信息是否主要包括基于覆盖物106b的信息，或者太赫兹图像是否包括与形状数据匹配的隐藏物106a。这里，使用形状数据1210，确定太赫兹图像是否包括与形状数据1210匹配的隐藏物106a。在步骤s1203中的确定中，如果太赫兹图像不包括与形状数据1210匹配的隐藏物106a(步骤s1203中为“否”)，那么操作返回到步骤s1201。在步骤s1201中，选择另一个条件，例如条件1232，作为图像捕获条件，并且再次获取图像数据。在步骤s1203中的确定中，如果太赫兹图像主要包括关于与形状数据1210匹配的隐藏物106a的信息，那么图像的捕获结束。可以指定用于减少噪声的图像捕获条件，因此可以获取具有减少的噪声的图像。

接下来，在步骤s1303中的确定中，如果太赫兹图像主要包括关于与形状数据1332匹配的隐藏物106a的信息(步骤s1303中为“是”)，那么处理前进到步骤s1304。在步骤s1304中，记录在确定中使用的太赫兹图像的图像捕获条件。这个记录可以作为条件1333保持。也可以说条件1333是实际图像捕获条件。

接下来，在时段1313中的步骤s1305中，设定图像捕获条件。选择条件1333作为图像捕获条件。如果图像捕获条件没有变化，那么图像捕获条件不改变。在步骤s1306中，获取图像数据。这样的处理使得能够获取具有减少的噪声的图像数据。

当太赫兹波相机系统100被安装时，可以执行时段1311和1312中的操作，然后在随后的正常操作中，可以执行时段1313中的操作。替代地，可以在正常操作中重复时段1311至1313中的操作。

接下来，图5是图示根据本示例性实施例的太赫兹波相机系统100的详细操作的流程图。这里，将描述用于观察隐藏物106a的操作的示例。图5中的流程与图13中的流程对应。

这个示例中的操作流程至少包括时段531、532和533。即，操作包括时段531中的步骤s501、时段532中的步骤s504以及时段533中的步骤s509。每次执行步骤s501、s504和s509中的每一个时，装置的操作就切换。

时段531中的太赫兹波相机系统100的操作模式是图像捕获条件调整模式。在时段531中，控制单元103根据下面描述的装置的控制序列将照明单元101和检测单元102的图像捕获条件设定为预定的条件。

时段532中的太赫兹波相机系统100的操作模式是被照体确定处理模式。在时段532中，图像处理单元105基于在时段531中设定的图像捕获条件下捕获的被照体106的图像进行确定。在时段532中，基于确定结果，图像处理单元105确定将执行太赫兹波相机系统100的实际图像捕获的图像捕获条件(也称为“实际图像捕获条件”)。

时段533中的太赫兹波相机系统100的操作模式是实际图像捕获模式。在时段533中，控制单元103执行用于在时段531和532中确定的图像捕获条件下执行被照体106的实际图像捕获的控制。例如，至少从步骤s501至步骤s502的操作可以在太赫兹波相机系统100的待机时段中执行，并且至少步骤s509可以在太赫兹波相机系统100的图像捕获时段中执行。即，太赫兹波相机系统100的待机时段可以与时段531和532重叠，并且太赫兹波相机系统100的图像捕获时段可以与时段533重叠。

下面将描述详细流程。如果太赫兹波相机系统100的操作开始，那么在步骤s501中，操作前进到时段531。在时段531中，在步骤s502中，基于条件534下的控制序列，控制单元103控制太赫兹波相机系统100的组件。控制单元103控制照明单元101。控制单元103控制从发送单元101a发射的太赫兹波107a和从发送单元101b发射的太赫兹波107b。这里，描述了其中控制单元103控制发送单元101a和101b并且控制分别从发送单元101a和101b发射的太赫兹波107a和107b的示例。然而，控制单元103的控制目标不限于这些。控制单元103可以仅控制单个发送单元101a。例如，根据本示例性实施例的控制单元103还可以控制发送单元101c和101d并且控制分别从发送单元101c和101d发射的太赫兹波107c和107d。在条件534下的控制序列中，存储多个图像捕获条件和执行图像捕获条件的次序。基于控制序列的图像捕获条件，图1中的控制单元103控制从照明单元101发射的太赫兹波。例如，在条件534下的控制序列中，存储分别从发送单元101a至101d发射的太赫兹波107a至107d的组合、功率和次序。

在时段531中，在步骤s503中，检测单元102测量太赫兹波108a和108b。太赫兹波相机系统100获取从检测单元102输出的图像数据535。图像处理单元105将图像数据535转换成图9a至9c中所示的太赫兹图像943。

在获取图像数据535之后，然后在步骤s504中，操作前进到时段532。在时段532中，基于获取的图像数据535，确定要在操作将前进到的时段533中应用的图像捕获条件(实际图像捕获条件)。要在这个实际图像捕获中使用的图像捕获条件被称为“条件537”。在条件537中，记录要在时段533中使用的关于发送单元101a的太赫兹波107a的控制信息和关于发送单元101b的太赫兹波107b的控制信息。此外，在本示例性实施例中，在条件537中，还记录关于分别从发送单元101c和101d发射的太赫兹波107c和107d的控制信息。记录为根据本示例性实施例的条件537并且要在实际图像捕获中使用的图像捕获条件包括从发射状态和非发射状态对分别从发送单元101a、101b、101c和101d产生的太赫兹波107a、107b、107c和107d的操作的选择。基于下面描述的图像处理单元105的确定由图像处理单元105确定条件537。下面将描述时段532中的详细操作流程。

在步骤s505中，图像处理单元105提取类似性或相关性。具体地，图像处理单元105提取从图像数据535获得的太赫兹图像943与形状数据536之间的类似性或相关性中的至少一个。例如，形状数据536是来自可视相机109的可视图像944。例如，形状数据536是存储在数据库947中的信息。在本示例性实施例中，图像处理单元105提取被照体106与覆盖物106b之间的类似性或相关性。

接下来，在步骤s506中，使用提取的结果确定太赫兹图像943是否是隐藏物106a。例如，在本示例性实施例中，如果关于太赫兹图像943的信息与形状数据536中包括的覆盖物106b具有低类似性或低相关性，那么确定太赫兹图像943是隐藏物106a。如果确定太赫兹图像943是隐藏物106a，那么确定被照体106包括隐藏物106a。如果关于太赫兹图像943的信息与形状数据536中包括的覆盖物106b具有高类似性或高相关性，那么确定太赫兹图像943是覆盖物106b。实际图像捕获条件可以被存储为覆盖物106b的图像捕获条件。

如果确定被照体106包括隐藏物106a(步骤s506中为“是”)，那么在步骤s507中，在条件534下的控制序列中使用的图像捕获条件被记录为条件537(实际图像捕获条件)。在记录中，可以将条件534添加或更新到实际图像捕获条件。例如，如果用于确定隐藏物106a的图像捕获条件没有包括在作为条件537的实际图像捕获条件中，那么将条件534添加到条件537。如果期望的图像捕获条件已经被记录在作为条件537的实际图像捕获条件中，那么不执行任何操作。如果与期望的图像捕获条件不同的图像捕获条件(诸如覆盖物106b的图像捕获条件)被记录在作为条件537的实际图像捕获条件中，那么这个图像捕获条件被更新和校正。在本示例性实施例中，隐藏物106a被确定为被照体106。替代地，可以确定覆盖物106b。

在步骤s508中，检查条件534下的控制序列是否结束。如果控制序列没有结束(步骤s508中为“否”)，那么操作返回到时段531。如果控制序列结束(步骤s508中为“是”)，那么在步骤s509中，操作前进到时段533中的实际图像捕获模式。

在时段533中，在时段531和532中确定的图像捕获条件下，执行被照体106的实际图像捕获。在步骤s510中，基于作为条件537的实际图像捕获条件，控制单元103控制从发送单元101a发射的太赫兹波107a和从发送单元101b发射的太赫兹波107b。

在本示例性实施例中，根据条件537控制发送单元101a、101b、101c和101d。例如，仅使有助于观察隐藏物106a的太赫兹波进入发射状态。如果有助于观察隐藏物106a的太赫兹波仅是反射的太赫兹波108a，那么控制单元103使发送单元101a进入发射状态。太赫兹波107a被发射到被照体106。在步骤s511中，在这种状态下，太赫兹波相机系统100获取太赫兹图像。在这样的图像捕获条件下捕获图像，因此减少了关于覆盖物106b的不想要的反射的太赫兹波。这便于获取关于隐藏物106a的图像，在该图像中关于覆盖物106b的信息减少。虽然在本示例性实施例中没有描述，但是在此之后指定隐藏物106a的情况下，也便于隐藏物106a的指定。

这样的处理的操作使得能够减少不想要的反射的太赫兹波。因此，可以获取具有减少的噪声的图像。

图6a和6b是图示由根据本示例性实施例的太赫兹波相机系统100获取的太赫兹图像的图像示图。被照体106的胸部附近的部分被设定为观察区域641。仅使有助于观察隐藏物106a的太赫兹波进入发射状态，使得获取如图6a中所示的隐藏物106a的太赫兹图像642。作为对比，在被照体106的观察目标被设定为覆盖物106b的情况下，仅使有助于观察隐藏物106a的太赫兹波进入停止状态，使得获取如图6b中所示的强调覆盖物106b的太赫兹图像643的图像。在本示例性实施例中，太赫兹波的发射状态和停止状态被用作示例。替代地，控制单元103的操作的以上各种示例是可应用的。

根据本示例性实施例的配置，与传统地隐藏物106a和覆盖物106b彼此叠加的图像1091相比，获得了除感兴趣的观察目标以外的信息减少的太赫兹图像。这便于提高识别观察目标的能力。

发送单元101a包括壳体200。多个发送元件211a、211b、211c和211d中的每一个安装在壳体200的支撑基板201上。发送单元101a包括控制电路202。控制电路202被提供在壳体200中。在本示例性实施例中，控制电路202被提供在形成壳体200的外形的表面中的一个上。控制电路202电连接到控制单元103，并且根据来自控制单元103的控制信号控制多个发送元件211a、211b、211c和211d的操作。也可以说，壳体200包括多个发送元件211a、211b、211c和211d以及控制电路202。

发送元件211a、211b、211c和211d中的每一个通过以阵列设置单位格子而获得，这些单位格子包括在太赫兹波范围中具有增益的元件(晶体管和二极管)和用作外部谐振电路的天线。具有增益的可用元件的示例包括谐振隧穿二极管(rtd)。对于这种情况下的详细配置，可以参考日本专利特开no.2014-200065。

多个发送元件211a、211b、211c和211d线性地或二维地布置。图1中的太赫兹波107a是图2a中的一组太赫兹波207a、207b、207c和207d，并且太赫兹波107a的形状根据多个发送元件211a、211b、211c和211d的布置而不同。例如，在图1中，在与平面p1平行并且在发射方向上远离平面p1的虚拟平面上的太赫兹波107a的形状是一维或者二维形状。由于太赫兹波不太可能在皮肤表面上散射，因此多个太赫兹波发送元件的平面(二维)布置以及以各种角度发射太赫兹波对于捕获被照体的形状的目的是有效的。因此，发送元件的布置被适当地设定，使得可以产生具有一维或者二维波束形状的太赫兹波。发送元件的平面布置使得太赫兹波能够以多个入射角度入射在被照体上的观察点上。作为结果，发射角度不同的多个太赫兹波从观察点发射。这便于增加来自观察点的太赫兹波的光线到达相机的镜头的概率。换句话说，发送元件的平面布置使得能够从被照体上的观察点发射模拟的太赫兹波的散射光。这样的照明单元101可以以各种角度向被照体106发射太赫兹波。这对于使用太赫兹波相机捕获被照体106的形状的目的是有效的。

图2b是图示发送单元101b的配置的示例的图。发送单元101b包括发送元件311a和设置在与发送元件311a的位置不同的位置的发送元件311b。在本示例性实施例中，发送单元101b还包括发送元件311c和311d。发送元件311a发射太赫兹波307a，发送元件311b发射太赫兹波307b，发送元件311c发射太赫兹波307c，并且发送元件311d发射太赫兹波307d。假设发送元件311a、311b、311c和311d分别从其发射太赫兹波307a、307b、307c和307d的平面被定义为平面p2。发送单元101b中包括的发送元件的数量不限于此。发送单元101b包括壳体300。发送元件311a、311b、311c和311d中的每一个安装在壳体300的支撑基板301上。多个发送元件311a、311b、311c和311d连接到控制单元103，并且多个发送元件311a、311b、311c和311d的操作被控制。发送单元101b的详细配置和布置与发送单元101a的类似，因此省略其描述。

在本示例性实施例中，已描述了用于获得被照体106的隐藏物106a的图像的处理。替代地，覆盖物106b也可以被选择为目标物。即，在包括多个界面的被照体中，也可以减少基于在除界面中的任何一个之外的界面上发生的反射的太赫兹波的图像。

在本示例性实施例中，确定是否可以检测到被照体的形状。替代地，可以确定是否包括大于规定值的噪声成分。噪声成分的示例包括不想要的反射的太赫兹波。噪声成分可以通过预先测量来检测，并且可以设定规定值。

根据本示例性实施例的太赫兹波相机系统使得能够获取具有减少的噪声的太赫兹图像。

(第二示例性实施例)

将参考图3a和3b描述根据第二示例性实施例的太赫兹波相机系统。根据本示例性实施例的太赫兹波相机系统与根据第一示例性实施例的相机系统100的不同在于控制单元103的控制目标。在本示例性实施例的描述中，没有描述与第一示例性实施例中类似的部分。

图3a是图示根据本示例性实施例的照明单元101中包括的发送单元101a的配置的示例的图。如在图2a中所示的根据第一示例性实施例的发送单元101a中那样，发送单元101a包括多个发送元件211a、211b、211c和211d。发送元件211a发射太赫兹波207a，发送元件211b发射太赫兹波207b，发送元件211c发射太赫兹波207c，并且发送元件211d发射太赫兹波207d。假设发送元件211a、211b、211c和211d分别从其发射太赫兹波207a、207b、207c和207d的平面被定义为平面p1。发送单元101a中包括的发送元件的数量不限于此。

发送单元101a包括壳体200。多个发送元件211a、211b、211c和211d中的每一个安装在壳体200的支撑基板201上。与图2a中的发送单元101a不同，图3a中的发送单元101a不包括图2a中所示的控制电路202。控制单元103电连接到多个发送元件211a、211b、211c和211d，并且控制多个发送元件211a、211b、211c和211d的操作。发送单元101a的其它部分的操作和详细配置与图2a中的类似，因此不再描述。

图3b是图示根据本示例性实施例的照明单元101中包括的发送单元101b的配置的示例的图。如在图2b中所示的根据第一示例性实施例的发送单元101b中那样，根据本示例性实施例的发送单元101b包括多个发送元件311a、311b、311c和311d。发送元件311a发射太赫兹波307a，发送元件311b发射太赫兹波307b，发送元件311c发射太赫兹波307c，并且发送元件311d发射太赫兹波307d。假设发送元件311a、311b、311c和311d分别从其发射太赫兹波307a、307b、307c和307d的平面被定义为平面p2。发送单元101b中包括的发送元件的数量不限于此。

发送单元101b包括壳体300。多个发送元件311a、311b、311c和311d中的每一个安装在壳体300的支撑基板301上。与图2b中的发送单元101b不同，图3b中的发送单元101b不包括图2b中所示的控制电路302。控制单元103电连接到多个发送元件311a、311b、311c和311d，并且控制多个发送元件311a、311b、311c和311d的操作。发送单元101b的其它部分的操作和详细配置与发送单元101a的类似，因此不再描述。

根据第一示例性实施例的控制单元103的控制目标是包括在照明单元101中的发送单元101a、101b、101c和101d(参见图1)。作为对比，在本示例性实施例中，控制单元103还可以控制包括在发送单元101a、101b、101c和101d中的多个发送元件。根据本示例性实施例的配置，可以以更微细的准确度控制有助于观察期望的目标物的太赫兹波。因此，太赫兹图像的信噪比(snr)增加，从而便于提高识别观察目标的能力。可以简化照明单元101的配置。

(第三示例性实施例)

将参考图4描述根据第三示例性实施例的太赫兹波相机系统400。在本示例性实施例中，太赫兹波相机系统400与根据第一示例性实施例的相机系统100的不同在于检测单元102的配置和控制单元的配置。在本示例性实施例的描述中，没有描述与第一示例性实施例中类似的部分。

图4是图示根据本示例性实施例的太赫兹波相机系统400的配置的图。太赫兹波相机系统400至少包括照明单元101、检测单元102、控制单元103、控制单元424和图像处理单元105。照明单元101向被照体106发射太赫兹波。检测单元102检测从被照体106反射的太赫兹波。被照体106的配置与第一示例性实施例中的类似，因此不再描述。太赫兹波相机系统400包括可视相机109。除了根据第一示例性实施例的相机系统100的配置之外，太赫兹波相机系统400还包括控制单元424。

根据本示例性实施例的太赫兹波相机系统400与根据第一示例性实施例的相机系统100的不同在于检测单元102的配置。检测单元102至少包括接收单元102a和设置在与接收单元102a的位置不同的位置的接收单元102b。接收单元102a检测太赫兹波，接收单元102b接收并且检测太赫兹波。图4图示了其中检测单元102除了接收单元102a和102b之外还包括接收单元102c和102d的示例。检测单元102中包括的接收单元的数量不限于此。

如在第一示例性实施例中那样，控制单元103控制照明单元101的操作。控制单元424控制检测单元102的操作。在本示例性实施例中，控制单元103和424彼此通信并且分别控制照明单元101和检测单元102的操作。替代地，图像处理单元105可以是控制相机系统400的整体的整体控制单元。控制单元424控制接收单元102a至102d的操作，并且控制基于接收的太赫兹波的各条图像数据的输出。

例如，图像处理单元105可以根据从接收单元102a输出的图像数据产生太赫兹图像，并且根据从接收单元102b输出的图像数据产生太赫兹图像。例如，图像处理单元105可以组合从两个接收单元102a和102b输出的两条图像数据以产生单个太赫兹图像。图像处理单元105的详细配置与第一示例性实施例中的类似，并且图9a中的图像产生单元942可以产生太赫兹图像。

现在参考图10a和11，描述根据本示例性实施例的太赫兹波相机系统400。图10a是图示其中多个太赫兹波反射图像彼此叠加的状态并且用于描述本示例性实施例的图像示图。图11是图示其中多个太赫兹波反射图像彼此叠加的状态并且用于描述本示例性实施例的示意图。图11示意性地图示了图10a中所示的被照体1092以及图4中所示的太赫兹波相机系统400的主要部分。将参考图11给出反射图像彼此叠加的情况的示例的描述。由于图11与在第一示例性实施例中描述的图10b对应，因此与图10b中所示的组件类似的组件由相同的符号标出，并且不再描述。

如图10a中所示，被照体1092包括隐藏物1094和覆盖物1093。在x方向上，覆盖物1093位于隐藏物1094与接收单元102a和102b之间。图10c图示了太赫兹波的指向轴。指向轴如第一示例性实施例中所述。

发送单元101a发射太赫兹波117a。太赫兹波117a的一部分从覆盖物1093的表面1093a反射，并且太赫兹波117a的另一部分从隐藏物1094的表面1094a反射。太赫兹波117a的一部分变成反射的太赫兹波118a，并且反射的太赫兹波118a由接收单元102a检测。太赫兹波117a的另一部分变成反射的太赫兹波118b，并且反射的太赫兹波118b由接收单元102b检测。太赫兹波117a的一部分可以衰减，或者可以被吸收。由接收单元102a检测的反射的太赫兹波118a包括关于隐藏物1094的信息，并且由接收单元102b检测的反射的太赫兹波118b包括关于覆盖物1093的信息。如果基于分别由两个接收单元102a和102b检测的反射的太赫兹波118a和118b产生图像，那么产生如图10a中所示的图像1091，在该图像1091中覆盖物1093和隐藏物1094彼此叠加。

为了获取隐藏物1094的图像，期望仅检测反射的太赫兹波118a。即，图像1091包括作为噪声(诸如覆盖物1093)的信息，并且是不清晰的图像。作为响应，在图4中所示的根据本示例性实施例的太赫兹波相机系统400中，控制单元424执行用于使接收单元102a的输出大于接收单元102b的输出或者使接收单元102b停止的控制。通过执行这样的控制，可以减少变成噪声的反射的太赫兹波108b。这使得太赫兹波相机系统400能够获得其中彼此叠加的图像减少并且噪声减少的图像。

此外，在图4中所示的根据本示例性实施例的太赫兹波相机系统400中，控制单元103可以如第一示例性实施例中描述的那样控制照明单元101的操作。因此，照明单元101和检测单元102都被控制，使得获取具有减少的噪声的太赫兹图像。

将详细描述控制单元424的控制。为了便于理解，将在控制单元424控制两个接收单元102a和102b的假设下给出以下描述。然而，可以由控制单元424控制的接收单元的数量不限于此。

控制单元424可以至少执行以下三种类型的控制。控制单元424可以执行用于开始从接收单元102a输出图像数据并且停止从接收单元102b输出图像数据的控制。控制单元424可以执行用于停止从接收单元102a输出图像数据并且开始从接收单元102b输出图像数据的控制。控制单元424可以执行用于开始从接收单元102a输出图像数据和从接收单元102b输出图像数据的控制。即，控制单元424可以执行用于切换检测单元102的输出的存在或不存在的控制。

此外，控制单元424可以执行用于调整检测单元102的输出的控制。例如，控制单元424可以执行用于使要从接收单元102a输出的图像数据(在下文中，也称为接收单元102a图像数据)的信号增益高于要从接收单元102b输出的图像数据(在下文中，也称为接收单元102b图像数据)的信号增益的控制。控制单元424可以执行用于使接收单元102a图像数据的信号增益低于接收单元102b图像数据的信号增益的控制。控制单元424可以执行用于使接收单元102a图像数据的信号增益等于接收单元102b图像数据的信号增益的控制。

控制单元424可以执行用于减小接收单元102a图像数据的信号增益与接收单元102b图像数据的信号增益之间的差的控制。控制单元424可以执行用于增大接收单元102a图像数据的信号增益与接收单元102b图像数据的信号增益之间的差的控制。控制单元424可以执行用于使接收单元102a图像数据的信号增益与接收单元102b图像数据的信号增益之间的差保持恒定、并且还改变接收单元102a图像数据和接收单元102b图像数据的信号增益的控制。通过例如调整接收单元的像素电路或接收单元的信号处理电路中包括的放大电路的放大因子来进行每个接收单元的输出的增益的改变。替代地，通过通过信号处理数字地调整接收单元的输出来调整接收单元的输出来进行接收单元的输出的增益的改变。用于调整接收单元的输出的方法不限于这些。

控制单元424执行稀疏化(通过该稀疏化(thinning)每个接收单元中包括的多个接收元件中的一些的操作或输出停止)，或者将多个接收元件的信号进行加算，以降低分辨率。

如上所述，可以由控制单元424控制的接收单元的数量不限于这个描述。即，在多个接收单元当中，控制单元424可以使得特定接收单元操作、使特定接收单元停止、以及切换特定接收单元的输出。在多个接收单元当中，控制单元424可以使得属于特定组的接收单元操作、使属于特定组的接收单元停止、以及切换属于特定组的接收单元的输出。控制单元424由此控制检测单元102的操作，从而减少不想要的反射的太赫兹波。这使得能够获取具有减少的噪声的图像。

控制单元424基于从图像处理单元105输出的信息执行对检测单元102的这样的控制。接下来，将描述图像处理单元105的操作。

如在第一示例性实施例中那样，图像处理单元105基于从检测单元102输出的图像信息产生太赫兹图像，并且基于太赫兹图像确定被照体106的形状或类型。如在第一示例性实施例中那样，在本示例性实施例中太赫兹波相机系统400也可以包括可视相机109。在这样的情况下，图像处理单元105也可以将太赫兹图像与来自可视相机109的可视图像进行对比以确定被照体106的形状。可视图像(例如，图9a至9c中所示的可视图像944)也可以被称为“形状数据”。参考这个确定结果，控制单元103控制照明单元101的操作，并且控制单元424控制检测单元102的操作。图像处理单元105的配置与第一示例性实施例中的类似，因此不再描述。

将描述根据本示例性实施例的太赫兹波相机系统400的操作。图7是图示根据本示例性实施例的太赫兹波相机系统400的操作流程的流程图。这里，如在第一示例性实施例中那样，将描述用于观察隐藏物106a的操作流程。

太赫兹波相机系统400的操作至少包括时段731、732和733。即，操作包括时段731中的步骤s701、时段732中的步骤s704以及时段733中的步骤s709。每次执行步骤s701、s704和s709中的每一个时，装置的操作就切换。

时段731中的太赫兹波相机系统400的操作模式是图像捕获条件调整模式。在时段731中，控制单元103和424根据下面描述的装置的控制序列将照明单元101和检测单元102的图像捕获条件设定为预定的条件。

时段732中的太赫兹波相机系统400的操作模式是被照体确定处理模式。在时段732中，图像处理单元105基于在时段731中设定的图像捕获条件下捕获的被照体106的图像进行确定。在时段732中，图像处理单元105基于确定结果确定将执行太赫兹波相机系统400的实际图像捕获的图像捕获条件(也称为“实际图像捕获条件”)。

时段733中的太赫兹波相机系统400的操作模式是实际图像捕获模式。在时段733中，控制单元103和424执行用于在时段731和732中确定的图像捕获条件下执行被照体106的实际图像捕获的控制。时段731和732中的操作可以在太赫兹波相机系统400的待机时段中执行，并且时段733中的操作可以在太赫兹波相机系统400的图像捕获时段中执行。

下面将描述详细流程。如果太赫兹波相机系统400的操作开始，那么在步骤s701中，操作前进到时段731。在时段731中，在步骤s702中，控制单元103和424基于条件734下的控制序列控制太赫兹波相机系统400的组件。在本示例性实施例中，控制单元103控制照明单元101的操作，并且控制单元424控制检测单元102的操作。更具体地，控制单元103控制从发送单元101a输出的太赫兹波107a和从发送单元101b输出的太赫兹波107b。控制单元424控制来自接收单元102a的图像数据的输出和来自接收单元102b的图像数据的输出。这里，描述了其中控制单元103控制发送单元101a和101b并且控制分别从发送单元101a和101b发射的太赫兹波107a和107b，并且控制单元424控制接收单元102a和102b并且控制来自接收单元102a和102b的各条图像数据的输出的示例。然而，控制单元103和424的控制目标不限于这些。控制单元424可以仅控制单个接收单元102a并且控制来自接收单元102a的图像数据的输出。控制单元424还可以控制接收单元102c和102d并且控制来自接收单元102c和102d的各条图像数据的输出。控制单元103与第一示例性实施例中的类似，因此不再描述。在条件734下的控制序列中，存储多个图像捕获条件和执行图像捕获条件的次序。控制单元103和424基于控制序列的图像捕获条件控制从照明单元101发射的太赫兹波和来自检测单元102的各条图像数据的输出。例如，在条件734下的控制序列中，存储分别从发送单元101a至101d发射的太赫兹波107a至107d的组合和次序以及接收单元102a至102d的组合和次序。

在步骤s703中的时段731中，检测单元102测量太赫兹波108a和108b。太赫兹波相机系统400获取包括从接收单元102a和102b输出的各条图像数据中的任一条或两条的图像数据735。在图4的情况下，输出包括从接收单元102a至102d输出的各条图像数据中的任何一条、或者各条图像数据的任何组合、或者各条图像数据的全部的图像数据。图像处理单元105将图像数据735转换成图9中所示的太赫兹图像943。

在获取图像数据735之后，然后在步骤s704中，操作前进到时段732。在时段732中，基于获取的图像数据735确定要在操作将前进到的时段733中应用的图像捕获条件(实际图像捕获条件)。要在这个实际图像捕获中使用的图像捕获条件被称为“条件737”。在条件737中，记录要在时段733中使用的关于发送单元101a的太赫兹波107a的控制信息、关于发送单元101b的太赫兹波107b的控制信息、关于与接收单元102a有关的图像数据的控制信息、以及关于与接收单元102b有关的图像数据的控制信息。此外，还可以记录关于另一个发送单元或另一个接收单元的控制信息。基于下面描述的图像处理单元105的确定由图像处理单元105确定条件737。下面将描述时段732中的详细操作流程。

在步骤s705中，图像处理单元105提取类似性或相关性。接下来，在步骤s706中，使用提取的结果确定被照体106。如果确定被照体106包括隐藏物106a(步骤s706中为“是”)，那么在步骤s707中，在条件734下的控制序列中使用的照明单元101和检测单元102的图像捕获条件被记录为条件737(实际图像捕获条件)。在步骤s708中，检查条件734下的控制序列是否结束。如果控制序列没有结束(步骤s708中为“否”)，那么操作返回到时段731。如果控制序列结束(步骤s708中为“是”)，那么在步骤s709中，操作前进到时段733中的实际图像捕获模式。步骤s705至s709的处理与第一示例性实施例中的步骤s505至s509的处理类似，因此不再详细描述。

在时段733中，在时段731和732中确定的图像捕获条件下，执行被照体106的实际图像捕获。在步骤s710中，基于条件737，控制单元103和424控制照明单元101和检测单元102。基于作为条件537的实际图像捕获条件，控制单元103控制发送单元101a和101b的操作，并且控制分别从发送单元101a和101b发射的太赫兹波107a和107b。控制单元424控制接收单元102a和102b的操作，并且控制各条图像数据的输出。例如，仅使有助于观察隐藏物106a的太赫兹波进入发射状态，并且仅开始输出有助于观察隐藏物106a的图像数据。以图10b和11中的模型为例，使发射要变成有助于观察隐藏物106a的反射的太赫兹波108a的太赫兹波107a的发送单元101a进入发射状态。控制接收有助于观察隐藏物106a的反射的太赫兹波108a的接收单元102a输出图像数据。

控制单元103和424执行如步骤s710中的控制，使得在步骤s711中，太赫兹波相机系统400可以获取具有减少的噪声的太赫兹图像。在这样的图像捕获条件下的图像的捕获减少了关于覆盖物106b的不想要的反射的太赫兹波。这便于获取其中关于覆盖物106b的信息减少的关于隐藏物106a的图像。虽然在本示例性实施例中没有描述，但是在此之后指定隐藏物106a的情况下，也容易指定隐藏物106a。

在本示例性实施例中，控制单元103和424可以不是物理上的两个单元。此外，控制单元103和424以及图像处理单元105可以是物理上的单个单元。

(第四示例性实施例)

现在参考图8，将描述根据第四示例性实施例的太赫兹波相机系统800。在本示例性实施例的描述中，没有描述与其它示例性实施例中类似的部分。

图8是图示根据本示例性实施例的太赫兹波相机系统800的配置的图。太赫兹波相机系统800至少包括照明单元101、检测单元102、控制单元424和图像处理单元105。太赫兹波相机系统800还包括可视相机109。这些组件与其它示例性实施例中的类似，因此不再描述。

在根据本示例性实施例的太赫兹波相机系统800中，照明单元101仅包括单个发送单元101a，并且不包括控制单元103。根据第一示例性实施例的相机系统100控制照明单元101的操作，并且根据第三示例性实施例的相机系统400控制照明单元101和检测单元102两者的操作。根据本示例性实施例的相机系统800控制检测单元102的操作。根据本示例性实施例的控制单元424的操作和相机系统800的流程与根据第三示例性实施例的控制单元424的操作和相机系统400的流程类似。

以这种方式，对照明单元101或检测单元102中的至少一个的操作的适当调整使得能够减少太赫兹图像的噪声。

(第五示例性实施例)

图14a和14b是分别图示根据第五示例性实施例的太赫兹波相机系统中进行确定的ai单元的学习阶段和估计阶段的图。在这个示例中，将描述确定隐藏物的情况。图14a是学习阶段的概念图。学习模型1410具有形状确定算法。监督数据被输入到学习模型1410。监督数据是例如隐藏物图像1402。另外，取决于确定，诸如覆盖物图像1401以及覆盖物和隐藏物图像1403的太赫兹图像也可以用作监督数据。覆盖物图像1401包括通过捕获不同的覆盖物而获得的多个太赫兹图像。覆盖物图像1401包括通过不同的照明单元101的操作捕获覆盖物而获得的多个太赫兹图像。隐藏物图像1402包括通过捕获不同的隐藏物而获得的多个太赫兹图像。隐藏物图像1402包括通过不同的照明单元101的操作捕获隐藏物而获得的多个太赫兹图像。隐藏物图像1402包括指示隐藏物的轮廓的图像(形状数据)。覆盖物和隐藏物图像1403包括通过捕获不同的覆盖物和隐藏物而获得的多个太赫兹图像。覆盖物和隐藏物图像1403包括通过不同的照明单元101的操作捕获覆盖物和隐藏物而获得的多个太赫兹图像。例如，覆盖物图像1401、隐藏物图像1402以及覆盖物和隐藏物图像1403可以包括可见光图像。标签被分配给包括在覆盖物图像1401、隐藏物图像1402以及覆盖物和隐藏物图像1403中的图像。输入监督数据，使得产生具有比学习模型1410的算法高的准确度的经训练的模型1411。

作为机器学习的具体算法，可以使用最近邻算法、朴素贝叶斯算法、决策树或支持向量机。替代地，可以使用深度学习，在该深度学习中ai自身使用神经网络产生用于学习的特征量和连接权重系数。例如，作为深度学习的模型，可以使用卷积神经网络(cnn)模型。

图14b是估计阶段的概念图。如果捕获的太赫兹图像1420被输入到在学习阶段中构造的经训练的模型1411，那么从经训练的模型1411输出指定隐藏物的结果。太赫兹图像1420例如是基于在图12a中的步骤s1202中获取的图像数据的图像。使用经训练的模型1411的处理可以由例如图1中的图像处理单元105执行。

(第六示例性实施例)

在第六示例性实施例中，参考图15，将给出第一示例性实施例中描述的太赫兹波相机系统100的另一个操作流程的描述。在本示例性实施例的描述中，没有描述与其它示例性实施例中类似的部分。

根据本示例性实施例的太赫兹波相机系统100具有图1中所示的配置。太赫兹波相机系统100可以包括或者可以不包括可视相机109。

取决于被照体的表面形状，被照体的表面的角度的改变复杂并且针对每个被照体不同。因此，针对每个被照体，用作光源的照明单元与检测单元之间的合适的位置关系可能改变。在被照体移动的情况下，用作光源的照明单元与检测单元之间的位置关系可能随时改变。取决于位置关系的这样的改变，可能检测从被照体反射的太赫兹波当中不想要的反射的太赫兹波。在这样的情况下，获得图像，不想要的反射的太赫兹波的成分叠加在该图像上并且该图像具有大量的噪声。

图15是图示根据本示例性实施例的操作流程的流程图。本示例性实施例的特征在于照明单元101的操作方法。照明单元101的操作由控制单元103控制。照明单元101顺次地点亮发送单元101a至101d，并且针对发送单元101a至101d中的每一个捕获图像。图15中的流程图示了图像捕获时段中的操作。在初始状态下，发送单元101a至101d关闭。

在步骤s1501中，发送单元101a被打开。在步骤s1502中，接收单元102检测基于来自发送单元101a的太赫兹波107a的信号。在步骤s1503中，发送单元101a被关闭。在步骤s1501和s1502中，可以获取基于来自发送单元101a的太赫兹波107a的图像。接下来，在步骤s1504中，发送单元101b被打开。在步骤s1505中，接收单元102检测基于来自发送单元101b的太赫兹波107b的信号。在步骤s1506中，发送单元101b被关闭。在步骤s1504和s1505中，可以获取基于来自发送单元101b的太赫兹波107b的图像。接下来，在步骤s1507中，发送单元101c被打开。在步骤s1508中，接收单元102检测基于来自发送单元101c的太赫兹波107c的信号。在步骤s1509中，发送单元101c被关闭。在步骤s1507和s1508中，可以获取基于来自发送单元101c的太赫兹波107c的图像。在步骤s1510中，发送单元101d被打开。在步骤s1511中，接收单元102检测基于来自发送单元101d的太赫兹波107d的信号。在步骤s1512中，发送单元101d被关闭。在步骤s1510和s1511中，可以获取基于来自发送单元101d的太赫兹波107d的图像。

如上所述，多个发送单元101a至101d被顺次地打开，由此便于选择和获取不取决于被照体的表面形状的合适图像。这特别适合于被照体移动的情况。

发送单元101a至101d由控制单元103控制。控制单元103可以选择多个操作。多个操作至少包括用于打开发送单元101a并且关闭发送单元101b至101d的操作、以及用于打开发送单元101b并且关闭发送单元101a、101c和101d的操作。多个操作至少包括用于打开发送单元101c并且关闭发送单元101a、101b和101d的操作、以及用于打开发送单元101d并且关闭发送单元101a至101c的操作。

在执行图15中所示的操作流程时，可以如图5中所示那样确定合适的图像捕获条件。换句话说，在图5中的操作流程中的时段531中，可以执行图15中的操作流程，并且可以从至少四个图像提取图像捕获条件。即，在图15中的操作流程之后，可以进行确定，并且可以提取图像捕获条件。除了检测被照体的形状或类型之外，还可以通过选择噪声成分没有超过规定值的图像、或者比较噪声成分并且选择包括最小噪声成分的图像来进行确定。可以使用提取的图像捕获条件捕获被照体。例如，当被照体的朝向改变比基准大的量时，提取图像捕获条件。可以采用以预先确定的时间间隔周期性地提取图像捕获条件并且更新图像捕获条件的模式。

在本示例性实施例中，发送单元101a至101d被顺次地点亮。然而，本发明不限于此。例如，发送单元101a和101b被同时打开，接收单元102检测信号，并且发送单元101a和101b被关闭。然后，发送单元101c和101d被同时打开，接收单元102检测信号，并且发送单元101c和101d被关闭。

发送单元101a至101d如图1中所示沿着任何单个方向设置。本发明可以应用到沿着单个方向设置的这样的多个发送单元。本发明可应用到不仅沿着单个方向设置而且还跨路径设置的多个发送单元。发送单元101a至101d沿着布置方向顺次地执行切换到打开状态的操作，但是这些操作可以不需要沿着布置方向依次执行，并且可以适当地改变操作的次序。

根据本示例性实施例的操作流程也可以如下改变。步骤s1503、s1506和s1509中所示的关闭发送单元101a至101c的操作可以分别与步骤s1504、s1507和s1510中所示的打开发送单元101b至101d的操作同时执行。

根据本发明的太赫兹波相机系统不限于以上示例性实施例的配置。例如，太赫兹波相机系统可以不包括可视相机，并且控制单元可以被提供在系统外部。例如，控制单元103和424以及图像处理单元105可以是物理上集成的组件，并且物理上集成的组件可以存放在网络上提供的服务器中。在以上示例性实施例中，关注覆盖物和隐藏物。替代地，也可以考虑人体的皮肤表面上的反射。根据本发明的太赫兹波相机系统不仅可以应用到安全门，而且还可以应用到任何地方，诸如楼梯、自动扶梯、电梯和人行通道。在示例性实施例中描述的配置可以适当地组合在一起。根据本发明的配置，可以获取具有减少的噪声的太赫兹图像。

虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。所附权利要求的范围要被赋予最宽泛的解释，以便涵盖所有这样的修改以及等同的结构和功能。