摄像装置及摄像方法与流程

文档序号:14846996发布日期:2018-06-30 16:48阅读:163来源:国知局
摄像装置及摄像方法与流程

本申请涉及用于对象物的内部的测定的摄像装置及摄像方法。



背景技术:

在生物体计测领域中,利用向对象物照射光、根据透射了对象物内部的光的信息取得对象物的内部信息的方法。在该方法中,有作为来自对象物表面的反射成分的表面反射成分成为噪声的情况。作为将由这些表面反射成分带来的噪声去除而仅取得希望的内部信息的方法,例如在生物体计测领域中有在日本特开平11-164826号公报中公开的方法。特开平11-164826号公报公开了使光源和光检测器在以一定的间隔离开的状态下密接于测定部位来进行测定的方法。



技术实现要素:

有关本申请的一技术方案的摄像装置,用于对象物的内部的测定,具备:光源,发出用于向上述对象物照射的脉冲光;光检测器,对应于上述脉冲光的照射,检测从上述对象物返回的光;以及运算部。上述运算部判定从上述对象物返回的光的光量在时间上的稳定性。

附图说明

图1A是表示实施方式1的摄像装置及摄像装置拍摄对象物的状况的示意图。

图1B是表示图像传感器的结构的一例的图。

图1C是表示由控制电路的动作的概略的流程图。

图2是表示将表面反射成分的波形、内部散射成分的波形、表面反射成分和内部散射成分加在一起的波形、以及电子快门的OPEN(打开)、CLOSE(关闭)的定时的图。

图3是表示实施方式1的摄像装置的正式测定前的动作的流程图。

图4A是表示测定环境判定部的判定的一例的图。

图4B是表示测定环境判定部的判定的一例的图。

图4C是表示测定环境判定部的判定的一例的图。

图4D是表示测定环境判定部的判定的一例的图。

图5A是表示显示由摄像装置得到的拍摄图像和对象物的检测区域的显示器的一例的图。

图5B是表示显示由摄像装置得到的拍摄图像和对象物的检测区域的显示器的一例的图。

图5C是表示尺寸及位置被调整后的检测区域的图。

图5D是表示通过区域最大化功能进行最大化后的检测区域的图。

图5E是表示拍摄图像上的多个检测区域的图。

图6A是表示在测定环境判定部中判定为检测区域不正确时向显示器输出的错误消息的一例的图。

图6B是表示为了使对象物的检测区域的调整容易而显示在显示器上的辅助线的图。

图6C是表示用于通过调整摄像装置的朝向、位置来调整检测区域的调整台的图。

图6D是表示用于将对象物固定的固定夹具的图。

图7A是表示需要光量调整的状况的图。

图7B是表示需要光量调整的状况的图。

图7C是表示1帧内的多个发光脉冲、该传感器上的光信号、多个快门定时、电荷蓄积定时的关系的图。

图8A是表示信号稳定性判定部中的判定的例子的图。

图8B是表示信号稳定性判定部中的判定的例子的图。

图9是表示由信号稳定性判定部判定为信号不稳定时向显示器输出的错误消息的一例的图。

图10A是表示实施方式2的摄像装置及摄像装置拍摄对象物的状况的示意图。

图10B是表示实施方式2的摄像装置的正式测定中的动作的流程图。

图11A是表示异常值判定部中的判定的例子的图。

图11B是表示异常值判定部中的判定的例子的图。

图12A是表示由异常值判定部判定为发生了异常值时向显示器输出的错误消息的一例的图。

图12B是表示由异常值判定部判定为发生了异常值时由显示器输出的错误消息的一例的图。

标号说明

100、800 摄像装置

101 对象物

102 光源

104 光电变换部

106 电荷蓄积部

110 图像传感器

120 控制电路

130 发光光量调整部

140 测定环境判定部

150 信号稳定性判定部

400 检测区域

500 显示器

510 拍摄图像

520 位置调整用图标

530 辅助线

540 调整台

550 固定夹具

710 泛光

810 异常值判定部

具体实施方式

但是,在特开平11-164826号公报所记载的方法中,因为使光检测器密接于测定部位,所以被检者的心理上或身体上的负担较大,所以佩戴需要时间,并且难以长时间使用。

本申请例如包括以下的项目所记载的技术方案。

[项目1]

有关本申请的项目1的摄像装置,用于对象物的内部的测定,具备:光源,发出用于向上述对象物照射的脉冲光;光检测器,对应于上述脉冲光的照射,检测从上述对象物返回的光;以及运算部。上述运算部判定从上述对象物返回的光的光量在时间上的稳定性。

[项目2]

在项目1所记载的摄像装置中,也可以是,上述光检测器是将从上述对象物返回的光变换为信号电荷并蓄积的图像传感器;上述运算部通过判定上述图像传感器中的上述信号电荷的蓄积量在时间上的稳定性,来判定从上述对象物返回的光的光量在时间上的稳定性。

[项目3]

在项目1或2所记载的摄像装置中,也可以是,上述运算部还判定上述对象物的环境是否适合于上述对象物的内部的测定,并调整上述脉冲光的光量。

[项目4]

在项目3所记载的摄像装置中,也可以是,上述运算部通过调整上述脉冲光的每单位时间的发光次数,来调整上述脉冲光的光量。

[项目5]

在项目2所记载的摄像装置中,也可以是,上述图像传感器基于上述信号电荷取得上述对象物的第1图像;上述运算部还决定上述第1图像内的、用于上述对象物的内部的测定的区域的位置。

[项目6]

在项目5所记载的摄像装置中,也可以是,上述对象物是生物体;上述区域在上述生物体的特定部位内;上述运算部还调整上述区域的大小,以使得在上述特定部位内上述区域成为最大。

[项目7]

在项目5或6所记载的摄像装置中,也可以是,还具备显示器;上述显示器将上述第1图像和表示上述区域的第2图像重叠起来显示。

[项目8]

在项目7所记载的摄像装置中,也可以是,上述显示器还将用于决定上述区域的位置的辅助线重叠在上述第1图像及上述第2图像上而显示。

[项目9]

在项目1~8中任一项所记载的摄像装置中,也可以是,上述运算部还判定上述对象物的内部的测定中的异常。

[项目10]

在项目2所记载的摄像装置中,也可以是,上述图像传感器蓄积与从上述对象物返回的光中的在上述对象物的内部被散射的成分对应的上述信号电荷。

[项目11]

在项目1~10中任一项所记载的摄像装置中,也可以是,上述对象物是生物体;上述运算部基于来自上述光检测器的信号,生成表示上述生物体的血流变化的信息。

[项目12]

有关本申请的项目12的摄像方法,用于对象物的内部的测定,包括:向上述对象物照射脉冲光,由光检测器对应于上述脉冲光的照射而检测从上述对象物返回的光的步骤;以及判定从上述对象物返回的光的光量在时间上的稳定性的步骤。

[项目13]

在项目12所记载的摄像方法中,也可以是,光检测器是将从上述对象物返回的光变换为信号电荷并蓄积的图像传感器;在进行上述判定的步骤中,通过判定上述图像传感器中的上述信号电荷的蓄积量在时间上的稳定性,来判定从上述对象物返回的光的光量在时间上的稳定性。

[项目14]

在项目12或13所记载的摄像方法中,也可以是,还包括:判定上述对象物的环境是否适合于上述对象物的内部的测定的步骤;以及调整上述脉冲光的光量的步骤。

[项目15]

在项目12~14中任一项所记载的摄像方法中,也可以是,上述对象物是生物体;还包括:基于来自上述光检测器的信号,生成表示上述生物体的血流变化的信息的步骤。

在本申请中,电路、单元、装置、部件或部的全部或一部分,或框图的功能块的全部或一部分,也可以由包括半导体装置、半导体集成电路(IC),LSI(large scale integration)的一个或多个电子电路执行。LSI或IC既可以集成在一个芯片上,也可以将多个芯片组合而构成。例如,也可以将存储元件以外的功能块集成到一个芯片上。这里称作LSI或IC,但根据集成程度而叫法变化,也可以称作系统LSI、VLSI(very large scale integration)或ULSI(ultra large scale integration)。在LSI的制造后编程的Field Programmable Gate Array(FPGA)、或能够进行LSI内部的接合关系的重构或LSI内部的电路划分的设置的reconfigurable logic device也能够以相同的目的使用。

进而,电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下,软件被记录到一个或多个ROM、光盘、硬盘驱动器等非暂时性记录介质中,当软件被处理装置(processor)执行时,由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)及所需的硬件设备、例如接口。

根据本申请的一技术方案,能够以不与对象物接触的状态、并且以抑制了由来自对象物的表面的反射成分带来的噪声的状态测定对象物的内部信息。此外,根据本申请的一技术方案,能够排除由非接触测定带来的误差因素,稳定地测定对象物。

以下说明的实施方式都表示总括性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置及连接形态、步骤、步骤的顺序等是一例,不是限定本申请的意思。此外,关于以下的实施方式的构成要素中的在表示最上位概念的独立权利要求中没有记载的构成要素,设为任意的构成要素进行说明。

以下,参照附图对实施方式具体地说明。

(实施方式1)

[1.摄像装置]

首先,使用图1A至图3对有关第1实施方式的摄像装置100的结构进行说明。

图1A是表示有关本实施方式的摄像装置100的示意图。摄像装置100具备光源102、包括光电变换部104和电荷蓄积部106的图像传感器110、控制电路120、发光光量调整部130、测定环境判定部140和信号稳定性判定部150。图像传感器110相当于光检测器。发光光量调整部130、测定环境判定部140及信号稳定性判定部150相当于运算部。

[1-1.光源102]

光源102向对象物101照射光。从光源102照射而到达对象物101的光成为由对象物101的表面反射的成分即表面反射成分I1、和在对象物101的内部中1次反射或散射、或者多重散射的成分即内部散射成分I2。表面反射成分I1包含直接反射成分、扩散反射成分及散射反射成分这3种。直接反射成分是入射角与反射角相等的反射成分。扩散反射成分是由表面的凹凸形状扩散而反射的成分。散射反射成分是由表面附近的内部组织散射而反射的成分。在将对象物101设为人的额头的情况下,散射反射成分是在表皮内部散射、反射的成分。以下,在本申请中,假设对象物101的表面反射成分I1包含这3种成分而进行说明。此外,假设内部散射成分I2不包含由表面附近的内部组织散射、反射的成分而进行说明。

表面反射成分I1、内部散射成分I2因反射或散射而行进方向变化,其一部分到达图像传感器110。光源102以规定的时间间隔或定时多次产生脉冲光。光源102产生的脉冲光的下降时间也可以接近于零,例如是矩形波。通常,若考虑对象物101的内部散射成分I2的后端的延展是4ns,则下降时间既可以是作为其一半以下的2ns以下,也可以是1ns以下。光源102产生的脉冲光的上升时间是任意的。这是因为,在后述的使用本申请的摄像装置的测定中,使用脉冲光的时间轴中的下降部分,不使用上升部分。光源102例如是脉冲光的下降部分相对于时间轴接近于直角、时间响应特性迅速的LD等的激光器。

从光源102射出的脉冲光的波长例如可以设定为约650nm以上且约950nm以下。该波长范围包含在从红色到近红外线的波长范围中。该波段是光容易透射到对象物101内部的波段。在本说明书中,不仅针对可见光,针对红外线也使用“光”这一用语。

本申请的摄像装置100由于以非接触的方式测定对象物101,所以在对象物101是人的情况下,考虑对视网膜的影响。因此,也可以满足各国分别具有的激光安全基准的等级1。在此情况下,辐射释放极限AEL低于1mW的程度的低照度的光被向对象物101照射。但是,光源102自身也可以不满足等级1。例如,也可以将扩散板或ND滤波器等配置在光源102的前方,通过光被扩散或衰减来满足激光安全基准的等级1。

在特开平4-189349号公报等中记载的以往的超快扫描照相机被用于将在生物体内部的深度方向上处于不同的地方的信息(例如,吸收系数及散射系数)区分检测。因而,为了以希望的空间分辨力进行测定,使用脉冲宽度为飞秒或皮秒的极超短脉冲光。另一方面,本申请的摄像装置100被用于从表面反射成分I1区分检测内部散射成分I2。

因而,光源102发出的脉冲光不需要是极超短脉冲光,脉冲宽度是任意的。在为了计测脑血流而向头照射光的情况下,内部散射成分I2的光量与表面反射成分I1的光量相比,为几千到几万分之一,非常小。进而,若考虑激光安全基准,则能够照射的光的光量较小,内部散射成分I2的检测变得困难。因而,通过使光源102产生脉冲宽度比较大的脉冲光,能够使伴随着时间延迟的内部散射成分的累计量增加,增加检测光量而使SN比提高。

光源102例如发出脉冲宽度3ns以上的脉冲光。或者,光源102也可以发出脉冲宽度5ns以上、进而10ns以上的脉冲光。另一方面,如果脉冲宽度过大,则不使用的光增加而成为浪费,所以光源102例如产生脉冲宽度50ns以下的脉冲光。或者,光源102也可以发出脉冲宽度30ns以下、进而20ns以下的脉冲光。

另外,作为光源102的照射图案(pattern),也可以是在照射区域内为均匀的强度分布。在特开平11-164826号公报等中公开的方法由于使检测器和光源相离3cm,在空间上减少了表面反射成分I1,所以只能进行离散性的光照射。另一方面,本申请的摄像装置D由于是在时间上将表面反射成分I1分离而使其减少的方法,所以即使在对象物101上的照射点正下方也能够检测到内部散射成分I2。为了提高测定析像度,也可以向对象物101在空间上遍及整面来照射。

[1-2.图像传感器110]

图像传感器110接受从光源102射出并从对象物101反射的光。图像传感器110具有2维配置的多个像素,将对象物101的2维信息一起取得。图像传感器110例如是CCD图像传感器或CMOS图像传感器。

图像传感器110具有电子快门。电子快门是控制快门宽度和快门定时的电路,所述快门宽度是将接受到的光变换为有效的电信号并蓄积的1次信号蓄积的期间、即曝光期间的长度,所述快门定时是1次曝光期间结束到下个曝光期间开始的时间。以下,有将电子快门正在曝光的状态称作“OPEN(打开的状态)”、将电子快门停止曝光的状态称作“CLOSE(关闭的状态)”而说明的情况。

图像传感器110可以通过电子快门将快门定时以亚纳秒、例如30ps到1ns进行调整。以距离测定为目的的以往的TOF照相机为了将被摄体的明亮度的影响进行修正,检测光源102发出的脉冲光从被摄体反射回来的光的全部。因而,在以往的TOF照相机中,快门宽度需要比光的脉冲宽度大。相对于此,本实施方式的摄像装置100由于不需要将被摄体的光量进行修正,所以快门宽度不需要比脉冲宽度大,例如是1到30ns左右。根据本实施方式的摄像装置100,由于能够缩小快门宽度,所以能够减少检测信号中包含的暗电流。

在对象物101是人的额头、检测脑血流等的信息的情况下,内部中的光的衰减率非常大,是100万分之1左右。因此,为了检测内部散射成分I2,在仅通过1脉冲的照射时有光量不足的情况。在激光安全性基准的等级1下的照射时,光量尤其微弱。在此情况下,通过光源102多次发出脉冲光、相应地图像传感器110也通过电子快门多次曝光,来累积检测信号而提高灵敏度。

以下,说明图像传感器110的结构例。

图像传感器110具有2维地排列在摄像面上的作为多个光检测单元的像素。各像素具有受光元件(例如光敏二极管)。

图1B是表示图像传感器110的结构的一例的图。在图1B中,用双点划线框包围的区域相当于1个像素201。像素201中包括1个光敏二极管。在图1B中仅表示了以2行2列排列的4个像素,但实际上配置有更多的像素。像素201包括光敏二极管、源级跟随器晶体管309、行选择晶体管308和复位晶体管310。各晶体管例如是形成在半导体基板上的场效应晶体管,但并不限定于此。

如图所示,源级跟随器晶体管309的输入端子及输出端子中的一方(典型的是源极)与行选择晶体管308的输入端子及输出端子中的一方(典型的是漏极)连接。作为源级跟随器晶体管309的控制端子的栅极连接于光敏二极管。由光敏二极管生成的信号电荷(空穴或电子)被蓄积到光敏二极管与源级跟随器晶体管309之间的电荷蓄积节点即电荷蓄积部的浮动扩散层204、205、206、207中。

虽然在图1B中没有表示,但在光敏二极管与浮动扩散层204、205、206、207之间可以设置开关。该开关根据来自控制电路120的控制信号切换光敏二极管与浮动扩散层204、205、206、207之间的导通状态。由此,控制向浮动扩散层204、205、206、207的信号电荷的蓄积的开始和停止。本实施方式的电子快门具有这样的用于曝光控制的机构。

通过由行选择电路302将行选择晶体管308的栅极设为导通,蓄积在浮动扩散层204、205、206、207中的信号电荷被读出。此时,对应于浮动扩散层204、205、206、207的信号电位,从源级跟随器电源305向源级跟随器晶体管309及源级跟随器负荷306流入的电流被放大。由从垂直信号线304读出的该电流形成的模拟信号被按每个列连接的模拟-数字(AD)变换电路307变换为数字信号数据。该数字信号数据被列选择电路303按每个列读出,被从图像传感器110输出。行选择电路302及列选择电路303在进行1个行的读出后进行下一行的读出,以下同样,读出全部行的浮动扩散层的信号电荷的信息。控制电路120在读出全部的信号电荷后,将复位晶体管310的栅极设为导通,将全部的浮动扩散层复位。由此,1个帧的摄像完成。以下同样,通过反复进行帧的高速摄像,由图像传感器110进行的一系列的帧的摄像完结。

在本实施方式中,说明了CMOS型的图像传感器110的例子,但图像传感器110也可以是CCD型,也可以是单光子计数型元件,也可以是放大型图像传感器(EMCCD、ICCD)。

[1-3.控制电路120]

控制电路120调整光源102的脉冲光的发光定时与图像传感器110的快门定时的时间差。以下,有将该时间差称作“相位”或“相位延迟”的情况。光源102的“发光定时”,是光源102发出的脉冲光开始上升的时间。控制电路120既可以使发光定时变化来调整相位,也可以使快门定时变化来调整相位。

控制电路120也可以构成为,从由图像传感器110的受光元件检测到的信号中将偏移成分去除。偏移成分是由太阳光、荧光灯等的环境光、干扰光形成的信号成分。在光源102不发光的状态、即将光源102的驱动设为OFF的状态下,通过由图像传感器110检测信号,来估计由环境光、干扰光带来的偏移成分。

控制电路120例如可以是具有中央运算处理装置(CPU)或微型计算机等处理器和存储器的集成电路。控制电路120例如通过执行记录在存储器中的程序,进行发光定时和快门定时的调整、偏移成分的估计及偏移成分的除去等。另外,控制电路120也可以具备进行图像处理等的运算处理的运算电路。这样的运算电路例如可以由数字信号处理器(DSP)、现场可编程门阵列(FPGA)等的可编程逻辑设备(PLD)、或者中央运算处理装置(CPU)或图像处理用运算处理器(GPU)与计算机程序的组合来实现。另外,控制电路120及运算电路既可以是合并的1个电路,也可以是分离的单独的电路。

图1C是表示由控制电路120进行的动作的概略的流程图。详细情况后述,但控制电路120大体上执行图1C所示的动作。控制电路120首先使光源102以规定时间发出脉冲光(步骤S101)。此时,图像传感器110的电子快门处于停止曝光的状态。控制电路120使电子快门停止曝光,直到脉冲光的一部分从对象物101的表面反射而到达图像传感器110的期间结束。接着,控制电路120在该脉冲光的其他一部分在对象物101的内部中散射而到达图像传感器110的定时,使电子快门开始曝光(步骤S102)。在经过规定时间后,控制电路120使电子快门停止曝光(步骤S103)。接着,控制电路120判定执行了上述信号蓄积的次数是否达到了规定的次数(步骤S104)。在该判定为“否”的情况下,重复步骤S101到步骤S103直到判定为“是”。如果在步骤S104中判定为“是”,则控制电路120使图像传感器110生成表示基于蓄积在各浮动扩散层中的信号电荷的图像的信号并输出(步骤S105)。

通过以上的动作,能够以高灵敏度检测在测定对象的内部中被散射的光的成分。另外,多次的发光及曝光不是必须的,而根据需要来进行。

[1-4.其他]

摄像装置100也可以具备在图像传感器110的受光面上形成对象物101的2维像的成像光学系统。成像光学系统的光轴相对于图像传感器110的受光面大致正交。成像光学系统也可以包括缩放透镜。如果缩放透镜的位置变化,则对象物101的2维像的放大率变更,图像传感器110上的2维像的分辨率变化。因而,即使到对象物101的距离较远,也能够将想要测定的区域放大而详细地观察。

此外,摄像装置100也可以在对象物101与图像传感器110之间具备仅使从光源102发出的波段或其附近的光穿过的带通滤波器。由此,能够减少环境光等的干扰成分的影响。带通滤波器由多层膜滤波器或吸收滤波器构成。考虑到光源102的温度及伴随着向滤波器的斜向入射的波段移位,带通滤波器的带宽也可以具有从20到100nm左右的宽度。

此外,摄像装置100也可以在光源102与对象物101之间、以及图像传感器110与对象物101之间分别具备偏光板。在此情况下,配置在光源102侧的偏光板和配置在图像传感器侧的偏光板的偏光方向是正交尼科尔的关系。由此,能够防止对象物101的表面反射成分I1中的正反射成分(入射角与反射角相同的成分)到达图像传感器110。即,能够减少表面反射成分I1到达图像传感器110的光量。

[2.动作]

本申请的摄像装置100从表面反射成分I1中区分检测内部散射成分I2。在将对象物101设为人的额头的情况下,想要检测的内部散射成分I2的信号强度非常小。这是因为,除了如上述那样照射满足激光安全基准的非常小的光量的光以外,由头皮、脑髄液、头盖骨、灰白质、白质及血流引起的光的散射及吸收较大。进而,由脑活动时的血流量或血流内成分的变化引起的信号强度的变化更相当于几十分之一的大小,非常小。因而,尽可能不使想要检测的信号成分的几千到几万倍的表面反射成分I1混入而进行拍摄。

以下,说明本实施方式的摄像装置100的动作。

如图1A所示,如果光源102向对象物101照射脉冲光,则产生表面反射成分I1及内部散射成分I2。表面反射成分I1及内部散射成分I2的一部分到达图像传感器110。内部散射成分I2由于从光源102发出并到达图像传感器110之前穿过对象物101的内部,所以光路长比表面反射成分I1长。因而,内部散射成分I2到达图像传感器110的时间相对于表面反射成分I1平均上晚。

图2是表示从光源102发出矩形脉冲光、从对象物101反射的光到达图像传感器110的光信号的图。在图2中,信号A表示表面反射成分I1的波形。信号B表示内部散射成分I2的波形。信号C表示将表面反射成分I1和内部散射成分I2加在一起的波形。信号D表示电子快门的打开(OPEN)、关闭(CLOSE)的定时。横轴表示时间,信号A至C中纵轴表示光的强度,信号D中纵轴表示电子快门的打开或关闭的状态。

如信号A所示,表面反射成分I1维持矩形。另一方面,如信号B所示,由于内部散射成分I2是经过了各种各样的光路长后的光的合计,所以显示出在脉冲光的后端,下降时间比表面反射成分I1长的特性。为了从信号C中提高内部散射成分I2的比例而提取,如信号D所示,只要在表面反射成分I1的后端以后(表面反射成分I1下降了时或其后)电子快门开始曝光就可以。该快门定时由控制电路120调整。如上述那样,本申请的摄像装置100只要能够从表面反射成分I1中区分检测内部散射成分I2就可以,所以发光脉冲宽度及快门宽度是任意的。因而,与以往的使用超快扫描照相机的方法不同,能够以简便的结构实现,且能够大幅降低成本。

根据图2的信号A可知,表面反射成分I1的后端垂直地下降。换言之,从表面反射成分I1开始下降到结束的时间是零。但是,在现实中有光源102照射的脉冲光自身不是完全的垂直、或在对象物101的表面上有微细的凹凸、或因表皮内的散射而表面反射成分I1的后端不垂直地下降的情况。此外,由于对象物101通常是不透明的物体的情况较多,所以表面反射成分I1相比内部散射成分I2,光量非常大。因而,即使在表面反射成分I1的后端从垂直的下降位置稍稍超出的情况下,内部散射成分I2也会被掩埋而成为问题。此外,因为伴随着电子快门的读出期间中的电子移动的时间延迟,有不能实现如图2的信号D所示的理想的二元的读出的情况。因而,控制电路120也可以使电子快门的快门定时比表面反射成分I1的刚下降后稍稍延迟。例如,若从电子快门的精度来看,也可以使电子快门的快门定时比表面反射成分I1的刚下降后延迟1ns以上。另外,也可以代替调整电子快门的快门定时,而由控制电路120调整光源102的发光定时。控制电路120只要调整电子快门的快门定时与光源102的发光定时的时间差就可以。另外,在以非接触的方式计测脑活动时的血流量或血流内成分的变化的情况下,如果使快门定时过于延迟,则最小的内部散射成分I2进一步减少,所以也可以将快门定时停留在表面反射成分I1的后端附近。由于由对象物101的散射带来的时间延迟是4ns,所以快门定时的最大的延迟量是4ns左右。

也可以是,光源102多次发出脉冲光,对于各脉冲光以相同相位的快门定时多次曝光,由此将内部散射成分I2的检测光量放大。

另外,也可以代替在对象物101与图像传感器110之间配置带通滤波器或除此以外,控制电路120通过在不使光源102发光的状态下以相同的曝光时间进行拍摄,来估计偏移成分。将估计出的偏移成分从由图像传感器110的受光元件检测到的信号减去而除去。由此,能够将在图像传感器110上发生的暗电流成分除去。

图3是表示实施方式1的摄像装置100的正式测定前的动作的流程图。在开始后,摄像装置100通过测定环境判定部140实施对象物101的环境是否是适合于测定的状态的确认(步骤S201)。在测定环境的确认的结果判定为对象物101的环境不是适合于测定的状态的情况下(步骤S202中否),输出错误(步骤S210)。在输出了错误的情况下,在处置后,再次实施测定环境确认。如果判定为是适合于测定的环境(步骤S202中是),则其后由发光光量调整部130实施光量调整(步骤S203)。进而,在光量调整完成后,由信号稳定性判定部150测定检测信号的稳定(步骤S204)。在判定为检测信号不稳定的情况下(步骤S205中否),输出错误(步骤S220)。在输出了错误的情况下,在处置后,再次实施信号稳定性测定。在判定为检测信号稳定的情况下(步骤S205中是),开始正式测定(步骤S206)。通过以该顺序实施,能够没有浪费、并且正确地以非接触的方式高精度地实施生物体的血流变化的测定。例如,如果在测定环境判定之前实施信号稳定性判定,则在假如对象物101没有被摄像装置100捕捉到而拍摄其他的静止物体的情况下,信号稳定性判定部150也误判断为信号是稳定的,前进到下个步骤。此外,即使在测定环境判定之前实施发光光量调整部130的调整,在因同样的理由拍摄了对象物101以外的物体的情况下,也误调整光量。此外,在光量调整之前实施了信号稳定性测定的情况下,如果光量过低或过高,则摄像装置100的检测数据的SN下降或饱和。因而,如图3所示,在使用本申请的摄像装置100的生物体计测中以测定环境判定、发光光量调整、信号稳定性判定的顺序实施是最优的。

以下,对图3的次序的各功能依次叙述详细情况。图4A至图4D表示由测定环境判定部140进行的判定的一例。测定环境判定部140具有确认检测区域400是否存在于对象物101的希望的位置、是否不存在对测定带来影响的干扰误差因素的功能。例如,在想要根据氧合血红蛋白及脱氧血红蛋白的变化来观察前额叶的脑血流变化的情况下,作为对象物101而拍摄额头部。此时,如图4A那样,如果在检测区域400中没有拍入额头以外的部分,则测定环境判定部140判定为是适合于测定的环境。但是,在如图4B那样在检测区域400中包含头发及发箍等额头以外的部分的情况下,或如图4C那样检测区域400与想要测定的地方不同的情况下,测定环境判定部140判定为是不适合于测定的环境,输出错误。此外,也有如图4D那样混入干扰光的情况。关于是否混入了干扰光,可以通过追加不从光源102发出脉冲光而以快门取得的模式、并确认相当于干扰光的偏移成分的像素值来判断。干扰光是包含与照射的光源的波长接近的从750到850nm的近红外线光的光,除了太阳光以外,白炽灯、卤素灯光、氙灯光等的室内照明等也为主要因素。微小的干扰光,可通过对由摄像装置100得到的使光源的照射为OFF而进行快门动作来估计的偏移成分进行差分运算处理来除去。但是,在偏移成分极多的情况下,光敏二极管的动态范围减小。因而,例如在偏移成分满足动态范围的一半的情况下,测定环境判定部140判定为是不适合于测定的环境。

如图5A那样,由于摄像装置100还兼具备作为拍摄被检者的脸的照相机的功能,所以在显示器500上显示照相机图像,以使被检者、检查者能够识别是否是能够测定的环境。此时,在拍摄图像510上重叠显示检测区域400。如果在拍摄图像510内没有拍入遮蔽物,则也可以将检测区域400放大而使其与拍摄图像510的区域整体一致。通过这样,能够将摄像装置100的图像传感器的像素没有浪费地使用,能够实现更高分辨率的测定。此外,如果如图5B那样将平板电脑或智能电话作为显示器500而无线连接,则在家庭内及到访处等何时何地都能够实现更便利的测定。

在如图5C那样在初期的检测区域400中混入了想要测定的部分以外的部分的情况下,用户能够手动变更检测区域400。可以在拍摄图像510上显示位置调整用图标520,通过拖拽操作或坐标输入来变更检测区域400的位置及尺寸。在被检者的额头较小、在初期的检测区域400中包含头发或眉毛的情况下,匹配于被检者的额头的大小而将检测区域400缩小。此外,如果在拍摄图像510的区域中包含眼睛、眉毛、鼻子等的特征量而进行测定,则通过按下自动调整按钮,利用脸部识别运算在额头部的规定的区域中自动地设定检测区域400。在头发等的遮蔽物将额头遮住、或没有正确地检测到特征量的情况下,返回不能进行检测区域400的设定的错误。此外,如果通过自动调整将区域最大化设为ON,则能够如图5D那样通过图像处理来检测额头露出部,将额头整体设定为检测区域400。这样,通过使用检测区域400设定用GUI,能够进行调整以便正确而容易地、或在额头整体中最大限度地取得脑血流的二维分布。

此外,也可以如图5E那样设置多个检测区域400。为了增加检测区域400而在画面上轻击。为了将检测区域400删除,将想要删除的检测区域400长时间轻击。通过将检测区域400在特定部位设置多个,能够进行对关注的脑活动部位特制的评价。由于只有特定部位的信息,所以还能够减少数据处理的负荷及传送量。

如果要在检测区域400内包含头发及眉毛等的测定对象以外的部分的状态下开始测定,则如图6A所示通过字符、声音、错误音等输出促使确认检测区域400是否正确的错误。是否包含测定对象以外的部分的判断,通过使用由摄像装置100取得的图像的图像处理来实现。例如,在检测区域400内的强度分布中能看到对比度局部地发生极端的变化的情况下,判断为混入了测定对象以外的部分。对比度的极端的变化,是在关注像素的周围像素值例如变化了2成以上的情况。关于对比度的变化,如果使用Sobel、Laplacian、Canny等的边缘检测滤波器,则能够容易地检测。此外,作为别的方法,也可以是干扰因素的特征量的模式匹配或基于机械学习的判别。由于检测额头部的情况下的干扰因素某种程度上决定为头发、眉毛等,所以即使在使用学习的方法中,在事前学习中也不需要太多的数据,因此容易实现。另外,也可以加以基于尺寸的例外处理及平滑化后的判定,以便能够将黑痣、皱纹等的微细的对比度的变化忽视。

在输出了图6A的错误的情况下,在画面上进行检测区域400的变更。在此情况下,进行检测区域400的手动或自动调整。此外,在拍摄图像510的区域从希望的位置极端地错开、不能进行画面上的软件性的检测区域400的变更的情况下,通过由被检者自身一边确认显示器500一边移动,来将检测区域400设定到希望的位置。此时,可以如图6B那样在显示器500上显示辅助线530,以便容易掌握被检者相对于检测区域400处于上下左右哪个位置。基于辅助线530,能够顺畅地进行检测区域400的中心和被检者的额头的中心的调整。在被检者自身一边观察显示器500一边调整的情况下,可以作为拍摄图像510而显示为左右反转的镜像以便容易调整。此外,也可以是检查者一边确认显示器500一边变更摄像装置100的角度及位置,来调整检测区域400。在摄像装置100上,如图6C那样,安装有x、y、z方向及倾斜(摇摆、俯仰、旋转)这样的调整台540,使得能够调整摄像装置100的朝向以便能够对被检者的额头进行光照射及照相机检测。进而,通过如图6D那样被检者将下巴及头用固定夹具550固定,能够进行进一步降低了运动影响误差的测定。通过由检查者移动摄像装置100来进行调整,与被检者自己调整相比能够减轻对被检者的负担,还能够降低对要取得的脑血流信息的心理上的噪声影响。

如图7A及图7B所示,根据对象物101的不同,由摄像装置100检测的拍摄图像510的明亮度变化。这起因于由对象物101的肌肤的颜色、即黑色素带来的光的吸收度的差异。如果对象物101过亮,则拍摄图像510饱和而变得不能测定,如果过暗,则会影响检测光量的SN,所以不好。因而,发光光量调整部130根据对象物101的明亮度,调整光源102的光量。此外,根据对象物101的出汗状态及皮肤形状,表面反射率及扩散率有个人差异。如图7B所示,在对象物101上能看到泛光710的情况下,发光光量调整部130也调整光量以使其不饱和。

由于摄像装置100对到达脑内后反射回来的非常少的光进行检测,所以如何确保检测光量变得重要。因而,由于在图像处理中的数字增益调整中SN不改善,所以提高光源102的光量来确保灵敏度。但是,鉴于遵守激光的安全性基准等级1,能够照射的光量是有限的。因此,本实施方式的摄像装置100代替增加光源102的每1脉冲的光量,如图7C所示,具有调整1帧内的脉冲光的发光次数的光量调整功能。在图7C中,信号E表示从光源102射出的脉冲光的波形。信号C表示将表面反射成分I1与内部散射成分I2加在一起的波形。信号D表示电子快门的打开、关闭的定时。信号F表示电荷蓄积部中的电荷蓄积的定时。横轴表示时间,信号C及E中纵轴表示光的强度,信号D中纵轴表示电子快门的打开或关闭的状态,信号F中纵轴表示电荷蓄积部的打开或关闭的状态。通过变更在1帧内光源102发光的脉冲数,能够调整向对象物101的照射光量及摄像装置100中的检测光量。通过脉冲数变更来进行的光量调整与变更激光二极管的电流值的方法相比激光强度的稳定性也更好。此时,1帧内的快门次数也同步于发光脉冲数的变化而增减。如图7C所示,如果在1帧内确保运算、输出处理的时间,则在其以外的期间中能够增加脉冲光。因而,变更每1帧的脉冲光,意味着变更每单位时间发出的平均的脉冲光数量。

图8A及图8B是表示摄像装置100的信号稳定性判定部150的功能的图。信号稳定性判定部150确认被检者休息(rest)状态下的检测信号的时间序列数据的稳定性。休息状态,是被检者什么都不想的状态。为了将被检者引导至休息状态,使其持续观看不带花纹的图像,或使其持续观看只有点或加号的图像。此时,理想的是如图8A所示,在被检者的脑血流信号中看不到增减而为一定值。但是,根据被检者的状态,如图8B所示,检测信号不稳定。作为不稳定的因素之一,是被检者的精神状态不为全神贯注状态的情况。在此情况下,如图9所示,在显示器500上进行信号不稳定之意的输出,采取使被检者镇静或隔段时间等的对策后再次确认信号稳定性。此外,如果在信号稳定性评价中被检者动、或动眉毛,则检测信号变动。由身体运动引起的检测信号的变化可以通过计算氧合血红蛋白、脱氧血红蛋白来判断。由于以非接触的方式进行测定,所以如果发生身体运动,则摄像装置100与对象物101间的距离变动,对象物101上的照射光量变化,向对象物101入射的光量增减。因而,身体运动带来检测信号的变动,所以氧合血红蛋白、脱氧血红蛋白都向正负相同方向同时大幅地变动。因此,观察氧合血红蛋白、脱氧血红蛋白的变动,当检测到身体运动特有的信号变化时,摄像装置100输出指示被检者不要动的错误响应。此外,有时因光源102不稳定而检测信号不稳定。这起因于激光随着温度变化而发光强度单调地减小,随之氧合血红蛋白、脱氧血红蛋白信号都看起来单调增加。因而,基于该单调变化的现象,能够判断光源102是否稳定。在此情况下,摄像装置100通过发出等待直到光源102稳定的指示、或实施将由温度带来的光源的强度变化进行校准修正的处理来应对。通过信号稳定性判定部150的稳定度判定,能够进行降低/排除了误差因素的更正确的测定。

如果在测定环境确认、光量调整、检测信号稳定确认中没有问题,则然后开始正式测定。

(实施方式2)

在本实施方式2中,摄像装置800包括在测定中检测异常值的发生的异常值判定部810。这里,在本实施方式中省略关于与实施方式1同样的内容的详细的说明。异常值判定部810相当于运算部。

图10A是表示实施方式2的摄像装置800及摄像装置800将对象物101拍摄的状况的示意图。与实施方式1不同,追加了异常值判定部810。图10B是表示实施方式2的摄像装置800的正式测定中的动作的流程图。在实施方式2中,在实施正式测定的过程中(步骤S902),进行异常值的判定(步骤S904)。在由异常值判定部810判定为发生了异常值的情况下(步骤S906中是),实施对象物101的环境是否是适合于测定的状态的确认(步骤S201)。异常值,是用于确认在测定中检测信号是否发生了不规则的值的值。例如,头发等的遮蔽物、干扰光及身体运动是异常值发生的一个因素。如果在测定中混入了头发等的遮蔽物,则头发进行光吸收,所以检测信号极端地下降,脑血流信号模拟地增加,所以可以判别。或者,在摄像装置800的照相机图像中通过图像识别判断是否混入了异物。此外,如果混入了干扰光,则根据检测到的偏移成分极大地增加的情况来判别。此外,在发生了身体运动的情况下,由于氧合血红蛋白(HbO2)、脱氧血红蛋白(Hb)的值同时急剧地变化,所以能够判别。图11A是由异常值判定部810判定为没有发生异常值的情况下的脑血流变化的时间序列数据。对于任务,氧合血红蛋白增加的情况较多,而脱氧血红蛋白呈现反而减少或微增的趋向较多。另一方面,图11B是在测定中因被检者的身体运动而检测信号大幅地变动的例子。对于身体运动,在额头上照射光量增减,所以氧合血红蛋白、脱氧血红蛋白的看上去的值都向相同方向上增减。当为超过人的通常的血流变化(0.1mM·mm左右)的信号值的情况下,异常值判定部810显示错误。例如,在HbO2中是1mM·mm以上的情况下输出异常值错误。此外,由于血流变化不急剧地发生,所以在时间序列波形大致以90°变化的情况下,或者在1秒钟内有0.1mM·mmm以上的血流变动的情况下,异常值的可能性较高,所以进行异常值错误的响应。此外,身体运动的有无也可以根据摄像装置800的图像数据,通过运动体检测图像处理运算来检测。作为运动体检测,例如使用光流、模板匹配、块匹配、背景差分等方法。

在异常值判定部810判定为在正式测定中发生了异常值的情况下,如图12A及图12B所示,在显示器500上输出异常值的发生或发生了由身体运动带来的检测区域的偏差之意。操作者根据需要而进行异常值因素的对策后,从实施方式1所示的正式测定前的测定环境确认起重新实施。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1