运动信息获取装置和运动信息获取方法

运动信息获取装置和运动信息获取方法
【专利摘要】本发明涉及运动信息获取装置和运动信息获取方法。一种运动信息获取装置，包括：照明设备，用第一强度调制光、第二强度调制光和恒定照射光同时照射目标，其中第一和第二强度调制光被用具有基本相同的波长但不同的相位的参照信号进行强度调制；图像生成器，生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第三图像；以及运动信息获取器，基于第一至第三图像来获取图像中的运动信息。
【专利说明】
运动信息获取装置和运动信息获取方法
技术领域
[0001] 本发明设及从图像获取运动信息的运动信息获取装置，并且更特别地设及从时间 相关图像获取运动信息的运动信息获取装置。
【背景技术】
[0002] 在获取位于诸如光流(optical flow)之类的图像中的运动信息的领域中，运动信 息典型地是从两个连续捕获的图像之间的差异获取的。在运种方法的情况下，由于不能准 确地获取大的运动，所W通过执行高速成像来减小图像上的运动。但是，在执行高速成像时 出现的问题是需要存储容量增加和高速处理。
[0003] 因此，已经研究出通过获取时间相关图像来仅利用单次成像操作获取运动信息的 技术。时间相关图像是表示通过普通的成像获得的图像信号与预定的参照信号之间的时间 相关性的图像。专利文献1提议:相对于通过光电转换获得的电流提供参照信号，并且使用 在时间上对经调制的电流求积分并输出积分电流的图像捕获元件，W便获取时间相关图 像。但是，在该方法中使用的图像捕获元件在结构上不同于典型地使用的图像捕获元件，并 且需要大的设计变化。因此，生产成本提高。
[0004] 专利文献2提议了一种通过使用通用的图像捕获元件来获取时间相关图像的方 法。如在专利文献2中所提议的，在获取单个图像时，根据参照信号来控制快口或光量调制 元件，并且对入射光量进行调制。结果，可W通过使用通用的图像捕获元件来获取表示与参 照信号的时间相关性的时间相关图像。但是，在该方法的情况下，时间相关图像是利用快口 或光量调制元件获取的。因此，在同时获取与多个参照信号的相关性时，需要通过时间划分 (time division)来改变参照信号。所产生的问题是参照信号的采样数减少。另外，当采样 数增加时产生的问题是:需要多个光量调制元件和图像捕获元件，并且装置的尺寸增大。
[0005] 专利文献3提议了运样一种方法:在该方法中，用在对于每个波长均不同的频率处 已被幅度调制的光照射目标，并且提取出与调制频率对应的分量，W便在不使用复杂的光 谱仪的情况下在单个测量循环中用不同波长的光线实现光谱测量。专利文献3的目的是获 取光谱信息，并且未考虑获取用于运动信息获取的时间相关图像。
[0006] 专利文献1:日本专利No.5441204
[0007] 专利文献2:日本专利申请公开No.2013-62582 [000引专利文献3:日本专利申请公开No.2004-101478

【发明内容】

[0009] 鉴于W上所述，本发明的一个目的是提供能够利用简单的装置配置来获取高质量 的时间相关图像和运动信息的技术。
[0010] 根据本发明的第一方面的运动信息获取装置包括：
[0011] -种运动信息获取装置，其特征在于，包括：
[0012] 照明设备，被配置为用第一强度调制光、第二强度调制光和恒定照射光来同时照 射目标，其中第一强度调制光具有第一中屯、波长并且被用第一参照信号进行强度调制，第 二强度调制光具有第二中屯、波长并且被用具有与第一参照信号基本上相同波长但不同相 位的第二参照信号进行强度调制，并且恒定照射光具有第=中屯、波长和恒定强度；图像生 成器，被配置为生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第= 图像；W及运动信息获取器，被配置为基于由图像生成器生成的第一至第=图像来获取图 像中的运动信息。
[0013] 根据本发明另一方面的运动信息获取方法是由运动信息获取装置执行的运动信 息获取方法，该方法包括：照明步骤，用于用第一强度调制光、第二强度调制光和恒定照射 光同时照射目标，其中第一强度调制光具有第一中屯、波长并且被用第一参照信号进行强度 调制，第二强度调制光具有第二中屯、波长并且被用具有与第一参照信号基本上相同波长但 不同相位的第二参照信号进行强度调制，并且恒定照射光具有第=中屯、波长和恒定强度； 图像生成步骤，用于在用第一强度调制光、第二强度调制光和恒定照射光照射目标的同时 执行成像，并且生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至第= 图像；W及运动信息获取步骤，用于基于在图像生成步骤中生成的第一至第=图像来获取 图像中的运动信息。
[0014] 根据本发明，可W获取高质量的时间相关图像，并且可W利用简单的装置配置来 从那些时间相关图像获取高质量的运动信息。
[0015] 参照附图阅读对示例性实施例的W下描述，本发明的更多特征将清楚。
【附图说明】
[0016] 图1是根据实施例1的图像捕获设备的系统配置；
[0017] 图2是例示了运动信息获取的流程的流程图；
[001引图3A至3C例示了实施例1中的照射光的光谱分布；
[0019]图4A和4B例示了参照信号和照射光强度；
[0020] 图5A至5C例示了实施例1中的图像捕获元件；
[0021] 图6A至6C例示了实施例2中的照射光和图像捕获元件的光谱分布；
[0022] 图7A和7B例示了实施例3中的照射光的光谱分布和图像捕获元件；
[0023] 图8是例示了实施例3中的运动信息获取的流程的流程图；W及
[0024] 图9A至9D例示了实施例4中的照射光的光谱分布和图像捕获元件。
【具体实施方式】
[0025] <对时间相关图像和运动信息获取原理的说明〉
[0026] 在说明本发明的实施例之前，对时间相关图像和用于从时间相关图像获取运动信 息(运动向量、光流)的方法进行说明。
[0027] [时间相关图像]
[0028] 时间相关图像是通过把由图像捕获元件将经过图像捕获光学系统的入射光从光 转换成电荷而生成为亮度信号的通常图像与从外部提供的并随时间改变的参照信号相关 联而获得的图像。换句话说，当像素 Q J)中的图像捕获元件的输出由fi, ^t)表示、参照信 号由g(t)表示并且一帖时间由T表示时，时间相关图像Ii,^t)由W下表达式表示。运是一帖 时间内的像素值与随时间改变的参照信号的相关值。
[0029] [数学表达式1]
[0030] 1;脚二 (1)
[0031] 表达式1表示其中参照信号作为模拟信号被提供的情况。当参照信号作为数字信 号被提供时，使用离散表示。下面给出表达式1的离散表示。
[0032] [数学表达式2]
[0033] li.j(n)二;SIT=O fi.j(n)g〇〇 ( 2)
[0034] 换句话说，时间相关图像可W通过使在离散定时n At取得的图像捕获元件的输出 fi, J与参照信号值g相乘并求总和来获得，其中离散定时n At是通过进一步将一帖时间T除 Wm来获得的并且按细间隔A t隔开。当通过将一帖时间划分成细间隔来捕获图像时所获得 的每一帖被当作子帖，并且n是子帖的编号。
[0035] 在上文中说明了在用图像捕获元件对入射光进行光电转换之后取得与参照信号 的相关的情况，但是也可W通过根据参照信号按时间控制入射光强度来输出类似的时间相 关图像。
[0036] [对运动向量(光流)获取的说明]
[0037] 在下文中对用于通过使用上述时间相关图像来计算运动向量的方法进行说明。
[0038] 当图像中的点（x，y)在定时t的亮度值为f(x，y，t)并假设在细间隔At内不变时， W下表达式有效。
[0039] [数学表达式3]
[0040] f(x,y,t)=f(x+A t,y+A t,t+A t) (3)
[0041] 当表达式3经过泰勒(Taylor)展开，并且二阶和更高阶的项被忽略时，W下表达式 有效。
[0042] [数学表达式4]
[0043]
(4)
[0044] 在运里，Vx、Vy是运动向量V在点（X，y)的X和y分量。
[0045] 表达式4被称为光流约束方程，并且可W通过求解运个方程来计算运动向量V。本 文的问题在于用于获取表达式4中的偏微分项（按时间微分）的方法。该部分偏微分项通常 是通过求得两帖之间的图像差异来计算的，但是用运种方法难W准确地确定大的运动。
[0046] 让我们考虑在某个时间T上曝光的具有明暗值(shading value)f(x,y,t)的图像。 当在时间T上对表达式4进行积分时，获得W下表达式。
[0047] [数学表达式引
巧）
[0049] 然后，让我们考虑在曝光期间取COS(COt)、sin( cot)作为参照信号的时间相关图 像。当考虑通过组合用运两个参照信号获取的时间相关图像所获得的相关图像I(x，y)时， 相关图像I(x，y)可W由W下表达式表示。
[0050] [数学表达式6]
[0化1 ] (6)
[0052] 表达式5和表达式6中最终变换出的方程包括在定时T/2和定时-T/2的亮度值f(x， y，t)之间的差。运个差实际上无法计算，因为在定时T/2和-T/2的图像是未知的。但是，当CO T =化(n为整数)时，W下表达式有效。
[0053] [数学表达式7]
[0054] ei"T/2 = e_i"T/2 = (-i)n (7)
[0055] 换句话说，当在曝光期间提供具有整数周期的正弦波时，表达式5和表达式6中的 微分项，除了其符号之外，变得彼此相等，并且W下表达式有效。
[0化6] 「数学表达式引
[0化7]
(8)
[0058] 表达式8是复数方程，并且关于两个未知数Vx、Vy可W获得实部方程和虚部方程。 可W通过求解运些方程来获取运动向量V。
[0059] 另外，表达式8是由普通强度图像Io和具有余弦波和正弦波作为参照信号的时间 相关图像I构成的。换句话说，当在一帖中的单个图像捕获循环内可W同时获取强度图像Io 和用正弦波获得的时间相关图像I时，可W在不通过两帖图像之间的差异的近似的情况下 获取速度向量V。
[0060] 在上文的说明中，为了简化，假设参照信号是正弦波(余弦波和正弦波），但是也可 W通过取具有不同相位的基本相同形状的周期性信号作为参照信号来W与上文所述相同 的方式计算速度向量。
[0061] (第一实施例）
[0062] 如上所述，时间相关图像被获得作为参照信号与从图像捕获元件获得的信号的相 关。例如，在日本专利申请公开No. 2013-62582中，通过根据参照信号控制快口或光学调制 元件来调制入射到图像捕获元件上的光量。在本发明的实施例中，通过使用W上提到的正 弦参照信号作为调制信号，并且根据参照信号调制落到目标上的照射光的强度来调制入射 到图像捕获元件上的光量。在本实施例中，运样获取时间相关图像，并且基于该时间相关图 像来获取目标的运动信息。
[00创 < 系统配置〉
[0064] 图1是根据本发明的第一实施例的图像捕获设备的系统配置。图像捕获设备1具有 照明设备10、照射控制单元11、图像捕获光学系统12、图像捕获元件13、成像控制单元14、图 像处理单元15、存储器16、运动计算单元17、输入单元18、显示单元19和存储单元20。
[0065] 由诸如Lm)或激光器之类的能够输出具有窄带光谱的光的光源构成的照明设备10 被配置为能够输出多个光谱。光谱的中屯、波长不受特别限制，但优选的是使用从紫外区域 到红外区域的波长带。在本实施例中，照明设备10输出具有彼此接近的=个不同中屯、波长入 O至A2的光谱。
[0066] 对于照明设备10中的照射光源，照射控制单元11根据事先存储的参照信号或者由 输入设备(图中未绘出)输入的参照信号来针对每个光谱独立地控制强度的调制。
[0067] 图像捕获光学系统12由多个透镜构成并且形成入射光在图像捕获元件13的图像 表面上的图像。图像捕获光学系统12是焦点可变的光学系统，并且可W通过成像控制单元 14的自动聚焦功能来执行自动聚焦。自动聚焦系统可W是被动的或主动的。
[0068] 图像捕获元件13具有CCD或CMOS,并且被配置为能够同时获取具有不同中屯、波长 的图像。为了获取具有不同中屯、波长的图像，图像捕获元件13可W具有多个不同的滤色器 或者可W被配置为通过使用衍射来分离波长。它还可W被配置为具有与不同波长对应的多 个图像捕获元件，即，作为S板式（three-plate)图像捕获元件。图像捕获元件13被配置为 能够获取至少W下光谱:与从照明设备10的照射光源福射的具有中屯、波长M)至A2的光谱对 应的光谱、W及不包括来自照明设备10的照射光的具有中屯、波长A3的光谱。
[0069] 成像控制单元14执行对整个成像过程的控制，即，对聚焦和曝光的控制W及对照 射和图像捕获的定时控制。
[0070] 图像处理单元15处理从图像捕获元件13输出的信号。更具体而言，图像处理单元 执行诸如模拟信号的A/D转换、噪声去除、去马赛克、亮度信号转换、像差校正、白平衡调整 和色彩校正之类的通常处理、W及与照射光源波长对应的校正处理。稍后将提供对校正处 理的详细说明。从图像处理单元15输出的数字图像数据临时存储在存储器16中，然后经受 期望的处理，例如，显示在显示单元19上和存储(保存)在存储单元20中。
[0071] 运动计算单元17通过使用由图像处理单元15生成的并存储在存储器16中的多个 图像来获取图像中的目标的运动信息。通过组合目标的运动信息与图像捕获设备在图像捕 获期间的运动信息来获得图像中的目标的运动信息。因此，可W通过使用加速度传感器等 来单独获取图像捕获设备的运动信息，并且可W输出通过减去图像捕获设备的运动信息而 获得的目标的运动信息。也可W通过捕获静止目标的图像来获取并输出图像捕获设备的运 动信息。所输出的结果临时存储在存储器16中，然后经受期望的处理，例如，显示在显示单 元19上和存储(保存)在存储单元20中。
[0072] 输入单元18是由用户操作的并用来向图像捕获设备1输入信息或更改设置的接 口。例如，可W使用拨号盘、按钮、开关或触摸面板。
[0073] 显示单元19是由液晶显示器或有机化显示器配置成的显示装置。显示单元19被用 于确认成像期间的构图（composition)、浏览所捕获并存储的图像、W及显示各种设置屏幕 和消息信息。
[0074] 存储单元20是存储所产生的图像数据或者要由图像捕获设备1使用的参数数据的 非易失性存储介质。优选的是使用可W高速读取的高容量存储介质作为存储单元20。例如， 可W有利地使用闪存。
[0075] <用于同时获取与多个参照信号有关的时间相关图像的方法〉
[0076] 在下文中将参照图2更详细地说明由图像捕获设备1执行的从时间相关图像成像 到运动信息获取的操作序列，图2是例示了从成像起的处理流程的流程图。
[0077] 当用户操作输入单元18 W开始成像时，成像控制单元14执行自动聚焦(AF)或自动 曝光(AE)控制，并且确定焦点位置和光圈(F数）（步骤S11)。然后，照射控制单元11基于用成 像控制单元14获得的成像条件来关于焦点位置确定照明设备10的光的最大强度（步骤 S12)。优选的是焦点位置(到目标的距离)越远，则照明设备10的光的最大强度越大，但是最 大强度也可W是事先设置的值，而不管焦点位置如何。
[0078] 在下文中说明用于照明设备10中的照射光源的条件。通过根据参照信号来改变照 射强度而获取的时间相关图像由照射光的强度化）、环境光的光谱分布化U、目标的光谱反 射率(R)、图像捕获元件上的滤色器的透射率(T) W及图像捕获元件的灵敏度(S)确定。目标 在成像期间的光谱反射率和环境光的光谱分布一般是未知的。因此，当使用不同波长的光 源执行照射时，即使照射光的最大强度相同，所获得的图像的强度也不恒定。换句话说，即 使通过其中多个光源的最大强度相匹配的强度调制来执行照射，也不可能获取对于具有相 同的最大强度值的参照信号的时间相关图像。
[0079] 为了解决运个问题，在本实施例中，使用具有窄波长范围的光谱来执行成像。在连 续波长的情况下，通常可W发现目标的光谱反射率连续地变化，并且突然变化是罕见的。在 图3A中，目标的光谱反射率的示例被表示为从紫外福射至近红外福射。在图3A中，注意力集 中在特定的窄波长区域(M)至A3)，并且在该波长区域中，目标的光谱反射率可W假设为基 本上恒定。可W通过进一步将该波长区域划分成具有中屯、波长^八1、\2八3的更窄的光谱 来获取图像。在运种情况下，可W分开获取不同波长的图像，同时使得可W基本上忽略由光 谱反射率引起的强度变化的影响。同样，当环境光的光谱分布也在窄波长区域中时，可W假 设相同的强度，并且环境光的影响也可W认为是恒定的。
[0080] 照射光源的中屯、波长和光谱分布W及滤色器的中屯、波长和光谱分布被设置在窄 带中，使得W上提到的条件可W满足。图3A中的多条点线指示被图像捕获设备1用于成像的 中屯、波长(M)至A3)。更具体而言，中屯、波长AO至A2是由照明设备10的多个照射光源发出的 光线的中屯、波长，并且中屯、波长AO至A3是由图像捕获元件13获取的光的中屯、波长。另外，图 3B例示了照射光源在AO至A2波长区域内的光谱分布W及图像捕获元件的滤色器在A3波长 区域内的光谱分布的示例。由于A3是用于测量环境光的光谱，所W在该光谱中不从照明设 备10发出照射光。另外，由于滤色器在M)至A2波长区域内的光谱分布与照射光源的光谱分 布基本上相同，因此它们在图3B中被省略了。
[0081] 随着运四个光谱的中屯、波长之间的距离减小，目标的光谱反射率和环境光的光谱 分布的波动减小，并且可W获取高度准确的时间相关图像。另外，随着光谱宽度减小并且光 谱的相互重叠区域的尺寸减小，其它光谱的影响可W降低。至于相邻光谱的中屯、波长之间 的距离与光谱宽度之间的关系，如图3C中所绘出的，优选的是使中屯、波长之间的距离大于 通过将一个光谱的半峰半宽化alf width at half maximum)与另一个光谱的半峰半宽相 加而获得的距离。
[0082] 当使用激光器作为光源时，光谱宽度可W是几纳米，并且多个照射光源的波长可 W被设置在十几纳米的范围内。同时，当使用Lm)作为照射光源时，光谱宽度难W减小至几 纳米。因此，优选的是中屯、波长之间的距离在50nm内，并且光谱的半峰半宽也在50nm内。当 一个照射光源的光谱的半峰半宽由WAi表示，而另一个照射光源的光谱的半峰半宽由WAj表 示时，相邻中屯、波长之间的距离CW可W由W下表达式表示。
[0083] [数学表达式9]
[0084]
(9)
[0085] 照明设备10只福射具有中屯、波长AO至A2的S个光谱，但是，当中屯、波长或光谱宽 度被确定时，假设A3光谱也被福射，优选的是A3光谱的发射也被假设并且在该四个光谱当 中W上提到的条件得W满足。
[0086] 在步骤S13中，照射控制单元11根据在步骤Sll中获得的成像条件来确定曝光期间 的参照信号周期和参照信号频率，并且通过使用所确定的参照信号来用对于照明设备10的 照射光源的每个波长不同的强度调制执行照射。
[0087] 在照射控制单元11中使用的参照信号用来确立与目标的明暗的相关性，并且随时 间改变的任何信号都可W输入。诸如图4A中所绘出的相位偏离90°的两个正弦波信号(余弦 波信号和正弦波信号）表示参照信号的示例。也可使用诸如矩形波和银齿波信号之类的周 期信号。被同时使用的不同参照信号在信号的相位、频率和时段中的至少一个上不同，并且 优选的是使用相同类型的波形。
[0088] 在本实施例中，照射控制单元11福射通过用余弦波和正弦波对AO和A2照射光源进 行强度调制所获得的强度调制光。在照射控制单元11中，M照射光源福射未经强度调制的 具有恒定值输出的恒定照射光。图4B示出了两个强度调制光线的强度La〇、La2W及恒定照射 光的强度Lai。运些光强度可W具体地W W下方式表示。
[0089] [数学表达式10]
[0090]
(10)
[0091] 在运里，Lo是恒定数值，CO是参照信号的角频率。在下文中描述用于确定参照信号 的角频率O的方法。由于角频率和频率彼此仅相差一个恒定因子，所W角频率将在下文中 被简称为频率。
[0092] 当多个照射光源的强度相同时，期望正弦波的最大幅度和恒定输出具有相同的 值，但是也可W通过使用输出的差异来校正下面描述的所获取的图像。另外，在上述示例 中，AO和A2的最小幅度为零，但是最小幅度可W大于零。
[0093] 还期望两个正弦参照信号之间的相位差是90%但±30°内的相位偏移也是允许 的。因此，两个参照信号的相位差可W在90° ±30° (60° (含60°)至120° (含120°))内。但是， 随着相位差从90°偏移，运动信息获取的精度降低。因此，优选的是两个正弦波之间的相位 差为± 10° (80° (含80°)至100° (含100°))。两个正弦波的频率CO最优地是相同的，但也可W 不同。当频率不同时，期望在曝光开始时两个正弦波的相位差与在曝光结束时两个正弦波 的相位差之间的变化可W被抑制到±30° (-30° (含-30°)至30° (含30°))内。由于运动信息 获取的精度随着在曝光期间相位差的变化的增大而减小，因此更优选的是在曝光开始时两 个正弦波的相位差与在曝光结束时两个正弦波的相位差之间的变化为±10°或更小(-10° (含-10°)至10° (含10° ))。因此，当两个频率由CO 1、CO 2表示并且曝光时段由T表示时，优选 的是满足条件I ? 1-?21 X T含10° (或者30°)。顺便说一下，优选的是在曝光时段内两个正弦 波的相位差在90° ±30° (60° (含60° )至120° (含120° ))内，更优选地在90° ±10° (80° (含 80°)至100° (含100°))内。最优选的是在曝光时段内两个正弦波的相位差始终为90°。
[0094]照射控制单元11可W被配置为用参照信号输入单元(未在图中绘出）从外部输入 参照信号。也可W在照射控制单元11中的存储器或存储单元20中存储已事先确定的参照信 号值，使得照射控制单元11可W读取并使用运些值。照射控制单元11还可W保持函数及其 系数，W生成并使用信号值。
[00%]在下文中描述用于确定参照信号频率《的方法。照射控制单元11调整参照信号频 率，使得包括在由步骤Sll中的曝光控制确定的曝光时间段中的参照信号的周期为整数。由 此，照射控制单元11按W下方式设置参照信号频率《。
[0096] 「敬举亲巧式11]
[0097]
(11)
[0098] 在运里，T是曝光时间段。另外，n是整数并且与曝光期间的正弦波的频率对应。
[0099] 照射控制单元11可W使用已事先存储在存储单元20中的值作为n值，或者可W使 用由用户选择的值。另外，照射控制单元11可W确定整数n，使得CO被限制在事先存储的或 从用户获取的范围内。
[0100] 同时，成像控制单元14还可W改变快口速度(曝光时间段T)和光圈值并且执行成 像W便确保正确的曝光，使得曝光期间的参照信号的频率《 W及曝光中所包括的参照信号 的周期n满足预定的条件。
[0101 ]在获取执行快速运动的目标的运动时，相比于获取执行慢速运动的目标的运动的 情况，增大调制频率《是有利的。例如，由用户从输入单元获取的目标的速度可W从输入单 元18输入，并且照射控制单元11可W根据所输入的目标的速度来确定整数n。由于可W事先 了解目标的速度与适当的调制频率之间的关系，所W照射控制单元11可W将整数n确定为 接近于目标的速度对应的适当的调制频率。
[0102] 在步骤S14中，成像控制单元14执行成像过程。更具体而言，在该过程中，照射控制 单元11基于来自成像控制单元14的信号开始两个强度调制照射光线与恒定照射光的发出， 并且同时，打开快口（未在图中绘出）并且执行曝光。由照明设备10发出的光被目标反射，并 且通过图像捕获光学系统12在图像捕获元件13上形成图像。快口（未在图中绘出）由机械快 口或电子快口配置而成。
[0103] 成像控制单元14控制照射控制单元11和图像捕获单元13,使得对照射的调制在曝 光开始定时处开始，并且曝光结束W包括具有整数周期的照射调制。可替代地，可W由照射 控制单元11事先实现调制照射，并且可W通过控制曝光时间来执行成像，使得在曝光时间 中包括具有整数周期的调制。在执行对动态图像的成像时，参照信号的频率由照射控制单 元11确定，使得在预定的单个帖时间中执行具有整数周期的调制，并且调制照射连续地并 与曝光同步地实现。
[0104] 在下文中描述图像捕获元件13的配置。如图5A中所绘出的，图像捕获元件13具有 至少四个滤色器，运些滤色器具有与构成照明设备10的多个照射光源的波长带M)至A2和用 于环境光测量的波长带A3对应的预定光谱分布。在图像捕获元件13中，如图5A中所绘出的， 具有四个滤色器的四个像素 W2行2列布置，并且各自由四个像素构成的像素组被二维地布 置。每个滤色器的中屯、波长和光谱分布需要与照射光的光谱分布基本相同，例如，诸如图3B 中所绘出的。运种图像捕获元件13使得可W获取与两个强度调制光线和恒定照射光对应的 图像W及用于环境光测量的图像(环境光图像）。图像捕获元件13中波长的分离不仅可W用 滤色器执行，而且还可W通过使用衍射来执行。另外，也可W使用其中在一个图像捕获元件 上设置透射多个不同波长的滤色器的配置，W及其中使用多个图像捕获元件并且布置用于 每个图像捕获元件的透射不同波长的滤色器的配置。
[0105] 照射光源的光谱和图像捕获元件的滤色器的光谱并不总是需要相同。也可W使用 其中照射光源和滤色器的波长特性偏移W便进一步减少波长的重叠的配置。例如，如图5B 中所绘出的通过使照射光源和滤色器的中屯、波长偏移来进一步减少光谱重叠的区域的设 计也是有效的。此外，如图5C中所绘出的，通过将照射光源和滤色器的光谱中的任何一个配 置为具有更窄带的光谱特性并且匹配中屯、波长，也可W减少重叠的区域。
[0106] 当快口关闭时，成像控制单元14从图像捕获元件13读取图像并将图像传送到图像 处理单元15。图像处理单元15接收由图像捕获元件13获取的图像的信号值的输入并且针对 滤色器的每个波长执行图像生成(步骤S15)。在图像生成处理的过程中，图像处理单元15还 基于照射光源的每个波长的强度差异、图像捕获元件上的滤色器之间的透射率差异W及图 像捕获元件中对于每个波长的灵敏度差异来执行校正。图像处理单元15还通过使用从其中 不执行照射的波长带(A3)的像素获得的像素值来校正从目标反射的环境光的影响。也可W 在生成每个波长的图像之前针对每个像素执行校正处理。校正后的图像临时存储在存储器 16中，如果必要的话，显示在显示单元19上和存储在存储单元20中。
[0107] 在下文中对上述校正处理进行更详细的说明。在校正处理中，需要考虑环境光 化L)、目标的反射率(R)、照射光源强度化）、滤色器透射率(T)和图像捕获元件灵敏度(S)， 并且需要消除由此造成的信号强度的波动。在波长M)处，不随时间改变的环境光由EL(W) 表示，运动的目标的光谱反射率由R(M),t)表示，照射光的强度由L(M),t)表示，滤色器的透 射率由T(AO)表示，并且图像捕获元件的灵敏度由S(AO)表示。如在表达式10中所指示的，在 波长M)处的强度调制光的强度L(M), t)为0. SXLoX (l+cos( COt))。像素 Q J)中的图像的 亮度值Iao (i，j，AO)由W下表达式表示。
[010引[数学表达式12]
[0109]
(12)
[0110] 除了由强度调制光的反射确定的亮度值，亮度值山〇(1^'，^))还包括由环境光的反 射确定的亮度值。经反射的照射光不被包括在具有不执行照射的波长A3的图像(环境光图 像）中。因此，可W基于环境光图像来除去由环境光确定的亮度值。具有波长A3的环境光图 像的亮度值IA3 (i，j，A3)由W下表达式表示。
[011U [数学表达式13]
[0112]
(.13).
[0113] 另外，在恒定照射光发出的波长Al处的图像的亮度值,Al)由W下表达式表 示。在运种情况下，如由表达式10所指示的，照射强度L(Al，t)=L(Al)=Lo。
[0114] [数学表达式14]
[0115]
(14)
[0116] 同样，在波长A2处的图像亮度值山2(1^'，^2)由W下表达式表示。如在表达式10中 所指示的，照射光源在波长处的强度L(A2，t)为0.5 X Lq X (l+sin( O t))。
[0117]........
[011引 （I則
[0119] 图像处理单元15通过使用所述四个图像山0至lA3来校正环境光的影响和波长的影 响。首先，由波长的差异引起的滤色器的透射率T的差异W及图像捕获元件的灵敏度S的差 异被校正。由波长引起的滤色器的透射率T的差异W及图像捕获元件的灵敏度S的差异可W 事先通过测量来确定。因此其值被测量，用于与参照波长处的值匹配的校正系数被存储，并 且图像处理单元15通过使用校正系数来执行规范化。例如，执行恒定值照射的光源波长入1 被取为参照，并且执行校正，使得在M)处的透射率T(M)K照射光强度L(AO)和图像捕获元件 灵敏度S(AO)的乘积匹配在Al处的乘积T(A1化(Al)S(Al)。当波长彼此接近并且滤色器的透 射率T和图像捕获元件的灵敏度S可W被认为恒定时，或者当运动信息的计算精度可W降低 时，运种校正处理可W省略。
[0120] 然后，未知的、在测量期间每个波长处的环境光强度化W及目标在每个波长处的 反射率R被校正。在运种情况下，当波长AO和A3处于窄波长带中时，未知的、目标在每个波长 处的反射率RW及每个波长处的环境光强度化可W被假设是恒定的。在运种假设下，在不执 行照射的情况下捕获的图像IA3表示利用环境光的照射化和目标的反射率R。因此，通过从已 执行照射的波长处的图像Ia〇、Iai、Ia2减去不执行照射的波长处的环境光图像IA3,可W获得 从中除去环境光的影响的图像Ia〇'、Iai'、Ia2'。
[0121] 校正后的图像山1'表示通过从中除去环境光的恒定照射而获得的图像，校正后的 图像山0'表示与余弦波的时间相关图像，并且校正后的图像IA2'表示与正弦波的时间相关 图像。实际上，在波长M)和A2处的照射强度可W如由表达式10指示的那样确定。因此，需要 执行W下计算来获取cos( Ot)和Sin( Ot)的时间相关图像。
[0122] [数学表达式16]
[0123]
'(1.技）
[0124] 在上文所说明的示例中，照射光的最大值在所有的波长处是恒定的并且都等于 Lo，但是当照射强度对于每个波长不同时，需要在运个阶段执行规范化。
[0125] 表达式8中的普通的强度图像Io(x，y)对应于上面提到的lAi"。表达式8中的时间相 关图像I(x，y)对应于Ia〇"-Ha2"。
[0126] 在参照信号到波长带的优选分配中，由恒定值参照信号确定的照射的波长带被取 为中屯、，并且在其中执行调制照射的波长带被布置在该中屯、的较短波长侧和较长波长侧。 在上述示例中，优选的是Wai<A2。另一种有利的方法是取其中不执行照射的波长带和恒 定值照射的波长带作为中屯、，并且把在其中执行调制照射的波长带布置在该中屯、的较短波 长侧和较长波长侧。在上述示例中，优选的是MKAl<A2且MKA3<A2。
[0127] 然后，通过使用存储在存储器16中的强度图像Il和时间相关图像10、12,在运动计 算单元17通过计算表达式8获取运动信息(步骤S16)。在执行表达式8的计算时，可W只使用 单个像素的值，但是考虑到稳定性，优选的是使用区域中与所关屯、的像素接近的像素的值 来计算预定的最小二乘解。所获取的运动信息经受期望的处理，例如，保存在存储单元20 中，或者与另一应用一起使用。
[0128] 如在上文中所述，通过在多个照射光源的光谱与由图像捕获元件获取的图像的光 谱之间建立对应性并且通过使光谱宽度变窄来使中屯、波长彼此接近，可W减小由目标的光 谱反射率和环境光的光谱分布引起的所捕获图像的强度变化。结果，利用单个成像操作可 W同时获得其中参照信号的最大幅度相匹配的时间相关图像，而无需测量环境光的光谱分 布或目标的光谱反射率。另外，通过使用所获取的时间相关图像，可W执行无需对两个帖之 间的差异进行近似的高精度、高分辨率的运动矢量获取计算。
[0129] 由本实施例的配置证明的效果是:可W仅仅通过改变滤色器和修改照射来同时获 取与多个参照信号时间相关的图像，而无需对常规的图像捕获元件进行显著的电路修改， 并且可W降低图像捕获设备的成本。
[0130] 另一个效果是:与通过使用单个图像捕获元件利用快口或光强度调制器同时获取 与多个参照信号时间相关的图像时相比，可W在不减少参照信号的采样数的情况下获取时 间相关图像。
[0131] (第二实施例）
[0132] 在下文中描述本发明的第二实施例。第二实施例与第一实施例的区别在于照射光 源的中屯、波长被分开设置。在运种情况下，对于环境光强度与目标的光谱反射率在任何波 长处都相同的假设变为无效。因此，在本实施例中，第一实施例的配置被改变为使得当照射 光源的中屯、波长被分开设置时，仍然可W获取参照信号的最大幅度相匹配的时间相关图 像。由于图像捕获设备1的配置基本上与第一实施例中的相同，所W在W下说明中相同的部 件被分配相同的附图标记。在下文中主要说明与第一实施例的区别。
[0133] 本实施例中的照明设备10与第一实施例中的照明设备10的相似之处在于它福射 具有中屯、波长AO至A2的光谱，但区别在于中屯、波长之间的距离比第一实施例中的大，并且 等于或大于50nm。除中屯、波长之间的距离不同之外，照射光与第一实施例中相同。
[0134] 当照射光的中屯、波长被运样设置成分开较远时，在每个带中环境光的光谱分布 化L)和目标的光谱反射率(R)也可能显著不同。结果，即使在图像处理单元15中校正了由照 射光源的波长引起的强度化)的差异、滤色器的透射率(T)的差异W及在图像捕获元件由波 长引起的灵敏度(S)的差异，时间相关图像的强度也取决于波长带而大大不同。因此，环境 光的光谱分布化U的影响和目标的光谱反射率(R)的影响需要得到校正。
[0135] 由于该原因，设置在图像捕获元件13中的滤色器的类型改变。在本实施例中，获取 与照明设备10的每个照射光对应的图像，并且还获取不包含与每个照射光的波长接近的波 长处的照射光的影响的图像(环境光图像）。因此，具有与照明设备10的光源的中屯、波长基 本相同的中屯、波长AO至A2的光谱的滤色器和具有与光源设备的中屯、波长接近的中屯、波长入 0 '至A2 '的相似光谱的滤色器成对地布置在图像捕获元件13中。在图6A中示出了具体的滤 色器的光谱示例。图像捕获元件13具有设有滤色器的像素，其中滤色器具有图6A中绘出的 中屯、波长AO至A2和A0'至A2'的六种类型的光谱。具有中屯、波长A0、A1、A2的滤色器的光谱基 本上与照明设备10的光源设备的光谱相同。具有中屯、波长、A2'的光谱在具有中屯、 波长M)、A1、A2的光谱之间设置，W满足表达式9的条件。目标在不同照射光源的光谱中的光 谱反射率可W显著不同，但是，在构成一对的滤色器的光谱之间，目标的光谱反射率可W被 认为基本相同。
[0136] 图6B和6C示出了滤色器在图像捕获元件13上的布置示例。在图6B所绘出的示例 中，构成一对的、具有接近的中屯、波长的滤色器在水平方向上相邻地布置，而具有不同中屯、 频率的滤色器对在垂直方向上周期性地布置。在图6C所绘出的示例中，构成一对的滤色器 在垂直方向上相邻地布置，而具有不同中屯、频率的滤色器对在水平方向上周期性地布置。 优选的是构成每一对的滤色器相邻地布置，如在图6B和6C中所绘出的，但是滤色器的运种 布置次序不是限制性的。
[0137] 在下文中描述由图像处理单元15实现的用于生成时间相关图像的方法。在运种情 况下，图像处理单元15 W类似于第一实施例的方式校正由波长引起的各种参数之间的差 异，但具体的处理内容与第一实施例的不同。
[0138] 首先，图像处理单元15在构成对的波长处的图像中校正由波长的差异引起的图像 捕获元件上的滤色器的透射率T的差异，并且还校正图像捕获元件中对于每个波长的灵敏 度S的差异。在运种情况下，当构成对的波长足够小时，可W假设在其参数之间没有差异并 且省略该处理。然后，图像处理单元15在构成对的滤色器之间从具有已执行照射的中屯、波 长入0至A2的时间相关图像减去具有不执行照射的中屯、波长A0'至A2'的图像。结果，可W除 去由环境光的光谱分布化产生的影响，并且获得只包含由照射光L产生的影响的S个图像。 由于那些照射光图像的波长带彼此显著不同，所W目标的光谱反射率R、照射光源的强度L、 滤色器的透射率T和图像捕获元件的灵敏度S显著不同。因此，图像处理单元15然后通过使 用已事先测量的照射光源的强度L、滤色器的透射率T和图像捕获元件的灵敏度S来执行校 正，使得相同的亮度值由相同强度的信号调制。
[0139] 在运种情况下，目标的光谱反射率R的影响仍未校正。为了校正它，使用利用具有 中屯、波长A0'至A2'的环境光获得的图像。首先，在环境光图像中校正滤色器的透射率T和图 像捕获元件的灵敏度S。结果，残留在环境光图像中的差异变成环境光的光谱分布EL和目标 的光谱反射率R的影响。在运种情况下，从校正后的图像计算白平衡。白平衡表示环境光的 光谱分布，并且通过使用白平衡校正图像来计算目标的光谱反射率R。可W通过使用从环境 光图像确定的光谱反射率R来校正照射光图像中目标的光谱反射率。
[0140] 上述校正处理使得可W获得用恒定照射获得的图像、与余弦波的时间相关图像、 W及与正弦波的时间相关图像。W与第一实施例中相同的方式从运些图像计算运动信息。
[0141] 在本实施例中，优选的是当获取普通的彩色图像时具有=个不同光谱的照射光源 的中屯、波长被设置为接近RGB滤色器的中屯、波长。R滤色器的中屯、波长一般在从580nm至 650nm的范围内，G滤色器的中屯、波长一般在从500nm至580nm的范围内，而B滤色器的中屯、波 长一般在从43化m至50化m的范围内。针对RGB滤色器的每个带来分开设置照射光源的S个 光谱。在本实施例中，具有与相应照射光源的中屯、波长接近的中屯、波长的滤色器成对地布 置在图像捕获元件上。因此，用不执行照射的S个波长获得的图像对应于相应的RGB彩色平 面图像，滤色器的光谱窄，并且颜色再现性低，但是RGB彩色图像可W被同时获取。关于在恒 定照射下捕获的颜色(波长），通过考虑其中用具有一对波长的滤色器获得的两个图像组合 为单个彩色平面图像的图像，可W扩展波长带并且提高颜色再现的精度。
[0142] 在运种情况下，RGB彩色图像已经被考虑作为彩色图像的示例，但是在用诸如互补 滤色器之类的其它滤色器获得的彩色图像的情况下，也可W使用上述过程。
[0143] 如上文所指示的，通过增加图像捕获元件13中滤色器的类型的数量，即使照射光 源的中屯、波长被分开设置，也可W降低目标的光谱反射率的影响和环境光的光谱分布的影 响，并且能获取时间相关图像。
[0144] 另外，也可W通过针对红色区域、绿色区域和蓝色区域分别布置照射光源的中屯、 波长和在图像捕获元件上构成对的滤色器的中屯、波长来同时获取RGB彩色图像。此外，当不 执行调制照射时，可W通过组合具有接近光谱的一对滤色器来放大滤色器的带宽度，并且 当执行调制照射时，可W获取具有高颜色再现性的彩色图像。
[0145] (第=实施例）
[0146] 在下文中描述本发明的第=实施例。第=实施例与第一实施例的区别在于照射光 源的中屯、波长被分开设置。本实施例与第二实施例的区别在于成像被执行多次，使得即使 照射光源的中屯、波长被分开设置，也可W获取与参照信号的最大幅度匹配的时间相关图 像。由于在本实施例中图像捕获设备1的配置与第一实施例中的基本相同，所W在下面的说 明中相同的部件被分配相同的附图标记。下文中主要说明与第一实施例的区别。
[0147] 下文中首先描述与照明设备10中的照射光源的中屯、波长和光谱有关的差异。照明 设备10发出具有=个中屯、波长的光线，并且执行照射光强度的余弦调制、正弦调制和不调 制的特征与第一和第二实施例中的相同。W与第二实施例中相同的方式，照射光源的中屯、 波长被设置为彼此隔开50nm或更多的波长带。更优选的是，运S个中屯、波长被布置为接近 RGB的中屯、波长。在本实施例中，光谱没必要像第一和第二实施例中那样是窄带。但是，布置 优选为使得彼此相邻W便满足表达式9的中屯、波长之间的距离大于相应光谱的半峰半宽之 和（图7A)。另外，图像捕获元件13可W被配置为具有光谱对应于照射光源的光谱的滤色器， 并且例如，可W使用诸如图7B中所绘出的拜耳(Bayer)布置。当使用使得覆盖RGB区域的光 谱时，在避免重叠的同时，本实施例的图像捕获元件13可W获取颜色再现性比第二实施例 中颜色再现性高的彩色图像。
[0148] 利用本实施例的配置，由于目标的光谱反射率和照射光的光谱分布的影响，不能 通过单个成像操作来获取规范化的时间相关图像。因此，成像被执行两次，即，在用参照信 号调制的照射下和不进行照射。
[0149] 在图8中呈现了成像的流程图。从步骤S21至步骤S24的处理与第一实施例中的相 同。然后，在步骤S25中，在没有照射的情况下执行成像。没有照射的成像也可W在有照射的 成像之前执行，并且运些成像操作的次序不受限制。通过成像获得的图像从图像捕获元件 13读取并且临时存储在存储器16中。
[0150] 然后，处理前进到步骤S26,并且图像处理单元15生成时间相关图像。通过没有照 射的成像获得的图像包括关于环境光的光谱分布和目标的光谱反射率的信息。在相同波长 的图像中，可W通过从通过有照射的成像获得的时间相关图像中减去通过没有照射的成像 获得的图像来除去环境光和光谱反射率的影响。通过没有照射的成像获得的图像可W作为 彩色图像保存在存储单元20中。
[0151] 在图像处理单元15中被校正的时间相关图像存储在存储器16中，然后从运动计算 单元17读取并经受运动信息获取处理(步骤S27)。所生成的运动信息存储在存储单元20中。
[0152] 利用本实施例的配置，可W减轻对照射光源和图像捕获元件13上的滤色器的光谱 宽度的限制。例如，通过如图7A中所绘出的那样划分成宽波长区域并设置照射光源的中屯、 波长，当在没有调制照射的情况下执行成像时，可W获取颜色再现性比第二种实施例中的 颜色再现性高的彩色图像。因此，可W用单个图像捕获设备来获取时间相关图像和彩色图 像。
[0153] (第四实施例）
[0154] 在下文中描述本发明的第四实施例。本实施例与第一实施例的相似之处在于:使 用具有位于窄波长范围中的中屯、波长M)至A2的照射光线和具有中屯、波长AO至A3的四个滤 色器来执行成像。但是，本实施例与第一实施例的区别在于所有中屯、波长都被设置在不可 见范围内。与第一实施例的另一区别是：由于照射光线的中屯、波长被设置在不可见范围内， 所W用于获取通常图像的RGB滤色器被布置在图像捕获元件上。由于本实施例中的图像捕 获设备1的配置与第一实施例中的基本相同，所W在下面的说明中相同的部件被分配相同 的标号。下文中主要说明与第一实施例的区别。
[0155] 在本实施例中，照明设备10的多个照射光源的所有中屯、波长带都被设置在不可见 范围内。特别优选的是，运些波长是从750皿至1.4WI1的近红外（IR)波长。至于运些照射光源 的光谱，优选的是W与第一实施例中相同的方式使光谱的重叠小并且中屯、波长彼此接近， 并且中屯、波长之间的距离与光谱宽度被选择为满足表达式9。
[0156] 如图9A中所绘出的，图像捕获元件13具有:具有其中对应于照射光源的中屯、波长 (入0至A3)在近红外区域中的窄光谱的滤色器、W及具有在可见区域中的RGB光谱的滤色器。 滤色器的配置为使得，如图9B中所绘出的，由具有拜耳布置的4个像素构成的RGB滤光器和 由具有中屯、波长AO至A3的4个像素构成的IR滤光器交替地布置。结果，可W W高分辨率获取 RGB彩色图像和近红外的时间相关图像运两者。
[0157] 但是，没有必要使RGB滤光器和IR滤光器的比率相同。例如，如图9C中所绘出的，通 过相对于IR滤光器的数量来增加所布置的RGB滤光器的数量，可W获得用于W高分辨率获 取RGB彩色图像的滤光器布置。可替代地，如图9D中所绘出的，可W相反地相对于RGB滤光器 的数量来增加 IR滤光器的数量，W获得用于W高分辨率获取时间相关图像的滤光器布置。 RGB滤光器和IR滤光器的中屯、波长的布置W及滤光器的数量的比率不限于图9B至9D中所绘 出的那些。
[0158] 在上文中，用于通过在图像捕获元件的平面内分成多个波长带来获取图像的方法 被说明作为用于同时获取可见光和近红外福射的方法，但是使用在图像捕获元件的深度方 向上的分离的方法、时分方法和具有多个图像捕获元件的配置也可W被使用。
[0159] 当在图像捕获元件的深度方向上执行分离时，例如，通过在厚度方向上彼此分离 地堆叠执行可见波长的光电转换的层和执行红外波长的光电转换的层，可W同时获取可见 光和近红外福射。在运种情况下获得的效果是:相比于在平面内布置有多个滤光器的情况， 防止了分辨率的下降。
[0160] 利用时分方法，通过切换可见光截止滤光器和红外截止滤光器来执行成像，可见 波长和红外波长被分别获取。在运种情况下获得的效果是:相比于在平面内布置有多个滤 光器的情况，防止了分辨率的下降。
[0161] 当使用多个图像捕获元件时，针对每个波长的光分别用单独的图像捕获元件获取 图像。在运种情况下，可W针对每个波长执行高分辨率的成像，但图像捕获元件的数量增加 并且设备的尺寸增大。因此，优选的是两个图像捕获元件被分别用于可见和近红外范围，W 获取相应波长带内的图像。
[0162] 利用本实施例的配置获得的效果是:可W通过使用不可见范围中的时间相关图像 来获取运动信息，并且，同时可W获取普通的RGB彩色图像。
[0163] 在本文所说明的示例中，其中照射光线的中屯、波长被布置在窄波长带内的第一实 施例被修改，并且，中屯、波长被设置在不可见区域中，同时维持运个条件。但是，在第二实施 例中，照射光线也可W被设置到不可见区域中，其中照射光线的中屯、波长彼此分开布置。另 夕h在本文说明的例子中，照射光线的中屯、波长被设置到近红外区域，但是照射光线的中屯、 波长也可W被设置到紫外线区域(例如，200nm至380nm)。
[0164] (第五实施例）
[0165] 在下文中说明本发明的第五实施例。在第五实施例中，要获取的时间相关图像的 数量不同。由于图像捕获设备1的配置与第一实施例中的相同，所W下面的说明使用相同的 附图标记。
[0166] 在本实施例中，照明设备10中的照射光源的波长的数量比第一实施例中多两个波 长。附加的照射光源的中屯、波长由M和A5表示。所输入的参照信号的数量也增加两个。W与 第一实施例相同的方式，两个附加的参照信号是正弦波和余弦波，但频率不同。例如，参照 信号sin(2?t)和cos(2?t)被输入。结果，可W获取在更宽范围内的运动的信息。两个调制 频率的比率不要求是1:2,而可W使用任何比率。但是，由于任何调制信号都需要在曝光期 间只包括整数波长，所W优选的是两个调制频率的最小公倍数不是很大。
[0167] 图像捕获元件13被配置为附加地具有与两个附加照射光源M、A5对应的滤色器。 利用与M、A5对应的滤色器获得的图像分别被当作由sin(2?t)和cos(2?t)确定的时间相 关图像Ia4、Ia5。在图像处理单元15中，使用在没有照射的情况下获得的图像山3来校正在恒 定值照射下获得的强度图像Iai和时间相关图像Ia〇、Ia2、Ia4、Ia5。
[0168] 在运动计算单元17中，运动信息获取处理被执行两次。第一次运动信息获取处理 使用强度图像Iai和时间相关性的图像Ia〇、Ia2,并且第二次运动信息获取处理使用强度图像 和时间相关图像Ia4、Ia5。运动计算单元17还对在各个对应像素位置获取的两种类型的运 动信息进行比较，并且对于每个像素选择具有较大运动的运动信息作为该像素中的运动信 息。结果，从不同调制频率获得的运动信息可W组合起来。组合的运动信息存储在存储单元 20中。
[0169] 利用本实施例的构造，可W同时获取利用通过两个相位和两个频率的组合形成的 参照信号而获得的时间相关图像。另外，通过使用由不同频率的一对正弦波和余弦波形成 的参照信号而获得的效果是使得可W获取不同的运动量并且可W获取在更宽范围内的运 动的f胃息。
[0170] (其它实施例）
[0171] 本发明的实施例也可W由读出并执行记录在存储介质(其也可W被更完整地称为 "非临时性计算机可读存储介质"）上的计算机可执行指令(例如，一个或多个程序）W执行 上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个 实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机实 现，并且可W通过由系统或装置的计算机通过例如从存储介质中读出并执行计算机可执行 指令W执行上述实施例中的一个或多个实施例的功能和/或控制一个或多个电路执行上述 实施例中的一个或多个实施例的功能而执行的方法来实现。计算机可W包括一个或多个处 理器(例如，中央处理单元(CPU)、微处理单元(MPU))并且可W包括分开的计算机或分开的 处理器的网络W读出和执行计算机可执行指令。计算机可执行指令可W从例如网络或存储 介质中提供给计算机。存储介质可W包括例如硬盘、随机存取存储器(RAM)、只读存储器 (ROM)、分布式计算系统的存储设备、光盘(诸如压缩盘(CD)、数字多功能盘(DVD)或蓝光盘 (BD)?)、闪存设备、存储卡等中的一种或多种。
[0172] 其它实施例
[0173] 本发明的实施例还可W通过如下的方法来实现，即，通过网络或者各种存储介质 将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中 央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
[0174] 虽然已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开 的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，W便涵盖所有运种修改和 等同的结构及功能。
【主权项】
1. 一种运动信息获取装置，其特征在于，包括： 照明设备（10)，被配置为用第一强度调制光、第二强度调制光和恒定照射光来同时照 射目标，其中第一强度调制光具有第一中心波长(λ〇)并且被用第一参照信号进行强度调 制，第二强度调制光具有第二中心波长(λ2)并且被用具有与第一参照信号基本上相同的波 长但不同的相位的第二参照信号进行强度调制，并且恒定照射光具有第三中心波长(λ?)和 恒定强度； 图像生成器（15)，被配置为生成与第一强度调制光、第二强度调制光和恒定照射光对 应的第一至第三图像；以及 运动信息获取器（17)，被配置为基于由图像生成器生成的第一至第三图像来获取图像 中的运动信息。2. 根据权利要求1所述的运动信息获取装置，其中 第一参照信号和第二参照信号是具有基本相同的频率并且在曝光开始时具有60°至 120°的相位差的两个正弦波，并且曝光开始时的相位差与曝光结束时的相位差之间的变化 是-30°至30°。3. 根据权利要求1或2所述的运动信息获取装置，其中 照明设备调整第一参照信号和第二参照信号的频率，使得在曝光时间段中所包括的第 一参照信号和第二参照信号的周期是整数。4. 根据权利要求1或2所述的运动信息获取装置，其中 照明设备调整曝光时间段，使得在曝光时间段中所包括的第一参照信号和第二参照信 号的周期是整数。5. 根据权利要求1所述的运动信息获取装置，其中 照明设备根据目标的速度来确定第一参照信号和第二参照信号的频率。6. 根据权利要求1所述的运动信息获取装置，其中 图像生成器还生成环境光图像，该环境光图像是不包括来自照明设备的照射光的图 像;并且 运动信息获取器从第一至第三图像和环境光图像获取运动信息。7. 根据权利要求6所述的运动信息获取装置，其中 图像生成器生成与具有第四中心波长(λ3)和预定光谱分布的环境光对应的环境光图 像;并且 第一至第四中心波长中的相邻中心波长之间的距离在50nm内。8. 根据权利要求6所述的运动信息获取装置，其中 第一至第三中心波长中的相邻中心波长之间的距离大于50nm;并且 图像生成器获取与第一至第三环境光线对应的三个环境光图像，所述第一至第三环境 光线各自具有离相应的第一至第三中心波长在50nm内的中心波长(λ〇 '，λ2 '，λΓ )和预定的 光谱分布。9. 根据权利要求8所述的运动信息获取装置，其中 相对于第一强度调制光和第一环境光、第二强度调制光和第二环境光以及恒定照射光 和第三环境光的每个组合的中心波长之间的距离大于一个光的光谱分布的半峰半宽和另 一个光的光谱分布的半峰半宽之和。10. 根据权利要求1所述的运动信息获取装置，其中 第一强度调制光、第二强度调制光和恒定照射光的光谱分布全都在不可见范围中。11. 根据权利要求10所述的运动信息获取装置，其中 第一强度调制光、第二强度调制光和恒定照射光的光谱分布全都在从750nm至1.4μπι的 范围中。12. 根据权利要求10或11所述的运动信息获取装置，还包括： 图像捕获元件（13)，包括与第一强度调制光、第二强度调制光和恒定照射光对应的滤 色器以及用于获取彩色图像的滤色器。13. 根据权利要求1所述的运动信息获取装置，其中 照明设备还发出第三强度调制光和第四强度调制光，其中第三强度调制光具有第五中 心波长并且被用第三参照信号进行强度调制，第四强度调制光具有第六中心波长并且被用 具有与第三参照信号基本上相同的波长但不同的相位的第四参照信号进行强度调制； 第三和第四参照信号的频率与第一和第二参照信号的频率不同； 图像生成器还生成与第三强度调制光和第四强度调制光对应的第四和第五图像;并且 运动信息获取器基于由图像生成器生成的第一至第五图像来获取图像中的运动信息。14. 一种由运动信息获取装置执行的运动信息获取方法，其特征在于，该方法包括： 照明步骤，用于用第一强度调制光、第二强度调制光和恒定照射光同时照射目标，其中 第一强度调制光具有第一中心波长并且被用第一参照信号进行强度调制，第二强度调制光 具有第二中心波长并且被用具有与第一参照信号基本上相同的波长但不同的相位的第二 参照信号进行强度调制，并且恒定照射光具有第三中心波长和恒定强度； 图像生成步骤，用于在用第一强度调制光、第二强度调制光和恒定照射光照射目标的 同时执行成像，并且生成与第一强度调制光、第二强度调制光和恒定照射光对应的第一至 第三图像；以及 运动信息获取步骤，用于基于在图像生成步骤中生成的第一至第三图像来获取图像中 的运动信息。
【文档编号】G06T1/00GK105956989SQ201610121558
【公开日】2016年9月21日
【申请日】2016年3月4日
【发明人】小松知
【申请人】佳能株式会社