超声生物计量成像系统和用于控制超声生物计量成像系统的方法与流程

发明领域

本发明涉及超声生物计量成像系统以及用于在这样的系统中进行图像获取的方法。特别地，本发明涉及适于指纹成像的超声成像系统中的波束形成。

背景技术：

生物计量系统被广泛用作为增加诸如移动电话等的个人电子装置的便利性和安全性的手段。特别地，指纹感测系统现在包括在所有新发布的个人通信装置(诸如移动电话)中的大部分中。

电容式指纹传感器由于其卓越的性能和相对低的成本而被用于所有生物计量系统中的绝大多数中。

除了其他指纹感测技术，超声感测也具有提供有利性能的潜力，例如从非常潮湿的手指获取指纹(或掌纹)图像的能力等。

一类特别令人关注的超声指纹系统是以下系统：其中，沿着用户要触摸的装置元件的表面传送声学信号，并且基于接收的声学信号来确定指纹(掌纹)表示，该接收的声学信号是由于装置构件和用户皮肤之间的界面与所传送的声学信号之间的相互作用而得到的。

例如，在us2017/0053151中一般描述的这样的超声指纹感测系统可以提供可控分辨率，并且允许更大的感测区域，该感测区域可以是光学透明的，而且没有指纹感测系统必须随感测区域缩放的成本，从而允许超声指纹传感器集成在装置的显示器中。

然而，当前的解决方案吃力地用全显示器内屏(fullin-displayscreen)的大覆盖区域提供高分辨率指纹，这是因为难以应对和处理针对每个触摸事件生成的大量rf数据，从而难以应用所需的图像重建和匹配过程。

因此，对于使用超声技术的大面积指纹成像的改进的方法和系统存在着需求。

技术实现要素：

鉴于现有技术的以上提及的缺点和其他缺点，本发明的目的是提供超声生物计量成像系统和用于在超声生物计量成像系统中进行成像的方法，其提供改进的成像，同时减少成像过程的计算负荷。

根据本发明的第一方面，提供了一种超声生物计量成像系统，包括：盖结构，其具有触摸表面；多个超声换能器，其被布置在触摸表面的外围处，多个超声换能器被配置成在盖结构中发射超声波束以及接收反射的超声回波信号，反射的超声回波信号由于与触摸表面接触的对象的反射而产生；多个混合信号集成电路，每个混合信号集成电路连接至超声换能器的子集。

每个混合信号集成电路被配置成：对接收的模拟回波信号进行模数(ad)转换，以形成针对超声换能器的子集中的每个有效超声换能器的数字回波信号；通过向每个数字回波信号引入第一可控延迟来执行局部波束形成，以形成多个延迟的回波信号；以及将多个延迟的回波信号相加以形成中间信号。

生物计量成像系统还包括：主机处理器，其连接至多个混合信号集成电路中的每一个，并且被配置成：从多个混合信号集成电路接收多个中间信号；通过向每个中间信号引入第二可控延迟来执行全局波束形成；以及将多个延迟的中间信号相加以形成最终回波信号。

超声换能器通常包括压电材料，该压电材料响应于施加在材料上的电场、借助于顶部电极和底部电极生成超声信号。原则上，也可以使用其他类型的超声换能器，例如电容式微机械超声换能器(cmut)。超声换能器在本文中将被描述为能够传送和接收超声信号的收发器。然而，也可以形成包括单独且分开的超声发射器和接收器的系统。

装置还被认为包括被配置成控制超声信号的传输和接收的超声换能器控制电路系统，并且被认为包括从接收的超声回波信号提取图像所需的适当的信号处理电路。

为了根据rf数据重建图像，该rf数据是从换能器所接收的回波信号产生的，需要将数据传送至主机，这需要大量存储器以及用于传送数据的高带宽信道。

超声信号可以由射频数据、rf数据来描述。无线电频谱可以包括从3hz到3thz的频率，并且对于超声信号而言，适用的频率范围为约20khz到几ghz，例如3ghz。因此，接收的rf数据描述了由于所发射的超声波束的回波而产生的振荡信号。使用哪个超声频率或频率范围是基于现有的应用确定的，并且可以取决于诸如所需分辨率、换能器类型、超声信号在其中传播的材料、电力消耗要求等参数而变化。

鉴于以上，本发明基于以下认识：接收侧波束形成的任务可以被划分成多个较小但并行的波束形成任务。从而可以降低必须从混合信号集成电路传送至主机处理器或系统内的其他地方的数据量。另外的优点是在混合信号集成电路与主机处理器之间分布计算负荷。

混合信号集成电路——其可以是asic——是物理地接近换能器的前端电路的一部分。另一方面，主机处理器位于距换能器更远的距离处。主机处理器可以例如是其中布置有生物计量成像系统的智能电话或平板计算机的处理单元。

对于成像区域中的任何位置，必须将延迟分布(delayprofile)施加至接收和记录的回波信号，以对与该位置对应的像素值进行波束形成或重建。如果在主机处理器中执行波束形成，则必须将大量数据传送至主机处理器，这需要高带宽数据信道。此外，还可以预期主机处理器至少周期性地被其他任务占用，这将延迟对来自换能器的数据的处理，并且进而使生物计量成像更慢。相反，根据本发明，该波束形成任务可以被分成两个部分，这两个部分可以更快地进行，并且需要更少的处理能力以及降低对混合信号集成电路与主机处理器之间的高带宽数据信道的要求。

根据本发明的一个实施方式，第一可控延迟是施加至每个数字回波信号以形成多个延迟的回波信号的单独可控延迟。每个回波信号表示从换能器传送的信号的回波，并且由于回波信号的行进时间取决于所使用的位置换能器而不同，因此必须单独控制每个延迟以形成表示所选像素(即感测表面的所选位置)的信号。由混合信号集成电路引入的第一延迟可以被看作为“微延迟”或局部延迟，其被施加至接收的回波信号的子集，从而形成表示接收信号的子集的中间信号。

根据本发明的一个实施方式，第二可控延迟是施加至每个中间信号以形成多个延迟的中间信号的单独可控延迟。施加至中间信号的延迟可以被看作为“宏延迟”或全局延迟，并且其大于由混合信号电路在第一级中引入的“微延迟”。从而实现分布式两级接收侧波束形成。

根据本发明的一个实施方式，分别在局部波束形成和全局波束形成期间引入的第一可控延迟和第二可控延迟被配置成使得所得到的最终回波信号表示超声生物计量成像系统的一个像素。从而，可以说波束形成过程限定图像的像素。因此，在传送的超声波束的中心轴线上以及沿着该中心轴线的每个像素可以被一个接一个地波束形成，其中更接近的像素点比位于更远的像素点更早地被波束形成。在声学回波信号回到换能器元件的同时执行波束形成。换言之，不是将接收的回波信号从每个元件发送回主机处理器以进行波束形成的处理，而是可以将若干个中间信号发送至主机。

根据本发明的一个实施方式，混合信号集成电路还被配置成对数字回波信号进行插值。由于混合信号集成电路的采样频率是有限的，因此可以使用插值来提高采样信号的质量。可能需要插值来计算在子采样中的时间实例处的信号的值，这是因为使用最接近的采样值而不是插值会降低最终的波束形成图像的质量。可以使用多种公知的插值方法中的任何一种，例如样条插值或多项式插值。

根据本发明的一个实施方式，多个混合信号集成电路被有利地配置成并行操作。从而，可以同时形成多个中间信号，减少形成全图像所花费的时间。例如，如果处理器是多核处理器和/或如果处理器能够并行运行若干个线程，则还可以对于在主机处理器中执行的全局波束形成采用并行性。

根据本发明的一个实施方式，超声换能器被配置成在连续发射的超声波束之间引入可控发射延迟，其中，可控发射延迟短于混合信号电路的采样频率的周期。通过在连续发射的波束之间以可控延迟传送两个或更多个发射，可以增加系统的有效采样频率。从而，通过在混合信号集成电路中使用相同的实际采样频率，时移信号的每个采样信号将获得接收信号的不同部分。最后，通过组合采样的时移回波信号，接收信号已经以合成方式以更高的采样频率被采样。所描述的方法可以被称为“等效时间采样”，并且其可以有利地用于增加混合信号集成电路的有效采样频率，而不改变电路的硬件或操作频率。

还提供了一种电子用户装置，包括根据前述权利要求中任一项所述的超声生物计量成像系统，其中，超声生物计量成像系统的盖结构可以是电子用户装置的显示器玻璃。显示器可以是许多已知显示器类型中的任何一种，例如oled、led、lcd、amoled等，只要显示器包括诸如能够进行超声波传播的盖玻璃的盖结构即可。

根据本发明的第二方面，提供了一种用于在超声生物计量成像装置中进行图像获取的方法，该超声生物计量成像装置包括具有触摸表面的盖结构以及布置在触摸表面的外围处的多个超声换能器。方法包括：由多个超声换能器在盖结构中发射超声波束；由多个超声换能器接收反射的超声回波信号，反射的超声回波信号由于与触摸表面接触的对象的反射而产生；在连接至超声换能器的子集的混合信号集成电路中对接收的模拟回波信号进行ad转换，并且形成针对超声换能器的子集中的每个有效超声换能器的数字回波信号；通过向每个数字回波信号引入第一可控延迟来执行局部波束形成，从而形成多个延迟的回波信号；以及将多个延迟的回波信号相加，形成中间信号；由连接至多个混合信号集成电路中的每一个的主机处理器从多个混合信号集成电路接收多个中间信号；由主机处理器通过向每个中间信号引入第二可控延迟来执行全局波束形成；以及由主机处理器将多个延迟的中间信号相加，从而形成最终回波信号。

本发明的第二方面的效果和特征在很大程度上类似于以上结合本发明的第一方面描述的效果和特征。

在研究所附权利要求和以下描述时，本发明另外的特征以及优点将变得明显。技术人员认识到，在不脱离本发明的范围的情况下，本发明的不同特征可以组合，以产生除了下文描述的实施方式之外的实施方式。

附图说明

现在将参照示出本发明的示例实施方式的附图更详细地描述本发明的这些方面和其他方面，在附图中：

图1a至图1b示意性地示出了根据本发明的实施方式的生物计量成像装置；

图2示意性地示出了根据本发明的实施方式的生物计量成像装置；

图3示意性地示出了根据本发明的实施方式的生物计量成像装置；

图4是概述根据本发明的实施方式的方法的一般步骤的流程图；

图5示意性地示出了根据本发明的实施方式的生物计量成像装置的特征；

图6示意性地示出了根据本发明的实施方式的生物计量成像装置的特征；以及

图7示意性地示出了根据本发明的实施方式的生物计量成像装置的特征。

具体实施方式

在本具体实施方式中，主要参照超声生物计量成像装置描述根据本发明的系统和方法的各种实施方式，该超声生物计量成像装置被配置成当手指或手掌被放置成与触摸表面接触时获取诸如指纹或掌纹的生物计量特征的图像。触摸表面可以例如是智能电话、平板电脑等中的显示器盖玻璃的表面。然而，所描述的方法同样可以在其他装置中很好地实现，其他装置例如是交互式电视、会议桌、智能板、信息终端或具有可以传播超声波的盖结构的任何其他装置。由于换能器被布置在有源触摸表面的外围，因此所描述的方法也可以在例如商店、博物馆中的交互式商店橱窗或展示柜中使用。在一些应用中，生物计量对象可以是用户的脸颊或耳朵。

图1a示意性地示出了集成在以智能电话103的形式的电子装置中的超声生物计量成像系统100。所示的智能电话100包括显示面板，该显示面板具有以盖玻璃102形式的盖结构102。盖玻璃102限定被配置为由手指105触摸的外表面104，在本文中被称为触摸表面104。盖结构102在这里被示为智能电话103的显示面板中常用类型的透明盖玻璃。然而，盖结构102同样也可以是非透明盖板，只要盖结构102的声学特性允许超声能量的传播即可。

显示布置还包括连接至盖结构102并且位于盖结构102的外围的多个超声换能器106。因此，超声换能器106在这里被示为不与超声换能器106和盖结构102所形成的生物计量成像装置的有效感测区域104交叠。然而，超声换能器106也可以被布置和配置成使得其与有效感测区域交叠。图1a示出了换能器106的示例分布，其中换能器106沿着显示面板的所有侧边均匀地分布在盖结构102周围。然而，其他换能器分布也是可能的，例如将换能器106布置在显示面板的一个、两个或三个侧边上，并且不规则的分布也是可能的。

图1b是盖结构102的截面图，其中示出了超声换能器106被布置在盖结构102之下并且附接至盖结构102的底表面118。超声换能器106是压电换能器，所述压电换能器包括布置在压电元件112的相对侧上的第一电极108和第二电极110，使得通过控制两个电极108、110的电压，可以生成传播到盖结构102中的超声信号。

换能器的间距(pitch)可以在发射信号的波长的一半与波长的1.5倍之间，其中换能器的波长与换能器的尺寸有关。对于已知需要波束控制(beam-steering)的应用，间距可以优选地为波长的一半，使得栅瓣(gratinglobe)位于有效成像区域之外。由于栅瓣接近主瓣(mainlobe)，因此与发射信号的波长近似相等的间距可以很好地适合于不需要波束控制的应用。换能器的波长应当近似等于要检测的特征的尺寸，在指纹成像的情况下这意味着使用50μm至300μm范围的波长。取决于换能器的类型并且还取决于所使用的具体换能器封装，超声换能器106可以具有不同的配置。因此，换能器的尺寸和形状以及电极配置均可以变化。此外，可以使用用于生成超声信号的其他类型的装置，例如微机械超声换能器(mut)，其包括电容式(cmut)和压电式(pmut)两者。

此外，需要合适的控制电路114来控制换能器以发射声学信号，所述声学信号具有关于例如幅度、脉冲形状和定时的所需特性。然而，用于超声换能器的这样的控制电路对于技术人员是公知的，因此本文将不会详细讨论。

每个超声换能器106被配置成传送在盖结构102中传播的声学信号st，以及接收被与感测表面104接触的对象105(这里由手指105表示)影响的反射超声信号sr。

目前认为，声学相互作用信号sr主要是由于在盖结构102与用户(手指105)的皮肤之间的接触区域处的所谓接触散射(contactscattering)引起的。手指105与盖板103之间的接触点处的声学相互作用还可以引起声学传送信号st的折射、衍射、分散和耗散。因此，有利地，基于所描述的相互作用现象来分析相互作用信号sr，从而基于接收的超声信号来确定手指105的特性。为简单起见，接收的超声相互作用信号sr此后被称为反射的超声回波信号sr。在一些实施方式中，超声成像系统被配置成形成触摸表面中的仅是所选目标区域107的图像，该所选目标区域107是整个触摸区域的所选部分。

因此，超声换能器106和相关联的控制电路114被配置成基于接收的超声回波信号sr来确定对象105的特性。多个超声换能器106连接至超声换能器控制电路114并受其控制。用于控制换能器106的控制电路114可以以许多不同的方式来实施。控制电路114例如可以是一个中央控制单元114，其负责确定要传送的声学信号st的特性并且分析随后接收到的超声回波信号sr。此外，每个换能器106可以另外包括用于基于接收到的命令来执行指定动作的控制电路。

控制单元114可以包括微处理器、微控制器、可编程数字信号处理器或其它可编程装置。控制单元114还可以包括，或者替代地包括专用集成电路、可编程门阵列或可编程阵列逻辑、可编程逻辑器件或数字信号处理器。在控制单元114包括可编程器件(例如上面提及的微处理器、微控制器或可编程数字信号处理器)的情况下，处理器还可以包括控制可编程器件的操作的计算机可执行代码。也可以将控制电路系统114的功能集成在用于控制显示面板的控制电路或智能电话100的其他特征中。

图2是示出根据本发明的实施方式的超声生物计量成像系统100的其他部件的系统示意图。所示的系统100包括多个混合信号集成电路203，其中每个混合信号集成电路连接至超声换能器的子集201a-b。超声生物计量成像系统100还包括连接至多个混合信号集成电路203中的每一个的主机处理器207。

图3示出了超声生物计量成像系统100的实施方式，以及其与电子装置103的盖玻璃102和主机处理器207的关系。

系统100包括多个换能器106。换能器106被一起分组成换能器的多个子集，本文中由子集201a和201b表示，但是子集201的数目取决于系统100中的前端asic202和混合信号集成电路203的数目。

换能器的每个子集在这里均由相应的前端asic202控制。前端asic202还与混合信号asic203在通信上连接，并且被配置成将来自子集201a-b中的换能器的模拟信号sa转发至对应的混合信号asic203。每个前端asic202通常仅与一个混合信号asic203在通信上连接。例如，至多八个(例如二个至八个)前端asic——其各自控制其相应的换能器子集201a-b——可以连接至系统100中的每个混合信号asic203。

系统100包括多个混合信号asic203，每个混合信号asic203连接至相应的前端asic202，并且被配置成从所述多个前端asic202接收表示反射的超声回波信号的相应模拟信号sa，并且借助于混合信号asic中包括的至少一个模数转换器(adc)205，优选地多个模数转换器(adc)205，将模拟回波信号sea转换为数字回波信号sed，例如，每个前端asic202一个adc以用于将来自不同的前端asic的各个模拟信号sea分开，其中该前端asic202与复用器(mux)协作地连接至混合信号asic203。用于换能器的子集201a的多个数字回波信号sed被局部地波束形成并相加，以形成表示换能器的子集201a的中间信号si。

原则上可以将前端asic和混合信号asic的功能组合在一个电路中。然而，由于生成和传送超声信号所需的较高电压，ad转换电路需要相对于较高电压的传输电路而被适当地屏蔽。

每个混合信号asic203还包括数据存储装置204，其中存储等待被转发至主机207的中间信号si。混合信号asic还可以被配置用于控制经由前端asic202连接至其的各个换能器组201的总体定时。与通常彼此不在通信上直接连接的前端asic202相比，在一些实施方式中，混合信号asic可以彼此连接以用于在其之间直接通信。

系统100还包括微控制器单元(mcu)206，通常仅一个mcu206，传感器中的多个混合信号asic203全部与该mcu206在通信上连接。mcu206可以被配置用于计算换能器配置，例如，限定和控制换能器106应当在哪个时间段期间充当超声波的发射器或接收器。mcu206还可以被配置成控制换能器的电力管理和定时。mcu206可以经由至少一个串行总线208，优选地多个串行总线，而连接至混合信号asic，例如每个混合信号asic203一个串行总线208。此外，mcu206经由接口209，例如串行外围接口(spi)，而连接至主机处理器207。mcu206被配置成将来自混合信号asic203中的每一个的数字中间信号si以及先前存储在其相应的数据存储装置24中的数字中间信号si转发至主机207，在主机207中执行全局波束形成，以形成最终的回波信号。基于多个最终回波信号，一个回波信号对应于一个像素，可以获得指纹图像。

主机处理器207可以包括微处理器、微控制器、可编程数字信号处理器或其它可编程器件。主机处理器还可以包括，或者替代地包括专用集成电路、可编程门阵列或可编程阵列逻辑、可编程逻辑器件或数字信号处理器。在控制单元包括可编程器件(例如以上提及的微处理器、微控制器或可编程数字信号处理器)的情况下，处理器还可以包括控制可编程器件的操作的计算机可执行代码。

图4是概述根据本发明的实施方式的用于在超声生物计量成像装置中进行图像获取的方法的一般步骤的流程图。将参照图2和图3中示出的生物计量成像系统来描述该方法，并且将进一步参照示出了生物计量成像系统的特征的图5至图6来描述该方法。

方法包括由多个超声换能器106在盖结构102中发射400超声波束500。图5示意性地示出了发射的超声波束500，作为从点源传播的波。

下一步骤包括由多个超声换能器106接收402反射的超声回波信号504，该反射的超声回波信号504由于与触摸表面接触的对象的反射而产生。图5中的每个点502被视为反射超声波的一部分的对象。反射对象实际上可以是与触摸表面接触的指纹的脊。来自一个点502的反射的超声回波信号504由于传播距离的差异将在不同的时间到达换能器。这由图6进一步示出，其中示出了来自触摸表面的一个点502的反射的回波信号504如何朝向多个换能器106传播，并且取决于点502与相应的换能器之间的距离，它们将在不同的时间点到达换能器。点502也可以被称为像素，因为是接收侧波束形成来限定在形成所得到的生物计量图像时要使用哪些点，并且从而也限定图像的分辨率。换能器将反射的超声回波信号转换成如图6的第一区600中所示的接收的模拟回波信号sea。

通过连接至多个超声换能器的子集的混合信号集成电路203对接收的模拟回波信号sea进行ad转换404，并且形成针对超声换能器的该子集中的每个有效超声换能器的数字回波信号。ad转换还可以包括对ad转换后的信号进行插值以改善数字回波信号的质量。

接下来，通过向每个数字回波信号引入第一可控延迟来执行406局部波束形成，从而形成如图6的部分602所示的多个延迟的回波信号sed。由混合信号集成电路203执行的波束形成被称为局部波束形成，这是因为混合信号集成电路203物理地接近于换能器，并且也因为波束形成是针对换能器的子集而不是针对用于形成最终生物计量图像的所有换能器来执行的。数字回波信号sed中的每一个被延迟一定量，使得信号在时间上对齐。

在接下来的步骤中，将多个延迟的回波信号相加408，形成如图6的部分604所示的中间信号si。作为相加的结果，中间信号si具有与对应的模拟回波信号sea相比更大的幅度。

下一步骤包括由连接至多个混合信号集成电路中的每一个的主机处理器207接收410来自多个混合信号集成电路203的多个中间信号si，并且通过向每个中间信号si引入第二可控延迟来执行412全局波束形成。由于中间信号之间的有效时间差大于接收的模拟回波信号之间的有效时间差，因此第二可控延迟通常大于第一可控延迟。由主机处理器执行的波束形成被称为全局波束形成，这是由于主机处理器位于距换能器更远的距离处，并且由于全局波束形成是触摸表面的给定点所需的最终波束形成步骤。

最终步骤包括将多个延迟的中间信号si相加414，从而形成如图6的部分606所示的最终回波信号sef。最终回波信号sef从而表示对于触摸表面的一个点(像素)的总回波。因此，必须针对要成像的触摸表面的每个点执行所描述的方法。如前所述，在许多情况下，形成所选目标区域107的图像就足够了，该所选目标区域107可以是整个触摸表面中的放置手指的子区域。

根据本发明的一个实施方式，超声换能器106被配置成在连续发射的超声波束之间引入可控的发射延迟，其中，该可控发射延迟短于混合信号电路203的采样频率的周期，从而使得可以增加混合信号集成电路203的采样频率。图7示出了以两个信号之间的微小延迟td发射的第一发射超声信号700和第二发射超声信号702。这两个信号均以相同的采样频率fs采样。通过组合响应，所得到的信号704被以较高的采样频率有效地进行采样。在所示的示例中，时间延迟等于采样频率的周期的一半，即td＝(2*fs)^-1，使得所得的有效采样频率为实际采样频率的两倍。

尽管已经参照本发明的具体示例性实施方式描述了本发明，但是对于本领域技术人员而言，许多不同的改变、修改等将变得明显。此外，应当注意，可以以各种方式省略、互换或布置系统和方法的部分，而该系统和方法仍能够执行本发明的功能。

另外，根据对附图、公开内容和所附权利要求的研究，本领域技术人员在实践所要求保护的本发明时可以理解和实现所公开的实施方式的变型。在权利要求中，词语“包括”不排除其他元件或步骤，并且不定冠词“一”或“一个”不排除多个。在相互不同的从属权利要求中描述某些手段的事实不表示不能有利地使用这些手段的组合。