专利名称：实时数字图像处理体系结构的制作方法
技术领域：
本发明涉及一种用于实时评估照相机提供的图像帧序列的方法和数字图像处理 设备。而且，其涉及一种用于执行这种方法的计算机程序产品。
背景技术：
在如DE69915481T2所述的便携式光学生物传感器中，具有待研究样本的盒体 (cartridge)的大部分区域可以在一个步骤中光学地读出，并且同时，通过使用数字照相机 可以获得高空间分辨率。随后，这种照相机提供的帧序列需要参考样本中发生的局部处理 而得以评估。使用通用处理器上的软件进行这种处理需要在小型便携式设备中通常不可获 得的高处理能力。
发明内容
基于该背景，本发明的目的是提供用于有效评估数字图像的装置，其中需要这些 装置允许在如生物传感器的便携式设备中实时评估图像。由根据权利要求1所述的数字图像处理设备、根据权利要求14所述的方法以及根 据权利要求15所述的计算机程序产品实现该目的。在从属权利要求中公开了优选实施例。根据本发明的数字图像处理设备用于实时评估诸如CCD或CMOS照相机的数字照 相机提供的图像帧序列。该图像尤其可以描述某些光学生物传感器中的盒体区域，但是本 发明不局限于该应用。图像处理设备包括下列两个主要部件a)数字“像素处理单元”，其用于确定与图像区域中的一组处理点相关的至少一个 特征参数，其中，根据图像值流进行所述确定。像素处理单元尤其可以由一些特定数字硬件 实现，例如，现场可编程门阵列(FPGA)。“处理点”应当指照相机所成像的整个区域中的感 兴趣子区域。所提及的“一组处理点”可以包括仅一个要素，然而优选地是包括多个这种处 理点。通常(但是并非必须)，处理点将不重叠。最后，应当注意到，“图像值”指构成整个 帧的独立图像点或像素的数字值；图像值通常表示亮度和/或颜色(例如，以RGB坐标)。b)高级“数字控制单元”，其与像素处理单元耦合用于与其通信，并且适于设置 (确定和规定)当前要由像素处理单元处理的该组处理点。而且，数字控制单元适于读出和 后处理由像素处理单元确定的特征参数。数字控制单元通常将包括一些通用数字数据处理 硬件，例如具有相关软件的微型计算机或微控制器。所述图像处理设备提供了一种体系结构，其最优地适于快速、实时地处理来自照 相机的帧，这是因为其实现了智能任务共享一方面，由像素处理单元快速(但简单地)持 续处理不断引入的图像值流；另一方面，由数字控制单元对整个过程进行高级控制并且对 原始结果进一步更精密地评估。这样，设备的通用计算容量免于直接处理输入数据流，并且 作为替代地集中在高级控制和评估任务上。已经提及的是，处理点一般指(已连接的或未连接的)成像区域的子区域。优选 地，处理点涉及矩形图像区域，该区域的边缘分别平行于图像帧的行和列定向。然后，这种
4处理点能够顺利地仅由第一/最后行/列的四个坐标而描述。而且，这种形状尤其适于处 理逐行表示图像的像素流。该组处理点可以仅包括一个单一处理点。优选地，其包括由像素处理单元并行处 理的多个处理点。多个处理点可以散布在整个图像区域上，因而覆盖整个帧，或者处理点可 以仅位于图像条纹中。在后者情况下，处理整个图像帧通常将通过逐个处理一系列图像条 纹而进行。一般地，由像素处理单元确定的至少一个特征参数可以是能够根据图像值(像 素)流计算的感兴趣的任何参量。在大部分情况下，特征参数将是根据图像值流容易一次 确定的参量，例如图像值的一些积分(总和)。尤其，特征参数可以包括所考虑的处理点中 的所有图像值(例如灰阶)和/或所有这些图像值与给定参考值的偏差的(例如，绝对偏 差或者平方偏差的)函数的(归一化)积分。第一这些积分涉及处理点的亮度，而第二这 些积分表示点区域中该值的空间变化(噪声)。前述参考值和/或其变化率可以任选地由数字控制单元基于在先帧的特征参数 确定。数字图像处理设备可以特别地包括至少一个寄存器，称为“影子寄存器(shadow register) ”，用于暂时存储要在像素处理单元和数字控制单元之间交换的数据。这样，可以 缓和对数据交换速度的需求。根据特定应用，不同的方法将最适于由数字控制单元设置像素处理单元中的当前 组处理点。因而，例如，可以在评估整个帧序列之前一次设置该组处理点。如果在所有连续 帧中处理点都是相同的并且如果有足够的容量来存储所有处理点数据，该方法是可行的。然而，如果处理点的位置和/或形状在不同帧之间发生变化，该组处理点将宁愿 在每个新帧开始时在像素处理单元中重新设置。类似地，该组处理点可以在整个帧的每个 预定子帧开始时设置，例如始终在照相机图像的新条纹(包括给定数量的图像线)的开始 处。如果像素处理单元不具有足够的容量以并行处理整个帧的所有处理点，那么通常将对 子帧应用这种处理。最后，能够在像素处理单元要求时设置当前组处理点。每次像素处理单元已经 完成处理点的评估时，例如其可以向数字控制单元发布中断，以指示可获得处理点的结果 (特征参数)并且能够设置待评估的新处理点的坐标。该方法关于处理点的位置和/或形 状具有最高灵活性，即它们可以非常任意地(在一种情况下为蘑菇形)分布在图像区域上。在本发明的又一演变中，设计数字控制单元以迭代地使处理点适配于标记物的图 像，即适配于照相机提供的图像中已知外观(形状、尺寸、强度和/或颜色)的结构。使处 理点适配于标记物，通常基于逐个帧进行，并且将最终产生关于图像中的标记物的信息，例 如其位置、尺寸和/或形状。该标记物例如可以由线、十字交叉、圆环或被成像的对象所包 括的一些其他符号。已知一个或多个标记物的位置将允许推断区域中其他区域的位置，例 如(至少最初)不可检测或者几乎不可检测的研究区域。一旦经由标记物确定了这些区域， 可以将处理点分配给它们，用于评估照相机的观察力(observation)。然而，光学像差，例如 正或负(枕形)失真和/或变化的光学放大倍数，能够借助于对准标记物而被检测和校正。在本发明的又一演变中，图像处理设备包括聚焦模块，其用于基于至少一个确定 的特征参数而改变照相机的焦点。聚焦模块可以例如包括机电机构，其能够移动照相机的透镜。而且，焦点改变可以尤其基于在处理点中所有图像值与参考值的偏差函数的积分，例 如基于在所述点中图像值的标准偏差。这种偏差相关值的最大值通常是靶图像区域的最优 焦点的良好指示器。图像处理设备可以进一步任选地包括状态指示器，例如声学或光学信号发出设 备，其用于在检测到至少一个图像帧中的异常状态(尤其是劣化的光学质量)时发出信号。 检测这种误差状态对于避免错误测量结果的不正确解释是重要的。劣化的光学质量可以例 如经由前述标准偏差(或者更一般地，所有图像值与参考值的积分偏差)的异常值来检测。数字控制单元的后处理可以优选地包括对针对图像帧的选定子组已经获得的特 征参数进行时间滤波。时间滤波可以特别地包括带通或低通滤波，例如，通过对与图像帧的 选定子组对应的特征参数求平均而实现。通过滤波，可以移除诸如不相关噪声的一些噪声 成分。根据前述实施例的又一演变，数字控制单元的后处理还包括使经时间滤波的特征 参数与针对不属于选定子组(这通常可以是所有其余图像帧)的图像帧已经获得的对应特 征参数相关。所应用的相关可以特别地包括相减，即从对应特征参数中减去经滤波的特征 参数(或者反之亦然)。由于滤波处理，能够从经滤波的特征参数中选择性地移除噪声成 分，并且因此当经滤波的特征参数与未滤波的特征参数相关时，该噪声成分将不起作用。在时间滤波方法中，与其余图像帧相比，针对图像帧的选定子组，处理点的尺寸和 /或位置可以改变。如果选定子组的图像帧应当例如捕获一些背景或参考值，其可以有利于 扩大其中计算对应特征参数的处理点。根据本发明的又一演变，数字图像处理设备可以进一步包括可控照明单元，借助 其能够选择性地对不同图像帧设置曝光条件。照明单元可以例如包括光源，其主动地对照 相机所记录的场景进行照明，或者其可以控制确定进入照相机的光的量的光圈。照明单元 适于为独立的图像帧选择性地设置照明条件，即适于从一个图像帧到下一个图像帧切换照 明条件。在光源的情况下，照明可能例如每隔两个图像帧而中断(关闭)。前述实施例尤其可以与后处理组合，所述后处理包括对图像帧的选定子组进行时 间滤波。然后，能够分别针对图像帧的选定子组和其余图像帧设置不同的曝光条件。因而， 例如对属于选定子组并且应当进行时间滤波的图像帧关闭照明是可行的。本发明还涉及一种用于评估由照相机提供的图像帧序列的方法，所述方法包括下 列步骤a)使用像素处理单元，根据帧值流确定图像区域中当前组处理点的至少一个特征 参数。b)使用高级数字控制单元，确定(下一)组处理点并且对至少一个(在先)特征 参数进行后处理。c)在像素处理单元已经完成对当前帧的当前组处理点的处理之后，在数字控制单 元和像素处理单元之间交换数据。通常，该方法包括能够使用上述类型的图像处理设备执行的步骤。因而，可以参考 在先描述以获得关于该方法的细节、优点和改进的更多信息。本发明还涉及将上述数字图像处理设备用于分子诊断、生物样本分析或化学样本 分析、食物分析和/或法医鉴定的用途。分子诊断可以例如借助于直接或间接附着于靶分子的磁珠或荧光微粒而实现。图像处理设备通常将是可编程的，例如，其可以微处理器或FPGA。因此，本发明还 包括计算机程序产品，其当在计算设备上执行时，提供了根据本发明的方法中的任意一种 的功能。此外，本发明包括数据载体，例如ROM、存储卡、软盘、硬盘或光盘(CD-ROM)，其以 机器可读形式存储计算机产品，并且当在计算设备上执行存储在数据载体上的程序时，其 执行本发明的至少一种方法。现在，在因特网或公司内部互联网上常常提供这种软件的下载，因而，本发明还包 括通过局域网或广域网传送根据本发明的计算机产品。计算设备可以包括个人计算机或工 作站。计算设备可以包括微处理器或FPGA中之一。
从下文所述实施例中，本发明的这些和其他方面将变得显而易见，并且将参考下 文所述的实施例加以阐明。这些实施例将借助于随附附图通过实例而描述，其中图1示意性地示出了在光学生物传感器中使用的根据本发明的数字图像处理设 备；图2示出了由图1的照相机提供的图像区域；图3示出了用于处理一个处理点的点处理块(SPB)的第一体系结构；图4示出了用于计算标准偏差的SPB的变型；图5示出了使用点亮度的估计斜率处理一个处理点的第二 SPB体系结构；图6示出了具有划分成条纹的结合部位的规则图案的图像区域；图7示出了用于处理处于图6的情形中的一个处理点的第三SPB体系结构；图8示出了第三SPB体系结构中的时间数据流；图9示出了具有结合部位的不规则图案的图像区域；图10示出了用于处理处于图9的情形中的一个处理点的第四SPB体系结构；图11示出了第四SPB体系结构中的时间数据流；图12至16示出了基于相关处理点的亮度检测图像中对准标记物的各个实施例；图17和18示出了基于相关处理点的标准偏差检测图像中对准标记物的两个实施 例；图19示意性地示出了变型后的图像处理设备，使用其能够产生和处理暗图像帧 的子组；图20示出了在不同照明条件下针对一个处理点获得的亮度的处理。附图中相同的附图标记指示相同或相似的部件。下文将参考其在光学生物传感器中的应用，描述根据本发明的图像处理体系结 构，但是其用途不局限于此。
具体实施例方式图1示意性地示出了(未按比例，并且以逻辑部件和硬件部件混合表示)用于生 物测定的盒体10和相关的(便携式)读取器100。一次性盒体10通常包括生物样本(例
7如血液或唾液)，该生物样本包含感兴趣的靶分子1，其应当经由接触表面3上的特异性结 合位点2而检测。在将盒体10插入读取器100之后，由光源102照射接触表面3，并且由 (CCD)照相机101持续对反射光成像。照相机101可以特别地用于观察在接触表面上的(已 占据)结合位点处发生的荧光和/或受阻总内部反射。图2示出了照相机101所见的典型图像。照常地，表示图像的帧由图像像素(例 如L = 480和M = 752)的L行(χ-方向)和M列(y_方向)构成。结合点BS分布在图像 区域中，所述点与覆盖有(不同的)特异性结合分子2的盒体10的接触表面3上的区域相 对应。虽然结合点规则地分布在成像区域的上部中，下部示出了结合点的尺寸和位置的更 一般、不规则的分布。通过(主要)对接触表面3的均勻照明并且经由光学系统将反射光 投射至照相机101上来获得图片。与周围白区域相比，结合点BS的暗色化是对结合位点2 和靶分子1之间的结合数目的量度。图2还示出了两个十字交叉形的对准标记物AM，其印记或刻在接触表面3上，关于 结合点BS位于已知的相对位置处。由于它们的高对比度，能够从每个帧的开始处检测标记 物AM。因而，它们能够用于精确地确定在测定期间尚不可见的结合点BS的位置。而且，图2中示出了两个典型的矩形“处理点”PSi*PSa，其分别设置在结合位点 BS和对准标记物AM处。第一处理点PSi用于评估盒体的相应结合点BS的测量值，而第二 处理点PSa用于寻找相关对准标记物的位置。由于处理点是矩形区域，它们能够由四个坐 标简单地加以描述(起始行a、起始列b、结束行C、结束列d)。应当注意到，出于参考或校准的目的，处理点还能够与(不包括结合位点的)“白 区域”相关。而且，处理点能够任选地限制于结合点的子区域，因而避免还覆盖“白区域”。 这样，由多个矩形处理点可以例如近似环形结合点。处理点PSi与结合点BS对准的准确度通常在对准标记物AM更接近结合点时是较 好的。此外，当由于例如结合或接近定位的对准标记物结合点BS可见时，结合点BS本身能 够用于更准确地对准对应的处理点PSi。基于标记物或基于结合点自身的所述对准(当例如在结合之后或者由于印刷技 术而可见时)还能够用于实时追踪结合点位置。因而，例如在手持应用中接触、摇晃和振动 盒体所引起的盒体关于读取器的可能机械位移，例如可以得以抑制，或者至少使用持续追 踪得以补偿。为了正确地解释盒体10中的(生物)化学处理，通常每秒必须处理来自 752HX480V (CXD/CM0S)视频照相机的至少十帧It。对于每个帧It，必须计算来自结合点BS 和围绕其的白区域中的每个的平均和质量(噪声)。在软件中，这将需要大量处理能力来实 现。而且，在大量测定中，软件还将必须照顾(用于操作磁交互标记微粒)实时磁致动电流 驱动器。尤其在手持读取器设备中，这将花费大量功率耗散和昂贵的μ P。为了解决上述问题，在此建议了图1的读取器100的体系结构。该体系结构包括 两个主要部件-“像素处理单元(PPU)” 112，其用于关于给定当前组处理点PSi (t)评估引入图像 值(像素)流I(x，y，t)。像素处理单元112是低级硬件模块110的一部分，其还包括用于 照相机101提供的图像帧It的中间存储器111，以及用于控制读取器的光源102的亮度的 具有LED驱动器114的类似硬件(AH) 113。
-高级“数字控制单元(D⑶)”130，其包括具有相关软件的微处理器(μ P) 131。数 字控制单元130从像素处理单元112读取结果(例如，处理点的亮度Ei),并且向像素处理 单元112提供控制数据(例如，将处理的活动组处理点PSi (t))。像素处理单元112和数字控制单元130之间的数据交换优选经由影子寄存器120 进行，以缓和时间需求。而且，数字控制单元130可能经由附加PDA(=个人数字助理，未示 出)，与显示器141和控制按钮142通信，以与用户交互。像素处理单元112(例如，现场可编程门阵列FPGA)在每个视频帧^期间计算多个 预定区域、即上述类型的一组处理点PSi (t)中的积分光强度Ei(t)和积分质量σ ‘ i(t)， 其中ο ‘ i是“噪声”指示器，其应当合适地限定以获得显著性、复杂性和功耗之间的折衷。 像素处理单元112与数字控制单元130中的软件(例如μ Ρ131或Labview应用程序)通 信，其_启动时(在插入盒体10之后)，基于已获得的视频帧计算视频帧It的处理点 PSi(t)中的活动像素(对应于结合点和/或白区域)的坐标(定义和实现方式尚未公开， 参见本稿第一标注)，并且将所述坐标写入像素处理单元112。应当注意到，这可以由低速 微处理器执行，因为无需实时计算。-以按帧方式从像素处理单元112收集每个所述处理点PSi(t)中的积分Ei (t)和 质量ο ‘ i (t)，并且根据这些数据计算平均强度/噪声。-对每个处理点PSi(t)，将平均信号Ei (t)解释为时间t的函数，并且对于下一个 帧It+1 (基于前一帧)将已推断得的积分值色(t)递交至用于质量测量的像素处理单元112。该方法提供了通过量的优点，其可能具有高帧率、低功耗、低复杂性(无需帧存储 器)和高灵活性。其包括硬件和软件处理之间的最佳平衡。图3示意性地示出了“点处理块(SPB) ”，即像素处理单元112所需用于评估单一 处理点PSi的硬件部件(即，处理块112通常包括并行操作的多个这种SPB)。从照相机101中，将图像值流I (x，y，t)(例如，IOb像素)持续提供给SPB的第一 积分器INTl和第二积分器INT2的输入。定时控制器TC分别从照相机像素时钟和帧同步接收时钟信号elk(指示新像素) 和帧信号frm(指示新帧)。而且，定时控制器TC设置有(启动时)待处理当前处理点PSi 的坐标。定时控制器TC能够在每个新帧It开始时(经由输入rs)重新设置积分器INT1、 INT2，并且在一个帧内指示应当(经由输入int)对图像值(像素)求和与否。在视频帧It期间，积分器INTl根据下列公式确定所考虑的处理点PSi (t)中的像 素值I(x，y，t)的积分Ei (t)
权利要求
一种数字图像处理设备(100)，其用于实时评估由照相机(101)提供的图像帧(It)序列，所述数字图像处理设备包括a)数字像素处理单元(112)，其用于根据图像值流(I(x，y，t))确定图像区域中的一组处理点(PSi，PSa，PSb)的至少一个特征参数(Ei，σ′i)；b)高级数字控制单元(130)，其与所述像素处理单元(112)通信，从而设置所述组处理点以及读出确定的特征参数并对所述确定的特征参数进行后处理。
2.根据权利要求1所述的图像处理设备(100)，其特征在于所述处理点涉及矩形图像区域(PSi, PSa, PSb)。
3.根据权利要求1所述的图像处理设备(100)，其特征在于所述组处理点(PSi;PSa，PSb)包括仅仅单一处理点、来自图像条纹(Sj)的多个处理点， 和/或来自整个图像区域的多个处理点。
4.根据权利要求1所述的图像处理设备(100)，其特征在于所述特征参数包括处理点(PSi)中所有图像值(I(X，y，t))的积分(Ei)和/或它们与 参考值(§i)的偏差的函数的积分(ο ‘》。
5.根据权利要求4所述的图像处理设备(100)，其特征在于所述参考值(§i)和/或其变化率(d^i/dt)由所述数字控制单元(130)基于在先帧的特 征参数(Ei)确定。
6.根据权利要求1所述的图像处理设备(100)，其特征在于其包括至少一个影子寄存器(120-124)，所述影子寄存器用于存储在所述像素处理单 元(112)和所述数字控制单元(130)之间待交换的数据。
7.根据权利要求1所述的图像处理设备(100)，其特征在于在评估帧序列之前、在每帧开始时、在子帧(SJ开始时和/或根据所述像素处理单元 (112)的要求，一次设置所述组处理点(PSi;PSa，PSb)。
8.根据权利要求1所述的图像处理设备(100)，其特征在于所述数字控制单元(130)使至少一个处理点(PSa，PSb)迭代地与标记物(AM)的图像位置适配。
9.根据权利要求1所述的图像处理设备(100)，其特征在于其包括聚焦模块(143)，所述聚焦模块用于基于所述特征参数(Ei, σ ‘》，尤其是基于 在处理点(PSa，PSb)中所有图像值(I(x，y，t))与参考值(Si)的偏差的函数，来改变所述照 相机(101)的焦点。
10.根据权利要求1所述的图像处理设备(100)，其特征在于其包括状态指示器(141)，所述状态指示器用于在检测到至少一个图像帧(It)中的异 常状态时，尤其是检测到劣化的光学质量时发出信号。
11.根据权利要求1所述的图像处理设备(100)，其特征在于所述数字控制单元(130)的所述后处理包括对所述特征参数(Ei (t e Sd))进行时间滤 波，所述特征参数是针对所述图像帧(It)的选定子组进行获得的。
12.根据权利要求11所述的图像处理设备(100)，其特征在于滤波后的特征参数(<Ei>)与针对不属于所述选定子组的图像帧(It)获得的对应特征参数(Ei (t e Sb))相关-优选为从其中减去所述滤波后的特征参数。
13.根据权利要求1所述的图像处理设备(100)，其特征在于其包括可控照明单元(102)，借助于所述可控照明单元能够针对不同图像帧(It)选择 性地设置曝光条件。
14.一种用于评估由照相机(101)提供的图像帧(It)序列的方法，包括a)使用像素处理单元(112)根据图像值流(I(x，y，t))确定图像区域中的一组处理点 (PSi;PSa, PSb)的至少一个特征参数(Ei, ο ‘》；b)使用高级数字控制单元(130)确定一组处理点(PSi，PSa，PSb)，并且对所述至少一个 特征参数进行后处理；c)在所述像素处理单元(112)已经完成对一帧的当前组处理点(PSi;PSa，PSb)的处理 之后，在所述数字控制单元(130)和所述像素处理单元(112)之间交换数据
15.一种计算机程序产品，其使得能够实施根据权利要求14所述的方法。
全文摘要
本发明涉及一种数字图像处理体系结构，尤其用于处理由生物传感器读取器(100)的照相机(101)提供的数字图像。该体系结构包括像素处理单元(112)，用于关于图像区域中给定组的处理点(PSi(t))评估图像值流(I(x，y，t))，因而确定例如处理点(PSi(t))中的像素值的积分(Ei(t))的特征参数。像素处理单元(112)与高级数字控制单元(130)通信，其设置将评估的处理点(PSi(t))，并且读出像素处理单元(112)的结果并对所述结果进行后处理。
文档编号G06T7/60GK101971210SQ200880127968
公开日2011年2月9日 申请日期2008年12月18日 优先权日2008年3月12日
发明者J·A·H·M·卡尔曼 申请人:皇家飞利浦电子股份有限公司