一种滤波网络及图像处理系统的制作方法
【专利摘要】本发明公开了一种滤波网络及图像处理系统，该滤波网络包括：若干高斯乘法器；输出电路，输出电路与若干高斯乘法器分别连接，其中，高斯乘法器包括第一差分对管及与第一差分对管分别连接的第二差分对管和第三差分对管，第一差分对管中第一晶体管的输出端分别连接第二差分对管中两晶体管的输入端，第一差分对管中第二晶体管的输出端分别连接第三差分对管中两晶体管的输入端，第一晶体管的输入端和第二晶体管的输入端并联，第二差分对管中两晶体管的输出端和第三差分对管中两晶体管的输出端分别与输出电路连接。本发明通过模拟高斯乘法器实现高斯卷积滤波处理，可以提高高斯卷积滤波速度，降低电路功耗。
【专利说明】
-种滤波网络及图像处理系统
技术领域
[0001] 本发明设及图像处理技术领域，具体地说，设及一种滤波网络及图像处理系统。
【背景技术】
[0002] 在数字信号处理技术中，卷积滤波是信号预处理中非常重要的一步。在图像处理 领域，高斯卷积滤波器是一种平滑滤波器，其作用是获得信噪比SNR较高的图像，并避免图 像的振铃现象。在传统的数字图像处理系统中，图像传感器采集到的图像信息通过模拟数 字转换器ADC转换为数字信号，采用数字信号处理DSP技术进行后续的滤波处理。
[0003] 但是，随着图像传感技术的发展，采集到的图像分辨率大幅度的提升，使得多尺度 高斯滤波的连续尺度拓展导致数据量和运算量的急剧增加，传统数字系统越来越难W满足 图像处理系统对于实时性和功耗的需求。尤其是便携设备和可穿戴设备等嵌入式系统，在 高速度、小型化和超低功耗方面的设计要求更高，更加难W满足需求指标。
[0004] 在实际图像处理中，高斯滤波是通过图像数据与高斯模板进行卷积实现的。卷积 运算实际上就是一系列乘法和加法运算。但是，由于图像中的每一个像素及其特定大小的 邻域都将参与乘加运算，因此当图像尺寸大、清晰度高时，就需要进行大量重复的高斯卷积 运算。而运一操作在许多图像处理算法中是不可或缺的一部分，比如图像边缘检测和增强、 斑点检测W及尺度不变特征提取算法等等，都需要在预处理阶段对输入图像进行某种尺度 或多尺度的高斯滤波。
[0005] W图像特征提取算法中最为经典的SIFT算法为例，该算法实现实时运算的主要瓶 颈就在于高斯金字塔的建立，即多尺度高斯滤波运算的部分。实验表明，该算法在FPGA实现 中，高斯滤波部分花费的时间占总的算法运算时间的85.63%。因此，对于实时图像处理系 统，尤其针对嵌入式图像处理系统，有效加速多尺度高斯滤波并降低功耗是十分必要的。
【发明内容】
[0006] 为解决W上问题，本发明提供了一种滤波网络及图像处理系统，用W加速高斯滤 波并降低电路功耗。
[0007] 根据本发明的一个方面，本发明提供了 一种滤波网络，包括：
[000引若干高斯乘法器；
[0009] 输出电路，所述输出电路与若干所述高斯乘法器分别连接，
[0010] 其中，所述高斯乘法器包括第一差分对管及与所述第一差分对管分别连接的第二 差分对管和第=差分对管，所述第一差分对管中第一晶体管的输出端分别连接所述第二差 分对管中两晶体管的输入端，所述第一差分对管中第二晶体管的输出端分别连接所述第= 差分对管中两晶体管的输入端，所述第一晶体管的输入端和所述第二晶体管的输入端并 联，所述第二差分对管中两晶体管的输出端和所述第=差分对管中两晶体管的输出端分别 与所述输出电路连接。
[0011] 根据本发明的一个实施例，所述第二差分对管和所述第=差分对管中两晶体管中 一晶体管的开关端分别与所述第一晶体管的开关端连接，另一晶体管的开关端分别与所述 第二晶体管的开关端连接，通过控制所述第二晶体管的开关端的控制电压，使得所述第一 差分对管、所述第二差分对管和所述第=差分对管工作在亚阔值区。
[0012] 根据本发明的一个实施例，所述输出电路包括由开关端连接的两晶体管构成的镜 像电流源，所述镜像电流源的一晶体管的输入端分别与所述第二差分对管中的与所述第二 晶体管开关端连接的晶体管的输出端、所述第=差分对管中的与所述第一晶体管的开关端 连接的晶体管的输出端和所述镜像电流源中两晶体管的开关端连接。
[0013] 根据本发明的一个实施例，所述输出电路还包括一对称晶体管，所述对称晶体管 分别与所述第二差分对管中的与所述第一晶体管开关端连接的晶体管的输出端及所述第 =差分对管中的与所述第二晶体管的开关端连接的晶体管的输出端连接。
[0014] 根据本发明的另一个方面，还提供了一种图像处理系统，包括：
[0015] W上任一项所述的滤波网络；
[0016] CMOS图像传感器，其上各像素单元输出的光电流通过对应的所述第一差分对管中 所述第一晶体管和所述第二晶体管的输入端进入所述滤波网络。
[0017] 根据本发明的一个实施例，所述图像处理系统还包括模板存储器及与所述模板存 储器连接的数模转换器，基于所述模板存储器存储的模板、滤波尺度和所述高斯乘法器的 转移函数计算所述第二晶体管的开关端的控制电压，所述控制电压经所述数模转换器转换 为模拟信号后输出给所述高斯卷积滤波网络。
[0018] 根据本发明的一个实施例，所述滤波网络中高斯乘法器的数量等于所述模板存储 器中存储的模板中权值的个数。
[0019] 根据本发明的一个实施例，所述图像处理系统还包括分别与所述CMOS图像传感 器、所述滤波网络中所述第一差分对管中的所述第一晶体管的输入端和所述第二晶体管的 输入端连接的读出控制电路，W对所述CMOS图像传感器中各像素单元输出的光电流进行串 行滤波。
[0020] 根据本发明的一个实施例，所述滤波网络集成在所述CMOS图像传感器内。
[0021] 根据本发明的一个实施例，所述滤波网络设置在所述CMOS图像传感器外，并通过 所述CMOS图像传感器的输出端口读取光电数据。
[0022] 本发明的有益效果：
[0023] 本发明通过模拟高斯乘法器实现高斯卷积滤波处理，可W提高高斯卷积滤波速 度，降低电路功耗。
[0024] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利 要求书W及附图中所特别指出的结构来实现和获得。
【附图说明】
[0025] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要的附图做简单的介绍：
[0026] 图1是根据本发明的一个实施例的一种滤波网络结构示意图；
[0027] 图2a是根据本发明的一个实施例的一个高斯乘法器与输出电路的连接示意图；
[00%]图化是图2a中高斯乘法器的转移函数和高斯函数的对比示意图；
[0029] 图3是根据本发明的一个实施例的采用一维滤波网络的图像处理系统结构示意 图；
[0030] 图4是为采用图3所示的一维滤波网络时的CMOS图像传感器与滤波网络的连接示 意图；
[0031] 图5是根据本发明的一个实施例的采用3x3的二维高斯滤波电路的图像信号处理 示意图；W及
[0032] 图6是根据本发明的另一实施例的图像处理系统结构示意图。
【具体实施方式】
[0033] W下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用 技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据W实施。需要说明 的是，只要不构成冲突，本发明中的各个实施例W及各实施例中的各个特征可W相互结合， 所形成的技术方案均在本发明的保护范围之内。
[0034] 如图1所示为根据本发明的一个实施例的一种滤波网络结构示意图，W下参考图1 来对本发明进行详细说明。
[0035] 该滤波网络包括若干高斯乘法器10及与若干高斯乘法器分别连接的输出电路20。 其中，该高斯乘法器10包括第一差分对管11及与第一差分对管11分别连接的第二差分对管 12和第=差分对管13,第一差分对管11中第一晶体管111的输出端分别连接第二差分对管 12中两晶体管的输入端，第一差分对管11中第二晶体管112的输出端分别连接第=差分对 管13中两晶体管的输入端，第一晶体管111的输入端和第二晶体管113的输入端并联，第二 差分对管12中两晶体管的输出端和第=差分对管13中两晶体管的输出端分别与输出电路 20连接。
[0036] 如图2a所示为根据本发明的一个实施例的一个高斯乘法器10与输出电路20的连 接示意图。在该电路工作时，通过控制S个差分对管开关端的电压V+和V-，使得尾电流Iin通 过第一差分对管11中的第一晶体管111的输入端和第二晶体管112的输入端进入该高斯乘 法器，经该高斯乘法器处理后，输出给输出电路20,并经输出电路20输出电流lout。
[0037] 由图2a可知，在该高斯乘法器10中，第一差分对管11与第二差分对管12首尾相接、 第一差分对管11与第=差分对管13首尾相接，第二差分对管12和第=差分对管13输出端并 联。高斯乘法器10利用MOS差分对管产生的近高斯转移特性函数作为高斯核函数，可W在模 拟域实现尾电流与高斯核函数的相乘。具体的，该高斯乘法器利用工作在亚阔值区的MOS差 分对管产生的Sigmoid转移特性，将两组运样的差分对管首尾相接，使得两个中屯、对称的 Sigmoid函数相乘，获得双曲正割平方函数。该双曲正割平方函数在形状上非常接近高斯函 数，如图化所示。因此，该电路构成的不是标准高斯特性，而是一种近高斯转移特性，该函数 在数学性质上与高斯函数非常接近，即自卷积和傅里叶变换的结果仍然近似符合高斯特 性。由于该高斯乘法器是电流模拟电路，只要将若干高斯乘法电路输出直接相连，便可W实 现高斯卷积滤波运算中的加法运算。如图1所示，将尾电流1-2、1-1、1〇、11，1拥应的高斯乘法 器输出端并联在一起，输出电流为：
[00；3 引（1)
[0039] 则W
买现加法运算。因此，图1所述的滤波网络可W实现高斯卷积滤波。
[0040] 利用图1的模拟滤波网络进行图像滤波的优势在于，从原始的模拟信息开始进行 模拟域的信号处理，更接近和类似于生物体本身的感知和计算过程。运一过程避免了从模 拟到数字域的转换过程，而是利用物理器件的建立稳定过程进行自发的物理计算。相比于 数字信号处理，尤其在乘除法运算、指数运算W及浮点运算等复杂计算过程方面，运种物理 计算模式在速度上实现了超越。
[0041 ]在本发明的一个实施例中，第二差分对管12和第=差分对管13运两个对管中各自 的两晶体管中一晶体管的开关端分别与第一晶体管111的开关端连接，另一晶体管的开关 端分别与第二晶体管112的开关端连接，通过控制第二晶体管112的开关端的控制电压，使 得第一差分对管11、第二差分对管12和第S差分对管13工作在亚阔值区。由于电路中MOS管 工作在亚阔值区，使得该电路功耗相对较小，在实现应用于便携设备等嵌入式领域的超低 功耗电路设计方面具有非常大的优势。
[0042] 在该滤波网络工作时，通过控制第二晶体管112的开关端控制电压的大小，就可W 控制Sigmoid函数的形状，改变高斯滤波尺度，进而实现多尺度高斯滤波处理。具体的，尾电 流经过差分对管11和12后，输出的两个电流都是S i gmod函数电流，相当于是对尾电流进行 了加权。并且，根据基尔霍夫电流定律，两个输出端是刚好反相的，即是两个互补的Sigmod 函数。将差分对管左边的输出函数称为Si,右边的输出函数称为s2,那么，尾电流经过第一 差分对管11，左输出为Iin*sl，右输出为Iin*s2。根据电路图，第一差分对管11的左输出又 经过一个差分对管13并取右输出，所W得到Iin*sl*s2。同理，第一差分对管11的右输出也 再次经过一个差分对管12并取左输出，得到Iin*s2*sl。此时，我们得到两个对称的类高斯 函数Iin*sl*s2和Iin*s2*sl。由于误差，运两个类高斯函数可能有轻微的不对称性。在输出 端进行合流后，即可消除不对称性，得到完全对称的类高斯函数。
[0043] 经过推导，可W得到滤波网络的输出电流为：
[0044]
樹
[0045] 其中，Io表示输入的尾电流，Sech表示双曲正割函数，A V表示差分电压输入，n表 示非理想因子(给定工艺下为常数），VT表示热电压（固定溫度下是确定的值=kT/q)。实际 上sech平方函数与高斯函数非常接近，于是有：
[0046]
(支)
[0047] 丫表示高斯尺度系数(与电路结构和工艺相关）。所W，改变差分对管两个开关端 的电压差即可达到修改高斯函数尺度的目的。
[004引另外，用户也可W根据需求，添加外围控制电路控制输入电压，从而对电路网络的 滤波尺度进行可编程设计，也可W构建多层电路网络，建立多尺度图像高斯金字塔，可W应 用于高层次图像处理中，如SIFT、SURF等图像特征提取算法。同时，通过不同的控制电压的 输入，该电路还可W实现滤波尺度的实时调整。
[0049]在本发明的一个实施例中，输出电路20包括由开关端连接的两晶体管构成的镜像 电流源21，该镜像电流源21的一晶体管211的输入端分别与第二差分对管12中与第二晶体 管112开关端连接的晶体管的输出端、第=差分对管13中与第一晶体管111的开关端连接的 晶体管的输出端和镜像电流源中两晶体管的开关端连接。该输入端引入输入电流，通过该 镜像电流源21的另一晶体管212输出。
[0050] 在本发明的一个实施例中，该输出电路20还包括一对称晶体管22,该对称晶体管 22分别与第二差分对管12中与第一晶体管11的开关端连接的晶体管的输出端及第=差分 对管13中与第二晶体管12的开关端连接的晶体管的输出端连接。该对称晶体管22用W实现 电路结构对称，有利于电路稳定。
[0051] 根据本发明的另一个方面，还提供了一种图像处理系统，如图3所示为根据本发明 的一个实施例的采用一维滤波网络的图像处理系统结构示意图。该系统包括W上所述的高 斯卷积滤波网络和CMOS图像传感器，其中，CMOS图像传感器上各像素单元均包括一个处理 单元。处理单元由控制电路发出的控制信号驱动，使得其上的感光部分采集光信号，处理单 元再将光信号转换为光电流。光电流通过对应的第一差分对管11中第一晶体管111和第二 晶体管113的输入端进入高斯卷积滤波网络。在CMOS图像传感器的每一个像素单元中，均可 集成滤波网络电路，使得传感器获得的模拟信号能够直接在模拟域进行高斯滤波处理，然 后通过AD读出处理完成的数据，再进行后续的高层次图像处理。在高斯滤波处理时，从原始 的模拟信息开始进行模拟域的信号处理，避免了从模拟到数字域的转换过程，有利于提高 运算速度。
[0052] 在本发明的一个实施例中，该图像处理系统还包括模板存储器及与该模板处理器 连接的数模转换器，基于模板存储器存储的模板、滤波尺度和高斯乘法器的转移函数计算 第二晶体管112的开关端的控制电压，该控制电压经模数转换器DAC转换为模拟信号后输出 给高斯卷积滤波网络10。
[0053] 该模板存储器用于存储进行高斯滤波处理时，待处理像素单元与邻近像素单元的 权重值，该权重值用于生成待处理像素单元的亮度。例如通常采用的3x3、5巧等的高斯权重 模板。如图4所示为采用图3所示的一维滤波网络时的CMOS图像传感器与滤波网络的连接示 意图，该滤波网络采用了5个高斯乘法器，说明采用的高斯权重模板为1x5,对应采用的像素 单元包括待处理像素单元1个(与尾电流Io对应)及其左2个和右2个(与尾电流I-2，I-l，Il，l2 对应，I-I和Il、I-2和l2在位置上关于待处理像素对称排布、距离相等），总共5个像素单元。也 就是说，高斯卷积滤波网络中高斯乘法器的数量等于模板存储器中存储的模板所需的像素 单元数。根据应用需求的不同，可W相应调整集成的乘法器数量，进行不同模板大小的滤波 处理。
[0054] W下W模板大小为3 X 3、对应的高斯滤波网络为3x3的二维高斯滤波电路为例进 行说明，如图5所示。其滤波处理流程如下:MOS图像传感器将摄像头采集的图像信息转换为 电信号，即将光流信息转换成电流输入到各个高斯乘法器的尾电流输入端。基于模板存储 器存储的模板、滤波尺度W及高斯乘法器本身拟合的转移函数可W计算得出一组控制电压 (V0、V1、V2)，其中，VO对应待处理的该模板中中间像素单元，Vl对应待处理像素单元上下左 右的4个像素单元，V2对应该模板中其他的像素单元，运样基于距离将待处理像素单元及周 围的像素单元分为3组进行处理，基于该控制电压体现不同像素单元的权重。当模板变化 时，高斯乘法器数量及控制电压数量均需做相应调整。对应输入连接完毕，电路稳定后，其 输出端的电流输出既为对应位置的卷积计算结果。仿真验证表明该电路的建立时间在百皮 秒量级，与数字电路对比，相当于可W W lOGHz数量级的频率进行高斯卷积，可W看出该电 路在速度上具有很大的优势。
[0055] 在本发明的一个实施例中，该高斯卷积滤波网络可W大规模集成在CMOS图像传感 器中，甚至可W集成在每个像素点内部，进行大规模并行处理。
[0056] 由于每次卷积计算均需要当前位置的像素值和相邻位置的像素值，因此进行大规 模并行计算时，像素点之间的邻接关系较为复杂，用户可W根据应用需求和集成工艺，减少 卷积运算单元的数量，并添加相应的外围数字电路进行串并行架构设计，在满足应用需求 和工艺设计规则的条件下简化电路设计，如图6所示。由于该电路输入输出均为电流，考虑 到简化电路设计并降低功耗，可W将电路网络进行复用，W减少电路层数，提高能效。卷积 滤波的输出结果可W通过AD直接读出。
[0057] 相比于数字系统，该电路将计算过程与传感器结合，在将传感数据进行模拟数字 转换之前，在模拟域完成了整个复杂的运算过程，而运算时间与AD时间相比基本可W忽略， 从运算架构和速度上超越了传统数字系统，而且由于运算单元电路中MOS管都工作在亚阔 值区，因此其功耗也可W保持在较低水平。本专利提出的模拟高斯滤波模块可W依据后续 不同的应用需求和设计规范，用户进行定制设计，可W在CMOS图像传感器中进行不同规模 的集成，W满足不同的滤波带宽的需求。同时，用户也可W添加外围数字控制电路，构成混 合信号处理电路，增加其可编程性，使该电路能更灵活的应用于图像处理领域。
[0058] 虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采 用的实施方式，并非用W限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本 发明所公开的精神和范围的前提下，可W在实施的形式上及细节上作任何的修改与变化， 但本发明的专利保护范围，仍须W所附的权利要求书所界定的范围为准。
【主权项】
1. 一种滤波网络，包括： 若干高斯乘法器； 输出电路，所述输出电路与若干所述高斯乘法器分别连接， 其中，所述高斯乘法器包括第一差分对管及与所述第一差分对管分别连接的第二差分 对管和第三差分对管，所述第一差分对管中第一晶体管的输出端分别连接所述第二差分对 管中两晶体管的输入端，所述第一差分对管中第二晶体管的输出端分别连接所述第三差分 对管中两晶体管的输入端，所述第一晶体管的输入端和所述第二晶体管的输入端并联，所 述第二差分对管中两晶体管的输出端和所述第三差分对管中两晶体管的输出端分别与所 述输出电路连接。2. 根据权利要求1所述的滤波网络，其特征在于，所述第二差分对管和所述第三差分对 管中两晶体管中一晶体管的开关端分别与所述第一晶体管的开关端连接，另一晶体管的开 关端分别与所述第二晶体管的开关端连接，通过控制所述第二晶体管的开关端的控制电 压，使得所述第一差分对管、所述第二差分对管和所述第三差分对管工作在亚阈值区。3. 根据权利要求2所述的滤波网络，其特征在于，所述输出电路包括由开关端连接的两 晶体管构成的镜像电流源，所述镜像电流源的一晶体管的输入端分别与所述第二差分对管 中的与所述第二晶体管开关端连接的晶体管的输出端、所述第三差分对管中的与所述第一 晶体管的开关端连接的晶体管的输出端和所述镜像电流源中两晶体管的开关端连接。4. 根据权利要求3所述的滤波网络，其特征在于，所述输出电路还包括一对称晶体管， 所述对称晶体管分别与所述第二差分对管中的与所述第一晶体管开关端连接的晶体管的 输出端及所述第三差分对管中的与所述第二晶体管的开关端连接的晶体管的输出端连接。5. -种图像处理系统，包括： 权利要求1-4中任一项所述的滤波网络； CMOS图像传感器，其上各像素单元输出的光电流通过对应的所述第一差分对管中所述 第一晶体管和所述第二晶体管的输入端进入所述滤波网络。6. 根据权利要求5所述的图像处理系统，其特征在于，所述图像处理系统还包括模板存 储器及与所述模板存储器连接的数模转换器，基于所述模板存储器存储的模板、滤波尺度 和所述高斯乘法器的转移函数计算所述第二晶体管的开关端的控制电压，所述控制电压经 所述数模转换器转换为模拟信号后输出给所述高斯卷积滤波网络。7. 根据权利要求6所述的图像处理系统，其特征在于，所述滤波网络中高斯乘法器的数 量等于所述模板存储器中存储的模板中权值的个数。8. 根据权利要求7所述的图像处理系统，其特征在于，所述图像处理系统还包括分别与 所述CMOS图像传感器、所述滤波网络中所述第一差分对管中的所述第一晶体管的输入端和 所述第二晶体管的输入端连接的读出控制电路，以对所述CMOS图像传感器中各像素单元输 出的光电流进行串行滤波。9. 根据权利要求7所述的图像处理系统，其特征在于，所述滤波网络集成在所述CMOS图 像传感器内。10. 根据权利要求7所述的图像处理系统，其特征在于，所述滤波网络设置在所述CMOS 图像传感器外，并通过所述CMOS图像传感器的输出端口读取光电数据。
【文档编号】H04N5/357GK105979174SQ201610293859
【公开日】2016年9月28日
【申请日】2016年5月5日
【发明人】刘哲宇, 乔飞, 魏琦, 李义, 杨华中
【申请人】清华大学