专利名称：一种基于视网膜原理的亚像素级图像采样与表征方法
技术领域：
本发明属于模式识别、计算机视觉、图像理解技术领域，具体涉及一种亚像素级图 像采样与表征方法。
背景技术：
在计算机视觉和数字图像处理的诸多算法和技术中，像素始终作为采样的最小单 位。不仅如此，像素按照阵列的方式等密度地均勻分布。但是高等哺乳动物的视网膜的光 信号采集方式却与此颇为不同，在研究计算机视觉的过程中，只有更真实地模拟视网膜采 样方式，才能更深入地理解和分析生物视网膜高效的信息处理方式，从而提高某些计算机 视觉中的计算效能。由此，如何合理地模拟这样的采样方式成为整个基于视网膜的亚像素 级分析技术的基本前提之一。对景物描述的最直接方法是像素阵列，也就是说图片以像素为采样单位作为输 入。这种方法虽然简单、直观、且被普遍采用，但是这样的采样方法至少存在两个大问题。首 先，像素阵列是均勻分布的，而生物视网膜的光感受器细胞并不是以这样一种均勻的密度 进行信号采样。在视网膜的中心被成为中央凹的一块较小的区域，视锥(光感受器的一种) 以最高约125，500 (cell/mm2)的高密度分布。随着离心距离的增大，视网膜上光感受器的 分布密度整体呈明显下降趋势，视锥在视网膜周边区域降至约3000 (cell/mm2)的水平；视 杆从靠近中央凹的最高100，000(Cell/mm2)以上(视杆作为光感受器的另一种，在中央凹 内没有分布)降至周边区域的约30，000-40, 000(Cell/mm2，视网膜光感受器的采样密度遵 循“中央密，周边疏”的基本原则。作为进化的产物，视网膜也没必要，也不可能进行均勻采 样。其原因在于仅仅中央区域的高密度采样就足以应付必须的生存要求，而且，若整个视网 膜光感受器都按照中央凹区域的密度来采样所带来的能耗之高是眼睛所无法承受的。曾有 人做过计算，如果人类的整个视网膜采样分辨率都达到中央凹处的水准，那么眼睛的重量 就会达到60kg之大。所以，以像素阵列这样的均勻采样方式在生物视网膜上并不可取；其 次，像素通常作为输入的最小单位。这样做显然缺少很大的灵活性，因为像素是按照矩阵分 布的，而在生物视网膜中的光感受器之间的位置并不是类似的矩形分布，而是有类似蜂房 的六角形分布，甚至更为灵活多变。而这样的密度不均，位置不定的采样点在以固定的矩阵 分布的像素点网格上很难找到对应的位置来完成计算机数码图片的采样。
发明内容
本发明的目的在于提供一种模型结构简单、计算负荷小、处理时间短和加工精度 高的亚像素级图像采样与表征方法。高等哺乳动物视网膜是其视觉系统的第一个信息处理环节，它负责对视觉刺激进行采样和初步特征提取，而完成采样工作的场所就是视网膜中的光感受器细胞层。另一方 面，现代数码照相机通过CCD (Charge-coupled Device,电荷耦合元件，用于将光学影像转 化为数字信号)传感器件完成对光学信号的采样。本发明提出的采样与表征方法是一种将数码相机感光元件与视网膜感受器细胞层进行直接对应的方法，对由数码相机拍得的数字图像进行类似视网膜机制的采样，用于仿生模型的进一步计算和分析。这种对应方法提 供了一种对传统数字图片的亚像素级表征与处理方法，将图片中的每个像素视为一个颜色 块，每个颜色块都被认为在视野范围中占据一定的面积，而由所有颜色块组成的整体数字 图像就对应了视野范围中的一个矩形区域，便于按照视网膜光感受器的方式灵活地进行采 样。本发明方法有助于实现对视野中不同方位刺激的区别处理，既有高精度的过饱和采样 用于识别，也有低精度的稀疏采样用于保持警觉，使得处理模型在结构复杂度、计算负荷、 处理时间和加工精度之间得到优化。基于视网膜原理的亚像素级图像采样与表征方法，具体分为三个步骤第一，模拟生成亚像素级的数值视网膜的多层计算单元；第二，用所生成的数值视网膜对CXD图像进行非均勻的采样；第三，将采样所获取的RGB信息转换为等效波长，结合视网膜光感受器对波长的 敏感曲线图，最终可得出视网膜对外界事物的表征情况。RGB是色彩模式:R(红)G(绿)B(蓝)。在三个步骤实现过程中借鉴生物生理机制，提出了创新的算法。以下详细介绍此 三个步骤。一、亚像素级的数值计算视网膜多层计算单元的模拟生成生成亚像素级的数值计算视网膜多层计算单元，是通过计算机模拟生成与视网膜 各层分布相似的矩阵。其实现的具体方法包括但并不仅限于以下两种1.基于单个细胞的生成。图1示出了该计算单元生成算法中的观察窗。图1中的1表示数值视网膜网格，2 表示观察窗，3表示当前待观察的位置。首先按照需要生成的细胞在数值视网膜上的最大密度定义数值视网膜网格尺寸， 生成的每个细胞均落在这个网格的单个小格内，且每个小格最多只有一个细胞。算法过程 依次从上到下，从左到右遍历整个网格，并在遍历过程中根据密度判断当前位置是否应当 放置细胞。对于当前待判断的网格位置，也即当前网格在数值视网膜内的相对位置，根据要 求可以得到视网膜在该位置的密度值。而每一个密度值都有一个预先定义的观察窗与之对 应。“观察窗”区域定义为以当前位置为圆心的圆形区域(其半径预先定义)中已经遍历 过的网格区域，见图1中灰色区域。对于每一个预先定义的观察窗模板，其网格区域内每个位置都标记有一个“影响 因子”(Influence Factor, IF)，表示如果在该位置已存在细胞，则该位置的细胞对当前待 判断位置产生“排斥作用”的概率。统计观察窗中的所有区域，最后将计算得到一个在当前 位置可能存在细胞的概率，并以此概率判断是否放置细胞。2、基于不同密度环带的生成模拟视网膜生成一个采样区域，在采样区域内定义两个密度模板，两个密度模板 分别将采样区域分为十个环带，每个环带内密度均勻。我们将采样区域分为十个环带是因 为十个环带能够表示基本分布的情况，如需要也可以分更多或更少的环带，如6 15个环 带。图2为视锥计算单元的密度模板。图3为视杆计算单元的密度模板。
图4为所模拟的视网膜区域示意图。用一个2维数组来记录每个计算单元的位置 和类型，二维数组的中心与视网膜中心相重合，覆盖整个采样区域。图中圆形表示采样区域，其中的网格表示二维数组覆盖的区域，每一网格相当于 二维数组中的一位，网格的密度为计算单元最高密度，每一个网格只能有一个计算单元或 者没有。图中所画为网格为示意图，真实密度要远远高于图中所示。生成计算单元的过程，即判断网格的每一个位置是否有计算单元。如图所示，想 象数组的每一位就像一个小格子，现在手里握了一把沙子，按照不同环带的密度值，在不 同的环带里面撒沙子，中央凹处密度最高，与数组密度相同，即此环带的所有格子均撒满沙 子，周边环带的密度较低，就零星的撒两把沙子。现在的问题是如何在每个环带内根据 相应的密度值把沙子撒勻？以距采样区域中心0. 8mm Imm的环带为例，视杆计算单元的 密度为18000cells/mm2，视锥计算单元的密度为10000c ells/mm2，而此处的数组密度为 125500cells/mm2，那么对于环带内的任一位置来说，相当于约有14. 34% (18000/125500) 的概率为视杆计算单元，有7. 97% (10000/125500)的概率为视锥计算单元。生成一个0 100的随机数A，理论上此随机数A落在0 100之间任何两个相邻的数的范围内的概率是 相等的，那么利用随机数的这个性质生成视杆计算单元或视锥计算单元，一种实现方法如 当0 < A < = 14. 34时，则此位置为视杆计算单元，当(100-7. 97) < A <= 100，则此位置 为视锥计算单元，当14. 34 < A < (100-7. 97)时，此位置为空。因为环带内的数目足够多， 根据大数定理，最终此环带内的视杆计算单元的比例趋近于14. 34%而视锥计算单元的比 例趋近于7. 97%。其他环带可以类似生成。同样可以用比例和随机数的方法生成不同视锥计算单元的类型。视锥计算单元 中红敏视锥计算单元，绿敏视锥计算单元和蓝敏视锥计算单元的比例分别约为64%，32 %， 2%，则生成一个0 100之间的随机数B，如0 < B < = 64时，此计算单元为红敏视锥计算 单元，如64 < B < = 96时，此视锥计算单元为绿敏视锥计算单元，如96 < B <= 98时，此 视锥计算单元为蓝敏视锥计算单元，当视锥模拟计算单元大量生成时，由大数定理知，三种 视锥计算单元会基本接近于它们各自的比例。二、数值视网膜对CXD图像应的映射与非均勻采样数值视网膜对CCD图像的映射与非均勻采样方法有别于传统的基于像素采样的 图片采样与表征技术，打破像素最小单位的概念，将像素重新理解为连续的颜色块，形成一 种更接近真实生物视网膜采样模式的亚像素级采样方式。图5亚像素级的图像采样示意 图。图5中的4为输入图像；5表示视网膜，6表示中央凹区域对应的4个像素的采样情况， 7表示旁中央凹区域某GC细胞的感受野覆盖像素的大致情况。基本内容可分为如下几个部分。(1)亚像素级的图像采样在传统的数字图像处理和机器视觉中，往往将图像的像素点作为不可分割的最小 采样单位，但这样的处理方式无法模拟生物视网膜高效的不均勻采样模式。也因此需要打 破这一传统的“以像素为最小单位”的概念，形成一种亚像素级的采样方法。模型中把图像像素理解为一个具有一定面积的连续颜色块。相应的，一幅数字图 像就是这些颜色块的集合。(2)不同分辨率图片在数值视网膜上的投影
设数值视网膜为圆形，并假设其直径为R，在不同像素分辨率的图像投影到视网膜 上时都将其较短的一边缩放到尺度R，而较长的一边则按比例进行保持长宽比的缩放，以便 将图像完成覆盖视网膜的整个采样区域。这样，不同像素分辨率的图像中的像素在投影到视网膜上后就会形成不同尺寸大 小的颜色块，而对于视网膜上同一个神经节细胞的感受野，在不同图像投影时的采样情况 也就相应地有所不同，见图5。三、使用等效波长代替RGB三色的表示与计算对输入的图片进行非均勻采样后，需要将采样所得信息按需要进一步转换。这里 转换的用途包括但并不限于用于直接的图片处理，用于生理模拟实验，用于人工视网膜芯 片等。其中一种实施例是模拟人眼的生理反应过程，使用等效波长一个数值代替RGB三个 数值，同时用不同类型计算单元(对应不同类型的光感受器)对波长进行同时的、但有区别 的响应。这种方法不仅能真实的模拟人眼的生理反应，同时对信息编码，图像的空间变化也 具有指导意义。根据主波长可以得出不同光感受器的反应强度。得到RGB所对应的波长值之后， 就可以根据不同光感受器的敏感曲线得出光感受器的反应强度，不同的光感受器对相同的 波长有进行同时的、但有区别的响应。图8为视杆细胞和视锥细胞正规化的光谱敏感度图。 如波长为500时，四条不同的曲线对其均有响应，但响应值却各不相同。对于图8中几条光敏感曲线的模拟有多种方法。其中一种，可以采用连续函数进 行逼近的办法。另一种是在模拟光感受器敏感度曲线时，采用离散采样插值计算的办法，即 以较小的间隔对离散的波长采样得到反应强度值，如有落于间隔之内的波长值则利用插值 算法计算得出。这样，使用等效波长一个数值代替RGB三个数值，并模拟对波长的不同敏感曲线 得到不同类型计算单元的不同响应。本发明有助于实现对视野中不同方位刺激的区别处理，既有高精度的过饱和采样用于识别，也有低精度的稀疏采样用于保持警觉，使得处理模型在结构复杂度、计算负荷、 处理时间和加工精度之间得到优化。
图1示出了计算单元生成算法中的观察窗。图2为视锥计算单元的密度模板。图3为视杆计算单元的密度模板。图4为所模拟的视网膜区域示意图。图5亚像素级的图像采样示意图。图6示出了同一个细胞感受野在不同图像投影下的不同采样情况。图7采样信息用于模拟人眼生理反应的流程图。图8人眼的视杆细胞和视锥细胞正规化的光谱敏感度图。
具体实施例方式一、关于亚像素级的数值计算视网膜多层计算单元的生成。
1.基于单个细胞的生成算法。在运行计算单元生成算法前需要定义数值视网膜网格尺寸ηΧη，并且根据m个不 同的细胞密度，预先定义m个观察窗模板wl，w2，…，wm。算法伪代码描述Input =Window[distance]//观察窗模板定义(取决于离心距)Output =Gridnxn//输出记录细胞分布情况的网格FOREACH pi IN Grid nXn//遍历所有网格位置Get window wj = Window [distance (pi) ] ；//根据当前位置确定观察窗Prob (pi) — 1. O ；//初始化当前位置pi有细胞的概率FOREACH Grid(k) IN wj//遍历Grid中的所有观察中范围内的位置IF exist cell at Grid(k)//当前观察位置已存在细胞Prob (pi) — Prob (pi) *IF (wj (k) *) ；// 更新概率Put cell on pi with Prob (pi) ；//以概率 Prob (IFpi)在当前位置Pi 放置 细胞*wj (k)表示Grid(k)在观察窗中的相对位置设视网膜尺寸为ηΧη，观察窗模板最大半径r，则算法时间复杂度0(r2n2)。2.基于不同密度环带的生成算法。设用以记录每个光感受器的位置和类型的2维数组大小为nXn算法伪代码描述Input :Pdistribution[n氺η]Ptype[η*η]Output =Pdistribution[n*n] //记录每一个点细胞生成状况的矩阵Ptype [n*n]//记录每一个点细胞的类型Fori = 1 :nFori = 1 :n//遍历数组中每一个点计算每一点到采样中心的距离来确定落入哪个环带读出每个环带所对应的不同计算单元与空单元所占的比例。在一定范围内生成一个随机数。判断随机数落入不同的比例范围，确定不同计算单元的类型或者为空。EndEnd二、关于数值视网膜对CXD图像的映射和非均勻采样。具体而言，仿生视网膜在感光元件上采样映射方法如下对于一幅已知像素规格为PwXPh的数码图片，不妨设Pw彡Ph, Pw为图片宽度的像 素数，Ph为图片长度的像素数。数值视网膜网格为nXn个单位(相当于其直径为η)，在经 过投影变换之后，原图像上的每个像素长度变为n/ph个单位，并对应到视网膜上的相应位 置。也即对于长宽不等的图像，为保持图像不失真，投影按照短边和数值视网膜的直径之比 进行缩放。相应地，对于任意给定像素分辨率的输入图像，视网膜上的采样细胞都能计算出它从原图像中进行采样的像素位置，并实施采样。对于数值视网膜网格中(i，j)位置上的 细胞Cij所采样的输入图像中的坐标(刺激源)为(iXph/n，iXph/n)。三、关于使用等效波长代替RGB三色的表示与计算。人眼的光感受器的反应是与光的波长直接相关的，但我们所能得到的信息是像素 点的RGB值，所以要模拟人眼光感受器对输入图片所产生的生理反应大小，先要把RGB值转 换为等效波长。图7为采样信息用于模拟人眼生理反应的流程图。对于每一个采样的光感受器， 先把所获取的RGB值转化为XYZ系统(XYZ颜色空间)下的值。RGB转换为XYZ系统的公式 为X = O. 490*R+0. 310*G+0. 200*B ；Y = O. 177*R+0. 812*G+0. 011*B ；Z = O. 0000*R+0. 010氺G+0. 990*B ；通过得到的XYZ系统下的值，进一步计算色度坐标x = X/ (X+Y+Z)；y = Y/ (X+Y+Z)；z = Z/ (X+Y+Z)；ζ从x+y+z = 1导出，因此通常不考虑z，而用另外两个系数χ和y表示颜色，并以 χ和1为坐标绘制二维图形，其中所绘制的二维图形称为色度图，Χ和1被称为色度坐标。自然界中各种实际颜色都位于色度图内。色度坐标只规定了颜色的色度，而未规 定颜色的亮度，所以若要唯一地确定某颜色，还必须指出其亮度特征，也即是Y的大小。这 样，既有了表示颜色特征的色度坐标X、y，又有了表示颜色亮度特征的亮度因数Y，则该颜 色的外貌才能完全唯一地确定。根据色度坐标，即可得到相应的主波长。对于任何一个RGB经过以上的颜色空间 变换，都可以计算出一个色度坐标x、y，然后在色度图中找到对应的波长值。例如RGB值为 R = 138，G = 234，B = 244的淡青色表面色色度坐标为χ = 0. 4020、y = 0. 4721，查色度 图可得到对应的波长值约为570nm，它与亮度值Y = 76. 68 一起，共同确定了某颜色。根据主波长可以得出不同光感受器的反应强度。得到RGB所对应的波长值之后， 就可以根据不同光感受器的敏感曲线得出光感受器的反应强度，不同的光感受器对相同的 波长有进行同时的、但有区别的响应。图8为视杆细胞和视锥细胞正规化的光谱敏感度图。 如波长为500时，四条不同的曲线对其均有响应，但响应值却各不相同。对于图8中几条光敏感曲线的模拟有多种方法。其中一种，可以采用连续函数进 行逼近的办法。另一种是在模拟光感受器敏感度曲线时，采用离散采样插值计算的办法，即 以较小的间隔对离散的波长采样得到反应强度值，如有落于间隔之内的波长值则利用插值 算法计算得出。这样，使用等效波长一个数值代替RGB三个数值，并模拟对波长的不同敏感曲线 得到不同类型计算单元的不同响应。
权利要求
一种基于视网膜原理的亚像素级图像采样与表征方法，其特征在于具体步骤如下第一，模拟生成亚像素级的数值视网膜的多层计算单元；第二，用所生成的数值视网膜对CCD图像进行非均匀的采样；第三，将采样所获取的RGB信息转换为等效波长，结合视网膜光感受器对波长的敏感曲线图，最终可得出视网膜对外界事物的表征情况。
2.根据权利要求1所述的方法，其特征在于所述的模拟生成亚像素级的数值视网膜的 多层计算单元，包括基于单个细胞的生成和基于不同密度环带的生成两种。
3.根据权利要求2所述的方法，其特征在于所述用所生成的数值视网膜对CCD图像进 行非均勻采样，是把图像像素理解为具有一定面积的连续颜色块，这些颜色块的集合组成 一幅数字图像；设数值视网膜为圆形，并假设其直径为R，在不同像素分辨率的图像投影到 视网膜上时都将其较短的一边缩放到尺度R，而较长的一边则按比例进行保持长宽比的缩 放，以便将图像完成覆盖视网膜的整个采样区域。
4.根据权利要求3所述的方法，其特征在于所述采样所获取的RGB信息转换为等效波 长，具体步骤如下对于每一个采样的光感受器，先把所获取的RGB值转化为XYZ系统下的值；RGB转换为 XYZ系统的公式为<formula>formula see original document page 2</formula> ； 通过得到的XYZ系统下的值，进一步计算色度坐标<formula>formula see original document page 2</formula>ζ从x+y+z = 1导出，因此两个系数χ和y表示颜色，并以χ和y为坐标绘制二维图形， 所绘制的二维图形称为色度图，χ和y被称为色度坐标； 根据色度坐标，即可得到相应的主波长。
全文摘要
本发明属于模式识别、计算机视觉技术领域，具体为一种基于视网膜原理的亚像素级图像采样与表征方法，该方法将数码相机感光元件与视网膜感受器细胞层进行直接对应，对由数码相机拍得的数字图像进行类似视网膜机制的采样。具体是将图片中的每个像素视为一个颜色块，由所有颜色块组成的整体数字图像对应视野范围中的一个矩形区域，便于按照视网膜光感受器的方式灵活地进行采样。本发明有助于实现对视野中不同方位刺激的区别处理，既有高精度的过饱和采样用于识别，也有低精度的稀疏采样用于保持警觉，使得处理模型在结构复杂度、计算负荷、处理时间和加工精度之间得到优化。
文档编号G06K9/62GK101799874SQ20101013209
公开日2010年8月11日 申请日期2010年3月25日 优先权日2010年3月25日
发明者危辉, 管旭东 申请人:复旦大学