解决图像形变的结构的制作方法
【专利摘要】本发明提供的解决图像形变的结构，其特征在于，包括帧图像提供模块、数据传输模块、第一RAM选择模块、第二RAM选择模块、相关性模块、RAM存储阵列、直方图统计模块、锁帧状态控制模块、图像检测模块；本发明提供的解决图像形变的结构，适用于两张或两张以上相邻间具有部分重叠的图像相关性计算，且图像无旋转。用ASIC的方式实现了高速、低成本、计算量小且流水化的结构。
【专利说明】解决图像形变的结构
【技术领域】
[0001]本发明涉及图像识别领域，尤其涉及解决图像形变的结构。
【背景技术】
[0002]图像拼接技术通过将一组具有部分重叠的图像进行无缝拼接而得到超宽视角的图像。这一类技术的出现使采集图像的设备更普通化。近年来这一技术在视频处理领域、医学图像处理领域、指纹领域和军事领域中均有广泛的应用。因此，研究并提出一种精确而快速的图像拼接算法具有十分重要的现实意义。
[0003]现有的图像拼接技术拼接完成的图像几何形变较为严重。这在对于后端处理时的很多环节都会造成严重的影响，直接影响到图像识别率。且在估计相邻图像片的冗余度的过程中，现有的方法太消耗硬件资源，或者需要消耗较长的处理时间，从而使产品的性价比降低。
【发明内容】
[0004]为解决上述技术问题，本发明提供的解决图像形变的结构，其特征在于，包括帧图像提供模块、数据传输模块、第一 RAM选择模块、第二 RAM选择模块、相关性模块、RAM存储阵列、直方图统计模块、锁帧状态控制模块、图像检测模块；
[0005]所述锁帧状态控制模块根据相关性模块计算出的偏移量数据、图像检测模块提供的图像检测信号、直方图统计模块提供的下限灰度门限值，判断此帧是否需要锁帧或释放锁中贞，输出锁巾贞控制信号给第一 RAM选择模块和第二 RAM选择模块；
[0006]所述锁帧状态控制模块判断此帧是否需要锁帧或释放锁帧的依据为:若两帧图像在采集对象相对于采集窗口的主要移动方向上的位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧与模板帧进行相关性计算，模板帧为当前锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，把当前帧转换成模板帧锁定，进行下一轮相关性计算。
[0007]所述RAM存储阵列由四个或四个以上的RAM组成；所述RAM存储阵列的分配为:
[0008]至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM ;至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM ；至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM ;至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM;还可以包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。
[0009]所述帧图像提供模块提供采集到的每一帧图像，并将帧图像通过第一 RAM选择模块选择放入RAM存储阵列中的输入帧RAM ；
[0010]所述数据传输模块传输相关性数据、偏移量数据、帧图像；
[0011]所述第一 RAM选择模块将接收的帧图像数据选择放入RAM存储阵列中的输入帧RAM中，并将当前帧RAM和模板帧RAM中的选定数据传入相关性模块；所述第二 RAM选择模块对输出帧RAM读地址、读数据和读使能进行处理和中转；
[0012]所述直方图统计模块实时求出每一帧图像数据的原始直方图，再根据直方图分别求出其对应下限灰度门限；
[0013]所述图像检测模块通过实时采集的帧图像数据及相关性模块计算出的相关性数据判断采集对象相对于采集窗口的状态。
[0014]所述RAM存储阵列的存储规则为:
[0015]在释放锁帧情况下，存放模板帧RAM变为存放输出帧RAM，输出被释放的模板帧；存放当前帧RAM变为存放模板帧RAM，成为下一次相关性计算比对的位移模板；存放输入帧RAM变为存放当前帧RAM，和模板帧进行相关性计算；存放输出帧RAM变为存放输入帧RAM ；
[0016]在锁帧情况下，存放当前帧的RAM和存放输入帧的RAM互换，将当前帧RAM变为输入帧RAM，并丢弃当前帧，把输入帧变为当前帧做运算。
[0017]所述判断此帧是否需要锁帧或释放锁帧的依据还包括:若图像检测模块提供的图像检测信号为采集窗口未采集到有效采集对象，则此时始终更新锁帧，并清零锁帧计数；
[0018]若图像检测模块提供的图像检测信号为采集窗口采集到有效采集对象但采集对象未开始移动，则判断直方图统计的前后两帧下限灰度门限的差值是否达到阈值；或两帧数据有相关性偏移量；或当锁帧计数达到规定的阈值时，判定当前帧强制更新锁帧，并清零锁帧计数；
[0019]若图像检测模块提供的图像检测信号为采集窗口采集到有效采集对象且采集对象开始移动，且此时水平或垂直偏移量之和大于以锁帧计数的增大而减小的阈值分量时，更新锁帧，并清零锁帧计数。
[0020]所述模块帧和当前帧之间间隔有帧数，其间隔的帧数取决于锁帧判断；若当前模板帧和当前帧满足释放锁帧条件，释放锁帧之后模板帧和当前帧之间的帧数为O ;若当前模板帧和当前帧不满足释放锁帧要求，释放锁帧之后模板帧和当前帧之间的帧数大于等于
1
[0021]所述相关性模块根据接收的第一 RAM选择模块传来的模板帧和当前帧计算两帧图像的相关性；若所述模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像。根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果；
[0022]两帧图像在所有覆盖情况下的相关性运算结果组成相关性矩阵；所述相关性矩阵由相关性模块输出到RAM存储阵列存储及偏移量跟踪模块，并由偏移量跟踪模块计算两帧图像的偏移量数据。
[0023]所述相关性数据包括相关性矩阵的最大值、最小值及其坐标；所述偏移量数据包括参与运算的两帧图像的水平或垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度权重。
[0024]所述阈值为根据试验得到的经验值。
[0025]本发明提供的解决图像形变的结构，适用于两张或两张以上相邻间具有部分重叠的图像相关性计算，且图像无旋转。用ASIC的方式实现了高速、低成本、计算量小且流水化的结构。利用此方法拼接的图像，由于算法精度高、误差小，能明显的纠正有图像错位、图像形变、短图像、图像拖尾等现象，为后续处理打好基础；尤其适合指纹类商业产品的推广。
【专利附图】
【附图说明】
[0026]图1为本发明锁帧机制下的模块架构图；
[0027]图2为各个帧图像数据在采集流程上的先后顺序示意图；
[0028]图3为本发明RAM存储阵列中各RAM的跳转关系图，其中图3_1为锁帧和解除锁帧时各RAM的跳转关系图，图3-2为在释放锁帧情况下RAM的转换图，图3_3为在锁帧情况下RAM的转换图。
【具体实施方式】
[0029]下面结合附图来说明本发明的优选实施例，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0030]如图1所示，解决图像形变的结构，包括帧图像提供模块1、数据传输模块2、第一RAM选择模块3、第二 RAM选择模块4、相关性模块5、RAM存储阵列6、直方图统计模块7、锁帧状态控制模块8、图像检测模块9。
[0031]帧图像提供模块I提供采集到的每一帧图像，并将帧图像通过第一RAM选择模块3选择放入RAM存储阵列6中的输入帧RAM。数据传输模块2传输相关性数据、帧图像、阈值参数。第一 RAM选择模块3将接收的帧图像数据放入RAM存储阵列6中的输入帧RAM中，并对帧图像提供模块I提供的RAM读写地址、读写数据、读写使能信号进行处理和中转。第二 RAM选择模块4对数据传输模块2提供的RAM读地址和读使能进行处理和中转。
[0032]相关性模块5计算当前帧的相关性数据和偏移量数据，其方法为接收第一 RAM选择模块3传来的两帧图像，并将两帧图像分别设为模板帧和当前帧，若所述模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像。根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的一部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果；两帧图像在各种覆盖情况下的相关性运算结果组成两帧图像的相关性矩阵。所述相关性数据包括相关性矩阵的最大值、最小值及其坐标。
[0033]相关性模块5将相关性数据并行输出到数据传输模块2、图像检测模块9和锁帧状态控制模块8，并将相关性矩阵输出到RAM存储阵列6。相关性模块5对相关性矩阵进行偏移量计算，得到当前帧的偏移量数据，所述偏移量数据包括参与运算的两帧水平或垂直方向的偏移量，水平和垂直方向的速度、水平和垂直方向的速度权重等。
[0034]RAM存储阵列6用于循环存储帧图像或相关性矩阵及其他数据，由四个或四个以上RAM组成。RAM存储阵列6分配为:至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM ;至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM ;至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM ;至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM ;还可以包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。
[0035]直方图统计模块7实时求出每一帧图像数据的原始直方图，再根据直方图分别求出其对应的下限灰度门限LTH。[0036]下限灰度门限值的求取方法为:设定一个阈值灰度greyTH和下限灰度门限比例low_Rate，其中阈值灰度greyTH为在图像灰度范围内任意选取的整数，下限灰度门限比例low_Rate为O到I的任意小数。实时统计每一巾贞图像的直方图，求出低于阈值灰度greyTH像素个数总和为cnt_th,则下限灰度门限LTH为:从零开始计数到cnt_thX low_Rate处的像素灰度。
[0037]图像检测模块9通过实时采集的帧图像数据及相关性模块5计算出的相关性数据判断采集对象相对于采集窗口的状态，包括:采集窗口采集到有效采集对象、采集窗口未采集到有效采集对象及采集对象在采集窗口上移动等状态。
[0038]例如在刮擦式指纹传感器中，检测到手指，即为检测到有效采集对象。
[0039]锁帧状态控制模块8在相关性模块5每帧的相关性计算中判断此帧是否需要锁帧或释放锁帧，输出锁帧控制信号给第一 RAM选择模块3和第二 RAM选择模块4。锁帧状态控制模块8判断此帧是否需要锁帧或释放锁帧的依据为:若两帧图像在采集对象相对于采集窗口的主要移动方向上的位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧并与模板帧参与相关性计算，此时的模板帧为当前锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，再把当前帧转换成模板帧锁定，进行下一轮相关性计算。所述规定的阈值为根据试验得到的经验值。
[0040]在每一帧数据判断完图像检测后，锁帧状态控制模块8开始工作。锁帧状态控制模块8根据相关性模块计算出的偏移量数据、图像检测模块提供的图像检测信号及直方图统计模块提供的下限灰度门限LTH，得出是否更新锁帧和锁帧计数。更新锁帧的条件为:如果图像检测模块9提供的图像检测信号为采集窗口未采集到有效采集对象，则此时始终更新锁帧，并清零锁帧计数。若图像检测模块9提供的图像检测信号为采集窗口采集到有效采集对象但采集对象未开始移动，则判断直方图统计的前后两帧下限灰度门限的差值是否达到阈值；或两帧数据在采集对象相对于采集窗口的主要移动方向上有偏移量，即相关性模块计算出水平或垂直偏移量不为零；或当锁帧计数达到规定的阈值时，判定当前帧强制更新锁帧，并清零锁帧计数。若图像检测模块提供的图像检测信号为采集窗口采集到有效采集对象且开始移动，且此时水平和垂直偏移量之和大于以锁帧计数的增大而减小的阈值分量时，更新锁帧，并清零锁帧计数。
[0041]如图2所示为各个帧图像数据在采集流程上的先后顺序示意图，其中模板帧和当前帧之间间隔的帧数取决于锁帧判断，如果当前模板帧和当前帧满足释放锁帧要求，释放锁帧之后模板帧和当前帧之间的帧数为0，如果当前模板帧和当前帧不满足释放锁帧要求，释放锁帧之后模板帧和当前帧之间的帧数大于等于I。因此模板帧可能是很早以前采集的图像数据被锁存，和当前帧进行相关性计算。
[0042]如图3所示，在释放锁帧情况下，存放模板帧RAM变为存放输出帧RAM，输出被释放的模板帧；存放当前帧RAM变为存放模板帧RAM，成为下一次相关性计算的比对位移模板；存放输入帧RAM变为存放当前帧RAM，和模板帧进行相关性计算；存放输出帧RAM变为存放输入帧RAM。此过程顺序轮循转换。
[0043]在锁帧情况下，存放当前帧的RAM和存放输入帧的RAM互换。即当前帧RAM变为输入帧RAM，即丢弃当前帧,把输入帧变为当前帧做运算。
[0044]本发明提供的解决图像形变的结构用ASIC的方式实现了高速、低成本、计算量小且流水化的结构。利用此方法拼接的图像，由于算法精度高、误差小，能明显的纠正有图像错位、图像形变、短图像、图像拖尾等现象，为后续处理打好基础；尤其适合指纹类商业产品的推广。
[0045]本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还可以对以上内容进行各种各样的修改。因此本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。
【权利要求】
1.解决图像形变的结构，其特征在于，包括帧图像提供模块、数据传输模块、第一RAM选择模块、第二 RAM选择模块、相关性模块、RAM存储阵列、直方图统计模块、锁帧状态控制模块、图像检测模块； 所述锁帧状态控制模块根据相关性模块计算出的偏移量数据、图像检测模块提供的图像检测信号、直方图统计模块提供的下限灰度门限值，判断此帧是否需要锁帧或释放锁帧，输出锁帧控制信号给第一 RAM选择模块和第二 RAM选择模块； 所述锁帧状态控制模块判断此帧是否需要锁帧或释放锁帧的依据为:若两帧图像在采集对象相对于采集窗口的主要移动方向上的位移没达到规定的阈值，则丢弃当前帧，采用下一帧图像代替当前帧与模板帧进行相关性计算，模板帧为当前锁帧的那一帧；若两帧图像之间的位移达到了规定的阈值，则输出当前进行相关性计算的模板帧，把当前帧转换成模板帧锁定，进行下一轮相关性计算。
2.根据权利要求1所述的解决图像形变的结构，其特征在于，所述帧图像提供模块提供采集到的每一帧图像，并将帧图像通过第一 RAM选择模块选择放入RAM存储阵列中的输入帧RAM ； 所述数据传输模块传输相关性数据、偏移量数据、帧图像； 所述第一 RAM选择模块将接收的帧图像数据选择放入RAM存储阵列中的输入帧RAM中，并将当前帧RAM和模 板帧RAM中的选定数据传入相关性模块；所述第二 RAM选择模块对输出帧RAM读地址、读数据和读使能进行处理和中转；所述直方图统计模块实时求出每一帧图像数据的原始直方图，再根据直方图分别求出其对应下限灰度门限； 所述图像检测模块通过实时 采集的帧图像数据及相关性模块计算出的相关性数据判断采集对象相对于采集窗口的状态。
3.根据权利要求1或2所述的解决图像形变的结构，其特征在于，所述RAM存储阵列由四个或四个以上的RAM组成；所述RAM存储阵列的分配为: 至少用一个RAM存储当前正在进行相关性计算的当前帧图像数据，定义为当前帧RAM ；至少用一个RAM存储当前正在进行相关性计算的模板帧图像数据，定义为模板帧RAM ;至少用一个RAM存储当前正在采集的帧图像数据，定义为输入帧RAM ;至少用一个RAM存储当前释放锁帧传出的图像数据，定义为输出帧RAM;还可以包含一个RAM存储当前相关性矩阵，定义为相关性矩阵RAM。
4.根据权利要求3所述的解决图像形变的结构，其特征在于，所述RAM存储阵列的存储规则为: 在释放锁帧情况下，存放模板帧RAM变为存放输出帧RAM，输出被释放的模板帧；存放当前帧RAM变为存放模板帧RAM，成为下一次相关性计算的比对的位移模板；存放输入帧RAM变为存放当前帧RAM，和模板帧进行相关性计算；存放输出帧RAM变为存放输入帧RAM ； 在锁帧情况下，存放当前帧的RAM和存放输入帧的RAM互换，将当前帧RAM变为输入帧RAM,并丢弃当前帧，把输入帧变为当前帧做运算。
5.根据权利要求1所述的解决图像形变的结构，其特征在于，所述判断此帧是否需要锁帧或释放锁帧的依据还包括:若图像检测模块提供的图像检测信号为采集窗口未采集到有效采集对象，则此时始终更新锁帧，并清零锁帧计数； 若图像检测模块提供的图像检测信号为采集窗口采集到有效采集对象但采集对象未开始移动，则判断直方图统计的前后两帧下限灰度门限的差值是否达到阈值；或两帧数据在采集对象相对于采集窗口的主要移动方向上有偏移量；或当锁帧计数达到规定的阈值时，判定当前帧强制更新锁帧，并清零锁帧计数； 若图像检测模块提供的图像检测信号为采集窗口采集到有效采集对象且采集对象开始移动，且此时水平和垂直偏移量之和大于以锁帧计数的增大而减小的阈值分量时，更新锁帧，并清零锁帧计数。
6.根据权利要求1所述的解决图像形变的结构，其特征在于，所述模块帧和当前帧之间间隔有帧数，其间隔的帧数取决于锁帧判断；若当前模板帧和当前帧满足释放锁帧条件，释放锁帧之后模板帧和当前帧之间的帧数为O ;若当前模板帧和当前帧不满足释放锁帧要求，释放锁帧之后模板帧和当前帧之间的帧数大于等于I。
7.根据权利要求1或6所述的解决图像形变的结构，其特征在于，所述相关性模块根据接收的第一 RAM选择模块传来的模板帧和当前帧计算两帧图像的相关性；若所述模板帧为两帧图像中参照不动的那一帧，则所述当前帧为两帧图像中参照模板帧上下左右移动的另一帧图像。根据模板帧和当前帧的覆盖情况，选取两帧图像覆盖区域的部分或全部数据，将两帧图像覆盖区域中的一一对应的数据求差值平方之和得到当前覆盖情况下的相关性运算结果； 两帧图像在所有覆盖情况下的相关性运算结果组成相关性矩阵；所述相关性矩阵由相关性模块输出到RAM存储阵列存储及偏移量跟踪模块，并由偏移量跟踪模块计算两帧图像的偏移量数据。
8.根据权利要求1所述的解决图像形变的结构，其特征在于，所述相关性数据包括相关性矩阵的最大值、最小值及其坐标；所述偏移量数据包括参与运算的两帧图像的水平或垂直方向的偏移量，水平和`垂直方向的速度、水平和垂直方向的速度权重。
【文档编号】G06T1/00GK103679623SQ201210345140
【公开日】2014年3月26日 申请日期:2012年9月18日 优先权日:2012年9月18日
【发明者】张娅舸 申请人:成都方程式电子有限公司