一种适用于空间探测成像的基于fpga的自动曝光控制方法及其装置制造方法
【专利摘要】本发明涉及一种适用于空间探测成像的基于FPGA的自动曝光控制方法及其装置，该方法由当前帧主体图像平均亮度得到当前帧图像平均亮度，根据当前帧图像平均亮度与预期图像平均亮度的差值的正负和大小来自适应选取曝光时间，采用连续帧不断循环迭代使当前帧图像平均亮度达到预期图像平均亮度。一种为实施上述自动曝光控制方法的自动曝光控制装置包括光学镜头、APS传感器、曝光控制FPGA。本发明解决了现有空间探测成像技术中目标图像曝光过度、目标图像分割以及自动曝光速度和稳定性之间权衡的技术问题，提高了图像的对比度，能够实现在各种空间探测光照环境下进行更快速、更稳定、更准确的自动曝光控制，增加了空间探测环境成像时的自适应能力。
【专利说明】—种适用于空间探测成像的基于FPGA的自动曝光控制方法及其装置
【技术领域】
[0001]本发明涉及深空探测技术中的自动曝光控制领域，特别是一种适用于空间探测成像的基于FPGA的自动曝光控制方法及其装置。
【背景技术】
[0002]成像装置的自动曝光控制对输出图像质量的影响非常大。自动曝光控制的目标是使拍摄主体的图像暗部细节不丢失，亮部不过曝，同时平均亮度适合人眼观看。
[0003]应用于空间探测的成像装置在轨工作时，曝光时间是否合适非常重要，曝光时间过短会导致景物很暗，而过长又会导致景物亮度饱和，因此进行自动曝光控制是必需的，但自动曝光控制非常复杂，曝光控制不好可能会陷入曝光时间紊乱，出现时亮时暗的情况。因此自动曝光控制是否合适，对成像装置是至关重要的，关系到任务的成败。
[0004]目前民用相机在自动曝光控制技术上比较成熟，可以根据夜景、白天、人像等设定所需要的不同曝光控制模式，效果很好，也可以根据不同的拍摄主体采用光圈先决式、快门先决式和程序式自动曝光控制来获得准确曝光。民用相机的自动曝光控制技术如果应用于空间探测等航天领域，就存在有局限性。
[0005]首先从自动曝光控制方法来说，①应用于空间探测的成像装置，对拍摄主体进行成像时，由于无法预知拍摄主体的光照条件、位置、所占图像区域大小等情况，无法根据现场情景设定自动曝光控制模式。②应用于空间探测的成像装置如果采用现有的图像整体亮度来控制曝光，如果拍摄主体与背景之间的亮度差太大，会使得拍摄主体出现曝光不足或者曝光过度的现象。③应用于空间探测的成像装置如果采用民用相机的参照亮度值控制方法，将图像分块，每一块子图像的亮度被用于设置参照亮度值，该参照亮度值可以通过调整光圈大小获得，当然同样也可以通过设置快门速度获得该参照亮度值，则应用于空间探测成像装置是无人操作，无法设定光圈或快门。④民用相机有的通过研究不同光照条件下的亮度与曝光值之间的关系来进行曝光控制，应用空间探测的成像装置无法预先进行亮度与曝光值之间的标定，所以不能采用这样曝光控制方法。⑤民用的自动曝光控制方法均是基于整幅图像进行自动曝光控制的，当拍摄主体相对背景很小时，会造成拍摄主体曝光过度。当拍摄主体很亮、背景较暗时，此时应该减小曝光时间；但由于是对整幅图像进行计算的，亮度高的像素数目远小于亮度低的像素数目，因此整幅图像较暗，为了提高整幅图像的亮度，继续增加曝光时间，最终导致拍摄主体曝光过度。因此需要在现有的自动曝光算法中分割出拍摄主体图像，对拍摄主体图像进行有效的自动曝光控制。⑥现有的对拍摄主体图像的自动曝光算法，为了分割出拍摄主体图像，经常采用固定亮度阈值进行分割，但由于应用于空间探测成像装置的温度影响，固定亮度阈值分割不能适应各种情况，因此需要将自适应阈值分割的方法引入自动曝光控制方法中来。
[0006]其次从自动曝光步长选取来说，自动曝光搜索的步长会影响搜索速度和搜索稳定性之间的权衡关系。曝光时间调整步长过小会增加搜索次数，导致降低搜索速度；而如果曝光时间调整步长过长可能造成搜索无法收敛，在最佳曝光点左右摇摆不稳定的现象。现有的自动曝光方法多数不能根据不同场景的亮度情况动态的调整搜索步长。
[0007]最后从实现自动曝光控制方法的器件来说，民用相机一般采用的特定微处理器件来实现自动曝光控制方法，而这样的特定微处理器件一般不能应用航天产品，不能在深空环境下保证航天成像装置的可靠性。由此将采用适应于空间探测环境的器件来实现自动曝光控制方法，并对自动曝光控制方法进行优化。
[0008]目前，空间光学遥感相机调节曝光的方法并不多，大型对地遥感相机因为其地面目标的确定性，可以使用辐亮度分析软件、相机光学和传感器芯片特性得出精确的曝光时间，只需根据地面景物的不同设定几档曝光时间进行切换。
[0009]国内目前应用于空间探测成像装置自动曝光控制方法由于成像装置无法对拍摄主体进行识别，当视场内景物相对复杂时，无法进行有效曝光控制，受噪声和非拍摄主体干扰大，使得图像中拍摄主体亮度很难在一个合适的范围内，增大了自动曝光控制的难度。
【发明内容】
[0010]有鉴于此，本发明的主要目的在于提供一种适用于空间探测成像的基于FPGA的自动曝光控制方法及其装置。
[0011]为了达到上述目的，本发明的技术方案是这样实现的:
[0012]本发明提供了一种适用于空间探测成像的基于FPGA的自动曝光控制方法，对当前帧图像采用自适应阈值分割，识别出当前帧主体图像，由当前帧主体图像平均亮度得到当前帧图像平均亮度，根据当前帧图像平均亮度与预期图像平均亮度的差值大小来自适应选取曝光时间，采用连续帧不断循环迭代使当前帧图像平均亮度达到预期图像平均亮度，其中，自动曝光控制步骤为:
[0013]步骤(11):计算当前帧的图像平均亮度，以当前帧图像的所有像素的均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧的图像平均亮度，包括以下步骤:
[0014]步骤(111):RGB三色合成图像亮度，采用RGB色彩空间到YUV色彩空间变换关系将像素为MXN的整幅图像的相邻的四个分量R、G1、G2、B加权平均得到一个图像亮度数据，将M X N个彩色值转换为M/2 X N/2个亮度值。
[0015]步骤(112):图像亮度抽样提取，将RGB三色合成的M/2XN/2个亮度值在列方向按照Ι/m的抽样原则，将M/2XN/2个亮度值转换为M/2mXN/2个亮度值。
[0016]步骤(113):计算图像行平均亮度，计算M/2mXN/2个亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作为当前行的自适应阈值，将当前行中大于等于阈值的像素分割为当前行主体图像，再将当前行主体图像亮度进行累加求平均得到当前行的图像平均亮度，将M/2mXN/2个亮度值转换为N/2个行亮度平均值。
[0017]步骤(114):计算图像块平均亮度，将M/2mXN/2个亮度值以相邻的η行合成为I块，将M/2mXN/2亮度值分为N/2n块，将相邻的η行的平均值累加求平均得到每一块的平均亮度，得到Ν/2η个块亮度平均值。
[0018]步骤(115):计算图像平均亮度，将Ν/2η个亮度平均值累加求平均得到整幅图像的亮度均值，将均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧的图像平均亮度Y(mean)。
[0019]步骤(12):当前帧的图像平均亮度与预期图像平均亮度比较，如果当前帧的图像平均亮度与预期图像平均亮度的差值的绝对值小于等于设定图像平均亮度差值Y(th)，就认为自动曝光控制已经控制到位，停止曝光时间的调整，以当前帧的曝光时间作为下一帧的曝光时间，如果当前帧的图像平均亮度与预期图像平均亮度的差值的绝对值大于设定图像平均亮度差值Y (th)，则进入曝光时间调整。
[0020]步骤(13):确定下一帧曝光时间，下一帧自动曝光时间的确定是在当前帧的曝光时间的基础上，根据当前帧的图像平均亮度与预期图像平均亮度的差值的正负和大小来进行曝光时间选择，包括以下步骤:
[0021]步骤(131):如果当前帧的图像平均亮度与预期图像平均亮度的差值为正，下一中贞图像曝光时间就需要在前一巾贞图像曝光时间的基础上减小曝光时间；
[0022]步骤(132):如果当前帧的图像平均亮度与预期图像平均亮度的差值为负，下一中贞图像曝光时间就需要在前一巾贞图像曝光时间的基础上增加曝光时间；
[0023]步骤(133):当前帧的图像平均亮度与预期图像平均亮度的差值大小来自适应确定增加、减小曝光时间值，增加、减小的曝光时间值为步长数值RX亮度差值X曝光时间当量值t ；
[0024]步骤(134):下一帧图像曝光时间减少，如果前一帧的曝光时间与曝光时间范围的下限差值大于确定减小的曝光时间值，则下一帧的曝光时间为前一帧的曝光时间减去确定的减小的曝光时间值；否则直接将曝光时间范围的下限值作为下一帧的曝光时间；
[0025]步骤(135):下一帧图像曝光时间增加，如果前一帧的曝光时间与曝光时间范围的上限差值大于确定的增加的曝光时间值，则下一帧的曝光时间为前一帧的曝光时间加上确定的增加的曝光时间值；否则直接将曝光时间范围的上限值作为下一帧的曝光时间；
[0026]上述方案中，所述RGB色彩空间到YUV色彩空间变换关系为(8R+R+4B+16Gl+2G2+G2)/32，其中:
[0027]Gl为奇通道的G分量；
[0028]G2为偶通道的G分量；
[0029]上述方案中，所述的自动曝光控制方法在曝光控制FPGA内运行，其中，曝光控制FPGA为航天级反熔式FPGA，其型号为Actel公司的A54SX72A-CQ208B。
[0030]上述方案中，所述的自动曝光控制方法的曝光时间档位分为两档，a档的曝光时间范围为4 μ s?140ms, b档的曝光时间范围为16 μ s?560ms。
[0031]一种适用于空间探测成像的基于FPGA的自动曝光控制装置，该自动曝光控制装置包括光学镜头、APS传感器、曝光控制FPGA ;其中，光学镜头、APS传感器、曝光控制FPGA依次放置，
[0032]光学镜头，用于将待成像目标成像在APS传感器上；
[0033]APS传感器,用于将光学信号转换成电子信号；
[0034]曝光控制FPGA，用于图像亮度计算，并将所得图像亮度与预期的图像亮度进行比较，确定自动曝光时间。
[0035]本发明所具有的优点:
[0036]1、本发明能够实现在各种光照条件、温度情况下，对拍摄主体图像的自适应分割，对分割出的拍摄主体图像进行有效的曝光控制。
[0037]2、本发明将自适应阈值引入自动曝光控制方法中，可以实现各种温度状况下的自动曝光控制。
[0038]3、本发明中自动曝光时间的调整由拍摄图像平均亮度与预期图像平均亮度的差值大小决定，图像亮度差值越小，调整的曝光时间越小，图像亮度差值越大，调整的曝光时间越大。这样的自动曝光控制机制保证了曝光时间调整随曝光程度改变，达到搜索速度和搜索稳定性之间的平衡。
[0039]4、本发明可以快速、准确的调整曝光值，调节曝光值比较稳定，可以有效避免由于不收敛造成的曝光闪烁现象。
[0040]5、本发明采用自动曝光控制方法，对空间探测中的暗背景亮目标、目标大小不确定等各种情况取得很好的曝光效果，收敛性很好。
[0041]6、本发明采用航天级反熔式FPGA来实现自动曝光控制方法，能适应空间探测成像空间环境，提高自动曝光装置的可靠性。
【专利附图】
【附图说明】
[0042]图1是本发明的自动曝光控制方法步骤图；
[0043]图2是本发明的图像亮度计算步骤图；
[0044]图3是本发明的曝光时间选择步骤图；
[0045]图4是本发明的自动曝光控制装置示意图；
[0046]其图中标记为:21_光学镜头、22-APS传感器、23-曝光控制FPGA ；
[0047]图5是本发明的自动曝光控制流程图；
[0048]其图中标记为:Y(mean)_当前巾贞图像平均亮度、Y(ref)_预期图像平均亮度、
Y(th)-设定图像平均亮度差值。
【具体实施方式】
[0049]下面结合附图及具体实施例对本发明再作进一步详细的说明，但不应以此限制本发明的保护范围。
[0050]本发明提供了一种适用于空间探测成像的基于FPGA的自动曝光控制方法，所述自动曝光控制方法对当前帧图像采用自适应阈值分割，识别出当前帧主体图像，由当前帧主体图像平均亮度得到当前帧图像平均亮度，根据当前帧图像平均亮度与预期图像平均亮度的差值大小来自适应选取曝光时间，采用连续帧不断循环迭代使当前帧图像平均亮度达到预期图像平均亮度，如图1所示，其中，自动曝光控制方法步骤为:
[0051]步骤(11):计算当前帧的图像平均亮度，以当前帧图像的所有像素的均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧的图像平均亮度，如图2所示，包括以下步骤:
[0052]步骤(111):RGB三色合成图像亮度，采用RGB色彩空间到YUV色彩空间变换关系将像素为MXN的整幅图像的相邻的四个分量R、G1、G2、B加权平均得到一个图像亮度数据，将MXN个彩色值转换为M/2XN/2个亮度值，例如将2352X 1728彩色值转换为1176X864个亮度值。
[0053]步骤(112):图像亮度抽样提取，将RGB三色合成的M/2XN/2个亮度值在列方向按照Ι/m的抽样原则，将M/2XN/2个亮度值转换为M/2mXN/2个亮度值，例如在列方向按照1/8的抽样原则，将1176X864个亮度值转换为147X864个亮度值。
[0054]步骤(113):计算图像行平均亮度，计算M/2mXN/2个亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作为当前行的自适应阈值，将当前行中大于等于阈值的像素分割为当前行主体图像，再将当前行主体图像亮度进行累加求平均得到当前行的图像平均亮度，将M/2mXN/2个亮度值转换为N/2个行亮度平均值。
[0055]步骤(114):计算图像块平均亮度，将M/2mXN/2个亮度值以相邻的η行合成为I块，将M/2mXN/2亮度值分为N/2n块，将相邻的η行的平均值累加求平均得到每一块的平均亮度，得到Ν/2η个块亮度平均值，例如147X864个亮度值以相邻的27行合成为I块，将147X864亮度值分为32块。
[0056]步骤(115):计算图像平均亮度，将Ν/2η个亮度平均值累加求平均得到整幅图像的亮度均值，将均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧的图像平均亮度。
[0057]步骤(12):当前帧的图像平均亮度与预期图像平均亮度比较，如果当前帧的图像平均亮度与预期图像平均亮度的差值的绝对值小于等于设定图像平均亮度差值Y(th)，就认为自动曝光控制已经控制到位，停止曝光时间的调整，以当前帧的曝光时间作为下一帧的曝光时间，如果当前帧的图像亮度与预期图像亮度的差值的绝对值大于设定图像平均亮度差值Y (th)，则进入曝光时间调整，例如Y (th) = 8。
[0058]步骤(13):确定下一帧曝光时间，下一帧自动曝光时间的确定是在当前帧的曝光时间的基础上，根据当前帧的图像平均亮度与预期图像平均亮度的差值的正负和大小来进行曝光时间选择，如图3所示，包括以下步骤:
[0059]步骤(131):如果当前帧的图像平均亮度与预期图像平均亮度的差值为正，则下一中贞图像曝光时间就需要在前一巾贞图像曝光时间的基础上减小曝光时间；
[0060]步骤(132):如果当前帧的图像平均亮度与预期图像平均亮度的差值为负，则下一中贞图像曝光时间就需要在前一巾贞图像曝光时间的基础上增加曝光时间；
[0061]步骤(133):当前帧的图像平均亮度与预期图像平均亮度的差值大小进行自适应增加、减小的曝光时间的选择，增加、减小的曝光时间值为曝光时间步长数值RX亮度差值X曝光时间当量值t，例如曝光时间步长数值和曝光时间当量值如表I所示。
[0062]表I是本发明的自动曝光控制参数表
[0063]
【权利要求】
1.一种适用于空间探测成像的基于FPGA的自动曝光控制方法，其特征在于:对当前帧图像采用自适应阈值分割，识别出当前帧主体图像，由当前帧主体图像平均亮度得到当前帧图像平均亮度，根据当前帧图像平均亮度与预期图像平均亮度的差值的正负和大小来自适应选取确定下一帧的曝光时间，采用连续帧不断循环迭代使当前帧图像平均亮度达到预期图像平均亮度，其中，自动曝光控制步骤为: 步骤(11):计算当前帧的图像平均亮度，以当前帧图像的所有像素的均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧图像平均亮度，包括以下步骤: 步骤(111):RGB三色合成图像亮度，采用RGB色彩空间到YUV色彩空间变换关系将像素为MXN的整幅图像的相邻的四个分量R、GU G2、B加权平均得到一个图像亮度数据，将MXN个彩色值转换为M/2XN/2个亮度值； 步骤(112):图像亮度抽样提取，将R、G、B三色合成的M/2XN/2个亮度值在列方向按照Ι/m的抽样原则，将M/2XN/2个亮度值转换为M/2mXN/2个亮度值； 步骤(113):计算图像行平均亮度，计算M/2mXN/2个亮度值的每一行所有像素的平均值，并以前一行的平均值的一半作为当前行的自适应阈值，将当前行中大于等于阈值的像素分割为当前行主体图像，再将当前行主体图像亮度进行累加求平均得到当前行的图像平均亮度，将M/2mXN/2个亮度值转换为N/2个行亮度平均值； 步骤(114):计算图像块平均亮度，将M/2mXN/2个亮度值以相邻的η行合成为I块，将M/2mXN/2亮度值分为N/2n块，将相邻的η行的平均值累加求平均得到每一块的平均亮度，得到Ν/2η个块亮度平均值； 步骤(115):计算图像平均亮度，将Ν/2η个亮度平均值累加求平均得到整幅图像的亮度均值，将均值的一半作为自适应阈值，将大于等于阈值的像素分割为当前帧主体图像，再将当前帧主体图像亮度进行累加求平均得到当前帧的图像平均亮度Y(mean)； 步骤(12):当前帧的图像平均亮度与预期图像平均亮度比较，如果当前帧的图像平均亮度与预期图像平均亮度的差值的绝对值小于等于设定图像平均亮度差值Y(th)，就认为自动曝光控制已经控制到位，停止曝光时间的调整，以当前帧的曝光时间作为下一帧的曝光时间，如果当前帧的图像平均亮度与预期图像平均亮度的差值的绝对值大于设定图像平均亮度差值Y (th)，则进入曝光时间调整； 步骤(13):确定下一帧曝光时间，下一帧自动曝光时间的确定是在当前帧的曝光时间的基础上，根据当前帧的图像平均亮度与预期图像平均亮度的差值的正负和大小来进行曝光时间选择，包括以下步骤: 步骤(131):如果当前帧的图像平均亮度与预期图像平均亮度的差值为正，则下一帧图像曝光时间就需要在如一巾贞图像曝光时丨0]的基础上减小曝光时间； 步骤(132):如果当前帧的图像平均亮度与预期图像平均亮度的差值为负，则下一帧图像曝光时间就需要在前一巾贞图像曝光时间的基础上增加曝光时间； 步骤(133):当前帧的图像平均亮度与预期图像平均亮度的差值大小来自适应确定增力口、减小的曝光时间值，增加、减小的曝光时间值为曝光时间步长数值RX亮度差值X曝光时间当量值t ； 步骤(134):下一帧图像曝光时间减少，如果前一帧的曝光时间与曝光时间范围的下限差值大于确定的减小的曝光时间值，则下一帧的曝光时间为前一帧的曝光时间减去确定的减小的曝光时间值；否则直接将曝光时间范围的下限值作为下一帧的曝光时间； 步骤(135):下一帧图像曝光时间增加，如果前一帧的曝光时间与曝光时间范围的上限差值大于确定的增加的曝光时间值，则下一帧的曝光时间为前一帧的曝光时间加上确定的增加的曝光时间值；否则直接将曝光时间范围的上限值作为下一帧的曝光时间。
2.根据权利要求1所述的自动曝光控制方法，其特征在于，所述RGB色彩空间到YUV色彩空间变换关系为(8R+R+4B+16Gl+2G2+G2)/32，其中: Gl为奇通道的G分量； G2为偶通道的G分量。
3.根据权利要求1或2所述的自动曝光控制方法，其特征在于，所述的自动曝光控制方法在曝光控制FPGA内运行，其中，曝光控制FPGA为航天级反熔式FPGA，其型号为Actel公司的 A54SX72A-CQ208B。
4.根据权利要求1所述的自动曝光控制方法，其特征在于，所述的自动曝光控制方法的曝光时间档位分为两档，a档的曝光时间范围为4μ s?140ms，b档的曝光时间范围为16 μ s ?560ms。
5.一种为实现权利要求1所述自控曝光控制方法的自动曝光控制装置，其特征在于，该自动曝光控制装置包括光学镜头(21)、APS传感器(22)、曝光控制FPGA (23);其中，光学镜头(21)、APS传感器(22)、曝光控制FPGA (23)依次放置， 光学镜头(21)，用于将待成像目标成像在APS传感器(22)上； APS传感器(22)，用于将光学信号转换成电子信号； 曝光控制FPGA(23)，用于图像亮度计算，并将所得图像亮度与预期的图像亮度进行比较，确定自动曝光时间。
【文档编号】H04N5/235GK104184958SQ201410476774
【公开日】2014年12月3日 申请日期:2014年9月17日 优先权日:2014年9月17日
【发明者】余国彬, 刘恩海, 周武林, 周向东, 钟杰, 赵汝进, 王进 申请人:中国科学院光电技术研究所