图像配准和模板构建方法、装置、电子设备及存储介质与流程

1.本技术涉及图像处理技术领域，尤其涉及一种图像配准和模板构建方法、装置、电子设备及存储介质。


背景技术：

2.目前的图像配准和模板构建方法在对不同通道的荧光图像进行色差校正和在不同周期的荧光图像进行图像配准时均存在着精度不高的问题，影响dna测序的精确性，因此，如何提高图像配准和模板构建的准确性，成为了亟待解决的技术问题。


技术实现要素：

3.本技术实施例的主要目的在于提出一种图像配准和模板构建方法、装置、电子设备及存储介质，旨在提高图像配准和模板构建的准确性。
4.为实现上述目的，本技术实施例的第一方面提出了一种图像配准和模板构建方法，所述方法包括：
5.获取待配准的原始荧光图像；
6.对所述原始荧光图像进行第一图像配准处理，得到第一荧光图像；
7.对所述第一荧光图像进行第二图像配准处理，得到第二荧光图像；
8.对所述第二荧光图像进行色差校正处理，得到目标荧光图像；
9.对所述目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；
10.根据所述荧光坐标数据对所述荧光点进行聚合处理，得到测序模板；
11.通过所述测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值。
12.在一些实施例，所述对所述原始荧光图像进行第一图像配准处理，得到第一荧光图像的步骤，包括：
13.对原始荧光图像进行二值化图像重建，得到二值化重心重建图，并对二值化重心重建图进行傅里叶变换，得到图像平移参数；
14.根据图像平移参数对原始荧光图像进行平移变换，得到第一荧光图像。
15.在一些实施例，所述对所述第一荧光图像进行第二图像配准处理，得到第二荧光图像的步骤，包括：
16.根据预设的第一半径参数对所述第一荧光图像的荧光点进行配对处理，得到第一荧光点对；
17.通过最小二乘法对所述第一荧光点对进行仿射计算，得到仿射矩阵；
18.通过所述仿射矩阵对所述第一荧光图像进行仿射变换，得到所述第二荧光图像。
19.在一些实施例，所述对所述第二荧光图像进行色差校正处理，得到目标荧光图像的步骤，包括：
20.根据预设的第二半径参数对所述第二荧光图像的目标区域的荧光点进行配对处
理，得到第二荧光点对；
21.对所述第二荧光点对进行校正处理，得到目标荧光点对；
22.通过最小二乘法对所述目标荧光点对进行全局投影计算，得到全局投影变换矩阵；
23.通过所述全局投影变换矩阵对所述第二荧光图像进行透视变换矫正，得到所述目标荧光图像。
24.在一些实施例，所述根据所述荧光坐标数据对所述荧光点进行聚合处理，得到测序模板的步骤，包括：
25.根据所述荧光坐标数据，计算每两个所述荧光点之间的距离值；
26.根据所述距离值和预设距离阈值，对所述荧光点进行聚合处理，得到公共亮点，并根据所述公共亮点构建所述测序模板。
27.在一些实施例，所述根据所述距离值和预设距离阈值，对所述荧光点进行聚合处理，得到公共亮点，并根据所述公共亮点构建所述测序模板的步骤，包括：
28.比对所述距离值和预设距离阈值，得到比对结果；
29.根据预设的聚类算法和所述比对结果对所述荧光点进行聚合处理，得到所述公共亮点；
30.根据所述公共亮点构建dna单链，并根据所述dna单链构建所述测序模板。
31.在一些实施例，所述通过所述测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值的步骤，包括：
32.通过所述测序模板对所述预获取的dna序列进行亮度提取，得到目标亮点；
33.通过双线性插值法提取所述目标亮点的重心亮度值，得到所述目标亮度值。
34.为实现上述目的，本技术实施例的第二方面提出了一种图像配准和模板构建装置，所述装置包括：
35.图像获取模块，用于获取待配准的原始荧光图像；
36.第一图像配准模块，用于对所述原始荧光图像进行第一图像配准处理，得到第一荧光图像；
37.第二图像配准模块，用于对所述第一荧光图像进行第二图像配准处理，得到第二荧光图像；
38.色差校正模块，用于对所述第二荧光图像进行色差校正处理，得到目标荧光图像；
39.坐标提取模块，用于对所述目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；
40.聚合模块，用于根据所述荧光坐标数据对所述荧光点进行聚合处理，得到测序模板；
41.亮度提取模块，用于通过所述测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值。
42.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。
43.为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
44.本技术提出的图像配准和模板构建方法、装置、电子设备及存储介质，其通过获取待配准的原始荧光图像，通过对原始荧光图像进行第一图像配准处理，得到第一荧光图像，并对第一荧光图像进行第二图像配准处理，得到第二荧光图像，能够通过两次图像配准，能够对原始荧光图像进行不同像素级别的图像配准，由浅至深，提高不同周期中同一个荧光通道内的图像配准精度。进一步地，对第二荧光图像进行色差校正处理，得到目标荧光图像，能够更加准确地对不同通道的色差进行估计，提高色差校正的准确性。最后，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值，这一方式能够基于多个周期的荧光点和荧光坐标数据进行模板构建，提高测序模板的全面性和准确性，同时，通过测序模板对预获取的dna序列进行亮度提取能够有效地提高光强提取的效率和精度，本技术实施例通过对图像配准阶段、色差校正阶段、模板构建阶段以及光强提取阶段进行优化，能够从整体上优化dna测序的过程。
附图说明
45.图1是本技术实施例提供的图像配准和模板构建方法的流程图；
46.图2是图1中的步骤s102的流程图；
47.图3是图1中的步骤s103的流程图；
48.图4是图1中的步骤s104的流程图；
49.图5是图1中的步骤s106的流程图；
50.图6是图5中的步骤s502的流程图；
51.图7是图1中的步骤s107的流程图；
52.图8是本技术实施例提供的图像配准和模板构建装置的结构示意图；
53.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
54.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
55.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
56.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
57.首先，对本技术中涉及的若干名词进行解析：
58.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
59.图像配准(image registration)：将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。是使用某种方法，基于某种评估标准，将一副或多副图片(局部)最优映射到目标图片上的方法。具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换把一幅图像(浮动图像，moving image)映射到另一幅图像(参考图像，fixed image)上，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。
60.傅里叶变换：表示能将满足一定条件的某个函数表示成三角函数(正弦和/或余弦函数)或者它们的积分的线性组合。在不同的研究领域，傅立叶变换具有多种不同的变体形式，如连续傅立叶变换和离散傅立叶变换。
61.双线性插值法：又称为双线性内插法。在数学上，双线性插值法是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。双线性插值法作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。
62.仿射变换：又称仿射映射，是指在几何中，一个向量空间进行一次线性变换并接上一个平移，变换为另一个向量空间。仿射变换是在几何上定义为两个向量空间之间的一个仿射变换或者仿射映射，由一个非奇异的线性变换接上一个平移变换组成。在有限维的情况，每个仿射变换可以由一个矩阵a和一个向量b给出，它可以写作a和一个附加的列b。
63.相关技术中的图像配准和模板构建方法，在计算不同通道的色差矩阵时，往往只计算到有限的自由度参数，同时，在计算同一荧光通道的图像偏移时往往只能够达到像素级别的图像配准，在对不同通道的荧光图像进行色差校正和在不同周期的荧光图像进行图像配准时均存在着精度不高的问题。而在模板构建阶段，相关技术中的图像配准和模板构建方法构建出的测序模板往往无法尽可能地搜索到所有的公共亮点，也无法有效地解决临近的荧光点之间的串扰问题，模板的准确性和全面性较差，影响dna测序的精确性，因此，如何提高图像配准和模板构建的准确性，成为了亟待解决的技术问题。
64.基于此，本技术实施例提供了一种图像配准和模板构建方法、装置、电子设备及存储介质，旨在提高图像配准和模板构建的准确性。
65.本技术实施例提供的图像配准和模板构建方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的图像配准和模板构建方法。
66.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
67.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、
大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
68.本技术实施例提供的图像配准和模板构建方法，涉及人工智能技术领域。本技术实施例提供的图像配准和模板构建方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现图像配准和模板构建方法的应用等，但并不局限于以上形式。
69.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
70.图1是本技术实施例提供的图像配准和模板构建方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s107。
71.步骤s101，获取待配准的原始荧光图像；
72.步骤s102，对原始荧光图像进行第一图像配准处理，得到第一荧光图像；
73.步骤s103，对第一荧光图像进行第二图像配准处理，得到第二荧光图像；
74.步骤s104，对第二荧光图像进行色差校正处理，得到目标荧光图像；
75.步骤s105，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；
76.步骤s106，根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；
77.步骤s107，通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值。
78.本技术实施例所示意的步骤s101至步骤s107，其通过获取待配准的原始荧光图像，通过对原始荧光图像进行第一图像配准处理，得到第一荧光图像，并对第一荧光图像进行第二图像配准处理，得到第二荧光图像，通过两次图像配准，能够对原始荧光图像进行不同像素级别的图像配准，由浅至深，提高不同周期中同一个荧光通道内的图像配准精度。进一步地，对第二荧光图像进行色差校正处理，得到目标荧光图像，能够更加准确地对不同通道的色差进行估计，提高色差校正的准确性。最后，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值，这一方式能够基于多个周期的荧光点和荧光坐标数据进行模板构建，提高测序模板的全面性和准确性，同时，通过测序模板对预获取的dna序列进行亮度提取能够有效地提高光强提取的效率和
精度，本技术实施例通过对图像配准阶段、色差校正阶段、模板构建阶段以及光强提取阶段进行优化，能够从整体上优化dna测序的过程。
79.在一些实施例的步骤s101中，由于在dna测序的过程中每一周期都会识别一个碱基，通过不断地添加碱基并经过多个周期的测序拍摄，并识别每一周期内的不同荧光通道的图像是否存在荧光标记来确定每一周期的碱基类型，从而将多个周期的碱基进行拼接处理，形成完整的dna序列。因而，可以通过照相机拍摄等方式对包含碱基的荧光图像进行拍摄，从而获取到原始荧光图像。
80.需要说明的是，根据构成dna的碱基类型，原始荧光图像包括四种荧光通道的图像，即腺嘌呤对应的荧光图像、鸟嘌呤对应的荧光图像、胞嘧啶对应的荧光图像以及胸腺嘧啶对应的荧光图像。
81.由于在每一周期的拍摄过程中会存在拍摄位移，因而需要对原始荧光图像进行图像配准，同时，由于相机镜头存在偏差，两个通道的图像也会存在一定的色差，因而也需要对原始荧光图像进行色差校正。本技术实施例通过图像配准和色差校正能够使得处于同一周期内的四种通道的原始荧光图像重合，从而能够提取到同一个位置4个通道的荧光亮度，以便在后续的过程中进行碱基识别，从而提高dna测序的精度。
82.进一步地，本技术实施例中既包含了同一通道的图像配准(即对原始荧光图像进行第一图像配准和第二图像配准的过程)，也包含了不同通道的图像色差校正(即对第二荧光图像进行色差校正的过程)，能够有效地提高图像配准和色差校正的精度。
83.请参阅图2，在一些实施例中，步骤s102可以包括但不限于包括步骤s201至步骤s202：
84.步骤s201，对原始荧光图像进行二值化图像重建，得到二值化重心重建图，并对二值化重心重建图进行傅里叶变换，得到图像平移参数；
85.步骤s202，根据图像平移参数对原始荧光图像进行平移变换，得到第一荧光图像。
86.在一些实施例的步骤s201中，由于四种碱基对应的多张原始荧光图像的图像位置会存在一定的位置偏移，因此，需要傅里叶变换来进行像素级别的图像配准操作。具体地，所有的图像配准以第一个周期(cycle1)的原始荧光图像为参考图像，设定第一个周期的偏移量为(0,0)，对每一周期的原始荧光图像的亮点重心进行二值化图像重建，得到每一周期的二值化重心重建图。需要说明的是，这里的二值化图像重建主要是计算亮点重心的二值化大小。通过傅里叶变换对后续周期(cycle 2至cycle n)的二值化重心重建图与第一个周期(cycle1)的二值化重心重建图进行配准处理，从空域变换到频域配准，得到偏移量offset(x0,y0)。将偏移量作为图像平移参数，通过这一图像平移参数将后续周期(cycle 2至cycle n)的原始荧光图像进行平移变换，得到每一周期对应的第一荧光图像，通过这一方式实现的图像配准能够达到像素级别的精度。
87.需要说明的是，根据傅里叶变换，对于任意两张图像(例如，f1和f2)满足以下关系：
88.f2(x,y)＝f1(x-x0,y-y0)
89.其中，图像f1是图像f2平移(x0,y0)得到的图像，(x0,y0)是平移量。
90.因而，对这两张待配准的图像进行傅里叶变换可以得到，具体过程如公式(1)所示：
91.92.其中，ξ是x轴方向的频率，η是y轴方向的频率。e是自然常数，π是圆周率，j是正弦波或余弦波组合，(x0,y0)是平移量。
93.需要说明的是，傅里叶变换的图像配准的基础是两幅图像存在公共的亮点，这样可以利用两幅图像的公共重叠的相似部分，计算两幅图像的互功率谱，从而根据互功率谱最大值可求出平移量(x0,y0)，具体过程如公式(2)所示：
[0094][0095]
其中，f(ξ,η)*f
*
(ξ,η)是求两幅图像(f1和f2)的傅里叶变换的内积，|f(ξ,η)*f
*
(ξ,η)|是求两幅图像(f1和f2)的傅里叶变换的内积的模，通过上述公式(2)求出的互功率谱的最大值位置即为平移量(x0,y0)。
[0096]
在一些实施例的步骤s202中，根据图像平移参数(x0,y0)对原始荧光图像进行平移操作,即将原始荧光图像在x轴方向平移x0个单位长度，在y轴方向平移y0个单位长度，得到第一荧光图像。
[0097]
在一些具体实施例中，为了提高计算效率，所有的图像配准以第一个周期(cycle1)的原始荧光图像为参考图像，设定第一个周期的偏移量为(0,0)，对每一周期的原始荧光图像的亮点重心进行二值化图像重建，得到每一周期的二值化重心重建图。则通过傅里叶变换，对后续周期(cycle 2至cycle n)的二值化重心重建图从空域变换到频域配准，得到偏移量offset(x0,y0)，根据偏移量对后续周期的原始荧光图像进行图像粗配准，得到后续周期的原始荧光图像对应的第一荧光图像。通过这一方式实现的图像配准能够达到像素级别的精度。
[0098]
请参阅图3，在一些实施例中，步骤s103可以包括但不限于包括步骤s301至步骤s303：
[0099]
步骤s301，根据预设的第一半径参数对第一荧光图像的荧光点进行配对处理，得到第一荧光点对；
[0100]
步骤s302，通过最小二乘法对第一荧光点对进行仿射计算，得到仿射矩阵；
[0101]
步骤s303，通过仿射矩阵对第一荧光图像进行仿射变换，得到第二荧光图像。
[0102]
在一些实施例的步骤s301中，由于同一个荧光通道(即碱基通道)内不同周期的第一荧光图像能够符合刚性形变，因而可以利用同一个荧光通道(即碱基通道)内不同周期的第一荧光图像具有公共荧光点的特性对同一个荧光通道的不同周期的第一荧光图像进行荧光点配对，得到多个第一荧光点对。具体地，第一半径参数可以根据实际业务需求进行设置，例如，第一半径参数为r，利用圆形半径参数r来对同一个荧光通道的两个荧光点进行配对，求出公共荧光点的重心偏移量。例如，对同一荧光通道的不同周期的第一荧光图像上的任意两个荧光点进行欧式距离计算，得到欧式距离值distance，若欧式距离值小于第一半径参数(distance＜r)，则表明这两个荧光点配对成功，将这两个荧光点纳入第一荧光点对的集合之中。
[0103]
在一些实施例的步骤s302中，通过最小二乘法对第一荧光点对进行仿射计算，根据第一荧光点对的坐标数据代入求解4个自由度，其中，自由度包括旋转量、平移量x、平移量y以及伸缩量，通过代入4个自由度会得到包含6个组合参数的仿射矩阵m。
[0104]
在一些实施例的步骤s303中，通过仿射矩阵对第一荧光图像进行仿射变换，得到
第二荧光图像，具体过程可以表示为：
[0105][0106]
其中，x'和y
′
表示第二荧光图像的荧光点坐标，x和y表示第一荧光点图像的荧光点坐标。[m00,m01,m02,m10,m11,m12]的参数集表示仿射矩阵m。
[0107]
上述过程可以较为方便地通过配对的第一荧光点对和最小二乘法计算出第一荧光图像之间的仿射矩阵，达到亚像素级别的配准精度，通过计算亚像素级别的偏移量、伸缩量和旋转量实现4个自由度的校正。
[0108]
在一个具体实施例中，为了提高计算效率，所有的图像配准以第一个周期(cycle1)的原始荧光图像为参考图像，设定第一个周期的偏移量为(0,0)，则第一图像配准和第二图像配准的具体过程包括：对每一周期的原始荧光图像的亮点重心进行二值化图像重建，得到每一周期的二值化重心重建图。需要说明的是，这里的二值化图像重建主要是计算亮点重心的二值化大小，例如，对于点p(x，y)，将这个点的3
×
3区域内的像素点的前景都设置为1，将点的二值化转换成点的面积大小，通过将这一个二维浮点的坐标转换为二值化面积，以二值化面积代表这个点的大小，从而完成对亮点重心的二值化重建，得到二值化重心重建图。
[0109]
进一步地，通过傅里叶变换对后续周期(cycle 2至cycle n)的二值化重心重建图与第一个周期(cycle1)的二值化重心重建图进行配准处理，从空域变换到频域配准，得到偏移量offset(x0,y0)，根据偏移量对后续周期的原始荧光图像进行图像粗配准，得到后续周期的原始荧光图像对应的第一荧光图像。
[0110]
进一步地，通过预设的第一半径参数r对同一通道的两个第一荧光图像的荧光点的重心进行配对处理，对同一荧光通道的不同周期的第一荧光图像上的任意两个荧光点的重心进行欧式距离计算，得到欧式距离值distance，若欧式距离值小于第一半径参数(distance＜r)，则表明这两个荧光点配对成功，将这两个荧光点纳入第一荧光点对的集合之中。通过最小二乘法对第一荧光点对进行仿射计算，根据第一荧光点对的坐标数据代入求解4个自由度，得到包含6个组合参数的仿射矩阵m。通过仿射矩阵对第一荧光图像进行仿射变换，得到第二荧光图像。
[0111]
上述步骤s201至步骤s202、步骤s301至步骤s303，其通过在同一个通道的图像二值化配准的基础上，基于荧光亮点重心进行亚像素的仿射变换配准，结合了像素级图像配准和亚像素级别的图像配准，提高了图像配准的精度。
[0112]
由于在同一个周期内的不同荧光通道中，荧光图像的色差是从中央到边缘不断渐变的，即中央区域的荧光点之间的距离较小，而边缘区域的荧光点之间的距离较大，因此，在色差校正阶段需要从中央区域到边缘区域进行图像校准，从而提高色差校正的精度。
[0113]
请参阅图4，在一些实施例中，步骤s104可以包括但不限于包括步骤s401至步骤s404：
[0114]
步骤s401，根据预设的第二半径参数对第二荧光图像的目标区域的荧光点进行配对处理，得到第二荧光点对；
[0115]
步骤s402，对第二荧光点对进行校正处理，得到目标荧光点对；
[0116]
步骤s403，通过最小二乘法对目标荧光点对进行全局投影计算，得到全局投影变换矩阵；
[0117]
步骤s404，通过全局投影变换矩阵对第二荧光图像进行透视变换矫正，得到目标荧光图像。
[0118]
在一些实施例的步骤s401中，目标区域包括中央区域(记为a)、边缘区域(记为f)以及处于中央区域和边缘区域之间的多个环形区域(分别记为b、c、d)，环形区域的圆环宽度为w，该环形区域、中央区域、边缘区域均为抽样区域。
[0119]
以中央区域a为例，第二半径参数可以根据实际业务需求进行设置，例如，第二半径参数为r，利用圆形半径参数r来对不同荧光通道的两个荧光点模板构建同一通道的模板，需要说明的是，模板的构建方法与下述步骤s501至步骤s502的模板构建方法基本一致，其区别在于此处的模板构建是基于同一通道的不同周期的荧光点，通过这一方式能够得到4个通道的荧光模板进行配对。例如，对不同荧光通道的第二荧光图像的中央区域a的任意两个荧光点进行欧式距离计算，得到欧式距离值distance，若欧式距离值小于第二半径参数(distance＜r)，则表明这两个荧光点配对成功，将这两个荧光点纳入第二荧光点对的集合之中。
[0120]
同样地，通过圆形半径参数r来对第二荧光图像的每一环形区域的两个荧光点进行配对，需要注意的是，由于边缘形变太多，直接基于距离抽样的点对不准确，因此在本技术实施例中，抽样和校正是从中央到边缘同步的，即在对每一个环形区域的荧光点进行配对抽样之前，需要根据该圆环区域相邻的内侧圆环区域计算出的投影变换矩阵进行校正，在完成校正后再对该圆环区域进行抽样，即每个圆环区域的抽样结果依赖于该圆环内部区域抽样得到的投影矩阵，该圆环区域需要在校正该圆环内侧的透视变换之后才进行抽样操作。对第二荧光图像的每一环形区域的任意两个荧光点进行欧式距离计算，得到欧式距离值distance，若欧式距离值小于第二半径参数(distance＜r)，则表明这两个荧光点配对成功，将这两个荧光点纳入第二荧光点对的集合之中。
[0121]
在一些实施例的步骤s402中，通过最小二乘法对第二荧光点对进行几何变换的参数求解，得到几何变换参数的方程组，其中，该方程组一般包含8个几何变换的复合变换参数，根据这一方程组可以方便地得到中央区域以及每一环形区域对应的单应性变换矩阵，从而通过该单应性变换矩阵对对应的中央区域或者环形区域的荧光点进行校正，从而实现对第二荧光点对进行校正处理，得到目标荧光点对。
[0122]
进一步地，在对边缘区域进行色差校正时，可以假定边缘区域f的荧光点集为p，则校正之后的荧光点集p’＝(f*d*c*b*a)*p，根据矩阵乘法的结合律，有(a*b)*c＝a*(b*c)，则p’＝f*(d*(c*(b*(a*p))))，因此边缘区域f的单应性变换矩阵可以表示为matrix＝(f*d*c*b*a)。通过这一单应性变换矩阵matrix对边缘区域的荧光点进行校正，从而实现对第二荧光点对进行校正处理，得到目标荧光点对。
[0123]
在一些实施例的步骤s403中，抽样的匹配点对都是各自圆环区域内的匹配点对和投影矩阵，因此通过最小二乘法对所有匹配的目标荧光点对进行全局投影计算，根据目标荧光点对的坐标数据代入求解6个自由度，其中，自由度包括旋转量、平移量x、平移量y、倒影、斜切以及伸缩量等的复合变换参数，通过代入6个自由度会得到包含8个几何变换参数
的全局投影变换矩阵。
[0124]
在一些实施例的步骤s404中，通过全局投影变换矩阵对第二荧光图像进行透视变换矫正，得到目标荧光图像，具体过程可以表示为：
[0125][0126]
其中，x'和y
′
表示目标荧光图像的荧光点坐标，x和y表示第二荧光点图像的荧光点坐标。[m0,m1,m2,m3,m4,m5，m6，m7]的参数集表示全局投影变换矩阵。
[0127]
上述步骤s401至步骤s404，其通过从中心到边缘不断外延的色差抽样方法和结合圆形半径r进行欧式距离匹配的策略，提高了荧光点对的匹配准确性，同时利用荧光重心计算全局投影变换矩阵，能够精确地计算出大视野下的不同通道的变换情况，从而能够可以更好地校正荧光通道内的细微形变和荧光通道之间的色差，提高了色差校正的精度。
[0128]
由于在模板构建过程中，每个周期的每个荧光通道的目标荧光图像约有1/4左右的单链会亮起来，表明同一个周期的不同荧光通道的碱基是互补的，即同一周期内四个荧光通道(atcg通道)的碱基并集可以作为模板全集。而同一个周期的不同荧光通道可能存在没有交集的情况，因此通过单个周期往往无法配准得到整个模板。而不同周期反应的同一单链的碱基可能一样，也可能不一样，因此不同周期的荧光通道会存在交集。基于此，为了提高模板的精确性，需要找到所有的单链所在的位置，对多个周期的荧光点进行合并处理，综合考虑之后得到所有单链的位置坐标，从而根据所有单链的坐标位置来构建测序模板。
[0129]
在本技术实施例中，测序模板的构建基于dbscan聚类算法，即设定测序模板参照的周期总数，在每一周期的同一位置上进行碱基检测，若检测到若干次信号，则认为该位置上存在着待测碱基。
[0130]
在一些实施例的步骤s105中，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据，根据设定的测序模板参照的周期总数t，提取t个周期的目标荧光图像的荧光点的坐标尖峰值peak，得到荧光坐标数据。
[0131]
请参阅图5，在一些实施例中，步骤s106可以包括但不限于包括步骤s501至步骤s502：
[0132]
步骤s501，根据荧光坐标数据，计算每两个荧光点之间的距离值；
[0133]
步骤s502，根据距离值和预设距离阈值，对荧光点进行聚合处理，得到公共亮点，并根据公共亮点构建测序模板。
[0134]
在一些实施例的步骤s501中，根据提取到的荧光坐标数据，计算一个荧光点的坐标尖峰值与距离该荧光点最近的另一荧光点的坐标尖峰值之间的欧式距离，得到两个荧光点之间的距离值。
[0135]
请参阅图6，在一些实施例，步骤s502包括但不限于包括步骤s601至步骤s603：
[0136]
步骤s601，比对距离值和预设距离阈值，得到比对结果；
[0137]
步骤s602，根据预设的聚类算法和比对结果对荧光点进行聚合处理，得到公共亮点；
[0138]
步骤s603，根据公共亮点构建dna单链，并根据dna单链构建测序模板。
[0139]
在一些实施例的步骤s601中，比对距离值与预设的距离阈值，根据距离值与预设的距离阈值的大小关系，生成比对结果，其中，预设距离阈值的大小可以根据实际情况设置，不做限制。
[0140]
在一些实施例的步骤s602中，该距离阈值可以作为合并距离阈值，根据预设的聚类算法和比对结果，若某一荧光点不属于公共亮点的集合，而该荧光点与公共亮点a的距离值小于或者等于预设的距离阈值，则认为该荧光点和a是同一个点，更新该荧光点与公共亮点的中心；若某一个荧光点不属于公共亮点集合，且该荧光点与公共荧光点距离大于预设的距离阈值，则认为该荧光点是新的模板点，直接加入模板，作为新的公共亮点。通过这一方式对每一荧光点进行距离计算和聚合处理，得到公共亮点对应的集合。
[0141]
在一些实施例的步骤s603中，提取公共亮点的坐标数据,需要做一次频率过滤，如果公共亮点在不同周期出现的次数小于预设阈值t，即公共亮点在部分周期可能不会发亮，则将该公共亮点舍弃，根据公共亮点的坐标数据构成dna单链，具体地，每一个公共亮点的坐标表示一条dna单链，从而对所有的dna单链进行统计汇总，得到测序模板。
[0142]
上述的步骤s501至步骤s502、步骤s601至步骤s603，其基于多个周期进行模板构建，同时在公共亮点获取中采用dbscan聚合算法来进行模板聚类，可以较好地过滤杂质亮点以及噪声亮点，使得得到的测序模板更为全面准确。同时还可以有效地合并同一个公共亮点在不同周期之间的位置偏差，也有效地对临近的两个公共亮点进行位置分割，提高测序模板的准确性。
[0143]
请参阅图7，在一些实施例中，步骤s107可以包括但不限于包括步骤s701至步骤s702：
[0144]
步骤s701，通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点；
[0145]
步骤s702，通过双线性插值法提取目标亮点的重心亮度值，得到目标亮度值。
[0146]
在一些实施例的步骤s701中，通过测序模板对预获取的dna序列进行亮度提取时，选取荧光亮点的重心位置作为目标亮点位置，从而获取目标亮点。
[0147]
在一些实施例的步骤s702中，由于荧光亮点的光强分布符合泊松分布(即满足point-spread function，点扩散函数的函数特征)，因此，在光强提取阶段可以通过双线性插值法对目标亮点(即荧光亮点的重心位置)的亚像素亮度值进行提取，将这一亚像素亮度值作为重心亮度值，即目标亮度值。
[0148]
需要说明的是，为了提高数据处理的效率，在本技术实施例中还可以引入sse、avx等x86指令集对模板构建过程进行加速，从而在提高模板精度的同时，提高数据处理的速度，使得该模板构建的过程满足工业化生产的需求。
[0149]
本技术实施例的图像配准和模板构建方法，其通过获取待配准的原始荧光图像，通过对原始荧光图像进行第一图像配准处理，得到第一荧光图像，并对第一荧光图像进行第二图像配准处理，得到第二荧光图像，通过两次图像配准，能够对原始荧光图像进行不同像素级别的图像配准，由浅至深，提高不同周期中同一个荧光通道内的图像配准精度，通过在同一个通道的图像二值化配准的基础上，基于荧光亮点重心进行亚像素的仿射变换配准，结合了像素级图像配准和亚像素级别的图像配准，提高了图像配准的精度。进一步地，对第二荧光图像进行色差校正处理，得到目标荧光图像，能够更加准确地对不同通道的色差进行估计，通过从中心到边缘不断外延的色差抽样方法和结合圆形半径r进行欧式距离
匹配的策略，提高了荧光点对的匹配准确性，同时利用荧光重心计算全局投影变换矩阵，能够精确地计算出大视野下的不同通道的变换情况，从而能够可以更好地校正荧光通道内的细微形变和荧光通道之间的色差，提高了色差校正的精度。最后，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值，这一方式能够基于多个周期的荧光点和荧光坐标数据进行模板构建，提高测序模板的全面性和准确性，同时，通过测序模板对预获取的dna序列进行亮度提取能够有效地提高光强提取的效率和精度，本技术实施例通过对图像配准阶段、色差校正阶段、模板构建阶段以及光强提取阶段进行优化，能够从整体上优化dna测序的过程。
[0150]
请参阅图8，本技术实施例还提供一种图像配准和模板构建装置，可以实现上述图像配准和模板构建方法，该装置包括：
[0151]
图像获取模块801，用于获取待配准的原始荧光图像；
[0152]
第一图像配准模块802，用于对原始荧光图像进行第一图像配准处理，得到第一荧光图像；
[0153]
第二图像配准模块803，用于对第一荧光图像进行第二图像配准处理，得到第二荧光图像；
[0154]
色差校正模块804，用于对第二荧光图像进行色差校正处理，得到目标荧光图像；
[0155]
坐标提取模块805，用于对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；
[0156]
聚合模块806，用于根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；
[0157]
亮度提取模块807，用于通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值。
[0158]
该图像配准和模板构建装置的具体实施方式与上述图像配准和模板构建方法的具体实施例基本相同，在此不再赘述。
[0159]
本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述图像配准和模板构建方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
[0160]
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
[0161]
处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
[0162]
存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的图像配准和模板构建方法；
[0163]
输入/输出接口903，用于实现信息输入及输出；
[0164]
通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如
usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
[0165]
总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
[0166]
其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
[0167]
本技术实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述图像配准和模板构建方法。
[0168]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0169]
本技术实施例提供的图像配准和模板构建方法、图像配准和模板构建装置、电子设备及存储介质，其通过获取待配准的原始荧光图像，通过对原始荧光图像进行第一图像配准处理，得到第一荧光图像，并对第一荧光图像进行第二图像配准处理，得到第二荧光图像，能够通过两次图像配准，能够对原始荧光图像进行不同像素级别的图像配准，由浅至深，提高不同周期中同一个荧光通道内的图像配准精度，通过在同一个通道的图像二值化配准的基础上，基于荧光亮点重心进行亚像素的仿射变换配准，结合了像素级图像配准和亚像素级别的图像配准，提高了图像配准的精度。进一步地，对第二荧光图像进行色差校正处理，得到目标荧光图像，能够更加准确地对不同通道的色差进行估计，通过从中心到边缘不断外延的色差抽样方法和结合圆形半径r进行欧式距离匹配的策略，提高了荧光点对的匹配准确性，同时利用荧光重心计算全局投影变换矩阵，能够精确地计算出大视野下的不同通道的变换情况，从而能够可以更好地校正荧光通道内的细微形变和荧光通道之间的色差，提高了色差校正的精度。最后，对目标荧光图像的荧光点进行坐标提取，得到荧光坐标数据；根据荧光坐标数据对荧光点进行聚合处理，得到测序模板；通过测序模板对预获取的dna序列进行亮度提取，得到目标亮点对应的目标亮度值，这一方式能够基于多个周期的荧光点和荧光坐标数据进行模板构建，提高测序模板的全面性和准确性，同时，通过测序模板对预获取的dna序列进行亮度提取能够有效地提高光强提取的效率和精度，本技术实施例通过对图像配准阶段、色差校正阶段、模板构建阶段以及光强提取阶段进行优化，能够从整体上优化dna测序的过程。
[0170]
本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
[0171]
本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
[0172]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。
可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0173]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
[0174]
本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0175]
应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
[0176]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0177]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0178]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0179]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
[0180]
以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的
权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。