用于电子内窥镜系统的图像处理方法及图像处理系统与流程
本发明涉及一种图像处理方法，具体涉及一种用于电子内窥镜系统的图像处理方法。本发明还涉及一种用于电子内窥镜系统的图像处理系统。
背景技术：
随着医疗技术水平的提高，电子内窥镜被广泛使用于外科手术中。由于电子内窥镜能够由体外经过人体自然腔道或者小切口被送入体内，可以直接观察到脏器病变，确定其部位、范围，并可进行照相、活检，大大地提高了恶性疾病的诊断准确率，并可进行某些治疗。
在外科手术中，电子内窥镜相当于医生的眼睛，电子内窥镜所采集的图像经过图像处理后传输至显示器上，医生对显示器上的图像进行观察，所以，显示器所显示的图像质量会直接影响医生的操作。而显示器所显示的图像质量，如清晰度、延迟时间等，则取决于电子内窥镜系统的图像处理系统。
虽然目前图像处理技术已经极为成熟，但应用于电子内窥镜系统的图像处理系统有着特殊的限制。首先，电子内窥镜系统对图像处理系统的处理速度有更高的要求，要求其对图像的处理速度快，图像的延时小；由于医生的操作直接依赖于显示器所显示的图像，如果显示器所显示的图像不能实时地反映当前的状况，医生就无法进行精确的操作；而现有的图像处理系统实时性较差，会造成图像不同程度的延时，显示器上的图像无法准确地反映出电子内窥镜前的当前状况。
其次，图像处理系统所占用的存储空间应当尽可能小；由于图像处理系统集成在直径极小的电子内窥镜上，其物理体积不能过大；而现有的图像处理系统所占用的存储空间过大，无法直接应用于电子内窥镜系统中。
技术实现要素：
本发明所要解决的技术问题是提供一种用于电子内窥镜系统的图像处理方法，它可以在延时极小的情况下获得很好的图像处理效果。
为解决上述技术问题，本发明用于电子内窥镜系统的图像处理方法的技术解决方案为，对被处理图像上各像素的y分量进行计算处理，包括以下步骤：
步骤1，在被处理图像上选取一m×m滤波窗口，对滤波窗口中的所有像素点进行n×n均值滤波处理，得到待滤波图像中所有像素点的像素值，待滤波图像作为引导滤波窗口；其中m＞n；
步骤2，中间参数计算；具体方法如下：
步骤2.1，计算原始图像中除边缘像素点以外的所有中间像素点的平方和均值；
步骤2.2，计算待滤波图像中所有像素点的像素值均值
步骤2.3，计算原始图像与待滤波图像中所有重合像素点的像素值的乘积均值；
步骤2.4，计算原始图像中除边缘像素点以外的所有中间像素点的像素值均值μk；
步骤3，引导滤波参数计算；具体方法如下：
步骤3.1，根据步骤2.1所得到的原始图像中所有中间像素点的平方和均值和步骤2.2所得到的待滤波图像中所有像素点的像素值均值
步骤3.2，根据步骤2.3所得到的原始图像与待滤波图像中所有重合像素点的像素值的乘积均值、步骤2.4所得到的原始图像中所有中间像素点的像素值均值μk和步骤2.2所得到的待滤波图像中所有像素点的像素值均值
步骤4，对滤波窗口中的中心位置像素点的y分量进行计算，得到引导滤波图像的像素值。
在另一实施例中，所述步骤4的具体方法如下：
根据以下公式，先计算引导滤波窗口中心位置像素点k对应的参数ak的值；
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值，
pi表示待滤波图像中第i个像素点y值，
μk表示原始图像在以k点为中心点的引导滤波窗口中的像素值均值，
ε表示滤波效果调节系数，
然后根据以下公式，计算引导滤波窗口中心位置像素点k对应的参数bk的值；
最后根据公式qk＝akik+bk，得出引导滤波窗口中心位置像素点k的y分量；
其中，qk为经过引导滤波操作后中心位置像素点k的y分量，
qk为以k点为中心点的引导滤波窗口的系数a值，
bk为以k点为中心点的引导滤波窗口的系数b值，
ik为原始图像中位于引导滤波窗口中心位置像素点k的y分量。
在另一实施例中，所述m的取值范围为5～63，n的取值范围为3～31。
在另一实施例中，所述步骤2.1的计算方法为：先计算原始图像中所有中间像素点的平方值，然后计算所有中间像素点的平方和均值。
在另一实施例中，所述步骤2.2中像素值均值
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
pi表示待滤波图像中第i个像素点y值。
在另一实施例中，所述步骤3.1中原始图像的方差
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值。
在另一实施例中，所述步骤1执行之前，先将m行的数据缓存在fpga内部ram中。
在另一实施例中，所述步骤2.1至步骤2.4同步进行。
在另一实施例中，所述步骤3.1和步骤3.2同步进行。
本发明还提供一种用于电子内窥镜系统的图像处理系统，其技术解决方案为，包括：
均值滤波模块，被配置为在被处理图像上选取一m×m滤波窗口，对滤波窗口中的所有像素点进行n×n均值滤波处理，得到待滤波图像中所有像素点的像素值，待滤波图像作为引导滤波窗口；其中m＞n；
原始图像平方和均值计算模块，被配置为计算原始图像中除边缘像素点以外的所有中间像素点的平方和均值；
待滤波图像像素值均值计算模块，被配置为计算待滤波图像中所有像素点的像素值均值
像素值的乘积均值计算模块，被配置为计算原始图像与待滤波图像中所有重合像素点的像素值的乘积均值；
原始图像像素值均值计算模块，被配置为计算原始图像中除边缘像素点以外的所有中间像素点的像素值均值μk；
原始图像方差计算模块，被配置为根据原始图像平方和均值计算模块所得到的原始图像中所有中间像素点的平方和均值和根据待滤波图像像素值均值计算模块所得到的待滤波图像中所有像素点的像素值均值
协方差计算模块，被配置为根据像素值的乘积均值计算模块所得到的原始图像与待滤波图像中所有重合像素点的像素值的乘积均值、根据原始图像像素值均值计算模块所得到的原始图像中所有中间像素点的像素值均值μk和根据待滤波图像像素值均值计算模块所得到的待滤波图像中所有像素点的像素值均值
引导滤波模块，被配置为对滤波窗口中的中心位置像素点的y分量进行计算，得到引导滤波图像的像素值。
在另一实施例中，所述引导滤波模块包括：
参数ak计算模块，被配置为根据以下公式，计算引导滤波窗口中心位置像素点k对应的参数ak的值；
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值，
pi表示待滤波图像中第i个像素点y值，
μk表示原始图像在以k点为中心点的引导滤波窗口中的像素值均值，
ε表示滤波效果调节系数，
参数bk计算模块，被配置为根据以下公式，计算引导滤波窗口中心位置像素点k对应的参数bk的值；
引导滤波图像的像素值计算模块，被配置为根据公式qk＝akik+bk，得出引导滤波窗口中心位置像素点k的y分量；
其中，qk为经过引导滤波操作后中心位置像素点k的y分量，
ak为以k点为中心点的引导滤波窗口的系数a值，
bk为以k点为中心点的引导滤波窗口的系数b值，
ik为原始图像中位于引导滤波窗口中心位置像素点k的y分量。
本发明可以达到的技术效果是：
由于本发明占用存储空间小，因此能够在fpga芯片中实现，解决了现有引导滤波算法只能用于拥有大内存空间的pc机的技术问题，故本发明的图像处理方法可以直接应用于电子内窥镜系统中。
本发明能够做到精确的延时控制，延时可以控制到ns级，延时不仅可以精确计算出来，更关键的是延时是固定不变的，非常有利于医生的精确操作。
本发明用于对单张图像进行降噪处理，能够在保证降噪效果的基础上缩短延时，图像处理实时性好，无论理论分析还是实际测试，延时都小于1ms，特别适用于电子内窥镜系统等动态变化的场景。
附图说明
本领域的技术人员应理解，以下说明仅是示意性地说明本发明的原理，所述原理可按多种方式应用，以实现许多不同的可替代实施方式。这些说明仅用于示出本发明的教导内容的一般原理，不意味着限制在此所公开的发明构思。
结合在本说明书中并构成本说明书的一部分的附图示出了本发明的实施方式，并且与上文的总体说明和下列附图的详细说明一起用于解释本发明的原理。
下面结合附图和具体实施方式对本发明作进一步详细的说明：
图1是本发明用于电子内窥镜系统的图像处理方法的一具体实施例的计算过程示意图，其中右下角的3×3小窗口表示对p66进行3×3均值滤波操作的均值滤波窗口，中间5×5窗口为引导滤波窗口；
图2是本发明用于电子内窥镜系统的图像处理方法的一具体实施例的流程示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
如图2所示为本发明用于电子内窥镜系统的图像处理方法的具体实施例的流程，图像中每个像素具有y、u、v三个分量，由于图像噪声主要存在于亮度分量y中，故本发明仅对被处理图像上各像素的y分量进行计算处理，在fpga(现场可编程门阵列)芯片中实现，包括以下步骤：
步骤1，在被处理图像上选取一m×m滤波窗口，对滤波窗口中的所有像素点进行n×n均值滤波处理，得到待滤波图像；
作为一优选实施例，可以在1920×1080像素的图像上选取一7×7像素的滤波窗口，如图1所示，则滤波窗口(原始图像)中包括49个像素点；在处理之前，先将7行的数据缓存在fpga内部ram中，以备后面算法中调取计算；
对滤波窗口中的所有像素点进行3×3均值滤波处理，图1中右下角的3×3小窗口表示对p66进行3×3均值滤波操作的窗口，操作完成后得到待滤波图像，则待滤波图像中包括25个像素点，待滤波图像作为引导滤波窗口；用y11～y77表示原始图像中各像素点的y分量，用p22～p66表示待滤波图像中各像素点的y分量,则待滤波图像中第一个像素点p22的像素值的y分量为(y11+…+y33)/9，其它像素点的像素值的y分量的计算公式以此类推，如p66的像素值的y分量为(y55+…+y77)/9；
步骤2，中间参数计算；具体方法如下：
步骤2.1，计算原始图像中除边缘像素点以外的所有中间像素点的平方和均值；
先计算原始图像中所有中间像素点(即5×5窗口中所有像素点)的平方值y22×y22～y66×y66，然后计算所有中间像素点的平方和均值(y22×y22+…+y66×y66)/25；
步骤2.2，计算待滤波图像中所有像素点的像素值均值
利用步骤1所得到的待滤波图像中所有像素点的像素值p22～p66，计算所有像素点的像素值均值(p22+…+p66)/25；其中，
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
pi表示待滤波图像中第i个像素点y值；
步骤2.3，计算原始图像与待滤波图像中所有重合像素点的像素值的乘积均值；
利用步骤1所得到的待滤波图像中所有像素点的像素值p22～p66，计算所有重合像素点的像素值的乘积均值(y22×p22+…+y66×p66)/25；
步骤2.4，计算原始图像中除边缘像素点以外的所有中间像素点的像素值均值μk；即计算所有中间像素点的像素值均值(y22+…+y66)/25；
步骤2.1至步骤2.4同步进行；由于fpga芯片的结构特性，多个计算过程完全并行，能够减少延时；
步骤3，引导滤波参数计算；具体方法如下：
步骤3.1，根据原始图像中所有中间像素点的平方和均值(y22×y22+…+y66×y66)/25和待滤波图像中所有像素点的像素值均值(p22+…+p66)/25，计算原始图像的方差
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值，
步骤3.2，根据原始图像和待滤波图像中所有重合像素点的像素值的乘积均值(y22×p22+…+y66×p66)/25、原始图像中所有中间像素点的像素值均值(y22+…+y66)/25和待滤波图像中所有像素点的像素值均值(p22+…+p66)/25，计算原始图像和待滤波图像数据的协方差
步骤3.1和步骤3.2同步进行；
图1中间部分的5×5窗口表示进行引导滤波计算的引导滤波窗口；
步骤4，对滤波窗口中的中心位置像素点的y分量进行计算，得到引导滤波图像的像素值；方法如下：
根据以下公式，先计算引导滤波窗口中心位置像素点对应的参数ak的值；
其中，|ω|表示引导滤波窗口中像素点的个数，本实施例中ω＝25，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值，i∈(1～25)
pi表示待滤波图像中第i个像素点y值，
μk表示原始图像在以k点为中心点的引导滤波窗口中的像素值均值，
ε表示滤波效果调节系数，
然后根据公式
利用参数ak得出参数bk的值；
最后根据公式qk＝akik+bk，
其中，qk为经过引导滤波操作后中心位置像素点k的y分量，
ak为以k点为中心点的引导滤波窗口的系数a值，
bk为以k点为中心点的引导滤波窗口的系数b值，
ik为原始图像中位于引导滤波窗口中心位置像素点k的y分量，
本实施例中qk为q44，从而得出q44的值，q44为所得到的引导滤波图像的像素点的y分量。
基于局部线性模型，即某函数上任意一点与其邻近的点之间成线性关系，对于一个复杂的函数可以认为是多个局部线性模型的加权和，因此本发明将二维图像的局部线性模型定义为q＝a×i+b。
本发明在引导滤波计算过程中引入系数ε，系数ε用于调节滤波器的滤波效果，引导滤波做边缘保持时有i＝p，若ε＝0，则a＝1，b＝0，输出即为输入；若ε>0，在平坦区域有a≈0，
本发明将原始图像作为引导图像，将对原始图像进行均值滤波处理后的结果作为待滤波图像，然后再进行引导滤波处理。也就是先根据原始图像和均值滤波后的图像数据求出系数a和b，然后再把系数a和b带入公式，最后计算出q值，q值即引导滤波后的像素值。
本发明的主要计算步骤中，步骤2.1至步骤2.4以及步骤3.1和步骤3.2均并行进行，因此整个过程的延时只取决于延时最长的路径，由理论分析可知，整个计算过程只需要20个时钟周期，考虑到缓存7行的延时，整个图像处理完成的总延时是7个行周期+20个时钟周期，对于全高清1920x1080@60hz的视频来说，延时只有150us。因此本发明能够将延时控制在极小的范围内。
本发明选取一m×m滤波窗口，对滤波窗口中的所有像素点进行n×n均值滤波处理，其中m代表处理一个像素点时需要使用到的临近像素点的范围，n代表均值滤波窗口的大小，m＞n，滤波窗口m越大，降噪的效果会越好，m和n取值越大，图像的平滑效果越好，m-n的值越大，边缘清晰度越好。但是fpga内部的存储空间有限，如果m取值过大会造成存储空间超过fpga的存储资源，而且延时也会随之增大，综合考虑降噪效果和存储空间占用情况，m的取值范围可以是5～63，n的取值范围3～31。
本实施例中m＝7，n＝3，即滤波窗口为7×7，这样fpga中只需要缓存7行图像数据，从而将延时控制在极小的范围内。
引导滤波窗口与均值滤波窗口相差越大，图像的平滑效果和边缘清晰度都会更好。本实施例中均值滤波窗口为3×3，引导滤波窗口为5×5。
对于电子内窥镜系统的图像处理，延时大小是一个很重要的评价参数。本发明能够做到精确的延时控制，延时可以控制到ns级，延时不仅可以精确计算出来，更关键的是延时是固定不变的，非常有利于医生的精确操作。
本发明更适合流水线处理结构，当数据到来时，可以逐个像素点进行处理，只需要缓存几行的数据，一帧数据在传输几行之后，即可输出处理后的图像数据。
本发明很好地解决了降噪效果和系统实时性之间的矛盾。
本发明用于电子内窥镜系统的图像处理系统，包括均值滤波模块、原始图像平方和均值计算模块、待滤波图像像素值均值计算模块、像素值的乘积均值计算模块、原始图像像素值均值计算模块、原始图像方差计算模块、协方差计算模块、引导滤波模块，其中：
均值滤波模块，被配置为在被处理图像上选取一m×m滤波窗口，对滤波窗口中的所有像素点进行n×n均值滤波处理，得到待滤波图像中所有像素点的像素值，待滤波图像作为引导滤波窗口；其中m＞n；
原始图像平方和均值计算模块，被配置为计算原始图像中除边缘像素点以外的所有中间像素点的平方和均值；
待滤波图像像素值均值计算模块，被配置为计算待滤波图像中所有像素点的像素值均值
像素值的乘积均值计算模块，被配置为计算原始图像与待滤波图像中所有重合像素点的像素值的乘积均值；
原始图像像素值均值计算模块，被配置为计算原始图像中除边缘像素点以外的所有中间像素点的像素值均值μk；
原始图像方差计算模块，被配置为根据原始图像平方和均值计算模块所得到的原始图像中所有中间像素点的平方和均值和根据待滤波图像像素值均值计算模块所得到的待滤波图像中所有像素点的像素值均值
协方差计算模块，被配置为根据像素值的乘积均值计算模块所得到的原始图像与待滤波图像中所有重合像素点的像素值的乘积均值、根据原始图像像素值均值计算模块所得到的原始图像中所有中间像素点的像素值均值μk和根据待滤波图像像素值均值计算模块所得到的待滤波图像中所有像素点的像素值均值
引导滤波模块，被配置为对滤波窗口中的中心位置像素点的y分量进行计算，得到引导滤波图像的像素值。
引导滤波模块包括参数ak计算模块、参数bk计算模块、引导滤波图像的像素值计算模块，其中：
参数ak计算模块，被配置为根据以下公式，计算引导滤波窗口中心位置像素点k对应的参数ak的值；
其中，|ω|表示引导滤波窗口中像素点的个数，
ωk表示以k点为中心点的引导滤波窗口的像素点，
ii表示原始图像中第i个像素点的y值，
pi表示待滤波图像中第i个像素点y值，
μk表示原始图像在以k点为中心点的引导滤波窗口中的像素值均值，
ε表示滤波效果调节系数，
参数bk计算模块，被配置为根据以下公式，计算引导滤波窗口中心位置像素点k对应的参数bk的值；
引导滤波图像的像素值计算模块，被配置为根据公式qk＝akik+bk，得出引导滤波窗口中心位置像素点k的y分量；
其中，qk为经过引导滤波操作后中心位置像素点k的y分量，
ak为以k点为中心点的引导滤波窗口的系数a值，
bk为以k点为中心点的引导滤波窗口的系数b值，
ik为原始图像中位于引导滤波窗口中心位置像素点k的y分量。
显然，本领域的技术人员可以对本发明进行各种改动和变形，而不脱离本发明的精神和范围。这样，倘若本发明的这些修改属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变形在内。
- 还没有人留言评论。精彩留言会获得点赞！