一种高分辨率细胞图像的细胞计数方法及系统与流程

1.本发明涉及图像处理技术领域，尤其涉及一种高分辨率细胞图像的细胞计数方法及系统。


背景技术：

2.随着芯片技术的发展，超高分辨率的图像采集芯片在细胞培养领域得到应用。虽然细胞本身尺寸较小，但是超高分辨率的数据采集芯片拍摄的一帧细胞图像的分辨率可能达到6亿或者10亿像素，使得细胞小目标在高分辨率图像中可以用更多的像素来表征，即可以被更加清晰的刻画出来。这一特点为小目标检测任务提供了有效的数据支撑。此类超高分辨率的细胞图像的特点是：图像分辨率大，细胞目标相对于原始高分辨率图像尺寸非常小，同时细胞的数量非常多，一张高分辨率细胞图片所含有的细胞的总数多达50万个甚至上百万个细胞。
3.随着人工智能技术的发展，近年基于深度学习的机器视觉模型在机器视觉领域得到广泛的应用，在特定的数据集上，基于深度神经网络模型的机器视觉识别的准确率已经超过了人眼。但是目前深度学习在图像上的应用仍局限于尺寸较小图像的输入，对于高分辨率含有大量小细胞的图像，目前一般的解决方法是先将其压缩为尺寸较小图像，然后将尺寸较小的图像输入到目标检测器中进行标检测，但是对于超高分辨率图片中的细胞小目标，如果采用压缩的办法会使得细胞小目标特征丢失，从而更加难以检测。另外现有深度神经网络模型处理一张图片检测的目标数量一般是几个到几百个，几乎没有对一张图片上的几十万个小目标做检测。受限于计算机gpu内存的限制，无法直接采用深度学习算法，同时检测几十万个目标，为机器视觉识别应用于细胞识别领域带来困难。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供一种高分辨率细胞图像的细胞计数方法，包括：
5.步骤s1，将具有一第一分辨率的细胞图像分割为多个预设尺寸的分割图像，并记录每个所述分割图像在所述细胞图像上的偏移坐标；
6.步骤s2，将各所述分割图像分别进行上采样得到具有第二分辨率的子图像，所述第一分辨率大于所述第二分辨率；
7.步骤s3，将各所述子图像分批次分别输入预先训练得到的一细胞检测模型得到每个所述子图像中包含的细胞以及所述细胞的外接矩形框在对应的所述子图像中的第一位置坐标，并根据各所述第一位置坐标和对应的所述偏移坐标处理得到各所述外接矩形框在所述细胞图像中的第二位置坐标；
8.步骤s4，针对每个批次的所述子图像，根据各所述第二位置坐标对相应的各所述外接矩形框进行有序分组，并根据所述第二位置坐标将有序分组得到的每个组中的各所述外接矩形框分别划分形成一中间区域集合和一临界区域集合；
9.步骤s5，对各所述中间区域集合和各所述临界区域集合进行去重处理，并统计去重处理后的所有所述中间区域集合和所有所述临界区域集合中的所述外接矩形框的数量作为所述细胞图像中的细胞计数结果。
10.优选的，所述步骤s1中，相邻的至少两个所述分割图像之间具有一重叠区域，且所述重叠区域的宽度不小于一个所述细胞的直径。
11.优选的，执行所述步骤s3包括：
12.步骤s31，将所有所述子图像划分成若干批次，并将各所述子图像按批次分别输入所述细胞检测模型得到每个所述子图像中包含的细胞以及所述细胞的外接矩形框在对应的所述子图像中的第一位置坐标；
13.步骤s32，针对每个所述批次，根据各所述第一位置坐标和对应的各所述偏移坐标处理得到所述批次中对应的各所述子图像中的各所述外接矩形框在所述细胞图像中的所述第二位置坐标。
14.优选的，执行所述步骤s32之前，还包括：
15.根据各所述第一位置坐标去除位于每个所述子图像的边缘位置的所述外接矩形框，以对各所述批次进行优化；
16.则所述步骤s32中，针对每个优化后的所述批次，处理得到所述批次中对应的各所述子图像中的各所述外接矩形框在所述细胞图像中的所述第二位置坐标。
17.优选的，位于每个所述子图像的边缘位置的所述外接矩形框为对应的所述细胞被所述子图像的边缘切断，或与所述子图像的边缘相切。
18.优选的，所述第二位置坐标至少包括对应的所述外接矩形框的两个对角点的对角点坐标；
19.则所述步骤s4包括：
20.步骤s41，针对每个所述批次，按照所述对角点坐标包含的纵坐标值的大小对各所述外接矩形框进行有序排列形成一矩形框序列，并将所述矩形框序列划分为有序的多组；
21.步骤s42，根据所述第二位置坐标将位于相邻两组之间的边界区域的各所述外接矩形框分别加入各组对应的所述边界区域集合，并将每组中除所述边界区域之外的其他所述外接矩形框分别加入各组对应的所述中间区域集合。
22.优选的，所述步骤s5中，在进行去重处理之前，还包括：
23.将各所述边界区域集合中的各所述外接矩形框进行合并形成一总临界集合；
24.则所述步骤s5中，随后分别对各所述中间区域集合和所述总临界集合进行去重处理，并统计去重处理后的所有所述中间区域集合和所述总临界集合中的所述外接矩形框的数量作为所述细胞图像中的细胞计数结果。
25.优选的，所述步骤s5中，采用非极大值抑制算法对各所述中间区域集合和所述总临界集合进行去重处理。
26.本发明还提供一种高分辨率细胞图像的细胞计数系统，应用上述的细胞计数方法，所述细胞计数系统包括：
27.图像分割模块，用于将具有一第一分辨率的细胞图像分割为多个预设尺寸的分割图像，并记录每个所述分割图像在所述细胞图像上的偏移坐标；
28.图像放大模块，连接所述图像分割模块，用于将各所述分割图像分别进行上采样
得到具有第二分辨率的子图像，所述第一分辨率大于所述第二分辨率；
29.图像识别模块，分别连接所述图像分割模块和所述图像放大模块，用于将各所述子图像分批次分别输入预先训练得到的一细胞检测模型得到每个所述子图像中包含的细胞以及所述细胞的外接矩形框在对应的所述子图像中的第一位置坐标，并根据各所述第一位置坐标和对应的所述偏移坐标处理得到各所述外接矩形框在所述细胞图像中的第二位置坐标；
30.细胞分组模块，连接所述图像识别模块，用于针对每个批次的所述子图像，根据各所述第二位置坐标对相应的各所述外接矩形框进行有序分组，并根据所述第二位置坐标将有序分组得到的每个组中的各所述外接矩形框分别划分形成一中间区域集合和一临界区域集合；
31.细胞计数模块，连接所述细胞分组模块，用于对各所述中间区域集合和各所述临界区域集合进行去重处理，并统计去重处理后的所有所述中间区域集合和所有所述临界区域集合中的所述外接矩形框的数量作为所述细胞图像中的细胞计数结果。
32.优选的，所述图像分割模块中，相邻的至少两个所述分割图像之间具有一重叠区域，且所述重叠区域的宽度不小于一个所述细胞的直径。
33.上述技术方案具有如下优点或有益效果：可以对含有大量细胞的高分辨率细胞图像进行快速、精确地计算细胞个数和位置，解决了大量细胞识别处理时对搭载的计算机gpu的内存强依赖性的问题。
附图说明
34.图1为本发明的较佳的实施例中，一种高分辨率细胞图像的细胞计数方法的流程示意图；
35.图2为本发明的较佳的实施例中，各分割图像及其重叠区域的示意图；
36.图3为本发明的较佳的实施例中，分割图像上采样形成子图像的示意图；
37.图4为本发明的较佳的实施例中，步骤s3的子流程示意图；
38.图5为本发明的较佳的实施例中，细胞检测模型训练过程的收敛曲线的示意图；
39.图6为本发明的较佳的实施例中，位于每个子图像的边缘位置的外接矩形框的示意图；
40.图7为本发明的较佳的实施例中，步骤s4的子流程示意图；
41.图8为本发明的较佳的实施例中，各组处于边界区域和中间区域的外接矩形框的示意图；
42.图9为本发明的较佳的实施例中，一种高分辨率细胞图像的细胞计数系统的结构示意图。
具体实施方式
43.下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
44.本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种高分辨率细胞图像的细胞计数方法，如图1所示，包括：
45.步骤s1，将具有一第一分辨率的细胞图像分割为多个预设尺寸的分割图像，并记录每个分割图像在细胞图像上的偏移坐标；
46.步骤s2，将各分割图像分别进行上采样得到具有第二分辨率的子图像，第一分辨率大于第二分辨率；
47.步骤s3，将各子图像分批次分别输入预先训练得到的一细胞检测模型得到每个子图像中包含的细胞以及细胞的外接矩形框在对应的子图像中的第一位置坐标，并根据各第一位置坐标和对应的偏移坐标处理得到各外接矩形框在细胞图像中的第二位置坐标；
48.步骤s4，针对每个批次的子图像，根据各第二位置坐标对相应的各外接矩形框进行有序分组，并根据第二位置坐标将有序分组得到的每个组中的各外接矩形框分别划分形成一中间区域集合和一临界区域集合；
49.步骤s5，对各中间区域集合和各临界区域集合进行去重处理，并统计去重处理后的所有中间区域集合和所有临界区域集合中的外接矩形框的数量作为细胞图像中的细胞计数结果。
50.具体地，本实施例中，步骤s1中，在进行图像分割时，要保证分割图像之间是有重叠的分割，如图2所示，以将细胞图像分割形成9个分割图像为例，要保证相邻的至少两个分割图像之间具有一重叠区域，且重叠区域的宽度不小于一个细胞的直径，以图2中的每行分割图像为例，至少保证分割图像1(图2中数字1对应的四个箭头包含的区域，以下以此类推)与分割图像2，分割图像2与分割图像3之前存在重叠区域10(图2中，相邻两个分割图像之间对应的虚线划定的区域)，或图2中的每列分割图像中，分割图像1与分割图像4，分割图像4与分割图像7之间存在重叠区域10，或相邻的分割图像均重叠，如图2中，分割图像5与分割图像2之间、与分割图像4之间、与分割图像8之间，以及与分割图像6之间均具有重叠区域。
51.以细胞图像是宽为w，高为h的大分辨率图像为例，若各个分割图像的所有重叠区域的总长度是l，分割图像的长和宽均为s时，步骤s1中，分割得到的分割图像的总数量为w/(s-l)*h/(s-l)。以细胞图像的宽为11000，高为16060，分割图像的宽和高均为320，单个重叠区域的宽度是100为例，则分割得到的分割图像的总数量为50*73＝3650个。
52.为提升细胞检测准确率，本实施例中，在对细胞图像进行分割后，还需要对分割得到的各分割图像进行上采样，其中，上采样得到的子图像的尺寸要比分割图像大，优选，分割图像为320*320，子图像为640*640，但并不以此进行限定。在对分割图像进行放大，则图像中的细胞尺寸也会同比例放大，如图3所示，可以看出，分割图像为608*608，对应上采样成640*640的子图像的对比，可以看出，图像中的细胞尺寸同比例放大，能够有效提升细胞检测准确率，但由于图像尺寸变大可能降低检测速度，在选择分割图像的上采样比例时需要考虑到检测精度和检测速度的平衡，合理选择上采样比例。
53.在上采样得到各子图像后，随后对各子图像进行分批次图像处理，本发明的较佳的实施例中，如图4所示，执行步骤s3包括：
54.步骤s31，将所有子图像划分成若干批次，并将各子图像按批次分别输入细胞检测模型得到每个子图像中包含的细胞以及细胞的外接矩形框在对应的子图像中的第一位置坐标；
55.步骤s32，针对每个批次，根据各第一位置坐标和对应的各偏移坐标处理得到批次中对应的各子图像中的各外接矩形框在细胞图像中的第二位置坐标。
56.具体地，本实施例中，上述步骤s31中，按照本技术方案搭载运行的计算机系统的算力确定具体如何划分批次，以本技术方案搭载运行的计算机系统为nvidia2060 gpu为例，其只有6g的显存空间，经过测试，其一次最多能够处理146个图像，则优选可以在该计算机系统中预先配置一阈值，该阈值可以取146，则在分割图像的总数量为3650个时，对应的子图像的总数量也是3650个，可以自动将所有子图像分成25个批次，每个批次包含146个子图像，随后分批次对各子图像进行图像识别处理。
57.在对细胞图像进行分割时，为方便计算，优选以细胞图像的左上角为原点构建像素坐标系，将每个分割图像的左上角和右下角相对细胞图像的左上角的坐标值作为每个分割图像在细胞图像上的偏移坐标(ox,oy)。在对各子图像按批次进行细胞检测时，优选以每个子图像的左上角为原点构建像素坐标系，以每个细胞对应的外接矩形框的左上角和右下角相对子图像的左上角的坐标值作为各个外接矩形框在对应的子图像中的第一位置坐标(x1,y1)。进而采用如下公式计算得到各外接矩形框在细胞图像中的第二位置坐标(x,y)：
58.x＝x1/a+ox,y＝y1/a+oy。
59.其中，a为分割图像上采样生成子图像时对应的上采样比例。可以理解的是，上述像素坐标系的构建方式以及偏移坐标选择的参考点等仅作为一个实施例，以方便计算，并不以此进行限定。
60.作为优选，上述细胞检测模型采用快速轻量级神经网络，轻量级的同时提升检测速度，该细胞检测模型可以采用包括但不限于yolo系列，以及rcnn系列检测器。
61.上述细胞检测模型的训练过程包括：
62.将高分辨率细胞图片分割成尺寸固定的小尺寸图片，在训练流程中，可以不用对原始图片做有重叠的分割，本实施例中，分割得到的分割图像的总数量为1.2万张。
63.将小尺寸图片按照一定尺寸放大成固定分辨率图片，以分割得到的小尺寸图片为320*320为例，经过上采样方法后，得到的固定分辨率图片为640*640，经过实际测试发现，细胞小目标在放大后检测效果更加好，因此，本实施例中，在图像分割后再进行上采样，以提升检测效果。
64.对固定分辨率图片进行数据标注，标注可以采用先手动标注几百张图片，训练一个初步模型，再用初步的模型对剩余未标注图片进行预测，自动化生成标注样本，再对自动生成的样本手动调整标注框的方式。对标注的数据集进行划分，得到训练集，验证集以及测试集。
65.用放大后的固定分辨率的图像训练细胞检测模型，在训练过程中，可以随机地对图片旋转一些角度，水平横移一定距离，垂直横移一定距离，随机缩放一定范围，随机水平翻转，随机竖直翻转，随机添加噪声、模糊处理、以及颜色变换等以进行图像增强。值得注意的是，一般数据增强手段都包括放大，缩小以及随机crop操作，但是本发明实施过程中并不包含这些，主要原因是细胞样本中的细胞尺寸基本相对固定。
66.在训练过程中采用的损失函数主要借鉴了yolo的思想，yolo本身是预测目标框的中心点坐标和矩形框的宽和高。而本实施例中的细胞检测模型主要是直接预测外接矩形框的左上角和右下角的坐标。具体损失函数可以包含坐标框的损失，类别损失以及置信度损失。坐标框位置损失和置信度损失采用均方差损失(mse loss)，而类别损失采用交叉熵损失(cross entropy loss)。在训练集上经过400轮训练以后，模型迅速收敛，收敛曲线如图5
所示。
67.本发明的较佳的实施例中，执行步骤s32之前，还包括：
68.根据各第一位置坐标去除位于每个子图像的边缘位置的外接矩形框，以对各批次进行优化；
69.则步骤s32中，针对每个优化后的批次，处理得到批次中对应的各子图像中的各外接矩形框在细胞图像中的第二位置坐标。
70.本发明的较佳的实施例中，如图6所示，位于每个子图像的边缘位置的外接矩形框为对应的细胞被子图像的边缘切断，或与子图像的边缘相切。
71.具体地，本实施例中，通过去除边缘位置的外接矩形框，避免在后续进行去重处理时，不完整细胞对去重效果的影响。
72.本发明的较佳的实施例中，第二位置坐标至少包括对应的外接矩形框的两个对角点的对角点坐标；
73.如图7所示，则步骤s4包括：
74.步骤s41，针对每个批次，按照对角点坐标包含的纵坐标值的大小对各外接矩形框进行有序排列形成一矩形框序列，并将矩形框序列划分为有序的多组；
75.步骤s42，根据第二位置坐标将位于相邻两组之间的边界区域的各外接矩形框分别加入各组对应的边界区域集合，并将每组中除边界区域之外的其他外接矩形框分别加入各组对应的中间区域集合。
76.具体地，本实施例中，步骤s41中，优选按照纵坐标值由小到大的顺序进行有序排列形成矩形框序列，这里同样考虑到搭载运行的计算机系统的算力确定具体将矩形框序列分成多少组，防止gpu内存不足，无法对目标数量过多细胞的外接矩形框进行处理。具体分组结果可以如图8所示，这里分成了三组，分别为r1、r2和r3，可以理解的是，只是示意将结果分为三组，在实际中，具体分组成多少组依赖于检测到的外接矩形框的数量以及采用的gpu内存大小。以每组包含的外接矩形框的数量最多为5万个为例，若检测到的外接矩形框的总数量是180万个，那么就需要分成36组。如图8所示，r1组和r2中之间的两个区域即为边界区域，每个分组中的a区域即为除边界区域的其他区域，可以看出，在矩形框序列中位于最靠前的分组和最后的分组分别具有一个区域，其余分组均具有两个区域。
77.本发明的较佳的实施例中，步骤s5中，在进行去重处理之前，还包括：
78.将各边界区域集合中的各外接矩形框进行合并形成一总临界集合；
79.则步骤s5中，随后分别对各中间区域集合和总临界集合进行去重处理，并统计去重处理后的所有中间区域集合和总临界集合中的外接矩形框的数量作为细胞图像中的细胞计数结果。
80.具体地，本实施例中，考虑到每组中边界区域的区域范围较小，其中包含的细胞的数量相对较少，为提升处理速度，将所有边界区域集合合并成为一个总临界集合，则执行一次去重处理即可。
81.本发明的较佳的实施例中，步骤s5中，采用非极大值抑制算法对各中间区域集合和总临界集合进行去重处理。
82.具体地，本实施例中，由于在初始进行细胞图像分割时，得到的各分割图像均包含重叠区域，因此，位于重叠区域的细胞会被识别至少两次，通过去重处理，能够避免重叠区
域的细胞的重复统计，提升细胞计数精确性。采用本技术方案对高分辨率的10600*15000的细胞图像进行细胞计数，其所包含的353974个细胞被准确检测到。
83.本发明还提供一种高分辨率细胞图像的细胞计数系统，应用上述的细胞计数方法，如图9所示，细胞计数系统包括：
84.图像分割模块100，用于将具有一第一分辨率的细胞图像分割为多个预设尺寸的分割图像，并记录每个分割图像在细胞图像上的偏移坐标；
85.图像放大模块200，连接图像分割模块100，用于将各分割图像分别进行上采样得到具有第二分辨率的子图像，第一分辨率大于第二分辨率；
86.图像识别模块300，分别连接图像分割模块100和图像放大模块200，用于将各子图像分批次分别输入预先训练得到的一细胞检测模型得到每个子图像中包含的细胞以及细胞的外接矩形框在对应的子图像中的第一位置坐标，并根据各第一位置坐标和对应的偏移坐标处理得到各外接矩形框在细胞图像中的第二位置坐标；
87.细胞分组模块400，连接图像识别模块300，用于针对每个批次的子图像，根据各第二位置坐标对相应的各外接矩形框进行有序分组，并根据第二位置坐标将有序分组得到的每个组中的各外接矩形框分别划分形成一中间区域集合和一临界区域集合；
88.细胞计数模块500，连接细胞分组模块400，用于对各中间区域集合和各临界区域集合进行去重处理，并统计去重处理后的所有中间区域集合和所有临界区域集合中的外接矩形框的数量作为细胞图像中的细胞计数结果。
89.本发明的较佳的实施例中，图像分割模块100中，相邻的至少两个分割图像之间具有一重叠区域，且重叠区域的宽度不小于一个细胞的直径。
90.以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。