本发明涉及细胞培养及组织工程，特别涉及一种基于图像识别的组织碎块自动均匀铺板方法。
背景技术：
1、在细胞培养及组织工程领域，自动化技术的应用为生物医药和组织修复等研究提供了重要支撑。细胞培养过程中，脐带等组织碎块的均匀分布对于提高细胞培养质量和实验结果的有效性至关重要。传统的手动组织碎块铺板操作不仅劳动强度大，而且容易出现铺板操作不均匀或重复性差等问题。随着自动化技术的不断发展，通过图像识别和机器人控制技术，可以实现对脐带等组织碎块的自动均匀铺板操作，从而提高工作效率并减少人为因素的干扰。
2、为了实现脐带等组织碎块在培养皿中根据一定的规律进行均匀分布，以确保细胞高质量生长，图像处理技术在脐带组织碎块的检测和定位方面起着至关重要的作用。该技术能够实时识别出脐带组织碎块，并精确计算其位置和形态，进而为机器人执行准确的铺板操作提供依据。
3、然而，机器人自动铺板仍旧具有较多问题函待解决，例如：组织碎块的自动识别效率不高，识别并设置机器人动作点的技术困难；组织碎块在到达一定的分布效果之后各自面积均较小，机器人的拨杆难以准确识别；机器人拨杆存在位置偏差，导致细小组织碎块拨版不均匀等等。因此，目前仍旧存在诸多组织碎块自动均匀铺板技术中的研究空缺与技术难题。
技术实现思路
1、本发明所要解决的技术问题包括机器人末端拨杆定位偏差的补偿，以及组织碎块的自动均匀分布。为此，本发明提供了一种用于脐带组织碎块在圆形培养皿中自动均匀铺板的末端拨杆位置计算及其定位自动校正和基于图像处理的组织碎块分布识别方法，其目的是为了准确识别脐带组织碎块在培养皿中的分布，为机器人执行自动铺板动作提供精确引导
2、为了达到上述目的，本发明提供了一种基于图像识别的组织碎块自动均匀铺板方法，包括以下步骤：
3、s1、驱动机械臂的末端拨杆至指定位置，精准定位其在世界坐标系下的三维世界坐标并矫正误差；
4、s2、采集组织碎块及其圆形培养皿图像，采用yolov5卷积神经网络模型作为目标检测模型，并采用圆盘检测法，对图像中的圆形培养皿区域进行精准定位和剪裁，得到圆盘图像；
5、s3、对s2中得到的圆盘图像进行图像增强和形态学预处理，并对圆盘图像进行二值化处理，得到组织碎块与圆形培养皿分离的二值化图像；
6、s4、在s3得到的二值化图像中，采用连通域分析法提取组织碎块的集群区域，采用距离变换算法，计算每个较大组织碎块集群区域的质心坐标作为起点点集，计算空闲区域内远离组织碎块的像素点作为终点点集；
7、s5、将s4得到的起点点集和终点点集进行就近配对；
8、s6、通过坐标系转换计算得到起点点集和终点点集在世界坐标系下的三维世界坐标；
9、s7、计算起点点集和终点点集对于驱动机械臂的末端拨杆的三维世界坐标，控制驱动机械臂的末端拨杆进行组织碎块自动均匀铺板；当集群区域的标准差较小时，结束流程。
10、图像处理技术在脐带组织碎块的检测和定位方面起着至关重要的作用，该技术能够实时识别出脐带组织碎块，并精确计算其位置和形态，进而为机器人执行准确的铺板操作提供依据。同时，识别出的较大的组织碎块集群需要在该碎块群上施加多个机器人动作点，以提高工作效率。此外，由于组织碎块到达一定的分布效果之后各自面积均较小，需要保证机器人末端拨杆能够准确地到达图像中识别到的位置点。因各种因素的影响，会导致机器人末端定位产生偏差，为消除该偏差，在铺板工作前需将该定位偏差补偿至机器人世界坐标。
11、鉴于此，本发明提出了一种用于脐带组织碎块在圆形培养皿中自动均匀铺板的末端拨杆位置计算及其定位自动校正和基于图像处理的组织碎块分布识别方法。该方法包括通过图像识别技术定位脐带组织碎块，并规划其在透明圆盘中的分布，进一步指导机械臂末端拨杆执行均匀拨散操作，从而实现精确的脐带组织碎块在培养皿中的均匀分布。
12、优选的，步骤s1中所述驱动机械臂的末端拨杆至指定位置，精准定位其在世界坐标系下的三维世界坐标并矫正误差具体包括：
13、s1.1在机械臂的末端拨杆工作平面选取一块黑色区域，在该区域内图像坐标系下选择一个指定位置点ptarget＝[utarget,vtarget]t，该位置点为机械臂末端拨杆运动的目标位置；
14、s1.2对单目相机进行标定，使用张正友标定和/或手眼标定方法，经过矩阵变换得到基于机器人基座的三维世界坐标ρtarget_world＝[xtarget,ytarget,ztarget]t；
15、其中单目相机固定于拨杆工作平台上方1m处，机械臂基座固定于拨杆工作平台。
16、s1.3根据步骤s1.2得到的三维世界坐标ρtarget_world，驱动机械臂的末端拨杆运动至指定位置点；
17、s1.4在图像的黑色区域内，机械臂末端拨杆尖端为透明呈白色，利用拨杆尖端与黑色区域的颜色差异，结合图像处理技术识别拨杆的尖端位置，得到拨杆尖端的图像坐标prod＝[urod,vrod]t；
18、s1.5通过步骤s1.2矩阵变换得到的转换关系，将拨杆尖端的图像坐标prod＝[urod,vrod]t转换为三维世界坐标ρrod_world＝[xrod,yrod,zrod]t。
19、s1.6计算图像中指定位置点对应的三维世界坐标与拨杆尖端所在的三维世界坐标之间的偏差δρ，该偏差用于在后续机械臂动作中进行定位补偿。偏差计算公式为：
20、δρ＝ρtarget_world-ρrod_world (7)
21、s1.7根据计算得到的偏差δρ，在后续操作中对机器人的三维坐标进行偏差补偿，确保每次操作时拨杆能够准确地到达预定位置，实现精准定位。
22、优选的，步骤s2中所述采集组织碎块及其圆形培养皿图像通过单目相机拍摄采集；
23、所述采用yolov5卷积神经网络模型作为目标检测模型具体包括：采用yolov5卷积神经网络模型对组织碎块及其圆形培养皿图像中圆形培养皿所在区域进行roi提取；
24、所述采用圆盘检测法，对图像中的圆形培养皿区域进行精准定位和剪裁具体包括：采用opencv中的houghcircles变换圆检测算法对圆形培养皿区域进行圆检测，提取出圆形培养皿区域的圆心像素坐标和半径，进行图像剪裁，仅保留圆盘区域用于分析；
25、步骤s3中所述对s2中得到的圆盘图像进行图像增强和形态学预处理包括：断开圆盘图像中连接组织碎块团间的细小连接像素点；
26、所述对圆盘图像进行二值化处理采用阈值分割方法。
27、优选的，步骤s4中所述采用连通域分析法提取组织碎块的集群区域，采用距离变换算法，计算每个较大组织碎块集群区域的质心坐标作为起点点集，计算空闲区域内远离组织碎块的像素点作为终点点集具体包括：
28、在二值化图像中采用opencv中的连通域寻找算法，分析提取所有组织碎块集群区域，并对每一块区域执行距离变换，生成每个连通区域内部像素到边缘的距离图像，即二值图像中白色连通域内的像素点值变为该像素所在连通域边缘的最小像素欧式距离：
29、
30、式中为第i个连通区域的边界，(u,v)表示图像中当前像素点的二维坐标，(u′,v′)表示连通区域ri边界上的像素点坐标，d(u,v)表示当前像素点到边界的最小欧式距离；
31、在每个连通区域中，提取最大距离值对应的像素点，作为该碎块群的质心像素坐标，其中若连通区域面积小于阈值ath，则不做处理，认为其已经满足细胞生长最大面积要求。若某一连通区域面积大于阈值ath_big，则在该区域中提取多个起始点，其中各起点满足互相之间的欧式距离约束||pi,s-pj,s||2＞δs，δs表示起点之间的最小距离阈值，防止区域重复拨动；由上述操作步骤得到起点点集：
32、ωs＝{pi,s＝[ui,s,vi,s,1]t|i＝1,...,ns} (9)
33、式中pi,s为第i个组织碎块起始点在图像中的齐次坐标形式(3×1向量)，ns为起始点个数；
34、将原有二值图像进行前景、背景翻转，将当前前景区域(未被组织碎块覆盖区域)进行连通域分析与距离变换处理，提取出空闲区域内的远离组织碎块的像素点作为终点候选点，构造终点点集：
35、ωe＝{pj,e＝[uj,e,vj,e,1]t|j＝1,...,ne} (10)
36、式中pj,e为第j个空闲目标点在图像中的齐次坐标形式(3×1向量)，ne为终点个数。其中各终点满足互相之间的欧式距离约束||pi,e-pj,e||2＞δe，δe表示终点之间的最小距离阈值，防止空闲区域重叠。
37、优选的，步骤s5中所述起点点集和终点点集进行就近配对具体包括：
38、对起点集ωs和终点集ωe进行就近分配，其中越靠近透明圆盘边缘的终点与起点集配对优先级越高，形成若干组起点终点对：
39、ι＝{(pm,s,pm,e)},m＝1,...,k (11)
40、式中k为有效起点终点对的数量。
41、优选的，步骤s6中所述起点点集和终点点集在世界坐标系下的三维世界坐标为ρi,start_world,ρj,end_world；
42、步骤s7中所述计算起点点集和终点点集对于驱动机械臂的末端拨杆的三维世界坐标，控制驱动机械臂的末端拨杆进行组织碎块自动均匀铺板具体包括：
43、通过四点设置法计算出工具坐标系相对法兰坐标系的位姿变换，在拨杆尖端的工作空间中选择四个已知点ρi＝[xi,yi,zi,rxi,ryi,rzi]t,i＝1,2,3,4，rxi,ryi,rzi为相对于法兰坐标系的旋转角；
44、使用四点设置法计算出机器人末端执行器(tcp)相对于机器人第六轴的位置和姿态positiontcp，实现机械臂末端到tcp之间的坐标系转换，得到起点像素点集与终点像素点集对于拨杆的三维世界坐标ρi,start_world,tcp,ρj,end_world,tcp，实现拨杆精准定位；positiontcp定义如下：
45、positiontcp＝[xtcp,ytcp,ztcp,rxtcp,rytcp,rztcp]t (12)
46、通过四点设置法以及位姿转换，得到拨杆尖端三维世界坐标ρi,start_world,tcp,ρj,end_world,tcp，将末端拨杆定位自动校正方法得到的世界坐标定位偏差δρ补偿至末端拨杆世界坐标，控制机器人末端执行脐带组织碎块的均匀拨散操作。
47、优选的，步骤s7中所述当集群区域的标准差较小时，结束流程的条件为：
48、流程结束条件为stdall_areas＜stdth或numsaction＜numsth，其中stdall_areas为所有连通域面积的标准差，stdth为标准差阈值，，取值范围为150～200，表示各组织碎块面积大小均匀程度，numsaction为机械臂的动作数(从一个起点到对应的终点为一个机械臂动作)，numsth为机械臂动作数阈值，其意义为当组织碎块均匀分布时，所有连通域的面积标准差应当比较小，当标准差始终达不到要求时，机械臂拨动次数到一定数量时组织碎块应当分布得比较均匀；
49、若不满足结束条件则从步骤s1开始进行新一轮的图像识别及机器人动作。
50、在同一个技术构思下，本发明还提供一种计算机装置，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序，以实现上述方法的步骤。
51、在同一个技术构思下，本发明还提供一种计算机可读存储介质，其上存储有计算机程序/指令；其特征在于，所述计算机程序/指令被处理器执行时实现上述方法的步骤。
52、在同一个技术构思下，本发明还提供一种计算机程序产品，包括计算机程序/指令；其特征在于，该计算机程序/指令被处理器执行时实现上述方法的步骤。
53、本发明的上述方案有如下的有益效果：
54、本专利针对组织碎块均匀分散于培养皿较耗费人力、无法实现自动化的问题，以单目相机为图像获取工具，开发了基于图像识别的组织碎块自动均匀铺板方法。通过结合深度学习目标检测和图像处理技术，设计了末端拨杆定位偏差自动补偿、组织碎块以及空闲区域定位的解决方案：首先在指定图像区域设置校准点，经过像素坐标系到基于机械臂基座的世界坐标系的转换，驱动机械臂运动至该点，识别出拨杆尖端在图像中的实际位置，计算出其在世界坐标系中的位置与校准点位置间的定位偏差，用于后续机械臂动作的偏差补偿；接着采用深度学习模型对圆形培养皿进行目标检测，并在roi区域内采用圆检测算法精准识别出组织碎块所需要分布的区域，随后通过图像二值化、形态学方法、连通域识别以及像素距离变换的图像处理方法识别出各个组织碎块以及空闲区域的质心，并根据就近原则形成若干组动作起点-终点对，转换成世界坐标系发送至机械臂实现起点到终点的运动，达到组织碎块均匀分布的目的。
55、本发明的其它有益效果将在随后的具体实施方式部分予以详细说明。