基于深度学习的毛囊自动识别方法和系统及植发机器人

1.本发明涉及图像信息处理技术领域，特别是一种基于深度学习的毛囊自动识别方法和系统及植发机器人。


背景技术：

2.随着互联网社会的发展和城镇化率的提高，越来越多的人走入了写字楼和办公大厦，过上了朝九晚五的办公室生活。近年来逐渐有一种社会共识，即长期的屏幕前工作和较高的职务压力使得脱发患者的人数逐年在上升。客观上来说，脱发的成因是先天后天兼有的，并不完全取决于后天的生活压力，但这一社会共识也侧面反应了大众审美愈加重视头发的健康程度，这种重视直接地加重了脱发患者的外貌焦虑。对于中年脱发患者而言，植发手术成为了几乎唯一的脱发根治方案。植发手术的本质是一种自体器官移植手术，通过将后枕部的永久毛囊移植到脱发高发的前额部位，来使得发际线恢复到不影响美观的程度。
3.毛囊是表皮细胞连续形成的袋样上皮，为毛发的发生点，能为毛发的生长与维持提供养分。毛囊的基底是真皮凹进的真皮毛乳头，中心是一根毛发，立毛肌的一侧斜附在毛囊壁上，附着点的上方为皮脂腺通入毛囊的短颈，毛囊在皮肤表面的开口是毛囊孔，毛发就从毛囊孔中生长出来。人类头部上皮组织毛囊分布密度为80-140个/cm2。单个毛囊仅支持一根头发的生长供给。1984年headington通过头皮横切发现，人类的毛发是成束生长的，其原因在于毛囊在人类头皮上普遍以2-4个毛囊为单位聚集分布，组织学上称这样一个毛囊群为毛囊单位(follicular unit，fu)。在一个毛囊单位中，毛囊彼此间隔少量软组织，每个毛囊都具有独立的神经、血管、皮脂腺、汗腺、立毛肌。毛囊单位被包绕在胶原纤维鞘中。
4.目前主流的植发技术为毛囊单位提取技术(follicle unit extraction，fue)。毛囊单位提取技术通过毛囊提取器获取毛囊单位，具体而言是使用此类工具在受术者后枕部以及两颧部钻开头皮浅层以游离单个毛囊单位，然后用镊子等钝器拔取毛囊单位。
5.目前，植发采用fue技术，在基于毛囊单位提取技术的手术中，施术医生主要包括两个编组。其中一个编组在受术人头部进行外科工作，主要负责从患者后枕部取发并移植至待移植部位。另一个编组则负责处理从患者后枕部取下的毛囊组织，抑制毛囊组织离体后的失活过程，使得这些毛囊组织转变为可移植的状态。
6.植发设备发展现状：为了减轻植发医生的劳动强度，减少人工，提高效率，缩短手术操作时间，减少对毛囊的损伤，同时降低植发成本，国内外均开始了对植发辅助机器人的研究。从2013年开始，国外restoration robotics康复机器人公司的artas植发机器人开始逐步走向市场。在2017年，一些中国植发机构首次引进这套智能植发系统，但其应用频率仍不够理想，一方面是植发机器人植发的价格始终保持高位，降低了植发手术市场下沉的潜力。另一方面artas植发机器人植发效果的优越性存疑，有关报道指出，机器人提取毛囊速度慢并且不精细，毛囊损坏率高，导致最终移植的毛囊存活率低于预期。
7.总的来说，国外植发机器人起步早，且已投放市场多年，其artas植发机器人技术处于垄断地位，但由于其高昂的植发费用和不太理想的植发效果，导致市场仍对高效可靠
的自动化植发设备保有期待。


技术实现要素：

8.有鉴于此，本发明的目的在于提供一种基于深度学习的毛囊自动识别方法和系统及植发机器人，该方法提高了毛囊识别的准确性以及毛囊根部定位的精准度。
9.为达到上述目的，本发明提供如下技术方案：
10.本发明提供的基于深度学习的毛囊自动识别方法，包括以下步骤：
11.提取采集图像中取发区域中的毛囊图像；
12.从毛囊图像中提取各个目标毛囊图像；
13.构建深度学习模型并评估目标毛囊图像；
14.根据评估结果选取符合预设条件的毛囊识别图像；
15.根据毛囊识别图像获取毛囊图像中毛囊根部位置信息。
16.进一步，所述取发区域是根据设置于头发部位的取发区域定位装置进行识别的，通过识别所述取发区域定位装置确定取发区域。
17.进一步，所述取发区域中的毛囊图像通过图像识别处理得到各个目标毛囊轮廓的拟合矩形。
18.进一步，所述目标毛囊图像的评估是根据目标毛囊图像中毛囊形态特征进行筛选，所述形态特征包括毛囊的分叉、过细、多聚、模糊中任一项或多项的特征；具体如下：
19.对目标毛囊图进行以下任一项或多项的图像处理：进行毛囊图像清晰度评估、进行毛囊聚生检测、进行毛囊毛发过细检测；对经过上述图像处理后的图像进行毛囊分叉评估；或
20.所述毛囊根部位置信息是通过毛囊根部定位处理来实现的，具体步骤如下：
21.将经过毛囊分叉评估处理的图像输入到包括fcn结构和cnn结构的双头神经网络，经过神经网络处理后输出毛囊根部位置信息。
22.进一步，所述双头神经网络中的fcn结构采用u-net神经网络，输出的数据结构是特征图；所述cnn结构的神经网络采用深度可分离卷积机制，输出的数据结构是特征向量。
23.进一步，包括以下步骤：
24.s1：利用上述的基于深度学习的毛囊自动识别方法得到毛囊根部位置信息；
25.s2：根据毛囊根部位置信息计算植发路径，获取对待取毛囊的最短遍历路径。
26.进一步，所述植发路径的计算采用蚁周模型来求解。
27.本发明提供的基于深度学习的毛囊自动识别系统，所述系统包括
28.至少一个处理器；
29.至少一个存储器，用于存储至少一个程序；
30.当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现上述的基于深度学习的毛囊自动识别方法。
31.本发明提供的植发机器人，包括机器人主体、设置于主体上的控制器；所述控制器接收采集到的含有毛囊的采集图像，所述控制器对采集图像进行处理得到目标毛囊图像的毛囊根部位置信息，并根据毛囊根部位置信息生成植发路径；所述控制器设置有毛囊识别模块、毛囊评估定位模块、植发路径规划模块；
32.所述毛囊识别模块用于将原始图像数据流中的毛囊图像逐一提取，并传递至下一个模块；
33.所述毛囊评估定位模块用于逐一处理上一模块所提取的毛囊图像，对其进行评估筛选，并计算毛囊根部坐标以作为入刀位置；
34.所述植发路径规划模块用于对植发路径进行计算，以获取对待取发毛囊的最短遍历路径。
35.进一步，所述毛囊识别模块包括紧绷器识别单元和毛囊识别单元；所述紧绷器识别单元用于识别取发区域定位装置；所述毛囊识别单元用于识别毛囊，并对其做逐一的提取；或
36.所述毛囊评估定位模块包括毛囊评估单元和毛囊根部定位单元；所述毛囊评估单元用于根据毛囊的分叉、过细、多聚、模糊并筛选符合要求的目标毛囊图像；所述毛囊根部定位单元用于对已筛选的目标毛囊图像进行毛囊根部定位，并作为植发时的入刀点。
37.本发明的有益效果在于：
38.本发明提供的基于深度学习的毛囊自动识别方法和系统及植发机器人，该方法基于深度学习的识别毛囊及其毛囊根部位置，用于植发机器人自动控制系统视觉控制功能，该植发机器人能自动的进行植发手术过程中的取发环节，本算法根据摄像头传回的图像数据，能够自动的识别与评估目标头皮区域内的毛囊、自动的定位毛囊根部坐标并规划植发机器人入刀路径；是一种全自动的植发机器人，该机器人能辅助医生施术，全自动的进行取发工作，较有效的降低植发手术的人力成本与手术耗时，为脱发问题带来有利的改善。植发机器人主要辅助前一个医生编组的工作，具体辅助了前一个医生编组的取发环节。
39.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
40.为了使本发明的目的、技术方案和有益效果更加清楚，本发明提供如下附图进行说明：
41.图1为紧绷器示意图。
42.图2为紧绷器应用示意图。
43.图3为紧绷器识别算法的流程示意图。
44.图4为毛囊识别算法流程示意图。
45.图5为毛囊识别算法流程和效果图。
46.图6为毛囊评估识别定位模块算法流程图。
47.图7为两种神经网络结构区别示意图。
48.图8为两种神经网络对毛囊定位问题的输出示意图。
49.图9为毛囊定位效果示意图。
50.图10为毛囊清晰度评估与毛囊过细多聚检测算法效果示意图。
51.图11(a)为毛囊评估算法流程图
52.图11(b)为毛囊评估算法中毛囊分叉评估神经网络流程图
53.图12为深度可分离卷积示意图。
54.图13为普通卷积(上)深度可分离卷积(下)的示意图。
55.图14为深度可分离卷积流程图。
56.图15为毛囊分叉评估网络分类正确率示意图。
57.图16为u-net结构示意图。
58.图17-1为se模型截个图。
59.图17-2为eca模型结构图。
60.图18为毛囊图与其根部标准标记图。
61.图19为训练集和测试集收敛情况效果图。
62.图20为dhnet在若干次迭代过程中对毛囊根部的识别效果图。
63.图21为dhnet网络结构示意图。
64.图22为dhnet网络图例示意图。
65.图23为输出识别流程图。
66.图24为dhnet网络处理过程图例。
67.图25为图输出和向量输出的精确度与稳定性，以及无效图输出率(测试集数据)示意图。
68.图26为毛囊根部定位神经网络效果展示图。
69.图27虚拟高维点示意图。
70.图28植发路径规划分块方案。
71.图29算法迭代过程记录。
72.图30路径规划成果演示。
73.图31紧绷器示意图。
74.图32植发机器人全景图。
75.图33植发机械臂结构图。
具体实施方式
76.下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
77.实施例1
78.如图1所示，本实施例提供的基于深度学习的毛囊自动识别方法，该方法包括以下步骤：
79.提取采集图像中取发区域中的毛囊图像；
80.从毛囊图像中提取各个目标毛囊图像；
81.构建深度学习模型并评估目标毛囊图像；
82.根据评估结果选取符合预设条件的毛囊识别图像；
83.根据毛囊识别图像获取毛囊图像中毛囊根部位置信息。
84.本实施例中所述取发区域是根据设置于头发部位的取发区域定位装置进行识别的，通过识别所述取发区域定位装置确定取发区域。
85.本实施例中所述取发区域中的毛囊图像通过图像识别处理得到各个目标毛囊轮廓的拟合矩形。
86.本实施例中所述目标毛囊图像的评估是根据目标毛囊图像中毛囊形态特征进行筛选，所述形态特征包括毛囊的分叉、过细、多聚、模糊中任一项或多项的特征；具体如下：
87.对目标毛囊图进行以下任一项或多项的图像处理：进行毛囊图像清晰度评估、进行毛囊聚生检测、进行毛囊毛发过细检测；对经过上述图像处理后的图像进行毛囊分叉评估；或
88.所述毛囊根部位置信息是通过毛囊根部定位处理来实现的，具体步骤如下：
89.将经过毛囊分叉评估处理的图像输入到包括fcn结构和cnn结构的双头神经网络，经过神经网络处理后输出毛囊根部位置信息。
90.本实施例中所述双头神经网络中的fcn结构采用u-net神经网络，输出的数据结构是特征图；所述cnn结构的神经网络采用深度可分离卷积机制，输出的数据结构是特征向量。
91.本实施例提供的基于深度学习的毛囊自动识别系统，该系统包括毛囊识别模块、毛囊评估定位模块；同时根据毛囊识别后还需要进行的植发路径规划模块；本实施例提供的三个模块的工作具有前后关系，其功能细节简述如下：
92.所述毛囊识别模块用于将原始图像数据流中的毛囊图像逐一提取，并传递至下一个模块；
93.所述毛囊识别模块包括紧绷器识别单元和毛囊识别单元；
94.所述紧绷器识别单元用于识别紧绷器，并矫正视角；
95.所述毛囊识别单元用于识别毛囊，并对其做逐一的提取；
96.所述毛囊评估定位模块用于逐一处理上一模块所提取的毛囊图像，对其进行评估筛选，并计算毛囊根部坐标以作为入刀位置；
97.所述毛囊评估定位模块包括毛囊评估单元和毛囊根部定位单元；
98.所述毛囊评估单元用于根据毛囊的分叉、过细、多聚、模糊清空筛选适宜取发的毛囊；
99.所述毛囊根部定位单元用于对已筛选好的毛囊做根部定位，已获取机械臂的入刀点。
100.所述植发路径规划模块用于对植发路径进行计算，以获取对待取发毛囊的最短遍历路径，优化植发速度。
101.其中，毛囊识别模块的紧绷器识别单元工作过程如下：
102.如图1所示，图1为紧绷器示意图，本实施例提供的紧绷器是一个矩形框架，如图2所示，被绑缚于植发受术者后枕部，起到张紧皮肤与规划取发区域的作用。紧绷器的四个角有标准颜色标记，被设计用于辅助算法定位。紧绷器识别算法的目的是获取紧绷器平面的位置信息，并将原始画面中的毛囊图像通过单应性变换矩阵变换到法向视角，以供后续算法的识别。
103.如图2所示，图2为紧绷器应用示意图，紧绷器识别算法的主要流程是：反色，并进行固定阈值230的二值化处理；核大小为10*10开运算；轮廓提取，并进行轮廓矩形拟合，以提取各轮廓中心点坐标；根据各轮廓中心点坐标计算单应性变换矩阵，并将原始图像视角
变换到法向视角。
104.如图3所示，图3为紧绷器识别算法的流程示意图，以下是该流程的具体步骤：
105.0)原图；
106.1)反色，并进行固定阈值230的二值化处理。有利于捕获标记点颜色块；
107.2)核大小为10*10的开运算处理，有利于消除头发带来的细小颜色斑块；
108.3)轮廓提取，并进行轮廓矩形拟合，以提取各轮廓中心点坐标；
109.4)根据四个标记点对原始图像做单应性变换，以将原始图像变换到法向视角。
110.其中，步骤4)中的单应性变换的具体过程如下：
111.单应变换也即射影变换，是一种常见的线性的图像变换方式。现实生活中，同一对象在不同视角下会产生不同的成像，这些成像彼此之间的关系便是单应性变换关系，对于一张由若干像素组成的二维图像，单应性变换可以由如下的矩阵运算描述：
[0112][0113]
上式中，(x1,x2,1)为原始图像中某像素的坐标，(x
″1,x
″2,1)为变换后心图像中该像素的坐标，h为变换矩阵的参数。单应性变换是一种可逆映射，变换过程不改变共线关系。单应性变换矩阵含有八个自由度，欲求解变换矩阵，需要至少八个方程，也就是至少4个点的对应关系。根据紧绷器的四个标记点求解单应性变换矩阵，将原始图像变换到法向视角，以便于后续算法的处理。
[0114]
其中，所述毛囊识别单元的具体过程如下：通过毛囊识别算法在原始视频流中识别到目标毛囊单位，以便获取毛囊图片供给后续评估定位算法使用，该算法的目标是如下图所示的从原始头皮图像中逐一提取毛囊特写图像。算法流程图如下：
[0115]
如图4所示，图4为毛囊识别算法流程示意图，本实施例中的毛囊识别算法流程通过自适应二值化分割处理，然后通过核大小为3*3的开运算，以及轮廓识别并进行矩形拟合，以及筛选；最后根据拟合矩形截取原始毛囊图片。
[0116]
如图5所示，图5为毛囊识别算法流程和效果图。
[0117]
其中，步骤1)中的自适应二值化分割的具体过程如下：
[0118]
阈值分割是图像处理中较常见的技术，处理对象为灰度图像，主要理念是按照灰度级对像素进行划分，以区分前后景。对于固定阈值的图像分割技术，核心关键是依照一定的准则找到最佳阈值t，最佳阈值t将直接作用于全部像素。像素的灰度值低于t的，灰度置为0，像素的灰度值高于t的，灰度值置为255。最佳阈值t的确定方法主要有最大类间方差法(otsu)、最大熵法等。固定阈值的阈值分割法在处理毛囊识别问题上具有较大劣势，主要的原因在于固定阈值的阈值分割法无法处理亮度不均匀的图像。人后枕部的几何构形为类球形，在边缘部分常见不均匀关照。若应用固定阈值的阈值分割法，会导致光照边缘毛囊被淹没。
[0119]
自适应阈值分割法是一种灵活的阈值分割法，每一个像素的阈值由其周围一定距
离内的像素灰度分布情况所决定，通常的阈值选取方式有平均法和高斯法，这两种方法都需要使用者预先设定影响阈值的像素分布范围。在平均法中，(i，j)坐标处的像素的分割阈值t
(i,j)
由下式决定：
[0120][0121]
其中，g
(x，y)
为坐标(x,y)处像素的灰度，r为影响阈值的像素分布范围。通常而言，r值越小，自适应分割对图像的高频成分越敏感，图像边界的明暗变化表达较细致，噪声的影响也较大；r值越大，自适应分割效果越接近于全局阈值分割，分割结果中图像的明暗变化表达较粗糙，对噪声的抑制也较强。为取得一个折中，本实施例中选取的r值为25，该取值较为合理，二值化效果较好。
[0122]
其中，毛囊评估识别定位模块的工作过程如下：
[0123]
获取分割完成的单毛囊图像，进一步对毛囊图像进行评估和定位。评估的主要内容是毛囊的聚生情况、毛囊的分叉情况、毛囊的粗细、毛囊图像模糊情况等结构特征。这些结构特征会以如下原理影响毛囊的可移植性：毛囊图像不够清晰将无法实现毛囊定位。毛囊过细或分叉意味着毛囊生物霍性较低，移植成活率低。毛囊聚生则不利于进刀。定位的目的是指出毛囊根部的精确坐标。这类问题相对抽象，很难用完全用传统算法实现。使用传统算法与神经网络的组合实现这个模块的设计目标。
[0124]
如图6所示，图6为毛囊评估识别定位模块算法流程图，包括毛囊评估单元与毛囊根部定位单元；其中，毛囊评估单元用于毛囊图像清晰度评估功能、毛囊聚生检测功能、毛囊毛发过细检测功能，可以使用传统图像算法实现；毛囊分叉评估功能使用cnn结构神经网络实现，用于毛囊评估；毛囊根部定位部分使用结合了fcn结构和cnn结构的双头神经网络实现，用于毛囊根部定位。
[0125]
如图7所示，如图7所示，图7为两种神经网络结构区别示意图，以下讨论使用这样的架构的理由：
[0126]
首先，毛囊图像清晰度可以用灰度直方图的信息熵描述、毛囊聚生检测可以用二值化后的毛囊图像连通域数量描述、毛囊毛发过细程度可以用毛囊图像二值化后的连通域面积描述。这类特征相对初级，抽象程度低，数学建模简单。使用传统算法更节省时间与算力。
[0127]
毛囊分叉评估神经网络的输出是毛囊的结构特征，毛囊定位算法的输出是毛囊根部坐标，在计算机视觉领域，毛囊分叉评估是一个图像级别的回归问题(以下简称图像回归问题)，毛囊根部定位是一个像素级别的回归问题(以下简称像素回归问题)，学界又称为语义分割问题。这两类问题的概念是相对的。图像回归主要指代聚焦于图像中抽象信息的问题，例如目标或物体形状的识别和检测问题等，而像素回归问题主要指代聚焦于图像中简单结构信息的问题，例如图像分割问题图像配准问题等。
[0128]
卷积神经网络(cnn)是一种常见的神经网络结构，在图像回归问题中具有较高的适用性，其原因在于呈金字塔结构的神经网络计算图能够依赖池化与卷积等计算方法逐步提高特征层像素的感受野，以将图像中的抽象信息传递至较深层神经网络，并最终由全连接层网络输出。
[0129]
在毛囊分叉评估算法中，神经网络部分使用cnn卷积神经网络结构设计；而在毛囊
根部定位问题上，旧有概念上的卷积神经网络(cnn)在毛囊坐标定位问题上并不适用。cnn网络在卷积之后会接上若干个全连接层网络(fc)结构，以将卷积结果映射成固定长度的特征向量。而根据深度学习相关研究者的经验，cnn中末尾的全连接层网络(fc)结构会在信息传递中损失空间结构信息。为弥补这类空间结构信息的损失，必须要扩大网络参量，提高网络的深度，而这将增加神经网络过拟合的可能性，降低神经网络的性能。除此之外，特征向量形式的输出解释性低，研究者对于其置信度和其他次优解存在情况无从得知。这些缺点都使得cnn在毛囊根部定位问题上适用性较低。
[0130]
全卷积神经网络(fcn)是一种适用于像素回归问题的神经网络。fcn可以接受任意尺寸的输入图像，输入图像经由不断的卷积与降采样成为高维的特征图后，并不直接导入全连接层，而是经由同等层数的反卷积层或上采样恢复到与输入图像相同的尺寸。从而可以对每一个像素都产生一个预测值，fcn结构保留了原始输入图像中的空间信息，依靠这种特性，fcn能有效的处理语义级别的图像分割问题。
[0131]
如图8所示，图8为两种神经网络对毛囊定位问题的输出示意，在植发机器人控制系统的视觉部分设计中，cnn结构神经网络直接输出二维坐标，而fcn结构神经网络输出的是毛囊根部定位标记图。图8中的【】是毛囊原始图像与神经网络识别的毛囊根部标记图。可以看到毛囊根部标记图在毛囊出现的位置出现了明显的高反应，并有可能在图像中若干个形似毛囊根部的部位也出现了强度不同的高反应。相比于cnn输出长度固定的结果向量，fcn输出的标记图明显具有如下优势：输出形式灵活，可同时输出最优结果和若干较优结果；输出信息丰富，对每个输出可以评估其置信度，有利于后期筛除定位，失败的毛囊。具有更高的平移不变性与缩放不变性，如图9所示，图9为毛囊定位效果示意图。
[0132]
由于在毛囊定位时输出的图往往存在很多棘手劣势，如输出内容复杂、结构多变、健强性低，有输出无效输出的可能。fcn神经网络参量高，训练困难，运算速度慢。对于输出标记图不能直接使用，而是需要后期开发其他算法处理。毛囊定位产生的无效图，由于识别产生的图存在锯齿状，影响了定位的准确性，不具有解读的价值。fcn结构的神经网络的输出为图输出，定义cnn结构的神经网络输出为特征向量输出。将无法识别有效信息的图输出称为空输出。从实践经验上看，空输出产生的概率普遍随着训练的深度增加而降低，在算法收敛后，仍保留有约10％-12％的空输出率，这会对定位产生较大影响。
[0133]
为解决两类神经网络的缺陷和综合两种神经网络的性能，本实施例采用双头定位神经网络。该网络具有两条支路，能同时产生基于u-net结构的图输出与基于cnn结构的特征向量输出。图输出具有更高的精度和更高的可解释性，但有可能产生空输出。而特征向量输出精度较低，可解释性差，但健强性高，输出稳定。在神经网络的出口部位设计了判断程序，程序会评估两种输出的质量以最终确定采用那种输出作为定位结果。判断程序的主要依据是：在图输出解读性较高时，优先以图输出作为最终结果，否则以特征向量输出为最终结果。
[0134]
本实施例的毛囊评估单元包括毛囊清晰度评估与毛囊过细多聚检测算法、毛囊分叉评估神经网络。
[0135]
其中，毛囊清晰度评估与毛囊过细多聚检测算法的主体流程如下所述：
[0136]
将原始输入毛囊图像灰度化；
[0137]
同拉普拉斯算子卷积以获取图像的灰度梯度；拉普拉斯算子如下所示：
[0138][0139]
统计灰度梯度直方图，并以灰度梯度大小前5％的像素的平均灰度为图像清晰度指标，筛除清晰度指标小于设定阈值的毛囊图像，并将其标记为模糊图像；
[0140]
选取通过清晰度评估的毛囊图像，将其同如下卷积核卷积：
[0141][0142]
将原图像反色，并应用最大类间差法将原图像二值化；
[0143]
连通域筛选，去除面积过小的联通域；
[0144]
进行腐蚀运算，腐蚀运算的核尺寸为4*4；
[0145]
对腐蚀后图像进行连通域面积计算，将连通域面积过小的毛囊图像筛除，并标记为过细毛囊；将连通域个数大于2的毛囊图像筛除，并标记为多聚毛囊；将剩余毛囊标记为正常毛囊输出。
[0146]
如图10所示，图10为毛囊清晰度评估与毛囊过细多聚检测算法效果示意图，以下是各流程处理效果图例：
[0147]
其中，毛囊清晰度评估与毛囊过细多聚检测算法具体如下：
[0148]
1.步骤“2)”与步骤“3)”中用拉普拉斯算子计算的灰度梯度评价图像情绪度的原理：拉普拉斯算子描述的是图像中某一像素的灰度梯度大小，其与原始图像卷积，可以计算所有像素的二阶灰度梯度大小。清晰的图像相对与模糊的图像有更剧烈的灰度变换，因而清晰图像的总体灰度梯度大小也相较于模糊图像高。为方便计算，采用一个图像灰度梯度最大的前5％的像素的平均灰度梯度作为图像清晰度指标。
[0149]
2.步骤“4)”中使用特殊卷积核的意义：特殊卷积核能够剪除背景，加大图像前后景的灰度极差，该步骤的下一步为图像最大类间差二值化算法，更大的灰度极差有利于该二值化算法获得更精确的二值化结果。
[0150]
3.步骤“6)”与步骤“7)”中去除较小连通域并对图像进行腐蚀运算的意义：小连通域的去除有利于去除图像的噪点干扰，而腐蚀运算能断开粘连的两个分属不同毛囊的连通域，有利于算法正确计数图像中的毛囊数量，进而更正确的区分多聚毛囊与过细毛囊。
[0151]
以下是算法中各固定值的取值：
[0152][0153]
在以上取值的情况下，该算法在手动标记的图像分类数据集中获得了以下的精确度和混淆矩阵结果：
[0154][0155][0156]
如图11(a)所示，图11为毛囊评估算法流程图，在毛囊分叉评估神经中，使用卷积神经网络结构进行设计，为降低运算量，提高运算效率，采用深度可分离卷积机制。其中，首先对输入的毛囊图像进行毛囊图像清晰度评估算法、毛囊聚生检测算法、毛囊毛发过细检测算法；然后进行毛囊分叉评估神经网络处理，输出优选毛囊图像，以供定位使用。
[0157]
其中，毛囊图像清晰度评估算法过程如下：首先对图像进行灰度化处理，拉普拉斯梯度算子卷积运算，计算图像灰度梯度直方图，计算灰度梯度大小前5％的像素的平均灰度梯度，作为图像清晰度指标，去除清晰度指标小于阈值的图像，将这类图像标记为模糊图
像，选取通过清晰度评估的毛囊图像，并通过预设的卷积核卷积运算，反色处理，最大类间差法二值化处理，连通域筛选，筛选面积小于阈值的连通域，连通域筛选，筛除面积小于阈值的连通域，核尺寸为4*4的腐蚀运算，将剩余连通域中面积最大值作为毛囊过细检测特征值，将小于阈值的图像去除并标记为过细毛囊，将剩余连通域中连通域个数作为毛囊多聚检测特征值，将连通域个数大于等于2的毛囊去除并标记为多聚毛囊，将剩余毛囊图像标记为正常毛囊，并输出，作为优选毛囊。
[0158]
如图11(b)所示，其中，毛囊分叉评估神经网络按照以下过程进行：输入优选毛囊图像，计算块处理：输入通道为3，输出通道为6，拓展通道为12，步进数为1；输入通道为8，输出通道为16，拓展通道为64，步进数为2；输入通道为16，输出通道为24，拓展通道为112，步进数为1；然后最大值池化：2；再进行计算块处理：输入通道为24，输出通道为32，拓展通道为128，步进数为2；输入通道为32，输出通道为64，拓展通道为256，步进数为1；输入通道为64，输出通道为64，拓展通道为256，步进数为2；然后最大值池化：2；第三次经过三个计算块处理：输入通道为64，输出通道为64，拓展通道为256，步进数为2；然后最大值池化：2；再次经过两个计算块处理：输入通道为64，输出通道为64，拓展通道为256，步进数为2；然后最大值池化：4；最后全连接层处理，输入通道为64，输出通道为1，应用sigmiod激活函数处理，输出毛囊分叉评估分数。
[0159]
计算块处理是按照以下方式进行：输入图像，通道数为x，分别进行卷积处理，核尺寸为1，通道数为z；批归一化处理，relu函数计算，卷积运算：核为3，通道数为z，组为3，步进数为s；再次批归一化，relu函数计算；eca模型处理，通道数为z；卷积：核尺寸为1，通道数为y，批归一化，relu函数计算，最后与输入图像经过卷积运算后进行叠加，输出通道数为y的图像。
[0160]
如图12、图13、图14所示，图12为深度可分离卷积示意，图13为普通卷积(上)深度可分离卷积(下)的示意图，图14为深度可分离卷积流程图，深度可分离卷积是一种可分解卷积操作，具体可以分解为两个更小的操作：空间卷积(depthwise convolution)和通道卷积(pointwise convolution)。以特征层通道数由a映射到b的过程为例。标准的k*k二维卷积中，这一过程需要b组卷积核，每组卷积核有a个通道，每个通道都是k*k的二维卷积核。进行卷积运算时，每组卷积核均独立的与特征层做一一对应的二维卷积运算，再将运算的结果叠加为一个通道，进而总共产生b个通道的特征层输出。而在k*k深度可分离卷积运算中，这一过程被分为两个具有先后关系的环节，空间卷积环节仅需要1组卷积核，该组卷积核有a个通道，每个通道也是k*k的二维卷积核。进行卷积时，a个通道卷积核与a个特征层特征层做一一对应的二维卷积运算，运算结果并不叠加，而是直接将运算得到的a个通道输入下一环节。通道卷积环节等价于一个1*1的普通二维卷积，其意义在于通过以不同的权重组合空间卷积结果的方式提升通道数，通道卷积环节需要b组卷积核，每组卷积核有a个通道，每个通道都是固定的1*1的二维卷积核。进行卷积运算时，每组卷积核均独立的与特征层做一一对应的二维卷积运算，再将运算的结果叠加为一个通道，进而总共产生b个通道的特征层输出。
[0161]
通常而言，一次普通卷积的计算次数c由下式给出：
[0162]
c＝k
s2
×h×w×cin
×cout
[0163]
而普通卷积层的参数量p由下式给出：
[0164]
p＝k
s2
×cin
×cout
[0165]
其中，符号定义如下ks：卷积核宽度、h：输入特征图高度；w：输入特征图宽度；
[0166]cin
输入特征图通道数；c
out
输出特征图通道数。
[0167]
而深度可分离卷积的计算次数由下式给出：
[0168]
c＝k
s2
×h×w×cin
+c
in
×cout
[0169]
而深度可分离卷积的参数量p由下式给出：
[0170]
p＝k
s2
×cin
+c
in
×cout
[0171]
两种卷积的计算量比值为：
[0172][0173]
两种卷积的参数量比值为：
[0174][0175]
可见深度可分离卷积计算量与参数量均远小于普通卷积，根据mobilenet的提出者在imagenet分类任务上的实验，深度可分离卷积的性能接近于普通卷积。
[0176]
此外，为加快神经网络的收敛速度，提高神经网络参数的表达能力。在神经网络的计算图中增加了eca注意力机制，具有提高模型泛化能力，提高模型精度的能力。
[0177]
其中，毛囊分叉评估网络具有较高的评估准确度，具体实验数据如下：
[0178]
图15为毛囊分叉评估网络分类正确率示意图
[0179][0180]
其中，毛囊定位算法采用的神经网络命名为双头网络(doubleheadnet，dh-net)，dh-net将兼顾两种结构的优势，dh-net主要有两部分组成：主干网络(mainnet)部分和辅助网络(assistnet)部分。主干网络是一个fcn结构的神经网络，其结构设计以u-net为蓝本，输出的数据结构是特征图；辅助网络是一个cnn结构的神经网络，其结构设计围绕深度可分离卷积机制，输出的数据结构是特征向量。其中，如图16所示，图16为u-net结构示意图，其中，u-net的基本过程如下：
[0181]
u-net是一种典型的fcn结构神经网络，由两个部分组成，分别为压缩路径(contracting path)与扩展路径(expansive path)；
[0182]
压缩路径可视为一个编码器(encoder)，由四个计算块(block)组成，每个块使用了3个卷积层和1个最大值池化层降采样，能逐级的降低输入特征图的尺寸和增加输入特征图的通道数。压缩路径能逐级的提取原始输入图像中的抽象信息，以描述原始图像的抽象结构。扩展路径可视为一个解码器(decoder)，由四个计算块成，每个块开始之前通过上采样将特征图(feature map)的尺寸乘二，以达到和左侧对称的压缩路径相同的尺寸，然后和
左侧对称的压缩路径的特征图合并，合并为跳接(skip connection)，合并之后的特征图将通过3次普通卷积。扩展路径能逐级从高维的特征图中还原空间信息，以实现像素尺度的分割计算。
[0183]
跳接是unet结构中最具有革命性的设计。在网络传播的过程中，随着深度提高，相应特征图的感受野会增大，尺寸会减小，蕴含的细节信息也会随之降低，这不利于最终输出标记图的精确。跳接结构用拼接层(concat)将压缩路径中下采样提取出来的特征图与扩展路径中上采样得到的新特征图一一对应进行通道维度拼接。上游卷积层保留有的丰富细节特征会仅由此路径被直接引入下游卷积层，这增加了输出结果的尺度信息和层次结构，提高了信息利用率，进而实现了更精细的分割效果。此外，跳接增加了误差逆传播路径，扩展路径上的各层结构可以直接将梯度传递至压缩路径上的对应层结构，这加快了神经网络的收敛速度，降低了神经网络的训练时间。
[0184]
为改进原始的u-net的性能，在原始unet网络结构中加入了注意力机制。神经网络中的注意力机制(attention mechanism)的本质是在计算资源一定的情况下，通过分配权重的手段，提高关键结构的对输出的影响程度的一种模型表达能力增强方案。
[0185]
神经网络是由参数组成的，在参数量一定的情况下，模型表达能力与参数的效率息息相关。注意力机制能在众多的输入信息中聚焦于对当前任务更为关键的信息，降低对其他信息的关注度，强化特征信息中的空间编码质量，使用较少的参数量实现若干层卷积才能实现的泛化能力，因而能提高神经网络的效率和准确性。
[0186]
注意力结构在计算机视觉问题(cv)、自然语言处理问题(nip)、语音识别等问题上具有不同的具体含义。在计算机视觉领域，得到较多应用的注意力机制主要包括：se-net、cbam、danet、non-local neural networks等。其中以se-net最具有代表性，se-net模型核心思想是通过全连接结构建模特征通道相互之间的重要性，来提高网络所产生的特征图的质量。具体而言，就是通过学习来自动获取到每个特征通道的重要程度权重，然后依照这一权重去提升有用的特征并抑制无用的特征。
[0187]
如图17所示，图17-1为se-net流程示意图，se-net结构主要特点是：
[0188]
1.se-block会给每个通道一个权重，让不同通道对结果有不同的作用力。
[0189]
2.这个se模块能够非常方便地添加进目前主流的神经网络当中。
[0190]
但根据相关实践经验，se-net网络也具有如下的问题：
[0191]
1.计算量大，计算速度慢
[0192]
2.参数过多，存在冗余
[0193]
为了改进这一类问题，使用eca注意力机制如图17-2所示，图17-2为eca模型结构图，eca注意力机制主要致力于在不增加模型复杂性的前提下带来更明显的性能提升。采用无降维的局部交叉信道交互策略，该策略可以通过一维卷积有效地实现，适当的跨通道交互可以在显著的降低模型复杂度的同时保持性能。
[0194]
如图18所示，图18为毛囊图与其根部标准标记图，在全黑的图像上毛囊根部对应位置周边若干像素灰度值置为255，构造了毛囊根部标准标记图，并以此作为神经网络结构训练数据，如图19所示，图19为训练集和测试集收敛情况效果图。
[0195][0196]
通过以上实验数据，可以观察到，eca注意力机制和se注意力均能略微提高神经网络定位的准确度，且能明显的提高神经网络定位的稳定性。以训练到第60轮次的数据来看，它们分别较不装载注意力机制的神经网络定位精确度提高了15.6％与6％，定位稳定性提高了63.7％与74.6％。
[0197]
在eca与se注意力机制的对比中，以训练到第60轮次的数据来看，eca定位精度较se提高了7.52％，eca定位稳定性较se降低了43.1％。但eca的装载仅仅在主干网络模型中增加了0.003兆字节的文件量，较se减少了94.92％；仅仅在辅助网络模型中增加0.04兆字节的文件量，相较于se模型减少了99.93％。综上所述，eca注意力机制是较se注意力机制在本情景下更优的。
[0198]
以下是dhnet在若干次迭代过程中对毛囊根部的识别效果演示，可以观察到dhnet网络逐渐学习定位毛囊末端的过程。如图20所示，图20为dhnet在若干次迭代过程中对毛囊根部的识别效果图。
[0199]
如图21所示，图21为dhnet网络结构示意图，包括输入单元、主干网络、辅助网络和输出单元，输入单元设置通道数和尺寸，主干网络中设置有编码块，编码块中的输入通道数3，输出通道数60，实现通道数为60；然后降采样，输入通道数为60，输出通道数为100，尺寸为减小，有原来的32*32变为16*16；下一个降采样块，输入通道数100，输出通道数100，尺寸变为8*8，再上采样，尺寸变为16*16，与通道数为100尺寸为16*16进行通道合并，得到通道数为200，尺寸为16*16；重复进行上采样块，与最初的通道数60，尺寸32*32的图片进行通道合并得到通道数120，尺寸64*64，通过解码块将输入通道数为32变为输出通道数为64的图片，最后输出通道数为1尺寸为32*32的图片。辅助网络中的辅助网络块接收主干网络中的通道数为100，尺寸为8*8的图片，通过若干辅助网络块输出通道数为100，拓展通道数为800，核尺寸为3的图片，然后得到通道数为100，尺寸为8*8的图片，在进行最大值池化，平均池化处理得到通道数为32，尺寸为64*64图片，通过全连接层以及sigmoid函数输出坐标。
[0200]
如图22所示，图22为dhnet网络图例示意图，图中分别描述了各个块的工作过程，包括上采样块、降采样块、残差块、编码块、解码块、eca模型和辅助网络块，各个块均包括输入单元、中间处理单元和输出单元。
[0201]
如图23所示，图23为输出识别流程图，对于dhnet输出的毛囊根部标记图，还需要
assignmentproblem)等经典优化问题，得到了较好的效果.
[0215]
蚁群算法的主要理念如下：
[0216]
随机安置若干人工蚂蚁在路径图上，在每一次迭代中，蚂蚁都会遍历一边整个地图。
[0217]
人工蚂蚁在遇到路口时，分叉路时，综合考虑信息素浓度和各分叉与下一个路径点的具体来确定下一个访问的路径点。
[0218]
每一只蚂蚁在一次迭代结束后，会在该次迭代的路径上更新信息素，旧有的信息素会以一定的比例挥发。
[0219]
依据以上原理，在若干次迭代后，蚂蚁会自然的找到最优的遍历路径。
[0220]
蚁群算法主要的公式如下：
[0221]
蚂蚁选择路径的概率由下式确定：
[0222][0223]
上式符号定义如下：d
ij
为路径点i至路径点j的距离，τ
ij
路径点i至路径点j路径上的信息素浓度，蚂蚁k在路径点i上时将下一个路径点选择为j的概率，allowedx为未访问的路径点的集合，α启发式信息素重要性因子，β启发式距离重要性因子。
[0224]
对于路径信息素的更新公式，在不同的蚁群算法变形中有不同的定义，具体主要包含三种变形：蚁周模型(ant-cycle)、蚁密模型(ant-quantity)和蚁量模型(ant-density)。其中：蚁周模型利用的是整体信息，即蚂蚁完成一个循环后才更新所有路径上的信息素，更新的值与蚂蚁的遍历路径总长度呈反比；蚁密模型和蚁量模型则利用的是局部信息，即蚂蚁每完成一步后就立即更新路径上的信息素，蚁密模型中信息素更新量是一个恒定值，而蚁量模型则更新一个与路径长度呈反比的值。
[0225]
路径信息素的更新由下式确定：
[0226][0227][0228]
其中，τ
ij
(t+1)为t+1时刻路径点i与路径点j间信息素浓度，τ
ij
(t)路径点i与路径点j间信息素浓度，ρ为启发式信息素挥发因子，q为系统常量，lk为蚂蚁k遍历全路径点的移
动距离，z
ij
为所有路径中包含路径i至j的蚂蚁的集合，d
ij
为路径点i至路径点j的距离。
[0229]
蚁周模型相较于蚁密模型和蚁量模型更注重路径规划的全局性，在植发路径规划算法中，采用蚁周模型求解植发路径。
[0230]
蚁群算法在处理多点tsp问题时，相较于普通算法的运算速度更快，并能获得较稳定、优秀的结果。但必须注意的是，植发路径规划并不等价于tsp问题，植发路径规划问题中，遍历毛囊的路径并不需要返回起点，而是需要达到设定的终点。处理了输入数据，使得设计用于解决tsp问题的蚁群算法程序能复用于植发路径规划问题。
[0231]
该技巧的要点在于预处理导入蚁群算法程序的无向距离图。可以在原始的无向图中增加一个高维的虚拟点，该点与图中路径点的距离设定如下：高维的虚拟点仅与起始点和终末点的距离趋近于0，与其余点的距离均为无穷远。
[0232]
图27虚拟高维点示意，添加了该虚拟高维点后，使用普通蚁群算法求解添加了高维点后的无向图的最优遍历路径时，由于虚拟高维点与除始末点外的所有点距离均为无穷远，算法又需要遍历包含虚拟高维点在内的所有路径点，求解结果必然是一条包含由起始点进入高维虚拟点再到达终末点的线路存在的最优遍历路径，将获得的最优遍历路径去除虚拟高维点后，剩余的路径便是可用的植发路径。
[0233]
此外，还需要考虑蚁群算法的时间复杂度问题。对于蚁群算法，在各个启发式因子固定的情况下，对于一个包含n个路径点的路径规划任务，其时间复杂度为o(n^4)。植发路径规划需要有较高的实时性，而植发路径规划任务中待规划的路径点又往往多达300-400个，其计算开销是不可容忍的。为加快计算速度，降低计算时间，需要对待植发区域进行分块。将一个庞大的整体路径优化任务简化为若干块内的路径优化任务，能极大的加快计算速度，降低计算耗时。
[0234]
图28植发路径规划分块方案，分块规划如下：
[0235]
将紧绷器区块分为六个部分，并在每个区块中搜索与对应角最近的毛囊作为起始点与终末点，每一个块内均独立的进行路径规划，六个区块按照如上图所示的方式统筹规划路径，可以实现植发路径规划速度的较大提升。
[0236]
蚁群算法设计的要点在于正确的设定三个启发式因子：启发式信息素重要性因子α、启发式距离重要性因子β、启发式信息素挥发因子ρ。当这些因子取值不当时，所产生的不利影响归纳如下：
[0237][0238]
根据相关文献，最优的参数设置值如下：
[0239][0240]
在以上的参数设置下，蚁周模型表现出在植发路径规划算法中较高的应用价值。
[0241]
如29所示，图29算法迭代过程记录，图30路径规划成果演示示意图。
[0242]
实施例2
[0243]
本实施例植发机器人，包括机器人主体、设置于主体上的控制器；主体上设置有植发机械臂、激光定位装置、深度摄像头、微距摄像头、结构框架等，手术进行时，受术人后枕部将佩戴紧绷器，紧绷器是一个硬质的框架，主要的功能在于张紧受术者的头皮以方便机械臂入刀。此外，紧绷器也限定了取法范围，取发只会在紧绷器内的头皮上进行。
[0244]
所述控制器接收采集到的含有毛囊的采集图像，所述控制器对采集图像进行处理得到目标毛囊图像的毛囊根部位置信息，并根据毛囊根部位置信息生成植发路径；所述控制器设置有毛囊识别模块、毛囊评估定位模块、植发路径规划模块；
[0245]
所述毛囊识别模块用于将原始图像数据流中的毛囊图像逐一提取，并传递至下一个模块；
[0246]
所述毛囊评估定位模块用于逐一处理上一模块所提取的毛囊图像，对其进行评估筛选，并计算毛囊根部坐标以作为入刀位置；
[0247]
所述植发路径规划模块用于对植发路径进行计算，以获取对待取发毛囊的最短遍历路径，优化植发速度。
[0248]
所述毛囊识别模块包括紧绷器识别单元和毛囊识别单元；所述紧绷器识别单元用于识别紧绷器，并矫正视角；所述毛囊识别单元用于识别毛囊，并对其做逐一的提取；或
[0249]
所述毛囊评估定位模块包括毛囊评估单元和毛囊根部定位单元；所述毛囊评估单元用于根据毛囊的分叉、过细、多聚、模糊清空筛选适宜取发的毛囊；所述毛囊根部定位单元用于对已筛选好的毛囊做根部定位，已获取机械臂的入刀点。
[0250]
本实施例提供的植发机器人工作时，当系统进行取发作业时，微距摄像头会回传患者后枕部图像数据流至计算机，这些图像数据流经由本系统的视觉算法部分，自动的识别、评估、定位毛囊图像，计算入刀点，并规划最优的取发路径。深度摄像头根据取发路径逐一测量路径上毛囊的三维空间入刀点精确坐标，并下达至取发机械臂控制器完成取发。
[0251]
视觉部分算法需要实现以下功能：
[0252]
根据原始图像信息，自动的识别图像中的毛囊对象。
[0253]
对自动识别的毛囊对象进行评估，以筛选出适宜取发的毛囊
[0254]
对筛选后的毛囊图像进行处理，计算机械臂入刀点。
[0255]
对已完成入刀点计算的毛囊图像做路径规划，以获取最短的遍历路径。
[0256]
其中，图31紧绷器示意图，图32植发机器人全景图，图33植发机械臂结构图；该紧绷器是一个矩形框架，被绑缚于植发受术者后枕部，起到张紧皮肤与规划取发区域的作用。紧绷器的四个角有标准颜色标记，被设计用于辅助算法定位。紧绷器识别算法的目的是获取紧绷器平面的位置信息，并将原始画面中的毛囊图像通过单应性变换矩阵变换到法向视
角，以供后续算法的识别。
[0257]
紧绷器识别算法中，固定阈值选取230后进行二值化处理；核大小为10*10开运算；轮廓提取，并进行轮廓矩形拟合，以提取各轮廓中心点坐标；根据各轮廓中心点坐标计算单应性变换矩阵，并将原始图像视角变换到法向视角。
[0258]
以上所述实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。本发明的保护范围以权利要求书为准。