五官及外科医疗数据采集分析诊断机器人，平台的制作方法

本发明专利是基于五官及外科医疗数据采集，分析于一体的体检机器人研究与开发平台，是利用人工智能机器人系统与各数据采集装置，等节点相结合搭建的平台体检医疗数据采集分析机器人平台系统。

背景技术：

目前应用于健康体检领域；在检查过程，由于各种人为因素，很难有效肉眼识别，诊断口腔，牙齿，眼睛等存在的疾病问题。体检效率低下，数据采集难，数据采集不精准等问题。

造成体检效率低，费时间，费精力等后果，针对体检效率低下，数据采集难，数据采集不精准等问题，利用机器人搭载的摄像头，眼视力测试，屈光采集设备，声级计，红外传感器，b超内脏图像等通过医疗图像数据智能监测耳，眼，口腔的各项异常指标，有效识别口内疾病，眼睛远近视，屈光不正，耳部发育异常，脏器图像分类，远程问诊，医疗数据分析，异常数据分类识别，智能反馈异常和疾病结果，定期检查。健康检测，体检等，高频度，高精准的智能检测数据。

目前的市面产品是体温测量，身高体重测量等简易机器人巡诊设备。仍存在设备简易，精准度低等问题。

技术实现要素：

本发明的目的是提供一种基于人工智能机器人的健康体检系统。人工智能机器人系统与各数据采集装置等节点相结合搭建的平台体检医疗数据采集分析机器人平台系统。

实现有效采集图像，眼部数据，耳部数据，口腔，温度等数据。实现高精度测量体温，身高，体重测量。实现准确分析，分类各器官异常数据。实现准确识别口内，耳部，眼部等常见问题。

本发明的所采用的技术方案：

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：

机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及传感器数据采集模块，b超模块，医疗耳，眼口检查设备数据采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。

摄像头及传感器数据采集模块，所述数据采集模块用于采集耳，眼口内医疗图像和体温，身高体重心脏等被测医疗数据；语音模块，所述数据模块用于主控制系统与用户间交互和语音引导；

医疗数据分析，所述数据分析模块用于比照标准值分析医疗数据，发现医疗异常数据；

图像分类模块，所述数据模块用于分类耳，眼，口医疗图像。

机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互。

本方案中，能够通过机器人的主控制系统，摄像头及传感器数据采集模块，b超模块，医疗耳，眼口检查设备数据采集模块用于采集耳，眼，口内体温，身高，体重，心脏检测设备医疗数据，并依据机器臂动作规划采集模块，语音模块，引导用户，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类耳，眼，口医疗图像，智能定位五官位置。提高了智能采集的精准度和医疗数据异常识别的准确度，提高了医疗图像分类，分析的远端采集，远端诊断的灵活性和可能性。

进一步，机器人ros主系统用于实现机器人的主控制，数据采集，图像分类，语音交互，动作交互，实现智能采集，智能分析异常数据，智能诊断，远端诊断。

作为本发明的进一步改进，用摄像头及传感器采集耳，眼口图像，模块，用医疗检测设备，医疗耳，眼口检查设备数据采集模块用于采集耳，眼，口内图像，体温，身高，体重。

作为本发明的进一步改进，语音模块，包括语音识别模块，语音合成模块，用于主控制系统与用户间交互和语音引导。

作为本发明的又一步改进，动作模块，包括动作规划模块，动作采集模块，用于主控制系统与用户间动作交互，机器臂动作图像采集。

作为本发明的又一步改进，动作模块，包括动作规划模块，耳部采集动作规划。眼部采集动作规划，口内采集动作规划，用于主控制系统与用户间动作交互，机器臂动作图像采集。

机器臂伸向五官目标采集方法：

摄像头部跟踪五官数据采集装置方法：

step1：设置目标

step2：设置目标参数(目标名，左右臂关节)

step3：设置通信目标

step4：发布目标，参数(目标位姿，位姿标记)

step5：设置位姿标记

step6：设置目标对于头部id，目标位姿，方向值

step7：设置时间戳

step8：设置位姿标记为坐标原点和方向值

视觉摄像头与五官采集装置通信方法：

step1：初始点云节点

step2：设置夹持器发布方节点参数(目标名，位姿标记)

step3：设置摄像头订阅方节点参数(点云，最近点云list)

step4：定义并取得最近点云列表

step5：定义最近的点并将其转化成点数组

step6：计算cog

step7：确认点云参数nan，返回点云信息

step8：设置位姿方向值作为点对象

step9：发布cog作为目标位姿

step10：设置目标参数(位姿标记，时间戳，目标对于头部id，cog目标位姿，方向值)

step11：发布夹持器目标节点

五官目标采集方法：

step1：设置采集区位置

step2：当运动规划失败后，允许重新规划

step3：设置五官目标位置的参考坐标系

step4：设置每次运动规划的时间限制

step5：设置目标采集区位置

设置医疗采集区位置，座椅位置，辅助器械位置

step6：设置采集区位置，座椅位置，辅助器械位置放入场景

(参数包括：医疗床id，采集区颜色及标准点位姿，area.pose.position.x，area.pose.position.y，area.pose.position.z，area.pose.oriententaion.w；座椅id，座椅颜色，高度及座椅标准点位姿，seat.pose.position.x，seat.pose.position.y，seat.pose.position.z，seat.pose.oriententaion.w；辅助器械id，辅助器械颜色，辅助器械位姿，acessrymachine.pose.position.x，acessrymachine.pose.position.y，acessrymachine.pose.position.z，acessrymachine.pose.oriententaion.w；将以上参数加入体检诊疗场景.

step7：识别五官目标

step8：设置场景颜色

step9：设置采集区颜色标签，座椅颜色，，辅助器械颜色

step10：设置颜色标签到demo中.(包括：初始化规划场景对象，监测设置场景差异，

设置发布颜色标签下平躺场景颜色，左侧卧场景颜色，右侧卧场景颜色).

一种深度神经网络算法改进方法，所述方法包括以下步骤：

s1、建立人脸数学模型及个体脸部耳，口内，眼部图像识别的数学模型

s2、抽取五官轮廓特征，包括颜色，形状，轮廓等的特征

s3、提取图像的特征值(颜色，形状，轮廓)等

s4、输入检测项目特征值

s5、改进权值优化器，通过图像训练，得到输出值

s6、依据输出结果分类耳，口内，眼部图像，精准定位耳，口内，眼部位置

利用改进深度神经网络算法智能分类耳口内眼部图像，精准定位器官位置智能采集

一种svm分类算法改进方法，所述方法包括以下步骤：

s1、建立内部脏器数学模型

s2、抽取脏器内轮廓特征，包括颜色，形状，轮廓等的特征

s3、提取图像的特征值(颜色，形状，轮廓)等

s4、输入项目特征值

s5、改进svm机器学习算法，计算得到输出值

s6、依据输出结果分类脏器图像，精准分类脏器包括乳房，肺，肝胆脾，肾脏等图像

利用改进svm算法智能分类脏器图像，精准定位各脏器位置

综上，本发明的有益效果是本发明针对体检效率低，费时间，费精力，疾病识别度低等问题，通过机器人搭载的摄像头及各传感器模块智能采集数据解决现有技术中，体检效率低下，数据采集难，数据采集不精准等问题。

通过和医疗数据各项医疗指标，识别很难有效肉眼识别的异常和疾病，诊断口腔，牙齿，眼睛等存在的疾病问题。高效识别与管理疾病。体检智能研究与开发平台能实现健康管理，有效检测，分析，识别身体异常，实现智能诊断，远端诊断眼，耳，口腔内等问题，及脏器内异常疾病等健康问题。

远端诊断脏器内异常和疾病，改善了体检的精确度和效率，智能检测，分析，诊断疾病。有效创建人工智能机器人+五官检查医疗体系。

附图说明：

图1是本申请实施例一中摄像头及传感器数据采集模块图.

图2是本申请实施例一中体检医疗数据采集分析机器人的结构示意图.

附图标记：10-机器人主系统模拟装置；201，202-摄像头模拟装置；30-传感器模拟单元；101-语音模块；103-机器臂模块；

具体实施方式：

本申请实施例通过提供一种体检医疗数据采集模拟装置、模拟机器人系统及分析医疗数据分类医疗图像方法，解决现有技术中体检效率低下，数据采集难，数据采集不精准等问题的问题，实现了有效检测，数据分析，识别身体异常，实现智能诊断，远端诊断眼，耳，口腔内等问题，及脏器内异常疾病等健康问题。

本申请实施中的技术方案为解决上述技术问题的总体思路如下：

人工智能机器人医疗数据采集，分析健康体检系统，所述机器人装置包括：机器人主系统，所述机器人主系统模块用于实现机器人的主控制，从摄像头及传感器数据采集模块，医疗耳，眼口检查设备数据采集模块到医疗数据分析模块间通信，用于机器臂动作规划控制模块，语音模块和用户间交互。摄像头及传感器数据采集模块，所述数据采集模块用于采集耳，眼口内医疗图像和体温，身高体重心脏等被测医疗数据；语音模块，所述数据模块用于主控制系统与用户间交互和语音引导；图像分类模块，所述数据模块用于分类耳，眼，口医疗图像，医疗耳，眼口检查设备数据采集模块，所述数据采集模块用于采集耳，眼口内检测设备医疗数据；机器臂动作规划采集模块，所述机器臂动作规划采集模块用于动作规划，机器臂动作与用户间的交互；

为了更好的理解上述技术方案，下面结合实施例及附图，对本发明作进一步地的详细说明，但本发明的实施方式不限于此。

实施例1：

如图1所示，一种人工智能机器人医疗数据采集，分析健康体检系统，机器人装置包括：

机器人的主控制系统10，所述模块用于实现机器人的主控制与摄像头及传感器数据采集模块，主控制系统与机器臂搭载，眼，口，耳检查设备数据采集模块通信，用于机器臂动作规划采集，与语音模块通信，用于机器人与用户间语音交互。

摄像头20及传感器数据采集模块30，医疗耳，眼口检查设备数据采集模块用于采集耳，眼，口内体温，身高，体重，心脏检测设备医疗数据，及b超脏器内的医疗图像；并依据机器臂动作规划采集模块103，语音模块101，引导用户，加强机器人与用户间的交互，实现智能化采集。医疗数据分析，用于比照标准值分析医疗数据，智能发现医疗异常数据；图像分类模块，用于精准分类耳，眼，口医疗图像，智能定位五官位置及分类。

机器人的主控制系统10，所述机器人主控制系统与各模块间的通信所述模块用于实现机器人的主控制，与摄像头20及传感器数据采集模块30，b超图像采集模块102通信，主控制系统与机器臂搭载，眼，口，耳检查设备数据采集模块通信103，用于机器臂动作规划采集，与语音模块101通信，用于机器人与用户间语音交互。

其中，在本申请实施例中，所述机器人主控制系统通过ros系统10与深度摄像头模拟单元20与所述机器臂模拟装置103的连接；以及所述模拟机器人主控制系统装置10与语音模块30的通信连接。以及所述模拟机器人主控制系统装置10与机器臂搭载，眼，口，耳检查设备数据采集模块通信103的通信连接。以及所述模拟机器人主控制系统装置10与语音模块101的通信连接。本实施例中，所述机器人主控制系统与深度摄像头连接用于人脸，耳，口，眼部图像采集，红外传感等用于身高，体温数据采集，麦克及拾音装置用于语音交互。

摄像头模拟单元20用于采集人脸，眼，口，耳数据，依据机器人主控制系统模拟装置10指令，发布图像数据，与图像识别节点通信，识别五官。用ros机器人主控系统10下tf包返回身体口，耳，眼各位置信息，机器臂103移动到五官部位位置采集数据。从而精准定位五官。利用ros机器人系统下的moveit包，利用机器人主系统规划动作交互，实现数据采集.设计机器人动作，并针对耳部，眼部，口部，对摄像头，传感器等设计采集位置，角度，动作，实现人----机器人友善交互设，高效采集数据.

数据采集模块30用于采集身高，体重，温度数据，依据机器人主控制系统模拟装置10指令，发布医疗数据，与数据分析程序节点通信，返回各传感器采集数据，排查异常数据。红外体温测量。通过红外测量感知来体检的体温，身高，体重。

依据机器人主控制系统模拟装置10指令，发布医疗图像数据，与器官识别程序节点通信，识别脏器内器官。用ros机器人主控系统10下tf包返回身体各位置信息，机器臂103移动到身体内脏位置采集数据。从而精准定位脏器内器官。返回各脏器器官名称，图像，数据值。

位置和时间，机器人主控制系统模拟装置10动作指令，移动到器官位置。在机器人系统下采用moveit实现机器臂动作规划及数据采集。采用ros机器人系统下moveit工程包规划机器臂动作，拟采用摄像头，传感器等搭载机器臂上，通过机器臂移动规划，动作交互等有效采集口腔内，牙齿，耳部，眼部等数据，实现精准数据采集。

实施例2：

在实施例1的基础上，提供几种五官定位，识别方法.如图2所示，五官识别方法为：

s1，改进的深度神经网络算法，建立图像识别的数学模型，包括手部，脚部，口腔内的特征，提取图像的特征值(颜色，形状，轮廓)等，输入检测项目特征值。利用改进人工神经网络算法(bp算法)，反向传导，调整权值参数，得到输出值，依据输出值的范围来区分正常体征或手足口病，龋齿等幼儿健康问题.

s2，采用轮廓等特征值对面部耳朵，眼睛，口腔内，牙齿等的轮廓，颜色进行特征值提取，改进聚类算法，精准分类人的面部器官(口腔，耳部，眼部).

s3，改进深度神经网络算法.通过轮廓特征和颜色特征等，利用训练次数和反向传导间的权值与加速参数比率来设计训练函数对神经网络算法等进行改进，来减少训练次数，加速训练速度可应用于解决大数据平台下的疾病智能识别问题.

所述五官定位方法：

研究聚类算法改进方法。建立眼部，耳部，口部轮廓特征模型，利用聚类等算法改进智能分类眼部，口部，耳部位置，从而指示机器臂移动的方向和位置.

一种医疗耳，眼口检查设备数据采集模块用于采集耳，眼，口内体温，身高，体重，心脏详细的检测方法如下：

所述眼部定位方法：

利用人工神经网络tensorflow框架智能分类识别眼部，返回眼部位置，利用tf包转换位置坐标，将机器臂移动至距离眼部35厘米平行位置，利用光源及动画标记动作吸引目光视线，实现眼部屈光数据采集，检测球径，柱径联合的屈光状态，分析眼部数据.

所述眼部检查方法：

通过hartmanshack传感器原理使人眼反射出来的光线通过一组微透镜阵列后，成像于感应器，再通过运算公式将其转换为球径，柱径联合的屈光状态，对比不同阶段的参数值，判断眼部发育情况和疾病异常。

眼球发育过程中眼轴在增长，从而使眼球的屈光状态由远视逐渐至正视，双眼球，柱径屈光度随年龄增长减小.随着生长发育角膜更加规则，使眼球趋向于理想的物理屈光状态.眼屈光度数据依据hartmanshack感应器原理，使人眼反射出来的光线通过一组微透镜阵列后，成像于感应器，再通过运算公式将其转换为球径，柱径联合的屈光状态表示.反馈值充分反映球径屈光度，反映远近视，柱径屈光度，有无散光等数据。

所述耳部检查方法：

采用机器人手臂搭载摄像头，采集耳部图像数据，利用人工神经网络算法，识别图像，计算耳部实际发育值，对比各阶段的发育值范围，来筛查耳部疾病。采用对图像表面的图形特征进行提取，机器人手臂搭载声级计测量纯音测听筛查仪来监测听力异常。

所述口部，牙齿定位方法：

利用人工神经网络tensorflow框架智能分类识别口位置，利用tf包返回位置数据，移动到口附近，以亲密交互动作诱导张嘴，采集口腔内图像数据包括牙齿数量和龋齿位置数据，智能检测牙齿及龋齿等问题.利用口腔内数据，结合图像识别技术，判断手足口病等疾病。

牙齿检查方法：

所述所述牙齿检查方法和口腔疾病识别方法：

s1.引导可变模型轮廓演化到目标特征.通过牙齿轮廓识别牙齿数量，通过灰度对比监测龋齿等问题。

s2，改进svm算法.采用口腔内背景和目标之间的灰度值差异较大等特征，以svm算法对图像的灰度梯度值进行划分，区分口腔牙齿区域和手足口病目标点.依据牙冠的中心凹点的特征，以及牙根与交接灰度值差异不大等特征，来判定区分牙齿及识别牙齿常见病.

s3，拟对口腔内图像表面的图形特征进行提取，引导可变模型轮廓演化到目标特征.当模型达到图像特征时数值最小.由于牙冠与牙根部曲率极值差异较大，以牙冠和牙根在z轴方向的位置区间为依据，确定参数的取值。

s4，拟对口腔内背景与目标的分类：口腔内背景和目标之间的灰度值差异较大，以聚类算法对图像的灰度梯度值进行划分，并标注牙齿目标.牙齿模型化以横截面，矢状面，冠状面对模型的轮廓进行识别，依据牙冠的中心凹点的特征，以及牙根与交接灰度值差异不大等特征，来区分牙齿个数.依据牙齿分类后的牙齿轮廓，用聚类算法，对比单个牙齿冠面的灰度差异，分割出龋齿区，智能识别龋齿，以及龋齿的位置。

耳部发育检查方法：

所述耳部定位方法：

利用人工神经网络tensorflow框架智能分类识别耳位置，智能识别耳位置将机器臂移动到贴耳位置，摄像头和光源配合采集耳内发育结构图像，采用声级计测试听力，以微笑或动作回馈反馈听力数据.

耳部检查方法：

采用机器人手臂搭载摄像头，采集耳部图像数据，利用人工神经网络算法，识别图像，计算耳部实际发育值，对比各阶段的发育值范围，来筛查耳部疾病。实际计算以下数值，检测各年龄段的成长发育数据：包括耳颞角1(为耳上基点平面耳廓与颞部头皮间的夹角)；耳颞角2(为耳甲与颞骨表面皮肤的夹角)；耳长测量结果；耳宽测量结果；耳宽与面宽数据；耳长与形态面高等数据值。正常的耳部数据，分析筛查耳部发育异常。

采用声级计测量纯音测听筛查仪，采用游戏式测量方法(拍手微笑等)提示听力测试结果.采用瞬态诱发耳声发射筛查，调整合适的耳塞并调整探头位置.以测试外耳道密闭发育情况。