基于多视点图像立体重构的中医远程面诊处理系统及方法与流程

本发明涉及远程中医面诊信息化处理的技术领域，尤其涉及一种基于多视点图像立体重构的中医远程面诊处理系统及方法。

背景技术：

中医学之精髓在于“辨证施治”，而“望、闻、问、切”四种诊断方法又是完成“辨证施治”的重要依据。“望”是中医四诊的最重要内容之一，中医面诊是中医“望诊”中最为常用和最具临床应用价值的诊法之一，其现代化的程度对整个中医学的发展有着极其深远的意义。中医学认为，人体是一个有机的整体，面部犹如反映人体生理病理的一面镜子，望五官神色变化，可直接诊察五脏六腑的病变情况。传统的中医面诊都是依靠医生的目视观察进行判断分析，并用语言文字描述，主观依赖性强，缺乏客观化、定量化的依据。中医面诊涉及病人所处环境、精神状态、医生的经验和主观因素等，造成了对面像肤色的判别结果因人因地而异。例如，每个人在一天内面部的五官神色变化通常不一样，早晨起床时，由于经过一夜的睡眠，面部的五官神色相对较好；到了中午，面部的五官神色相对早晨就会有变化；特别是到了晚上，经过一整天的学习或工作，面部的五官神色可能会变得相对较差。因此，如果医生仅仅通过观察一个时刻的人体面像，就不能得到人体的五官神色变化情况，难以准确诊察人体五脏六腑的病变情况，从而造成中医面诊结果不准确。此外，医生在为患者进行中医面诊时，患者需要到医院与医生面对面进行问诊，造成医院效率低，且给患者就诊带来不便。

技术实现要素：

本发明的主要目的在于提供一种基于多视点图像立体重构的中医远程面诊处理系统方法，旨在解决现有技术没有综合利用患者多时间段的面部三维图像对患者进行中医远程面诊且获取面像信息不全而导致面诊准确度较低的问题。

为实现上述目的，本发明提供一种基于多视点图像立体重构的中医远程面诊处理系统，应用于远程监测终端中，该远程监测终端通过通信网络连接有患者终端并通过数据库连接与面像数据库连接，该中医远程面诊处理系统包括多条计算机程序指令，该远程监测终端包括适于实现多条计算机程序指令的处理器以及适于存储多条计算机程序指令的存储器，所述计算机程序指令由处理器加载并执行如下步骤：构建连接至患者终端的数码相机的光学成像系统；通过数码相机的光学成像系统摄取患者在一天内每个预定时间段的面部二维图像；对每个预定时间段的面部二维图像分别进行仿射变换，得到人脸三个不同视点的多视点图像；利用多视点立体匹配法对人脸三个不同视点的多视点图像进行立体重构，得到每个预定时间段的面部三维图像；将每个预定时间段的面部三维图像标记相应的时间标签，并以每个时间标签为索引将每个预定时间段的面部三维图像存储到在面像数据库中；产生一个面像操作界面和时间控制面板，并将时间控制面板与所述时间标签进行关联；在时间控制面板上产生每一个时间标签对应的时间操作按钮，并将时间控制面板显示在面像操作界面的第一显示区域；当医生点击时间控制面板上的各个时间操作按钮时，根据各个时间操作按钮对应的时间标签从面像数据库中获取不同时间段对应的面部三维图像；将不同时间段对应的面部三维图像分别显示在面像操作界面的第二显示区域以供医生针对患者在不同时间段的面像中医远程面诊。

进一步地，所述构建连接至患者终端的数码相机的光学成像系统的步骤包括如下步骤：发送控制指令至数码相机的微控制器来调高相机镜头的分辨率；根据人脸与相机镜头之间的距离产生镜筒调节指令，微控制器根据镜筒调节指令调节数码相机的锥形反射镜与相机镜头之间的镜筒长度。

进一步地，所述计算机程序指令由处理器加载还执行如下步骤：从显示在面像操作界面的第三显示区域内的报告编辑器接收医生输入的中医面诊结果以及中医面诊意见；将中医面诊结果以及中医面诊意见整合为中医面诊报告；将该中医面诊报告通过通信网络发送至患者终端。

进一步地，所述一天内每个预定时间段包括时间为早晨6点至8点的第一时间段、中午12点至14点的第二时间段以及晚上18点至20点的段第三时间段；所述时间标签包括第一时间段对应的第一时间标签、第二时间段对应的第二时间标签以及第三时间段对应的第三时间标签。

进一步地，所述面像操作界面的第二显示区域包括一个用于面部三维图像进行局部放大的放大按钮、一个用于面部三维图像进行整体缩小的缩小按钮以及一个用于面部三维图像进行不同角度翻转的翻转按钮。

另一方面，本发明还提供一种基于多视点图像立体重构的中医远程面诊处理方法，应用于远程监测终端中，该远程监测终端通过通信网络连接有患者终端并通过数据库连接与面像数据库连接，该方法包括如下步骤：构建连接至患者终端的数码相机的光学成像系统；通过数码相机的光学成像系统摄取患者在一天内每个预定时间段的面部二维图像；对每个预定时间段的面部二维图像分别进行仿射变换，得到人脸三个不同视点的多视点图像；利用多视点立体匹配法对人脸三个不同视点的多视点图像进行立体重构，得到每个预定时间段的面部三维图像；将每个预定时间段的面部三维图像标记相应的时间标签，并以每个时间标签为索引将每个预定时间段的面部三维图像存储到在面像数据库中；产生一个面像操作界面和时间控制面板，并将时间控制面板与所述时间标签进行关联；在时间控制面板上产生每一个时间标签对应的时间操作按钮，并将时间控制面板显示在面像操作界面的第一显示区域；当医生点击时间控制面板上的各个时间操作按钮时，根据各个时间操作按钮对应的时间标签从面像数据库中获取不同时间段对应的面部三维图像；将不同时间段对应的面部三维图像分别显示在面像操作界面的第二显示区域以供医生针对患者在不同时间段的面像进行中医远程面诊。

进一步地，所述构建连接至患者终端的数码相机的光学成像系统的步骤包括如下步骤：发送控制指令至数码相机的微控制器来调高相机镜头的分辨率；根据人脸与相机镜头之间的距离产生镜筒调节指令，微控制器根据镜筒调节指令调节数码相机的锥形反射镜与相机镜头之间的镜筒长度。

进一步地，所述基于多视点图像立体重构的中医远程面诊处理方法还包括如下步骤：从显示在面像操作界面的第三显示区域内的报告编辑器接收医生输入的中医面诊结果以及中医面诊意见；将中医面诊结果以及中医面诊意见整合为中医面诊报告；将该中医面诊报告通过通信网络发送至患者终端。

进一步地，所述一天内每个预定时间段包括时间为早晨6点至8点的第一时间段、中午12点至14点的第二时间段以及晚上18点至20点的段第三时间段；所述时间标签包括第一时间段对应的第一时间标签、第二时间段对应的第二时间标签以及第三时间段对应的第三时间标签。

进一步地，所述面像操作界面的第二显示区域包括一个用于面部三维图像进行局部放大的放大按钮、一个用于面部三维图像进行整体缩小的缩小按钮、以及一个用于面部三维图像进行不同角度翻转的翻转按钮。

相较于现有技术，本发明所述基于多视点图像立体重构的中医远程面诊处理系统方法，通过患者终端远程获取患者在一天内每个预定时间段(例如早上、中午、晚上)的面部二维图像，并将面像操作界面上的时间控制面板与不同时间段的时间标签进行关联，医生通过设置在医院或家中的监测终端操作时间控制面板上的不同时间按钮，就可以综合利用患者的各个时间段的面部三维图像对患者进行远程中医面诊，分析患者病灶在不同时间段的演化过程，进而实现对患者病灶进行量化评估与远程追踪，并最终给出中医面诊意见，不仅提高了中医面诊结果的准确性，而且无需患者到在每个时间点到医院就诊，提高了就诊效率且方便了患者。此外，本发明还能够将面部二维图像进行三维立体重构得到人脸三维图像，实现在单一面部二维图像中获取人脸的所有结构、纹理和深度信息，从而使获取的人脸信息更完整，进一步地提高了中医面诊结果的准确性。

附图说明

图1是本发明基于多视点图像立体重构的中医远程面诊处理系统优选实施例的应用环境示意图；

图2是本发明基于多视点图像立体重构的中医远程面诊处理系统优选实施例的功能模块图；

图3是本发明基于多视点图像立体重构的中医远程面诊处理方法的优选实施例的流程图；

图4是显示在远程监测终端的面像操作界面示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对本发明的具体实施方式、结构、特征及其功效，详细说明如下。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参照图1所示，图1是本发明基于多视点图像立体重构的中医远程面诊处理系统优选实施例的应用环境示意图。在本实施例中，所述基于多视点图像立体重构的中医远程面诊处理系统10安装并运行于远程监测终端1中，该远程监测终端1通过通信网络3与患者终端2进行远程信息通讯，例如传送患者的面部二维图像以及中医面诊报告。所述远程监测终端1和患者终端2均可以为个人计算机、手提电脑、手机、PDA设备等智慧型通信设备。具体地，所述远程监测终端1可以为设置在医院科室(例如中医院)的计算机装置，也可以为设置在医生办公室或家中的便携式通信设备。所述患者终端2可以为患者随身携带的便携式通信设备，也可以为设置患者家中的计算机装置。所述通信网络3可以为无线网路(例如GPRS、WIFI、Bluetooth等通信网路)或互联网际网络(例如Internet等网络)。所述远程监测终端1还通过数据库连接5与面像数据库4连接，所述面像数据库4用于存储患者在每个时间段摄取的面部三维图像，所述数据库连接5可以为开放数据库连接(Open Database Connectivity，ODBC)以及Java数据库连接(Java Data Base Connectivity，JDBC)。

在本实例中，所述远程监测终端1包括，但不仅限于，基于多视点图像立体重构的中医远程面诊处理系统10、适于存储多条计算机程序指令的存储器11、执行各种计算机程序指令的处理器12、显示器13以及通信单元14。所述存储器11可以为一种只读存储器ROM，随机存储器RAM、电可擦写存储器EEPROM、快闪存储器FLASH、磁盘或光盘等。所述处理器12为一种中央处理器(CPU)、微控制器(MCU)、数据处理芯片、或者具有数据处理功能的信息处理单元。所述显示器13为一种3D显示器，用于显示患者面像操作界面、时间控制面板，每一时间段内的面部三维图像以及中医面诊报告。所述通信单元14为一种具有远程通讯功能的有线或无线通讯接口，例如，支持GSM、GPRS、WCDMA、CDMA、WIFI、蓝牙(Bluetooth)等通讯技术的通讯接口。

在本实施例中，所述患者终端2包括，但不仅限于，USB接口21、通信端口22以及微处理器23。所述USB接口21连接有高清摄像的数码相机20，该数码相机20用于摄取患者的面部二维图像，并将患者的面部二维图像通过USB接口21发送至患者终端2。所述数码相机20包括，但不仅限限于，微控制器201、圆锥内反射镜202和相机镜头203，所述微控制器201通过信号线连接至USB接口21上，所述圆锥内反射镜202和相机镜头203之间的连接采用现有技术中相机镜筒可旋转式的几何学径向连接结构，本实施例不作具体赘述。本发明结合几何学径向结构、光学中的反射折射知识，利用圆锥内反射镜202和相机镜头203，构建数码相机20的光学成像系统。此外，所述数码相机20还包括现有技术中数字相机的基本元件结构，例如电源、开关按钮等。所述通信端口22与远程监测终端1的通信单元14相互配对的通信接口，具有远程通讯功能的有线或无线通讯功能，用于将数码相机20摄取的面部二维图像通过通信网络3发送至远程监测终端1。所述微处理器23用于控制数码相机20摄取患者的面部二维图像以及控制通信端口22与远程监测终端1的通信单元14进行信息传输，例如发送患者的面部二维图像至远程监测终端1以及接收远程监测终端1发送的中医面诊报告。

如图2所示，图2是本发明基于多视点图像立体重构的中医远程面诊处理系统优选实施例的功能模块图。在本实施例中，所述基于多视点图像立体重构的中医远程面诊处理系统10由各种计算机程序指令组成的程序模块组成，包括但不局限于，光学成像模块101、面像获取模块102、面像重构模块103、面像暂存模块104、时间关联模块105、面像展示模块106以及报告产生模块107。本发明所称的模块是指一种能够被处理器11执行并且能够完成固定功能的一系列计算机程序指令段，其存储在存储器10中，以下结合图1、图3和图4详细说明每一个模块的具体功能。

参考图3所示，是本发明基于多视点图像立体重构的中医远程面诊处理方法优选实施例的流程图。在本实施例中，所述基于多视点图像立体重构的中医远程面诊处理方法的各种方法步骤通过计算机软件程序来实现，该计算机软件程序以计算机程序指令的形式存储于计算机可读存储介质(例如存储器11)中，计算机可读存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等，所述计算机程序指令能够被处理器(例如处理器12)加载并执行如下步骤S30至步骤S39。

步骤S30，构建连接至患者终端的数码相机的光学成像系统；在本实施例中，光学成像模块101构建数码相机20的光学成像系统。具体地，光学成像模块101构建数码相机20的光学成像系统按照如下步骤实现：步骤a，当患者的人脸靠近相机镜头203并按下数码相机2的摄像按钮时，光学成像模块101接收到摄像指令并发送控制指令至微控制器201来调高相机镜头203的分辨率。由于需要数码相机20需要对人脸进行多次成像，在人脸成像过程中，不仅实际视点会对人脸成像，经过锥形反射镜202反射的虚拟视点也会对人脸成像。在本实施例中，光学成像模块101通过微控制器201可以调高相机镜头203的分辨率，因而会使数码相机2获得更多的像素点，也就是获取更多的人脸信息，进而为重构脸部三维图像提供充足的特征点；步骤b，根据人脸与相机镜头203之间的距离产生调节指令，微控制器201根据调节指令调节锥形反射镜202与相机镜头203之间的镜筒长度。在本实施例中，光学成像模块101构建数码相机2的光学成像系统需要使用空心旋转对称镜，由于锥形反射镜22的视场相对大，因此光学成像模块101根据患者人脸与相机镜头203之间的距离产生调节指令，微控制器201根据调节指令调节可调节合适的镜筒长度来提高镜面的反射能力，保证获取人脸信息的完整性。

步骤S31，通过数码相机的光学成像系统分别摄取患者在一天内每个预定时间段的面部二维图像；具体地，面像获取模块102通过连接至患者终端2的数码相机20分别摄取患者在一天内每个预定时间段的面部二维图像。在本实施例中，所述一天内每个预定时间段包括第一时间段(例如6点至8点早晨时间段)、第二时间段(例如12点至14点中午时间段)以及第三时间段(例如18点至20点晚上时间段)。在预定时间段内，患者可以通过患者终端2的数码相机20拍摄该时间段内的面部二维图像，患者终端2通过通信端口22自动发送至远程监测终端1。在中医学领域，人体是一个有机的整体，面部犹如反映人体生理病理的一面镜子，望五官神色变化，可直接诊察五脏六腑的病变情况，中医面诊是中医“望诊”中最为常用和最具临床应用价值的诊法之一。然而，每个人在一天内面部的五官神色变化通常不一样，例如早晨起床时，由于经过一夜的睡眠，面部的五官神色相对较好，到了中午，面部的五官神色相对早晨就会有变化，特别是到了晚上，经过一整天的学习或工作，面部的五官神色可能会变得相对较差。因此，本发明为了提高中医面诊的准确率，通常需要在一天不同的时间段观察患者的面部三维图像来得到人体的五官神色变化情况，从而准确地诊察人体五脏六腑的病变情况。基于此，本发明通过远程获取患者在一天内每个预定时间段的面像，以便医生可以综合利用患者的多时间段的面像对患者进行中医面诊。

步骤S32，对每个预定时间段的面部二维图像分别进行仿射变换，得到人脸三个不同视点的多视点图像；具体地，由于光经过锥形内反射镜202后，在数码相机2中形成多视点图像，人脸上的光只经过一次反射即可到达成像焦平面，从而完成多视点成像。在本实施例中，面像重构模块103对获取的人脸二维图像进行仿射变换，在仿射变换时提取人脸二维图像中的径向线并沿水平方向形成一个新的图像，根据多视点成像原理将新的图像沿水平方向按比例分为三份，分别对应数码相机2的三个视点，从而得到人脸三个不同视点的多视点图像。

步骤S33，利用多视点立体匹配法对人脸三个不同视点的多视点图像进行立体重构，得到每个预定时间段的面部三维图像；在本实施例中，面像重构模块103利用多视点立体匹配法分别对得到的人脸三个不同视点的多视点图像进行立体重构，得到二维人脸像素点对应的深度信息，即可得到具有人脸三维结构的面部三维图像。所述多视点立体匹配法为现有技术中对多视点图像进行立体重构的常用技术，本实例不作具体赘述。

步骤S34，将每个预定时间段的面部三维图像标记相应的时间标签，并以每个时间标签为索引将每个预定时间段的面部三维图像存储到在面像数据库中；具体地，面像暂存模块104将每个预定时间段的面部三维图像标记相应的时间标签，并以每个时间标签为索引将每个预定时间段的面部三维图像存储到在面像数据库4中。在本实施例中，所述时间标签包括第一时间段对应的第一时间标签、第二时间段对应的第二时间标签以及第三时间段对应的第三时间标签。所述面像暂存模块104分别利用不同的将每个预定时间段的面部三维图像标记面部三维图像A、面部三维图像B和面部三维图像C，并以每个时间标签作为索引将每个预定时间段的面部三维图像存储到在面像数据库4中。

步骤S33，产生一个面像操作界面和时间控制面板，并将时间控制面板与所述时间标签进行关联。参考图4所示，所述面像操作界面120显示在远程监测终端1的显示屏12上，该面像操作界面120包括第一显示区域1201、第二显示区域1202以及第三显示区域1203。在本实施例中，所述时间关联模块105产生一个面像操作界面120和时间控制面板121并显示在3D显示器13上，并将时间控制面板21与所述时间标签进行关联，以供医生操作时间控制面板21即可调用不同时间段的面部三维图像，从而方便医生对患者在不同时间段进行中医面诊。

步骤S34，在时间控制面板上产生每一个时间标签对应的时间操作按钮，并将时间控制面板显示在面像操作界面的第一显示区域；具体地，时间关联模块105在时间控制面板121上产生每一个时间标签对应的时间操作按钮122，并将时间控制面板121显示在面像操作界面120的第一显示区域1201。参考图4所示，所述时间操作按钮122包括第一时间标签对应的时间操作按钮122、第二时间标签对应的时间操作按钮122、第三时间标签对应的时间操作按钮122。所述时间操作按钮122显示在面像操作界面120的第一显示区域1201，以供医生用鼠标点击或手指触摸不同时间段内的时间操作按钮122。

步骤S35，当医生点击时间控制面板上的各个时间操作按钮时，根据各个时间操作按钮对应的时间标签从面像数据库中获取不同时间段对应的面部三维图像；具体地，当医生需要查看患者在一天内不同时间段内的面部三维图像时，可以点击时间控制面板21上对应的时间操作按钮122。当医生点击时间控制面板21上的各个时间操作按钮122时，面像展示模块106根据各个时间操作按钮122对应的时间标签从面像数据库4中获取不同时间段对应的面部三维图像。由于不同时间段内患者的面部三维图像是通过不同时间标签为索引存储在面像数据库4中，因此面像展示模块106通过在面像数据库4中查找各个时间操作按钮122对应的时间标签，即可从面像数据库4中获取不同时间段对应的面部三维图像。

步骤S36，将不同时间段对应的面部三维图像分别显示在面像操作界面的第二显示区域以供医生针对患者在不同时间段的面像进行中医面诊；具体地，面像展示模块106将不同时间段对应的面部三维图像分别显示在面像操作界面120的第二显示区域1202，以供医生针对患者在不同时间段的面像进行中医面诊。如图4所示，当医生点击第一时间标签对应的时间操作按钮122时，面像展示模块106即可从面像数据库4中获取患者的早上面部三维图像A并显示在第二显示区域1202；当医生点击第二时间标签对应的时间操作按钮122时，面像展示模块106即可从面像数据库4中获取患者的中午面部三维图像B并显示在第二显示区域1202；当医生点击第三时间标签对应的时间操作按钮122时，面像展示模块106即可从面像数据库4中获取患者的中午面部三维图像C并显示在第二显示区域1202。由于远程监控终端1采用3D显示器13，因此不同时间段对应的面部三维图像均可在第二显示区域1202显示出立体效果，从而能够辅助医生提高中医远程面诊的准确性。医生在对患者进行中医远程面诊过程中，可以对患者的多时间段的面部三维图像进行比较分析，进而可以分析病灶在不同时间段的演化过程，在分析的过程中会对不同时间段的面部三维图像进行查看、比较等操作，进而实现对病灶进行量化评估、追踪的功能，并最终给出中医面诊结果和中医面诊意见。

优选地，所述面像操作界面120的第二显示区域1202还包括放大按钮31、缩小按钮32以及翻转按钮33等功能按钮，医生可以选定一个时间段内的面部三维图像进行局部放大、整体缩小以及不同角度的图像翻转等操作，便于医生对各个面部三维图像进行浏览、比较、分析，从而便于医生能够准确地中医面诊意见。例如，医生选定面部三维图像A后，点击放大按钮31可以对面部三维图像A进行局部放大，点击缩小按钮32可以对面部三维图像A进行整体缩小，点击移动按钮33可以对面部三维图像A进行不同角度的图像翻转，进而对患者的面像进行准确的中医诊断。

步骤S37，从显示在第三显示区域内的报告编辑器接收医生输入的中医面诊结果以及中医面诊意见，将中医面诊结果以及中医面诊意见整合为中医面诊报告，并将该中医面诊报告通过通信网络发送至患者终端。在本实施例中，所述报告编辑器123显示在面像操作界面120的第三显示区域1203，当医生完成查看患者不同时间段内的面部三维图像后，即可从报告编辑器123中输入患者的中医面诊报告以及中医面诊意见。报告产生模块107从报告编辑器123接收医生输入的中医面诊结果以及中医面诊意见，将中医面诊结果以及中医面诊意见整合为中医面诊报告，并将该中医面诊报告通过通信网络3发送至患者终端2，以供患者通过浏览自身的中医面诊报告了解自身的身体健康状况。

本发明所述的基于多视点图像立体重构的中医远程面诊处理系统方法，通过患者终端远程获取患者在一天内每个预定时间段(例如早上、中午、晚上)的面部二维图像，并将面像操作界面上的时间控制面板与不同时间段的时间标签进行关联，医生通过设置在医院或家中的监测终端操作时间控制面板上的不同时间按钮，就可以综合利用患者的各个时间段的面部三维图像对患者进行远程中医面诊，分析患者病灶在不同时间段的演化过程，进而实现对患者病灶进行量化评估与远程追踪，并最终给出中医面诊意见，不仅提高了中医面诊结果的准确性，而且无需患者到在每个时间点到医院就诊，提高了就诊效率且方便了患者。此外，本发明还能够将面部二维图像进行三维立体重构得到人脸三维图像，实现在单一面部二维图像中获取人脸的所有结构、纹理和深度信息，从而使获取的人脸信息更完整，进一步地提高了中医面诊结果的准确性。

本领域技术人员可以理解，上述实施方式中各种方法的全部或部分步骤可以通过相关程序指令完成，该程序可以存储于计算机可读存储介质中，存储介质可以包括：只读存储器、随机存储器、磁盘或光盘等。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。