专利名称：非接触式的心脉量测方法及其系统的制作方法
技术领域：
本发明涉及一种心脉率量测的技术，特别是一种运用可见光影像的非接触式的心脉量测方法及其系统。
背景技术：
心脉率为人体的重要生理信号之一，故医疗人员或个人常会藉由量测心脉率，以判断生理状态。现有的心脉量测器材多为接触式装置，较为常见有三种第一种,其为血氧浓度计(Pulse Oximeter),其为量测人体血液中血红素带氧能力的仪器，该仪器利用非侵入式光技术，藉出不同波长的光源，于穿透人体组织，如手指处，再利用穿透光源变化量计算出人体血液中带氧浓度变化的信号，并配合程序运算，以得出血氧浓度与心脉值；第二种,其为脉搏/血压计(Sphygmomanometer),其使用气囊充气挤压动脉达到阻止血液流动，而后在慢慢泄压，在此过程中，一压力传感器检测气囊的气压与微小脉动，以量测心脉率与血压；第三种，其为心电图(Electrocardiogram),其于一受测者的身体粘贴多个感应片，藉由感应片感测心脉率。如上所述的三种接触式装置皆单次仅可量测一人，无法进行连续性多人量测，心电图的感应片易造成受测者心理上的不适，并且心电图的设备较为昂贵，亦不适用。
为了可扩展至多人心脉量测应用，现今已开发有非接触式的心脉量测方式，其具有两种第一种，其利用远红外光装置感测人体的外显特征，再进一步分析影像的差异度，以推估心脉率；第二种，其利用可见光的心脉量测，其以摄影机拍摄并检测人脸，再以人工方式标示人脸中多组区域，或采用全人脸区域，以分析血液流动于人脸影响产生的周期变化，而估测心脉率。如上所述的二种非接触式的心脉量测方式，远红外光装置的价格昂贵，较不普遍，可见光的心脉量测虽可结合人脸检测算法于一画面中标示出多组人脸，而达到单次多人的心脉量测，但仅适用于正面人脸，并且需要高运算量的算法，而且人脸区域中包含许多未含心脉信息的无意义区域，如眉毛、眼睛、鼻孔或胡须，该无意义区域可能影响准确度。
发明内容
本发明所要解决的技术问题是提供一种非接触式的心脉量测方法及其系统，以达到全自动非接触方式且单次多人的心脉率估量。为了实现上述目的，本发明提供了一种非接触式的心脉量测方法，其步骤包含有
视频撷取，撷取包含至少一人体皮肤区域的视频或影像的图案信息；肤色检测，判断该图案信息中与肤色相近的像素点，以输出该图案信息中各像素是否为肤色点的旗标值，以得知图案信息中所有肤色点与其对应的色彩值；目标物标记，决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息；色彩统计，统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值；目标物追踪，于至少一目标物区域中在多个时间点的空间关系，以取得至少一目标物的移动轨迹；频域转换，统计多个时间点的数据，并将该数据转换至频域，以得知该信号分布的频带及比例；心脉检测，依据该图案数据的相邻画面的时距，以计算出各频带所代表的心脉率。为了实现上述的目的，本发明还提供了一种非接触式的心脉量测系统，其包含有一可撷取含有至少一人的人体皮肤区域的视频或影像的图像信息的视频撷取模块；以及一依据该图像信息，以计算出至少一心脉率的心脉运算模块。本发明使用低运算量的肤色检测器快速获得肤色区域，通过标记与追踪等程序区分出画面中待测目标物的所在区域，藉由统计各目标物于不同时间点的色彩特征值，再搭配频域转换方法以量测出各目标物的心脉率数值。如上所述的非接触式的心脉量测方法及其系统，该视频撷取模块可为摄影机，或屏幕画面、视频档案、网络视频串流的影像撷取程序等，并且本发明无需高运算量的人脸检测算法，故易于任何系统中实施，并且可应用在人体多个部位，例如头颈、手臂及手掌等区域，以估测心脉率，藉此达到全自动单次量测多人的心脉率。本发明的技术效果在于本发明的方法及其系统实现了全自动非接触方式且单次多人的心脉率估量。其可应用视频撷取模块撷取影像，该视频撷取模块可为摄影机，或屏幕画面、视频档案、网络视频串流的影像撷取程序等，并且全自动单次量测多人的心脉率，而且无须高运算量的人脸检测算法，以及可应用于人体的多个部位，如头颈、手臂及手掌等区域，以估测心脉率。本发明可应用的领域可包含有通用性健康评估、生理及心理状况预测、智能房间(Smart Room·)、人机互动(Human Computer Interaction)、测谎测试(PolygraphyTesting)、意图辨识(Intent Identification)或其它需要非接触式量测心脉率的应用领域。以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
图1为本发明的非接触式的心脉量测系统的示意图；图2为本发明的视频撷取模块的第一实施例的示意图；图3A为本发明的视频撷取模块的第二实施例的示意图；图3B为本发明的参考模板对于视频撷取模块的第二实施例的示意图4A为本发明的视频撷取模块的第三实施例的示意图；图4B为本发明的参考模板对于视频撷取模块的第三实施例的示意图；图5为本发明的心脉运算模块的示意图；图6为本发明的非接触式的心脉量测方法的流程示意图；图7A为撷取的图案信息的示意图；图7B为经肤色检测后的图案信息的区域影像的示意图；图7C为所标记出的目标物的位置的示意图；图8为色彩特征值(color value)与巾贞索引(frame index)的色彩时序统计图；图9A至图9C为序列数据经频域转换的转换结果统计图；图10为序列数据调整的流程示意图；图11为至少三人在一图案数据的画面中的示意图；图12为每一人具有至少二个目标物的示意图。其中，附图标记10 视频撷取模块20 心脉运算模块 21 肤色检测模块22 目标物标记模块23 色彩统计模块24 目标物追踪模块25 频域转换模块26 心脉估测模块30 数据载体40 示装置50 摄影机60 摄影机61 参考模板70 手持通信装置700 摄影机71 参考模板80 86 步骤90 M步骤E 手掌F 脸部A 头颈B 手臂内侧C 手臂外侧D 掌心A1、A2 头颈B1、B2手臂内侧
Cl、C2手臂外侧D1、D2 掌心
具体实施例方式下面结合附图对本发明的结构原理和工作原理作具体的描述请配合参考图1所示，本发明的一种非接触式的心脉量测系统，其包含有一视频撷取模块10、一心脉运算模块20、一数据载体30与一显示装置40。请配合参考图2至图4所示，视频撷取模块10撷取含有至少一人的人体皮肤区域的视频或影像的图像信息，该图像信息的格式可为三原色(Red、Green与Blue，RGB)、True-Color颜色空间(亮度Luminance、色度Chrominance与浓度Chroma,简称YUV)或色彩属性模式(色相、饱和度与明度，简称HSV)，视频撷取模块10可为摄影机50、具有参考模板61的摄影机60(如图3A所示)、具有摄影机700的手持装置70，或者一可撷取画面、视频档案、网络视频串流的程序，摄影机50、60可为网络摄影机，该手持装置70可进一步具有一参考模板71 (如图4B所不)。请配合参考图5所示，心脉运算模块20具有一肤色检测模块21、一目标物标记模块22、一色彩统计模块23、一目标物追踪模块24、一频域转换模块25与一心脉估测模块26。肤色检测模块21判断该图案信息中与人体肤色相近的像素点，并输出肤色点的旗标值。目标物标记模块22依据肤色点的旗标值，以得出至少一目标物的位置，以及取得与统计目标物所具有的像素信息。色彩统计模块23依据目标物，以得出至少一目标物区域的色彩特征值。目标物追踪模块24追踪目标物，而得到各目标物区域于多个时间点的空间关系，以取得至少一目标物的移动轨迹。频域转换模块25统计多个时间点的数据，并将其转换至频域，以得出至少一信号分布的频带(Band，b)及其比例。心脉估测模块26依据一已知的图像信息的相邻画面的时距，以计算出各频带所代表的心脉率，心脉率为一单位时间内的心跳总数。数据载体30可储存心脉率或运算所需的参数。显示装置40可显示心脉率。请配合参考图6所示，本发明的一种非接触式的心脉量测方法，其步骤包含有视频撷取80，其经由视频撷取模块10，以撷取包含至少一人体皮肤区域的视频或影像的图案信息，该图案信息的取得可由至少一自画面撷取的影像、至少一所开启的视频档案、至少一所连接的视频串流、至少一摄影机所拍摄的影像或至少一通信装置所拍摄的影像，该图案信息依一时序储存于至少一可读取装置中，以供读取运算，该可读取装置可为一内存，该图案信息的格式可为RGB、YUV或HSV。请配合参考图7A所示，其为经撷 取的图案信息，其显示一头颈A、手臂内侧B、手臂外侧C与掌心D的区域。肤色检测81，心脉运算模块20的肤色检测模块21，其判断图案信息中与肤色相近的像素点，以输出图案信息中各像素是否为肤色点的旗标值，其依据该图案信息的格式，并依一类神经网络(Neural Networks)为基础的色彩分类，以作肤色检测，经肤色检测后，以得知图案信息中所有肤色点与其对应的色彩值，该色彩分类系详述于K. K. Bhoyarand O. G.Kakde, " Skin color detection model using neural networks and itsperformance evaluation, " Journal of Computer Science, vol. 6, pp.955-960,2010,故在此不作赘述。请配合参考图7B所示，其经肤色检测后的图案信息的区域影像，如图所示，其为一头颈Al、手臂内侧B1、手臂外侧Cl与掌心Dl的区域影像。其中，t为一时间点，令It为时间点t的视频数据，称为单帧画面或画格，pt= Ic1,C2, , CkI为It上某画素Xt的色彩,其中C1, c2, . . . , Ck为各色彩频道的数值,举例而言，若以RGB24为例k = 3、Ck e
。藉由视频撷取程序可获得各画素的色彩值pt。目标物标记82，心脉运算模块20的目标物标记模块22，其决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息。该目标物标记82可有下列两种方式 其一，依据该旗标值，并通过连通组件标记(Connected Component Labeling)的方法，将聚邻的肤色点标记为相同的卷标，以形成一区域，再通过一设定临界值以过滤面积太小或太大的区域，符合该设定临界值的区域则视为目标物。该连通组件标记的方法详述于 L. G. Shapiro and G. C. Stockman, Computer Vision. Upper Saddle River PrenticeHall, 2001.，故在此不作赘述。如图7C所示，其通过连通组件标记的运算，以求得所标记出的目标物的位置，即为一头颈A2、手臂内侧B2、手臂外侧C2与掌心D2。另一，定义至少一感兴趣区域，请再配合参考图3或4所示，参考模板61、71为前述的感兴趣区域，如图3A、3B所示，举例而言，若将一手掌E放置于参考模板61，摄影机60撷取手掌E的图案信息，该图案信息于肤色检测81的步骤后成为旗标值，则位于该参考模板61范围中的旗标值则为目标物，简而言之，即上述的手掌E与参考模板61的迭合位置；请再配合参考图4A、4B所示，手持装置70撷取一脸部F的图案信息，如前所述，该脸部F与参考模板71的迭合位置则为目标物，如前所述的手掌E与脸部F仅用于说明，而非限制，若所得的图案信息的尺寸可与参考模板迭合，则任何图案信息皆可应用。色彩统计83，心脉运算模块20的色彩统计模块23，其统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值，其计算公式如下
权利要求
1.一种非接触式的心脉量测方法，其特征在于，包含有步骤 视频撷取，撷取包含至少一人体皮肤区域的视频或影像的图案信息； 肤色检测，判断该图案信息中与肤色相近的像素点，输出该图案信息中各像素是否为肤色点的旗标值，以得知图案信息中所有肤色点与其对应的色彩值； 目标物标记，决定至少一待量测的目标物的位置，以及取得与统计目标物所具有的像素信息； 色彩统计，统计该图案信息中的单一画面的目标物，以得至少一目标物区域的色彩特征值； 目标物追踪，追踪至少一目标物区域中在多个时间点的空间关系，以取得至少一目标物的移动轨迹； 频域转换，统计多个时间点的数据，并将该数据转换至频域，以得知该信号分布的频带及比例； 心脉检测，依据该图案数据的相邻画面的时距，以计算出各频带所代表的心脉率。
2.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该视频撷取的步骤中，该图案信息的取得可由至少一自画面撷取的影像、至少一所开启的视频档案、至少一所连接的视频串流、至少一摄影机所拍摄的影像或至少一手持装置所拍摄的影像，该图案信息依一时序储存于至少一可读取装置中。
3.如权利要求2所述的非接触式的心脉量测方法，其特征在于，在该视频撷取的步骤中，该可读取装置可为一内存，该图案信息的格式可为RGB、YUV或HSV之一。
4.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该肤色检测的步骤中，其依一类神经网络为基础的色彩分类，以作肤色检测。
5.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物标记的步骤中，其依据该旗标值，并通过连通组件标记的方法，将聚邻的肤色点标记为相同的卷标，以形成一区域，再通过一设定临界值以过滤面积太小或太大的区域，符合该设定临界值的区域则视为目标物。
6.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物标记的步骤中，其定义至少一感兴趣区域，则位于该感兴趣区域范围中的旗标值为目标物。
7.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该色彩统计的步骤中，该色彩特征值的计算公式为
8.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该目标物追踪的步骤中，其记录该图案信息的每张画面的目标物的位置，并将相邻画面中坐标重叠的目标物视为单一物体，以记录其轨迹。
9.如权利要求8所述的非接触式的心脉量测方法，其特征在于，在该目标物追踪的步骤中，其于一时间点t，该图案信息的画面的目标物区域Rit，可得画面中的可追踪的目标物数量Mt及目标物信息OjtJ = 1,2, ...Mt，其中目标物区域4属于Ojt，而O7t为至少一目标物于各时间点的色彩特征值集合
10.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其该转换的方法可为离散傅立叶转换、快速傅立叶转换、离散余弦转换、哈达码转换或离散小波转换的其中之一。
11.如权利要求10所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其以一第j个追踪的目标物，其离散傅立叶转换公式为
12.如权利要求10所述的非接触式的心脉量测方法，其特征在于，在该频域转换的步骤中，其进一步具有一序列数据调整，其步骤具有 设定初始值，在一预先设定的心脉量测时段内，一视频撷取装置的帧率可得其最小及最大的序列数据的数量，于一时段内由小至大选用数个序列数据量作为预设参数，令集合W={w1； W2, -,WfflI为预先选用的序列数据量集合且数值由小而大排列，其元素总数为Iwl，以及设定一初始值m = I,以使序列数据的数量T = Wm ; 输入视频数据It ; 过滤可处理的数据数量范围，判断上述的It，是否符合t彡wl，m< |W|的条件，若为是，则至下一步骤； 判断是否调整序列数据的数量，上述步骤的It，是否符合t ^ wffl+l，若为是，则至下一步骤； 扩展序列数据的数量，增加序列数据的数量。
13.如权利要求1所述的非接触式的心脉量测方法，其特征在于，在该心脉检测的步骤中，该图案数据的帧率为K fps，T为序列数据的数量，则频带b与心脉率H(b)的转换公式为
14.如权利要求13所述的非接触式的心脉量测方法，其特征在于，在该心脉检测的步骤中，其设定一合理心脉率的最小值及最大值，对该目标物取此合理心脉率区间内具最强系数的频带 /，并搭配方程式转换求得目标物的心脉率，Xj (b)为频带系数值，频带办;_的算式为
15.一种非接触式的心脉量测系统，其特征在于，包含有 一可撷取含有至少一人的人体皮肤区域的视频或影像的图像信息的视频撷取模块；以及 一依据该图像信息，以计算出至少一心脉率的心脉运算模块。
16.如权利要求15所述的非接触式的心脉量测系统，其特征在于，还具有一可储存该心脉率或运算所需参数的数据载体与一可显示该心脉率的显示装置。
17.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该图像信息的格式可为RGB、YUV或HSV的其中之一。
18.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该视频撷取模块可为一摄影机、一具有摄影机的手持装置或一可撷取屏幕画面、视频档案或网络视频串流的程序。
19.如权利要求18所述的非接触式的心脉量测系统，其特征在于，该摄影机具有一参考模板，该摄影机可为一网络摄影机，或者该手持通信装置可进一步具有一参考模板。
20.如权利要求15所述的非接触式的心脉量测系统，其特征在于，该心脉运算模块具有一判断该图案信息中与人体肤色相近的像素点，并输出肤色点的旗标值的肤色检测模块；一依据肤色点的旗标值，以得出至少一目标物的位置，以及取得与统计目标物所具有的像素信息的目标物标记模块；一依据该目标物，以得出至少一目标物区域的色彩特征值的色彩统计模块；一追踪该目标物，而得到各目标物区域于多个时间点的空间关系，以取得至少一目标物的移动轨迹的目标物追踪模块；一统计多个时间点的数据，并将其转换至频域，以得出至少一信号分布的频带及其比例的频域转换模块；一依据一已知的图像信息的相邻画面的时距，以计算出各频带所代表的心脉率的心脉估测模块。
全文摘要
一种非接触式的心脉量测方法及其系统，其使用一视频撷取模块撷取至少一可见光影像，再通过一心脉运算模块将可见光影像予以标记与追踪，以得出至少一待测目标物，并统计各待测目标物于多个时间点的色彩特征值，经频域转换，以量测出各待测目标物的心脉率数值，而可达到全自动非接触方式且单次多人的心脉率估量，以使其可广泛地应用于各种量测心脉率的领域。本方法及其系统具有成本低且易于设置、全自动非接触单次量测多人的心脉率与可应用于人体多个区域以估算心脉率的优点。
文档编号A61B5/024GK103040452SQ20111037164
公开日2013年4月17日 申请日期2011年11月10日 优先权日2011年10月14日
发明者李国征, 洪邦展, 蔡洛纬 申请人:财团法人工业技术研究院