1.本发明涉及行为分析系统及行为分析方法。
背景技术：
：：2.随着计算机性能的飞跃性提高，提出了具有能够处理比以往更大量的数据的服务器装置的大数据分析系统。作为分析对象的大量数据从连接到因特网的iot(internetofthings：物联网)设备远程收集到服务器装置的情况较多。这样，由多个边缘侧的设备(边缘装置)收集数据，经由因特网(云)集中于一台服务器装置来处理大量数据的云服务正在普及。3.例如，在专利文献1中记载了一种信息输出装置(权利要求1)，该信息输出装置具有：输出由传感器获取到的获取信息的第一输出部、以及将所述获取信息中包含的个人信息转换为个人无法确定的属性信息并输出所述属性信息的第二输出部。该信息输出装置计算在收集到的图像数据中反映的顾客的移动路线、货架前行为，将该计算结果文本化后发送给服务器装置，从而使服务器装置作为营销信息进行分析(段落0022)。现有技术文献专利文献4.专利文献1：国际公开第2016/114392号技术实现要素：发明要解决的问题5.如果边缘装置的设备数量增大，则收集并分析来自各边缘装置的数据的服务器装置的负荷也会增大。例如，如果将在边缘装置侧获取到的动态图像数据等大容量的数据直接发送到服务器装置侧，则到服务器装置的通信负荷增大。另外，在服务器装置使用处理负荷高的ai(artificialintelligence：人工智能)处理进行分析的情况下，根据设备数量，服务器装置的处理负荷增大。6.另一方面，为了方便终端用户使用，边缘装置是可穿戴设备或智能手机等小型且低性能的计算机，难以在单个边缘装置中代替服务器装置进行的所有分析处理。7.因此，本发明的主要课题在于，即使边缘装置的设备数量增大，也能够通过各边缘装置和服务器装置协作来分析各个人的行为状态。解决问题的技术手段8.为了解决上述问题，本发明的行为分析系统具有以下特征。本发明是一种行为分析系统，具备分析人物的行为的边缘装置以及处理从所述边缘装置传送的数据的服务器装置，所述行为分析系统的特征在于，所述边缘装置包括：边缘侧分析部，其执行根据拍摄所述人物得到的数据来分析所述人物的行为的分析处理中的前处理；分析结果提取部，其通过根据所述边缘侧分析部的分析结果执行分析处理中的后处理，提取包含用于确定所述人物的信息的数据；以及分析结果传送部，其将所述分析结果提取部提取出的数据传送到所述服务器装置，所述服务器装置包括：数据库，其对每个所述人物存储从所述分析结果传送部传送来的数据；以及服务器侧分析部，其根据所述数据库的数据，执行分析处理中的所述后处理，并将该分析结果显示在分析结果显示部上。其他手段将在后面叙述。发明的效果9.根据本发明，即使边缘装置的设备数量增大，也能够通过各边缘装置和服务器装置协作来分析各个人的行为状态。附图说明10.图1是表示本实施方式的行为分析系统的构成图。图2是表示本实施方式的边缘侧分析部和服务器侧分析部的作用分担的第1例的构成图。图3是表示本实施方式的边缘侧分析部和服务器侧分析部的作用分担的第2例的构成图。图4是表示本实施方式的边缘侧分析部的具体例的构成图。图5是表示本实施方式的图4的边缘侧分析部的变形例的构成图。图6是表示着眼于本实施方式的步行状态分析时的行为分析系统的动作的流程图。图7是本实施方式的从2d影像中检测出人的处理的说明图。图8是关于本实施方式的对在图7中检测到的人提取姿势的处理的说明图。图9是表示本实施方式的ai边缘处理器所处理的数据的表。图10是表示本实施方式的步行分析的结果输出的第1画面图。图11是表示本实施方式的步行分析的结果输出的第2画面图。图12是表示本实施方式的步行分析的结果输出的第3画面图。图13是表示着眼于本实施方式的跌倒状态分析部时的行为分析系统的动作的流程图。图14是表示本实施方式的基于跌倒分析的警报输出的第1画面图。图15是表示本实施方式的基于跌倒分析的警报输出的第2画面图。图16是表示本实施方式的基于跌倒分析的警报输出的第3画面图。图17是本实施方式的行为分析系统的各装置的硬件构成图。具体实施方式11.以下，参照附图对本发明的一实施方式进行说明。12.图1是示出行为分析系统100的构成图。ai边缘处理器(边缘装置)10和云服务器20通过网络50连接而构成行为分析系统100。网络50可以是lan(localareanetwork：局域网)，也可以是wan(wideareanetwork：广域网)，还可以是将lan和wan复合而成的网络。另外，云服务器20是服务器装置的一例，也可以使用云服务器20以外的装置作为服务器装置。13.另外，ai边缘处理器10的台数在图1中为2台，但只要是1台以上即可。另外，也可以在ai边缘处理器10和云服务器20之间的网络50内设置高速缓存服务器(省略图示)。在这种情况下，高速缓存服务器从多个ai边缘处理器10收集数据，并将这些数据集中传送到云服务器20，从而可以减少通信量。14.ai边缘处理器10是感测高龄者(人物)40的身体状态的边缘侧设备。该ai边缘处理器10例如通过以ai的开发者套件为基础进行开发，能够削减开发成本。作为开发者套件，例如市售有nvidia公司的产品即jetsonnano(注册商标)和jetsonxavirnx(注册商标)等小型单板。15.在各ai边缘处理器10上，通过usb(universalserialbus：通用串行总线)等有线连接或bluetooth(注册商标)等无线连接连接有摄像机30。或者，也可以使用在ai边缘处理器10中内置的摄像机30。摄像机30拍摄周围的高龄者40作为动态图像数据。另外，在本实施方式中，将摄像机30的拍摄对象设为高龄者40，但这不过是将行为分析系统100应用于护理事业的一例，拍摄对象(分析对象)的人物不限于高龄者40。在护理事业的一个例子中，通过从摄像机30实时地感测高龄者40的身体状态，能够将其活用于从远程看护高龄者40的云服务。16.ai边缘处理器10具有数据获取部11、边缘侧分析部12、分析结果提取部13和分析结果传送部14。云服务器20具有数据库21、数据提取部22、服务器侧分析部23和分析结果显示部24。数据获取部11从摄像机30对动态图像数据进行获取。边缘侧分析部12和服务器侧分析部23分别分担作用，分析动态图像数据中反映的高龄者40的行为。即，边缘侧分析部12将动态图像数据作为输入，生成分析的前处理数据。分析结果提取部13从由边缘侧分析部12输出的前处理数据中提取服务器侧分析部23的分析处理所需的数据，并将该提取出的数据经由分析结果传送部14传送到云服务器20。17.云服务器20将从分析结果传送部14传送的数据按每个人物(每个ai边缘处理器10)存储在数据库21中。数据提取部22从数据库21中存储的每个人物的数据中提取服务器侧分析部23的分析处理所需的数据。服务器侧分析部23将数据提取部22提取的数据作为输入，分析高龄者40的行为(进行后处理)，将其结果显示在分析结果显示部24上。18.图2是表示边缘侧分析部12和服务器侧分析部23的作用分担的第1例的构成图。边缘侧分析部12具有姿势分析部121和状态分析部122。服务器侧分析部23具有行为分析部231。姿势分析部121根据拍摄高龄者40得到的数据，分析表示各时刻的高龄者40的姿势的数据。例如，步行中的高龄者40的姿势按照站着向前伸出左脚的姿势→向前伸出右脚的姿势→向前伸出左脚的姿势…的顺序，随着时间的经过而变化(详细情况为图8)。在本实施方式中，作为表示姿势的数据表现，例示骨骼数据。骨骼数据作为人体的17个关节(鼻子、右眼、左眼、右耳、左耳、右肩、左肩、左手、右手、左手腕、右手腕、左腰、右腰、左膝、右膝、左脚踝、右脚踝)各自的位置数据而构成。19.状态分析部122根据姿势分析部121分析的姿势的时间变化，对表示高龄者40的状态的数据进行分析(对状态进行分类)。例如，在按照站着向前伸出左脚的姿势→向前伸出右脚的姿势→向前伸出左脚的姿势…的顺序变化时，状态分析部122将高龄者40的状态分类为步行状态。或者，在按照站着但前倾的姿势→右手着地的姿势→整个身体躺在地板上的姿势…的顺序变化时，状态分析部122将高龄者40的状态分类为跌倒状态。20.另外，姿势分析部121和状态分析部122中的至少一方作为在ai边缘处理器10(jetsonnano)上动作的tensorrt模型来安装，从而能够进行高速的推论处理。tensorrt是nvidia公司提供的软件开发套件(sdk：softwaredevelopmentkit)，用于快速执行深度学习推理。21.tensorrt模型的创建处理例如是以下的步骤。(步骤1)在样本收集到的学习用的动态图像数据中，人(监督的作用)赋予检测并追踪人的结果的标签、追踪的人的行为的分类结果的标签(注释)。(步骤2)根据步骤1的动态图像数据，进行机器学习(训练)，由此创建已学习模型。另外，已学习模型通过模型评价来更新。(步骤3)将步骤2的学习模型转换(移植)为tensorrt模型，以创建基于tensorrt的高速推理模型。(步骤4)将步骤3的tensorrt模型配置在边缘侧分析部12上。由此，通过将推论用的动态图像数据输入到tensorrt模型中，能够使检测并追踪动态图像内映出的人、对追踪的人的姿势或行为进行分类的处理高速化。22.行为分析部231根据状态分析部122分析的高龄者40的状态，分析对高龄者40有用的数据。即，行为分析部231根据数据库21内的数据，监视高龄者40的健康信息，生成对护理有帮助的信息。例如，行为分析部231对于状态分析部122分类为步行状态的高龄者40，向高龄者40通知其步行历史的分析结果(详细情况为图10-图12)。或者，行为分析部231对于状态分析部122分类为跌倒状态的高龄者40，对附近的护士通知要求救助的意思(详细情况为图14～图16)。23.图3是表示边缘侧分析部12和服务器侧分析部23的作用分担的第2例的构成图。边缘侧分析部12具有姿势分析部121。服务器侧分析部23具有状态分析部232和行为分析部231。行为分析部231具有与状态分析部122相同的功能。即，与图2的第1例相比，在图3的第2例中，将边缘侧分析部12的状态分析部122移动到了服务器侧分析部23的行为分析部231。由此，在第2例中，通过减轻ai边缘处理器10的处理负担，即使是可穿戴设备等低性能的计算机，也能够用于ai边缘处理器10。另一方面，在图2的第1例中，通过增加前处理，能够减轻云服务器20的负担。24.图4是表示边缘侧分析部12的具体例的构成图。在1台ai边缘处理器10内的状态分析部122中，作为每个状态的分析部，具有步行状态分析部122a和跌倒状态分析部122b。在ai边缘处理器10中，分析结果传送部14的图示symptomcomplex)的指标的tug(timedup&gotest)进行计算。行为分析部231将s24的分析结果输出到分析结果显示部24(s25)。以下，列举输出内容的一个例子。·作为行为分析部231分析了步行信息(步行历史)的结果，将步行特性的历史、步行特征的分布输出到分析结果显示部24。·根据行为分析部231分析的步行能力，将健康风险的预测数据输出到分析结果显示部24。32.图7是从2d影像检测人的处理(s12)的说明图。摄像机30按照各时刻t1、t2、t3的顺序拍摄了从图的左侧向右侧步行的人物。姿势分析部121检测在各时刻t1、t2、t3处的人物的位置(在图示中为围绕人物的四边形)，并且追踪该人物。33.图8是对图7中检测到的人提取姿势的处理(s13)的说明图。姿势分析部121对于在各时刻t1、t2、t3检测出的人物，将各关节设为黑点、将连接这些黑点彼此的线设为骨骼的骨骼数据作为姿势而提取。另外，作为s14，状态分析部122(步行状态分析部122a)计算从时刻t1的人物位置到时刻t2的人物位置的3d距离d12。同样，状态分析部122计算从时刻t2的人物位置到时刻t3的人物位置的3d距离d23。34.然后，作为s15，状态分析部122根据3d距离d12、d23和时刻t1、t2、t3的经过时间，计算人的步行速度。进而，状态分析部122计算某时刻t1的人物的步幅w1。另外，作为s16，分析结果提取部13提取人物的面部图像f1或面部信息作为用于确定所检测出的人物的人信息。所谓面部信息是从面部图像中提取的认证信息，例示了面部认证用的特征信息、眼睛的虹膜信息等。35.图9是表示ai边缘处理器10处理的数据的表。表201是在ai边缘处理器10的内部生成的数据(s11-s15)，表202是分析结果传送部14根据表201向云服务器20传送的数据(s16、s17)。表201将图6的s11的摄像机影像、s12的人的检测结果、s13的姿势信息(2d位置)、s14的3d距离、s15的步行信息对应起来。36.s11的摄像机影像作为jpg(jointphotographicexpertsgroup)图像、png(portablenetworkgraphics)图像，由数据获取部11进行获取。s12的人的检测结果是针对每个人物，映出该人物的区域的框和该人物的id的组合数据。另外，在s12的时刻，人物的id不是用于确定该人物是谁的id，而是用于进行某人物在10秒后移动到哪里的追踪，即用于与其他人物区别开来。37.s13的姿势信息是按人物的共计17个关节，表示图像内的2d位置(纵向位置u、横向位置v)的信息。s14的3d距离是将人物的共计17个关节的每一个的位置信息从图像内的2d位置(u，v)置换为实际空间内的3d位置(x，y，z)的信息，该3d位置的时间差分为3d距离。s15的步行信息例如是人物的步幅或步行速度。38.表202将图6的s16的人信息、s16的步行信息和姿势信息(s13的2d位置(u，v)、s14的3d距离(x，y，z))对应起来。s16的人信息例如作为图8的高龄者f1的确定信息，包含面部的特征(轮廓、嘴的大小等)、衣服的特征(颜色、种类等)。s16的步行信息例如包含人物的状态＝步行中、步幅＝65[cm]、速度＝1.0[m/s]、加速度＝+0.1[m/s的平方]。[0039]图10是表示步行分析的结果输出(s25)的第1画面图。显示画面211具有将横轴设为日期、将纵轴设为步行信息的数值的时序图、和用于与该横轴的日期对应地起动影像数据的再现的“影像”按钮213b。在时序图中，相互区别地(使图表线的颜色或线的种类不同等)显示人物的步幅、步行速度、加速度等s15的步行信息。用户通过确认该图表并按下关心的日期的“影像”按钮213b，能够确认在该日期拍摄的人物的影像数据。[0040]图11是表示步行分析的结果输出(s25)的第2画面图。显示画面212以雷达图的形式显示包含行为分析部231分析的步行能力的人物的各能力(判断力、记忆力、注意力)。各能力按1～5的5个等级进行评价，数值越大，能力越高。另外，对于步行能力以外的能力值，事先测定的结果存储在数据库21中。如该显示画面212那样，通过正确评价并提示高龄者的生活能力，能够适当地识别成为需要护理状态前的衰弱状态。[0041]图12是表示步行分析的结果输出(s25)的第3画面图。显示画面220包括由行为分析部231分析的步行能力的时序图221和由行为分析部231根据该时序图221中的步行能力的变化提出的推荐消息222。由此，通过在成为存在跌倒、骨折的危险性的需要护理状态之前敦促高龄者进行适当的康复治疗，能够帮助有尊严的高龄者自立。[0042]图13是表示着眼于跌倒状态分析部122b时的行为分析系统100的动作的流程图。对于与图6(着眼于步行状态分析部122a的流程图)相同的处理，使用相同的符号并省略说明。ai边缘处理器10的处理(s11-s13)与图6中说明的相同。姿势分析部121从在s11中获取到的2d影像中检测出人物，在2d影像内追踪该人物(s12)。然后，姿势分析部121对在s12中检测到的人物，提取的各时刻的姿势(s13)。[0043]状态分析部122根据在s13中提取的人物的姿势的时间变化，识别(分类)该人物的状态(s14b)。跌倒状态分析部122b判定在s14b中识别的人物的状态是否是跌倒状态(s15b)。如果是跌倒状态(s15b中为是)则进入s16b，如果是就寝状态等其他状态(s15b中为否)则返回s11。[0044]分析结果提取部13从s11的2d影像中提取与图6的s16相同的人信息和关于跌倒状态的人物的信息(跌倒信息)(s16b)。跌倒信息是指例如人物的各时刻的有无跌倒、有跌倒的情况下的跌倒时间(从跌倒起没有起身而经过的时间)。分析结果传送部14将s16b的人信息和跌倒信息(也可以包含s13的姿势信息)经由网络50传送给云服务器20(s17b)。[0045]云服务器20接收s17b的分析结果(人信息、跌倒信息)并存储在数据库21中(s21b)。数据提取部22根据从数据库21读入的人信息，提取在用该人信息表示的2d影像内映出人的区域(人的区域)，从数据库21提取跌倒信息(s22b)。行为分析部231根据在s22中提取的2d影像内的人的区域中映出的信息，识别映出的人是谁，作为其识别结果，确定用于识别人物的id(与图6的s23相同)。[0046]行为分析部231使用在s22b中提取的跌倒信息，对s23的跌倒的人物分析救助的紧急性(s24b)。跌倒时间越长，行为分析部231计算的紧急性越高。另外，在跌倒的人物的周围帮助的其他人物越少(例如，越是在单人间跌倒一个人的状况)，行为分析部231计算的紧急性越高。行为分析部231将s24b的分析结果输出到分析结果显示部24(s25b)。另外，紧急性越高，警报信息的输出程度也越高。所谓输出程度高，是指在画面上强调显示，或者在画面显示的基础上再现警报音(警报)，不仅云服务器20，ai边缘处理器10和高龄者的家属的终端也追加到警报的输出目的地等。[0047]图14是表示基于跌倒分析的警报输出(s25b)的第1画面图。画面图220a包括表示跌倒状态的高龄者40及其周围存在的其他人物的位置关系的示意图栏221a、和作为行为分析部231的分析结果的警报信息的输出栏222a。在该示意图栏221a的状况下，分析高龄者a的行为的ai边缘处理器10检测到高龄者a的跌倒状态，但也检测到护士位于同一房间内的附近。因此，由于可以期待护士立即帮助高龄者a，所以行为分析部231将“不需要通知”的分析结果输出到警报信息的输出栏222a。[0048]图15是表示基于跌倒分析的警报输出(s25b)的第2画面图。画面220b与图14同样地包含示意图栏221b和警报信息的输出栏222b。在该示意图栏221b的状况下，ai边缘处理器10不仅检测到高龄者a的跌倒状态，还检测到附近的高龄者a的跌倒状态。另一方面，护士在该高龄者a、b所在的房间附近待命的情况也事先登记在数据库21中。因此，行为分析部231为了使护士转为帮助高龄者a、b，而将“高龄者a、b跌倒了。自动通知附近的护士”的分析结果输出到警报信息的输出栏222b。另外，行为分析部231向护士保持的终端发送该自动通知。[0049]图16是表示基于跌倒分析的警报输出(s25b)的第3画面图。画面图220c与图14同样地包含示意图栏221c和警报信息的输出栏222c。在该示意图栏221c的状况下，ai边缘处理器10检测到高龄者a在单室处于跌倒状态。另一方面，在数据库21中登记有护士不在该高龄者a所处的房间的附近的情况。因此，行为分析部231为了向高龄者a的家属等通知紧急事态，而将“高龄者a跌倒了，附近没有护士。请紧急联络急救”的分析结果输出到警报信息的输出栏222c。由此，高龄者a的家属能够迅速地请求急救活动。[0050]以上，如在图14-图16中说明的那样，即使是由一台ai边缘处理器10检测到的“高龄者a为跌倒状态”的相同状况，也能够根据与存在于其周围的其他人的关系，使警报信息的输出有无、输出内容变化。这是因为服务器侧分析部23一并参照高龄者a的跌倒状态和其周围的人物的状态来决定警报信息。因此，作为云服务，除了ai边缘处理器10单独分析各高龄者的跌倒状态的构成之外，还一并预先构建云服务器20在数据库21中管理多个人物的状态的构成，这是有效的。[0051]图17是行为分析系统100的各装置(ai边缘处理器10、云服务器20)的硬件构成图。行为分析系统100的各装置构成为具有cpu901、ram902、rom903、hdd904、通信i/f905、输入输出i/f906和媒体i/f907的计算机900。通信i/f905与外部的通信装置915连接。输入输出i/f906连接到输入输出装置916。媒体i/f907从记录介质917读写数据。此外，cpu901通过执行读取到ram902中的程序(也称为应用程序或其简称即应用)来控制各处理部。而且，该程序也可以通过通信线路进行发布，或者记录在cd-rom等记录介质917中进行发布。[0052]在以上说明的本实施方式中，削减了将大容量的摄像机30的影像数据直接从ai边缘处理器10传送到云服务器20、云服务器20进行全部分析处理的云服务的负荷。即，ai边缘处理器10的边缘侧分析部12对影像数据进行前处理并削减数据量，然后传送到云服务器20，由服务器侧分析部23进行后处理。由此，能够以低成本且低负荷实现实时且远程地感测人的身体状态的云服务。[0053]另外，在ai边缘处理器10和云服务器20中，能够以如下方式分散负荷。·由于不是向网络50传送大容量的影像数据，而是传送被前处理而削减了数据量的数据，所以能够削减通信负荷。·ai边缘处理器10不承担所有的分析处理，而只承担一部分的前处理，所以即使在可穿戴设备或智能手机等小型且低性能的计算机中也能够动作。·云服务器20接收由ai边缘处理器10进行了前处理后的数据，仅进行后处理即可，因此能够削减处理负荷。符号说明[0054]10ai边缘处理器(边缘装置)11数据获取部12边缘侧分析部13分析结果提取部14分析结果传送部20云服务器(服务器装置)21数据库22数据提取部23服务器侧分析部24分析结果显示部30摄像机40高龄者(人物)50网络100行为分析系统121姿势分析部122状态分析部122a步行状态分析部122b跌倒状态分析部231行为分析部232状态分析部。当前第1页12当前第1页12