一种基于流媒体的人脸识别方法与流程

本发明通常涉及计算机图像信号处理领域，更具体而言，涉及一种基于流媒体的人脸识别方法。

背景技术：

人脸识别是计算机视觉信息处理的重要分支，是指基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列相关技术。人脸识别技术在国家安全、军事安全和公共安全等领域都有着广泛的应用，例如海关出入境管理，持卡人身份验证，机器人研究，真实感虚拟游戏等场景中。另外，随着信息技术的快速发展，对图像数据的传输和及时回放有了更高要求，在此基础上，流媒体技术应用而生。流媒体技术是一种新型的网络多媒体技术，它把多媒体数据压缩技术，数据流调度策略以及网络数据传输控制技术有机地结合起来，使用户可以在下载数据的同时就可以进行观看，大大地缩短了用户的等待延迟，而且节约了网络资源。流媒体图像业务是指终端一边下载一边播放图像数据。其特点是用户无需等待图像内容全部下载完就可以观看，只需要待下载的数据缓存到一定量后就可以播放，然后在播放过程中，新的数据依次缓存到终端，以保持播放的连续性。

由于应用领域的需求，将上述技术进行结合继而能够解决对象识别领域中的诸多问题。诸如，身份识别需要快速、准确、灵活。而现有技术中，由于数据获取、处理和传输的原因，在数据的获取、处理、结果确定中都存在相当多的不足。往往待处理的源数据的获取速度不尽如人意，而且由于图像数据在转换、传输过程中的各种原因，会导致数据不够干净，导致后续识别过程耗时、准确度降低，并且由于更多的计算而导致更多的功率消耗。另外，现有技术中的图像捕获设备，往往固定在墙壁或者天花板上，捕获镜头与固定设备之间往往采用固定连接，导致由于固定的单一拍摄角度，如果对象移动出固定拍摄角度覆盖的区域，则无法继续跟踪，如果想继续跟踪，必须增加图像捕获设备的数量，并且此时需要进行图像的分割、拼接和衔接，这既带来设备增加和相应的功耗增加，也导致成本的增加。即使图像捕获设备可以相对于固定设备移动，但最多也是其旋转轴在一个平面的旋转，无法保证进行三维空间的全覆盖式捕获。现有技术中缺乏这方面的成果。

技术实现要素：

本发明的目的之一是提供一种基于流媒体的人脸识别方法。通过该方法，可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗。

本发明为解决上述技术问题而采取的技术方案为：一种基于流媒体的人脸识别方法，包括以下步骤：在步骤s1中，调整图像捕获设备的角度，并将角度设置信息发送给前端系统；在步骤s2中，前端系统将该信息处理后发送给后端系统；在步骤s3中，后端系统确定是否需要再次调整角度；在步骤s4中，经确定是否需要调整后，由图像捕获设备捕获图像数据；在步骤s5中，前端系统将图像数据进行流媒体处理，并且发送给后端系统；在步骤s6中，后端系统接收图像数据并处理，识别其中的人脸；以及在步骤s7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果。

根据本发明的另一个方面，在步骤s2中，前端系统将该信息处理后发送给后端系统进一步包括：在步骤s21中，前端系统将角度设置信息和在预设时间段内捕获的信息进行处理；以及在步骤s22中，前端系统将处理的信息发送给后端系统。

根据本发明的另一个方面，在步骤s3中，后端系统确定是否需要再次调整角度进一步包括：后端系统根据接收的处理的信息，确定是否需要再次调整角度，如果确定图像捕获设备c的捕获角度设置得适当，则在步骤s4中直接进行图像的捕获；如果确定图像捕获设备c的捕获角度设置得不适当，即需要再次调整捕获角度，则返回调整角度，并在步骤s4中调整后进行图像的捕获。

根据本发明的另一个方面，在步骤s1中，调整图像捕获设备的角度，并将角度设置信息发送给前端系统，该前端系统1包括固定设备a、调节设备b、图像捕获设备c、第一处理设备d和第一收发设备e，固定设备a与调节设备b耦合，调节设备b与图像捕获设备c以及第一处理设备d分别耦合，并且第一处理设备d和第一收发设备耦合；调节设备b包括顺序连接的连接构件b0，可旋转电动构件b1，连接构件b2，可旋转电动构件b3，连接构件b4，可旋转电动构件b5和连接构件b6；当可旋转电动构件均通过有线链路接收电信号时，连接构件为中空结构，其内部设置有电气配线，而当可旋转电动构件均通过无线链路接收电信号时，连接构件可以为中空结构或者实心结构，此时可旋转电动构件内部设置有近距离通信模块和信号处理模块，其与同样设置有近距离通信模块的第一处理设备通信；连接构件b0的连接设置为：连接构件b0直接或间接地连接到固定设备a和第一处理设备中的任一个或两者；调节设备b中的连接构件b0，可旋转电动构件b1，连接构件b2，可旋转电动构件b3，连接构件b4，可旋转电动构件b5，连接构件b6具体设置为：三个可旋转电动构件为圆柱体结构，其各自包括多个可以相互运动的子构件，多个子构件都可以部分或全部地相对于其他设备运动；其中可旋转电动构件b1、b3、b5的圆柱体底面的中轴线之间相互呈90°，即，这些中轴线中的每一个被彼此垂直地放置，使得三个可旋转电动构件的旋转轴覆盖所有的三维方向，即x、y和z方向；结构可整体上或部分地是直的、弯曲的或成角度的；进一步地，连接构件可以采用l、s、u、v、螺旋形。

根据本发明的另一个方面，在步骤s5中，前端系统将图像数据进行流媒体处理，并且发送给后端系统进一步包括：在步骤s51中，前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息；在步骤s52中，前端系统中的第一处理设备将该数据进行编码压缩，具体包括：先将图像数据分割成片段，之后再分割为子片段，继而对子片段进行预测，其采用以下方式：由邻近的已完成编码的重新建立的帧为参考帧，执行移动补偿，之后完成后，用其数值减目前子片段的实际数值，生成差分数据，经过变换后进行数值化，经由熵编码，将熵编码的数据与预测的方向和移动向量合并成压缩的数据流；在步骤s53中，前端系统中的第一处理设备将该数据流进行后续打包处理，并将打包处理的数据输入到缓冲器中；以及在步骤s54中，第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输。

根据本发明的另一个方面，在步骤s54中，第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输，其中无线通信包括wi-fi，蓝牙(bt)，近场通信(nfc)，全球定位系统(gps)，以及包括lte、lte-a、cdma、wcdma、umts、wibro、gsm的蜂窝通信中的至少一个；有线通信包括通用串行总线(usb)、高清晰度多媒体接口(hdmi)、rs-232和pots中的至少一个。

根据本发明的另一个方面，在步骤s6中，后端系统接收图像数据并处理，识别其中的人脸进一步包括：在步骤s61中，其中后端系统中的第二收发设备接收由第一收发设备发送的图像，并且将其输入到识别设备中；在步骤s62中，识别设备根据预设的协议，将输入的数据进行解码，获得图像序列；在步骤s63中，识别设备对图像序列进行预处理，其包括灰度处理、光照补偿、平滑去噪、图像锐化等，以降低干扰信号。其中为了降低由于图像的捕获、传输等过程中带来的噪声，本发明采用去噪方式来减少干扰，为后续的识别准备准确的图像数据；在步骤s64中，对图像中的变化进行判断，当确定前景区域超过第一临界值，则确定有变化，进而进入步骤s65，而当确定前景区域未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作；在步骤s65中，根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据，该特征数据包括特征分量，该特征分量包括特征点间的欧氏距离、曲率和角度；使用pca算法提取面部数据的特征值形成面部特征矩阵，使用神经网络分类方法进行人脸矩形的确定，确定人脸矩形中的左右眼、左右眉、鼻尖、左右嘴角、下巴，对矩形的灰度图进行旋转和缩放，并提取上述部位的特征；人脸矩形的操作包括：确定人脸并标记，设定人脸的n*n像素，其中n是正整数；突出图像中的人脸并设置矩形，确定矩形大小并显示；在步骤s66中，确定人脸信息，并将人脸的图像矩阵和信息储存到存储设备h内。

根据本发明的另一个方面，后端系统2包括第二收发设备f，识别设备g，存储设备h，第三收发设备i；步骤s63进一步包括以下步骤：提取图像序列中的子图像的几何信息，诸如尺寸等；构建灰度图；进行色彩空间的变换；创建存储分区并执行初始化操作；对灰度图的条形图进行处理。

根据本发明的另一个方面，在步骤s7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果进一步包括：通过后端系统的第三收发设备i，经由链路向数据库3发送请求，并将人脸数据与已存储的人脸数据进行比较，并得到数值，如果该数值超过第二临界值，则确定识别对象的身份信息，否则返回无对应信息。

根据本发明的另一个方面，该方法进一步包括：在步骤s8中，后端系统根据接收的图像数据，确定是否需要又一次调整角度，以便跟踪识别的人脸对应的对象，经确定需要调整后，后端系统通过第二收发模块，向前端系统发送又一次调整角度的反馈信息，前端系统基于此重复从步骤s1开始继续执行。

附图说明

在附图中通过实例的方式而不是通过限制的方式来示出本发明的实施例，其中相同的附图标记表示相同的元件，其中：

根据本发明的示范性实施例，图1图示基于流媒体的人脸识别方法的流程图。

根据本发明的示范性实施例，图2图示前端系统的结构功能图。

根据本发明的示范性实施例，图3a和3b图示调节设备的结构功能图和细节图。

根据本发明的示范性实施例，图4图示后端系统的结构功能图。

根据本发明的示范性实施例，图5图示基于流媒体的人脸识别系统。

具体实施方式

在下面的描述中，参考附图并以图示的方式示出几个具体的实施例。将理解的是：可设想并且可做出其他实施例而不脱离本公开的范围或精神。因此，以下详细描述不应被认为具有限制意义。

根据本发明的示范性实施例，图1图示基于流媒体的人脸识别方法的流程图。

在步骤s1中，调整图像捕获设备的角度，并将角度设置信息发送给前端系统；

在步骤s2中，前端系统将该信息处理后发送给后端系统；

在步骤s3中，后端系统确定是否需要再次调整角度；

在步骤s4中，经确定是否需要调整后，由图像捕获设备捕获图像数据；

在步骤s5中，前端系统将图像数据进行流媒体处理，并且发送给后端系统；

在步骤s6中，后端系统接收图像数据并处理，识别其中的人脸；

在步骤s7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果。

具体地，在步骤s1中，调整图像捕获设备的角度，并将角度设置信息发送给前端系统，其中如图2中所示，前端系统1包括固定设备a、调节设备b、图像捕获设备c、第一处理设备d和第一收发设备e，其中固定设备a与调节设备b耦合，调节设备b与图像捕获设备c以及第一处理设备d分别耦合，并且第一处理设备d和第一收发设备耦合。可选地，前端系统1可以不包括固定设备a。其中调节设备b的功能结构图如图3a中所示，其中调节设备b包括顺序连接的连接构件b0，可旋转电动构件b1，连接构件b2，可旋转电动构件b3，连接构件b4，可旋转电动构件b5，连接构件b6。优选地，为了增强灵活性，可以使用更多的连接构件和可旋转电动构件。其中连接构件起连接支撑作用，可旋转电动构件起根据电信号而旋转的作用；并且当可旋转电动构件均通过有线链路接收电信号时，连接构件为中空结构，其内部设置有电气配线，而当可旋转电动构件均通过无线链路接收电信号时，连接构件可以为中空结构或者实心结构，此时可旋转电动构件内部设置有近距离通信模块和信号处理模块，其与同样设置有近距离通信模块的第一处理设备通信。其中连接构件b0的连接设置为：如果前端系统1不包括固定设备a时，连接构件b0直接或间接地连接到第一处理设备；如果前端系统1包括固定设备a时，连接构件b0可以直接或间接地连接到固定设备a和第一处理设备中的任一个或两者。调节设备b中的连接构件b0，可旋转电动构件b1，连接构件b2，可旋转电动构件b3，连接构件b4，可旋转电动构件b5，连接构件b6具体设置为：三个可旋转电动构件为圆柱体结构，如图3b中所示，其各自包括多个可以相互运动的子构件bb1、bb2……，为了简单起见，图3b仅仅示出两个子构件，并且bb1固定不动而bb2相对于其旋转运动，然而本领域普通技术人员可以理解：可以使用更多个子构件，并且多个子构件都可以部分或全部地相对于其他设备运动。其中可旋转电动构件b1、b3、b5的圆柱体底面的中轴线之间相互呈90°，即，这些中轴线中的每一个被彼此垂直地放置，使得三个可旋转电动构件的旋转轴覆盖所有的三维方向，即x、y和z方向，继而使得调节设备可以在空间中以任何角度旋转，进而使得b6连接的图像捕获设备c能够不留死角地捕获整个空间中的图像数据，从而提高捕获数据的多样性、灵活性，提高后续人脸识别的针对性，并且能够减少图像捕获设备的使用数量，降低总功耗和成本。具体地，结构可整体上是直的，或者其在整个某些部分中可以是弯曲的或成角度的，这取决于设备的应用区域的要求；进一步地，连接构件可以采用任何形状，诸如而不限于l、s、u、v、螺旋形等。

通过以上流媒体的操作，在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性。

具体地，在步骤s2中，前端系统将该信息处理后发送给后端系统进一步包括：

在步骤s21中，前端系统将角度设置信息和在预设时间段内捕获的信息进行处理；以及

在步骤s22中，前端系统将处理的信息发送给后端系统。

具体地，在步骤s3中，后端系统确定是否需要再次调整角度进一步包括：

后端系统根据接收的处理的信息，确定是否需要再次调整角度，如果确定图像捕获设备c的捕获角度设置得适当，则在步骤s4中直接进行图像的捕获；如果确定图像捕获设备c的捕获角度设置得不适当，即需要再次调整捕获角度，则返回调整信息，并在步骤s4中调整后进行图像的捕获。

具体地，在步骤s5中，前端系统将图像数据进行流媒体处理，并且发送给后端系统进一步包括：

在步骤s51中，前端系统中的第一处理设备接收图像捕获设备以某一速度捕获的图像信息；

在步骤s52中，前端系统中的第一处理设备将该数据进行编码压缩；

优选地，数据的编码压缩包括：先将图像数据分割成片段，之后再分割为子片段，继而对子片段进行预测，其采用以下方式：由邻近的已完成编码的重新建立的帧为参考帧，执行移动补偿，之后完成后，用其数值减目前子片段的实际数值，生成差分数据，经过变换后进行数值化，经由熵编码，将熵编码的数据与预测的方向和移动向量合并成压缩的数据流。

在步骤s53中，前端系统中的第一处理设备将该数据流进行后续打包处理，并将打包处理的数据输入到缓冲器中；以及

在步骤s54中，第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输。

优选地，第一收发设备根据传输速度，将缓冲器中的数据通过有线或无线链路传输，其中无线通信例如包括wi-fi、蓝牙(bt)、近场通信(nfc)、全球定位系统(gps)和蜂窝通信(例如lte、lte-a、cdma、wcdma、umts、wibro、gsm等)中的至少一个。有线通信例如包括通用串行总线(usb)、高清晰度多媒体接口(hdmi)、rs-232和pots中的至少一个。

通过以上流媒体的操作，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献。

在步骤s6中，后端系统接收图像数据并处理，识别其中的人脸。后端系统的结构图如图4所示。其中后端系统2包括第二收发设备f，识别设备g，存储设备h，第三收发设备i。其中步骤s6进一步包括：

在步骤s61中，其中后端系统中的第二收发设备接收由第一收发设备发送的图像，并且将其输入到识别设备中。

在步骤s62中，识别设备根据预设的协议，将输入的数据进行解码，获得图像序列；

在步骤s63中，识别设备对图像序列进行预处理，其包括灰度处理、光照补偿、平滑去噪、图像锐化等，以降低干扰信号。其中为了降低由于图像的捕获、传输等过程中带来的噪声，本发明采用去噪方式来减少干扰，为后续的识别准备准确的图像数据；

优选地，步骤s63进一步包括以下步骤：提取图像序列中的子图像的几何信息，诸如尺寸等；构建灰度图；进行色彩空间的变换；创建存储分区并执行初始化操作；对灰度图的条形图进行处理。

在步骤s64中，对图像中的变化进行判断，当确定前景区域超过第一临界值，则确定有变化，进而进入步骤s65，而当确定前景区域未超过第一临界值，则确定无变化，终止该段序列的操作，转而进行下一序列的操作；

在步骤s65中，根据人脸部位的形状描述以及它们之间的距离特性来获得有助于人脸分类的特征数据，该特征数据包括特征分量，该特征分量包括特征点间的欧氏距离、曲率和角度；使用pca算法提取面部数据的特征值形成面部特征矩阵，使用神经网络分类方法进行人脸矩形的确定，确定人脸矩形中的左右眼、左右眉、鼻尖、左右嘴角、下巴，对矩形的灰度图进行旋转和缩放，并提取上述部位的特征。优选地，人脸矩形的操作包括：确定人脸并标记，设定人脸的n*n像素，其中n是正整数；突出图像中的人脸并设置矩形，确定矩形大小并显示。

在步骤s66中，确定人脸信息，并将人脸的图像矩阵和信息储存到存储设备h内。

在步骤s7中，后端系统将识别出的人脸与数据库中的对象进行比较，并确定结果进一步包括：通过后端系统的第三收发设备i，经由链路向数据库3发送请求，并将人脸数据与已存储的人脸数据进行比较，并得到数值，如果该数值超过第二临界值，则确定识别对象的身份信息，否则返回无对应信息。

通过以上方法，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗。

此外，可选地，上述基于流媒体的人脸识别方法进一步包括：

在步骤s8中，后端系统根据接收的图像数据，确定是否需要又一次调整角度，以便跟踪识别的人脸对应的对象，经确定需要调整后，后端系统通过第二收发模块，向前端系统发送又一次调整角度的反馈信息，前端系统基于此重复从步骤s1开始继续执行。

综上，在本发明的技术方案中，通过采用了一种基于流媒体的人脸识别方法。通过该方法，可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗。

将理解的是：可以硬件、软件或硬件和软件的组合的形式实现本发明的示例和实施例。如上所述，可存储任何执行这种方法的主体，以挥发性或非挥发性存储的形式，例如存储设备，像rom，无论可抹除或可重写与否，或者以存储器的形式，诸如例如ram、存储器芯片、设备或集成电路或在光或磁可读的介质上，诸如例如cd、dvd、磁盘或磁带。将理解的是：存储设备和存储介质是适合于存储一个或多个程序的机器可读存储的示例，当被执行时，所述一个或多个程序实现本发明的示例。经由任何介质，诸如通过有线或无线耦合载有的通信信号，可以电子地传递本发明的示例，并且示例适当地包含相同内容。

应当注意的是：因为本发明解决了三维空间的全覆盖式捕获，提供识别速度快、准确率高的识别结果并节约了时间，降低功率消耗的技术问题，采用了计算机技术领域中技术人员在阅读本说明书之后根据其教导所能理解的技术手段，并获得了可以在不增加设备的前提下，保证了功耗和成本不增加，保证进行三维空间的全覆盖式捕获，增强了数据的多样性和灵活性，保证了传输质量，可以保持数据获取的连续性，并且节约了时间，为后续人脸识别的效率提高做出了贡献，可以提供识别速度快、准确率高的结果，并且由于较少的计算而导致降低的功率消耗的有益技术效果，所以在所附权利要求中要求保护的方案属于专利法意义上的技术方案。另外，因为所附权利要求要求保护的技术方案可以在工业中制造或使用，因此该方案具备实用性。

以上所述，仅为本发明的较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应包涵在本发明的保护范围之内。除非以其他方式明确陈述，否则公开的每个特征仅是一般系列的等效或类似特征的一个示例。因此，本发明的保护范围应该以权利要求书的保护范围为准。