视觉检测方法、设备、系统以及存储装置与流程

1.本申请涉及图像处理领域，特别是涉及一种视觉检测方法、设备、系统以及存储装置。


背景技术：

2.视觉焦点往往反映了人们在诸如商场、超市、博物馆、博览会等场所中的关注点。目前，一般通过佩戴诸如眼动仪等穿戴式设备来检测视觉焦点。经研究发现，这种穿戴式的检测方式通常会对使用者产生较强的心理暗示，从而导致检测到的视觉焦点并非使用者真正的关注点，进而影响视觉检测的准确性。有鉴于此，如何提高视觉检测的准确性成为机具研究价值的课题。


技术实现要素：

3.本申请主要解决的技术问题文本是提供一种视觉检测方法、设备、系统以及存储装置，能够提高视觉检测的准确性。
4.为了解决上述问题文本，本申请第一方面提供了一种视觉检测方法，包括：获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息；利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点；其中，预设场所安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的。
5.为了解决上述问题文本，本申请第二方面提供了一种视觉检测设备，包括相互耦接的存储器和处理器，存储器中存储有程序指令，处理器用于执行程序指令以实现上述第一方面中的视觉检测方法。
6.为了解决上述问题文本，本申请第三方面提供了一种视觉检测系统，包括如上述第二方面的视觉检测设备，以及安装于预设场所的第一摄像头和第二摄像头，第一摄像头和第二摄像头与视觉检测设备通信连接。
7.为了解决上述问题文本，本申请第四方面提供了一种存储装置，存储有能够被处理器运行的程序指令，程序指令用于实现上述第一方面中的视觉检测方法。
8.上述方案，通过获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息，从而利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点，且预设场所中安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的，故此，能够利用安装在预设场所中不同的摄像头，检测得到人体位姿信息以及瞳孔偏移信息、面部俯仰信息，从而能够尽可能地降低目标对象在视觉检测过程中的主观感知对视觉检测的影响，进而能够有利于提高视觉检测的准确性。
附图说明
9.图1是本申请视觉检测系统一实施例的框架示意图；
10.图2是预设场所地面一实施例的示意图；
11.图3是图1中第一摄像头和第二摄像头一实施例的安装示意图；
12.图4是第二摄像头一实施例的布置示意图；
13.图5是本申请视觉检测方法一实施例的流程示意图；
14.图6是选择第二摄像头一实施例的状态示意图；
15.图7是获取面部俯仰信息一实施例的示意图；
16.图8是图1中步骤s12一实施例的流程示意图；
17.图9是获取预设映射关系一实施例的流程示意图；
18.图10是获取样本采集数据一实施例的状态示意图；
19.图11是获取视觉焦点一实施例的状态示意图；
20.图12是本申请视觉检测设备一实施例的框架示意图；
21.图13是本申请存储装置一实施例的框架示意图。
具体实施方式
22.下面结合说明书附图，对本申请实施例的方案进行详细说明。
23.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。
24.本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
25.请参阅图1，图1是本申请视觉检测系统10一实施例的框架示意图。如图1所示，视觉检测系统10包括安装在预设场所的第一摄像头11和第二摄像头12，以及视觉检测设备13，且第一摄像头11和第二摄像头12与视觉检测设备13通信连接。具体地，视觉检测设备13可以通过网线等有线连接方式与第一摄像头11、第二摄像头12通信连接，也可以通过wifi(wireless fidelity，无线保真)等无线连接方式与第一摄像头11、第二摄像头12通信连接，在此不做限定。
26.需要说明的是，本公开实施例中的视觉检测设备13具体可以包括相互耦接的存储器和处理器，且存储器中存储有程序指令，处理器通过执行程序指令能够实现本申请任一视觉检测方法实施例中的步骤，具体在此暂不赘述。
27.在一个实施场景中，预设场所可以根据实际应用需要进行设置。例如，在产品调研应用场景中，根据产品种类的不同，预设场所可以包括但不限于：电子产品发布会、汽车博览会、进口博览会等；或者，在商品促销应用场景中，根据商品种类的不同，预设场所可以包括但不限于：商场、超市、便利店等。需要说明的是，预设场所根据应用需要，也可以为会议室、办公室等可能涉及机密的场所，其他情况可以以此类推，在此不再一一举例。
28.在一个实施场景中，视觉检测设备13可以包括但不限于：台式计算机、笔记本电脑、服务器等等，在此不做限定。此外，视觉检测设备13可以安装于预设场所，也可以安装于
预设场所之外的其他场所，具体可以根据实际应用需要进行设置。例如，在便利店等中小型预设场所进行视觉检测时，视觉检测设备13可以安装于预设场所，从而能够有利于减低布网成本；或者，在博览会、商场等大型预设场所进行视觉检测时，视觉检测设备13可以安装于预设场所之外的其他场所(如，通信机房等)，在此不做限定。
29.在一个实施场景中，第一摄像头11可用于检测预设场所中目标对象的人体位姿信息，人体位姿信息具体可以包括人体位置信息，即目标对象在预设场所中的位置，例如，在预设场所的某一角落，或者在预设场所的中央等，在此不做限定；此外，人体位姿信息还可以包括人体面向信息，即目标对象在预设场所中面向何方向，例如，面向预设场所的南墙，或者面向预设场所的西北角等，在此不做限定；此外，人体位姿信息还可以进一步包括目标对象的人体身高信息。
30.在一个具体的实施场景中，为了提高人体位姿信息的准确性，可以以预设场所地面中心(或角落、或任一点)为原点建立二维坐标系，从而可以通过二维坐标表示人体位置信息。请结合参阅图2，图2是预设场所地面一实施例的示意图。如图2所示，视线矩形所示为预设场所地面，预设场所地面长26米，宽16米，以预设场所地面中心为坐标原点，东方向为x轴正方向，北方向为y轴正方向，空心圆所示为目标对象，如图2所示，目标对象在上述二维坐标系中的二维坐标可以表示为(7,7)，即目标对象在距北墙1米，并距东6米位置处。其他情况可以以此类推，在此不再一一举例。
31.在另一个具体的实施场景中，为了提高人体位姿信息的准确性，第一摄像头11具体可以安装于预设场所高于目标对象的位置处，且第一摄像头11的视角范围覆盖预设场所。上述方式，通过将第一摄像头11安装于预设场所高于目标对象的位置处，且第一摄像头11的视角范围覆盖预设场所，从而能够有利于使目标对象始终处于第一摄像头11的视角范围内，进而能够有利于在目标对象移动过程中使第一摄像头11能够捕捉到目标对象，提高人体位姿信息的准确性。请结合参阅图3，图3是图1中第一摄像头11和第二摄像头12一实施例的安装示意图。如图3所示，第一摄像头11具体可以安装于预设场所室内屋顶角落处，例如可以安装于预设场所室内屋顶东南角和西北角，或者，可以安装于预设场所室内屋顶东北角和西南角，或者，还可以安装于预设场所室内屋顶东南角、西北角、东北角和西南角，在此不做限定。
32.在又一个具体的实施场景中，为了尽可能地降低目标对象对第一摄像头11的感知，从而尽可能地降低目标对象在视觉检测过程中的主观感知对视觉检测的影响，第一摄像头11还可以进行伪装处理，例如，可以在第一摄像头11外罩设一个诸如音箱等的装饰盒；或者，也可以将第一摄像头11涂色为预设场所墙体颜色(如，白色、灰色等)，在此不做限定。
33.在一个实施场景中，第二摄像头12可用于检测目标对象瞳孔偏移信息和面部俯仰信息，瞳孔偏移信息具体可以包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，参考位置具体表示目标对象平视状态下的瞳孔位置；此外，面部俯仰信息具体可以包括目标对象的面部俯仰角，上述瞳孔偏移信息和面部俯仰信息具体可以参阅本申请下述视觉检测方法实施例中的相关描述，在此暂不赘述。
34.在一个具体的实施场景中，不同于第一摄像头11的视角范围需覆盖预设场所，第二摄像头12的视角范围需覆盖目标对象的面部。具体地，第二摄像头12可以安装于预设场所的墙面，且安装高度可以根据人体平均身高进行设置，如安装高度可以设置为平均身高
减去额部高度。例如，第二摄像头12的安装高度可以设置为1.7米等，在此不做限定。上述方式，通过将第二摄像头12的视角范围设置为覆盖目标对象的面部，可以尽可能地捕捉目标对象的面部图像，进而能够提高瞳孔偏移信息和面部俯仰信息的准确性。
35.在另一个具体的实施场景中，第二摄像头12也可以设置有多个，且多个第二摄像头12可以以预设间距环绕预设场所设置。具体地，多个第二摄像头12可以是2个、3个、4个、5个等等。为了尽可能准确地捕捉目标对象的瞳孔偏移信息和面部俯仰信息，第二摄像头12可以设置地尽可能多，在此不做限定。此外，预设间距具体可以设置为50厘米、60厘米、70厘米等等。为了尽可能准确地捕捉目标对象的瞳孔偏移信息和面部俯仰信息，预设间距可以设置地尽可能小，例如，20厘米、25厘米、30厘米等等，在此不做限定。上述方式，通过设置多个第二摄像头12，且多个第二摄像头12以预设间距环绕预设场所设置，能够有利于提高第二摄像头12布置的密度，从而能够有利于提高目标对象的瞳孔偏移信息和面部俯仰信息的准确性。
36.在又一个具体的实施场景中，请结合参阅图3和图4，图4是第二摄像头12一实施例的布置示意图。如图3和图4所示，第二摄像头12可以布置于霓虹灯管内，从而能够进一步降低目标对象在视觉检测过程中的主观感知对视觉检测的影响，进而能够有利于提高视觉检测的准确性。
37.请参阅图5，图5是本申请视觉检测方法一实施例的流程示意图。具体而言，可以包括如下步骤：
38.步骤s51：获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息。
39.如前述公开实施例所述，预设场所根据实际应用需要可以为：电子产品发布会、汽车博览会、进口博览会、商场、超市、便利店等，或者，还可以是会议室、办公室等可能涉及机密的场所，在此不做限定。在此基础上，目标对象可以为：参会人员、参观人员、顾客、职员、访客等，在此不做限定。
40.本公开实施例中，预设场所安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的。第一摄像头和第二摄像头在预设场所内的安装方式具体可以参阅前述公开实施例中的相关描述，在此不再赘述。
41.在一个实施场景中，第一摄像头检测获取目标对象在预设场所中的人体位姿信息，以及第二摄像头检测获取目标对象的瞳孔偏移信息和面部俯仰信息可以同时执行，即第一摄像头和第二摄像头两者在视觉检测过程中互不影响。
42.在另一个实施场景中，如前述公开实施例所述，人体位姿信息具体可以包括人体位置信息和人体面向信息，此外第二摄像头可以设有多个，则在获取目标对象在预设场所中的人体位姿信息之后，可以先利用人体位置信息，筛选在目标对象预设范围之内的第二摄像头，再利用人体面向信息，在筛选到的第二摄像头中，选择目标对象正面面向的第二摄像头，并选择目标对象侧面面向的第二摄像头，从而可以利用目标对象正面面向的第二摄像头检测获取目标对象的瞳孔偏移信息，并利用目标对象侧面面向的第二摄像头检测获取目标对象的面部俯仰信息。上述方式，通过利用人体位置信息，筛选在目标对象预设范围之内的第二摄像头，从而利用人体面向信息，在筛选到的第二摄像头中，选择目标对象正面面
向的第二摄像头，并选择目标对象侧面面向的第二摄像头，进而后续可以利用目标对象正面面向的第二摄像头检测得到瞳孔偏移信息，并利用目标对象侧面面向的第二摄像头检测得到面部俯仰信息，故此能够在视觉检测过程中实现第一摄像头和第二摄像头的联动，在此基础上，通过人体位姿信息筛选到目标对象正面面向的第二摄像头和目标对象侧面面向的第二摄像头，能够有利于提高后续检测瞳孔偏移信息和面部俯仰信息的准确性。
43.在一个具体的实施场景中，上述预设范围可以指地理范围，例如可以设置为1米、2米、3米、4米、5米、6米等等，在此不做限定。在预先设置的预设范围的基础上，可以根据目标对象的人体位置信息，以目标对象所在位置为圆心，在预设范围内筛选第二摄像头。
44.在另一个具体的实施场景中，上述预设范围可以指覆盖范围，具体地，可以根据目标对象的人体位置信息和人体面向信息，获取一个平行且经过目标对象的平面，作为参考平面，并将该参考平面沿人体面向移动而覆盖的区域，作为上述预设范围。请结合参阅图6，图6是选择第二摄像头一实施例的状态示意图。如图6所示，黑色实心圆表示第二摄像头，矩形表示目标对象，虚线箭头a表示目标对象的人体正面面向，而虚线箭头b1表示目标对象的人体右侧朝向，虚线箭头b2表示目标对象的人体左侧朝向，实线c表示平行且经过目标对象的参考平面，故此，可以将参考平面沿虚线箭头a移动而覆盖的区域，作为上述预设范围，从而可以筛选该预设范围内第二摄像头2、第二摄像头3、第二摄像头4、第二摄像头5、第二摄像头6和第二摄像头7。
45.在又一个具体的实施场景中，在筛选到目标对象预设范围内的第二摄像头之后，即可直接在筛选到的第二摄像头中，选择目标对象正面面向的第二摄像头，并选择目标对象侧面面向的第二摄像头。请继续结合参阅图6，如图6所示，可以直接选择虚线箭头a指向的第二摄像头4，作为目标对象正面面向的第二摄像头，并直接选择虚线箭头b1指向的第二摄像头7和虚线箭头b2指向的第二摄像头2，作为目标对象侧面面向的第二摄像头。
46.在又一个具体的实施场景中，为了提高选择上述目标对象正面面向的第二摄像头和目标对象侧面面向的第二摄像头的鲁棒性，还可以在筛选到目标对象预设范围内的第二摄像头之后，将目标对象的人体位姿信息发送至上述筛选到的第二摄像头，上述筛选到的第二摄像头在接收到人体位姿信息之后，可以根据人体位姿信息调整其转向，以尽可能地使得第二摄像头正对(或侧对)目标对象。请继续结合参阅图6，如图6所示，在筛选到第二摄像头2至第二摄像头7之后，可以将目标对象的人体位姿信息分别发送至第二摄像头2至第二摄像头7，具体地，人体位姿信息可以包括人体身高信息，从而上述第二摄像头可以根据人体身高信息调整其在垂直方向上的第一角度，以使得第二摄像头视角范围覆盖目标对象面部；此外，人体位姿信息可以包括人体面向信息，从而上述第二摄像头可以根据人体面向信息调整其在水平方向上的第二角度，以使得第二摄像头正对(或侧对)目标对象面部。其他情况可以以此类推，在此不再一一举例。
47.在又一个具体的实施场景中，为了提高选择第二摄像头的便利性，在选择得到目标对象正面面向的第二摄像头之后，即可将选择得到的第二摄像头与目标对象的连线，以目标对象为旋转中心，将旋转90度，并将距离旋转后的连线最近的第二摄像头，作为目标对象侧面面向的第二摄像头。请结合参阅图6，如图6所示，在选择第二摄像头4作为目标对象正面面向的第二摄像头的情况下，可以将虚线箭头a旋转90度，得到虚线箭头b1和虚线箭头b2，从而可以将虚线箭头b1指向的第二摄像头和虚线箭头b2指向的第二摄像头，作为目标
对象侧面面向的第二摄像头。其他情况可以以此类推，在此不再一一举例。
48.在又一个具体的实施场景中，如前所述，第二摄像头可以根据人体面向信息调整其在水平方向上的第二角度，以使得第二摄像头正对(或侧对)目标对象面部，在实际应用过程中，第二摄像头具体可以基于人脸对称性，利用拍摄到的目标对象的面部图像来判断是否正对目标对象面部，并根据判断情况不断微调第二角度。此外，在多次微调之后，仍然不能完全正对目标对象面部的情况下，还可以进一步选择相邻于该第二摄像头的其他摄像头，来进行视角补偿，从而能够在不能得到完全正面的正视面的情况下，通过多角度来进行视角补偿。请结合参阅图6，例如，在第二摄像头4不能完全正对目标对象的情况下，可以利用第二摄像头3和第二摄像头5来进行视角补偿，其他情况可以以此类推，在此不再一一举例。此外，为了降低不能选择到目标对象正面面向的第二摄像头的概率，还可以进一步减少第二摄像头之间的预设间距，即提高第二摄像头的分布密度，例如，可以每隔25厘米设置一个第二摄像头，在此不做限定。
49.在一个实施场景中，可以利用目标检测网络对第一摄像头拍摄到的场所图像进行目标检测，以检测出场所图像中的目标对象，从而根据检测出的目标对象来确定目标对象在预设场所中的人体位姿信息。具体地，目标检测网络可以包括但不限于：r
‑
cnn(region with convolutional neural network)，fast r
‑
cnn,faster r
‑
cnn等两阶段网络，或者yolo(you only look once)，ssd(single shot multi
‑
box detector)等一阶段网络，在此不做限定。此外，也可以通过边缘检测等传统图像处理方式检测场所图像中的目标对象，在此不做限定。
50.在一个实施场景中，如前所述，瞳孔偏移信息包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，且参考位置表示目标对象平视状态下的瞳孔位置。需要说明的是，平视状态表示的是目标对象两眼平着向前看时的状态。
51.在一个具体的实施场景中，可以利用若干样本对象在平视状态下的瞳孔位置，得到参考位置。样本对象可以涵盖各类人群，例如：未成年人、青年人、中年人、老年人等等。具体地，可以通过机器学习上述若干样本对象在平视状态下的瞳孔位置，从而得到参考位置。上述方式，利用若干样本对象在平视状态下的瞳孔位置得到参考位置，能够将参考位置的获取步骤进行前置，从而能够有利于提高后续获取瞳孔偏移信息的速度。
52.在另一个具体的实施场景中，可以在目标对象进入预设场所之前，获取目标对象在平视状态下的瞳孔位置，作为参考位置。例如，目标对象在进入预设场所之前，可以提示目标对象保持平视状态，并在目标对象确认已经保持平视状态的情况下，对目标对象的眼部进行扫描拍摄，从而可以获取得到目标对象在平视状态下的瞳孔位置，以作为参考位置。上述方式，在目标对象进入预设场所之前，获取目标对象在平视状态下的瞳孔位置以作为参考位置，故获取到的参考位置是目标对象在平视状态下真实的瞳孔位置，从而能够有利于提高参考位置的准确性。
53.需要说明的是，在实际应用过程中，上述两种获取参考位置的方式可以任选其一，具体可以根据实际应用需要进行设置。例如，在对视觉检测实时性要求比较高的情况下，可以选择第一种方式获取参考位置；或者，在对视觉检测准确性要求比较高的情况下，可以选择第二种方式获取参考位置，在此不做限定。
54.在一个具体的实施场景中，如前所述，为了获取瞳孔偏移信息，还需进一步获取目
标对象瞳孔的实际位置，具体可以获取目标对象的眼部图像，且眼部图像是由目标对象正面面向的第二摄像头拍摄得到的。目标对象正面面向的第二摄像头具体可以通过前述相关描述选择得到，在此不再赘述。在此基础上，可以对眼部图像进行边缘提取，得到虹膜的至少部分边缘，从而可以利用至少部分边缘，确定瞳孔的实际位置。上述方式，通过获取目标对象的眼部图像，且眼部图像是由目标对象正面面向的第二摄像头拍摄得到的，并对眼部图像进行边缘提取，得到虹膜的至少部分边缘，从而利用至少部分边缘，确定瞳孔的实际位置，故此，有利于在虹膜不完全暴露的情况下，也能够确定得到瞳孔的实际位置，进而能够有利于提高实际位置的准确性。
55.具体地，边缘提取可以采用sobel、canny等边缘提取算子，在此不做限定。人在正常情况下，虹膜可能不会完全暴露，故可以利用拟合的方式得到完整的虹膜边缘，由于虹膜边缘近似为椭圆形，故可以建立虹膜边缘的非标准方程：
56.ax2+bxy+cy2+dx+ey+f＝0
……
(1)
57.上述公式(1)中，a、b、c、d、e均是椭圆非标准方程的未知量。在此基础上，可以在检测到的至少部分边缘上的任一点建立二维坐标系，并在至少部分边缘上提取多个坐标点(如，5个坐标点、6个坐标点等等)，从而可以根据公式(1)所述的椭圆方程式和最小二乘法，得到目标函数：
[0058][0059]
上述公式(2)中，n表示多个坐标点的个数，(x
i
,y
i
)表示提取到的第i个坐标点。对公式(2)中各个未知量求偏导数，可以得到：
[0060][0061]
求解上述公式(3)即可得到椭圆的非标准方程中的未知量a、b、c、d、e，在此基础上即可得到完整的虹膜边缘，并求取完整的虹膜边缘的最大内切圆，即可将最大内切圆的圆心作为瞳孔的实际位置。
[0062]
在一个实施场景中，如前所述，面部俯仰信息具体可以包括目标对象的面部俯仰角，而目标对象的面部俯仰信息可以利用目标对象侧面面向的第二摄像头检测得到，目标对象侧面面向的第二摄像头具体可以根据前述描述选择得到，在此不再赘述。在此基础上，可以获取第二摄像头拍摄得到的目标对象的侧面图像，并对侧面图像进行边缘提取，得到目标对象的侧脸边缘，从而可以利用侧脸边缘，确定目标对象的面部俯仰角。上述方式，通过获取目标对象的侧面图像，且侧面图像是由目标对象侧面面向的第二摄像头拍摄得到
的，从而对侧面图像进行边缘提取，得到目标对象的侧脸边缘，进而利用侧脸边缘，确定目标对象的面部俯仰角，故通过提取侧脸边缘，即可得到目标对象面部俯仰角，能够有利于提高面部俯仰信息的速度。
[0063]
在一个具体的实施场景中，由于侧面图像是利用目标对象侧面面向的第二摄像头拍摄得到的，故侧面图像中目标对象的侧脸轮廓近似为一条直线，从而可以对提取到的侧脸边缘进行散点采样，如可以随机采样若干(如，50个、100个等等)散点，或者，每隔一定距离采样一个散点，并将采样得到的散点进行拟合，得到一条直线l，从而可以将垂直于该直线l的参考线与水平面之间的夹角作为目标对象的面部俯仰角。请结合参阅图7，图7是获取面部俯仰信息一实施例的示意图。如图7所示，虚线直线l即为对散点拟合得到的直线，虚线直线l’即为垂直于虚线直线l的直线，实线直线为水平面，α为目标对象的面部俯仰角。
[0064]
步骤s52：利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点。
[0065]
在一个实施场景中，在得到目标对象的人体位姿信息、瞳孔偏移信息和面部俯仰信息之后，即可根据这三者，得到目标对象在预设场所中的视角焦点。具体地，可以利用瞳孔偏移信息中所包含的目标对象瞳孔的实际位置与参考位置之间的偏移距离，得到目标对象的视线偏转角度，即可以将目标对象瞳孔未偏移时的视线记为l1，并将目标对象瞳孔发生上述偏移距离的偏移时的视线记为l2，l1与l2之间的角度即为上述视线偏转角度。在此基础上，即可利用人体位姿信息、面部俯仰信息和视线偏转角度来确定目标对象的实际视线，从而可以将实际视线与预设场所的交点，作为目标对象的视觉焦点。具体可以参阅本申请下述相关实施例，在此暂不赘述。
[0066]
在另一个实施场景中，如前所述，预设场所可以包括但不限于：电子产品发布会、汽车博览会、进口博览会、商场、超市、便利店等，即在预设场所可以放置有若干物品。例如，在电子产品发布会可以放置有若干新款的手机、平板电脑等；或者，在汽车博览会可以放置有若干品牌的汽车，或者同一品牌的不同型号汽车，其他情况可以以此类推，在此不再一一举例。故此，在得到目标对象在预设场所中的视觉焦点之后，还可以利用视觉焦点与各个物品之间的距离值，得到目标对象对物品的关注度，且距离值越大，关注度越低。例如，在电子产品发布会放置有甲乙丙三款手机，目标对象的视觉焦点距离甲款手机的距离值最小，故目标对象对甲款手机的关注度最高，其他情况可以以此类推，在此不再一一举例。在此基础上，可以基于目标对象对物品的关注度，得到包含若干物品的热点图。具体地，预设场所内通常存在多个目标对象，例如，电子产品发布会通常会存在较多的参会者；或者，商场通常存在较多的顾客等等，从而可以将多个目标对象对物品的关注度进行叠加，得到包含若干物品的热点图。此外，热点图上可以采用不同的颜色来表示不同程度的关注度，例如，可以采用暖色系(如红色)等表示关注度较高，而采用冷色系(如绿色)等表示关注度较低。上述方式，预设场所放置有若干物品，从而利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度，且第二距离值越大，关注度越低，进而基于目标对象对物品的关注度，得到包含若干物品的热点图，故此能够有利于辅助分析目标对象关注的物品。例如，决策者可以根据热点图来预设场所内物品的摆放、价格以及产品类别进行优化，从而有助于提升用户体验。
[0067]
在一个具体的实施场景中，在利用视觉焦点与各个物品之间的第二距离值，得到
目标对象对物品的关注度之前，还可以通过第二摄像头来判断目标对象是否存在以下至少一种情况：视觉焦点延续超过预设时长(如，300毫秒等)、视觉焦点随物品移动，若存在上述至少一种情况，则可以执行上述利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度的步骤。
[0068]
在另一个具体的实施场景中，在利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度之前，还可以通过第二摄像头判断目标对象是否存在眼跳频率是否超过预设频率(如，1秒2次、1秒3次等)的情况，若存在上述情况，则可以认为本次获取到的视觉焦点无效，即不再利用本次检测到的视觉焦点执行上述利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度的步骤。
[0069]
上述方案，通过获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息，从而利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点，且预设场所中安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的，故此，能够利用安装在预设场所中不同的摄像头，检测得到人体位姿信息以及瞳孔偏移信息、面部俯仰信息，从而能够尽可能地降低目标对象在视觉检测过程中的主观感知对视觉检测的影响，进而能够有利于提高视觉检测的准确性。
[0070]
请参阅图，图8是图1中步骤s12一实施例的流程示意图。本公开实施例中，瞳孔偏移信息包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，参考位置表示目标对象平视状态下的瞳孔位置，具体可以参阅前述公开实施例中的相关描述，在此不再赘述。具体而言，可以包括如下步骤：
[0071]
步骤s81：利用偏移距离，得到目标对象的视线偏转角度。
[0072]
在一个实施场景中，视线偏转角度是利用预设映射关系对偏移距离进行转换得到的。为了便于描述，预设映射关系可以表示为：
[0073]
y＝f(x；b)
……
(4)
[0074]
上述公式(4)中，y表示偏移距离，x表示视线偏转角度，f表示预设映射关系函数，b表示函数f中的一个常量(或偏置)。故此，可以将目标对象瞳孔的实际位置与参考位置之间的偏移距离代入上述公式(4)中，得到对应的视线偏转角度。
[0075]
具体地，请结合参阅图9，图9是获取预设映射关系一实施例的流程示意图。如图9所示，具体可以采用如下步骤获取上述预设映射关系：
[0076]
步骤s91：获取若干组样本采集数据。
[0077]
本公开实施例中，每组样本采集数据包括：样本对象平视状态下视线在预设参考面上的第一坐标，瞳孔偏移样本距离情况下样本对象的视线在预设参考面上的第二坐标，以及样本对象至预设参考面之间的距离值。
[0078]
在一个实施场景中，如前述公开实施例所述，样本对象可以涵盖各类人群，如可以包括：未成年人、青年人、中年人、老年人等等，在此不做限定。平视状态的具体含义可以参阅前述公开实施例中的相关描述，在此不再赘述。
[0079]
在一个实施场景中，预设参考面可以是垂直于水平面的一个平面。在实际应用时，可以将垂直于地面的墙面作为预设参考面，在此不做限定。请结合参阅图10，图10是获取样本采集数据一实施例的状态示意图。如图10所示，平面xoy为地面，平面yoz为垂直于地面的
预设参考面，样本对象平视状态下视线为pm，第一坐标为m点坐标，为了便于描述可以记为(0,y
m
,z
m
)，样本对象瞳孔偏移样本距离d情况下的视线为pn，第二坐标为n点坐标，为了便于描述可以记为(0,y
n
,z
n
)，此外样本对象至预设参考面之间的距离值为pm的长度，为了便于描述可以记为s。故此，可以将上述第一坐标(0,y
m
,z
m
)、第二坐标(0,y
n
,z
n
)，以及样本距离d、样本对象至预设参考面之间的距离值s作为一组样本采集数据。通过改变样本距离，或者改变样本对象至预设参考面之间的距离值，可以采集到多组样本采集数据。其他情况可以以此类推，在此不再一一举例。
[0080]
步骤s92：针对每组样本采集数据，利用第一坐标、第二坐标和第一距离值，得到瞳孔偏移样本距离情况下的样本偏转角度，并将样本距离和样本偏转角度，作为一组待处理数据。
[0081]
请继续结合参阅图10，由于pm为样本对象在平视状态下的视线，故pm垂直于预设参考面yoz，在此情形下三角形pmn为直角三角形，则可以利用第一坐标(0,y
m
,z
m
)和第二坐标(0,y
n
,z
n
)，计算直角边mn的长度，为了便于描述可以记为d’，则可以通过下式计算得到样本对象瞳孔偏移样本距离情况下的样本偏转角度β：
[0082][0083]
故此，可以将样本距离d和样本偏转角度β作为一组待处理数据。此外，对于其他组样本采集数据，可以采用如上方式获取对应的待处理数据，以此类推，可以获取多组待处理数据。
[0084]
步骤s93：将若干组待处理数据进行拟合，得到预设映射关系。
[0085]
具体地，可以建立一个二维坐标系，该二维坐标系的x轴为视线偏转角度，y轴为瞳孔的偏移距离，将若干组待处理数据(d，β)分别打入该二维坐标系，并采用诸如最小二乘法等拟合方式，可以拟合得到如公式(4)所述的预设映射关系y＝f(x；b)。
[0086]
上述方式，通过获取若干组样本采集数据，且每组样本采集数据包括：样本对象平视状态下视线在预设参考面上的第一坐标，瞳孔偏移样本距离情况下样本对象的视线在预设参考面上的第二坐标，以及样本对象至预设参考面之间的距离值，并且针对每组样本采集数据，利用第一坐标、第二坐标和第一距离值，得到瞳孔偏移样本距离情况下的样本偏转角度，并将样本距离和样本偏转角度，作为一组待处理数据，从而将若干组待处理数据进行拟合，得到预设映射关系，进而可以利用预设映射关系对偏移距离进行转换得到视线偏转角度。故此，能够通过大数据拟合得到偏移距离与视线偏转角度之间的预设映射关系，从而能够有利于提高预设映射关系的准确性，进而能够有利于提高视线偏转角度的准确性。
[0087]
步骤s82：利用人体位姿信息、面部俯仰信息和视线偏转角度，得到视觉焦点。
[0088]
具体地，可以利用人体位姿信息和面部俯仰信息，得到目标对象在瞳孔无偏移情况下的理论视线，并按照视线偏转角度，调整理论视线，得到目标对象的实际视线，从而将实际视线与预设场所的交点，作为目标对象的视觉焦点。上述方式，利用人体位姿信息和面部俯仰信息，得到目标对象在瞳孔无偏移情况下的理论视线，并按照视线偏转角度，调整理论视线，得到目标对象的实际视线，在此基础上将实际视线与预设场所的交点，作为目标对象的视觉焦点，能够逐步从理论视线、实际视线最终得到视觉焦点，有利于提高视觉焦点的准确性。
[0089]
请结合参阅图11，图11是获取视觉焦点一实施例的状态示意图。如前述公开实施例所述，人体位姿信息具体可以包括：人体位置信息、人体朝向信息、人体身高信息，则利用人体位姿信息可以获取目标对象在平视状态下的视线pl，此外，如前述公开实施例所述，面部俯仰信息包括面部俯仰角α，故可以在垂直于地面xoy的平面上，按照面部俯仰角α调整上述视线pl，得到目标对象在瞳孔无偏移情况下的理论视线pm，在此基础上，由于目标对象瞳孔存在偏移而导致其存在视线偏转角度β，故可以进一步在理论视线pm的基础上调整视线偏转角度β，得到目标对象的实际视线pn，从而可以将实际视线pn与预设场所的交点n作为目标对象的视觉焦点。其他情况可以以此类推，在此不再一一举例。
[0090]
区别于前述实施例，瞳孔偏移信息包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，且参考位置表示目标对象平视状态下的瞳孔位置，从而通过利用偏移距离，得到目标对象的视线偏转角度，进而利用人体位姿信息、面部俯仰信息和视线偏转角度，得到视觉焦点，故此能够利用偏移距离得到视线偏转角度，并综合人体位姿信息、面部俯仰信息和视线偏转角度等多维度信息得到视觉焦点，能够有利于提高视角焦点的准确性。
[0091]
请参阅图12，图12是本申请视觉检测设备1200一实施例的框架示意图。视觉检测设备1200包括相互耦接的存储器1201和处理器1202，存储器1201中存储有程序指令，处理器1202用于执行程序指令以实现上述任一视觉检测方法实施例中的步骤。
[0092]
具体而言，处理器1202用于控制其自身以及存储器1201以实现上述任一视觉检测方法实施例中的步骤。处理器1202还可以称为cpu(central processing unit，中央处理单元)。处理器1202可能是一种集成电路芯片，具有信号的处理能力。处理器1202还可以是通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field
‑
programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器1202可以由多个集成电路芯片共同实现。
[0093]
本公开实施例中，处理器1202用于获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息；处理器1202用于利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点；其中，预设场所安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的。
[0094]
上述方案，通过获取目标对象在预设场所中的人体位姿信息，并获取目标对象的瞳孔偏移信息和面部俯仰信息，从而利用人体位姿信息、瞳孔偏移信息和面部俯仰信息，得到目标对象在预设场所中的视觉焦点，且预设场所中安装有第一摄像头和第二摄像头，人体位姿信息是利用第一摄像头检测得到的，瞳孔偏移信息和面部俯仰信息是利用第二摄像头检测得到的，故此，能够利用安装在预设场所中不同的摄像头，检测得到人体位姿信息以及瞳孔偏移信息、面部俯仰信息，从而能够尽可能地降低目标对象在视觉检测过程中的主观感知对视觉检测的影响，进而能够有利于提高视觉检测的准确性。
[0095]
在一些公开实施例中，瞳孔偏移信息包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，参考位置表示目标对象平视状态下的瞳孔位置，处理器1202用于利用偏移距离，得到目标对象的视线偏转角度；处理器1202用于利用人体位姿信息、面部俯仰信息和
视线偏转角度，得到视觉焦点。
[0096]
区别于前述实施例，瞳孔偏移信息包括目标对象瞳孔的实际位置与参考位置之间的偏移距离，且参考位置表示目标对象平视状态下的瞳孔位置，从而通过利用偏移距离，得到目标对象的视线偏转角度，进而利用人体位姿信息、面部俯仰信息和视线偏转角度，得到视觉焦点，故此能够利用偏移距离得到视线偏转角度，并综合人体位姿信息、面部俯仰信息和视线偏转角度等多维度信息得到视觉焦点，能够有利于提高视角焦点的准确性。
[0097]
在一些公开实施例中，视线偏转角度是利用预设映射关系对偏移距离进行转换得到的，处理器1202用于获取若干组样本采集数据；其中，每组样本采集数据包括：样本对象平视状态下视线在预设参考面上的第一坐标，瞳孔偏移样本距离情况下样本对象的视线在预设参考面上的第二坐标，以及样本对象至预设参考面之间的第一距离值；处理器1202用于针对每组样本采集数据，利用第一坐标、第二坐标和第一距离值，得到瞳孔偏移样本距离情况下的样本偏转角度，并将样本距离和样本偏转角度，作为一组待处理数据；处理器1202用于将若干组待处理数据进行拟合，得到预设映射关系。
[0098]
区别于前述实施例，通过获取若干组样本采集数据，且每组样本采集数据包括：样本对象平视状态下视线在预设参考面上的第一坐标，瞳孔偏移样本距离情况下样本对象的视线在预设参考面上的第二坐标，以及样本对象至预设参考面之间的距离值，并且针对每组样本采集数据，利用第一坐标、第二坐标和第一距离值，得到瞳孔偏移样本距离情况下的样本偏转角度，并将样本距离和样本偏转角度，作为一组待处理数据，从而将若干组待处理数据进行拟合，得到预设映射关系，进而可以利用预设映射关系对偏移距离进行转换得到视线偏转角度。故此，能够通过大数据拟合得到偏移距离与视线偏转角度之间的预设映射关系，从而能够有利于提高预设映射关系的准确性，进而能够有利于提高视线偏转角度的准确性。
[0099]
在一些公开实施例中，处理器1202用于利用人体位姿信息和面部俯仰信息，得到目标对象在瞳孔无偏移情况下的理论视线；处理器1202用于按照视线偏转角度，调整理论视线，得到目标对象的实际视线；处理器1202用于将实际视线与预设场所的交点，作为目标对象的视觉焦点。
[0100]
区别于前述实施例，利用人体位姿信息和面部俯仰信息，得到目标对象在瞳孔无偏移情况下的理论视线，并按照视线偏转角度，调整理论视线，得到目标对象的实际视线，在此基础上将实际视线与预设场所的交点，作为目标对象的视觉焦点，能够逐步从理论视线、实际视线最终得到视觉焦点，有利于提高视觉焦点的准确性。
[0101]
在一些公开实施例中，处理器1202用于获取目标对象的眼部图像；其中，眼部图像是由目标对象正面面向的第二摄像头拍摄得到的；处理器1202用于对眼部图像进行边缘提取，得到虹膜的至少部分边缘；处理器1202用于利用至少部分边缘，确定瞳孔的实际位置。
[0102]
区别于前述实施例，通过获取目标对象的眼部图像，且眼部图像是由目标对象正面面向的第二摄像头拍摄得到的，并对眼部图像进行边缘提取，得到虹膜的至少部分边缘，从而利用至少部分边缘，确定瞳孔的实际位置，故此，有利于在虹膜不完全暴露的情况下，也能够确定得到瞳孔的实际位置，进而能够有利于提高实际位置的准确性。
[0103]
在一些公开实施例中，处理器1202用于执行以下任一者：利用若干个样本对象在平视状态下的瞳孔位置，得到参考位置；在目标对象进入预设场所之前，获取目标对象在平
视状态下的瞳孔位置，作为参考位置。
[0104]
区别于前述实施例，利用若干样本对象在平视状态下的瞳孔位置得到参考位置，能够将参考位置的获取步骤进行前置，从而能够有利于提高后续获取瞳孔偏移信息的速度；而在目标对象进入预设场所之前，获取目标对象在平视状态下的瞳孔位置以作为参考位置，故获取到的参考位置是目标对象在平视状态下真实的瞳孔位置，从而能够有利于提高参考位置的准确性。
[0105]
在一些公开实施例中，面部俯仰信息包括目标对象的面部俯仰角，处理器1202用于获取目标对象的侧面图像；其中，侧面图像是由目标对象侧面面向的第二摄像头拍摄得到的；处理器1202用于对侧面图像进行边缘提取，得到目标对象的侧脸边缘；处理器1202用于利用侧脸边缘，确定目标对象的面部俯仰角。
[0106]
区别于前述实施例，通过获取目标对象的侧面图像，且侧面图像是由目标对象侧面面向的第二摄像头拍摄得到的，从而对侧面图像进行边缘提取，得到目标对象的侧脸边缘，进而利用侧脸边缘，确定目标对象的面部俯仰角，故通过提取侧脸边缘，即可得到目标对象面部俯仰角，能够有利于提高面部俯仰信息的速度。
[0107]
在一些公开实施例中，人体位姿信息包括人体位置信息和人体面向信息，第二摄像头有多个，处理器1202用于利用人体位置信息，筛选在目标对象预设范围之内的第二摄像头；处理器1202用于利用人体面向信息，在筛选到的第二摄像头中，选择目标对象正面面向的第二摄像头，并选择目标对象侧面面向的第二摄像头；其中，瞳孔偏移信息是利用目标对象正面面向的第二摄像头检测得到的，面部俯仰信息是利用目标对象侧面面向的第二摄像头检测得到的。
[0108]
区别于前述实施例，通过利用人体位置信息，筛选在目标对象预设范围之内的第二摄像头，从而利用人体面向信息，在筛选到的第二摄像头中，选择目标对象正面面向的第二摄像头，并选择目标对象侧面面向的第二摄像头，进而后续可以利用目标对象正面面向的第二摄像头检测得到瞳孔偏移信息，并利用目标对象侧面面向的第二摄像头检测得到面部俯仰信息，故此能够在视觉检测过程中实现第一摄像头和第二摄像头的联动，在此基础上，通过人体位姿信息筛选到目标对象正面面向的第二摄像头和目标对象侧面面向的第二摄像头，能够有利于提高后续检测瞳孔偏移信息和面部俯仰信息的准确性。
[0109]
在一些公开实施例中，预设场所放置有若干物品，处理器1202用于利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度；其中，第二距离值越大，关注度越低；处理器1202用于基于目标对象对物品的关注度，得到包含若干物品的热点图。
[0110]
区别于前述实施例，预设场所放置有若干物品，从而利用视觉焦点与各个物品之间的第二距离值，得到目标对象对物品的关注度，且第二距离值越大，关注度越低，进而基于目标对象对物品的关注度，得到包含若干物品的热点图，故此能够有利于辅助分析目标对象关注的物品。
[0111]
请参阅图13，图13是本申请存储装置1300一实施例的框架示意图。存储装置1300存储有能够被处理器运行的程序指令1301，程序指令1301用于实现上述任一视觉检测方法实施例中的步骤。
[0112]
上述方案，能够提高视觉检测的准确性。
[0113]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执
行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0114]
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。
[0115]
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。
[0116]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0117]
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0118]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。