一种基于多视角的人体定位方法及灯光系统与流程

本发明涉及场地灯，更具体地，涉及一种基于多视角的人体定位方法及灯光系统。

背景技术：

1、现在的演艺灯光系统中，通常会使光束跟随并照亮场地中的人，一般需要灯光师手动控制光束投射方向，使光斑跟踪特定人进行照明。由于灯具距离场地一般较远，手动跟踪精度受到人为因素影响较大。另外常用方式是场地演员佩戴特殊的主动标签（如uwb-tag标签等可以主动发出信号的标签）或被动标签（如红外标记点等可以被检测而不会主动发出信号的标签），通过跟踪主动标签或者被动标签来跟演员。但这样一方面演员在特定场合可能不方便佩戴标签，另一方面主动标签传输数据可能会受到人体或者周围场景的干扰导致定位不准或者定位抖动的问题，被动标签也可能存在被遮挡的问题。

技术实现思路

1、本发明为克服上述现有技术所述的至少一种缺陷，提供一种基于多视角的人体定位方法，可以得到更加可靠的人体位置信息，同时排除掉一些误匹配等造成的干扰，使灯具的光束投射更为精准。

2、为解决上述技术问题，本发明采用的技术方案是：一种基于多视角的人体定位方法，包括以下步骤：

3、s1、利用摄像装置从至少2个角度同时采集场地的图片；

4、s2、提取各图片中各人体的人体特征点；

5、s3、将不同图片中同一人体、同一位置的人体特征点进行匹配形成匹配点组，根据各摄像装置的位姿及内参，计算每个匹配点组在3d空间中对应的3d点的3d坐标；

6、s4、计算3d点与各原图片中对应匹配点组的各人体特征点之间的空间几何误差，加权后得到该3d点的重投影误差，在将各3d点投影到地面后得到其在地面上的单点2d坐标后，根据对应3d点的重投影误差，对投影的单点2d坐标进行加权得到人体在地面投影分布。

7、所述一种基于多视角的人体定位方法通过对投影的单点2d坐标进行加权得到人体在地面投影分布，消除了人体特征点匹配形成匹配点组时可能产生的一些误匹配的干扰，并且人体在地面投影分布是带有权重的单点2d坐标合集，可以判断人体在地面最大可能的投影范围，定位更准确，另外，直接识别人体，不需要人体佩戴主动标签或被动标签，使用场景更灵活。

8、进一步地，在s2步骤中，所述人体特征点为图像特征点。图像特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)，图像特征点能够反映图像本质特征，能够标识图像中目标物体。

9、进一步地，所述图像特征点为orb特征点。提取速度快，且考虑了尺度不变性与旋转不变性，进一步提高了算法效果，兼顾了实时性和算法性能。

10、进一步地，在s2步骤中，所述人体特征点为人体关键点。人体关键点是对人体的关键部位如鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左腕、右腕、左胯、右胯、左膝、右膝、左踝、右踝进行定位识别，一个人体关键点代表人体的一个部位。

11、进一步地，在s2步骤中，同时提取图片中人体的人体关键点和图像特征点，且人体关键点和图像特征点均经过s3步骤、s4步骤处理，共同得到人体在地面投影分布。由于人体姿势及拍摄角度问题，人体关键点可能存在无法检测到的问题，而图像特征点没有人体关键点稳定，数量多且随机分布，也可能存在无法检测到的问题，因此同时利用人体关键点和图像特征点对人体进行综合定位，可以定位更加准确。

12、进一步地，在s2步骤中，先用人体检测算法检测出图片中的人体，并用身体框框定图片中的人体，再从身体框中提取人体特征点。这样仅在身体框中提取人体特征点，而不是整幅图片，可以缩减人体特征点的数量，且利用身体框将可以多个人体分开，便于区分不同的人体。

13、进一步地，在s3步骤中，所述场地上人体数量为多个，计算不同图片中的身体框所限定的区域块相互之间的匹配度，选取不同图片中具有最佳匹配度的多个身体框对应同一人体。当有场地上有多个人体时，先将同一人体在不同图片中的身体框寻找出来，即对于每个人体，在每个图片中各找一个身体框与其对应，方便后续对不同的人体进行定位。

14、进一步地，以区域块相互之间的图像相似度作为身体框相互之间的匹配度。图像相似度的判断速度较快，可以加快定位速度。

15、进一步地，从每个图片中各取出一个身体框，对身体框内的人体特征点进行强制匹配形成多个匹配点组，并计算每个匹配点组在3d空间中对应的3d点的3d坐标，以及3d点与各原图片中人体特征点之间的空间几何误差，加权后得到该3d点的重投影误差，对身体框内的全部人体特征点对应的3d点的重投影误差进行加权，以加权后的重投影误差的负值作为身体框相互之间的匹配度。

16、进一步地，在s1步骤中，以场地中心为圆心，相邻摄像装置对应的圆心角大于45°且小于90°。既不会使摄像装置的间距过近，导致浪费物力和增加计算量，也不会使摄像装置的间距过远，导致采集人体图像时，角度差异过大，造成无法判断是否属于同一人体。

17、进一步地，在s1步骤中，所述摄像装置采集的图片上传至服务器，s2步骤、s3步骤均在服务器中进行。可以实现多个场地场景共用计算能力，降低对本地计算能力的要求。

18、本发明还提供一种灯光系统，包括场地、灯具以及至少2个摄像装置，利用所述摄像装置根据前述任一种方法对人体进行定位，所述灯具根据自身位置信息以及人体在地面投影分布投射光束。

技术特征：

1.一种基于多视角的人体定位方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多视角的人体定位方法，在s2步骤中，所述人体特征点为图像特征点(520)。

3.根据权利要求2所述的基于多视角的人体定位方法，所述图像特征点(520)为orb特征点。

4.根据权利要求1所述的基于多视角的人体定位方法，在s2步骤中，所述人体特征点为人体关键点(530)。

5.根据权利要求1所述的基于多视角的人体定位方法，在s2步骤中，同时提取图片中人体的人体关键点(530)和图像特征点(520)，且人体关键点(530)和图像特征点(520)均经过s3步骤、s4步骤处理，共同得到人体在地面投影分布，s5步骤中，灯具(200)根据自身位置信息及共同得到的人体在地面投影分布投射光束。

6.根据权利要求1所述的基于多视角的人体定位方法，在s2步骤中，先用人体检测算法检测出图片中的人体，并用身体框(500)框定图片中的人体，再从身体框(500)中提取人体特征点。

7.根据权利要求6所述的基于多视角的人体定位方法，在s3步骤中，所述场地上人体数量为多个，计算不同图片中的身体框(500)所限定的区域块(510)相互之间的匹配度，选取不同图片中具有最佳匹配度的多个身体框(500)对应同一人体。

8.根据权利要求7所述的基于多视角的人体定位方法，以区域块(510)相互之间的图像相似度作为身体框(500)相互之间的匹配度。

9.根据权利要求7所述的基于多视角的人体定位方法，从每个图片中各取出一个身体框(500)，对身体框(500)内的人体特征点进行强制匹配形成多个匹配点组，并计算每个匹配点组在3d空间中对应的3d点的3d坐标，以及3d点与各原图片中人体特征点之间的空间几何误差，加权后得到该3d点的重投影误差，对身体框(500)内的全部人体特征点对应的3d点的重投影误差进行加权，以加权后的重投影误差的负值作为身体框(500)相互之间的匹配度。

10.根据权利要求1所述的基于多视角的人体定位方法，在s1步骤中，以场地中心为圆心，相邻摄像装置(100)对应的圆心角大于45°且小于90°。

11.根据权利要求1所述的基于多视角的人体定位方法，在s1步骤中，所述摄像装置(100)采集的图片上传至服务器(300)，s2步骤、s3步骤均在服务器(300)中进行。

12.一种灯光系统，其特征在于，包括场地、灯具(200)以及至少2个摄像装置(100)，所述摄像装置(100)根据权利要求1-11任一项所述的方法的对人体进行定位，所述灯具(200)根据自身位置信息以及人体在地面投影分布投射光束。

技术总结
本发明公开了一种基于多视角的人体定位方法及灯光系统，人体定位方法通过采集同一人体多角度的照片并提取人体特征点，将不同图片中同一位置的人体特征点进行匹配形成匹配点组，计算每个匹配点组在3D空间中对应的3D点的3D坐标；计算3D点与各原图片中对应匹配点组的各人体特征点之间的空间几何误差，加权后得到该3D点的重投影误差，在将各3D点投影到地面得到单点2D坐标后，对单点2D坐标按照对应3D点空间几何误差进行加权得到人体在地面投影分布。直接识别人体，通过加权消除了形成匹配点组时一些误匹配干扰，且人体在地面投影分布是带有权重的单点2D坐标合集，可以判断人体在地面最大可能的投影范围，定位更准确。

技术研发人员：彭颖茹,请求不公布姓名,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：广州市浩洋电子股份有限公司
技术研发日：
技术公布日：2024/1/15