一种面向图像序列的铰接关节点空间运动重构方法

文档序号:10471974阅读:652来源:国知局
一种面向图像序列的铰接关节点空间运动重构方法
【专利摘要】本发明公开了一种面向图像序列的铰接关节点空间运动重构方法,在获得相机的自校正参数以及相机CCD物理尺寸后,建立以图像序列第一帧所对应的相机中心为坐标原点的空间物理坐标系;根据视觉成像原理,建立铰接关节点运动直线参数方程和圆参数方程;通过求解初等函数,获得铰接关节点的潜在坐标;进一步通过轨迹平滑约束,逐帧建立铰接关节点的空间运动轨迹。本发明利用已知的相机空间运动轨迹和相邻铰接关节点的空间运动轨迹,通过求解初等函数来逐帧恢复本关节点的空间运动轨迹。
【专利说明】
-种面向图像序列的絞接关节点空间运动重构方法
技术领域
[0001] 本发明设及Ξ维重构技术领域,特别是设及一种面向图像序列的较接关节点空间 运动重构方法。
【背景技术】
[0002] Ξ维重构是计算机视觉领域中一个非常重要的问题,其分为刚性重构和非刚性重 构。其中,刚性Ξ维重构已经成为经典的计算机视觉组成部分。非刚性运动重构有着非常广 泛的应用场景,例如人体运动的重构在康复领域的应用等。人体运动就属于一种典型的较 接关节点运动方式,目前广泛采用的运动捕获设备Motion Capture系统,例如Vicon、 CAREN,能获得精确的较接关节点运动数据,但设备价格昂贵,且只能在有限的空间内进行 运动采集。而基于图像序列的运动恢复可W弥补上述设备的缺点,所W也一直是计算机视 觉领域的热点问题,在虚拟现实、人机交互等方面都有重要的应用价值。
[0003] 利用图像序列获得较接关节点运动重构方法,主要分为W下两个部分:第一部分 是特征点匹配,第二部分是根据已知的相机运动和相邻关节点运动确定较接关节点运动。 经过对现有技术文献进行检索发现,Park等人在IE邸ICCV 2011( IE邸国际计算机视觉会 议2011)戶片发表的"3D Reconstruction of a Smooth Articulated Trajectory from a Monocular Image Sequence"(基于单一图像序列中的光滑较接关节点轨迹Ξ维重构)主要 针对较接关节点运动重构的第二部分方法,在不同的相机模型下,把较接关节点运动重构 建模成为一个二次整形规划的问题进行恢复。他们认为每帖两个较接关节点的可能构成了 一个2^条的序列空间(其中F为整个二维图像序列的帖数),需要从中找到一条最优的序列, 并采用分支定界法,需要对序列整体进行优化,运算效率低下,且随着图像序列的增长,每 次都需要重新优化。

【发明内容】

[0004] 本发明的目的在于克服现有技术的不足,提供一种面向图像序列的较接关节点空 间运动重构方法,利用已知的相机空间运动轨迹和相邻较接关节点的空间运动轨迹,通过 求解初等函数来逐帖恢复本关节点的空间运动轨迹。
[0005] 本发明的目的是通过W下技术方案来实现的:一种面向图像序列的较接关节点空 间运动重构方法,包括W下步骤:
[0006] S1.获取相机感光器件的物理尺寸,并对相机进行校正,获取相机的内部参数,所 述相机的内部参数包括相机的崎变参数、焦距f和中屯、偏移(Px,Py);
[0007] S2.建立W图像序列第一帖所对应的相机中屯、Co为原点的空间坐标系八;
[000引S3.在相机中屯、Co与空间运动关节点X中间设定成像平面I,成像平面I与相机中屯、 Co保持物理焦距/距离,成像平面I垂直于相机光轴,计算成像平面I在空间坐标系Λ下的空 间坐标;
[0009] S4.将相邻关节点投影在图像坐标系下的二维坐标点y换算为空间坐标系Λ下的 Ξ维空间坐标Υο,根据相机中屯、Co和Ξ维空间坐标Υο确定直线Co机的方向;
[0010] S5.确定图像序列第i帖在空间坐标系Λ下的空间坐标,W及相机中屯、Co和相邻关 节点Xi在空间坐标系A下的空间坐标;重复步骤S3至步骤S4,确定直线CiYi的方向,建立直 线CiYi的参数方程,
[0011] X = C/ + m · t.
[0012] y = C]'+n*t,
[0013] 之=C': + ;? · t;
[0014]式中,(m,n,p)为直线CiYi的方向;
[001引 S6.建立W相邻关节点X功圆屯、,W较接关节点r为半径的圆的参数方程Ox,
[001W J = C,' + Γ * sin 食 * cos (/>, 0 < 4 < 2巧
[0017] v = C,'+/'*sin99?.c〇.s^,0<(/5<K;'
[001 引 :二-C; +厂 *cos口
[0019] S7.通过直线CiYi的参数方程和参数方程化的联立求解,获得第i帖Yi的两个潜在 坐标,潜在坐标γ,ι对应直线方程参数,潜在坐标Υ,=对应直线方程参数咬;
[0020] S8.重复步骤S5至步骤S7,获得第i+1帖Yi+1的两个潜在坐标,,潜在坐标磅, 对应直线方程参数也,潜在坐标掉对应直线方程参数秩,;
[0021] S9.分别计算两帖间可能增量Δχ.ι]+,,ΔΥ品,,Δ巧ι,,,ΔΥ式1,根据相邻第i帖和第i + 1 帖的较接关节点运动保持平滑,选择其中最小的可能,即
[0022]
[0023] 再确定其对应的第i+1帖的Ξ维空间坐标Yi+i;
[0024] S10.重复步骤S3至步骤S9,逐帖确定后续帖所对应的Ξ维空间坐标Yi+2,Yi+3,..., 化,得到较接关节点Y连续的运动轨迹。
[0025] 所述步骤S1包括W下子步骤:
[0026] S11.固定相机的光圈、焦距,不同角度拍摄多幅棋盘格图像;
[0027] S12.选择棋盘格图像的四角W确定对应点;
[0028] S13.利用相机自校正工具对相机进行校正,然后获得相机的内部参数,所述内部 参数包括相机的崎变参数、焦距f和中屯、偏移(Px,Py)。
[0029] 所述步骤S3包括W下子步骤:
[0030] S31.根据相机感光器件的尺寸与棋盘格图像的像素大小比例,计算单个像素的物 理尺寸,并计算相机的物理焦距/和物理中屯、偏移
[0031] S32.根据相机中屯、Co和物理中屯、偏移巧1,武)确定相机光轴方向,相机平面处于相 机中屯、Co物理焦距/处,且垂直于相机光轴(反,反);
[0032] S33.根据相机的物理焦距/和物理中屯、偏移(/)、,/,,),计算成像平面I在空间坐标 系八下的空间坐标。
[0033] 步骤S3中相机光轴的直线方程由相机中屯、Co和相机中屯、偏移(px,py)确定。
[0034] 本发明的有益效果是:
[0035] (1)本发明确定W第一帖所对应的相机中屯、为原点坐标系,并将相机运动和相邻 关节点运动统一到该坐标系下,求取较接关节点的运动;
[0036] (2)本发明在整个算法中,采用物理量纲来进行运动轨迹恢复;
[0037] (3)本发明逐帖恢复较接关节点运动,相邻两帖间的较接关节点运动通过运动平 滑约束来保证,而无需整体优化,降低了重构的时间消耗;
[0038] (4)本发明采用参数方程表示直线和圆,使得求取物理交点变成求解简单的初等 函数方程,而无需求解复杂的整形二次规划。
【附图说明】
[0039] 图1为本发明一种面向图像序列的较接关节点空间运动重构方法的流程图;
[0040] 图2为本发明中用于相机校正的部分棋盘格图像的示意图;
[0041] 图3为本发明中较接关节点可能的空间位置;
[0042] 图4为空间成像平面与较接关节点夹角的剖面示意图。
【具体实施方式】
[0043] 下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于 W下所述。
[0044] 实施例一
[0045] 如图1、图2、图3和图4所示,一种面向图像序列的较接关节点空间运动重构方法, 包括W下步骤:
[0046] S1.获取相机感光器件的物理尺寸,并对相机进行校正,获取相机的内部参数,所 述相机的内部参数包括相机的崎变参数、焦距f和中屯、偏移(Px,Py);
[0047] 所述步骤S1包括W下子步骤:
[0048] S11.固定相机的光圈、焦距,不同角度拍摄多幅棋盘格图像;
[0049] S12.选择棋盘格图像的四角W确定对应点;
[0050] S13.利用相机自校正工具对相机进行校正,然后获得相机的内部参数,所述内部 参数包括相机的崎变参数、焦距f和中屯、偏移(Px,Py)。
[0051] S2.建立W图像序列第一帖所对应的相机中屯、Co为原点的空间坐标系Λ。
[0052] S3.在相机中屯、Co与空间运动关节点X中间设定成像平面I,成像平面I与相机中屯、 Co保持物理焦距/距离,成像平面I垂直于相机光轴,计算成像平面I在空间坐标系Λ下的空 间坐标;
[0053] 所述步骤S3包括W下子步骤:
[0054] S31.根据相机感光器件的尺寸与棋盘格图像的像素大小比例,计算单个像素的物 理尺寸,并计算相机的物理焦距/和物理中屯、偏移作,,A);
[005引 S32.根据相机中屯、Co和物理中屯、偏移海,馬)确定相机光轴方向,相机平面处于相 机中屯、Co物理焦距/处,且垂直于相机光轴作、,A);
[0化6] S33.根据相机的物理焦距/和物理中屯、偏移巧,,托),计算成像平面I在空间坐标 系八下的空间坐标。
[0057] 步骤S3中相机光轴的直线方程由相机中屯、Co和相机中屯、偏移(px,py)确定。
[0058] S4.根据步骤S2和步骤S3确定直线CoYo的方向:将相邻关节点投影在图像坐标系下 的二维坐标点y换算为空间坐标系A下的Ξ维空间坐标Υο,根据相机中屯、Co和Ξ维空间坐标 Υο确定直线CoYo的方向。
[0059] S5.确定图像序列第i帖在空间坐标系Λ下的空间坐标,W及相机中屯、Co和相邻关 节点Xi在空间坐标系A下的空间坐标;重复步骤S3至步骤S4,确定直线CiYi的方向,建立直 线CiYi的参数方程,
[0060]
[0061 ] 1'二(:;+"·/-,
[0062] z = C;+/j·/',
[0063] 式中,(m,η,P)为直线CiYi的方向。
[0064] S6.建立W相邻关节点Xi为圆屯、,W较接关节点r为半径的圆的参数方程化,
[00化]'、-=C,、+ r · S in。· cos興 0 空貧么 2本
[006引 r:=C,'+r*sin^*cos^,0<(9<j·。
[0067] z = C;:+r*cos^
[0068] S7.通过直线CiYi的参数方程和参数方程化的联立求解,获得第i帖Yi的两个潜在 坐标,潜在坐标γ,ι对应直线方程参数《,潜在坐标Y/对应直线方程参数择。
[0069] S8.重复步骤S5至步骤S7,获得第i+1帖Yi+i的两个潜在坐标请.1,,潜在坐标 对应直线方程参数古1,潜在坐标货对应直线方程参数境1。
[0070] S9.分别计算两帖间可能增量/\培+,,么¥瓦1,么巧1+1,么巧^.1,根据相邻第1帖和第1 + 1 帖的较接关节点运动保持平滑,选择其中最小的可能,即
[0071]
[0072] 再确定其对应的第i+1帖的Ξ维空间坐标Yi+i。
[0073] S10.重复步骤S3至步骤S9,逐帖确定后续帖所对应的Ξ维空间坐标Yi+2,Yi+3,..., 化,得到较接关节点Y连续的运动轨迹。
[0074] 实施例二
[0075] 步骤一:采集标准棋盘格图像进行相机自校正,获得相机中屯、偏移(Px,Py)、焦距f、 崎变参数等相机参数。同时查阅相机技术手册,获得相机CCD物理尺寸LxW。假设图像分辨率 为MxN,物理焦距则为f · L/M。建立自校正矩闻
,用于下述图像坐标校正。
[0076] 步骤二:建立W图像序列第一帖所对应的相机中屯、Co=[0 0 0]为原点的空间坐 标系A ;其光轴方向为[0 0 1]。通过上述获得的相机参数,计算图像序列第一帖的成像平 面物理空间坐标。
[0077] 步骤Ξ:同理,获得第i帖的成像平面的物理空间坐标,并将其换算成在空间坐标 系八中的空间坐标Ci,确定图像主轴方向;根据图像上的像素坐标yiW及成像的平面物理空 间坐标,获得y 1对应的空间坐标Yi。
[007引步骤四:通过相机中屯、Ci空间坐标和Yi的空间坐标,建立直线参数方程CiYi。
[0079] 步骤五:将已知Xi的坐标换算成坐标系Λ下的坐标,再通过该坐标和较接关节距 离r,建立圆的参数方程化。
[0080] 步骤六:通过分别建立直线参数方程CiYi和圆的参数方程化,求取潜在坐标Υ,1,Υ,2, 分别对应直线方程参数?巧時,即潜在坐标t对应直线方程参数?;,潜在坐标《对应直线方 程参数咬。
[0081] 步骤屯:重复步骤Ξ至步骤六,获得第i+1帖成像平面物理空间坐标yi+i,Yf+i,分别 对应古,和這,,即潜在坐标Y/+1对应直线方程参数4,潜在坐标Y,:对应直线方程参数括。
[00剧步骤八:分别计算两帖间可能增量Δ巧+l,Δ趕+,,Δ巧+,,ΔY,式,,根据相邻第i帖和第 i+1帖的较接关节点运动保持平滑,选择其中最小的可能,即
[0083]
[0084] 再确定其对应的Yw。
[00化]步骤九:重复步骤Ξ至步骤八,逐帖确定后续帖所对应的Υι+2,Υι+3,...,化,得到较 接关节点Υ连续的运动轨迹。
[0086] 本发明在获得相机的自校正参数W及相机CCD物理尺寸后,建立W图像序列第一 帖所对应的相机中屯、为坐标原点的空间物理坐标系;根据视觉成像原理,建立较接关节点 运动直线参数方程和圆参数方程;通过求解初等函数,获得较接关节点的潜在坐标;进一步 通过轨迹平滑约束,逐帖建立较接关节点的空间运动轨迹。本发明逐帖恢复较接关节点运 动,相邻两帖间的较接关节点运动通过运动平滑约束来保证,而无需整体优化,降低了重构 的时间消耗;采用参数方程表示直线和圆,使得求取物理交点变成求解简单的初等函数方 程,而无需求解复杂的整形二次规划。
[0087] W上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的 形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本 文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进 行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围 内。
【主权项】
1. 一种面向图像序列的铰接关节点空间运动重构方法,其特征在于:包括以下步骤:51. 获取相机感光器件的物理尺寸,并对相机进行校正,获取相机的内部参数,所述相 机的内部参数包括相机的畸变参数、焦距f和中心偏移(p x,py);52. 建立以图像序列第一帧所对应的相机中心Co为原点的空间坐标系Λ ;53. 在相机中心Co与空间运动关节点X中间设定成像平面I,成像平面I与相机中心Co保 持物理焦距/距离,成像平面I垂直于相机光轴,计算成像平面I在空间坐标系Λ下的空间 坐标;54. 将相邻关节点投影在图像坐标系下的二维坐标点y换算为空间坐标系Λ下的三维 空间坐标Υο,根据相机中心Co和三维空间坐标Υο确定直线CoYo的方向;55. 确定图像序列第i帧在空间坐标系Λ下的空间坐标,以及相机中心Co和相邻关节点 Xi在空间坐标系Λ下的空间坐标;重复步骤S3至步骤S4,确定直线CiYi的方向,建立直线CiYi 的参数方程,式中,(m,n,p)为直线CiYi的方向;56. 建立以相邻关节点t为圆心,以铰接关节点r为半径的圆的参数方程Ox,S7 .通过直线QYi的参数方程和参数方程Ox的联立求解,获得第i帧两个潜在坐标 ,潜在坐标对应直线方程参数豕,潜在坐标Yf对应直线方程参数rf;58. 重复步骤S5至步骤S7,获得第i+1帧Y1+1的两个潜在坐标潜在坐标对应 直线方程参数U替在坐标义2对应直线方程参数;59. 分别计算两帧间可能增量△^^△〇+一兄1+1,叫.2;^根据相邻第1帧和第1+1帧的铰 接关节点运动保持平滑,选择其中最小的可能,即再确定其对应的第i+1帧的三维空间坐标Yi+i;510. 重复步骤S3至步骤S9,逐帧确定后续帧所对应的三维空间坐标Yi+2,Yi+3,. ..,Yk,得 到铰接关节点Y连续的运动轨迹。2. 根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法,其特征 在于:所述步骤S1包括以下子步骤:511. 固定相机的光圈、焦距,不同角度拍摄多幅棋盘格图像;512. 选择棋盘格图像的四角以确定对应点;513. 利用相机自校正工具对相机进行校正,然后获得相机的内部参数,所述内部参数 包括相机的畸变参数、焦距f和中心偏移(px,p y)。3. 根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法,其特征 在于:所述步骤S3包括以下子步骤:531. 根据相机感光器件的尺寸与棋盘格图像的像素大小比例,计算单个像素的物理尺 寸,并计算相机的物理焦距/和物理中心偏移532. 根据相机中心C〇和物理中心偏移(艮,九)确定相机光轴方向,相机平面处于相机中 心C〇物理焦距/处,且垂直于相机光轴(A,九);533. 根据相机的物理焦距/和物理中心偏移(A4,),计算成像平面I在空间坐标系Λ 下的空间坐标。4. 根据权利要求1所述的一种面向图像序列的铰接关节点空间运动重构方法,其特征 在于:步骤S3中相机光轴的直线方程由相机中心Co和相机中心偏移(p x,py)确定。
【文档编号】G06T7/00GK105825549SQ201610154349
【公开日】2016年8月3日
【申请日】2016年3月17日
【发明人】郑亚莉, 程洪, 姬艳丽
【申请人】电子科技大学
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1