专利名称：使用跟踪算法来生成全角度物体影像的制作方法
技术领域：
本发明涉及一种全角度物体影像生成技术，具体涉及一种使用跟踪算法来生成全角度物体影像。
背景技术：
现在网络上绝大多数商品展示方式是平面图片，但是，对于一件立体的商品而言， 一张平面的图片并不能令消费者满意，他们更希望看到商品的完整外观信息。现在，要制作这种完整外观信息的展示的一种方式是对物体进行3D建模。但是3D 建模必须由专业团队完成，制作周期长且造价高昂，故只有应用范围很窄。除此之外，3D建模贴图的最大缺点在于失去了真实性，消费者无从观察到物品的真实外观影像。除了 3D建模，另一种方式是通过采集物体全角度影像信息(如视频或照片序列)， 将原始素材通过合成来制作物体全角色影像，该技术即被称为全角度物体影像生成技术。原始视频素材的每一帧(照片序列的每一张照片)都由多个像素组成。其中每帧 (每张图片)中其中记录了物体影像的像素集合被称为物体块，而其他像素集合被称为背景。全角度物体影像技术的重点在于如何将原始素材影像中无用的背景去掉，并展示给用户稳定的物体块序列。全角度物体影像生成技术的拍摄方式有多种如物体静止，拍摄装置围绕物体旋转，或拍摄装置静止，物体本身旋转等。但是不管以什么方式来拍摄，普通录制过程中都无法保证拍摄器材与物体之间保持恒定的距离与角度，故不可避免地造成物体块的位置，大小或角度在图片序列(或多帧)中出现不稳定，即物体块在图片序列(或多帧)中出现位移，缩放或旋转等变化。因此，无法从素材(图片序列或视频)中直接获得大小角度稳定的物体块系列。最原始的处理方式是对采集后的原始图片逐张进行人工处理手动切割每张图片 (帧)中的物体块，并调整每个物体块的大小与角度。但由于原始素材往往由多张图片组成，手工每一张处理繁琐而耗时巨大。另一种常用方法采用将旋转转盘的方式将物体至于一个自旋转的转盘之上，以手动或自动的方式来拍摄照片或录制视频。该方法思路在于提供稳定的拍摄环境，减少原始素材中物体块的变化，尽量使物体块在每张照片中保持相同的大小，角度与位置，从而能够使用统一的定位参数对所有图片进行截取。但该方式需要转盘设备具有复杂的控制与通信功能，增加了系统复杂度与制作成本；另一方面该方法也存在适用性上的局限该方法无法处理体积过大或过重等无法使用托盘的物体，或者某些根本无法转动的物体。更重要的是一旦照片序列中物体块出现位移等变化，该方法无法自动处理。现在，在学术领域并没有可商用的自动全角度影像生成算法。解决这个问题的一个方向是以特征点与Epipolar Geometry为基础的Multi-view Calibration方法首先寻找两张图片之间的关联特征点，然后推算关联特征点的在空间中的位置关系，最终完成校对。该方法的问题在于要求特征点的寻找非常准确，否则空间位置推算会产生较大偏差，而导致不可用结果。由于现阶段特征点寻找与匹配算法很不稳定，无法满足该方法的要求，因此Multi-view Calibration方法只能处理部分优质的原始影像素材。现实中的商用系统无法保证用户所拍摄的原始影像素材具有足够好的质量，这些原始素材往往会出现较大范围的抖动，旋转与缩放。Multi-view Calibration无法处理这些问题，因此也意味无法被商用。解决这个问题的另一个方向是使用图像切割算法使用图像切割将物体块与背景分开，然后通过调整物体块以完成校对。但问题在于首先，图像切割方法同样对原始影像素材有着苛刻的要求，无法保证产生合理的分割结果；其次，图像切割方法计算量太大，将占用太多服务器计算能力，而且无法实时处理，从成本的角度考虑太过昂贵。因此，此方法也无法被商用。
发明内容
本发明的目的是提供一种使用跟踪算法来生成全角度物体影像，它使用双向或单向物体块定位法来处理原始素材；能够适应图片序列或视频中物体块的各种变化，并且对其中每张图片每帧使用不同的截取参数。该系统不要求原始影像素材中物体块保持恒定的外形参数位置大小角度等，因此不强制要求使用外部设备，避免了高额的设备投入，同时， 也扩展了拍摄方式与适用物体的范围。为了解决背景技术所存在的问题，本发明是采用以下技术方案它的工作流程为 (1)使用摄像机或者照相机采集物体的全角度信息；( 对素材进行前期处理与准备；(3) 对图片序列进行预处理；(4)自动选取手工定位图片，操作者手工对手工定位图片中的物体块进行定位；( 对图片序列进行分组；(6)在图片组内，根据组内手工定位图片的定位信息，对组内未定位的图片逐个进行顺序定位与逆序定位；(7)对每张未定位图片，综合顺序结果与逆序结果，得到每张图片的最终定位结果；也可以由顺序或者逆序方式直接作为最终定位结果；(8)根据定位参数截取并逆向旋转图片；(9)图片序列后期处理；(10)文件方式保存结果。本发明具有以下有益效果使用双向物体块定位法来处理原始素材；能够适应图片序列或视频中物体块的各种变化，并且对其中每张图片每帧使用不同的截取参数。该系统不要求原始影像素材中物体块保持恒定的外形参数位置大小角度等，因此不强制要求使用外部设备，避免了高额的设备投入，同时，也扩展了拍摄方式与适用物体的范围。
图1是本发明的整体流程示意图；图2是本发明输入处理100的流程示意图；图3是本发明定位处理300的流程示意图；图4是本发明手工定位310的示意图；图5是本发明图片分组320的示意图；图6是本发明自动定位320的流程示意图；图7是本发明自动定位330的运行流程图；图8是本发明顺序定位的流程示意图9是本发明逆顺序的流程示意图；图10是本发明权重计算的示意图。
具体实施例方式参看图1，本具体实施方式
采用以下技术方案它是由输入处理100、图片预处理 200、定位处理图片300、截取400、后期调整500几大步骤组成。所述的步骤输入处理100是(1)围绕目标物体拍摄视频或者照片序列，将影像素材作为系统输入，该步骤中保持目标物体与拍摄装置的均速相对运动即可；( 如果影像素材为视频，按照一定时间间隔抽取视频中的图片；(3)如果影像素材为照片序列，则调整或检查照片顺序，保证图片的排列顺序；(4)去掉图片序列中与物体全角度影像无关的图片；该步骤的结果为形成一个完整的，连续的，记录了物体全角度影像的图片序列。如图2 所示，各张图片按顺序排列，记录了物体不同角度的信息。所述的步骤图片预处理200是为了达到更好的定位效果，对全角度影像的图片序列进行批量处理。如色彩平衡处理，亮度条件处理或锐化处理。该步骤为可选步骤。参看图3，所述的步骤定位处理图片300是该步骤为整个算法的核心步骤。分为手工定位310、图片分组320和自动定位330三部分；手工定位310是如果图片序列中图片数量为N，则在图片序列中选取M张进行手工定位，Me [1，N]。选取方法为由系统进行等距间隔选取。操作员可根据需要对选取结果进行调整。如图2为选取结果示例图片序列中标记为阴影的图片即为手工定位图片。手工定位310的方式为在原始图片中选取需要定位的物体。如前所述，被选中的像素集合被称为物体块，其余像素集合被称为背景；该步骤结果为M张图片的定位参数与M张图片中的物体块。如图4所示，定位参数为(X，y, w, h，c)。按照图片通用坐标系，左上顶点为原点，向左为χ轴变大方向，向下为y轴变大方向。 定位参数中(x，y)为定位框起始点坐标，w为定位框宽，h为定位框高，c为定位框与水平面角度。参看图5，图片分组320是根据手工定位图片位置，将图片划分为N组，每组均以手工定位图片为起点与终点，即每组包括两张手工定位图片与数张未定位图片。图中用阴影标记的图片为手工定位图片，其他未标记图片为未定位图片。如虚线所示，每个虚线框中为一个图片组。如图所示，每张手工定位图片将存在两组之中，而每张未定义图片存在且仅存在于1组之中。所述的步骤定位处理图片300 自动定位将处理图片序列中所有未定位图片。定位过程为在每组内，从手工定位图片开始，对未定位的图片逐张进行定位，直至完成组内所有图片的定位。参看图6，定位处理图片300可为单向或双向定位两种。双向定位将结合顺序定位与逆序定位结果从而得到最终结果，而单向定位将顺序定位结果或者逆序定位结果直接作为最终结果，一般适用于图片序列稳定的情况。在自动定位过程中，顺序定位为从序号小的图片开始向序号大的方向逐个定位；逆序定位为从序号大的图片向序号小的图片方向逐个定位。不论顺序或者逆序定位过程都在一个图片组中进行，都以手工定位图片为起点与终点，如图7所示，使用手工定位图片1的定位信息，对未定位图片2，3，4进行顺序定位；使用手工定位图片5的定位信息，对未定位图片2，3，4进行逆序定位。单向定位仅仅执行一次
6顺序或逆序定位，并将定位结果直接作为最终结果。双向定位将同时进行顺序定位与逆序定位，并将组合顺序与逆序两个定位结果作为最终定位结果。所述的顺序定位为对于每个图片组，从手工定位图片为起点，对未定位图片逐张进行定位。每次定位的结果作为下一张图片的输入。例如，使用手工定位图片1的信息对未定位进行顺序定位的过程中，首先使用图片1的定位结果对图片2进行处理；而图片2的处理结果被作为处理图片3的输入…该过程将被持续直至该组图片全部被处理。参看图8， 该图为对图片n(序号为η的图片，后使用相同代称)顺序定位过程。该过程输入为已完成定位的图片η-1的定位结果(图片η-1可能为手工定位图片，即可为自动定位图片结果)， 其中，fti-l为图片η-1的物体块位置参数，An-I为图片η_1的物体块。定位过程为在图片 η中，寻找与物体块An-I最为相似的像素集合。如果找到满足要求的物体块，即作为该次顺序定位结果物体块An与物体块位置参数&。如果无法找到满足要求的物体块，则直接将图片η-1的定位结果作为图片η的定位结果。所述的逆序定位与顺序定位过程相似，区别在于逆序定位从序号大的图片开始， 逐张进行定位，直至处理该组中所有未定位图片。参看图9，使用图片η+1的定位结果对图片η进行逆序定位，结果为图片η的逆序定位结果物体块&1与物体块位置参数办。本发明对对所有未定位图片进行顺序与逆序定位，结果为每张未定位图片获得顺序定位结果参数)(11与逆序定位结果参数办。根据每张图片的序号，对每张图片的)(11与进行带权重的组合。计算权重的思路为由于在从手工定位图片开始的逐张定位过程中会累积误差，故该过程到达某张未定位图片时所经过的图片越少，定位结果可信度越高。权重计算方法如下如果作为起点与终点的手工定位图片序号为k与1，图片k为顺序定位起点；图片1为逆序定位起点。如果未定位图片序号为j(k < j < 1)，则j的顺序定位权重Pj = (l-j)/(l-k) ；j 的逆序定位权重 Qj = (j-k)/(l-k)；最终定位参数计算如下Zn = Pj*Xn+Qj*Yn参看图10，从图片1开始的逐图顺序定位到达图片2时经过的距离为1，而从图片 5开始的逐图逆序定位到达图片2时经历的距离为3，故对于图2而言，顺序定位结果更加可信，因此计算图2的最终定位参数时，顺序定位结果的权重P2为3/4，而逆序定位结果的权重Q2则要小很多，为1/4。所述的步骤截取400是对图片使用其最终定位参数进行截取，并进行反向旋转， 获得图片η的最终物体块&。此即为定位结果。手工定位物体块与自动定位物体块组成物体块序列。所述的步骤后期调整500是对物体块序列进行后期处理，包括整体缩放，亮度修改等图像处理。本具体实施方式
使用双向物体块定位法来处理原始素材；能够适应图片序列或视频中物体块的各种变化，并且对其中每张图片每帧使用不同的截取参数。该系统不要求原始影像素材中物体块保持恒定的外形参数位置大小角度等，因此不强制要求使用外部设备，避免了高额的设备投入，同时，也扩展了拍摄方式与适用物体的范围。
权利要求
1.使用跟踪算法来生成全角度物体影像，其特征在于它的工作步骤为1、对图片序列中的1张进行定位；2、使用运动跟踪算法来在多张图片中跟踪所框选的物体块；3、跟踪结果组合起来，就是全角度物体影像。
2.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于所述的步骤2使用物体块跟踪算法来在多张图片中跟踪所框选的物体块。
3.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于它的工作流程为1、使用摄像机或者照相机采集物体的全角度信息；2、对素材进行前期处理与准备；3、对图片序列进行预处理；4、自动选取手工定位图片，操作者手工对手工定位图片中的物体块进行定位；5、对图片序列进行分组；6、在图片组内，根据组内手工定位图片的定位信息，对组内未定位的图片逐个进行顺序定位与逆序定位；7、对每张未定位图片，综合顺序结果与逆序结果，得到每张图片的最终定位结果；也可以由顺序或者逆序方式直接作为最终定位结果；8、根据定位参数截取并逆向旋转图片；9、图片序列后期处理；10、文件方式保存结果。
4.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于它是由输入处理(100)、图片预处理000)、定位处理图片(300)、截取000)、后期调整(500)和结果图片序列几大步骤组成；所述的步骤输入处理(100)是1、围绕目标物体拍摄视频或者照片序列，将影像素材作为系统输入，该步骤中保持目标物体与拍摄装置的均速相对运动即可；2、如果影像素材为视频，按照一定时间间隔抽取视频中的图片；3、如果影像素材为照片序列，则调整或检查照片顺序，保证图片的排列顺序；4、去掉图片序列中与物体全角度影像无关的图片；该步骤的结果为形成一个完整的，连续的，记录了物体全角度影像的图片序列。
5.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于所述的步骤定位处理图片(300)是该步骤为整个算法的核心步骤；分为手工定位(310)、图片分组 (320)和自动定位(330)三部分；手工定位(310)是如果图片序列中图片数量为N，则在图片序列中选取M张进行手工定位，M e [1，N]；选取方法为由系统进行等距间隔选取，也可以手动选取；图片分组(320)是根据手工定位图片位置，将图片划分为N组，每组均以手工定位图片为起点与终点，即每组包括两张手工定位图片与数张未定位图片；自动定位 (330)是自动定位将处理图片序列中所有未定位图片，定位过程为在每组内，从手工定位图片开始，对未定位的图片逐张进行定位，直至完成组内所有图片的定位。
6.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于所述的步骤定位处理图片(300)可为单向或双向定位两种；双向定位将结合顺序定位与逆序定位结果从而得到最终结果，而单向定位将顺序定位结果或者逆序定位结果直接作为最终结果， 一般适用于图片序列稳定的情况；在自动定位过程中，顺序定位为从序号小的图片开始向序号大的方向逐个定位；逆序定位为从序号大的图片向序号小的图片方向逐个定位；不论顺序或者逆序定位过程都在一个图片组中进行，都以手工定位图片为起点与终点。
7.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于所述的顺序定位为对于每个图片组，从手工定位图片为起点，对未定位图片逐张进行定位；每次定位的结果作为下一张图片的输入；逆序定位与顺序定位过程相似，区别在于逆序定位从序号大的图片开始，逐张进行定位，直至处理该组中所有未定位图片。
8.根据权利要求1所述的使用跟踪算法来生成全角度物体影像，其特征在于所述的步骤截取(400)是对图片使用其最终定位参数进行截取，并进行反向旋转，获得图片η的最终物体块1 ，即为定位结果，手工定位物体块与自动定位物体块组成物体块序列；步骤后期调整(500)是对物体块序列进行后期处理，包括整体缩放，亮度修改等图像处理。
全文摘要
使用跟踪算法来生成全角度物体影像，它涉及一种全角度物体影像生成技术。它是由输入处理100、图片预处理200、定位处理图片300、截取400、后期调整500和结果图片序列几大步骤组成；使用双向物体块定位法来处理原始素材；能够适应图片序列或视频中物体块的各种变化，并且对其中每张图片每帧使用不同的截取参数。该系统不要求原始影像素材中物体块保持恒定的外形参数位置大小角度等，因此不强制要求使用外部设备，避免了高额的设备投入，同时，也扩展了拍摄方式与适用物体的范围。
文档编号G06T7/00GK102314705SQ20101022127
公开日2012年1月11日 申请日期2010年7月8日 优先权日2010年7月8日
发明者唐蔚然 申请人:唐蔚然