本发明涉及全方位影像成像方法及执行该方法的设备。更具体地涉及一种基于设置在可穿戴设备的多个影像成像部而对全方位影像(或360度影像)进行成像的方法及执行该方法的设备。
背景技术
全方位(omnidirectional)影像系统是指基于特定视点而记录全方位(360度)的影像信息的影像系统。与现有的影像系统相比，因获得非常宽的视角(field-of-view)的影像，由此，近来，在计算机视觉、移动机器人等研究领域及监视系统、虚拟现实系统、变焦(ptz：pan-tilt-zoom)摄像机、视频会议等实用领域等，其应用的幅度逐渐变广。
使用各种方法，以用于获得全方位影像。例如，基于满足单视点(singleviewpoint)的光轴(opticalaxis)而旋转一个摄像机并接合所获得的影像而生成全方位影像。或者也能够使用将多台摄像机排列为环形结构而组合在各个摄像机中获得的影像的方法。用户使用用于获得各种全方位影像的全方位影像处理设备(或全方位影像处理摄像机)而生成全方位影像。
但，现在全方位影像处理设备存在如下问题，不便于携带，在用户日常生活中，无法自然地获得全方位影像。例如，现在的全方位影像处理设备设置(或安装(mount))在一定的场所，以更稳定地获得全方位影像，或用户双手举着全方位影像处理设备并对全方位影像进行成像。而且，对于通过手持(handheld)方式执行拍摄的情况，在360度摄像机特性上，拍摄者也一同被拍摄，由此，拍摄者的图像也包含在全方位影像中。
因此，用户难以使用全方位影像处理设备而容易且自然地获取全方位影像。
发明的内容
发明要解决的技术问题
本发明的目的为解决上述所有问题。
并且，本发明的另一目的为在用户的全方位影像处理设备的简便携带及双手自由的状态下，进行全方位影像的成像。
而且，本发明的另一目的为拼接通过位于相互不同的位置的多个摄像机而成像的多个影像，从而，生成自然的全方位影像。
用于解决问题的技术方案
用于实现所述目的的本发明的代表结构如下所示。
根据本发明的一实施例，全方位影像处理设备包括：多个影像成像部，生成用于生成全方位影像的多个影像；处理器，用于处理所述多个影像，其中，所述多个影像基于所述多个影像成像部各自的多个成像线而生成，所述多个成像线分别为垂直通过包含于各个所述多个影像成像部的多个透镜各自的中心的虚拟的线。
本发明的另一实施例，全方位影像处理方法包括如下步骤：多个影像成像部生成用于生成全方位影像的多个影像；处理所述多个影像而生成全方位影像，所述多个影像基于所述多个影像成像部各自的多个成像线而生成，所述多个成像线分别为垂直通过包含于各个所述多个影像成像部的多个透镜各自的中心的虚拟的线。
发明的效果
根据本发明，用户便于携带全方位影像处理设备，并在双手自由的状态下，对全方位影像进行成像。
并且，根据本发明，在全方位影像处理设备上，对通过分别位于相互不同位置的多个摄像机而成像的多个影像拼接(stitching)/补正而生成自然的全方位影像。
附图说明
图1为显示本发明的实施例的全方位影像处理设备的概念图；
图2为显示位于本发明的实施例的全方位影像处理设备的多个影像成像部的特性的概念图；
图3为显示本发明的实施例的多个影像成像部的成像线的概念图；
图4为显示本发明的实施例的多个影像成像部的成像线的概念图；
图5为显示本发明的实施例的全方位影像处理设备的固定方法的概念图；
图6为显示本发明的实施例的全方位影像处理设备的影像处理方法的概念图；
图7为显示本发明的实施例的全方位影像处理设备的影像成像部的概念图；
图8为显示本发明的实施例的全方位影像处理设备的框图；
图9为显示本发明的实施例的全方位影像处理设备的框图；
图10为显示本发明的实施例的全方位影像处理方法的概念图。
具体实施方式
对于如上所述的本发明的具体说明，参照将本发明实施的特定的实施例作为例示而显示的附图。对该实施例进行具体说明，以使本领域技术人员能够充分对本发明进行实施。应当理解，本发明的各种实施例相互不同但不存在相互排它性需求。例如，本说明书中记载的特定形状、结构及特性不脱离本发明的思想与范围，并能够由一实施例变更为其它实施例而实现。并且，各个实施例内的个别结构要素的位置或配置也未脱离本发明的思想与范围的情况，并能够进行变更。因此，下面所述的说明并非通过限定的意义进行，本发明的范围包括权利要求范围的权利要求项所请求的范围及与其同等的所有范围。在附图中类似的参照符号在各个方面显示相同或类似的构成要素。
下面，参照附图对本发明的几个优选的实施例进行具体他说明，以使本发明所属的技术领域中的普通技术人员能够容易实施本发明。
下面，在本发明的实施例中，全方位影像处理设备是指包括成像全方位(或360度影像)的摄像机。
图1为显示本发明的实施例的全方位影像处理设备的概念图。
图1中公开全方位影像处理设备的结构。
参照图1，全方位影像处理设备100为可穿戴结构，为与戴在用户的颈部的项链类似的形状。全方位影像处理设备100如图1所示，也能够为一面开放的项链的形状，也能够为一面未开放的项链的形状。下面，在本发明的实施例中，假设全方位影像处理设备100为一面开放的u字形状。该u字形状的全方位影像处理设备100为以可穿戴设备(wearabledevice)形状戴在用户的颈部而拍摄全方位影像。
在本发明的实施例中，为便于说明，假设全方位影像处理设备100为项链形状(或者一面开放的项链形状、u字形状)，而戴在用户的颈部的情况。但，全方位影像处理设备100也并非为简单戴在用户的颈部的形状。例如，全方位影像处理设备100以能够挂卡/附着的各种形状，设置于用户的不同的身体部位或外部物体(或者个体)/设备/结构等，由此，也能够获得全方位影像。
用户将作为可穿戴设备实现的全方位影像处理设备100戴在颈部，并在双手自由的状态下，获得用于生成全方位影像的多个影像。
全方位影像处理设备100包括多个影像成像部。多个影像成像部分别以特定间距(或预定的间距)而设置在全方位影像处理设备，由此，分别对视角/成像线的影像个别成像。多个影像成像部各自的位置也能够固定于全方位影像处理设备100，但多个影像成像部能够分别移动，且多个影像成像部各自的位置也能够进行变更。
例如，全方位影像处理设备100包括三个影像成像部，三个影像成像部按一定的视角(fieldofview)(例如，120度～180度)对全方位影像进行成像。三个影像成像部为影像成像部1110、影像成像部2120、影像成像部3130。
下面，为了便于说明，公开有三个影像成像部包含于全方位影像处理设备100的结构。但，并非三个而也能够为多个(例如，2、4、5、6个等)影像成像部包含于全方位影像处理设备100，对全方位影像进行成像，该形状也包含于本发明的权利要求范围。
影像成像部1110、影像成像部2120及影像成像部3130根据视角而对影像进行成像。在相同的时间资源上，通过影像成像部1110而生成影像1，通过影像成像部2120而生成影像2，通过影像成像部3130而生成影像3。影像成像部1110、影像成像部2120、影像成像部3130各自的视角为120度，在影像1、影像2及影像3中存在重叠的成像区域。之后，通过全方位影像处理设备100拼接/补正在相同的时间资源上所成像的影像1及影像2及影像3，从而，生成全方位影像。对多个影像的拼接及/或补正顺序也能够在全方位影像处理设备本身执行，也能够基于能够与全方位影像处理设备100通信的用户设备(智能手机)执行。即，对所生成的多个影像的增加的影像处理顺序也能够通过全方位影像处理设备100及/或其它影像处理设备(智能手机、电脑(personalcomputer)等)执行。
下面，具体显示全方位影像处理设备的具体特征及全方位影像生成方法。
图2为显示本发明的实施例的位于全方位影像处理设备的多个影像成像部的特性的概念图。
在图2中，公开位于u字型的全方位影像处理设备的多个影像成像部的特征。
图2中例示公开的影像成像部的位置。多个影像成像部分别位于全方位影像处理设备上的不同的位置，以用于对用于生成全方位影像的多个影像进行成像。
在图2的上端显示有全方位影像处理设备的后面。
包含在全方位影像处理设备的影像成像部1210及影像成像部2220位于在全方位影像处理设备上存在曲率的弯曲的部分。具体地，对于用户将全方位影像处理设备作为可穿戴设备而挂于颈部的情况，在与颈部的后部位接触并弯曲的区域设置影像成像部1210及影像成像部2220。例如，基于u字型的全方位影像处理设备的最大曲率支点(例如，u字型的中间部分)而将影像成像部1210及影像成像部2220设置在一定距离上。
影像成像部1210基于用户的视线(lineofsight)方向而对包含后面左侧死角区域的区域进行成像。影像成像部2220基于用户的视线而对包含后面右侧死角区域的区域进行成像。具体地，影像成像部1210具有第一视角，执行与第一视角相应的区域的成像。影像成像部2220具有第二视角，执行与第二视角相应的区域的成像。例如，第一视角及第二视角为120～180度。
对于执行通过影像成像部1210及影像成像部2220的成像的情况，生成通过第一视角与第二视角而重叠的第一重叠区域215。之后，以基于重叠区域的拼接为基础而生成全方位影像。
图2的下端公开全方位影像处理设备的前部。
在全方位影像处理设备的前面设置有影像成像部3230。具体地，影像成像部3230设置在全方位影像处理设备的末端部(u字型的端(末端)部分)。对于用户将全方位影像处理设备作为可穿戴设备挂于颈部的情况，u字型的全方位影像处理设备的末端部分位于用户的前面方向(用户的视线注视的方向)。全方位影像处理设备包括：第一末端部与第二末端部，影像成像部3230设置在第一末端部与第二末端部中一个末端部。
影像成像部3230以与用户的视线的方向相同的方向执行成像而执行对与用户的视线相应的区域的成像。
具体地，影像成像部3230具有第三视角，执行对与第三视角相应的区域的成像。例如，第三视角为120度～180度。对于执行通过影像成像部3230的成像的情况，因影像成像部1210的第一视角与影像成像部3230的第三视角而产生第二重叠区域225。对于执行通过影像成像部3230的成像的情况，因影像成像部2220的第二视角与影像成像部3230的第三视角而产生第三重叠区域235。
对于在挂于颈部的可穿戴设备的结构上，全方位影像处理设备挂于颈部的情况，影像成像部1210、影像成像部2220基于地面而相对地处于高于影像成像部3230的地方。并且，影像成像部3230位于一侧末端部。
在现有的全方位影像处理设备中，位于相同高度的多个影像成像部具有一定的角度，而本发明的实施例的全方位影像处理设备的多个影像成像部之间的角度不同，且所处的高度也各不相同。因此，分别通过多个影像成像部生成的多个影像的第一重叠区域215、第二重叠区域225及第三重叠区域235的大小/形状相互不同。
之后，以通过基于第一重叠区域215/第二重叠区域225/第三重叠区域235的影像成像部1210、影像成像部2220及影像成像部3230而分别生成的影像1、影像2及影像3的影像处理次序(拼接/补正等)为基础而生成全方位影像。
第一视角、第二视角、第三视角的大小也能够被相同地设定，但也能够进行相互不同地设定，并包含于该实施例及本发明的权利要求范围内。
图3为显示本发明的实施例的多个影像成像部的成像线的概念图。
图3中，显示设置于全方位影像处理设备的多个影像成像部各自的成像线。对于假设将地面与x轴与z轴构成的xz平面平行的情况，成像线被定义为在由x轴/y轴/z轴呈现的空间上，垂直通过包含于全方位影像处理设备的多个影像成像部各自的透镜的中央的线。
现有的全方位影像处理设备在相同的高度上，将多个影像成像部按一定的角度(例如，120度)实现。对于该情况，包含于现有的全方位影像处理设备的多个影像成像部的多个成像线是指与地面(或xz平面)平行，且在多个成像线之间为具有一定的角度(例如，120度)的多个线。
本发明的实施例的全方位影像处理设备如上所述，多个影像成像部的高度(或多个影像成像部的实现的位置)及多个影像成像部之间的角度(或成像线之间构成的角度)在成像时相互不同。因此，本发明的实施例的全方位影像处理设备的成像线的特性与现有的全方位影像处理设备的成像线的特性存在差异。
图3中例示呈现的多个影像成像部各自的成像线用于显示因可穿戴设备的特性而造成的多个影像成像部各自的成像线之间的特性(例如，高度，角度)的差异。并且，图3中显现的成像线为不存在因佩戴全方位影像处理设备的用户的移动，或为在全方位影像处理设备特定状态下固定的情况的成像线。
图3的上端公开影像成像部1310及影像成像部2320的成像线。
影像成像部1310及影像成像部2320相对地呈现在比影像成像部3330高的位置。假设佩戴全方位影像处理设备的用户的所处的方向为y轴方向的情况，在挂于颈部的可穿戴设备的结构上，在全方位影像成像设备上，相对地提升具有影像成像部1310及影像成像部2320所处的曲率的部分(u字中的曲线/中央部分)，并影像成像部3330所处的腿部分(u字中末端部分)相对下移。
例如，影像成像部1310的成像线1315与xz平面平行，而在y轴的坐标a中，与x轴成第1角度1、与y轴成第2角度、与z轴成第3角度。
影像成像部2320的成像线2325与xz平面平行，而在y轴的支点a上，与x轴成第4角度、与y轴成第5角度、与z轴成第6角度。
参照图3的下端，影像成像部3330的成像线3335与xz平面平行，而在y轴的坐标b上，与x轴成第7角度、与y轴成第8角度、与z轴成第9角度。b为小于a的值。影像成像部3330的成像线3335与xz平面平行，注视与用户的视线相同地前面(例如，与xy平面垂直的方向)。
即，成像线1315及成像线2325基于y轴而具有相同的高度，成像线3335基于y轴而处于相对地比成像线1及成像线2低的位置。在图3中公开的成像线1315、成像线2325及成像线3335为具有相互不同特性的成像线的一个例示，定义各种成像线，并成像全方位影像。
图4为显示本发明的实施例的多个影像成像部的成像线的概念图。
在图4中，公开与图3不同的多个影像成像部的成像线。同样地，在图4中，假设地面与x轴和z轴构成的xz平面平行。
图4的上端公开影像成像部1410及影像成像部2420的成像线。
影像成像部1410及影像成像部2420处于相对地高于影像成像部3430的位置。同样地，对于假定用户所处的方向为y轴方向的情况，挂于颈部的可穿戴设备的结构上的全方位影像成像设备以相对提升具有影像成像部1410及影像成像部2420所处的曲率的部分(u字中曲线部分)，且影像成像部3430所处的腿的部分(u字中末端部分)相对下移的形式而对影像进行成像。
例如，影像成像部1410的成像线1415与xz平面平行，而y轴的坐标a上，与x轴成第1角度1、与y轴成第2角度、与z轴成第3角度。
影像成像部2420的成像线2425与xz平面平行，而在y轴的坐标a上，与x轴成第4角度、与y轴成第5角度、与z轴成第6角度。
图4的下端公开影像成像部3430的成像线。
影像成像部3430的成像线3435未与xz平面平行，将y轴的坐标b作为开始支点，与x轴成第7角度、与y轴成第8角度、与z轴成第9角度。
影像成像部3430位于全方位影像处理设备的末端部，由此，成像线未与xz平面平行，并与xz平面具有一定角度(例如，0～30度)。
即，成像线1415及成像线2425基于y轴而具有相同的高度，成像线3435基于y轴而处于相对地低于成像线1415及成像线2425位置。并且，成像线1415及成像线2425与xz平面平行，但成像线3435未与xz平面平行。
作为本发明的另一实施例，例如，影像成像部1的成像线1与xz平面构成第1’角度，并将y轴的坐标a作为开始支点，与x轴成第1角度1、与y轴成第2角度、与z轴成第3角度。并且，影像成像部2的成像线2与xz平面构成第1’角度，将y轴的坐标a作为开始支点，与x轴成第4角度、与y轴成第5角度、与z轴成第6角度。影像成像部3的成像线3与xz平面构成第2’角度，将y轴的坐标b作为开始支点，与x轴成第7角度、与y轴成第8角度、与z轴成第9角度。
通过本发明的又一实施例，例如，影像成像部1的成像线1与xz平面构成第1’角度，将y轴的坐标a作为开始支点，与x轴成第1角度1、与y轴成第2角度、与z轴成第3角度。并且，影像成像部2的成像线2与xz平面构成第2’角度，将y轴的坐标a作为开始支点，与x轴成第4角度、与y轴成第5角度、与z轴成第6角度。影像成像部3的成像线3与xz平面构成第3’角度，将y轴的坐标b作为开始支点，与x轴成第7角度、与y轴成第8角度、z轴成第9角度。
即，多个影像成像部各自的成像线与在现有的相同的y轴支点上，具有与地面相同的角度的影像处理设备不同，本发明的实施例的全方位影像处理设备的多个影像成像部各自的成像线处于相互不同的y轴支点上，并具有与地面(或xz平面)相互不同的角度。
图5为显示本发明的实施例的全方位影像处理设备的固定方法的概念图。
图5中公开对于佩戴全方位影像处理设备的用户移动的情况，用于减少全方位影像处理设备的晃动(通过全方位影像处理设备成像的影像的晃动)的固定结构。
参照图5的上端，在全方位影像处理设备增加固定用户与全方位影像处理设备的固定结构510。
例如，在全方位影像处理设备抓住夹子510等特定个体而固定的结构。用户基于夹子510而连接全方位影像处理设备与衣服而防止全方位影像处理设备的过度的移动。
或者，参照图5的下端，实现与用户的颈部紧贴而佩戴的内部固定结构520，内部固定结构520基于连接部而与全方位影像处理设备连接。内部固定结构520实现为一面开放的形状，以便于用户在颈部佩戴内部固定结构。
图6为显示本发明的实施例的全方位影像处理设备的影像处理方法的概念图。
在图6中，公开拼接分别通过多个影像成像部而成像的影像而生成全方位影像的方法。
参照图6，如上所述，多个影像成像部的成像线的特性(高度、与地面构成的角度)不同。因多个影像成像部的成像线的特性差异而成像的影像的特性也存在差异。
影像成像部1610、影像成像部2620、影像成像部3630各自的成像线与xz平面(或地面)构成的角度因用户的行为(例如，身体后倾的行为、身体前倾的行为等)而不同。例如，影像成像部1610及影像成像部2620的成像线为与xz平面(或地面)成两个角度并向上注视的形式，影像成像部3630的成像线与xz平面(地面)成阴角，并为俯视的形式。
对于该情况，通过影像成像部1610成像的影像1615及通过影像成像部2620成像的影像2625越趋向y轴的正向，具有倒梯形的成像区域。相反地，通过影像成像部3630成像的影像3635越趋向y轴的负向而具有梯形的成像区域。
拼接通过全方位影像处理设备成像的倒梯形的影像1615及影像2625及梯形的影像3635，并生成全方位影像。如上所述，影像1615与影像2625的第一重叠区域650、影像1615与影像3635的第二重叠区域660、影像2625与影像3635的第三重叠区域630具有相互不同的形状。即，与现有的全方位影像处理设备不同，通过多个影像成像部而成像的影像的形状不同，对于成像的影像的形状不同的情况，重叠区域的特性也不同。根据本发明的实施例，拼接该相互不同的形状的第一重叠区域660第二重叠区域670及第三重叠区域680而生成全方位影像。
例如，为了拼接通过全方位影像处理设备成像的多个影像，使用重叠区域内的特征点。例如，为了拼接影像1与影像2，在包含于影像1615的第一重叠区域660内的个体中，提取第一特征点。在包含于影像2的第一重叠区域660内的相同的个体中，提取第二特征点。之后，为了拼接影像1615与影像2625，执行第一特征点与第二特征点之间的匹配。
例如，本发明的实施例的全方位影像处理设备中，执行基于尺度不变特征变换(sift：scaleinvariantfeaturetransform)的特征点提取及影像拼接。对于sift的情况，通过高斯函数的差分(dog：differenceofgaussian)相比于周边而亮度值暗或查找亮的区域的中央的位置而检测特征点，对于各个特征点，利用周边的像素，通过主方向成分与128维或64维矢量形成描述符(descriptor)。之后，基于特征点的描述符，执行特征点的匹配，并执行影像拼接。基于sift的特征点提取为用于特征点提取及影像拼接的一个例示，其它不同的方法用于特征点提取及影像拼接。
并且，根据本发明的实施例，为了更快的处理影像，也能够提取一部分的个体的特征点。例如，全方位影像处理设备在重叠区域上，与特征点的提取困难的背景(山、天等)相比，优先对特征点提取容易的个体提取特征点，执行特征点的匹配。
并且，根据本发明的实施例，对于全方位影像处理设备在一定时间内，在特定重叠区域，难以查找特征点的情况(例如，有效的特征点为临界数量以下的情况)，变更影像成像部之间的重叠的视角，更容易提取特征点的个体也包含于重叠区域。
图7为显示本发明的实施例的全方位影像处理设备的影像成像部的概念图。
图7中，具体公开全方位影像处理设备中实现的影像成像部的动作。影像成像部在全方位影像处理设备上的特定位置实现，影像成像部的透镜也被固定，而成像线也被固定，但影像成像部能够在全方位影像处理设备上进行移动，也能够变更影像成像部内的透镜注视的方向(成像线的方向)。
参照图7，在全方位影像处理设备上，变更多个影像成像部的位置。例如，在全方位影像处理设备实现用于影像成像部700的移动的结构750。例如，实现轨道/凹槽等用于影像成像部700的移动的结构750，影像成像部700在影像成像部的移动的结构750结构上移动。
例如，全方位影像处理设备变更影像成像部700的位置而调整重叠区域。例如，为了便于拼接影像，变化影像成像部700的位置，并调整重叠区域。
或者也能够基于用户的移动，变化全方位影像处理设备的影像成像部700的位置。在可穿戴设备的特性上，在用户移动的状态上，全方位影像处理设备执行影像成像，以用于生成全方位影像。基于用户移动的特性而变化影像成像部700的位置，以用于补正因用户的持续移动而导致的图像之间的违和感/晃动。
同样地，为了调整重叠区域，也能够变化包含于影像成像部700的透镜的成像线720的方向。例如，为了便于影像的拼接，变化包含于影像成像部700的透镜的成像线720的方向并调整重叠区域。
同样地，也能够基于用户的移动，变化包含于影像成像部700的透镜的成像线720的方向。在可穿戴设备的特性上，在用户移动的状态下，全方位影像处理设备能够生成全方位影像。基于用户的移动特性而变化包含于影像成像部700的透镜的成像线720，以补正因用户的持续移动而导致的图像之间的违和感/晃动。
图8为显示本发明的实施例的全方位影像处理设备的框图。
图8中，对于在全方位影像处理设备中，未执行直接的影像处理次序(拼接及补正等)，并在另外的用户设备(例如，智能手机)中执行影像处理次序的情况，公开全方位影像处理设备的功能的构成部分。
参照图8，影像处理系统包括：全方位影像成像部800、传感器部810、影像处理部820、存储部830、通信部840、处理器850。
全方位影像成像部800用于成像全方位影像。全方位影像成像部800包括用于成像全方位影像的多个影像成像部。如上所述，多个影像成像部包括：影像成像部1、影像成像部2、影像成像部3。
传感器部810用于感应用户的移动信息。全方位影像处理设备作为可穿戴设备，根据用户的移动而产生影像的晃动。通过传感器部810感应而生成的用户的移动信息被传送至用于另外的影像处理的用户设备(例如，智能手机)而用于补正影像的晃动。
并且，传感器部810也用于感应当前拍摄环境。例如，传感器部810在执行多个影像成像部各自的成像时，感应对通过多个影像成像部分别成像的影像的成像环境(例如，成像亮度(或明暗)等)的信息。感应的结果被传送至用于另外的影像处理的用户设备(例如，智能手机)而用于补正多个影像之间的亮度。
当前的拍摄环境也未通过另外的感应部810感应，在用于影像处理的用户设备上提取对影像的特性信息而补正多个影像之间的影像特性(例如，亮度)的差异。
影像处理部820用于处理通过多个影像成像部而成像的多个影像。影像处理部820收集通过多个影像成像部而成像的影像，并传输至通信部840。
存储部830用于存储通过多个影像成像部而成像的影像。
通信部840用于与全方位影像处理设备和外部设备的通信。例如，通信部840向全方位影像处理设备与用户设备(例如，智能手机或虚拟显示(vr：virtualreality)设备)传输通过多个影像成像部而成像的影像的信息、通过感应部810而生成的感应信息。
处理器850用于控制全方位影像成像部800、传感器部810、影像处理部820、存储部830、通信部840的动作。
驱动部(未图示)用于驱动多个影像成像部及/或影像成像部的透镜。
图8中，假定全方位影像处理设备将通过多个影像成像部而成像的多个影像传输至用户设备(例如，智能手机)，并在用户设备上，基于对多个影像的影像处理(例如，影像的拼接/补正)而生成全方位影像处理设备的情况。但，在全方位影像处理设备本身，也能够通过影像处理而生成全方位影像。
图9为显示本发明的实施例的全方位影像处理设备的框图。
图9中公开全方位影像处理设备的功能的构成部。
参照图9，影像处理系统包含全方位影像成像部900、影像处理部920、补正部925、存储部930、通信部940、处理器950。
全方位影像成像部900用于成像全方位影像。全方位影像成像部900包括用于全方位影像的成像的多个影像成像部。如上所述，多个影像成像部包括：影像成像部1、影像成像部2、影像成像部3。
传感器部910感应用户的移动而用于生成移动信息。全方位影像处理设备作为可穿戴设备，根据用户的移动而发生影像的晃动。影像处理部920基于通过传感器部910感应而生成的用户的移动信息而补正影像的晃动。
并且，传感器部910用于感应拍摄环境，而生成拍摄环境信息。位于全方位影像处理设备的多个影像成像部的拍摄环境根据光(例如，太阳)的位置而不同。传感器部910在执行多个成像部各自的成像时，也感应通过多个成像部分别成像的影像的成像环境(例如，成像亮度(或明暗)等)的信息。感应的结果在全方位影像处理设备中，用于补正多个影像之间的亮度。
影像处理部920处理通过多个影像成像部而成像的多个影像而用于生成全方位影像。如上所示，影像处理部920在重叠区域中，提取特征点，匹配特征点而基于拼接影像的方法而生成全方位影像。
影像处理部920还包括补正部925。通过影像处理部920生成的全方位影像为通过补正部925而补正的影像。补正部925执行对全方位影像的补正。例如，补正部925基于感应的用户的移动信息而执行对影像的补正。并且，补正部925执行对通过多个影像成像部分别生成的影像的亮度的补正。亮度不同的影像之间的拼接引发影像的违和感。因此，补正部925基于多个影像各自的亮度信息而补正影像之间的亮度而生成不存在违和感的全方位影像。并且，补正部925基于用户的移动信息而执行对多个影像产生的移动/远离的补偿。
存储部930存储通过全方位影像成像部而成像的影像或存储通过影像处理部生成的全方位影像。
通信部940实现与全方位影像处理设备和外部设备的通信。例如，通信部940向全方位影像处理设备与用户设备(例如，智能手机或vr(virtualreality)机器)传输全方位影像。
处理器950用于控制全方位影像成像部900、影像处理部920、补正部925、存储部930、通信部940的动作。
驱动部(未图示)用于驱动多个影像成像部及/或影像成像部的透镜。
在图9中，公开在本发明的实施例中，在全方位影像处理设备自身通过影像处理而生成全方位影像的方法，在全方位影像处理设备中仅执行一部分影像处理，生下的影像处理在与全方位影像处理设备连接的用户设备(例如，智能手机)执行。
图10为显示本发明的实施例的全方位影像处理方法的概念图。
图10中，在用户设备中，假定执行对用于生成全方位影像的影像处理(拼接、补正)的情况，如上所述，也能够在影像处理在与全方位影像处理设备及/或全方位影像处理设备连接的用户设备上执行，包含于该实施例且本发明的权利范围。
参照图10，生成通过全方位影像处理设备而生成全方位影像的影像相关信息(或影像相关数据)(步骤s1000)。
例如，通过全方位影像处理设备的多个影像成像部而生成多个影像信息。并且，通过传感器部而生成用户的移动信息/拍摄环境信息。多个影像成像部中至少一个影像成像部的位置基于地面，而与除了多个影像成像部中至少一个影像成像部的其它的影像成像部的位置相比，处于相对低的位置。
多个影像基于多个影像成像部各自的多个成像线而生成。多个成像线分别为垂直通过包含于各个多个影像成像部的多个透镜各自的中心的虚拟的线。如上所示，多个成像线中至少一个成像线与地面的角度与除了多个成像线中所述至少一个成像线之外其它的成像线与地面的角度不同。
多个影像中至少一个影像为第一形状，除了多个影像中至少一个影像的其它的影像为第二形状。全方位影像在构成第一形状及第二形状的重叠区域上提取特征点之后，拼接(stitching)第一形状及第二形状而生成。
全方位影像处理设备将与影像相关信息传输至用户设备(步骤s1010).
全方位影像处理设备将所生成的影像相关信息通过通信部而传输至用户设备。
用户设备基于影像相关信息而通过影像处理而生成全方位影像(步骤s1020)。
用户设备基于影像相关信息而执行用于生成全方位影像的影像处理。具体地，执行对多个影像的拼接/补正。
具体地，传感器部包括三维加速度计(3d(dimension)accelerometer)与三维陀螺仪(3dgyroscope)。即，传感器部包括六维加速度计。对于处于被固定的位置的多个影像成像部，确定距离六维加速度计的距离与扭转的程度的值。例如，在将虚拟原点(virtualorigin)的坐标设为(0，0)的情况下，六维加速度计与个别图像传感器设定为特定坐标值。对全方位影像处理设备的晃动的发生而运算部基于虚拟原点坐标而计算多个影像成像部的移动平均值(movingaverage)。移动平均值基于虚拟原点而以由六维加速度计提取的信息为基础而计算。该用户设备基于移动平均值，而执行对多个影像的图像稳定化(imagestabilization)。
在影像处理次序中，获取通过多个影像成像部而成像的多个影像的曝光/色相值的平均，将影像的曝光/色相值的信息反馈至多个影像成像部而执行影像补正，以使多个影像具有相似范围的曝光/色相。并且，计算显示vr影像的用户的凝视方向，基于此，将加权值赋予凝视的部分，并计算色相及曝光差值。基于通过多个影像成像部而成像的多个影像而补正变化地输入影像之间的色相及曝光误差。即，与用户无法了解的凝视的部分的普通影像不同，在vr环境中，了解用户凝视的方向。因此，基于用户的凝视点而在球形区间内，计算重要度，并在补正影像的色相/曝光时，将加权值赋予重要度值，对整个影像进行补正，而生成全方位影像。
综上说明的本发明的实施例以通过各种电脑构成要素实行的程序命令语的形式实现，记录于电脑可读取的记录媒介中。所述电脑可读取的记录媒介单独或组合包括程序命令语、数据文件、数据结构等。记录于所述电脑可读取的记录媒介的程序命令语为用于本发明而特别设计并构成，或为电脑软件领域的本领域技术人员公知使用的。在电脑可读取的记录媒介的例子中，包括硬盘、、软盘及磁带等磁性媒介、cd-rom及dvd等光记录媒介、光磁软盘(flopticaldisk)等磁光媒介(magneto-opticalmedium)及rom、ram、闪存等存储软件命令语并执行的特别构成的硬件设备。在软件命令语的例子中，包括使用通过自动编码器制造的机械编码，也使用直译器等而通过电脑执行的高级语言代码。硬件设备按一个以上软件模块变更，以用于执行本发明的处理，其同样如此。
综上，本发明通过具体构成要素等特定思想与限定的实施例及附图进行了说明，但其仅用于理解本发明的整体而提供，本发明并非限定于此，在本发明所属技术领域中，普通技术人员能够由该记载进行各种修正与变更。
因此，本发明的思想并非限定于所述说明的实施例，由权利要求范围以及与从与权利要求范围等同或由此进行等价的变更的所有的范围都属于本发明的思想的范围。