专利名称：商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息 ...的制作方法
技术领域：
本发明涉及商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质，便于用户能够容易拍摄商品的全方位图像组。
背景技术：
由从物体的周围依次拍摄该物体得到的多个图像构成的全方位图像组，除了用于生成该物体的三维形状模型之外(例如，参照非专利文献1)，还能够用于使消费者清楚地观察商品的外观等用途。其中，在以物体为中心的圆周上，以使摄像机的拍摄方向朝向该物体的方式进行移动，同时依次拍摄包括该物体的现实世界的状态，由此得到全方位图像。因此，为了使摄像机的位置和朝向符合上述的设定，通常全方位图像的摄影需要特殊的器械。另一方面，近年来低价的数字摄像机得到普及。在数字照相机中，摄影用透镜将包括被摄体的外界的光聚集而在(XD (Charge Coupled Device)等图像感测器中成像外界的状态。当用户按下快门时，在此后的某个短时间的期间内，根据图像感测器感测到的光的强度和波长等，得到电子文件形式的图像。该电子文件相当于过去的光学式摄像机的已感光胶片和已显影印相纸。 另外，被称为实时预览(live preview)或者实时取景的技术也得到普及。在实时预览中，将图像感测器当前检测到的图像直接实时地显示在液晶显示器等的画面上(例如，参照非专利文献2)。即，在实时预览中采用了液晶显示器等的电子取景器。通过实时预览而显示于取景画面上的图像，是相当于“在假设用户目前在该瞬间按下快门时得到的图像”的图像。因此，如果采用实时预览，用户能够在拍摄之前确认对被摄体的构图和曝光等。现有技术文献非专利文献非专利文献1:保田和隆、右田剛史、青山正人、椋木雅之、浅田尚紀，疎々全周囲画像列力、6 Θ密々3次兀形状壬于O生成(Generation of Dense Three-dimensionalShape Model from Rough Image Sequence of Entire Surroundings),社団法人情報処理学会研究報告，CVIM, 二 > 匕。.^ 一夕匕' 'y' 3 > t -1 Λ 一 y' Λ r T (Computer Vision andImage Media), 2003 — CIVM — 138 (11)、73 頁一80 頁，http://harp.lib.hiroshima-u.ac.jp/bitstream/harp/6507, 2003 年 5 月 8 日非专利文献2:ffikipedia, The Free Encyclopedia, Live preview, http://en.wikipedia.0rg/wiki/Live_preview,2010 年 6 月 15 日
发明内容
发明要解决的问题但是，在中小商店主或拍卖会的个人展出者想要拍摄用于介绍商品的全方位图像的情况下，几乎都无法准备诸如上述的特殊器械。因此，寻求能够容易拍摄全方位图像组或者在拍摄后能够容易变换为全方位图像组的图像组的技术。本发明正是为了解决上述问题而提出的，其目的在于，提供一种适合于用户容易拍摄商品的全方位图像组的商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质。用于解决问题的手段本发明的第一方面的商品摄影装置构成为具有:图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；指示受理部，其受理来自用户的摄影指示；保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。并且，在上述商品摄影装置中也可以构成为，所述取景显示部在所述取景画面上交替显示由所述保存部保存的图像和由所述图像感测部感测到的图像。并且，在上述商品摄影装置中也可以构成为，所述取景显示部将对由所述保存部保存的图像实施了预定的图像滤波而得到的结果设为半透明状，并重叠在由所述图像感测部感测到的图像上进行合成。并且，在上述商品摄影装置中也可以构成为，所述取景显示部在由所述保存部保存的图像有多个时，将第一个保存的图像和由所述图像感测部感测到的图像进行合成。并且，所述商品摄影装置也可以构成为还具有感测所述商品摄影装置的倾斜度的倾斜度感测部，所述保存部在受理了所述摄影指示时，将由所述图像感测部感测到的图像与由所述倾斜度感测部感测到的倾斜度相对应地进行保存，所述显示部在所述取景画面上显示与由所述保存部保存的图像相对应地保存的倾斜度、和由所述倾斜度感测部感测到的倾斜度。本发明的第二方面的图像变换装置构成为具有:图像受理部，其受理利用所述商品摄影装置从商品的周围拍摄商品并保存的多个图像、和与该图像对应的倾斜度；以及变换部，其根据与该图像对应的倾斜度，将所述受理的多个图像变换为所述商品的全方位图像组。本发明的第三方面的图像处理装置构成为具有:角度受理部，其受理绕预定的旋转轴的角度；以及插值部，其根据所述受理的角度，对利用所述图像变换装置得到的商品的全方位图像组进行插值，并得到表示从所述受理的角度观察该商品时的状态的已插值图像。
并且，所述图像处理装置也可以构成为还具有:角度感测部，其感测所述图像处理装置绕预定的轴的角度；以及监视显示部，其将所述得到的已插值图像显示在监视画面上，所述角度受理部受理所述感测到的角度。本发明的第四方面的图像处理系统具有所述图像处理装置、和与该图像处理装置以可通信的方式连接的终端装置。其中，所述终端装置具有:角度感测部，其感测所述终端装置绕预定的轴的角度；以及角度发送部，其将所述感测到的角度发送给所述图像处理装置。另一方面,所述图像处理装置具有:角度接收部，其接收从所述终端装置发送的角度，并使所述角度受理部受理；以及图像发送部，其将所述得到的已插值图像发送给所述终端装置，另外，所述终端装置具有:图像接收部，其接收从所述图像处理装置发送的已插值图像；以及监视显示部，其将所述接收到的已插值图像显示在监视画面上。本发明的第五方面的商品摄影方法是由商品摄影装置执行的商品摄影方法，该商品摄影装置具有图像感测部、指示受理部、保存部、显示部，所述商品摄影方法构成为包括:图像感测步骤，由所述图像感测部感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像；指示受理步骤，由所述指示受理部受理来自用户的摄影指示；保存步骤，在受理了所述摄影指示时，由所述保存部保存由所述图像感测部感测到的图像；以及取景显示步骤，由所述显示部将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。本发明的第六方面的程序构成为使计算机作为以下单元发挥作用:图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；指示受理部，其受理来自用户的摄影指示；保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。本发明的第七方面的记录了程序的计算机可读的信息记录介质，其特征在于，该程序使计算机作为以下单元发挥作用:图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像；指示受理部，其受理来自用户的摄影指示；保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。S卩，本发明的程序可以记录在光盘、软盘、硬盘、光磁盘、数字录像盘、磁带、半导体存储器等计算机可读的信息记录介质中。上述程序能够相对于执行程序的计算机独立地通过计算机通信网络进行发布及销售。并且，上述信息记录介质能够相对于计算机独立地进行发布及销售。发明效果根据本发明，能够提供一种适合于用户容易拍摄商品的全方位图像组的商品摄影装置、商品摄影方法、图像变换装置、图像处理装置、图像处理系统、程序及信息记录介质。
图1是示出本发明的一个实施方式的图像处理系统的简要结构的说明图。图2是说明本发明的一个实施方式的商品摄影装置的简要结构的说明图。图3是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。图4是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。图5是示出由本发明的一个实施方式的商品摄影装置执行的商品摄影处理的控制流程的流程图。图6是示出本发明的一个实施方式的图像变换装置的简要结构的说明图。图7是示出由本实施方式的图像变换装置执行的图像变换处理的控制流程的流程图。图8是示出本实施方式的图像处理装置的各个要素与终端装置的各个要素之间的关系的说明图。图9是示出由图像处理装置的各个要素和终端装置的各个要素执行的图像处理的控制流程的流程图。
具体实施例方式下面说明本发明的实施方式。本实施方式是用来说明而不是限制本申请发明的范围。因此，本行业人员可以采用将这些各个要素或者全部要素置换为与其同等的要素而得到的实施方式，这些实施方式均包含在本发明的范围中。(1.图像处理系统)图1是示出本实施方式的图像处理系统的简要结构的说明图。下面，参照本图进行说明。本实施方式的图像处理系统101由商品摄影装置121、图像变换装置141、图像处理装置161、终端装置181构成。商品摄影装置121是想要进行商品介绍的商店主和拍卖品展出者等拍摄该商品时使用的装置。代表性的商品摄影装置121由具有信息处理功能的数字摄像机或移动电话、智能手机等构成，也可以由连接了 USB (Universal Serial Bus:通用串行总线)摄像机的个人电脑等构成。
摄影者使用商品摄影装置121，将该商品尽可能配置在视野的中央，使商品与商品摄影装置121之间的距离尽可能固定。并且，摄影者绕该商品移动一周或者使商品自身旋转，同时反复进行拍摄，得到多个商品图像。图像变换装置141将通过商品摄影装置121的摄影而得到的多个商品图像变换为针对该商品的全方位图像组。其中，全方位图像组是指假设从在以贯穿该商品的旋转轴为中心的圆周上移动的摄像机、沿朝向该商品的光轴方向拍摄该商品时得到的图像的集合体。因此，假设在如下状态下拍摄到的图像是全方位图像组，即从旋转轴经过商品到达摄像机的角度是固定的，旋转轴与摄像机之间的距离也是固定的，商品与摄像机之间的距离固定。如上所述，利用商品摄影装置121的摄影者既不熟知这种特殊的摄影方法，也不具有特殊的器械。因此，在本实施方式中，在利用商品摄影装置121时，进行各种辅助以容易得到尽可能全方位的图像组。S卩，在拍摄时，在本实施方式中采用实时预览用的液晶显示器等电子取景器。在电子取景器的取景画面上，除了显示从商品摄影装置121观察到的商品的当前状态之外，还重叠显示了过去已拍摄的商品的状态。因此，关于以何种大小、何种角度来拍摄商品，摄影者能够与过去的履历对比着进行拍摄。因此，能够使从旋转轴经过商品到达商品摄影装置121的角度、商品与商品摄影装置121之间的距离尽可能固定。图像变换装置141将多个商品图像变换为全方位图像组，在本实施方式中能够得到的变换结果是某种近似，不需要诸如非专利文献I公开的那么复杂的计算，这也是本实施方式的特征所在。图像变换装置141用于从商品图像得到全方位图像组，图像处理装置161用于管理商品的全方位图像组，代表性的图像变换装置141和图像处理装置161利用进行该商品的网络销售的一个服务器装置构成。S卩，商店主等将自己利用数字摄像机等商品摄影装置121拍摄的多个商品图像上传到服务器装置。然后，服务器装置作为图像变换装置141发挥作用，将商品图像变换为全方位图像组。另外，服务器装置作为图像处理装置161发挥作用，使正在考虑通过网络通信销售或网络竞拍来购买该商品的用户浏览该全方位图像组。此时，不是将全方位图像组直接提供给用户，而是进行诸如引起用户兴趣的适当的图像处理，这也是本实施方式的特征所在。相对于作为网络服务器发挥作用的图像处理装置161，终端装置181作为网络终端发挥作用，向图像处理装置161请求提供合适的全方位图像组。即，终端装置181利用能够连接网络等的计算机通信网络的个人电脑或移动电话、智能手机等构成。全方位图像组是将绕商品巡视一周时看到的状态形成为图像，将该图像顺序排列得到的组。在本实施方式中，从终端装置181通知图像处理装置161想要观察这一周中的哪个角度时的图像。然后，图像处理装置161对全方位图像实施适当的插值处理，生成表示与该角度对应的商品的外观的插值图像。并且，从图像处理装置161向终端装置181发送插值图像，在终端装置181的监视画面上显示该插值图像。也能够构成为用户利用键盘和触摸屏直接从终端装置181输入角度。其中，有的移动电话和智能手机等具有罗盘功能和GPS(Global Positioning System:全球定位功能)功能、采用加速度传感器等的倾斜度检测功能。因此，如果直接采用利用这种功能得到的角度或者采用将该角度乘以常数倍后的角度，不仅能够改变终端装置181的朝向，也能够改变在插值图像中表现出的商品的朝向。这样，用户能够通过简单的操作对商品的外观观察一周，这也是本实施方式的特征所在。另外，在本实施方式中，利用不同的设备构成图像处理装置161和终端装置181，但也可以利用一台个人电脑或智能手机、移动电话等将两者构成为一体。在这种情况下，终端装置181与图像处理装置161的信息的发送及接收，是通过在一台设备的电子电路中进行电气信号的发送接收而实现的。例如，从构成图像变换装置141的网络服务器向智能手机下载商品的全方位图像组。并且，智能手机作为图像处理装置161发挥作用，智能手机根据其倾斜度从全方位图像组生成插值图像，并显示在监视画面上。这样，关于是利用各种服务器/客户端方式分散实现本发明的图像处理的各种功能、还是利用一体化的装置实现本发明的图像处理的各种功能，可以根据实现图像处理的计算机等信息处理装置的用途和性能进行适当变更。下面，对本实施方式的图像处理系统101的各个部分进行更详细的说明。(2.商品摄影装置)图2是说明本实施方式的商品摄影装置121的简要结构的说明图。下面，参照本图进行说明。商品摄影装置121具有图像感测部201、指示受理部202、保存部203、取景显示部204。并且，也可以构成为具有倾斜度感测部205。S卩，图像感测部201感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像。代表性的图像感测部201由CXD等图像传感器构成。被图像感测部201感测到的光是经过透镜和各种光圈而到达的。另一方面，指示受理部202受理来自用户的摄影指示。指示受理部202相当于所谓快门按钮。另外，保存部203在受理了摄影指示时保存由图像感测部201感测到的图像。保存部203 通常是在利用 EEPROM (Electrically Erasable Programmable ReadOnly Memory:电可擦可编程只读存储器)等构成的闪存存储卡或硬盘等非易失性的信息记录介质中记录所拍摄的图像文件。另外,取景显示部204将由图像感测部201感测到的图像显示在取景画面上。摄影者参照在取景画面上显示的图像，进行商品摄影装置121的位置和朝向的调整、对焦和光圈的调整。截止到此的各个部分的功能与安装有实时预览功能的数字摄像机相同。本实施方式的特征在于，取景显示部204在将由图像感测部201感测到的图像显示在取景画面上时，与由保存部203保存的图像进行合成。在该合成中，表示过去已拍摄的视野的图像和表示现在想要拍摄的视野的图像被重叠显示在取景画面上。因此，摄影者能够实时对比两者的图像，同时进行商品摄影装置121的位置和朝向的调整。关于将两张图像重叠的合成方法，最简单的方法是将由保存部203保存的图像(已拍摄图像)设为半透明状，并重叠在由图像感测部201感测到的图像(实时预览图像，live-preview image)上进行合成，再显示在取景画面上。图3、图4是示出已拍摄图像与实时预览图像与显示在取景画面上的图像之间的关系的说明图。下面，参照这些附图进行说明。另外，在这些附图中适当采用了虚线，以便表现半透明状态。图3示出了商品301被配置于大致中央的已拍摄图像311、商品301同样被配置于大致中央的实时预览图像321。在两张图像中，商品301的角度具有微妙差异。在将已拍摄图像311设为半透明状并重叠在实时预览图像321上进行合成的结果所得到的取景图像331中，商品301的两张图像以基本相同的大小被重叠显示。因此，如果在当前状态下按下快门，在变换为全方位图像组时能够减小误差。另一方面，在图4中，在已拍摄图像311中商品301被配置在大致中央，而在实时预览图像321中，商品301的位置和大小与已拍摄图像311大不相同。然后，在将已拍摄图像311设为半透明状并重叠在实时预览图像321上进行合成的结果所得到的取景图像331中，商品301的两张图像几乎不重合。因此，即使在当前状态下按下快门并得到了表示与实时预览图像321相同状态的新的已拍摄图像311，在变换为全方位图像组时，也认为误差增大。S卩，摄影者按照图3所示调整商品摄影装置121的位置，使得过去已拍摄的商品301的图像和现在看到的商品301的图像是尽可能相同的大小，而看到的角度稍微不同，然后进行摄影用的指示输入即可。另外，即使摄影者将商品摄影装置121移动，已拍摄图像311内的商品301及其背景的位置也不变，但是实时预览图像321内的商品301及其背景的位置与摄影者的移动联动地变化。因此，摄影者能够容易区分取景图像331中哪张是来源于已拍摄图像311的图像、哪张是来源于实时预览图像321的图像。并且，为了使两者的区别更加明确，也有对已拍摄图像311实施色彩滤波或轮廓线提取滤波后合成在实时预览图像321上的方法。作为其它方法，还可以考虑在取景画面上交替地显示已拍摄图像311和实时预览图像321的方式。如上所述，根据取景画面的显示是在追随摄影者的移动还是固定不变的，能够区分在取景画面上显示的图像是实时预览图像321还是已拍摄图像311。因此，能够任意设定显示两张图像的时间长度。但是，通常将两者的显示切换时间设定为使实时预览图像321的显示时间比已拍摄图像311的显示时间长。
作为合成的对象的已拍摄图像311通常是采用开始该商品301的摄影的时刻的图像，然而摄影者也能够适当进行选择。并且，还能够将此前刚刚拍摄的图像用作已拍摄图像311进行合成。另外，倾斜度感测部205感测商品摄影装置121的倾斜度，保存部203在受理了摄影指示时，将由图像感测部201感测到的图像与由倾斜度感测部感测到的倾斜度相对应地进行保存。在绕商品的周围移动一周进行拍摄时，其旋转轴通常设为重力的方向。在这种情况下，倾斜度感测部205可以利用加速度传感器构成。与此相应地，也可以利用GPS或罗盘等的功能来检测倾斜度。如果利用加速度传感器检测商品摄影装置121相对于重力方向的轴的倾斜度，同时利用GPS或罗盘等检测商品摄影装置121绕重力方向的轴的旋转量，则倾斜度感测部205能够检测商品摄影装置121在3轴方向的全部的倾斜度。由此，能够掌握现实世界中的商品摄影装置121的所有姿势。在后述的图像变换装置141对已拍摄图像311进行标准化来得到全方位图像组时，将参照这些3轴方向的倾斜度的信息。如上所述，为了得到合适的全方位图像，期望从旋转轴经过商品301到达商品摄影装置121的角度是固定的、即相对于重力的倾斜度是固定的。因此，如果在取景图像331中显示当前检测到的商品摄影装置121的倾斜度作为辅助信息，即显示实时预览图像321的倾斜度的信息和已拍摄图像311的摄影时的倾斜度的信息，则摄影者能够以尽可能固定的角度拍摄商品301，能够减小向全方位图像组变换时的误差。在本实施方式中，如图3、图4所示，在取景图像331中显示有表示实时预览图像321的倾斜度的柱状图322、和表示已拍摄图像311的倾斜度的柱状图312。摄影者可以在用心地使两个柱状图312、322的长度一致后进行拍摄。另外，作为表示倾斜度的方法不限于柱状图312、322，也可以采用可以表现一致和不一致的程度的任意图形。并且，也可以利用文字信息来表示倾斜度的数值。图5是示出由本实施方式的商品摄影装置121执行的商品摄影处理的控制流程的流程图。下面，参照本图进行说明。用户在构成商品摄影装置121的数字摄像机等中选择表示开始拍摄作为商品的全方位图像组的素材的图像的信息，由此开始本处理。首先，在商品摄影装置121中，图像感测部201感测从配置有商品的外界投射的光，并输出表示该感测的结果的图像(步骤S501)。此处输出的图像是实时预览图像321。然后，倾斜度感测部205取得商品摄影装置121当前的倾斜度(步骤S502)。然后，在指示受理部202中判定用户是否进行了摄影指示(步骤S503)。在用户进行了摄影指示的情况下(步骤S503:是)，保存部203将实时预览图像321和在步骤S502检测到的倾斜度相对应地进行保存(步骤S504)。然后，控制返回到步骤S501。另一方面，在用户没有进行摄影指示的情况下(步骤S503:否)，确认是否有本处理开始以后保存在保存部203中的图像、即已拍摄图像311 (步骤S505)。在存在已拍摄图像311的情况下(步骤S505:有),选择任意一张已拍摄图像311(步骤S506)。该选择如上所述可以是第一张拍摄的图像、也可以由用户在处理途中进行适当变更，还可以是此前刚刚拍摄的图像。并且，将所选择的已拍摄图像311设为半透明状，并与实时预览图像321进行合成(步骤S507)。此时，如上所述可以在对已拍摄图像311实施色彩滤波或轮廓提取滤波等后进行合成。并且，如上所述还可以以时分方式选择任意一张图像，将该选择的图像作为合成的结果。另外，在步骤S506的合成结果中描画出表示与所选择的已拍摄图像311对应的倾斜度和在步骤S502取得的商品摄影装置121当前的倾斜度的柱状图312、322，由此得到取景图像331 (步骤S508)。并且，取景显不部204在利用液晶显不器等构成的取景画面上显不取景图像331(步骤S509)，并返回到步骤S501。另一方面，在不存在已拍摄图像的情况下(步骤S505:没有)，在实时预览图像321中描画出在步骤S502取得的商品摄影装置121当前的倾斜度的柱状图322，由此得到取景图像331 (步骤S510)。并且，取景显不部204在利用液晶显不器等构成的取景画面上显不取景图像331(步骤S511)，并返回到步骤S501。另外，在省略了倾斜度感测部205的方式中也适当省略了与倾斜度相关的处理。在本实施方式中，在取景图像311中将商品摄影装置121相对于重力的倾斜度描画为柱状图312、322。这样，根据本实施方式的商品摄影装置121，过去已拍摄的商品的图像和当前的商品的实时预览图像被重叠显示在取景画面上，因而能够使商品与商品摄影装置121的距离尽可能保持固定。并且，在检测倾斜度的方式中，使商品摄影装置121按照相对于预定的旋转轴以尽可能固定的姿势旋转的方式进行移动。因此，用户能够容易拍摄到能够高质量地变换为商品的全方位图像组的图像。(3.图像变换装置)如上所述，如果采用图像摄影装置121，则能够以绕商品301旋转一周的方式、而且使与商品301的距离和相对于重力方向的倾斜度尽可能保持固定，使图像摄影装置121移动，能够依次拍摄商品301。在利用这种摄影方法得到多个已拍摄图像311后，能够将这些图像标准化并得到商品301的全方位图像组。此时采用本实施方式的图像变换装置141。其中，所谓商品301的全方位图像组是指这样的图像的组，即假设诸如贯穿商品301的旋转轴，使从该旋转轴经过商品301到达摄像机的角度保持固定，使商品301与摄像机的距离保持固定，同时使摄像机绕旋转轴旋转，并依次拍摄商品301时得到的图像。因此，由图像摄影装置121拍摄到的多个已拍摄图像311可以被认为是“误差较大的全方位图像组”。因为虽然在图像摄影装置121中进行了尽可能使上述的角度和距离保持固定来拍摄商品301的研究，但是由于是人进行的拍摄，因而无论如何在摄影时都会产生误差。图像变换装置141用于对多个已拍摄图像311进行变换，得到误差尽可能小的全方位图像组。在此，在本实施方式中能够通过简单的计算得到全方位图像组，这与构建摄影对象物的三维模型的非专利文献I不同。下面进行详细说明。图6是示出本实施方式的图像变换装置141的简要结构的说明图。下面参照本图进行说明。本实施方式的图像变换装置141具有图像受理部601和变换部602。其中，图像受理部601受理利用商品摄影装置121从商品的周围拍摄商品并保存的多个已拍摄图像311。在图像变换装置141利用网络服务器等构成的情况下，摄影者将自己拍摄的已拍摄图像311通过因特网等进行上传。图像受理部601受理该上传。另外，商品摄影装置121也可以采用向图像变换装置141自动发送已拍摄图像311的方式。在该方式中，商品摄影装置121每当保存了预定数量的已拍摄图像311时、或者预定时间不进行拍摄的情况下，自动进行已拍摄图像311的发送。该方式尤其适合于在PDA(Personal Data Assistant:个人数字助理)或智能手机等便携式计算机中执行预定的程序来实现商品摄影装置121的情况。并且，在图像摄影装置121利用数字摄像机等构成、图像变换装置141利用个人电脑等构成的情况下，通过在两者之间插拔存储卡，使已拍摄图像311移动。另一方面，变换部602将所受理的多个已拍摄图像311变换为商品301的全方位图像组。在此，本实施方式的变换部602还由提取部611、估计部612、近似部613、输出部614构成。其中，提取部611依次提取两张已拍摄图像311。并且，从所取得的两张已拍摄图像311中提取对应的特征点。此时能够应用各种图像识别算法。在得到了对应的特征点后，根据两张已拍摄图像311中的特征点的配置，估计在拍摄这两张已拍摄图像311时商品摄影装置121的位置和朝向，求出用于将这两张已拍摄图像311分别进行标准化的仿射变换矩阵。此处采用的仿射变换除了放大缩小、旋转、斜向变换之外，还包括基于单点透视的透视变换。因此，在表现矩阵时适当采用齐次坐标。另外，下面为了简化表述方式使易于理解，只要不会产生混乱，有时利用相同的记号来表述原来的矩阵和向量、以及增加了用于成为齐次坐标而追加的常数的维数而得到的矩阵和向量。并且，近似部613将针对两张已拍摄图像311分别得到的基于仿射变换矩阵的仿射变换应用于该已拍摄图像311，进行标准化。已标准化图像是与全方位图像组所包含的图像近似的图像。输出部614输出这样得到的两张已标准化图像、以及这些已标准化图像是以绕旋转轴的多大差角进行拍摄的。下面，对由图像变换装置141执行的图像变换处理的控制流程进行更详细的说明。图7是示出由本实施方式的图像变换装置141执行的图像变换处理的控制流程的流程图。下面，参照本图进行说明。
首先，图像受理部601受理利用商品摄影装置121拍摄并保存的多个已拍摄图像311、和与各张已拍摄图像311对应的倾斜度(步骤S701)。下面，为了容易理解，假设这些已拍摄图像311是N张，将各张已拍摄图像表述为G
、G[1]、…、G[N-1]。并且，将拍摄各张图像G
、G[1]、…、G[N-1]时的倾斜度表述为R
、R[1]、…、R[N_1]。另外，利用中括号表示的注脚部分在后面视为是利用N的剩余项(coset)表述的部分。即，在注脚部分的整数为负或者是N以上的情况下，将该整数除以N得到的余数用作注脚的值。例如，倾斜度R[N]与倾斜度R
表示相同的意思，图像G[-l]与图像R[N-1]表不相同的意思。倾斜度R
、R[1]、…、R[N_1]是用于确定固定在商品摄影装置121中的摄像机坐标系的各个坐标轴的方向的信息。因此，倾斜度R
、R[1]、…、R[N-1]各自的自由度为6。其中，通常是将表示各个坐标轴的方向的单位向量进行排列，利用3行3列的矩阵来表述。然后，使整数k在O到N之间变化，并反复以下的处理(步骤S702)。S卩，提取部611从图像G[k]和图像G[k+1]中提取对应的特征点(步骤S703)。然后，估计部612选择所提取的特征点的组中的任意3个组(步骤S704)。这3个组的选择方法是任意的，但是在图像G[k]中所选择的对应点彼此的距离较远，如果在图像G[k+1]中也以所选择的对应点彼此间距离较远的方式进行选择，则能够抑制误差。也可以从商品的顶边、底边、左边中央、右边中央附近的特征点中选择任意3个。下面，将3个特征点分别称为P、Q、W。将在图像G[k]中描画出这些特征点的位置表述为P[k]、q[k]、w[k]，将在图像G[k+1]中描画出这些特征点的位置表述为p[k+l]、q[k+l]、w[k+l]。`并且，估计部612根据(I)特征点P在图像G[k]、G[k+l]中的位置p[k]、p[k+l]、
(2)特征点Q在图像G[k]、G[k+l]中的位置q[k]、q[k+l]、(3)特征点W在图像G[k]、G[k+l]中的位置w[k]、w[k+l]、(4)拍摄图像G[k]时的商品摄影装置121的倾斜度R[k]、和(5)拍摄图像G[k+1]时的商品摄影装置121的倾斜度R[k+1]，来估计(X)拍摄图像G[k]时的商品摄影装置121的位置T [k]、和(y)拍摄图像G[k+1]时的商品摄影装置121的位置T [k+1](步骤 S705)。关于这种估计的算法的详细情况，下面进行详细说明。通常，在利用摄像机拍摄时，采用在现实世界中固定的通用坐标系与在摄像机中固定的摄像机坐标系之间的坐标变换。通用坐标系和摄像机坐标系均具有相互垂直的3个坐标轴。下面，将摄像机坐标系中的3个坐标轴的方向向量分别设为rx、ry、rz (数式I 数式3)。[数式I]
权利要求
1.一种商品摄影装置，其特征在于，该商品摄影装置具有: 图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像； 指示受理部，其受理来自用户的摄影指示； 保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。
2.根据权利要求1所述的商品摄影装置，其特征在于，所述取景显示部在所述取景画面上交替显示由所述保存部保存的图像和由所述图像感测部感测到的图像。
3.根据权利要求1所述的商品摄影装置，其特征在于，所述取景显示部将对由所述保存部保存的图像实施了预定的图像滤波而得到的结果设为半透明状，并重叠在由所述图像感测部感测到的图像上进行合成。
4.根据权利要求1所述的商品摄影装置，其特征在于，所述取景显示部在由所述保存部保存的图像有多个时，将第一个保存的图像和由所述图像感测部感测到的图像进行合成。
5.根据权利要求1所述的商品摄影装置，其特征在于，所述商品摄影装置还具有感测所述商品摄影装置的倾斜度的倾斜度感测部， 所述保存部在受理了所述摄影指示时，将由所述图像感测部感测到的图像与由所述倾斜度感测部 感测到的倾斜度相对应地进行保存， 所述显示部在所述取景画面上显示与由所述保存部保存的图像相对应地保存的倾斜度、和由所述倾斜度感测部感测到的倾斜度。
6.一种图像变换装置，其特征在于，该图像变换装置具有: 图像受理部，其受理利用权利要求5所述的商品摄影装置从商品的周围拍摄商品并保存的多个图像、和与该图像对应的倾斜度；以及 变换部，其对于所述受理的多个图像，根据与有关图像对应的倾斜度，将所述多个图像变换为所述商品的全方位图像组。
7.一种图像处理装置，其特征在于，该图像处理装置具有: 角度受理部，其受理绕预定的旋转轴的角度；以及 插值部，其根据所述受理的角度，对利用权利要求6所述的图像变换装置得到的商品的全方位图像组进行插值，得到表示从所述受理的角度观察该商品时的状态的已插值图像。
8.根据权利要求7所述的图像处理装置，其特征在于，所述图像处理装置还具有: 角度感测部，其感测所述图像处理装置绕预定的轴的角度；以及 监视显示部，其将所述得到的已插值图像显示在监视画面上， 所述角度受理部受理所述感测到的角度。
9.一种图像处理系统，其具有权利要求7所述的图像处理装置、和与该图像处理装置以可通信的方式连接的终端装置，其特征在于， (a)所述终端装置具有: 角度感测部，其感测所述终端装置绕预定的轴的角度；以及 角度发送部，其将所述感测到的角度发送给所述图像处理装置，(b)所述图像处理装置具有: 角度接收部，其接收从所述终端装置发送的角度，使所述角度受理部进行受理；以及 图像发送部，其将所述得到的已插值图像发送给所述终端装置， (C)所述终端装置具有: 图像接收部，其接收从所述图像处理装置发送的已插值图像；以及 监视显示部，其将所述接收到的已插值图像显示在监视画面上。
10.一种由商品摄影装置执行的商品摄影方法，该商品摄影装置具有图像感测部、指示受理部、保存部、显示部，其特征在于，所述商品摄影方法包括: 图像感测步骤，由所述图像感测部感测从配置有商品的外界投射的光而输出表示该感测的结果的图像； 指示受理步骤，由所述指示受理部受理来自用户的摄影指示； 保存步骤，在受理了所述摄影指示时，由所述保存部保存由所述图像感测部感测到的图像；以及 取景显示步骤，由所述显示部将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成而显示在取景画面上。
11.一种程序，其 特征在于，该程序使计算机作为以下单元发挥作用: 图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像； 指示受理部，其受理来自用户的摄影指示； 保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。
12.—种记录了程序的计算机可读的信息记录介质，其特征在于，该程序使计算机作为以下单元发挥作用: 图像感测部，其感测从配置有商品的外界投射的光，输出表示该感测的结果的图像； 指示受理部，其受理来自用户的摄影指示； 保存部，其在受理了所述摄影指示时保存由所述图像感测部感测到的图像；以及取景显示部，其将由所述保存部保存的图像和由所述图像感测部感测到的图像进行合成，并显示在取景画面上。
全文摘要
本发明提供一种商品摄影装置(121)，使得用户能容易地拍摄商品的全方位图像组。图像感测部(201)感测从配置有商品的外界投射的光，输出表示该感测的结果的图像。指示受理部(202)受理来自用户的摄影指示。在受理了摄影指示时，保存部(203)保存由图像感测部(201)感测到的图像。取景显示部(204)将由保存部(203)保存的图像和由图像感测部(201)感测到的图像进行合成，并显示在取景画面上。
文档编号H04N5/225GK103081454SQ20108006866
公开日2013年5月1日 申请日期2010年9月29日 优先权日2010年8月30日
发明者平野广美 申请人:乐天株式会社