串流编辑方法、系统与装置和储存方法、系统与提供系统的制作方法【专利摘要】本发明为一种串流编辑方法、系统与装置和储存方法、系统与提供系统。该多媒体串流的编辑方法包括以下步骤：自一来源多媒体串流撷取一第一原始影像；对该第一原始影像进行变异化处理并据此而得出多个转换画面；根据该等转换画面间的比较结果而进行特征撷取后，据此而得出多个候选像素；根据该等后选像素而在一广告串流数据库中搜索出一第一广告串流；以及将该第一广告串流加入至该来源多媒体串流。本发明可以让电视台在安排广告内容时，能够更为灵活且呼应电视节目的内容，进而提升消费者的购买欲望，使广告的效果更为显著，并可避免置入性营销方式所导致的时效问题。【专利说明】串流编辑方法、系统与装置和储存方法、系统与提供系统【
技术领域：
】[0001]本发明涉及一种串流编辑方法、系统与装置和储存方法、系统与提供系统，且特别涉及一种通过特征像素比对而编辑、储存与提供串流的方法、装置、系统。【
背景技术：
】[0002]广告收益对于电视台的经营是相当重要的一环。现行的广告播出方式以时段来决定价格，广告业主必须在广告播出前先选择价位与时段，而非广告播出时所搭配的节目内容。当广告业主支付大笔金额给电视台时，均期待广告的效益越大越好。然而，常用技术的广告播送方式却不一定能刺激、提升消费者的消费欲望。[0003]为了便于说明节目内容与广告内容间的关系，以下附图采用长条形状来代表串流数据的内容。其中，白底的部分代表来源多媒体串流，也就是电视节目的实际内容；具有底纹的部分则代表广告内容。[0004]请参照图1A，其是代表编辑前的来源多媒体串流、广告串流的示意图。其中来源多媒体串流IO代表尚未加入广告内容前的原始电视节目的内容，而第一广告串流13a与第二广告串流13b则分别代表两支广告的内容。[0005]请参照图1B，其是代表将图1A的广告串流数据内容加入来源多媒体串流的示意图。根据此附图可以看出，来源多媒体串流的全部内容不会被连贯的播放，而是在其中新增了第一广告串流13a与第二广告串流13b，因而产生了编辑后多媒体串流15。[0006]当电视台播送编辑后多媒体串流15时，使用者所收看的顺序为:第一部分的节目内容10a、第一广告串流13a的广告内容、第二部分的节目内容10b、第二广告串流13b的广告内容以及第三部分的节目内容10c。[0007]然而，利用常用技术编辑串流时，可能产生的问题是:当来源多媒体串流10的内容是一部关于赛车的电影时，第一广告串流13a与第二广告串流13b的广告内容可能是保健食品、家具贩卖的广告。也就是说，节目内容与广告之间不具有相关性，这种播放方式难以引起观众的共鸣。[0008]为了让节目与广告之间具有较强的关联性，常用技术所采用的另外一种做法是采用置入性营销的方式。也就是说，在拍摄节目的同时，便让节目画面中出现所欲广告的对象。[0009]以007系列电影为例，电影中的主角使用了许多功能新奇的计算机、跑车或其他科技产品等。若是电影在刚推出时，当时的观众确实可能因为看到电影里的科技产品而为此感到跃跃欲试，进而刺激该些产品的销售。然而，随着科技的发展，电影里的产品也相对显得落伍。电视台在播放电影时，距离电影上市的时间已经距离相当时日了，此时，这些在片中以量身打造方式进行置入性营销的产品，可能在电影被回放的时候早已成为过时甚至停产的产品。[0010]例如，当使用者在观看一部十年前拍摄的电影，并对电影中的显示器有深刻的印象，却不可能在十年后的现在购买与当年电影中相同型号的显示器。甚至，屏幕的主流技术早已经改朝换代而由阴极射线管(Cathoderaytube，简称为CRT)屏幕演变为液晶显示器(Liquidcrystaldisplay，简称为IXD)了。由此可知，即便置入性营销可以搭配节目内容而进行广告宣传，但是这种广告方式会随着时间的经过而使产品显得过时。[0011]根据前述说明可以得知，如何在播放节目的过程中加入适当的广告内容，并使广告的效益获得提升，仍是一个待解决的议题。[0012]因此，需要提供一种串流编辑方法、系统与装置和储存方法、系统与提供系统来解决上述问题。【
发明内容】[0013]本发明的一方面为一种多媒体串流的编辑方法，该多媒体串流的编辑方法包含以下步骤:自一来源多媒体串流撷取一第一原始影像；对该第一原始影像进行变异化处理(proceedingvariationcalculation)并据此而得出多个转换画面；根据该等转换画面间的比较结果而进行特征撷取后，据此而得出多个候选像素；根据该等后选像素而在一广告串流数据库中搜索出一第一广告串流；以及将该第一广告串流加入至该来源多媒体串流。[0014]本发明的另一方面为一种多媒体串流的编辑系统，该多媒体串流的编辑系统包含:一多媒体串流数据库，该多媒体串流数据库提供一来源多媒体串流；一广告串流数据库，该广告串流数据库具有一搜索引擎并提供多个广告串流；以及一串流编辑装置，该串流编辑装置包含:一传送接收单元，信号连接于该多媒体串流数据库与该广告串流数据库，该传送接收单元接收该来源多媒体串流与该等广告串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素；其中，该广告串流数据库根据该等后选像素而搜索出一第一广告串流，而该编辑单元在通过该传送接收单元接收该第一广告串流后，进而将该第一广告串流加入至该来源多媒体串流。[0015]本发明的再一方面为一种串流编辑装置，该串流编辑装置包含:一传送接收单元，该传送接收单元自一多媒体串流数据库接收一来源多媒体串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素，而该等候选像素在通过该传送接收单元而被传送至一广告串流数据库后，由该广告数据库根据该等后选像素而搜索出一第一广告串流，在该传送接收单元接收该第一广告串流后，该编辑单元将该第一广告串流加入至该来源多媒体串流。[0016]本发明的一方面为一种广告串流的储存方法，该广告串流的储存方法包含以下步骤:对一第一参考图样进行特征撷取并得出一第一特征点组合，其中该第一参考图样对应于一第一广告串流；以及储存该第一特征点组合与该第一广告串流间的对应关系。[0017]本发明的再一方面为一种广告串流的储存系统，该广告串流的储存系统包含:一特征撷取服务器，该特征撷取服务器对一第一参考图样进行特征撷取并得出一第一特征点组合；以及一储存服务器，信号连接于该特征撷取服务器，该储存服务器储存该第一特征点组合与该第一广告串流间的对应关系，其中该第一参考图样对应于一第一广告串流。[0018]本发明的又一方面为一种提供多媒体串流的系统，该提供多媒体串流的系统包含:一串流数据库，该串流数据库包含:一储存服务器，该储存服务器储存一来源多媒体串流、与多个参考图样相对应的多个广告串流；以及一特征撷取服务器，信号连接于该储存服务器，该特征撷取服务器对该等参考图样分别进行特征撷取而得出多个特征点组合，其中该储存服务器据此而储存各该特征点组合与各该广告串流间的对应关系；以及一串流编辑装置，该串流编辑装置包含:一传送接收单元，信号连接于该串流数据库，该传送接收单元接收该来源多媒体串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素，其中，在该传送接收单元将该等候选像素传送至该串流数据库后，该串流数据库根据该等后选像素而搜索出一第一广告串流，其中该编辑单元将该传送接收单元所接收的该第一广告串流加入至该来源多媒体串流。[0019]本发明可以让电视台在安排广告内容时，能够更为灵活且呼应电视节目的内容，进而提升消费者的购买欲望，使广告的效果更为显著，并可避免置入性营销方式所导致的时效问题。[0020]为了对本发明的上述及其他方面有更佳的了解，下文特举较佳实施例，并配合所附附图，作详细说明如下:【专利附图】【附图说明】[0021]图1A，其是代表编辑前的来源多媒体串流、广告串流的示意图。[0022]图1B，其是代表将图1A的广告串流数据内容加入来源多媒体串流的示意图。[0023]图2A，其是根据本发明构想的较佳实施例中，串流编辑装置在来源多媒体串流中取得原始影像的示意图。[0024]图2B，其是根据第一原始影像内的候选像素组合，而自广告串流数据库中得出与候选像素组合相对应的第一广告串流的示意图。[0025]图2C，其是将第一广告串流加入至来源多媒体串流而产生第一编辑后多媒体串流的示意图。[0026]图2D，其是根据本发明构想的较佳实施例所采用的提供多媒体串流的系统的示意图。[0027]图3A，其是串流数据库以参考图样作为特征撷取的来源的示意图。[0028]图3B，其是串流编辑单元以第一原始影像作为特征撷取的来源的示意图。[0029]图4，其是对第一原始影像进行变异化运算并得出转换画面的示意图。[0030]图5A，其是根据中心剩余画面而选择中心剩余像素的示意图。[0031]图5B，其是以所选择的中心剩余像素作为相邻像素区块的中心，判断其值是否具有区域极值的示意图。[0032]图6A，其是以一彩带图样的商标图样作为参考图样的示意图。[0033]图6B，其是在原始影像中出现如图6A的商标图样的示意图。[0034]图7A，其是以一个候选像素为例，说明如何以候选像素为中心，取得一个预选描述区块的示意图。[0035]图7B，其是将图7A的预选描述区块分为四个子区块的示意图。[0036]图7C，其是对图7A的预选描述区块内各个像素相对于中心的候选像素而计算像素描述向量的示意图。[0037]图7D，其是分别就四个子区块计算像素描述向量的示意图。[0038]图8A，其是将具有第一尺度的第一原始影像转换为具有第二尺度的第一原始影像的示意图。[0039]图SB，其是以类似图4的做法，针对具有第二尺度的第一原始影像进行变异化运算而得出转换画面、剩余画面的示意图。[0040]图9A，其是根据本发明构想的较佳实施例，实现提供多媒体串流的系统的第一种方式的示意图。[0041]图9B，其是根据本发明构想的较佳实施例，实现提供多媒体串流的系统的第二种方式的示意图。[0042]图10A，其是实现图9B中的广告串流数据库的第一种方式的示意图。[0043]图10B，其是实现图9B中的广告串流数据库的第二种方式的示意图。[0044]图11A，其是根据本发明构想而提供的广告串流的储存方法的流程图。[0045]图11B,其是图1lA中的步骤Sll的进一步说明的流程图。[0046]图11C，其是图1lA中的步骤S13的进一步说明的流程图。[0047]图12，其是串流数据库所储存的广告串流与参考图样、特征点组合、索引间的对应关系的不意图。[0048]图13，其是根据本发明构想，应用于串流编辑装置上的多媒体串流的编辑方法的流程图。[0049]主要组件符号说明:[0050]10、Bs来源多媒体串流[0051]13a第一广告串流[0052]13b第二广告串流[0053]15编辑后多媒体串流[0054]IOa第一部分的节目内容[0055]IOb第二部分的节目内容[0056]IOc第三部分的节目内容[0057]21,91串流编辑装置[0058]211,911传送接收单元[0059]213、913编辑单元[0060]23、93串流数据库[0061]231、103a搜索引擎[0062]233,933,101特征撷取服务器[0063]235,935,103储存服务器[0064]61中心剩余像素[0065]63相邻剩余像素[0066]31,41特征点[0067]71中心像素[0068]70预选描述区块[0069]70a第一子区块[0070]70b第二子区块[0071]70c第三子区块[0072]70d第四子区块[0073]93a多媒体串流数据库[0074]93b广告串流数据库[0075]103b第一子服务器[0076]103c第二子服务器[0077]105伺服装置[0078]951特征撷取单元[0079]953储存单元[0080]Bel第一编辑后多媒体串流【具体实施方式】[0081]为了避免所播放的广告内容与节目内容毫无关系，本发明提供了一种能够因应来源多媒体串流Bs的内容，而动态选择所加入的广告串流的做法。这种做法动态且灵活地提供与节目内容相对应的广告内容，故能避免置入性营销方式所导致的时效问题。[0082]在根据本发明构想的较佳实施例中，提供了一种应用于串流编辑装置与储存串流的数据库间编辑串流的方法。其中，在数据库端预先储存了多个广告串流，这些广告串流提供给串流编辑装置编辑来源多媒体串流时使用。串流编辑装置首先对来源多媒体串流进行原始影像的撷取，接着根据这些原始影像的内容而自数据库中搜索出与原始影像的内容相对应的广告串流后，再将搜索得出的广告串流加入来源多媒体串流中。[0083]以下先以图2A、图2B、图2C说明串流编辑装置如何根据本发明的构想，而对来源多媒体串流与搜索得出的广告串流进行编辑，接着再详细说明其实现方式。[0084]请参见图2A，其是根据本发明构想的较佳实施例中，串流编辑装置在来源多媒体串流中取得原始影像的示意图。首先，串流编辑装置先自来源多媒体串流Bs撷取第一原始影像MGsI。[0085]假设第一原始影像IMGsl具有第一尺度，则如附图所示，进一步放大的第一原始影像相当于由多个第一尺度像素所构成的阵列。当然，此处的第一尺度像素仅是为了说明而绘示。[0086]一旦撷取出第一原始影像后，便判断第一原始影像MGsl中是否存在代表商标图案、标志图样、符号图样、文字图样、识别图样的多个候选像素组合。若是，便根据这些候选像素组合而自广告串流数据库中搜索得出与候选像素组合相对应的广告串流。[0087]请参见图2B，其是根据第一原始影像内的候选像素组合，而自广告串流数据库中得出与候选像素组合相对应的第一广告串流的示意图。[0088]关于串流编辑装置如何根据第一原始影像而得出候选像素组合，以及串流数据库如何根据这些候选像素组合而在所储存的广告串流中找出第一广告串流的过程，均将在后续的段落中说明。图2B代表的是串流数据库将搜索得出而与第一候选像素组合相对应的第一广告串流Bal回传给串流编辑装置。[0089]请参见图2C，其是将第一广告串流加入至来源多媒体串流而产生第一编辑后多媒体串流的示意图。在此附图中，由左向右的箭头方向代表第一编辑后多媒体串流Bel的播放方向与时间顺序。由此附图可以看出，一旦串流编辑装置撷取出第一原始影像頂Gsl后，若能据此而在广告串流数据库中搜索出第一广告串流Bal，便将第一广告串流Bal加入至第一原始影像MGsl的下一个广告时段中。[0090]亦即，当原始影像存在足以识别的各类商标图案、标志图样、符号图样、文字图样、识别图样，且在串流数据库中储存了与这些图样相对应的广告内容时，便将与其对应的广告内容安插在原始影像后接续播出。[0091]例如:若节目内容(原始影像)出现赛车场面时，辨识出原始影像中的赛车影像上具有车商的商标图样时，便在紧接赛车场面后的广告时段中，播放该车商的新车广告；或者在节目内容出现新奇的手机时，在具有手机的原始影像后将接续播放手机厂商的广告内容。[0092]更进一步来说，串流编辑装置能针对来源多媒体串流的不同时点撷取多个原始影像，并因应这些原始影像所具有的候选像素组合，而在串流数据库中选择与这些候选像素相对应的广告串流。[0093]如此一来，当电视台在播放多媒体串流时，使用者所看到的广告串流内容便与先前的原始影像高度相关。例如:通过对第一原始影像的特征撷取，判断在第一原始影像中出现了A车商的商标。因此，便将A车商的广告(第一广告串流)加入在紧接着的广告时段。[0094]对使用者而言，先在电影节目中看到令人感到功能酷炫的A车商的车款，然后又在随即而来的广告时段中看到A车商的广告。由于广告内容与节目内容彼此呼应，这种广告播放方式可让观众留下更为深刻的印象。[0095]请参见图2D，其是根据本发明构想的较佳实施例所采用的提供多媒体串流的系统的示意图。在此处，提供多媒体串流的系统包含:串流数据库23与串流编辑装置21。以下简要说明串流数据库23与串流编辑装置21的用途与功能。[0096]根据此附图可以看出，串流数据库提供了来源多媒体串流，以及多个广告串流(Bal、Ba2、Ba3...);而串流编辑装置则信号连接于串流数据库23。[0097]串流数据库包含了彼此信号连接的储存服务器与特征撷取服务器。其中储存服务器用于提供来源多媒体串流Bs、多个广告串流、多个参考图样以及多个特征点组合。[0098]根据本发明的构想，参考图样可为商标图案、标志图样、符号图样、文字图样、识别图样等足具特征而可辨识出厂商或产品的图样。此外，特征点组合则是由特征撷取服务器233对这些参考图样进行特征撷取后所得出的各个参考图样(P1、P2、P3...)的特征点描述。[0099]再者，储存服务器还进一步提供了搜索引擎。因此，当串流数据库接收到由原始影像中得出的候选像素组合时，便能藉由搜索引擎而在储存服务器中找出与这些候选像素组合相对应的广告串流。[0100]在图2D的例子中，储存服务器235所储存的广告串流包含了第一广告串流Bal、第二广告串流Ba2、第三广告串流Ba3。储存服务器所储存的参考图样包含了第一参考图样P1、第二参考图样P2、第三参考图样P3以及第四参考图样P4。须注意的是，广告串流与参考图样之间的关系可能是一对一的对应关系，也可能是一对多、多对一的对应关系。[0101]例如:第一广告串流Bal同时对应于第一参考图样Pl与第二参考图样P2。举例来说，第一广告串流Bal的内容是针对A车商的Al车款所拍摄的，则A车商本身的商标可被当作是第一参考图样Pl;而八1车款本身的车系识别图案则可被当作是第二参考图样P2。因此，第一广告串流Bal便同时对应于第一参考图样Pl与第二参考图样P2。[0102]在图2D中，第二广告串流Ba2与第三广告串流Ba3均对应于第三参考图样P3，而第三广告串流Ba3亦同时对应于第四参考图样P4。[0103]这种广告串流与参考图样之间的对应关系可能的例子如:第三参考图样P3代表B厂商的商标，而第二广告串流Ba2是B手机厂商的全系列产品的广告内容。因此，第二广告串流Ba2与第三参考图样P3彼此相对应。[0104]此外，第四参考图样为B手机厂商的BI系列手机的识别图样，而第三广告串流Ba3是BI系列手机的广告。由于B手机厂商的商标图样可能同时对应于全系列产品的广告内容，也可能对应于BI系列手机的广告，因此，第三参考图样P3同时对应于第二广告串流Ba2与第三广告串流Ba3。[0105]关于相同参考图样对应于多个广告串流的情况时，其播放方式可以根据应用不同而选用不同的播放方式。举例来说:若后续进行广告串流搜索时，是以第三参考图样P3作为比较的依据时，则可设定播放的广告串流为第二广告串流Ba2或第三广告串流Ba3中的任何一个。当然，另一种可能的播放方式则将优先播放第二广告串流Ba2，之后再接续播放第三广告串流Ba3。[0106]由于搜索引擎在搜索广告串流时，是根据候选像素组合与特征点组合之间的比对，因此，特征撷取服务器233会先对这些参考图样进行特征撷取，进而将撷取出的特征点组合提供给搜索引擎使用。[0107]也就是说，特征撷取服务器233对第一参考图样Pl进行特征撷取而得出第一特征点组合SI，特征撷取服务器233对第二参考图样P2进行特征撷取而得出第二特征点组合S2，其余类推。在得出与各个参考图样相对应的特征点组合后，特征撷取服务器233再进一步将特征点组合与广告串流之间的对应关系记录在储存服务器235，作为搜索引擎231后续使用的参考。[0108]例如:在图2D中，以实线的双箭头图案标示出第一广告串流Bal与第一参考图样Pi之间的第一组对应关系；并以另一个实线的双箭头图案标示第一特征点组合Si与第一参考图样Pl之间的第二组对应关系；接着，再以一个虚线的双箭头图案标示第一特征点组合SI可以根据前述两组对应关系而对应于第一广告串流Bal。同样的，针对其他的广告串流、参考图样与特征点组合，此处皆以箭头图案来标示。当然，在实际应用中，储存服务器235内的广告串流、参考图样、特征点组合之间的对应关系可能以索引查询、指针等方式来实现，此为本领域的普通技术人员所能理解而因应系统需求而替换的。[0109]此外，搜索引擎在取得由串流编辑装置根据第一原始影像所得出的第一候选像素组合后，利用第一后选像素组合而与广告串流数据库所包含的多个特征点组合进行比对。通过比对的过程，找出在这些特征点组合中，符合一预设条件者。将候选像素与储存服务器内的多个特征点组合进行比较后，在找出符合的特征点组合后，搜索引擎便能根据先前储存的对应关系而找出与特征点组合相对应的广告串流。其后，再将搜索得出的广告串流传送至串流编辑装置。[0110]举例来说，倘若搜索引擎231的搜索结果为第一特征点组合SI与第一候选像素组合具有较高的相似度时，便输出与第一特征点组合SI相对应的第一广告串流Bal至串流编辑装置21;倘若搜索引擎231的搜索结果为第四特征点组合S4与第一候选像素组合具有较高的相似度时，便输出与第四特征点组合S4相对应的第三广告串流Ba3至串流编辑装置21。[0111]图2D说明了串流编辑装置21包含彼此电连接的传送接收单元211与编辑单元213，其中传送接收单元211信号连接于串流数据库23。[0112]接着，将进一步说明串流编辑装置21如何根据所撷取的原始影像取得参考图样的做法。[0113]首先，在串流编辑装置21自来源多媒体串流撷取第一原始影像后，串流编辑装置21会对第一原始影像进行变异化处理并据此而得出多个转换画面。[0114]接着，串流编辑装置21将根据该等转换画面间的比较结果而进行特征撷取。若第一原始影像存在商标图案、标志图样、符号图样、文字图样、识别图样时，则进行特征撷取时，将得出多个候选像素。而这些后选像素可进一步得出候选像素组合，作为串流数据库搜索广告串流使用。[0115]假设串流编辑装置21可以根据第一原始影像而得出多个候选像素，并进而根据这些候选像素得出第一候选像素组合。一旦搜索引擎231跟第一候选像素组合而在串流数据库23中搜索出相对应的广告串流(假设为第一广告串流Bal)后，再将第一广告串流Bal回传给串流编辑装置21。[0116]串流编辑装置21先藉由传送接收单元211接收第一广告串流Bal后，接着由编辑单元213将第一广告串流Bal加入至来源多媒体串流Bs。[0117]综上所述，图2A至图2D大致说明当串流编辑装置采用了本发明的主要构想后，可以让使用者在观看了前一段节目后，接着观赏与节目内容最为相关的广告内容，进而提升广告的效益。[0118]此处仅简单举例说明广告串流与参考图样之间的对应关系，以及如何根据参考图样而得出相对应的特征点组合后，再将特征点组合对应至广告串流，进而在后续提供给串流编辑装置使用。[0119]须注意的是，串流数据库与串流编辑装置的实现方式与功能配置并不以前述附图为限。同样的，广告串流与参考图样的数量，以及彼此间的对应关系等，仅是为了说明使用。[0120]根据前述说明可以得知，串流数据库被用于储存广告串流与特征点组合之间的对应关系。在已知广告串流与参考图样之间的对应关系的前提下，特征撷取服务器233会对多个参考图样分别进行变异化处理、特征撷取等步骤，进而得出多个特征组合。[0121]另一方面，串流编辑装置21同样会对在来源多媒体串流Bs中截取的第一原始影像进行变异化处理、特征撷取等步骤。倘若第一原始影像中存在可供识别的参考图样时，藉由串流编辑装置对第一原始影像进行变异化处理与特征撷取的过程，将可得出多个候选像素。更进一步的，还可针对候选像素得出与其相对应的像素描述，据此而得出第一候选像素组合。[0122]根据本发明的构想，当串流编辑装置得出第一候选像素组合后，便通过传送接收单元将其传送至串流数据库。而串流数据库便以第一候选像素组合为基础，将第一候选像素组合用来与储存服务器中的多个特征点组合相比较。[0123]根据第一候选像素组合与特征点组合相比较的结果，找出符合预设相似程度的其中一个特征点组合(如:第一特征点组合)。由于第一特征点组合与第一广告串流之间的对应关系为已知，串流数据库因而将第一广告串流回传至串流编辑装置21。[0124]由此可知，串流编辑装置与串流数据库均需提供变异化处理与特征撷取的流程。两者的差别在于，串流编辑装置是针对由来源多媒体串流所撷取出的原始影像进行处理；但是串流数据库是针对不同的参考图样进行处理。[0125]请参见图3A，其是串流数据库以参考图样作为特征撷取的来源的示意图。在一般的情况下，参考图样代表的商标图案、标志图样、符号图样、文字图样、识别图样等，均具有较明确的轮廓与特征点。因此，对参考图样进行变异化处理与特征撷取而得出的特征点组合较为明确。也因此，串流数据库所提供的多个特征点组合可用于比对原始影像的内容。[0126]请参见图3B，其是串流编辑单元以第一原始影像作为特征撷取的来源的示意图。当商标图案、标志图样、符号图样、文字图样、识别图样出现在原始影像时，并不会像图3A般清晰。相反的，这些商标图案、标志图样、符号图样、文字图样、识别图样往往只占了原始影像中的一角。除了图样较不清晰外，其尺寸与角度也可能产生变化。[0127]根据图3A、图3B的说明可以得知，当广告串流数据库端对参考图样进行特征点撷取时，由于参考图样的外观为独立的来源，因而较不受噪声或外在的影响。另一方面，尽管原始影像存在与参考图样相似的图样，但是参考图样的外观却已经产生改变。因此，串流数据库与串流编辑装置在比对参考图样与原始影像是否存在相似的图样时，不能单就参考图样中像素点的位置来判断，而必须利用特征点比较的方式来进行，才能判断在图3A、图3B中是否存在相似的图样。[0128]更进一步来说，本发明根据参考图样建立相对应的特征点组合，以及在原始影像找出后选像素的方式，是希望藉由特征点比对的方法，比较参考图样与原始影像中相似的内容(图样)。这种利用特征点比对的方式，能够克服当参考图样出现在原始影像时所产生的位移、旋转、缩放、亮度差异以及噪声等情形。[0129]进行特征点撷取的过程可进一步区分为四个阶段:其一为转换画面的取得；其二是进行尺度空间的像素极值检测；其三是选取较佳的候选像素；其四则是判断个别的特征点的方向性，并得出特征点描述。[0130]无论是串流数据库或串流编辑装置均须要进行变异化运算与特征点撷取，两者的差别是进行变异化运算与特征点撷取的对象并不相同。在串流数据库中，变异化运算与特征点撷取的对象是参考图样；在串流编辑装置中，变异化运算与特征点撷取的对象是原始影像。藉由变异化运算与特征点撷取的流程，根据个别取出的特征点描述进行比对，进而判断是否能在原始影像中找到与预存的多个参考图样相似的部分。[0131]由于对原始影像与参考图样进行变异化处理与特征点撷取的过程大致相同，下述的说明主要以第一原始影像作为对象，利用图4说明如何取得转换画面(第一阶段)、图5A、图5B说明如何根据相邻像素区块而检测具有区域极值的极值像素(第二阶段)；以及，根据图6A、图6B、图6C、图6D而说明如何得出特征点描述(第四阶段)。[0132]请参见图4，其是对第一原始影像进行变异化运算并得出转换画面的示意图。须注意的是，这里绘示的原始影像为说明而举例，实际包含的像素点并不以此为限。例如:原始影像所采用的分辨率可能为640*480或是其他。[0133]在图4中，假设第一原始影像具有第一尺度，针对第一原始影像分别使用了五个不同的标准差值(2.5σ、2σ、1.5σ、σ、0.5σ)，对其进行变异化运算，进而得出了对应于这五个标准差值(2.5σ、2σ、1.5σ、σ、0.5σ)的五个转换画面。当然,在进行变异化运算时所选用的标准差值并不以此处五个标准差值为限。[0134]须注意的是，在进行变异化运算时，并不会影响画面的尺度，因此，根据第一原始影像转换而得出的转换画面同样具有第一尺度。亦即，在进行变异化运算时，是针对在第一原始影像中全部的第一尺度像素进行，所以转换画面所包含的第一尺度像素的数量与第一原始影像所包含的第一尺度像素的数量相同。[0135]换言之，对第一原始影像进行变异化处理，并据此而得出多个转换画面的步骤指:分别根据多个标准差值而对第一原始影像进行变异化运算后，得出同样具有第一尺度的多个转换画面。在这个较佳实施例中，选择高斯滤波运算作为变异化运算，变异化运算也可采用其他类型的运算方式。[0136]例如:根据第一标准差值2.5σ而对原始影像进行高斯滤波运算，进而得出第一转换画面G(2.5。);根据第二标准差值2σ而对原始影像进行高斯滤波运算，进而得出第二转换画面G(2。);根据第三标准差值1.5。而对原始影像进行高斯滤波运算，进而得出第三转换画面G(1.5。)；根据第四标准差值σ而对原始影像进行高斯滤波运算，进而得出第四转换画面G(σ);根据第五标准差值0.5σ而对原始影像进行高斯滤波运算，进而得出第五转换画面G(0.5σ)。[0137]由图4的右侧可以看出，在得出转换画面后，接着对每个转换影像进行两两相减，也就是进行高斯差值(difference-of-Gaussian,简称为DOG)的运算。为了便于说明，以下以DOG代表剩余画面，并以括号代表是根据哪些标准差值计算得出。[0138]其中，第一剩余画面DOG(2.5σ，2σ)代表由第一转换画面G(2.5。)以及第二转换画面G(2σ)相减后得出的剩余画面。由于第二剩余画面DOG(2σ，1.5σ)、第三剩余画面DOG(1.5σ，σ)、第四剩余画面DOG(σ，0.5σ)的表示方式亦类似，便不再详细说明。[0139]藉由高斯差值的运算而得出转换画面与转换画面之间的剩余画面后，之后则是进入根据该等剩余像素间的比较而选取其中具有区域极值者的多个极值像素的第二阶段。[0140]请参见图5Α，其是根据中心剩余画面而选择中心剩余像素的示意图。在不同的剩余画面中，逐一选取在不同的(x，y)位置的像素点，并以其作为中心剩余画面的中心点。[0141]以图5A为例，其中选择第四列第四行的像素作为中心剩余像素61，此处以具有底纹的圆圈代表中心剩余画面的中心点，而其相邻的白底圆圈图样则代表在同一个剩余画面中，位于中心剩余像素周边的相邻剩余像素63。也就是说，相邻剩余像素代表与中心剩余像素位于同一个剩余画面中，相对于中心剩余像素的左上方、上方、右上方、右侧、右下方、下方、左下方、左侧的八个剩余像素。[0142]须注意的是，在判断中心剩余像素是否具有区域极值时，除了将其与中心剩余像素位于与同一个剩余画面中的相邻剩余像素进行比较外，还需要进一步跟其他的剩余画面中的相邻剩余像素进行比较，这部分请进一步参阅图5B。[0143]此处所指的相邻剩余画面指的是，用于得出中心剩余画面的两个标准差值与前、后各一个标准差值所得出的剩余画面。[0144]例如:若中心剩余画面为根据标准差值(1.5σ,σ)得出的第三剩余画面，则根据标准差值(2σ,Ι.5σ)所得出的第二剩余画面，以及根据标准差值(σ，0.5σ)所得出的第四剩余画面便称为是第三剩余画面的相邻剩余画面。[0145]请参见图5Β，其是以所选择的中心剩余像素作为相邻像素区块的中心，判断其值是否具有区域极值的示意图。其中，相邻剩余像素是指在该中心剩余画面中，以该中心剩余像素为中心的一相邻像素区块所包含的多个剩余像素；以及，在与中心剩余画面相邻的剩余画面(上方、下方)中与相邻像素区块相对应位置的像素区块所包含的多个剩余像素。[0146]换言之，若是在一个中心剩余画面中，位于(X，y)的中心剩余像素所具有的值，与其26个相邻剩余像素(上、下剩余画面中各九个相邻剩余像素与本身所属的剩余画面中的八个相邻剩余像素)所具有的值相比时，相对具有极大值或极小值时，则选择此中心剩余像素作为极值像素之一。[0147]归结选取在各该剩余画面中具有区域极值者的像素作为该等候选像素的做法为:[0148]选取该等剩余画面的一个作为中心剩余画面；自中心剩余画面所包含的多个剩余像素中选择中心剩余像素；分别比较中心剩余像素所具有的值、中心剩余像素的多个相邻剩余像素所具有的值；以及，当中心剩余像素所具有的值与中心剩余像素的该等相邻剩余像素所具有的值相比而具有区域极值时，选择以中心剩余像素作为该等极值像素的一个。[0149]须注意的是，根据极值比较找出的极值像素并非全部都是稳定的(stable)，所以要删去一些识别特性较不稳定的极值像素。因此，第三阶段便是从极值像素中进一步选出具有较佳稳定性的极值像素。[0150]举例来说:若极值像素在画面中位于同一个线条时，其实不需要取得所有在相同线条上的像素作为极值像素，因此删除该等候选像素中不具有高反差特性者，以及删除该等极值像素中属于边界像素者。[0151]判断极值像素具有低反差的方法为，根据如下的公式，以泰勒展开式决定。其中，D是剩余画面的结果，X代表极值像素、T为转置矩阵。根据X与D，可以计算出一个偏移量(offset)XQ【权利要求】1.一种多媒体串流的编辑方法，该多媒体串流的编辑方法包括以下步骤:自一来源多媒体串流撷取一第一原始影像；对该第一原始影像进行变异化处理并据此而得出多个转换画面；根据该等转换画面间的比较结果而进行特征撷取后，据此而得出多个候选像素；根据该等后选像素而在一广告串流数据库中搜索出一第一广告串流；以及将该第一广告串流加入至该来源多媒体串流。2.如权利要求1所述的多媒体串流的编辑方法，其中该第一原始影像具有一第一尺度，而对该第一原始影像进行变异化处理并据此而得出该等转换画面的步骤是指:分别根据多个标准差值而对该第一原始影像进行一变异化运算后，得出具有该第一尺度的多个转换画面。3.如权利要求2所述的多媒体串流的编辑方法，其中该变异化运算为一高斯滤波运笪ο4.如权利要求2所述的多媒体串流的编辑方法，其中对该第一原始影像进行变异化处理并据此而得出该等转换画面的步骤还包括以下步骤:对该第一原始影像进行尺度转换后，得出具有一第二尺度的该第一原始影像；分别根据该等标准差值而对具有该第二尺度的该第一原始影像进行该变异化运算后，得出具有该第二尺度的多个转换画面。5.如权利要求4所述`的多媒体串流的编辑方法，其中具有该第二尺度的该第一原始影像的尺寸小于具有该第一尺度的该第一原始影像的尺寸。6.如权利要求2所述的多媒体串流的编辑方法，其中根据该等转换画面间的比较结果而进行特征撷取后，据此而得出该等候选像素的步骤包括以下步骤:根据该等转换画面间的比较而得出具有该第一尺度的多个剩余画面，其中各该剩余画面均各自包括多个剩余像素；根据该等剩余像素间的比较而选取其中具有区域极值者的多个极值像素；以及选择在该等极值像素中具有较佳识别特性者作为该等候选像素。7.如权利要求6所述的多媒体串流的编辑方法，其中根据该等剩余像素间的比较而选取其中具有区域极值者的多个极值像素的步骤包括以下步骤:选取该等剩余画面的一个作为一中心剩余画面；自该中心剩余画面所包括的多个剩余像素中选择一中心剩余像素；分别比较该中心剩余像素所具有的值、该中心剩余像素的多个相邻剩余像素所具有的值；以及当该中心剩余像素所具有的值与该中心剩余像素的该等相邻剩余像素所具有的值相比而具有区域极值时，选择以该中心剩余像素作为该等极值像素的一个。8.如权利要求7所述的多媒体串流的编辑方法，其中该等相邻剩余像素包括:在该中心剩余画面中，以该中心剩余像素为中心的一相邻像素区块所包括的多个剩余像素；以及在与该中心剩余画面相邻的剩余画面中，与该相邻像素区块相对应位置的像素区块所包括的多个剩余像素。9.如权利要求6所述的多媒体串流的编辑方法，其中自该等极值像素中选取具有较佳识别特性者作为该等候选像素的步骤包括以下步骤:删除该等极值像素中不具有高反差特性者；以及删除该等极值像素中位于边界者。10.如权利要求1所述的多媒体串流的编辑方法，其中根据该等后选像素而在一广告串流数据库中搜索出一第一广告串流的步骤包括以下步骤:根据该等候选像素而得出一第一候选像素组合，其中该第一候选像素组合记录与各该候选像素相对应的像素描述；利用该第一后选像素组合而与该广告串流数据库所包括的多个特征点组合进行比对，进而自该等特征点组合中选取符合一预设条件者；以及根据符合该预设条件的特征点组合，而在该广告串流数据库中选择与其相对应的广告串流作为该第一广告串流。11.如权利要求10所述的多媒体串流的编辑方法，其中该广告串流数据库所包括的各该特征点组合对应于一商标图案、一标志图样、一符号图样、一文字图样、一识别图样。12.如权利要求10所述的多媒体串流的编辑方法，其中与各该候选像素相对应的像素描述是指:根据以各该候选像素为中心的一预选描述区块所得出的像素描述向量。13.如权利要求10所述的多媒体串流的编辑方法，其中该预设条件是指:该第一后选像素组合与该特征点组合间符合一预设相似程度。14.如权利要求1所述的多媒体串流的编辑方法，其中该等后选像素的一第一部分对应于一第一候选像素组合，而该等候选像素的一第二部分对应于一第二候选像素组合，而该编辑方法还包括以下步骤:利用该第二后选像素组合而与该广告串流数据库所包括的多个特征点组合进行比对，进而自该等特征点组合中得出符合一预设条件的一特征点组合；选择与该特征点组合相对应的广告串流作为一第二广告串流；以及将该第二广告串流加入至该来源多媒体串流。15.如权利要求1所述的多媒体串流的编辑方法，其中将该第一广告串流加入至该来源多媒体串流的步骤是指:将该第一广告串流加入至该第一原始影像在该来源多媒体串流的位置的后段，进而得出一第一编辑后多媒体串流。16.如权利要求15所述的多媒体串流的编辑方法，其中还包括以下步骤:自该来源多媒体串流撷取一第二原始影像；根据该第二原始影像而在该串流数据库中搜索出与其相对应的广告串流；以及将与该第二原始影像相对应的广告串流加入至该第一编辑后多媒体串流。17.如权利要求16所述的多媒体串流的编辑方法，其中该第一原始影像与该第二原始影像在该来源多媒体串流中的位置间隔一播放时间差。18.—种多媒体串流的编辑系统，该多媒体串流的编辑系统包括:一多媒体串流数据库，该多媒体串流数据库提供一来源多媒体串流；一广告串流数据库，该广告串流数据库具有一搜索引擎并提供多个广告串流；以及一串流编辑装置，该串流编辑装置包括:一传送接收单元，信号连接于该多媒体串流数据库与该广告串流数据库，该传送接收单元接收该来源多媒体串流与该等广告串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素；其中，该广告串流数据库根据该等后选像素而搜索出一第一广告串流，而该编辑单元在通过该传送接收单元接收该第一广告串流后，进而将该第一广告串流加入至该来源多媒体串流。19.一种串流编辑装置，该串流编辑装置包括:一传送接收单元，该传送接收单元自一多媒体串流数据库接收一来源多媒体串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素，而该等候选像素在通过该传送接收单元而被传送至一广告串流数据库后，由该广告数据库根据该等后选像素而搜索出一第一广告串流，在该传送接收单元接收该第一广告串流后，该编辑单元将该第一广告串流加入至该来源多媒体串流。20.一种广告串流的储存方法，该广告串流的储存方法包括以下步骤:对一第一参考图样进行特征撷取并得出一第`一特征点组合，其中该第一参考图样对应于一第一广告串流；以及储存该第一特征点组合与该第一广告串流间的对应关系。21.如权利要求20所述的广告串流的储存方法，其中该第一广告串流对应于多个参考图样，而各该参考图样分别对应于一特征点组合。22.如权利要求20所述的广告串流的储存方法，其中对该第一参考图样进行特征撷取并得出该第一特征点组合的步骤包括以下步骤:对该第一参考图样进行变异化处理并据此而得出多个第一参考转换图样；根据该等第一参考转换图样间的比较结果而进行特征撷取后，据此而得出多个候选特征像素；以及根据该等后选特征像素而得出该第一特征点组合。23.如权利要求22所述的广告串流的储存方法，其中对该第一参考图样进行变异化处理并据此而得出该等第一参考转换图样的步骤是指:分别根据多个标准差值而对该第一参考图样进行一变异化运算后，得出该等第一参考转换画面。24.如权利要求23所述的广告串流的储存方法，其中该变异化运算为一高斯滤波运笪ο25.如权利要求22所述的广告串流的储存方法，其中根据该等第一参考转换图样间的比较结果而进行特征撷取后，据此而得出该等候选特征像素的步骤包括以下步骤:根据该等第一参考转换画面间的比较而得出多个第一参考剩余画面，其中各该第一参考剩余画面均各自包括多个剩余像素；根据该等剩余像素间的比较而选取其中具有区域极值者的多个极值像素；以及选择在该等极值像素中具有较佳识别特性者作为该等候选特征像素。26.如权利要求25所述的广告串流的储存方法，其中根据该等剩余像素间的比较而选取其中具有区域极值者的多个极值像素的步骤包括以下步骤:选取该等第一参考剩余画面的一个作为一中心剩余画面；自该中心剩余画面所包括的多个剩余像素中选择一中心剩余像素；分别比较该中心剩余像素所具有的值、该中心剩余像素的多个相邻剩余像素所具有的值；以及当该中心剩余像素所具有的值与该中心剩余像素的该等相邻剩余像素所具有的值相比而具有区域极值时，选择以该中心剩余像素作为该等极值像素的一个。27.如权利要求26所述的广告串流的储存方法，其中该等相邻剩余像素包括:在该中心剩余画面中，以该中心剩余像素为中心的一相邻像素区块所包括的多个剩余像素；以及在与该中心剩余画面相邻的剩余画面中，与该相邻像素区块相对应位置的像素区块所包括的多个剩余像素。28.如权利要求25所述的广告串流的储存方法，其中选择在该等极值像素中具有较佳识别特性者作为该等候选特征像素的步骤包括以下步骤:删除该等极值像素中不具有高反差特性者；以及删除该等极值像素中位于边界者。29.如权利要求22所述的广告串流的储存方法，其中储存该第一特征点组合与该第一广告串流间的对应关系的步骤包括以下步骤:`分配一第一索引给该第一特征点组合；储存该第一索引与该第一特征点组合间的对应关系；以及储存该第一索引与该第一广告串流间的对应关系。30.如权利要求20所述的广告串流的储存方法，其中该第一参考图样可为一商标图案、一标志图样、一符号图样、一文字图样、一识别图样。31.一种广告串流的储存系统，该广告串流的储存系统包括:一特征撷取服务器，该特征撷取服务器对一第一参考图样进行特征撷取并得出一第一特征点组合；以及一储存服务器，信号连接于该特征撷取服务器，该储存服务器储存该第一特征点组合与该第一广告串流间的对应关系，其中该第一参考图样对应于一第一广告串流。32.如权利要求31所述的广告串流的储存系统，其中该储存服务器包括:一搜索引擎，该搜索引擎分配一第一索引给该第一特征点组合；一第一子服务器，信号连接于该特征撷取服务器，该第一子服务器储存该第一索引与该第一特征点组合间的对应关系；以及一第二子服务器，信号连接于该第一子服务器，该第二子服务器储存该第一索引与该第一广告串流间的对应关系。33.一种提供多媒体串流的系统，该提供多媒体串流的系统包括:一串流数据库，该串流数据库包括:一储存服务器，该储存服务器储存一来源多媒体串流、与多个参考图样相对应的多个广告串流；以及一特征撷取服务器，信号连接于该储存服务器，该特征撷取服务器对该等参考图样分别进行特征撷取而得出多个特征点组合，其中该储存服务器据此而储存各该特征点组合与各该广告串流间的对应关系；以及一串流编辑装置，该串流编辑装置包括:一传送接收单元，信号连接于该串流数据库，该传送接收单元接收该来源多媒体串流；以及一编辑单元，该编辑单元电连接于该传送接收单元，该编辑单元自该来源多媒体串流撷取一第一原始影像后，对其进行变异化处理并据此而得出多个转换画面，接着根据该等转换画面间的比较结果而进行特征撷取后，进而得出多个候选像素，其中，在该传送接收单元将该等候选像素传送至该串流数据库后，该串流数据库根据该等后选像素而搜索出一第一广告串流，其中该编辑单元将该传送接收单元所接收的该第一广告串流加入至该来源多媒体串流。`【文档编号】H04N21/85GK103517087SQ201210229457【公开日】2014年1月15日申请日期:2012年7月3日优先权日:2012年6月19日【发明者】陈美满,秦北辰,廖志彬申请人:纬创资通股份有限公司