在网络环境中的内容评估方法及服务器与流程

本发明涉及在网络环境的内容评估方法和内容评估服务器。

背景技术：

公众做了很长一段时间的努力成为一个可赢得受到公众欢迎的歌曲手或演员。为了成为这样一个歌曲手或演员，他们可能会得到一个由生产公司推广的戏剧和电影的试镜，以获得一个机会。

典型的试镜评估已由几个指定的人或专家来完成。

最近，公众正积极地试镜成为歌曲手或演员。试镜节目是通过媒体赢得人气，如电视与流行文化的增长，且作为歌曲手或演员通过试镜节目公开亮相，有多种情况。

此外，由于典型的电视试镜节目需要在每个评估阶段产生新的内容，并在每个评估阶段提供新的内容来判断，所以对于产生几个内容受到时间和成本的限制。

典型的电视试镜节目限制性地使公众参与内容的评估，因此，从公众那里获得的评估结果也受到应用限制。

韩国专利公开号10-2000-0054662(公开于2000年9月5日)涉及‘通过互联网和自动伴奏录音和管理方法’。当试镜视频包括自动伴奏录音表演在互联网网站上注册时，试镜视频的评估通过包括网友和特别评委进行评估。一个娱乐公司侦察者，可根据试镜视频评估，侦查相应的试镜参与者。

然而，有关艺术的最终目的是侦查专业艺人，因此存在需要有特别评委的问题。此外，由于特别评委对试镜判断的选择是根据试镜组织的任意标准，，因此存在从任意选择的特别评委的评估结果缺乏客观性的问题。

在另一种现有技术中，网友还可以参与典型的在线试镜节目作为评估者，而不考虑其专业或兴趣类别的试镜内容。在这种情况下，存在网友评估者对评估内容缺乏专业或兴趣的问题。这种现有的技术不仅包括在线试镜系统，还包括内容公告服务或内容共享服务，如youtube。

技术实现要素：

技术问题

为了解决如上所述的技术问题，本发明的目的是在网络环境中使用内容评估服务器提供内容评估方法。

本发明的另一个目的是提供一种用于在网络环境中执行内容评估的内容评估服务器。

技术方案

在本发明的一个方面，提供了一种在网络环境中利用内容评估服务器的内容评估方法，包括：(a)从终端接收内容及内容标签，并存储所述内容及所述内容标签，其中，所述内容标签包括含有评估阶段信息的评估者选择信息；(b)对所述内容标签与评估者的评估者标签进行比较，其中，所述评估者标签中的每个评估者标签包括与评估阶段信息对应的评估者等级的信息，并根据所述评估者选择信息来选择具有所述评估者等级的信息的评估者；(c)从评估者终端接收经选择的评估者评估的所述内容的评估结果；及(d)通过使用所述内容的所述评估结果来确定所述内容是否被选择。

在本发明的另一方面，提供了一种在网络环境中执行内容评估处理的内容评估服务器，其中，所述内容评估服务器包括：评估运营单元，用于(i)对包括评估者选择信息的内容标签与包括评估者等级信息的评估者标签进行比较，以根据所述评估者选择信息来选择具有所述评估者等级的信息的评估者；其中，所述评估者选择信息包括评估阶段信息；且(ii)通过使用经选择的评估者评估的所述内容的评估结果来确定所述内容是否被选择；以及内容评估数据库(db)，用于执行从终端接收和存储内容和内容标签中的至少一个，存储所述评估者标签，并通过所述选择的评估者接收和存储所述评估结果。

本发明的有益效果

本发明的特点和优点概括如下：

在网络环境的内容评估服务器和内容评估方法，使用相同的本发明所示内容，其通过互联网被公众创建，并可使公众评估相应的内容，从而减少用于评估许多内容的时间和系统资源的总量。

本发明比较申请者的内容标签与评估者标签，用于评估内容，以便根据内容标签对内容进行评估，通过适当的评估者，由内容评估确保更可靠地评估。

由于本发明基于通过比较内容标签与评估者标签所选的评估者之间的匹配率来调整用于进一步选择评估者的范围，由此，可以适当地调整参与评估的评估者的数量。

由于本发明通过使用第一创建的相同内容，执行每个评估阶段的评估，因此，可以减少用于创建多个内容的时间和成本。

本发明可使不同的评估者在每个评估阶段进行评估。因此，本发明可防止评估者对同一内容的重复评估，从而提高评估的客观性。

本发明可允许由普通人而不是专家组成评估者评估内容。这些评估者的内容评估经验，包括评估频率和质量，可作为评估等级的确定因素之一，显著提高本发明的内容评估方法的公平性和客观性。

由于本发明可以基于评估者的内容评估产生的评估者分数(评估质量、评估频率等)来提高评估者的等级，因此，内容的公平评估确保评估者自愿提高对评估者等级的评估。

本发明可将在一定的评估等级的评估者分类成多个组，允许内容分发到每个组。此外，由于通过每个组的评估者评估多个内容是有限的，内容的评估可被更高效、迅速地执行。

作为具有不同工作的公众评估者，专业和专业人员可参与内容评估，任何类型或种类的内容，可通过本发明进行评估。

附图简要说明

图1是示出根据本发明的实施例的内容评估系统的总配置图，

图2是示出根据本发明的实施例的内容评估服务器的框图，

图3是示出根据本发明的实施例的内容评估方法的流程图，

图4是示出根据本发明的实施例的评估者等级的示例图，

图5是示出根据本发明的实施例的内容选择的示例图。

具体实施方式

在本说明书及权利要求中使用的用语或单词不应被限制性地理解为通常的或字典上限定的意思，发明者为了将自身发明以最佳的方法进行说明，着眼于可适当地定义用语的概念的原则，应理解为符合本发明技术思想的意思和概念。

因此，由于在本说明书描述的实施例和附图中示出的构成不过是示例，并且未涵盖所有实施例的技术思想，所以应该理解，在本发明申请可具有能够代替这些的多种均等物和变形示例。

此外，在说明书的详细说明中，一个元件包括(或包含或具有)一些元件时，应该理解，其可包括(或包含或具有)仅那些元件，或者如果没有特定的限制，则所述一个元件可包括(或包含或具有)其他元件以及那些元件。还有，在详细说明中的“模块”、“单元”、“服务器”或“系统”等用语意味着处理至少一个技能或操作的单位，这可由软件、硬件，或者其组合来实现，并且可被包括在单个装置或者不同装置中。

如在此所使用的，单数的形式也要包括复数的形式，除非上下文清楚地表明。

以下，详细地说明本发明的优选实施例。

图1是示出根据本发明的实施例的内容评估系统的整个构成图，图2是示出根据本发明的实施例的内容评估服务器的框图。如图1所示，内容评估系统包括用于执行内容评估的内容评估服务器100、用于申请内容评估的申请者终端200、用于评估在内容评估服务器100网站内容的评估者终端300及通过申请请求生成内容的演播室终端400。

如图2示出，内容评估服务器100包括根据内容的评估阶段进行内容评估的评估运营单元110、管理评估者及评估结果的评估管理单元120及存储内容及内容标签的内容评估db130。

评估运营单元110包括连接在网络管理网站帖子内容的网站管理模块111、通过使用评估的内容的评估者终端300传输的评估结果，计算合并评估结果的评估结果计算模块112，和通过申请者终端200及演播室终端400传输，执行评估存储的内容，然后通过评估终端300接收到的评估结果确定是否由综合评估结果选择评估内容的评估控制模块113。

网站管理模块111在内容评估db130存储的内容中，选择要进行评估的内容时，根据评估控制模块113的控制，在网站揭示评估对象内容。网站可通过互联网连接会员加入的申请者、评估者、用户及网友等拥有的终端。网站可根据申请者、评估者、用户及网友请求的发布内容，给终端提供下载及流媒体服务。

此外，网站管理模块111接收喜好结果，其包括：(i)在用户和网友终端内容的播放频率；(ii)用于从用户和网友终端输入内容的支持响应。然后，网站管理模块111将接收到的喜好结果传输给评估结果计算模块112。支持响应可以被选择地输入以显示内容的欣赏结果，例如，点击图标，如“好”和“喜欢”。

网站管理模块111可根据内容期间指令，在网站上发布一段时间，可使评估者评估内容，并且在该期间之后停止发布评估内容。根据需要，可在内容不断地在网站上发布的情况下，防止内容评估。

内容评估服务器100从对内容进行评估的评估者终端300接收评估结果，并将接收的评估结果存储在内容评估db的130中。特别地，至少一个评估者终端300评估对应于评估者等级的内容，生成和传输评估结果至内容评估服务器100，则内容评估服务器100接收评估结果，并存储在内容评估db的130中。

评估结果计算模块112收集评估结果，完成内容评估之后，存储在内容评估db130，通过使用评估结果和喜好结果生产一个综合评估结果，其包括(i)网站上发布内容的播放频率，(ii)支持用于通过用户和网友的每个终端传输内容的响应和(iii)具有评估内容的评估者数量。然后，评估结果计算模块112传输综合评估结果至网站管理模块111，以便在网站上发布综合评估结果。

评估控制模块113可控制内容评估服务器100的操作，以便根据本发明的评估程序的评估者评估内容。评估控制模块113将内容存储模块133中存储的至少一个内容评估传达到网站管理模块111，以便发布将内容。且评估控制模块113控制网站管理模块111，结束评估的内容作为评估期间结束的评估。

此外，评估控制模块113比较存储在内容标签存储模块132内容的内容标签和存储在评估者标签存储模块131的评估者标签，从而选择评估者。换句话说，评估控制模块113可选择评估者，其在评估者选择信息具有评估者等级的信息，在内容标签的多个信息中，通过使用评估者选择信息(优选地，评估阶段信息)，由选择的评估者评估内容。

在包括在内容标签的多个信息中，评估者选择信息(优选地，评估阶段信息)被用于评估者的选择。评估阶段信息的一个示例，可以是评估内容或内容评估阶段的评估等级。用于评估阶段的评估者等级，可根据本发明的评估程序的策略来确定。

评估者标签包括与评估者阶段信息对应的评估者等级信息。因此，通过使用内容标签和评估者标签，可选择具有与评估者选择信息有关的评估者等级信息。

评估者可被区分为最少两个以上的等级，取决于评估者的专业成绩(即专业性评估)、地区等级(如行政区等级)，或年龄。此外，在评估者标签中，可将被区分为阶层性的评估者标签，设置为评估者等级。例如，公司的情况，评估者等级可由团队、室、事业部、总部等区分，且大学的情况，评估者等级可由学科、学部、学院、大学等区分。

在一个实施例中，根据公司的阶层区分评估者等级时，团队是公司的最低等级，可被划分为采购团队、产品开发团队，室是公司的第二最低等级，可被划分为管理和规划室、研究开发室、产品支持室，事业部是公司的第三最低等级，可被划分为国内事业部、海外事业部、管理支持事业部，且最高等级(顶部)的公司可为总部。

评估者等级应用在大学时，被分类的组如下：学部是大学的最低等级，可被分为生命工学部、国语国文学部、计算机工程学部等，学院是大学的第二最低等级，可被分为工学院、人文学院、自然科学学院、医学院等，且最高等级(顶部)的大学可为大学。

对包括评估阶段信息的评估者选择信息与评估者标签进行比较，然后，根据评估选择信息来选择具有评估者等级信息的评估者，使得具有选择的评估者等级的信息的所有评估者可执行内容评估。

评估内容的评估者，可在评估者等级中，进一步选择。例如，通过比较评估选择信息和评估者的评估者标签，可选择评估者，且计算他们之间的匹配率，最后，选择具有理想匹配率的评估者作为评估者。

例如，根据评估阶段的评估者等级按年龄(例如，十多岁、二十多岁、三十多岁等)被区分时，内容标签的评估阶段的评估阶段信息可能是“评估者的年龄为27”。在这种情况下，评估等级的内容被确定为“20多岁”时，具有“20多岁”评估者等级的评估者被选择。通过使用评估阶段信息(“评估者的年龄为27”)和评估者标签之间的匹配率，评估者可选择匹配率具有“20多岁”的评估者等级的评估者。

在评估者选择信息为“评估者的年龄为27”时，年龄为“27”的评估者被赋予100的匹配率，年龄为“26”或者“28”的评估者被赋予80的匹配率，年龄为“25”或者“29”的评估者被赋予60的匹配率，年龄为“24”的评估者被赋予40的匹配率，年龄为“23”的评估者被赋予20的匹配率。

之后，当选择评估者具有匹配率等于70或高于70的评估者时，可选择匹配率为100的“27岁”的评估者和匹配率为80的“26岁和28岁”的评估者。在这种情况下，根据内容评估服务器100的评估程序，可以由申请者或评估执行单元110设定匹配率70。

在内容标签中的评估选择信息可包括内容评估的评估阶段、优选评估者等级、申请者的年龄、性别、地区、爱好、特长、宗教信仰、工作家庭、工作、公司、血缘关系、毕业院校、出生地、聚会、社交网站、联系信息和内容类型。一个或更多个评估者选择信息可被用作评估阶段信息。

可通过比较评估标记与评估阶段信息来选择评估者，且至少一个附加特征信息用于评估者选择。

特别地，当申请者通过申请者终端200输入内容标签时，申请者可根据优先顺序输入评估者选择信息，然后，评估者选择信息的输入包括在内容标签。之后，内容评估服务器100根据评估选择的优先级与内容标签中的至少一个评估选择信息进行比较。因此，申请者可以通过选择与评估者选择信息相适应的评估者，允许根据申请者的意图选择评估者。

内容标签中，除了评估者选择信息的评估阶段信息以外的评估者选择的附加特征信息，可包括申请者的社会关系信息。社会关系信息包括申请者的工作家庭、工作、公司、血缘关系、毕业院校、出生地、聚会、社交网站、联系信息，但不限定于此。

例如，评估阶段信息为地区信息，附加的特征信息为工作(例如，律师)时，可以选择具有对应于地区信息的地区等级的评估者，然后，可在先前选择的评估者中，具体选择工作为‘律师’的评估者。

附加的特征信息信息为“公司”时，申请者的公司的员工可被选择为具有相同评估者等级信息(地区等级)的评估者中的评估者。

附加的特征信息信息为‘社交网站’时，用户可作为评估者连接到申请者的社交网站。

在附加特征信息信息为“年龄”时，年龄与特征信息“年龄”相同的用户可被选为具有评估者等级信息的评估者之中的评估者。

在附加特征信息信息为“年龄”和“性别”时，性别和年龄与特征信息“性别”和“年龄”相同的用户可被选择为具有评估者等级信息的评估者之中的评估者。

例如，在内容标签中的评估者选择信息(优选地，评估阶段信息)为“第一评估阶段”并且附加的特征信息为“评估者年龄是20多岁”时，选择根据两种类型信息的评估者来进行内容评估。如图4所示，可选择都满足评估“第一评估阶段”的评估者等级c和评估者的年龄是20多岁的评估者来执行内容评估。

在评估者根据上述两种类型的评估者选择信息被选择的情况下，对两个信息与评估者标签进行比较，并根据两个信息中的至少一个的匹配率来选择评估者。

例如，评估者选择信息是“第一评估阶段”和“20多岁的年龄”，评估者将通过使用“第一评估阶段”的信息被选择，然后，根据“20多岁的年龄”与评估者标签的匹配率被进一步选择。

在使用多个评估者选择信息的情况下，匹配率的一个示例是使用与评估者选择信息一致的评估者标签的数目。例如，使用五个评估者选择信息与评估者标签一致的情况下，匹配率可以表示为5。或者，可通过相似或接近确定匹配率，代替一致性。所有评估者选择信息的一部分，可用于计算匹配率。

此外，评估控制模块113分析由评估结果计算模块112产生的评估结果，并确定是否选择内容。内容被选择的情况下，评估控制模块113可确定是否具有高一级的评估者等级，而不是选择评估内容的评估者的评估者等级信息的评估者等级。当具有高一级的评估者等级时，评估控制模块113控制网站管理模块111来发布所选内容，以便选定的内容可由高一级的的评估这等级被评估。

根据一个实施例，在评估结果满足由内容评估服务器100所设置的阈值或阈值排序而确定的标准时，确定该内容被选择用于相应的评估者等级。如果评估结果不满足该标准，则确定该内容未被选择用于相应的评估者等级。

优选地，在内容的选择标准是一个阈值排名时，通过对具有相同评估者等级的评估者和内容的评估结果进行比较，从多个申请内容中进行评估，并且由相应的评估者等级的评估，确定从最高排名的相应的“阈值排名”选择的内容。

内容的选择标准是一个阈值，通过比较具有相同评估者等级和评估结果内容的评估者，评估从至少一个申请者的内容，然后，当评估结果等于或高于阈值(例如，预定的分数)时，确定由相应评估者等级的评估被选择的内容。

在这种情况下，当被选择的内容在评估等级，且有高一级的的评估者等级时，在被选择内容的内容标签的评估阶段信息被修改，以便被选择的内容，可通过具有高一级的评估者等级的评估者被评估。

例如，如图4所示，内容的“第一评估”被应用，通过‘评估者等级c’执行评估，并选择内容。“评估者等级b”是高一级的评估者等级。评估阶段信息从“第一评估”被更新为“第二评估”，以便可由‘评估者等级b’作为高一级的的评估者等级来评估内容。

根据本发明的一个实施例，在多个评估者等级中，只有一个评估者等级被分配给一个评估者，并且该评估者仅在评估阶段中进行评估，该评估阶段可与相应的评估者等级进行评估。根据本发明的一个实施例，在每个评估阶段中选择的评估者在相应的评估阶段中执行一次评估，并且由具有所选评估者等级的评估者对内容进行一次评估。

在本发明的另一个实施例中，在处于较低的评估阶段的内容对应于低级的评估者等级的情况下，评估也可以由属于高级评估者等级的评估者，被执行评估。

在本发明的一个实施例中，可通过使用附加特征信息以及评估阶段信息中至少一个来选择评估者。可首先通过使用评估阶段信息来选择具有相应评估者等级的评估者。在首先选择的评估者中，进一步选择与附加特征信息中的至少一个相关的评估者。或者，首先选择与附加特征信息中的至少一个相关的评估者，然后通过使用评估阶段信息来选择具有相应评估者等级的评估者。

此外，评估控制模块113可将存储在内容评估db130内的评估者标签存储模块131中的评估者标签的评估者分数传送至评估者等级管理模块122，使得评估者等级管理模块122可调整各评估者的评估者等级。

当内容标签中的任何评估者选择信息不是由申请者输入时，内容评估服务器100可以输入丢失的信息。在这种情况下，根据评估程序，可由内容评估服务器100预先设定输入信息。

评估管理单元120可包括用于计算评估内容的评估者评估质量的评估质量计算模块121、通过使用评估者的评估质量及评估频率，调整评估者等级的评估者等级管理模块122，及由多数等级区分的评估者中，在相同评估者等级内可形成组的管理评估者组的评估者组管理模块123。

评估质量计算模块121比较一个评估者的评估结果和具有相同评估者等级的整个评估结果，确定评估质量。特别地，当从一个评估者的评估结果是相同或类似的具有相同评估者等级的评估者的整个评估结果时，评估质量可被确定为好。当评估结果与具有相同评估者等级的评估者的整个评估结果完全不同时，评估质量可被判定为坏。

结果，由评估质量计算模块121计算的评估者的评估者质量可充分地反映出评估者的实质质量。如果评估者故意给出不公平的评估结果，评估质量计算模块121应给予评估者惩罚，如降低他或她的评估者等级。反之，如果评估者给出公正的评估结果，评估质量计算模块121应给予激励，如提高其评估者等级。

评估质量计算模块121计算每个评估者的评估质量，并在内容评估db130中的评估者标签存储模块131中存储所测量的评估质量。然后，当每个评估者的评估者等级被评估者等级管理模块122重新调整时，评估质量可被反映到评估分数。

评估者等级管理模块122通过使用由评估者质量计算模块121计算的每个评估者的评估质量及评估频率等信息来管理评估者等级。评估者等级分为两个或更多个等级。新加入的评估者可被分配到最低等级。可基于通过使用评估频率和/或评估质量而计算出的评估分数，将评估者等级提高到高一级的评估者等级。

在评估者等级管理模块122管理的评估者等级，可根据评估者分数的增加，由高一级的的评估者等级上调。此外，当评估质量低下的原因，评估者分数下降时，评估者等级可下调至下一个较低评估者等级。

评估者等级的数目可根据已加入为成员的用户中的注册为评估者的用户的数量进行调整和设置。例如，在根据评估者的人数将评估者的等级设置为1000人的情况下，当所有注册的评估者的数目分别为10000和100000时，可设置10个评估者等级和100个评估者等级。

在将评估者等级设置为5个等级的情况下，用于每个评估者等级的评估者的数目被设置为比率，因此最低评估者等级到最高评估者等级被设置为40％、30％、15％、10％及5％，当总评估者的数目为10000时，评估者等级内的评估者的数目被设置为4000、3000、1500及500，当总评估者的数目为100000时，评估者等级内的评估者的数目被设置为40000、30000、10000及5000。

评估者组管理模块123将每个评估者等级划分成组，组可分别与评估标签中的信息有关。组可按照评估者注册的地区、年龄、性别、爱好、特长、宗教信仰、工作家庭、工作、公司、血缘关系、毕业院校、出生地、聚会、社交网站、联系信息和内容类型被生成。

组可以由内容标签的评估阶段信息以外的至少一个附加特征信息被设置。

例如，在评估者的组基于地区被生成的情况下，组可基于行政区划(如江南区的清潭洞、三成洞或驿三洞)被形成。

在基于优选内容的类型生成评估者的组的情况下，组可基于如歌曲、表演和魔术等内容被形成。

此外，一组评估者的边界，可以根据每一个评估者等级而有所不同。

此外，可产生与评估者等级有关的评估者组。根据评估者等级，每个评估者等级内生成的组可能在等级、边界或大小上有所不同。

例如，在韩国基于地区产生组，产生的组在较低的评估者等级，可产生基于行政区的“洞”(在韩国最小的城市行政单位)，如清潭洞、三成洞、瑞草洞及盘浦洞，且产生的组在较高的评估者等级，可产生基于行政区的“区”(在韩国第二小的城市行政单位)，如江南区、瑞草区及松坡区。如果具有更高评估者等级高一级的评估者等级(地区等级)，组可产生基于上级行政区的城市，如首尔特别市、大田广域市及仁川广域市。如果具有最高评估者等级(地区等级)，组可产生作为一个全国性地区。

在这种情况下，“洞”与“邑、面”具有相同的等级，“区”(韩国农村行政单位)与“市、郡”具有相同的等级，并且“市”与“道、广域市、特别市”具有相同的等级。

在基于美国的地区产生组的情况下，可基于行政区的城市来产生低级评估者等级的组，并且可基于较高行政区的县来产生更高的评估者等级(地区等级)的组。高一级的的评估等级(地区等级)的国家可能是州，高一级的的评估等级(地区等级)的州可基于联邦产生。

行政区的单位只是例子，并且地区的标准可能因行政区的人口和面积、特定地点的半径而有所不同。此外，当用户已作为评估者加入时，该地区可通过评估标签输入的信息来选择，并且可根据需要使用居住地地址选择该地区。

组设置根据地区，可由逻辑标准和物理标准划分的地区设置地带，或者可从特定点在一定半径内设置地带。

内容评估db130包括存储作为评估者信息的评估者标签的评估者标签存储模块131、存储包括申请者信息及内容信息的内容标签的内容标签存储模块132及存储内容的内容存储模块133。

评估者标签存储模块131包括评估信息和存储信息，评估信息如评估结果由每个评估者、评估频率和评估质量获得，且存储信息如评估者分数、每个评估者的评估者等级和评估者组。

此外，评估者标签存储模块131存储包括评估者的基本信息的信息，其中，基本信息诸如评估者的年龄、性别、地区、地址、喜好的内容类型(歌曲、演奏、魔术等等)和内容类型的喜好种类(民谣，嘻哈，摇滚，爵士乐等)。

内容标签存储模块132可将信息存储在要求内容评估的申请者，且信息涉及内容应用和评估。申请者信息包括对内容评估的要求频率、每个内容的评估结果、评估内容被申请的等级有关的平均评估结果、所有申请者排名及选择用于每个内容的评估者等级。

此外，内容标签存储模块132存储申请者的基本信息，如申请者年龄(以10多岁、20多岁、30多岁等表示)、性别(男、女等)、地区或者地址、喜好内容类型(歌曲、演奏、魔术等)、及内容类型的喜好种类(民谣、嘻哈、摇滚、爵士等)。

与内容申请有关的信息可包括内容标题、内容说明(由申请者制定)、内容类型、格式、种类、播放时间、文件大小、文件扩展名、申请日期、创建位置(申请者终端及演播室终端等)、内容创建日期。与内容评估有关的信息可包括内容评估阶段、根据评估者等级的评估结果、根据评估者组的评估结果、评估内容的评估者数量、最好的评估结果、最坏的评估结果、内容播放频率、有利于内容的信息、内容评估帖子及评估结果的所有排名。

内容存储模块133存储由申请者终端200及演播室终端400等终端传输的内容。特别地，内容存储模块133可根据声音、图像及文件等内容形式，进行分类存储。此外，还可以根据内容的种类及类型，单独存储分类后的内容。

申请者终端200可包括连接到互联网的个人计算机(pc)和移动终端，并且可使得用户连接到内容评估服务器100的网站以作为成员加入，申请内容评估并输入内容标签。

如果申请者终端200是移动终端，则用户可从内容评估服务器100下载并安装应用程序，并作为成员加入，注册为内容申请者，并通过使用安装的应用程序来申请内容评估。

如果申请者终端200包括如能够捕捉图像的摄像机和能够录制声音的麦克风的设备，则可通过使用申请者终端200来创建内容。如智能手机和pc的移动终端(包括如照相机和麦克风的基本设备)以及演播室终端400(包括各种内容创建设备)可创建内容并将内容传输到内容评估服务器100。

评估者终端300可包括连接到互联网的pc及移动终端，并且可以使得用户连接到内容评估服务器100的网站以作为成员加入，并注册为内容评估者。

在评估者终端300是移动终端的情况下，用户可从内容评估服务器100下载并安装应用程序，并作为成员加入，注册为内容评估者，输入评估标签，并使用已安装的应用程序输入内容评估结果。

评估者终端300播放内容，将从评估者输入的评估结果传输至内容评估服务器100。

演播室终端400包括用于创建内容的专业装备，如摄像机、麦克风、记录设备、照明、隔音设备、声音再现系统以及用于处理用于背景图像的计算机图形(cg)的装备。申请者利用演播室终端400创建内容时，可保留演播室终端400。

演播室终端400根据申请者保留的创建内容，在演播室终端400执行对编辑的内容进行编辑处理后，将处理后的内容传输至内容评估爱服务器100并存储。创建内容的背景图像编辑可通过演播室终端400的设备进行处理，也可根据需要在内容评估服务器100进行处理。

此外，演播室终端400可以是单个或多个，在后者的情况下，它们可分布在许多地区。

图3是示出根据本发明的实施例的内容评估方法的流程图。如图3所示，内容评估服务器100通过终端如申请者终端200和演播室终端400，接收创建及传输的内容，并将接收到的内容的存储在内容存储模块133，且根据内容评估程序，在网站上对帖子的内容进行评估。

申请者对应于已加入作为成员的用户注册的用户。申请者终端200通过互联网连接到内容评估服务器100的网站允许内容评估。用于内容评估的应用是通过内容标签对应的内容信息和申请者信息和创建内容的评估内容服务器100的传输，且通过内容评估服务器100传输接收内容评估验收的完成信息。在这种情况下，由申请者终端200传输的内容标签，存储在内容评估服务器100的内容标签存储模块132。

即使没有创建内容，也可以执行申请者终端200的内容评估应用程序。将内容评估应用程序传输到内容评估服务器100之后，可创建内容并依次完成内容评估申请。

内容可以以各种文件格式创建，如声音、图像和文件。内容评估服务器100分类接收到的内容，将内容分类内容存储在内容评估db130中的内容存储模块133。将接收到的内容的文件格式、内容和内容评估申请者的详细信息等各种信息进行分类，并且将包含在内容标签中的分类信息，包括在内容标签存储模块132。

内容评估服务器100的评估运营单元110中，评估控制模块113传输命令，将存储的内容中要评估的内容发布至网站管理模块111，网站管理模块111根据用于发布内容的传输命令，将要评估的内容发布在网站。

当内容被发布在网站之后，评估者、加入会员的用户及一般网友等，可通过各自的终端，接入内容评估服务器100的网站并可播放内容。

内容评估服务器100的评估控制模块113比较内容的内容标签和评估者标签，评估发布在网站的内容，并根据评估选择信息来选择具有评估者等级信息的评估者(参照图3，步骤s120)。

当评估者选择信息的评估阶段信息指示出第一评估阶段，第一评估在由内容评估服务器100接收的内容中被执行，具有评估者等级的评估者可对经评估控制模块113选择的存储在评估者标签的多个评估者等级中的内容进行评估。

被选择的评估者通过利用评估者终端300来播放并评估发布在网站上的内容，评估结果被发送至内容评估服务器100。

之后，当根据评估程序，内容评估结束时，内容评估服务器100利用从评估者终端300传输的评估结果而产生的总评估结果来判断内容是否经相应的评估者等级被选择(参照图3，步骤s120)。

根据一个实施例，当评估结果等于或高于由内容评估服务器100设定的阈值或排序时，确定内容经相应的评估者等级被选择，当评估结果低于设定的阈值或排序时，确定内容不经在相应的评估者等级被选择。

在内容选择标准为阈值排序时，来自多个申请者的内容经具有相同评估者等级的评估者评估，内容的评估结果被比较，据此确定从最高排序到相应阈值排序的内容在相应的评估者等级的评估中被选择。在内容选择标准为阈值的情况下，来自至少一个申请者的内容经具有相同评估者等级的评估者评估，内容的评估结果被确定，当评估结果等于或高于阈值(例如，预定分数)时，据此确定内容在相应的评估者等级的评估中被选择。

如果在步骤s130，内容没有经相应的评估者等级被选择，则内容评估服务器100中断评估程序，并根据需要将评估者等级的评估结果显示在网站上。但是，在步骤s130，即使内容经相应的评估者等级被选择，也可将评估结果显示在网站上。

如果在步骤s130，内容经相应的评估者等级被选择时，内容评估服务器140判断是否存在比相应的评估者等级高一级的评估者等级(参照图3，步骤s140)。

当比相应的评估者等级存在高一级的评估者等级时，评估控制模块113可根据高一级的评估者更新选择的内容的评估阶段信息(步骤s150)，并根据内容评估移动至步骤s120，使要评估的内容经具有高一级的评估者等级的评估者被评估。

因此，当存在高一级的评估者等级时，内容的评估可经步骤s120和步骤s130被重复执行。当评估者等级为最高等级且不存在高一级的评估者等级时，根据需要，内容评估服务器100中断内容的评估程序，并将经最高评估者等级产生的评估结果显示在网站上。

图4是示出根据本发明的实施例的评估者等级的示例图。如图4所示，加入会员的用户中，以评估者注册的用户(1至20评估者)被赋予一个评估者等级。评估者等级至少被区分为两个以上的等级，如图4所示，被区分为a、b、c三个评估者等级时，作为会员最近加入的评估者被赋予最低评估者等级c。

用于确定评估者等级的评估者分数可考虑评估频率及评估质量被计算。累积的评估者分数等于或高于规定分数或排序时，评估者的评估者等级可被上调。

图4中的具有评估者等级c的评估者1、17、4、…、14是具有最低评估者等级的评估者。

此外，图4的评估者等级b的评估者20、16、8、…、3是从评估者等级c，评估者等级被上调的评估者，评估者等级a的评估者12、5及15是从评估者等级b，评估者等级被上调的评估者。

对此，根据内容的评估结果，评估者可被分配等级a至c。但优选地，适当地调整各评估者等级内的评估者数目，可使申请者的内容经评估程序得到评估。

例如，申请内容评估的申请者很多，但在各评估者等级被选择的内容的数被限定或者少，所以，如图4，越向上位等级，可少设置评估者等级内的评估者数。

按评估者等级的评估者数，可根据各评估者等级不同地设置比率进行调整，且设置按各评估者等级可赋予的评估者数，根据设置的评估者数，可将评估者等级赋予给评估者。

在图4的评估者等级，每个评估者等级利用包括在评估者标签的信息，可区分为组构成。例如，包括在评估者标签的信息中，根据地区条件评估者等级c的1、17及4评估者的地区，以“a”地区相同时，评估者等级c的评估者，可由评估者等级c-a地区组被设置。此外，评估者等级c的6、19及7评估者的地区为“b”地区时，相应评估者可由评估者等级c-b地区组被设置。此外，评估者等级c的18、9及10评估者的地区为“c”地区时，相应评估者可由评估者等级c-c地区组被设置。此外，评估者等级c的13和14评估者的地区为“d”地区时，相应评估者可由评估者等级c-d地区组被设置。

其后，当“a”地区和“b”地区的高一级地区为“ab”地区，并且具有评估者等级b的评估者20、16及8的地区以“ab”地区相同时，相应评估者可由评估者等级b-ab地区组被设置。

此外，当“c”地区和“d”地区的高一级地区为“cd”地区，并且具有评估者等级b的评估者11、2及3的地区以“cd”地区相同时，相应评估者可由评估者等级b-cd地区组被设置。

其后，当“ab”地区和“cd”地区的高一级地区为“abcd”地区，并且评估者等级a的12、5及15评估者的地区以“abcd”地区相同时，相应评估者可由评估者等级a-abcd地区组被设置。

评估者等级a属于各分割组的最上位，所以，可不被分割为另外的组。

图5是示出根据本发明的实施例的内容选择的示例图。如图5所示，当存在12名请求内容评估的申请者(申请者1～12)时，被存储的各申请者的内容标签中，第一评估阶段存储在评估者选择信息。借此，比较内容标签的评估者选择信息和评估者标签，选择可评估第一评估阶段内容的评估者等级c的评估者。借此，各申请者1、2、3、…、12可从最初评估者等级c的评估者，得到内容评估。通过评估者等级c从申请者2、6、8及11选择内容时，存在评估者等级c的高一级等级的评估者等级b，所以，在内容标签的评估者选择信息被修改为第二评估阶段。被修改的内容标签的评估者选择信息与评估者标签进行比较，经具有评估者等级b的评估者，评估内容。

之后，根据评估者等级b的评估者的评估结果，从申请者6及8选择内容时，判断评估者等级b的高一级评估者等级是否存在。作为判断结果，存在高一级评估者等级的评估者等级a，且在每个内容标签的评估者选择信息被修改为第三评估阶段。被修改的内容标签的评估者选择信息与评估者标签进行比较。并且经具有对应于评估者等级a的评估者，评估内容。

根据评估者等级a的评估者的评估结果，选择申请者6的内容时，内容评估服务器100结束评估程序，因为，不存在评估者等级a的高一级评估者等级。

如上述，本发明以优选地实施例进行示出与说明，但本发明不限定于所述的实施例，且在不脱离本发明思想的范围的情况下，本发明所属领域的技术人员可进行多种变更和修改。