真理越辩越明，评价和评分体系也是如此。
作者|魏玉卓编辑|杨沛文设计|王浩男
来源|运营研究院(ID: U_quan)
前段时间，豆瓣因为电视剧“提前审查”现象再次受到公众关注。
豆瓣也很快做出了反应，在官方微博公布了一部疑似被指责评级的电视剧的处置结果:共清理五星评级12366个，一星评级6610个。
豆瓣评分的科学性和公正性一直备受关注。
2015年，阿北曾经写过一篇长文《豆瓣电影评分八问》来阐述豆瓣评分的原理，文中还特别提到“豆瓣水军是存在的，但是很难刷，因为正常评分的观众太多了。”
其实评价打分体系是一个逻辑严密的操作体系。首先要做的就是把“不可量化”的体验通过量化呈现出来，把用户的评价数字化、可视化，交给其他用户决策。
在这个过程中，还涉及到很多影响，比如开头提到的“水军控评”的杂音，反作弊机制的对抗和治理，构成了初步的评价和评分操作框架。
就这样，运营机构盘点了几个国内外知名的测评评分系统，看看这些系统是如何运作的，对用户的价值是什么，如何保证公平性和科学性。
互联网评分系统是如何工作的？
为了深入了解各平台的评分体系，运营机构选择了国内外不同领域的产品所搭载的评分机制进行分析。
分别是:影视评价领域的豆瓣和烂番茄，游戏领域的STEAM，电商平台亚马逊，生活服务领域的大众点评。
1)豆瓣
豆瓣电影评分系统的主要目的和原则是“尽量还原大众对一部电影的平均看法”。
为了实现这个目标，豆瓣的评分系统主要有以下三个特点:
首先，豆瓣的评分机制是五星制。
五星制是目前市面上大部分评分系统使用的机制，保证用户不会因为选项太多而无法上手，也不会因为选项太少而无法准确表达。
其次，豆瓣的评分方式是“平均”。
豆瓣创始人兼CEO @阿北曾详细解释过这一点:如果一部电影有42万用户评分，豆瓣的评分程序会自动将这42万个“一到五星”变成“零到十”，除以42万，得到豆瓣评分。
值得注意的是，这个评分过程中没有人工审核和编辑干预。每隔几分钟，该程序将自动再次运行，以纳入最新评分者的意见。
这样，在豆瓣，每个人都会影响整体评分。因此，豆瓣也被称为“大众评审团”。
但是，由于用户可以修改他们给出的评级，因此评级上升或下降等异常行为也时有发生。
最后，豆瓣还有抵御水军的“防御机制”。
这种“防御机制”的具体行动主要体现在两个方面:
一方面，豆瓣会自动识别并剔除“异常评分”。所谓“非正常评分”，包括营销评分、明星粉丝评分和豆瓣死忠用户为“捍卫评分公平”而做的评分。
这些刷分行为一旦被豆瓣认定，其分数将被排除在统计之外，其账号将被系统冻结。
另一方面，豆瓣采取“算法加人工”的方式，剔除与影片无关甚至涉及人身攻击的内容。
反刷早已成为豆瓣电影日常工作的一部分，很多同事也一直在用更多的节目默默做着。
通过以上三点，豆瓣电影在算法优化上坚持评分中立的原则，保证了整个系统的独立健康运行，让豆瓣依然是中国互联网图书、视频、视频领域具有公信力和参考价值的平台，以客观性影响用户的观影选择。
腐烂的西红柿
烂番茄是美国的影视分级网站，在美国的影响力相当于国内的豆瓣。
但其“评价机制”与国内豆瓣有很大不同。
【/s2/】首先，烂番茄衡量作品的好坏，不是像豆瓣那样打分，而是“番茄的新鲜指数”。
用户只有两个评价选项，要么鲜红的西红柿(新鲜)，要么烂绿的西红柿(腐烂)。
平台会根据用户的好评率来决定“西红柿的新鲜指数”，即作品是否优秀。
“烂”是指该片好评率低于60%；
“新鲜”是指本片有60-100%的好评；
“认证新鲜”是指影片有80以上的评分，其中70%是好评，5条及以上的评论来自顶级影评人。
其次，烂番茄对影评人有严格的身份限制。
为了保证影评的专业性，烂番茄的发行只由3000名左右的专业影评人(官方认证的影评人或机构)控制。
普通用户只能通过评分来影响一部电影的“爆米花值”观众评分(下图爆米花旁边的评分)。
虽然这一制度试图照顾影评人数量与专业影评质量之间的协调，但过于极端的评价机制也引发了不少争议。
很多专业影评人表示，单调的“新鲜”和“陈腐”只能代表第一印象，很难体现他们对电影更细腻的评价。
所以烂番茄推出了0-10分的评分体系(平均分)。
这样用户就可以查阅“番茄新鲜指数”，参考平均分得到更详细的品质分析。
很多用户表示，“新鲜度指数”决定了他们是否会看电影，但“最终评分”决定了他们会先看哪部电影。
比如《极限盗车神》和《敦刻尔克》的烂番茄新鲜指数差不多，但是《极限盗车神》的评分只有8分，落后于《敦刻尔克》的8.7分。
对于用户来说，利弊一目了然。
蒸汽
STEAM是一家游戏平台公司。其评分系统采用“两级制”，即用户仅以“推荐”和“不推荐”两个选项进行评分。
这个评分系统虽然简单，但结论并不绝对中肯，缺乏中性评价。
一个游戏不可能完美。所以在这种评价机制下，运营机构发现在“推荐评论”中，会有很多“认为游戏有很多不足，但值得一试”的评论。
在“不推荐评论”中，也会有很多关于“游戏是个好游戏，但不要玩”的主观评论。
同时，STEAM会根据游戏下用户的推荐比例得到一个“综合评价”，分为六类:
赞，特别赞，多是赞，褒贬不一，多是差评和差评。
比如推荐率在90%以上，评论数达到一定数量，就可以视为“好评如潮”，等等。
但实际上，在好评如潮的标签下，很多游戏的质量并不统一，某种程度上质量参差不齐。这些素质在其他平台上参差不齐，评分差异可能很明显，但在STEAM上，是一视同仁的。
所以STEAM评分普遍不公平，很难作为一款游戏好坏的客观评价，只能代表玩家对一款游戏的偏好。
STEAM不修改这个机制，主要是因为它是一个卖游戏的平台，而不是评价媒体。
STEAM只需要告诉玩家游戏的最终评价，玩家就可以从推荐和不推荐的评价中了解游戏的优劣，从而决定自己的消费。
用户不需要感知游戏质量的细微差异，都是“好评如潮”或“特别评论”，却能降低用户的决策门槛，从而促进其消费。
亚马逊网站
亚马逊等电商平台，其设计评分系统的目的与STEAM等游戏公司有些类似，在购物平台上显示分数，帮助用户进行购物决策，从而促进消费。
所以，一个评分系统能否准确反映顾客对商品的真实体验就显得尤为重要。
在亚马逊的评价管理体系中，有反馈和评论两种评分，两种评分相互独立，但又相互影响。
反馈是指客户对已购买订单的评价，即评价主体对客户必须购买的产品，主要针对产品质量、服务水平、交付时效、产品描述等维度。，影响卖家账户等级和店铺ODR指数的变化，可以类比为淘宝店铺评分系统。
点评，主要是对商品的评价和打分，可以翻译为“留下评论”，亚马逊平台的用户可以对商品进行评论。
本文主要讨论Review，即亚马逊商品页面的评价和评分系统，主要围绕这三个方面展开。
首先按照“加权平均”的统计方法计算星级。
在用户评分环节，亚马逊也采用了5分的评分方式，所以很多用户认为产品最终的星级只是简单的计算了平均分。
事实上，根据亚马逊的官方信息，亚马逊会对不同用户的星级进行加权。
哪些用户的评分权重较高，哪些用户的评分权重较低？亚马逊设计了三个维度来判断:
首先，购买过该产品的用户会比没有购买过该产品的用户权重更高。
其次，评论时间较长的用户，其权重会高于近期评论；
最后，丰富详细的评论会比简短的评论有更高的权重。
亚马逊通过以上三个维度，对不同用户的评分赋予不同的权重，最终得到加权平均值。
其次，创建各种评论 (评论) 表单。
亚马逊希望通过创建多条评论来建立一个高质量的评论区，帮助用户做出消费决策。在亚马逊的商品详情页面，用户会看到三种不同形式的商品评论:
一、不带文字的星级评分，即常见的评分分布直方图，方便用户了解商品的评分情况。
第二种是有星级和文字(还有图片)的买家商品评论，也就是“买家秀”。
第三，是最特殊的藤蔓评论，类似于“新0元试用评论”。只有参与过亚马逊“藤蔓计划”的用户，评论后面才会有“藤蔓”的标志。而且每个物品最多只能有30条藤蔓评论。
再次，为了防止卖家作弊和欺诈，亚马逊在设计了上述评分机制后，有一套严格的“反作弊系统”。
比如评论是有门槛的。如果用户想要评论，他们必须在过去12个月内用有效的信用卡或借记卡在亚马逊上消费至少50美元。
亚马逊官方多次表示，将对评论违规行为实行“零容忍”政策。如果发现卖家有任何操纵买家评论的企图，亚马逊将立即采取措施:
立即永久撤销卖家在亚马逊上的销售权，包括扣发资金；
删除该产品的所有评论，并阻止该产品将来接收评论或评级；
从亚马逊永久下架商品；
对卖方采取法律行动，包括诉讼和移交给民事和刑事执法机构；
公开披露卖家名称等相关信息。
可以看出，亚马逊在评论质量内容的评价上做了很大的努力，这也恰如其分的符合了亚马逊的初衷。com，为消费者打造优质评论区，引导消费者做出正确的消费选择。
5)大众点评
大众点评是全球最早的独立第三方消费者评价网站。如今也是中国消费者在本地生活领域的重要评价参考体系。
作为一个本地生活资讯和交易平台，大众点评星级系统已经开始试点“10个精选评价”，计算具体类目的星级。
10个特色评价:平台只有在特定品类上架并达到10个特色评价后，才开始计算星级。
运营机构通过查询发现，大众点评对所选评价也进行了严格的审核准入:
A.审核结束后，平台会对每条评价进行审核，在评价发布的次日24点前可以完成审核，广告、灌水、重复、违规、虚假等内容不能通过审核；而且还会不定期对选定的评级进行审核，不符合要求的将被取消。
B.评价字数不少于15字，能有效传达消费体验。
与其他平台的五星制不同，在大众点评中，用户需要对商家进行整体星级评定，也可以从细分维度进行评分。以餐饮领域为例，大众点评设计了“味道”、“环境”、“服务”三个维度，更好地还原线下餐饮服务的全貌。
在评分规则上，大众点评商家的星级不是简单的算术平均，而是近期众多用户的综合“总体评价”，完全根据数据模型自动评价，无需人工干预。
特别是星级的反馈不是绝对的评分，而是商家在同类项目中的相对水平。
在反作弊机制上，大众点评也建立了相应的应对机制，采用了“算法+人工”的双重审核机制。
大众点评会根据不同的评价场景，结合人工审核和监督，定期迭代优化算法，确保平台上展示的评价能够反映用户真实体验后的感受。
比如借助风控系统，识别筛选评价内容。只有通过过滤机制的评价才会显示在特色评价页面上。
这一切都是为了帮助用户筛选比较商家，从多维度匹配到符合消费者要求的商家。
五种体制机制的比较分析
通过拆解五个平台的评分系统，运营人员发现每个平台的机制、算法、门槛都有很大的不同:
接下来，运营机构将从“真实性”和“有用性”两个维度进一步分析各平台的评分机制，确定其优劣。
1)真实性
真实性是指评分是否能“客观反映”对一个产品或服务的真实评价。
相应的，“伪真实评价”是作弊、样本少、情绪评分导致的。
基于这一前提，评分系统的真实性主要受以下三个维度的影响:
第一点，算法:
算法越简单，分数越容易受外界因素影响(刷分和情绪分)，真实性越差。
比如没有反作弊机制的帮助，豆瓣的平均算法很难应对外界因素的影响。
如果有大量的刷分操作，评分会受到很大影响，甚至是C型评分(如下图，评分分布两极分化)，评分区域受到“粉”和“黑”的强烈冲击:
(途远网；在现在的反作弊机制下，这种评分很少出现)
相比之下，同样依赖大众评价、算法维度多样的亚马逊和大众点评，有多重机制及时预防和纠正评分。
以大众点评为例，其星级计算逻辑不是简单的计算打分，还要兼顾评价的可信度(体验后的真实评价会纳入计算)、时间(最近提交的评价更重要)、质量(评价包含更多真实有用的信息供参考)、数量(其他因素相同，评价数相对较多的商家获得高星的几率更大)。
2021年2月，大众点评宣布优化商家星级计算规则。
为了让商家的星级更真实客观的反映用户的满意度，只有在选择的评价达到10后才会计算星级。同时，星级计算会更加关注用户发布评价的真实性，对其他用户有所帮助。
比如大众点评的星级不是简单的用户评价分数，而是同类项目中反馈商家的相对水平。
再比如，目前大众点评的星级会根据商家四天前新增的评价每天更新计算。这个时间段是留给平台审核评价的。
同样，亚马逊在评论质量、内容、评论权重的评价上也下了很大功夫。所以总的来说，相比豆瓣和烂番茄的瘦算法，大众点评和亚马逊的算法更能保证评价体系呈现更真实的情况。
二、评分门槛:
在评分阈值上，阈值越低，评分越真实。
一般来说，门槛的提高会过滤掉普通用户的发声机会。
这可以和一些综艺节目相提并论。当只有所谓的“专家评委”时，最终的评选结果很难让普通用户信服。
就像烂番茄一样，普通用户只能通过爆米花来表达自己的观点，但影响排名的重要因素——烂番茄新鲜度指数却掌握在专业人士手中，专业人士的口味从某种意义上来说是“偏颇”的。
所以相比其他平台，烂番茄有更专业的评分机制，但是真实性有些降低。
三、反作弊机制和力度:
首先要明确的是任何机制的发展都不可能完全杜绝作弊因素，这是一个共存和长期对抗的过程。
评分系统的反作弊机制越强，对供需双方违规行为的处理就越强，评分系统的真实性就越高。
目前平台主要通过两个维度实现“反作弊”:一方面从机制和算法上实现反作弊；另一方面，通过加大对违规用户和商家的处置，净化平台氛围。
在机制和算法层面，烂番茄、STEAM、亚马逊都是用“设置阈值”实现反作弊，豆瓣用“剔除异常评分”实现反作弊，大众点评通过风控系统加人工审核[/S2]
在处理违规的层面，豆瓣和烂番茄更难处罚“电影”，而亚马逊和大众点评可以直接处罚作为好评受益者的商家，不仅是平台内部的处罚，还有来自联合监管部门的打击。
运营机构表示，亚马逊对非法商家的打击力度非常大。今年9月，亚马逊表示，在过去的5个月里，亚马逊关闭了约600个中国品牌的销售权限，其中包括这些品牌的约3000个卖家账户。据了解，卖家被屏蔽的主要原因是刷单，这违反了亚马逊政策。
目前国内各个部门到互联网公司对刷榜的态度也非常坚决。上周，中央网信办发文称，将在全国范围内开展为期两个月的“清理打击流量诈骗、黑公关、网络水军”专项行动。
此前，大众点评一直在加强对刷单信的治理:对违反刷单信评价的商家进行“藏星”、“降级”、“商家页面公示”等处理。违规的用户还将涉及“降级”、“取消VIP”、“禁止评价、笔记、图片、视频等多项处理措施。”
公开数据显示，2021年1-5月，大众点评共处罚“刷赞”用户账号5万个，处罚“刷单”、“刷评论”商家1万余家，配合执法部门打击网络非法灰黑产团伙29个。
对此，在真实性维度下，五个平台的评级体系评价如下:
有用性
本文开头提到评分系统的价值在于把“隐藏”的东西“显形”，即将用户评价数字化、可视化，交给其他用户参考。
因此，评分系统对用户是否有用，能否帮助用户解决问题，是判断系统优秀与否的重要因素。
运营机构还将有用性的评价标准分为三点:
第一点，时效性:
当产品或服务本身会发生变化时，打分的时效性越强，对用户的帮助就越大。
比如用户想找一家餐厅，但是搜索出来的是商家2-3年前的评分和评论，可能并不能反映商家目前的水平，这就给用户带来了麻烦。
相比之下，电影、游戏、商品相对稳定。这些产品只需要在上线初期快速更新评分，给用户足够的信息。
在本地生活这样的场景下，商业服务和产品的稳定性相对难以保证，因此大众点评的及时更新和评价就显得尤为重要。
大众点评的评分会根据商家四天前新增的评价每天更新计算，更好的保证了评价的时效性。
第二点，列表:
榜单也是评分系统中最重要的产品之一，可以快速帮助用户找到自己需要的产品或服务。
比如豆瓣的250强榜单，可以帮助“电影荒”的用户解决找不到电影看的问题。
在列表层面，可以说维度越细，越能满足用户的“发现”需求。
大众点评的“榜单”在这一点上很有用户思维，不仅仅是吃和玩多个榜单，还有菜系、地域、不同类型榜单的划分。
比如每天想出去吃点特别的，可以看“必吃清单”；对于质量要求，可以看看《黑珍珠》榜单；单纯追求口味的，可以看看“口味单”之类的，充分满足用户需求。
第三点，特殊机制:
为了进一步增强评价的有用性，一些平台还会引入一些特殊的机制。
比如亚马逊的“是否有帮助机制”，让用户对评论“是否有帮助”进行投票。
如下图所示，看完这条评论，客户可以投票决定是否有帮助。最后，评论会显示“觉得有帮助”的人数，从而增加评论的可信度。
同样，STEAM也有相关的功能来判断评论对其他用户是否有价值:
大众点评的“特殊机制”有很多方面。
比如大众点评除了整体评分，还有“口味”、“环境”、“服务”三个维度的评分，用户可以根据自己的喜好做出最佳选择。
比如在选定的评价下，平台会根据用户评价提炼不同的标签词。这样用户可以选择自己最关心的标签进一步查看评论，快速了解关键信息。
总结一下，从有用性来说，各大平台的评分系统如下:
结论
了解了这些评分系统之后，不难发现要做出一个真实有用的评分系统是相当困难的。
评分系统是一个复杂的工程，需要大量的技术、风控和人力投入，但最核心也是最难得的是保持中立和独立，这样才能保证评分结果的真实有用，才能让最终用户从中受益，只种适合的东西，只种喜欢的电影。
这些冰山下的努力不会被人看到，但却起着非常重要的作用。
当一个评分系统存在的时候，每一个评分者都成为了评价评分系统的构建者，因为每一个评分其实都在默默的改善着评分环境，让世界的尺度看得更清楚。
真理越辩越明，评价和评分体系也是如此。
注:文章为作者独立观点，不代表Meihua.com立场。
本文由运筹学社授权，Meihua.com编辑发布。版权归原作者所有。未经授权，请勿转载。谢谢大家！
美华。com文章发布协议如果您对作品、文章、图片、字体等的版权有任何疑问。，请回报。
