协同推荐在控制信息质量上的应用

抓贴一下在Ideafactorychina里面的一些关于协同推荐的讨论。

王建硕:

最近在社区里面尝试了协同推荐的应用,通过”群众的智慧”来促进信息质量,初步成效不错,和大家分享。

要解决的问题:对于自由发布的信息(无论是分类,BBS,Wiki,还是现在”用户生成内容”),信息质量是一个关键问题,审核发布等办法工作量太大,对于非时效性信息(比如豆瓣),可以用鲜花、鸡蛋等定量的方式让最好的信息浮在上面;对于BBS这样的讨论相关的,可以用按最后回复时间倒序排列话题,让最”热”的(不见得是最好的)排在最上面;而对于分类等时效性非常高(1小时内的最重要),审核及时性要求非常高(希望在5分钟内判断),而且帖子的质量只有(发布/删除 )两种状态的网站,需要在以前的协同推荐基础上有些创新。

我们用了这样一个机制,大家看看有没有需要改进的。

1. 选取社区里面的一部分可信赖的成员成为大众评审。
2. 大众评审对于12个小时以内发布的信息独立的判断是垃圾信息,删除,还是优秀信息,保留
3. 当多于n名大众评审的结论一致(都是好,或者都是坏),按照大众评审的结果处理;出现不一致,版主介入选择。
4. 一致的评审每人可以获得积分。

低于以上设计的几个解释:

1. 不选取所有用户的原因。第一,这个系统的弱点在于,如果任何帐户都可以,同一个多帐户占更多投票权,不合理;第二, Wikipedia和Digg经验表明,贡献内容的永远是少数,少数核心成员贡献的内容,供成百万人使用。我们希望通过奖励核心的人员,得到信息质量很高的效果。
2. 只有12小时内可以评审的原因。越少的可供评审,评审越集中,越有效果。时间过长,超过一个评审选择的几率大大降低 。
3. 独立判断的原因。因为不知道和你同时判断的是那一个人,他的想法,每个人判断的时候为了得到积分,要尝试用最大多数人的想法作为依据,效果更好。
4. 获得积分的原因。对于评审的对于社区的贡献,我们不觉得事项当然的,理所应当的,虽然很多评审是为了社区的质量牺牲自己的时间,我们觉得应该有所奖励,同时,积分区分出和心中的核心,积分越高的评审,将拥有更多的权限。

大家看看这个模型是不是可行?对了,还有一个原则是简单实用。毕竟这不是实验室项目,是每天都有百万访问量的真是场景,实用是主要的考虑。

(不做广告,隐去网址,仅供大家抽象的讨论这个想法)

Binghui Yin

这个机制很棒。
其中的第三点尤其好。
补充几点,根据我所了解的Google Ads Rater工作,需要一个好的高级管理员(版主)处理发生审核不一致的情况,还有要有一个匿名的共同小平台,当出现不一致的时候,可以让各个审核员互相沟通,最好能够通过沟通来自行达到一致。
关键的一点是,审核员之间必须匿名。

Yang CJ:

Jianshuo的这个管理模型,类似于”大法官 + 陪审团”模式。

1、大法官有最后的决定权
2、陪审团是民间的、多数人意见代表组成的少数人
3、模式既考虑到了大众声音的平衡,又考虑到了时效性

模式不错的。几个问题:
1、选择”陪审团”,是从活跃成员、意见领袖,还是赞助人圈子中选择?
2、陪审团成员资格是固定不变的,还是每隔一段时间会更替一批人?
3、如果选择固定不变,可能会造成”老龄化”。老龄化的好处,是大家处理问题的方式已经固定、熟练,效率可能会更高;坏处是思维定势,导致社区的主题越来越趋同,也可能会导致资历化,讨论问题不是看论证的内容,而是看谁的资历更老
4、选择陪审团成员固定,还可能带来的一个问题是”利益代言”,有宣判权的就那么几个人,有什么事先找他们,一定会推到头条……

王建硕:

回答Yang CJ的问题

1、选择”陪审团”,是从活跃成员、意见领袖,还是赞助人圈子中选择?

原则是,社区信任的人。比如初步第一批的加入条件是,铜币在2000个以上的人。在我们社区里面,发帖都是扣铜币的,铜币数目比初始的2000分高的,已经说明绝对高质量的。这个铜币的金融系统,是另外的话题,不展开讲了。还有就是有精华贴的用户,还有其他申请并且给版主”印象”是好人的用户。好在最初的选择不是绝对的,如果有坏人进来,多次选择和其他人不一致会立刻取消资格。

2、陪审团成员资格是固定不变的,还是每隔一段时间会更替一批人?

成功的和活跃的陪审团成员积分会越来越高,有评审资格但是不评审的,积分不变或减少,我们会保持一个比例,使好的陪审团成员留下,不活跃或者不好的淘汰。经过一段时间,积累出来一批真正代表社区的陪审团成员,对于社区也是一笔财富。

3、如果选择固定不变,可能会造成”老龄化”。

三的老龄化可能性会出现,好在这不是一个话题讨论性质的BBS,而是有着明确的”好/坏”的规则。规则相对稳定。不过你说的老龄化问题的确要引起注意,这个等出现的时候再想办法。

4.选择陪审团成员固定,还可能带来的一个问题是”利益代言”

这个还不是特别担心,因为陪审团的人太多了(上千个),多到被自己的代言人评审到的机会,可能跟中彩票差不多了。

回答 Zhou Hao的问题:

Q: “审核及时性要求非常高(希望在5分钟内判断)”怎么保证?

不能保证。只能说,这是一个观察到的值,理论上,如果评审足够够多,足够积极,这是有可能的。我们现在才4天,已经比较接近了,因为大家有很多人都在盯着同一个论坛。但是,这是没有保证的。

因为有12个小时的限制,未被评审的帖子相对于评审来说比较少,是稀缺资源(我们可以调节12小时到2个小时,是它更加稀缺)。有一个经济学的原理,哪里有更容易获取的资源,哪里就有人去追逐。比如深夜,对于想获得积分的评审,是一个好时机,如果在深夜评审,获得积分的可能性更大。那么就会平衡更多的人在深夜评审。。。。总的说来,大概就是这么个意思。

回答JimmyHuang :

Q:还有一个问题,如果12个小时以后没有评价的内容怎么办?放在那里随他去么?:D

对于评审的数量,我们没有公式,靠感觉。我们可以看这个数字:一个新的帖子平均多长时间被评审。通过这个数字,我们大概的知道评审太多了,还是太少了。这不是一个数学问题,而是社会问题,或者一个感觉问题。

12个小时没有人反对,就是好的信息喽。

Binghui,我们最终的设计还是简单,再简单。我有种感觉,工程问题越复杂的解决方案越精确,社会问题越简单的解决方案越实用,不知对否。

Young:

(1) 如何保留这些评审员的积极性? 当然积分是一种措施

积分。但同时是成就感。

(2) 权利如何保证不被滥用?

发现一个,取消资格和积分一个。在这个涉及诚信的事情上,不用和我讲道理,简单粗暴,最容易震慑坏人。

(3) 如何降低评审员的随意性,就是如何合理安排这些人的时间?

社区成员的时间不需要安排,本来现在的”用户”主导的社区都不是结构化的,就像Isaac说的,当海水涌上沙滩,自然呈现出美丽的图案。每个水珠怎么摆,不是我们需要设计的,又不是北京的亚运会开幕式,我们只要设计沙滩就好了。我的意思就是说,设计好系统,就不用设计每个玩家了。

Zola, 对于你的观点,我想加些补充:

1. 制度应当能保证每一个故意SPAM或作弊的人都不可能成为大众评审,

我来补充,不是说不能成为,而是不能长期成为。事先有罪假设,通过不断升级的严格审查方式,这是美国边境检查干的,劳民伤财。现假设人是好的,加入送一些,发现问题,立刻纠正。

2. 制度应当能保证每一个独立判断、认真付出的人都能成为大众评审,

不需要。社区毕竟是1000人的辛勤工作(评审)带来一百万人的幸福生活(干净整洁的信息)。不需要每个人都来当警察。不是警察不代表这不是好人。

3. 制度应当能保证每一个认真付出的大众评审都能成为版主,

不需要。原因同上。

4. 制度应当能保证每一个认真付出的版主都能有回报(积分),

鼓励”认真付出的代表”,也就是最好的有限数量的人,”每一个”难度太大,每个人都好了,等于不好。

5. 制度应当能保证每一个滥用权力的人都能得到惩办。

同上,我喜欢”绝大多数”这个词,因为绝大多数的滥用被惩戒的成本远远低于”每一个”,没有任何一个社会问题可以解决到”每一个”的层面。

好了,回答问题结束。因为是学术讨论,观点比较直接,为了简洁,语言也比较没有顾及,希望大家扔砖头过来,帮助我们更好的完善系统,我也会把更新的心得分享给大家。

Yang CJ:

非常赞同Jianshuo的两个观点,1)我们设计的是沙滩,不设计每粒水珠的摆放;2)但是原则、底线不可违,如有触底,马上公开惩罚。

我挺喜欢ideafactorychina的气氛。大家还是认真的读,认真的思考,并且认真的回复的。这一点在现在的互联网里面很难得。

《协同推荐在控制信息质量上的应用》上的8个想法

  1. 抱歉,这里没有邀请。请直接在我给出的链接里面申请。我没有办法邀请任何人。不过在邀请的时候提及这篇文章*或许*有用。

发表评论

邮箱地址不会被公开。 必填项已用*标注