科学家发现不可靠的社会科学研究比可靠的研究更受关注
科学家发现不可靠的社会科学研究比可靠的研究更受关注
据外媒报道，2011 年，一篇引人注目的心理学论文在社交媒体、新闻和学术界引起了轰动。该研究称，人们将互联网作为一种 "外部 "记忆形式，依靠互联网获取信息，而不是自己回忆事实。2018 年，当一个心理学家团队对该论文和其他 20 项备受瞩目的社会科学研究进行测试时，该论文的一项关键发现未能得到复制。
但是原始论文已经被引用了 1417 次--其中 400 多次引用是在 2018 年的复制项目之后。平均而言，这远远多于该项目中确实复制了的论文。现在，一项新的研究支持了不可靠的研究的流行。未能复制的社会科学论文平均比成功复制的论文多出 153 次引用。
马里兰大学学院帕克分校的认知科学家 Michael Dougherty 说，这一最新结果“相当具有破坏性”，他并没有参与这项研究。他表示：“长期以来，引用次数被视为研究质量的代表，”因此，不太可靠的研究被更多地引用，这一发现表明在如何评估这些工作方面存在一个“根本问题”。
加州大学圣迭戈分校的经济学家 Marta Serra-Garcia 和 Uri Gneezy 对吸引人的研究想法是否会比平凡的想法得到更多关注感兴趣，即使它们不太可能是真的。因此，他们收集了三个不同项目的 80 篇论文的数据，这些项目试图复制重要的社会科学发现，取得了不同程度的成功。
他们周一在《科学进展》杂志上报告说，那些未能复制的论文在 Google 学术上的引用次数明显增加，平均每年增加 16 次引用。Serra-Garcia 和 Gneezy 说，这是一个很大的数字--在同一时期，高影响力期刊上的论文平均每年积累了约 40 次引用。
当研究人员检查了这些具有里程碑意义的复制项目之后发表的论文的引用情况时，他们发现这些论文很少承认复制失败，只有 12% 的时间提到它。
Serra-Garcia 指出，复制失败并不一定意味着最初的发现是错误的。方法的改变和参与者不断变化的习惯--比如互联网使用模式的改变--可能会解释为什么一个以前的结果可能不成立。但她补充说，她的发现指向了研究中的一个基本矛盾。科学家们希望他们的工作是准确的，但他们也希望发表吸引人的结果。她说，当结果特别令人惊讶或激动时，同行评审员可能会降低他们对证据的要求，这可能意味着引人注目的结果和较弱的证据往往是并行不悖的。
梅西大学计算生物学家 Thomas Pfeiffer 同意 "非凡的主张需要非凡的证据 "这一准则，他研究复制问题，但没有参与这项工作。他说，这表明有必要采取额外的保障措施，以提高已发表作品的可信度，比如对什么是好的证据设置更高的门槛，以及做出更多的努力来关注强有力的研究问题和方法，而不是浮夸的发现。
弗吉尼亚大学的心理学家 Brian Nosek 说："这一发现对于像我这样的（研究）文化变革倡导者来说是一种猫腻。"他曾带头进行了一些复制工作，并且是 Serra-Garcia 和 Gneezy 所借鉴的三个复制项目中的两个的共同作者。他说，但在过于认真地对待它之前，值得看看这一发现本身是否可以用不同的论文样本进行复制。
这个结果与以前的研究一致，这些研究表明流行的研究不太可靠。例如，2011 年《感染与免疫》杂志的一项研究发现，高影响力的期刊比低影响力的期刊有更高的撤稿率。他说，Dougherty 的研究--目前是一个未经审查的预印本--发现更多高引用率的论文是基于较弱的数据。但是，2020 年《美国国家科学院院刊》上的一篇论文对一个不同的论文样本进行了研究，发现引用和复制之间没有关系。Pfeiffer 说，这表明论文的样本可能真的很重要--例如，这种影响在高影响力的期刊中可能特别强烈。
Nosek 补充说，如果引人注目的结果的人气竞赛结束了，更强大但不那么吸引人的论文仍可能长期积累更多的引用。“我们都看过足够多的青少年电影，知道受欢迎的孩子最后会输给聪明的怪胎。也许科学发现的运作方式也是如此。可信的研究结果不会得到太多的关注，但它们会坚持下去并最终获胜。”
来自: cnBeta