这篇文章由开放科学中心的大卫·梅勒撰稿。
在过去的十年中，研究人员将可再生研究的问题带到了所谓再现性危机.”临床前的结果，生物医学和心理的在试图复制其他研究者无法复制的重大发现的可信尝试之后，科学受到了质疑理论的和经验证据（在心理学,癌症生物学,临床前生命科学工作,经济学)这项已发表的研究很难复制。
为什么复制以前的研究成果如此困难？
研究难以复制有四个原因。
方法不明确
除非有人试图复制另一个人的工作结果，否则可能无法准确确定这些方法是如何实现的。在整个过程中，我们经常遇到这个问题再现性项目：癌症生物学，其中报告的方法可能不包括对结果如何分析进行了多少测试。对研究的随意阅读不足以发现这些遗漏，因此不太可能在同行评审过程中被发现，同行评审过程通常更关注结果而不是方法。
未报告的灵活性和可疑的研究实践
为了只展示最新颖或最重要的发现，再加上强烈的认知偏见，如动机推理和事后诸葛亮的偏见，我们可能会欺骗自己和读者，让他们相信结果比实际结果更可信。扔掉不符合预期的盘子，使用有代表性的图像以几种不同的方式测量主要结果，以及其他有问题的研究实践（QRP），可以很快让我们找到不可靠的具有统计意义的结果。
采样噪声
当然，在采样和推理过程中存在着简单的噪音。即使是完全透明和严格的研究也会不时发出错误的信号。原始研究中的误报和复制中的误报是不可避免的，但可以通过高效的研究设计将其最小化。
意外发现
最后，有充分的理由在进行复制研究后获得不同的结果。原始设置和新设置之间的一个重要差异（以前未解释）可能会导致不同的结果。不同的环境、不同的群体、新的遗传变异或不同的处理方式都很重要。
如果我们排除上述问题：方法不明确、QRP和小样本，那么当复制结果与原始研究结果不一致时，我们可以更确定一些重要的、以前未知的变量实际上对研究结果的稳健性产生了很大的影响。
我们如何使研究更具可复制性？
用开放的数据、材料和代码打击不明确的方法
只有当你试图复制其他研究人员（或几年前你自己的研究人员）的工作时，你才会真正理解大多数已发表论文中提供的细节是多么少。精确的时间、顺序或材料和处理的每一种组合都常常被掩盖。这就是为什么能够在幕后查看原始数据、分析代码和其他材料非常重要的原因。报告指南的使用也有助于提醒我们包括所有基本细节。这些项目很少存在，或作为发布过程的一部分保留，如果不存档，则会丢失。
通过预注册消除偏差
预注册是在进行实验之前在公共存储库中创建带有时间戳的研究计划的过程（注：在研究进行期间，可以禁止注册，但所有注册都要求研究计划最终公开）。它通常在数据收集开始之前完成，并且应该包括一个关于如何收集数据的具体计划，假设是什么，以及如何使用特定的统计测试测试每个假设。
预先登记明确了两者之间的区别假设检验用新实验检验先验假设的工作；和假设生成，对数据进行调查，以寻找群体之间的意外趋势或差异。假设生成对于进步至关重要，但我们经常被鼓励使用生成p值的假设检验统计工具来展示这项工作。
例如，如果您假设治疗组的生长率高于对照组，并且您认为有四个重要的时间来衡量生长率，那么您报告所有四个测试的结果，而不仅仅是返回特定结果的测试子集。在研究过程中发生的任何其他事情，比如说第五次发生率高得不可预测，都应该作为新发现报告，值得用新数据和新的预先注册的实验进行确认。
使用注册报告减少采样噪音，这是检验假设的黄金标准
最后,，注册报告结合开放科学的所有最佳实践。通过注册报告，同行评审在结果已知之前进行。作者提交研究计划（类似于预注册，但通常有一个完整的介绍部分）在进行研究之前，编辑和审稿人会向222份参与研究的期刊中的一份提出修改建议，如果每个人都认为研究问题足够重要，可以回答，并且回答这些问题的方法是合适的，那么这篇文章将被“原则上接受”不管研究结果如何，都要公布最终结果。这样，作者就不会陷入一种令人不安的境地，即拥有众所周知难以公布的稳健、无效的发现。
通过注册报告，作者能够在假设检验和生成之间做出明确区分，能够确保无论结果如何，结果都会被报告，并且能够在研究生命周期的某个时刻收到关于他们研究计划的反馈，此时建议可以被纳入拟议的实验中。此外，杂志和评论员受到激励，确保任何可能的空值都是真空值，而不是假阴性。因此，他们将特别强调阳性对照和良好的样本量，这些问题在出现重大结果时很容易被忽视，这些结果可能是噪声、p-hacking或不明确方法的结果。
非常感谢我们的客座博主David Mellor！
David Mellor领导开放科学中心的政策和激励计划，以奖励提高透明度和减少科学研究中的偏见。这些政策包括针对美国出版商和资助者的政策透明度和公开性促进准则;预注册提高研究设计和分析的清晰度；使用注册报告; 以及认识到增加了透明度徽章.
在来到开放科学中心之前，梅勒博士与公民科学家一起设计并实施了这项技术真实的科学研究作为罗格斯大学生命科学系的顾问主任。他的论文和研究背景是公民科学和慈鲷鱼类行为生态学。查找大卫在线https://orcid.org/0000-0002-3125-5888和@EvoMellor。
留言