我们怎么知道新研究是真货还是狗屁?

每天都有这样或那样的新研究 , 每个研究都声称自己有突破性发现 , 但是大多数研究中充斥着不严谨的科学 。 对于这些研究我们要特别小心 。
“看到的只能相信一半;听到的全部不要信 。 ”说这话的人是爱伦·坡(也可能是本杰明·富兰克林) 。 其实说真的 , 你看到的大多数医学研究要么没有吹得那么厉害 , 要么就是完全没有价值 。 越神奇、越有突破性、越有创新性的人体或思维研究 , 越是值得怀疑 。 其实只要经过仔细审查 , 或者时间一长 , 很多研究都站不住脚 。

我们怎么知道新研究是真货还是狗屁?

文章插图

几年以前 , 斯坦福医学院的John Ioannidis教授写过一篇文章 , 题目是“为什么大多数出版研究都是假的?”
在文章中 , 他指出现在研究刊物上发表的文章大多数是假的 , 人们越来越关注现代学术圈的这种造假现象 , 在文章中他用详尽的数字解释了为什么大多数看似“发现光明”的研究都存在极为严重的问题 。
Ioannidis教授对医学研究造假的担忧扩展到了整个科学研究领域 , 但是对于不太了解学术术语和概念的普通读者 , 他们怎么知道自己看的是真正有价值的研究还是纯狗屁?就连许多同行评审的专业期刊中发表的文章都存在错误 , 将研究写成新闻稿 , 大众读者又如何辨别?
对此 , 波士顿儿科医师和Society for Science-Based Medicine这个业内最有分量的博客的编辑Clay Jones说:“不同寻常的发现需要有不同寻常的证据支持 。 ”
其实要判断一篇文章到底有没有讨论的价值 , 最方便的做法就是看出处 。 Ioannidis表示 , 同行评审流程并非尽善尽美 , 就算是通过同行评审的文章 , 其中只有一小部分是认真对待自己的研究的 。 他认为凡是正经的文章 , 应该通过一群业内专家的评估 , 这是最低要求 。
Jones说 , 对于通过同行评审的文章 , 还需要检查他们发表的期刊 , 诸如《新英格兰医学杂志》这类有名望的期刊上的文章比其它小期刊上的文章更值得一读 。 但这种方法也不保险 , 因为《儿科学》虽然更为专业 , 但是影响力比大杂志小得多 。 大杂志也不是完全靠谱 , 《自然》和《柳叶刀》也刊载过不实研究 。 不过大杂志作为参考还是比较可靠的 。
Jones说许多网站会搜集转发五花八门的文章 , 但是这些文章从未发表在同行评审杂志上 。 这些文章也许只是一家公司的闭门造车式研究 , 为的只是宣传他们产品的优点 , 有些产品虽然在发布会上演示过 , 但学术出版界从没有承认过这些产品 , 而且有些事实完全是公司编造的 。

MAC艾滋病基金会赞助的一项调查显示约有1/3的美国青少年不知道HIV属于性病 。 但是发表这篇调查的只是一家营销公司 , 并非任何一家同行评审期刊 。
新闻头条上吹得越厉害的信息 , 就越要警惕 。
那些对已有充分研究的结果的证实性文章可信度更高 , 但也有可能是虚假新闻 , 比如有一篇研究文章指出 , 通过观察病人的无意识眼球移动可以有效确定病人是否患有多动症 , 但是我们都知道多动症的确诊更多是依靠家长和老师平日里的观察 。
在该研究中 , 特拉维夫大学的Moshe Fried博士说 , 使用其他方法会因为疏忽或有意无意的犯错导致结果出错 , 但是他们的测试判断的是无意识眼球动作 , 是一种确诊多动症的完美生理指标 。
然而 , 该研究中每组只有22个成年人 , 对于这么重要的发现 , 样本却这么小 , 明显不足以证明什么 。
如果某个探讨新疗法疗效的研究样本小、没有对照组、没有进行双盲实验 , 也没有重复实验数据 , 那么千万别轻易相信 。

推荐阅读