「再現性の危機」はあるか？ −調査結果−

本誌が実施したアンケート調査により、科学界を揺るがす「再現性の危機」について、科学者自身はどのように見ていて、どうすれば再現性を向上させられると考えているかが明らかになった。

研究の再現性に関する本誌の簡単なオンライン・アンケート調査から、衝撃的な事実が明らかになった。研究者1576人からの回答を分析した結果、70％以上が他の科学者の実験結果を再現しようとして失敗した経験を持っていて、自分自身の実験結果の再現に失敗した経験がある研究者も半数以上に上ることが分かったのだ。

科学者たちは、論文の再現性に関して、時に矛盾した態度を見せた。科学論文の再現性は大いに危機的な状況にあると答えた人が52%もいたのに対して、発表された論文の結果を再現できないならその結果は間違っているのだろうと考える人は31％未満で、ほとんどの研究者は発表された論文を依然として信頼していると言うのだ。

発表された科学文献の中で再現性のあるものがどれだけあるかを調べた調査は少ないが、うすら寒くなるような結果が多い。有名なのは心理学（参考文献1）とがん生物学（参考文献2）の分野で行われた調査で、それぞれ約40％と10％という結果が出た。

本誌のアンケート調査の結果はより楽観的で、回答者の73％が、自分の専門分野の論文の少なくとも半数は信頼できると思うと答えていた。自分の専門分野の論文を信頼している研究者の割合が全体として最も高かったのは、物理学・工学者と化学者だった。

ジョンズホプキンズ大学ブルームバーグ公衆衛生学部（米国メリーランド州）の微生物学者Arturo Casadevallは、アンケートの結果は、論文の再現性の問題をめぐる科学者たちの矛盾した姿勢をよく捉えていると言う。

「現時点では、再現性とはどんなもので、どうあるべきかという点に関するコンセンサスがないのです」。しかし、そのことを認識できただけでも前進であると彼は言う。「次の段階は、何が問題なのかを見極めて、コンセンサスを得ることになるでしょう」。

科学の再現性に以前から関心を持っているブリストル大学（英国）の生物心理学者Marcus Munafoは、論文の再現に失敗するという経験は、科学者の通過儀礼であると言う。「学生時代、私は文献を読んで簡単そうに見えた実験を再現しようとして失敗したことがあります。これにより私は『信頼の危機』に陥り、その後、自分の経験が珍しいものではないことを知ったのです」。

私たちが考えるべきことは、発表論文に再現性をめぐる問題が一切生じないようにすることではない。科学の最先端を走っているかぎり、確実ではない結果が出ることはままあるからだ、とMunafoは言う。「私たちが求めるのは、あまり多くの間違いをおかすことなく新しい発見をすることです」。

再現の成否の報告

けれども、新発見と間違いを区別するのは容易ではないかもしれない。本誌の調査では、研究者の大半が実験結果の再現に失敗した経験を持っていたが、自分が発表した研究につき再現できなかったという問い合わせを受けたことのある回答者は20％未満だった（「数字で見る『危機』」参照）。

今回のアンケート調査の結果は、米国細胞生物学会が約900人のメンバーに実施した別のオンライン・アンケート調査の結果（go.nature.com/kbzs2b）と驚くほどよく似ている。

確かに、他の研究者の論文の実験結果を再現できなかったときに、相手に問い合わせるのは難しいのかもしれない。自分が無能であるかのように思われるのは我慢ならないし、相手を非難しているように思われたら厄介だし、自分たちのプロジェクトについて相手に知られすぎるのも危険であるからだ。

再現研究について論文を発表しようとしたことがあると答えた回答者は少数派だ。研究結果を再現できなかった場合、研究者は多くの場合、もっともな（そしておそらく面白くない）理由があるのだろうと考える。

しかも、再現に成功したことを発表してもその見返りは少なく、再現に失敗したという結果の発表に対し学術誌は消極的になる場合がある。実際、論文を再現できなかったという報告を発表したことがあるという数人の回答者は、編集者や査読者から「オリジナルの研究との比較を和らげるように」と指示されたと答えている。

それでも回答者の24％が再現の成功に関する論文を発表することができ、13％が再現の失敗に関する論文を発表することができたという。却下され続けたという回答者よりは、どこかで受理されたという回答者の方が多かった。

他の科学者の実験結果を再現できたという論文を発表できなかった回答者はわずか12％で、再現できなかったという論文を発表できなかった回答者は10％であった。

アンケート調査に回答したテキサス工科大学健康科学センター（米国アマリロ）のAbraham Al-Ahmadは、自分がある幹細胞技術を用いたときにうまくいかなかった理由を検証した論文を投稿したとき、「にべもなく却下」されるかもしれないと思っていたため、受理されたことは嬉しい誤算であったという（参考文献3）。彼自身はこの論文が受理された理由について、問題の回避策を示したからではないかと考えている。

再現の試みに関する論文を発表できるかどうかは、運と粘り強さと編集者の嗜好の組み合わせによって決まるとする回答者もいた。アンケートに回答した新薬開発コンサルタントのMichael Adamsによると、糖尿病の動物モデルの深刻な欠点を指摘する論文は、新たな薬物標的を明らかにしていないこともあり、6回も掲載を却下されているという。これに対して、シャーガス病の治療に効果を発揮するとされた化合物について、その有効性を否定する論文は、すぐに受理されたという（参考文献4）。

再現性向上のための工夫

今回の調査によれば、多くの科学者が「論文の実験結果が再現できなかった」という経験をしている。だが、発表者に問い合わせたり、その結果を発表しようとするなど、何らかの行動をとったことがある科学者は少ない。その理由として、相手に問い合わせにくいという心理的障壁や、学術誌がそのような結果の掲載に消極的なことが挙げられるようだ。
Golden Productions/age fotostock/Getty

回答者の3分の1が、自分たちの研究室で過去5年以内に再現性を向上させるための具体策を講じたと言っている。その割合は、医学系では41%と高く、物理学・工学系では24％と低かった。自由記述式の回答を見ると、自ら実験をやり直すことと、研究室内の他の研究者に同じ実験をしてもらうことが、最も一般的な方法であるようだ。実験方法の文書化および標準化の強化もよく行われていた。

どの方法も、大変な手間がかかる可能性がある。英国で生化学を専攻するある大学院生は、匿名を条件として、研究室のプロジェクトのために実験を再現しようとすると、必要な時間と材料が2倍になる上、必ず何かがうまくいかなくなるため、その対処にも時間がとられてしまうと打ち明けた。

実験結果を再現できれば、その信頼性はぐっと高まるが、コスト面から、革新的なプロジェクトのためや予想外の結果をチェックするためにしか再現実験は行わないと言う。

バージニア大学（米国シャーロッツビル）で平滑筋細胞の研究をしているポスドクのLaura Shankmanは、実験方法のばらつきをなくしておくことはそれ自体がプロジェクトであると言う。彼女の研究室から短期間のうちに複数のポスドクと大学院生が相次いで抜けたとき、残りのメンバーは彼らの実験と整合性のある結果を得ることができなかった。

そこで研究室は、新しい問題に取り組むのをしばやくやめて、これまでに発表した研究をもう一度やってみた。その結果、研究室のプロトコルが徐々にばらばらになってきていたことが明らかになった。

彼女は、うまくいかなかった実験の問題を個別に解決していくよりも、いったん立ち止まって全員の足並みをそろえた方が、全体として安上がりであるだけでなく、長期的には投資になったと考えている。

ブライアン健康科学大学（米国ネブラスカ州リンカーン）の数理生物学者Irakli Loladzeは、自分の理論研究でさえ、再現性を確保するための作業によって、プロジェクトにかかる時間が30％も増えることがあると見積もっている。

彼は、生データから最終的な数字までの全てのステップをたどれるかどうかをチェックする。作業量は増えたが、負担とは思っていない。「再現性を確保するための作業は歯磨きに似ています。時間と手間はかかりますが、絶対に自分のためになるのです。一度覚えてしまえば、ただの習慣になりますよ」と彼は言う。

事前登録（pre-registration）は、再現性を高める方法の中で最も喧伝されているアプローチの1つである。この方法では、科学者が仮説とデータの分析計画を第三者にあらかじめ提出してから実験を行うことで、後になって統計的に有意な結果だけを選び出すのを防ぐ。この戦略に言及した回答者は10人程度だった。

その1人であるHanne Watkinsは、メルボルン大学（オーストラリア）で道徳的意思決定に関する研究を行う大学院生だ。彼女は、データを収集した後に元の質問に戻ることで、おかしな方向に進んでいかずにすんでいるという。この作業には時間がかかるが、倫理委員会から承認を得たりアンケートの質問の書式を整えたりするのと手間は同じだ。「最初から研究に組み込まれていれば、ルーチンの1つにすぎません」と彼女は言う。

再現性の問題が生じる原因

アンケート調査では科学者たちに、再現性の危機を招く要因についても質問した。回答者の60%以上が、「論文発表への重圧」と「選択的な報告」の2つの要因のいずれかが、常にまたはしばしば影響を及ぼしていると答えた。また、半数以上が、発表者が所属する研究室での不十分な再現、監督不行き届き、検出力の低さを指摘している。少数ではあるが、試薬の変化や再現の難しい特殊な技術の使用を指摘する回答者もいた。

ウィスコンシン大学マディソン校（米国）の発達生物学者Judith Kimbleは、こうした要因の全てが、助成金や地位をめぐる競争と、官僚主義に由来する負担の増大によって悪化すると言う。特に後者は、科学者が実験をしたり計画を立てたりする時間をどんどん奪っていく。

「最近では誰もが限界に近い状態です」と彼女は言う。研究者の余裕のなさの影響は、個々の研究プロジェクトを越えて広がっていく。上のメンバーが下のメンバーを指導する時間がほとんどないような研究室に入った大学院生は、将来、訓練や指導のモデルを持たないまま自分の研究室を持つことになるかもしれない。「そんな研究者が研究室を主宰するようになれば、事態はさらに悪化するでしょう」とKimble。

対策

アンケート調査で、科学の再現性を向上させるための11のアプローチを挙げ、回答者にその有効性を評価してもらったところ、全てのアプローチが強く支持された。中でも、「より強固な実験デザイン」「より良い統計」「より良い指導」には、回答者の90%近く（1000人以上）が印をつけた。

これらは、再現性向上に取り組む気にさせる報酬（助成金の提供や終身在職権の認定など）を与えることよりも高い順位になった。しかし、最も低い順位の「ジャーナルによるチェックリストの義務化」という選択肢でさえ69％という高い支持を得た。

今回のアンケート調査は、研究の再現性に関するものであることを明記した上で、Natureの読者に電子メールを送ったり、提携するウェブサイトやソーシャルメディアで宣伝したりしたため、おそらく、再現性の問題をよく理解し、懸念を持っている回答者が選び出された可能性がある。

それでも今回の結果は、再現性の向上に向けた取り組みを進める科学誌、資金提供機関、研究機関が、科学者からの協力を期待できることを示唆するものだと、スタンフォード大学（米国カリフォルニア州）で科学の頑健性について研究するJohn Ioannidisは言う。

「人々はこうした取り組みを歓迎するでしょう」。実際、アンケート回答者の約80％が、資金提供機関と出版社は、再現性を向上させるためにもっと対策をとるべきだと考えていた。

「人々が問題を意識し、率直な改善策に耳を傾けているのは健全な姿勢です」とMunafoは言う。こうした改善策が広く議論され、マスコミにも取り上げられている現状を考えると、直ちに改革に取り組むことが重要だ。「今、問題を解決しなければ、好機は過ぎ、人々はあれこれ指示されることをうっとうしく思うようになるでしょう」。

Nature ダイジェスト Vol. 13 No. 8 | doi : 10.1038/ndigest.2016.160822

原文： Nature (2016-05-26) | doi: 10.1038/533452a | 1,500 scientists lift the lid on reproducibility

Monya Baker

参考文献