重ね描き日記(rmaruy_blogあらため)

読書メモ、探究メモなど。

読書メモ:The Science of Science (Dashun Wang, Albert-László Barabási) …「科学的生産性の科学」の到達地点

The Science of Science

The Science of Science

 

ネットワーク科学の第一人者として知られるラズロ・バラバシと、組織論を研究するDashun Wangによる共著書。タイトルのScience of Science(科学の科学)とは、科学的生産についてデータをもとに定量的に分析する新しい学際分野だという。

科学者の「生産性」は何が決めるのか? 「インパクト」のある科学研究はどんな要因で生まれるのか? 高インパクトな研究を生みやすいのは、どんな形のコラボレーションか? Science of scienceの研究者たちが答えようとするのはこうした問いだ。

この分野が依拠するのは、21世紀に入って研究者たちが手にし始めた、既刊論文についてのビッグデータ。何百万、何千万という論文のデータをもとに、様々な独創的な角度からのデータ解析と数理モデリングによる研究が行われている。本書は、そうした研究を幅広く取り上げ、明らかになり始めていることを報告する。

本書は、(当事者としての)研究者、アカデミアの管理職、NSFやNIHその他のファンディング機関、さらに「science of science」の研究を始めたい人々に広く役立つだろうとしている。

以下は、下記書籍の断片的なメモです。丸山が気になった部分のみ拾っており、また不正確な要約になっている可能性もあるので、本記事から数字や解釈を引用せず、書籍をご確認ください。文献情報は自分のメモ用ですので、フルバージョンは書籍をご確認ください。

各章の内容

第1部 科学者のキャリア The Science of Career 

第1章 科学者の生産性 Productivity of a Scientist

本書における科学者の生産性(productivity)とは、一貫して「論文出版数」のこと。2015年、一人の研究者が出版する論文は2.5本/年(共著含む)で、分野によってばらつきがあるものの、時間的には大きく変わっていない(Dong et al. 2015)。論文数はもちろん、研究者の貢献とイコールではないが、研究者間での評価(perceived contributions to the field)とよく相関するというデータがある。しかし、他の指標と比較すると、論文数は研究者の将来残すインパクトを予測する精度が低い。したがって、論文数以外の指標が必要となる。

第2章 h指数 The h-Index

Jorge E. Hirschが2005年に提案したh指数は、論文数や被引用数といった指標に比べて、その研究者の将来のパフォーマンスの予測によい精度を発揮することが知られている。
h指数にもいくつかの弱点(その研究者のベスト論文の被引用数が意味を持たない、分野による違いを考慮しないなど)があり、改良版が提案されている。

第3章 マタイ効果 The Matthew Effect

著名な研究者の論文は引用されやすいという、いわゆる「マタイ効果」が存在する。たとえば、査読者が論文執筆者の名前がわかっている「シングルブラインド」の形式の査読では、すでに名の知れた研究者のほうが査読を通りやすい。

第4章 年齢の効果 Age and Scientific Achievement

NIHのグラント受給者は年々高齢化しており、問題視されている。なぜ問題か? ノーベル賞につながる研究や、顕著な発明をした時点の年齢をプロットすると、30代後半をピークとする山形になる。そのピークは年々高齢側にシフトしている(Jones 2010)。若くして大きな仕事をする人と、大器晩成型で何が違うのか。大きいのは「概念型イノベーター」と「実験型イノベーター」の違い。(前者では若年でのイノベーションが起こりやすい。「理論科学vs経験科学」と重なりをもつが少し違う軸である。)

第5章 ランダムインパクト則 Random Impact Rule

高齢になると被引用数(=インパクト。本書における「インパクト」は引用数の多さを意味する)が減少していくが、実はこれは論文執筆数の減少で完全に説明がつく。キャリアを通して、任意の論文のインパクトの大きさが従う確率分布は変わらないとする「random impact rule」を仮定したモデルで、実際のパターンが再現できる。これは、研究だけでなく、アーティストや映画監督でも成り立つことがわかっている(Liu et al. 2018)。つまり、年をとって変わるのは生産性だけであり、創造性は落ちないのである。ベンチャービジネスも、実は20代より中年での起業のほうが成功しやすいことが知られている。

第6章 Q因子 The Q-Factor

あらゆる研究者が同じ確率でインパクトのある研究ができると想定するのは無理がある。そこで、ランダムに遭遇したアイディアを出版につなげられる能力に個人差があると考え、それを因子Qで表すことにする。これをモデルとしてデータに当てはめると、因子Qは研究者のキャリアを通して大きく変化しない。Q因子は、h指数に比べてノーベル賞の予測において優れている(Sinatra et al. 2016)。

第7章 研究の好調期 Hot Streaks

とはいえ、研究者のキャリアの中で、とくにインパクトのある仕事をしやすい時期があるのは事実である(最も引用される業績と、2番目に引用される業績の時期は、ランダムではなく近接している)。この「hot streak(研究の好調期)」は、研究者の生涯に1度だけ、4年間程度生じることが多い。筆者らが行った研究では、NIHによるファンディングと、研究者のhot streakの時間的関係は「hot streakのほうが先」であることが分かった。これは、ファンディングが高インパクトな研究を生むのではなく、その逆であることを示唆している。

第2部  コラボレーションの科学 The Science of Collaboration

第8章 科学のチーム化 The Increasing Dominance of Teams in Science

今日、科学のチーム化が進んでいる(科学と工学の分野では、単著論文よりも共著論文のほうが、1000回以上引用される可能性が6.3倍)。組織を越えた共著も増えており、30年間で4倍に、科学・工学の全論文の32.8%にまでなった。中国、ブラジル、インド、韓国の論文は1981年からの30年で20倍になったが、その75%は、国内のチームで書かれたものであり、国際的な共同研究の割合はこれらの国ではまだ少ない。

第9章 ヴァーチャルな大学 The Invisible College

Robert Mertonはスター研究者がその周囲にもたらす好影響を「bright ambiance」と呼んだ。学部にスター研究者が来たことにより、学部全体のアウトプットが54%も上がったことを報告されている(Agrawai, et al. 2014)。この効果は物理的に近くにいなくても、離れた大学の親しい研究者同士でも起こる。「スター研究者」の死によりその周りの研究者のアウトプットが落ちることも知られており、なかでも他の研究者に好影響をもたらすのは謝辞に名前が出る「helpful」な研究者である(Oettl et al. 2012)。

第10章 共著ネットワーク Coauthorship Networks

2000年前後から、あらゆる分野の研究論文の共著ネットワークが調べられてきた。

第11章 チーム結成 Team Assembly

しかしネットワークは密なほどよいわけではない。「オールスター」を集めたがうまくいなかったデューク大学の例など、主導権をめぐる争いが生じると、チームに悪影響が生じる「too-much talent effect」がある。「オールスターチーム」が上手くいくのは野球など、選手間の連携が比較少ないスポーツ。サッカーやバスケットボールではうまくいかないことが知られている。

チームのメンバーは多様であるほうがいいのだろうか? 民族性、分野、年齢、アカデミックキャリアの長さなどの多様性がどのように研究のインパクトに影響するかを調べた研究では、民族性(ethnicity)の多様性が最も効いていることがわかった(AlShebli et al. 2018)。ただし、この研究は「出版に漕ぎつけたチーム」のみのデータを使っていることに注意(民族的に多様なチームは、そもそも出版できる成果を出すところまで難しいかもしれない)。「失敗したチーム」に関するデータは少ない。社会的に感受性が高いメンバー、一方的にしゃべることが少ないメンバーそして女性が多いチームは、様々なタスクにおいてパフォーマンスが高いことが知られている。

学術研究の共著関係は通常1年程度で終わる、弱いつながり(weak tie)である。しかし、中には自身の論文の半分以上を同じ人と書き続けるようなきわめて強いつながり(super ties)が存在する。Super tieの相手と書いた論文は、そうでない共著者と比べて被引用数が顕著に高い(Petersen 2015)。

第12章 チームの大小 Small and Large Teams

チームのサイズによる研究のインパクトの違いを調べると、大きなチームのほうが、研究論文、特許、ソフトウェア製品などにおいて大きなインパクトを残すことが分かった。一方、分野を革新するようなdisruptiveな成果は、小さなチームから出やすい(Wu et al. 2019)。大きなチームのほうがファンディングを得やすく、それにより自己成就的にインパクトを残しやすい傾向があるが、小さなチームにもバランスよくファンディングすることが必要だろう。

第13章 業績を誰に認めるか Scientific Credit

共著論文で、誰に実質的な業績が認知されるかという問題がある。分野によって、ファーストオーサー、ラストオーサーの意味が違ったり、未だにアルファベット順の慣行がある分野もある。経済学の論文を調べた研究では、女性と男性の共著論文では、男性の業績としてクレジットされやすいことがわかった。それが女性がテニュア職を得にくいことにつながっている(Ginther & Kahn 2004)。

第14章  業績を配分する Credit Allocation

論文のcredit allocationにも、マタイ効果がはたらく。つまり読者は、よく知っている名前の著者のほうに、その業績を配分しやすい。したがって有名な研究者と若手研究者の共著論文では、著名研究者の業績と認知されやすい。一方、ミスなどにより論文がretractされた場合には、若手研究者に帰責されやすい(逆マタイ効果、Jin et al. 2013)。Barabasiらは、同一分野において過去にどのような共著関係で論文を書いてきたかによって注目する論文における貢献度を推定する"collective credit allocation algorithm"を提案している。

第3部  インパクトの科学 The Science of Impact

第15章 ビッグサイエンス Big Science

科学研究論文の数は指数関数的に増えている(Sinatra et al. 2016)。Microsoft Academic Serviceは2018年には1.71億本の科学論文をインデックスしている(Sinha et al. 2015)。ちなみに、これだけ競合が増えていくなかで出来たものの一つが「Letter」という形式の論文。もともと、「編集者へのレター」を書く欄だったが、そこに自身の業績を載せるという「トロイの木馬」的な戦術をラザフォードが使ったことに端を発している。

PhDをとるまでにかかる年数も伸び、テニュアトラックのポジションをとれるPhDの割合も下がっている(ドクターを増やす政策をとった日本も、就職できないポスドクの問題に悩まされている)。科学を前進させるのに必要な人数は増え続けている。たとえば、コンピュータチップの容量はムーアの法則に沿って指数関数的に増えてきたが、それを倍増させるのに必要な研究者の数は1970年代に比べて18倍になっている。

第16章 引用数の格差 Citation Disparity

論文ごとの被引用数の分布は大きな裾野をもつ(fat-tailed distribution)。分野によって被引用数の絶対数は異なるが、その分布の形には普遍性(universality)がある。つまり、当該分野の平均年間引用数で割れば、ある論文の影響度の大きさを、分野をまたいで比較することができる。

被引用数の分布は、ある普遍的な関数(対数正規関数)で近似することができる。被引用数はその論文の「インパクト」や「科学的な質」そのものではない。レビュー論文は引用されやすいし、否定的な引用などもある。しかし、自身や周りの研究者が重要だと「思う」論文と、被引用数が大きい論文はおおむね一致する。

第17章 高インパクトな論文 High-Impact Papers

Solla Priceは1976年にPriceモデルを提案した。これは、任意の論文の引用されやすさは、現状の被引用数に比例するとして(preferential attachmentの仮定)、被引用数のベキ分布を導出した。一方、筆者ら(WangとBarabasi)は、preferential attachmentに加えて、適応度(fitness)という変数を加えたBianconi-Barabasiモデルを利用。ある論文には、その引用のされやすさを表すfitnessの値があらかじめ定まっているとする。すると、前章で見た対数正規分布が導かれる。

第18章 科学的なインパクト  Scientific Impact

何が、ある論文のfitness(つまり公表時点でのインパクトの違い)を定めるのだろうか。新奇性は高インパクトにつながることもあるが、不確実性も高い。珍しい組み合わせで他分野から文献を引用している論文は、その分野で最も引用される論文になりやすい一方、引用され始めるまでに時間がかかる(Wang et al. 2017)。

一般メディアに取り上げられると、被引用数が増える。Times紙への掲載有無により、ある論文の引用数が大きく変わったとする研究がある(Times紙が論文を「選定」したが社員のストライキにより「掲載」のみされなかった、という事象が自然実験として機能し、因果関係が明らかになった。Phillips et al. 1991)。

第19章 時間軸でみる科学論文の価値 The Time Dimension of Science

研究成果の価値は、経時的にどのように変化するのだろうか。2800万本の論文について、各論文がどれくらい過去の論文を引用しているかについて、平均と分散を調べた研究がある。最近の論文のみ、もしくは古い論文のみを引用している論文に比べて、新旧の論文をとりまぜて引用している論文のほうがその論文自体のインパクト(被引用数)が大きいという結果が得られた。どの論文も、初期数年で飛躍的に引用され、その後は指数的に減少する(jump-decayの曲線)。

第20章 最終的なインパクト Ultimate Impact

ある論文の、ライフタイムでの引用数の変遷はどうなっているのだろうか。(1)論文数自体の指数増加、(2)被引用数に比例した新規引用という法則、(3)各論文の内在的な重要性を反映したfitness変数、(4)各論文の引用されやすさは対数正規の生存確率で与えれる、という知見を組み合わせると、ある時点での引用数は一定の式で表される。その曲線を規定するのは、fitness変数λ、immediacy変数μ、寿命変数σの三つで与えられる(Wang et al. 2013)。(μが長い論文とは、真価が後になってわかる論文(sleeping beauty)である。また、一度忘れられた論文が再び脚光を浴びる「第二幕」式のダイナミクスもまれにあり、そのモデルの拡張が必要となる。)

上記のモデルによると、論文のライフタイムの総引用数(ultimate impact)は、λのみの関数になる。つまり、早く認知されようがされまいが、最終的なインパクトはその論文の内在的な価値のみで決まることになる。

第4部  展望 Outlook

最後の部では、この分野の将来展望についてみていく。

第21章 科学は加速できるか Can Science Be Accelerated?

ロボットや自動化技術について、科学は加速できるだろうか。「ロボット科学者Adam」の例など、科学の仮説生成の部分から自動化する試みがなされ始めている(King et al. 2009)。そのほか、過去の研究を網羅的に解析し、新しい発見をもたらしうる実験を提案する戦略なども取られうる。

第22章 人工知能 Artificial Intelligence

AIは科学をどう変えるか。AIは、科学のどこに投資すべきかを示す「horizon scanning」に使えるかもしれない。AIを科学で使う際には、バイアスに注意が必要である。

第23章 バイアスと因果性 Bias and Causality in Science

本書の内容の盲点は、手に入るデータにしか依拠していないこと。当然バイアスがある。成功した例にだけ着目するのは、判断を誤ることがある(例: survivership bias)。
「失敗例」についても考慮する方法も考案されている。たとえば、NIHのグラントをかろうじて得た若手研究者と、かろうじて逃した(ニアミス)若手研究者で、その後のキャリアを比較した。ニアミスの研究者は、10%の確率でNIHのシステムから脱落した。しかし、残った研究者は、実はグラントを得た研究者よりもパフォーマンスがうわまるという結果が得られた。これはスクリーニング効果を考慮しても残った。同様に、リジェクトされた論文が再投稿で出版された場合、リジェクトされなかった場合に比べインパクトが上がるとの研究もある。

また、本書は引用数のカウントのみに基づいてきた。そのことによる限界もある。科学者はインパクトを何等かに指数で計ることに愛憎の念がある(love-hate relationship)。引用数にかわる指標として、ページビューなどのオルトメトリクスなどにも注目が集まっている。ただし、PVは引用数と相関が少なく、(それがいいところでもあるが)妥当な指数なのか、という疑念もある。

最後に、「ファンディングにより生産性があがるのか?」といった因果性についての問いがある。因果を明らかにする手法として、RCT(ランダム化比較試験)、自然実験などの手法が、Science of scienceの分野でも用いられはじめている。

終章 Last Thought: All the Science of Science

Science of scienceは、「どうやってよりよく科学するか」のための分野であり、あらゆる科学からの知見を必要とする。大事な分野であり、今後の発展が期待される。

感想

第23章で著者らも書いているように、ほとんどが引用数のビックデータ「のみ」に基づいた研究であり、「科学のインパクト」に関してその他の側面の考慮が必要なのは確かだろう。大学における研究者評価や採用、ファンディング機関による研究評価やプログラム設計において、本書の内容「だけ」で何かを決めることはできないはずだ。

ただし、確実に押さえておくべき一側面であるとは言えると思う。本書を読むと、論文のアウトプットから外形的に分かる部分はかなり精力的に調べられていることが分かる。本書は、それらの研究へのレファレンスとしては非常に有用だろう。

本書で挙げられている研究成果は、データに基づいているとはいえモデル依存の部分も多分にあるだろうと思う。一つのモデルに頼るのではなく、目的に応じて多数のモデルを組み合わせて複眼的に考えること(サンタフェ研究所のスコット・ペイジ氏の言う「多モデル思考」)が大事だと思われる。

なお、本書は、分野の入門書としても、ポピュラーサイエンスとしても完成度が高いと感じる。読者の関心事に沿った「問い」を提示して一つ一つ謎解きのように答えていくスタイルや、随所に挟まれるわかりやすい比喩など、読んでいて楽しい一冊でもあった。