M index

On 2011/1/21 金曜日, in Net Watch in Science, by bodyhacker

あるブログに

【コラム】PIの新しい評価方法・M index と I index

というタイトルのエントリーがありました。

おもしろかったので紹介します。

理科系の研究の指導者の指導者としての評価にMentor Index (M index)とIndependent index (I index)という指標を導入してみては、という話です。
このIndexは@amoknoan氏が考えたものです。

業績はreviewを含むpeer reviewを受けたもので、ラボヘッドがコレスポもしくはラストオーサーである英文の論文数。あと追加でインパクトファクターやH indexを絡めてもよいけど、指導教官としての資質をみるのにH indexは不要なのであとはインパクトファクターくらいだろうか。

というわけで

2010年のM index = 4/3 x (2010+2009+2008のラストオーサーの論文) / スタッフとポスドクと修士と院生の総数

という計算式でM indexを計算します。

例えば、ぼくの場合2010年のM indexは

4/3×7/(3+3+4)/3=2.8

でした。
”スタッフとポスドクと修士と院生の総数”の計算は3年間の平均値を採用しました。

これが高いか低いかは

このindexは単純に学生が4年間に1報出せれば、1になるのがわかりやすいでしょう。

つまり、ぼくのラボにくると4年間で2.8編の英文論文がでるということをおおざっぱにあらわしていると考えるとわかりやすいです。そして 2.8報が多いか少ないかということです。雑誌にもよるから一概には言えませんけどね。

ポスドクと修士と院生の総数で割り算すると低めに出てしまうヒト(principal investigator; PI)もいるかもしれません。ポスドクと院生で10人もいる研究室と一人しかいない研究室では計算上同じMIでも評価というか見栄えはずいぶん違ってくると思います。10人のポスドク、院生が毎年一つ論文を出している研究室があればーつまり4年間である一人の院生は4報の論文が出るーそれはすごいですけど一人しかいなければそんな研究室はあると思い。

I indexは以下の通りに定義されます。

さらにラボにおける助教と準教授の独立度を計るI(Independent) index = M index / (助教と準教授の総数 + 1)

ぼくの研究室には教授はいないし助教も准教授もいないのでぼくの I indexはM indexと同じということになります。

このように、なんでもかんでも定量化していくのって結構好きです。

毎年毎年、全教員の h index, M index, I indexとか計算して公表したらどうでしょうか。

まずh-indexは研究者さえ特定できれば計算は他人でも可能です。

実際にもScopusのサービスなどが存在します。研究者の名前を入れれば勝手にh-indexが計算されて表示されます。

一方 M indexとかI indexは内部情報が必要です。それゆえ客観性に乏しいという欠点はあると思います。ぼくの 2.8という数値も本当かどうかを外部から検証をするのは至難でしょう。
そもそもぼくの指導している学生はすべて教授の学生であり学位の審査でもぼくが指導教員として認識されることはありません。たぶん大学院の正式な書類にはそういった履歴は何も記載されていません。なのでどうやっても公式データだけで計算に必要なデータを取得することは無理なのです。
しかし大学のレベルで必要な情報を調べることは可能でそれに基づいてM indexなどを計算することはできます。

すでに少なくとも学術振興会からの研究費の取得情報はネットに堂々とさらされているわけですからM indexのようなものが公表されていれば学生にとっては誰に入門するかの指標として便利になるのかもしれません。

しかしこのM indexいくらでもぼくにはほとんど影響はありません。

現実にはしかしいくら学生を指導しても感謝はされこそすれ、客観的に評価されるー給料も上がらないし昇進もしませんーことは無いと思われます。


PDF
Tagged with:  

評価者の評価を

On 2010/2/27 土曜日, in news, Thus Spoke Dr. Hypoxia, by bodyhacker

昨日の午後一時過ぎ患者さん出しがちょうど30分おくれてキム・ヨナ が滑るところを見ることができました。見終わるとすぐに患者さんが来て浅田真央さんの滑走は見逃しました。一緒に観戦していた看護師さんや先生がみな浅田真央さんのことを自分の娘のように応援していました。
キム・ヨナにしても韓国の期待を一身に集めて滑っていたわけでこのような圧力に打ち勝たないとオリンピックチャンピオンには成り得ないのですからすごいものです。
New York Timesでの報道で知ったのですがキム・ヨナは数年前からトロントをベースにトレーニングを続けているのだそうですね。浅田真央にしてもキム・ヨナにしてもコーチは自国人ではないしこれで国民の代表といわれてもピンとこない部分もあります。

はてな ID what_a_dudeさんのブログエントリー(日本の論文の質の変化について)を偶然読みました。このエントリーは直接には”日本は「質」の低い基礎科学研究論文を「量」産する国でしかないのか:ISIトムソン・ロイターズのデータが示すもの – 大「脳」洋航海記”を受けて書かれたエントリーであり読み進む前提として両エントリーを読むことをおすすめします。引用はぼくが恣意的に行った場合があります。

研究の評価をどう行うかという問題は単純でありません。

国際比較をはじめ大学単位、講座単位、研究室単位、最後は個々人の研究者の評価は簡単ではありません。

研究の評価に定量的な指標を持ち込まれば客観的な評価の助けになるという考えはたぶん正しくそのような目的で様々な指標が導入されています。

impact factorなどはその代表で基本的には個々の論文が他の論文に何回引用されたかに基づいて計算されます。雑誌ごとに数字が出てくるのですがこれとても雑誌間の評価というか競争でしょう。またISIトムソン・ロイターズなどはこれで収益をあげている会社です。

両エントリーともこのような公表された客観的な指標を用いた考察をしていて非常に解りやすい内容になっています。

日本の論文の質の変化について
では

クソみたいな研究者が多いのに、
競争的資金の割合はアメリカの半分程度、というのも
Productivityが低い原因の一つでもある。

10年に1本も論文を書かない連中が
50%もいると思うと正直なんだコレって感じですね。

日本は「質」の低い基礎科学研究論文を「量」産する国でしかないのか
では

ここでは純粋に国・地域ごとにPaper(総論文数)・Citation(総被引用数)・Citation/Paper(総被引用数vs.総論文数の比率)とでチェックしてみました。なお、ここで統計に用いられているデータは1999年10月~2010年1月までのものです。

を調べた結果

これはやはり日本の研究は「量」はあっても「質」が低いということを如実に示す統計だろうと思います。それは、総論文数で2位、総被引用数で4位と「量」の面では非常に好成績であるにもかかわらず、「質」を表す総被引用数/総論文数比率で見ると35位にまで落ちる点から見ても明らかです。先日のエントリで明らかになった傾向と合致する結果であるようにも見受けられます。

といった風です。

両者で共通しているのは客観的なデータを議論の前提としていることです。
いくら論文を書いても”論文数”だけでは評価できないまたいくら引用回数の高い論文を書いても”引用回数”だけでは何も評価できないというような理不尽な理屈の前では議論は無効です。
このような国レベルでの評価だけでなく個々人の研究者の評価に客観的な指標を利用すべきだと思います。

またこれは評価を受ける側だけでなく評価をする側にも適用すべきと思います。

基本的な科学研究費補助金の審査たとえば麻酔科学領域の研究申請書の評価は各大学の麻酔科学講座の”教授”が行っています。
教授の業績の質と量があるのかについての情報が開示されているわけではありませんが、全国の麻酔科講座の教授の業績を国際標準で評価することは可能ー 個人レベルで簡単にできます というか10人分くらい調べてみました ーであり”平均的なProductivityが異常に低い上に出す論文もクソレベルな研究者”には審査を受けたくないと本気で思うような人もいます。そういうひとは審査に関わっていないと思うしかありません。

純粋に定量的な指標を研究者の評価にどんどんと導入してもらいたいと思います。これで文句があるなら頻用回数のあがる論文を書けばいいのです。

ビッグラボの出身で七光りをあびて研究を進めている研究者とそれが無い研究者ではそもそも出発点が異なります。金とポジションありきでキャリアを始めることのできる研究者が現実に存在します。”伯楽”に見いだされた”白眉”ということでまあ大目に見るということもできますがその他は普通の研究者です。

女子カーリングの決勝戦を途中から観ました。スウェーデンのスキップのような小憎らしいおばさんに目黒さんがなったときに日本も強くなっていると思います。頑張れ日本。


PDF
Tagged with:  
madeonamac.gif Creative Commons License