2021年3月25日にTHEとベネッセによる大学ランキング日本版2021が公開されました。ランキングというものは内容がどうであれ公表されてしまうとそれだけで耳目を集め、その対象に影響を及ぼします。
ただし、関係者には申し訳ないですがこのランキングは大きな問題があります。しかも年々ひどくなっています。それについて書いてみようと思います。ぜひランキングの関係者には是正をお願いしたいと思います。
ただし、ランキング自体の問題も当然あり、それは個別項目をどんなに変更しても解消できません。それについては別の記事で書きましたのでそちらを参照してください。
Contents
THEランキングの基本的な構造
具体的な項目を検証する前にTHE大学ランキング日本版の構造を確認しておきましょう。
このランキングは教育リソース（教員や研究などの具体的な数値が対象）、教育充実度（学生及び高校教員へのアンケート調査の結果）、教育成果（企業アンケート及び世界大学ランキングの評判調査の結果）、国際性（留学生や留学比率、外国語授業の比率等の数値が対象）の４つから構成されており、これらそれぞれを100点満点で計算したうえで、各項目を割り当てられた比率で案分してトータルで100点満点で順位を付けます。
2021年現在では教育リソース34％、教育充実度30％、教育成果16％、国際性20％となっています。これを見ると、客観的な数値だけではなくアンケートなどの主観的な数値も交えたいろいろな評価軸でランキングが制作されているという印象を持たれるかもしれません。
特にこれらの比率が後の分析で重要になるので覚えておいてください。
教育リソースの過小評価
こう書くと教育リソースは34％もあるじゃないかと言われるかもしれません。問題なのは数字の多寡ではなく、一見最も高い比率を割り当てられながらそれ相応の評価がされていないことが問題なのです。
下は今回の項目ごとの最高得点です。
教育リソース（34％） 80.3点
教育充実度（30％） 92.5点
教育成果（16％） 98.8点
国際性（20％） 99.9点
これを見るとお気づきかと思いますが、教育リソースだけが最高点が極端に低く設定されています。点数は比率での案分ですから、小数第2位で四捨五入すると教育リソースは80.3×34％＝27.3点、教育充実度は92.5×30％＝27.8点、教育成果は98.8×16％＝15.8点、国際性は99.9×20％＝20点ということになります。
つまり教育リソースは見た目では34％を割り振られていますが、実質的には約27点満点となり、7点分が最初から削られた点数構成になっています。教育充実度もやや低くなっていますが、その差は約2点分であり、教育リソースの減点分が多くなっています。
大学の中では教育リソースに優位性のある大学（医学部のある大学などが該当します）や国際性に優位性のある大学（「国際」などを大学名や学部名に関しているところが該当します）など様々です。それによって大学ごとに分野ごとの点数に特徴が出ることが予想されますが、国際性は頑張って1位の評価をもらったら100点もらえるのに、教育リソースは頑張っても80点しかもらえないというのは不公平ではないでしょうか。
もちろん実施者からすれば小項目間で強い大学に違いがあるのだという反論があるかもしれません。そうであるならば真ん中に寄せるのではなく、1位の100点を基準点としなければいけないはずです。得点分布については後で触れます。
性質上評価が偏る項目がある
これは主に教育充実度と教育成果の基準となっているアンケート、特に高校教員や企業などの第三者に課されるアンケート結果に関わる項目で見られます。
こちらもすぐにお気づきかと思いますが、皆さん「良い取り組みをしている大学名」を答えてください。といって答えられる大学は何校あるでしょうか？高校教員ならそれなりに答えられるかもしれませんが、企業関係者はどれくらい答えられるでしょうか？ましてや海外の研究者で日本の大学で知っている大学と言ったら数校でしょう。
認知されているかどうかだけでも非常に少ないのに、良い取り組みをしている大学となるとますますその数が減ってくるでしょう。例えば同じような教育プログラムを実施しているとして東大が発表する場合と地方の小規模大学が発表する場合では認知に差が出るのは当然かと思います。
結果的に「普通の取り組みをしている有名大学＞良い取り組みをしている小規模大学」という関係になることは容易に想像できますし、良い取り組みをしている（と報道される）有名大学が極端に得票を集めるということも容易に想像できます。
また、企業関係の根拠となる数字は日経HRの調査の数字を使用しているようですが、対象は上場企業＋未上場大企業の人事担当です。上場企業が対象ということになりますから、業界はおのずと限定されます。特に医科大学などはまず間違いなく対象からは除外されます。規模の大きさに加えて分野によっても認知に差が出てきてしまいます。
結果的に教育成果については非常に得点の高い10大学とそれ以外の大学にくっきり色分けされます。これは実際の取り組みを反映しているとは言えないでしょう。教育充実度はややマイルドな分布となっていますが、これは在学生へのアンケート調査が半分ほど混ざっていることからその分の得点が分布に影響しただけだと考えられます。
得点分布が年々いびつになっている
ここまでは項目間の不公平について述べましたが、ここからは得点分布についての不公平について述べます。
これはアンケートが回数を重ねるにつれてひどくなっています。以下に数値が手に入る過去3年間の点数ごとの度数分布を示したものです。
ただし、2019年は総数が150校、2020年と2021年は総数が200校になることに注意してください。（教育成果の2020年だけは同点が多かったのか205校になっています）
教育リソース
| 点数 | 2019年 | 2020年 | 2021年 |
| 90- | 0 | 0 | 0 |
| 80- | 5 | 8 | 2 |
| 70- | 15 | 16 | 21 |
| 60- | 29 | 29 | 15 |
| 50- | 35 | 46 | 39 |
| 40- | 31 | 37 | 34 |
| 30- | 35 | 54 | 37 |
| 20- | 0 | 10 | 52 |
| 50以上校数 | 84 | 99 | 77 |
| 最高点 | 87.0 | 86.5 | 80.3 |
教育充実度
| 点数 | 2019年 | 2020年 | 2021年 |
| 90- | 2 | 2 | 2 |
| 80- | 8 | 9 | 17 |
| 70- | 42 | 47 | 39 |
| 60- | 56 | 62 | 57 |
| 50- | 42 | 72 | 35 |
| 40- | 0 | 8 | 50 |
| 50以上校数 | 150 | 192 | 150 |
| 最高点 | 92.4 | 93.0 | 92.5 |
教育成果
| 点数 | 2019年 | 2020年 | 2021年 |
| 90- | 11 | 11 | 11 |
| 80- | 2 | 1 | 1 |
| 70- | 6 | 5 | 2 |
| 60- | 17 | 27 | 2 |
| 50- | 49 | 53 | 11 |
| 40- | 44 | 48 | 32 |
| 30- | 15 | 29 | 65 |
| 20- | 6 | 23 | 26 |
| 10- | 0 | 8 | 50 |
| 50以上校数 | 85 | 97 | 27 |
| 最高点 | 98.4 | 98.4 | 98.8 |
国際性
| 点数 | 2019年 | 2020年 | 2021年 |
| 90- | 3 | 3 | 12 |
| 80- | 11 | 13 | 12 |
| 70- | 15 | 17 | 26 |
| 60- | 25 | 27 | 30 |
| 50- | 25 | 27 | 27 |
| 40- | 41 | 42 | 43 |
| 30- | 30 | 71 | 0 |
| 20- | 0 | 0 | 50 |
| 50以上校数 | 79 | 87 | 107 |
| 最高点 | 100.0 | 100.0 | 99.9 |
これら4つの表の中で特に注目してもらいたいのが50以上校数という数値です。これは各項目で50点以上を取った大学数を記載したものですが、これを見ると教育リソースと教育成果については2021年度に50点以上を取った学校数が大きく減少し、国際性に関しては逆に増加していることがわかります。
教育リソースについては最初の項目でも述べたように最高点自体が抑えられています。それが各大学の努力で数値が中央に固まっているということならまだ理解できますが、「全体的に数値が下がっている」ことが大きな問題です。1位を100点と取り扱わないどころか全体的に比重を落とすという結果になっています。
次に教育成果ですが、こちらは2021年度に極端に数値が低下しているということが一目瞭然です。この項目については上位の10数校だけが高い点を取り、残りの大学の数値が極端に下げられているのです。
ランキング制作側は同じ基準で評価できているということを述べていますが、それは形式的なことで実質的には教育リソースと教育成果に強みを持つ大学は軒並み得点を下げられていることになります。逆に国際性については50点以上の大学は増えており、全体的に数値が上がっています。つまり、形式的な数値以上に国際性の比重が大きくなっているということを示しています。
国際性の数値は正確には下の方の大学は数値が伸びておらず二極化しているという表現が正確なのかもしれません。国際性の数値に関しては別の問題があります。
国際性の数値はドングリの背比べなのに
THEは国際性を重視しています。その証拠に国際性の数値の元になるデータを各大学の数値として公表しています。実はこの数値については「公表されている割にブラックボックス」なのです。
国際性の評価は「外国人留学生比率」「日本人学生の留学比率」「外国語講座の比率」「外国人教員比率」の4つで成り立っており、そのうち外国人教員比率以外の3項目は数値が公表されています。
では、この3項目をさっきの大項目と似たような感じで度数分布にしてみます。これらの数値は2021年版向けの数値（2019年度実績）しか掲載されていないので、1年分です。
| 比率 | 留学生率 | 留学比率 | 外国講座率 |
| 30％- | 4 | 0 | 10 |
| 20％- | 6 | 3 | 15 |
| 10％- | 29 | 27 | 27 |
| 9％- | 4 | 3 | 8 |
| 8％- | 6 | 5 | 10 |
| 7％- | 6 | 19 | 8 |
| 6％- | 8 | 13 | 7 |
| 5％- | 18 | 22 | 9 |
| 4％- | 14 | 33 | 14 |
| 3％- | 24 | 28 | 16 |
| 2％- | 42 | 42 | 23 |
| 1％- | 46 | 55 | 34 |
| 0％- | 68 | 25 | 53 |
| 不明 | 3 | 3 | 44 |
10％まで1％刻み、それより上は10％刻みにしています。また、30％以上の数値もありますが、ほとんどそのような大学はないのでまとめています。また、不明についてはデータなしのものを指しますが、基本的に0％であることが多いと推測されます。
途中まで1％刻みにしていることが示しているように、ほとんどの大学については2％未満となっています。つまり一部の国際系の大学以外はほとんど「ドングリの背比べ」なのです。このような状態なのに全体的な得点分布は上がっているというのはどういう計算をしているのでしょうか。
また、総合ランキング上位層の国際性の点数についても疑問があります。総合上位5大学は留学生比率は全て10％台、留学比率は東工大だけ低いですが残りは5～8％台、外国語講座比率はこれも東工大が大学院の授業をすべて英語で実施するとしている（これはこれで習熟度に問題はないのかという疑問はありますが）ということもあり極端に高くなっていますが、他は10％台となっています。これらの数値は上の表を見てもらえばわかると思いますが、すべて上位の数値になりますしこの数字の上下は他の大学との差と比較すると小さな数値です。なのにこれらを合わせたら東北大の86.8点から東大の69.7点まで20点近くの開きが出ています。もちろん詳細の計算式は公表しない（これがランキング実施側の強み）と思いますが、数値を公表している以上、ここまで違いがある理由はどこかでアナウンスする必要があるでしょう。（同時に東北大の国際性の数値はこの2年で大きく伸びています。過去の数値がわからないため理由はわかりませんが、そんなに点数に反映されるほどの変化があったのか疑問です）
もう一つ外国語講座の比率ですが、この点については各大学の善意に基づきますが、講座数単位であって、実際にどれくらい履修しているかはわかりません。少人数の外国語による講義を粗製乱造することだって理論上は可能です。これは他の項目よりも恣意的にかつ手間をかけず操作しやすい項目です。このあたりのチェックはしっかり実施されているのでしょうか。
まとめー結果的に国際性ランキングになっている
以上THEのランキングに関する不審点を列記しました。以下にこれまでの論点をまとめます。
１．このランキングは過去3年同じ基準で評価していると言っている
２．にもかかわらず個別項目の最高点及び得点分布が各項目で違う方向に推移している
３．結果として国際性の基準が形式的な数値以上に過大に計上されている
４．他方、教育リソースや教育成果に強みを持つ大学が過小評価されている
５．実態として同じ基準で評価しているということに疑いがある
以上のような形になります。
ランキングは制作者側が情報を一手に握って、悪く言えばさじ加減一つでいかようにも左右できます。にもかかわらずランキングで出された順位はその対象者の心象を大きく作用します。以下にランキング制作者が善意であったとしても多くの対象者を無駄な（どんなに頑張っても制作者側の意向には勝てない）活動に駆り立てさせます。
ランキング制作側の倫理としてには少なくとも詳細情報及びランキング計算式の公開は必須でしょう。それができないならランキング自体を公開すべきではないでしょう。