Rotten TomatoesとMetacriticは、映画の良し悪しを判断する最初の手段となっています。最近まで、それぞれのサイトがレビュースコアをどのように算出しているのか全く分かりませんでした。しかし、実際に読んでみると、今まで自分が間違っていたことに気づきました。

Rotten TomatoesとMetacriticの評価はどこから来るのか

Rotten TomatoesとMetacriticの評価は、Flixsterのような映画一覧アプリからGoogle検索結果まで、あらゆるものに埋め込まれています。映画のタイトルの横に表示されているのを見たことがあるでしょう。経験豊富なユーザーなら、各サイトが批評家向けと一般視聴者向けの2つのスコアを持っていることをご存知かもしれません。しかし、各サイトでスコアの算出方法が大きく異なることに気づいていない方もいるかもしれません。

Rotten Tomatoesは批評家の評価を得るために、様々なソースから批評家のレビューを収集しています。映画の知名度にもよりますが、通常は数百件程度です。各レビューはフレッシュ（肯定的）またはロッテン（否定的）に分類されます。表示されるスコアは、全レビューのうち「フレッシュ」と判断されたレビューの割合です。例えば、最近のスーパーヒーロー対決映画『バットマン vs スーパーマン』では、サイトは327件のレビューを集め、そのうち90件が肯定的なカテゴリーに分類されました。90は327の28%なので、これが映画のスコアとなります。

一方、Metacritic のシステムは、もう少しニュアンスに富んでいます。同社はウェブ全体からレビューを収集し、0 から 100 のスコアを割り当てています。サイトが測定可能な指標 (数値評価システムや文字による評価など) を使用している場合、Metacritic ではその数値に最も近いと思われる数字を入力します。その後、サイトはすべてのレビューの加重平均を出します。同社は個々のレビュアーにどの程度の重み付けをしているかは明らかにしていませんが、特定のレビュアーは、その「名声」に基づいて、総合評価でより大きな重要性が与えられていると説明しています。このシステムにより、もう少しニュアンスが表れるようになっています。『バットマン vs スーパーマン』の場合、Metacritic はこの映画に 44 の評価を与えました。これは、Rotten Tomatoes の 28% よりもかなり高いものです。

Rotten TomatoesとMetacritic、そしてIMDbもそれぞれ独自のユーザースコアを採用していることを指摘しておく価値があります。これらのスコアは、3つのサイトでほぼ一貫しています。ユーザーは映画を1から10までの尺度で評価できます（厳密にはRotten Tomatoesは5つ星評価ですが、半分の星も使用できるため、計算は機能的に同じです）。そして、各サイトはそれぞれ異なる方法でスコアに重み付けを行い、最終的なユーザー評価を算出します。

ロッテントマト、スコアを極端に引き上げる

Rotten Tomatoes の方法の問題点は、レビュー全体を「良い」か「悪い」の2つに絞り込むことで、批評家のレビューにコイン投げのようなニュアンスを与えてしまうことです。これにより、レビューのスコアが極端に振れてしまいます。Rotten Tomatoes は注意を引いていませんが、Web サイトの Tomatometer スコアのすぐ下に、各映画の「平均評価」があります。このスケールは、レビュアーに10段階評価で値を割り当てた後、そのスコアを平均化したものです。もう一度、前述の Batman v Superman の例を見ると、平均評価は実際には4.9であることがわかります。これは、Metacritic がこの映画を評価した値よりも高いものです。ただし、Rotten Tomatoes では、映画はまあまあだがいくつか問題があると考えたレビュアーを、映画が全くダメだと思ったレビュアーと同じように扱うため、平均をわずかに下回る 4.9 というスコアは、悲惨な 28% のスコアに引き下げられてしまいます。

しかし、この効果はマイナスだけではありません。もう一つの夏のスーパーヒーロー大激突を見れば、逆の効果を見ることができます。『シビル・ウォー／キャプテン・アメリカ』は現在、Rotten Tomatoesで平均評価7.9とまずまずの評価を得ていますが、トマトメータースコアは92%とかなり高く（137件中126件が「フレッシュ」）、Metacriticの評価方法では『シビル・ウォー』に77点が付けられており、これはRotten Tomatoesの平均評価にかなり近い値です。まさにこの効果は、トマトメーターをキャプテン・アメリカのスーパーソルジャー血清に少し似ています。つまり、良いものはより素晴らしく、悪いものはより悪化するのです。

Rotten Tomatoesのユーザースコアにも同じ効果が見られますが、その効果はやや控えめです。3.5つ星（10点満点中7点）は肯定的、つまり「フレッシュ」とみなされ、それより低い評価は否定的、つまり「ロッテン」とみなされます。ユーザースコアは肯定的な評価の割合を表しています。これはまだ単純化されていますが、ソースデータには主観的な「良い」または「悪い」よりも中間的な評価の余地があり、抽出できるデータセットもはるかに膨大です。

Metacriticはよりニュアンスに富んでいるが、より偏っている可能性もある

Rotten Tomatoesの最大の問題は、ニュアンスを無視していることかもしれないが、そうしたいのも無理はない。Metacriticはニュアンスを重視する一方で、それを「間違っている」と批判されることもある。前述の通り、Metacriticはレビューを平均化する前に数値を割り当てている。しかし、その数値を選ぶのは主観的な作業になりかねない。

例えば、多くのレビューサイトでは、レビューにAからFまでの文字による評価が付けられています。Metacriticでは、Fの評価であれば0点、B-の評価であれば67点が付けられます。この評価基準に異議を唱えるレビュアーもおり、Fは50点に近い、Bは80点に近いべきだと考えています。文字による評価が標準化されていないにもかかわらず、これはMetacriticの重要な問題を浮き彫りにしています。つまり、意見に数値をどのように付与するのかということです。

逆説的ですが、Metacritic はレビュアーにスコアのコントロールの自由度を与えていると同時に、その自由度を低くしています。レビュアーの評価や意見は、ブール値の良し悪しよりも数値スコアの方が忠実に反映されます。一方で、レビュアーの意見が、レビュアー自身に反する形で表現される可能性も大きく、結果的に大きな変化をもたらします。業界がレビュースコアに依存し始めると、これは大きな問題となる可能性があります。もちろん、もしMetacritic が各レビュアーに100点か0点のどちらかしか選べないようにしていたら、おそらく意見の相違ははるかに大きくなっていたでしょう（数学的に言えば、Rotten Tomatoes はまさにそれを実現しています）。

レビュースコアで本当に重要なこと

レビュースコアに関して、どれだけ「客観的」であろうと努力しても、結局は意見を数字に変換しようとしているのです。それはまるで愛を化石燃料にしようとしているようなものです。一見すると、この変換は意味をなさないように思えます。しかし、レビュースコアは依然として有用です。世の中にはたくさんの映画があり、ほとんどの人はそれらをすべて自分で観る時間もお金もありません。レビュアーは、どの映画に時間を費やす価値があるかを判断するのに役立ちます。分かりやすいレビュースコアは、その判断をさらに容易にし、シンプルな2桁の数字へと導きます。私の経験上（あくまで個人的な意見ですが）、各指標の最適な活用方法は次のとおりです。

• Rotten Tomatoesは、基本的な「はい/いいえ」形式の推薦エンジンです。「この映画を見るべきか？」という質問にシンプルな答えが欲しいなら、Rotten Tomatoesはおそらくかなり的確な答えを提供してくれるでしょう。スコアは必ずしも映画の良し悪しを反映するものではありませんが、映画への熱狂度をかなり正確に測ることができます。ただし、Rotten Tomatoesは映画を極端な方向に押し上げる傾向があることを覚えておいてください。

• Metacriticは、レビュアーの意見に基づいて映画の価値を測ろうとしています。意見は決して客観的ではありませんが、MetacriticはRotten Tomatoesよりも実際の映画の質に近いと言えるでしょう。その反面、Metacritic独自の意見が意図せず混入してしまう可能性もあります。

• どのサイトでも、ユーザーレビューは概ね一貫した世論を反映しています。Rotten Tomatoes、Metacritic、IMDbのユーザー評価には多少の差異がありますが、いずれも公開されているため、どのユーザー評価も平均的な映画ファンの意見をある程度把握するのに役立ちます。ただし、あくまで平均的な映画ファンの意見であることを覚えておいてください。あなたの好みが主流と異なる場合、ユーザー評価に同意できないかもしれません。

最も重要なのは、あなたの意見はあくまでもあなた自身のものであるということを忘れないことです。レビューを書く人は、どんなに善意を持っていても、あなたとは異なる背景を持っており、あなたが好まないものを楽しめるかもしれません。映画ファンは、まるで競技スポーツのようにレビューのスコアを追いかけます。確かにそれは楽しいことですが、レビューは意見を測るものである限り、真に客観的なスコアにはなり得ないことを覚えておくことが重要です。何に時間を費やすかを決める際に、自分にとって最も役立つ指標を使うべきですが、数字に好き嫌いを決められてはいけません。