コンピューターはあなたが誰なのかを知っていると思い込んでいます。人工知能（AI）のアルゴリズムは画像から物体を認識でき、顔さえも認識できます。しかし、顔認識アルゴリズムの中身を垣間見る機会は滅多にありません。ImageNet Rouletteを使えば、AIが結論を急ぐ様子を見ることができます。その推測の中には面白いものもあれば…人種差別的なものまであります。

ImageNet Rouletteは、アート＆テクノロジー博物館の「Training Humans」展の一環として設計されました。普段は単純で偏りがないと思われがちな顔認識アルゴリズムの、複雑な内部構造を見せてくれるものです。AI研究で用いられる大規模かつ標準的なデータベースのデータを使用しています。写真をアップロードすると、アルゴリズムがあなたのことをどのように認識しているかを表示します。私の最初の自撮り写真には「非喫煙者」というラベルが付けられました。もう1枚には「顔」というラベルが付けられました。編集長には「心理言語学者」というラベルが付けられました。ソーシャルエディターには「swot、grind、nerd、wonk、dweeb」というタグが付けられました。無害な楽しみですよね？

でも、もっと暗い場所で自分の写真を撮ってみたら、「黒人、黒人、ブラックアムーア、ニグロ、ニグロイド」というタグが返ってきました。実際、これは肌の色が濃い人にAIが付けるラベルのようです。さらにひどいのは、このツールについて議論しているTwitterのスレッドでは、有色人種の人たちが「ムラート」などのタグや、「孤児」や「レイプ容疑者」といった明らかに面白くないラベルと一緒に、このタグを常に付けられているということです。

このツイートは現在利用できません。読み込み中か削除された可能性があります。

これらのカテゴリはImageNet/WordNetデータベースのオリジナルであり、ImageNetルーレットツールの開発者によって追加されたものではありません。後者からの注記は次のとおりです。

ImageNet Rouletteは、人物を不審かつ残酷な方法で分類することが頻繁にあります。これは、基盤となる学習データにこれらのカテゴリ（およびそれらのカテゴリにラベル付けされた人物の写真）が含まれているためです。これらの分類は、基盤となる学習データに任せたものではありません。これらのカテゴリと学習画像は、プリンストン大学とスタンフォード大学で作成され、画像分類と物体検出の標準的なベンチマークとして使用されているImageNetという人気のデータセットからインポートしました。

ImageNet Roulette の目的の一つは、さまざまな種類の政治が、多くの場合はシステムの作成者が気付かないうちに、技術システムを通じてどのように伝播していくかを示すことです。

これらのラベルはどこから来たのでしょうか?

このツールは、画像とラベルのデータベースであるImageNetをベースにしています。ImageNetは、画像認識アルゴリズムの学習データとして、当時も今も最大規模かつ最もアクセスしやすい情報源の一つです。Quartzの報道によると、このツールはオンラインで収集された画像から構築され、主にMechanical Turkの作業員（大量の画像を数セントで分類する人間）によってタグ付けされました。

このツイートは現在利用できません。読み込み中か削除された可能性があります。

ImageNetの制作者は収集した写真の所有権を持っていないため、そのまま公開することはできません。しかし、興味があれば、写真のタグを検索して、写真の元のソースとなったURLのリストを取得できます。例えば、「人、個人、誰か、誰か、死すべき者、魂」>「科学者」>「言語学者、言語科学者」>「心理言語学者」と検索すると、この写真のリストが表示されます。その多くは大学の教員のウェブサイトから取得したものと思われます。

このツイートは現在利用できません。読み込み中か削除された可能性があります。

これらの画像を閲覧すると、ここで何が起こっているのかが垣間見えます。心理言語学者は、学部生のような顔写真で撮影された白人であることが多いです。あなたの写真が彼らの写真に似ている場合、心理言語学者としてタグ付けされる可能性があります。同様に、他のタグは、それらのタグが付いた訓練画像との類似性によって決まります。禿げ頭であれば、スキンヘッドとしてタグ付けされるかもしれません。肌が黒く、派手な服を着ている場合は、アフリカの儀式用の衣装を着ているとしてタグ付けされるかもしれません。

このツイートは現在利用できません。読み込み中か削除された可能性があります。

ImageNetは、偏りのない客観的なアルゴリズムとは程遠く、作成者が収集した画像、それらの画像を生み出した社会、mTurkの作業員の頭の中、そしてラベルの単語を提供した辞書に潜む偏見を反映しています。ずっと昔、誰かかコンピューターが「blackamoor」をオンライン辞書に追加しましたが、それ以来、多くの人がAIのタグに「blackamoor」を見てきたはずです（なんと2019年なのに！）。そして、「わあ、これ削除しよう」とは思わなかったのです。確かに、アルゴリズムは人種差別的、性差別的になり得ます。なぜなら、彼らは私たちを観察してそれを学んだからです。そうでしょう？彼らは私たちを観察してそれを学んだのです。