RW Space

В 1998 году я непреднамеренно создал алгоритм искусственного интеллекта с расовой предвзятостью. Из этой истории есть уроки, которые сегодня звучат еще сильнее.

Опасности предвзятости и ошибок в алгоритмах ИИ теперь хорошо известны. Почему же тогда технологические компании в последние месяцы допустили множество ошибок, особенно в мире чат-ботов и генераторов изображений с искусственным интеллектом?

Первоначальные версии ChatGPT производили расистские результаты. Генераторы изображений DALL-E 2 и Stable Diffusion продемонстрировали расовую предвзятость в созданных ими изображениях.

Мое собственное прозрение как белого ученого-компьютерщика произошло во время преподавания на уроке информатики в 2021 году. Класс только что закончил просмотрела видеопоэму Джой Буоламвини, исследователя ИИ и художника, а также самопровозглашенного поэта кода.

Ее видеопоэму 2019 года «ИИ, разве я не женщина?» — это разрушительное трехминутное разоблачение расовых и гендерных предубеждений в системах автоматического распознавания лиц, разработанных такими технологическими компаниями, как Google и Microsoft.

Системы часто не работают с цветными женщинами, ошибочно обозначая их как мужчин. Некоторые из неудач особенно вопиющие: волосы темнокожего лидера за гражданские права Иды Б. Уэллс помечены как «шапка из енотовой шкуры»; другая чернокожая женщина названа обладательницей «усов как у моржа».

Эхо сквозь годы

У меня было ужасное дежа вю на том уроке информатики: я внезапно вспомнил, что я, тоже когда-то создали алгоритм с расовой предвзятостью. В 1998 году я был докторантом. Мой проект включал отслеживание движений головы человека на основе данных с видеокамеры.

Мой научный руководитель уже разработал математические методы для точного отслеживания движения головы в определенных ситуациях, но система должна была быть намного быстрее. и более крепкий. Ранее, в 1990-х годах, исследователи из других лабораторий показали, что области изображения телесного цвета можно извлекать в режиме реального времени. Поэтому мы решили сосредоточиться на цвете кожи в качестве дополнительной подсказки для трекера.

Я воспользовался цифровой камерой — тогда еще редкостью — чтобы сделать несколько снимков собственной руки и лица, и я также сфотографировали руки и лица двух или трех других людей, оказавшихся в здании. Было легко вручную извлечь некоторые пиксели цвета кожи из этих изображений и построить статистическую модель для цветов кожи.

После некоторой настройки и отладки мы получили удивительно надежное отслеживание головы в реальном времени. система.

Вскоре после этого мой консультант попросил меня продемонстрировать систему приехавшим в гости руководителям компании. Когда они вошли в комнату, меня мгновенно охватила тревога: руководители были японцами. В своем случайном эксперименте, чтобы увидеть, будет ли простая статистическая модель работать с нашим прототипом, я собрал данные от себя и нескольких других, которые случайно оказались в здании. Но у 100 процентов этих испытуемых была «белая» кожа; японские руководители — нет.

Чудесным образом система все равно работала достаточно хорошо на руководителях. Но меня потрясло осознание того, что я создал систему с расовой предвзятостью, которая легко могла провалиться для других небелых людей.

Привилегии и приоритеты

Как и почему хорошо образованные, ученые с благими намерениями создают предвзятые системы искусственного интеллекта? Социологические теории привилегий предоставляют одну полезную линзу.

За десять лет до того, как я создал систему слежения за головой, ученый Пегги Макинтош предложила идею «невидимого рюкзака», который носят белые люди. Внутри рюкзака находится кладезь привилегий, таких как: «Я могу преуспеть в сложной ситуации, и при этом меня не будут называть заслугой моей расы» и «Я могу критиковать наше правительство и говорить о том, как сильно я боюсь его политики и поведения, не вызывая при этом угрызений совести». рассматривается как культурный аутсайдер».

В эпоху ИИ этому рюкзаку нужны некоторые новые элементы, такие как «Системы ИИ не будут давать плохих результатов из-за моей расы». Невидимый рюкзак белого ученого также понадобится: «Я могу разработать систему искусственного интеллекта, основанную на моей внешности, и знаю, что она будет хорошо работать для большинства моих пользователей».

Одно из предложенных средств защиты от белых привилегий должен быть активным антирасистом. Для системы слежения за головой 1998 года может показаться очевидным, что антирасистское средство — одинаково относиться ко всем цветам кожи. Конечно, мы можем и должны гарантировать, что обучающие данные системы как можно более одинаково представляют диапазон всех цветов кожи.

К сожалению, это не гарантирует, что все цвета кожи, наблюдаемые системой, будут обрабатываться одинаково. Система должна классифицировать каждый возможный цвет как телесный или не телесный. Следовательно, цвета существуют прямо на границе между кожей и не кожей — область, которую компьютерщики называют границей решения. Человек, чей цвет кожи выходит за эту границу, будет классифицирован неправильно.

Ученые также сталкиваются с неприятной подсознательной дилеммой при включении разнообразия в модели машинного обучения: разнообразные инклюзивные модели работают хуже, чем узкие модели.

Это можно объяснить простой аналогией. Представьте, что вам дали выбор между двумя задачами. Задача А состоит в том, чтобы определить один конкретный тип дерева, скажем, вязы. Задача Б – определить пять видов деревьев: вяз, ясень, акация, бук и орех. Очевидно, что если вам дается фиксированное количество времени для практики, вы лучше справитесь с задачей А, чем с задачей Б.

Точно так же алгоритм, который отслеживает только белую кожу, будет более точным, чем алгоритм, который отслеживает весь спектр цветов кожи человека. Даже если они осознают необходимость разнообразия и справедливости, эта конкурирующая потребность в точности может подсознательно влиять на ученых.

Скрытое в цифрах

Мое создание предвзятого алгоритма было необдуманно и потенциально оскорбительно. Что еще более тревожно, этот инцидент демонстрирует, как предвзятость может оставаться скрытой глубоко внутри системы ИИ. Чтобы понять почему, рассмотрим конкретный набор из 12 чисел в матрице из трех строк и четырех столбцов. Они кажутся расистскими?

Алгоритм отслеживания головы, который я разработал в 1998 году, управляется такой матрицей, которая описывает цветовую модель кожи. Но только по этим цифрам нельзя сказать, что это на самом деле расистская матрица. Это просто числа, автоматически определяемые компьютерной программой.

Проблема сокрытия предвзятости у всех на виду гораздо острее в современных системах машинного обучения. Глубокие нейронные сети — в настоящее время самый популярный и мощный тип модели ИИ — часто содержат миллионы чисел, в которых можно закодировать предвзятость. Предвзятые системы распознавания лиц, подвергнутые критике в статье «ИИ, разве я не женщина?» — все это глубокие нейронные сети.

Хорошая новость заключается в том, что значительный прогресс в обеспечении справедливости ИИ уже достигнут как в академических кругах, так и в промышленности. У Microsoft, например, есть исследовательская группа, известная как FATE, занимающаяся справедливостью, подотчетностью, прозрачностью и этикой в ​​ИИ. Ведущая конференция по машинному обучению, NeurIPS, разработала подробные этические рекомендации, в том числе список из восьми пунктов негативных социальных последствий, которые должны учитывать исследователи, подающие документы.

Кто в комнате, кто за столом

С другой стороны, даже в 2023 году справедливость все еще может стать жертвой конкурентного давления в научных кругах и промышленности. Ущербные чат-боты Bard и Bing от Google и Microsoft — недавнее свидетельство этой мрачной реальности. Коммерческая необходимость увеличения доли рынка привела к преждевременному выпуску этих систем.

У этих систем точно такие же проблемы, как и у моего хедтрекера 1998 года. Их тренировочные данные необъективны. Они разработаны нерепрезентативной группой. Они сталкиваются с математической невозможностью рассматривать все категории одинаково. Они должны каким-то образом обменять точность на справедливость. И их предубеждения скрываются за миллионами непостижимых числовых параметров.

Итак, как далеко продвинулась область ИИ с тех пор, как более 25 лет назад докторант смог спроектировать и опубликовать результаты расово предвзятый алгоритм без очевидного надзора или последствий? Понятно, что предвзятые системы ИИ все еще могут быть созданы непреднамеренно и легко. Также ясно, что предвзятость в этих системах может быть вредной, ее трудно обнаружить и еще труднее устранить.

В наши дни стало клише говорить, что промышленность и научные круги нуждаются в различных группах людей, работающих «в помещении», занимающихся проектированием. эти алгоритмы. Было бы полезно, если бы поле могло достичь этой точки. Но на самом деле, поскольку североамериканские докторские программы по компьютерным наукам заканчивают только около 23 % женщин и 3 % чернокожих и латиноамериканцев, по-прежнему будет много комнат и множество алгоритмов, в которых недопредставленные группы вообще не представлены.

Вот почему фундаментальные уроки моего хедтрекера 1998 года сегодня еще более важны: легко совершить ошибку, предвзятость легко проникнуть незамеченной, и каждый в комнате несет ответственность за ее предотвращение.

Джон МакКормик, профессор компьютерных наук, Колледж Дикинсона

Эта статья переиздана из The Conversation под лицензией Creative Commons. Прочтите исходную статью.