RW Space

На прошлой неделе стало известно трагическое известие о том, что американский подросток Сьюэлл Зельтцер III покончил с собой после того, как у него возникла глубокая эмоциональная привязанность к чат-боту с искусственным интеллектом (ИИ) на сайте Character.AI.

Поскольку его отношения с компаньоном ИИ становились все более напряженными, 14-летний мальчик начал отдаляться от семьи и друзей, и у него начались проблемы с school.

В иске, поданном против Chart.AI матерью мальчика, расшифровки чата часто и интимны. очень сексуальные разговоры между Сьюэллом и чат-ботом Дэни, созданным по образцу персонажа из «Игры престолов» Данерис Таргариен.

Они обсуждали преступления и самоубийства, а чат-бот использовал такие фразы, как «это не повод не доводить дело до конца».

Это не первый известный случай самоубийства уязвимого человека после взаимодействия с персонажем чат-бота.

В прошлом году бельгиец покончил с собой в аналогичном эпизоде ​​с участием главного конкурента Character.AI, Chai AI. Когда это произошло, компания сообщила средствам массовой информации, что «прикладывает все усилия, чтобы минимизировать вред».

В В заявлении для CNN компания Character.AI заявила, что они «очень серьезно относятся к безопасности наших пользователей» и ввели «множество новых мер безопасности за последние шесть месяцев».

В отдельном заявлении на сайте компании изложены дополнительные меры безопасности для пользователей младше 18 лет. (В их текущих условиях обслуживания возрастное ограничение составляет 16 лет. для граждан Европейского Союза и 13 других стран мира.)

Однако эти трагедии ярко иллюстрируют опасность быстро развивающиеся и широко доступные системы искусственного интеллекта, с которыми каждый может общаться и взаимодействовать. Нам срочно необходимо регулирование, чтобы защитить людей от потенциально опасных, безответственно спроектированных систем ИИ.

Как мы можем регулировать ИИ ?

Правительство Австралии находится в процессе разработки обязательных мер защиты для систем искусственного интеллекта высокого риска. Модный термин в мире управления ИИ, «ограждения» относится к процессам проектирования, разработки и развертывания систем ИИ.

К ним относятся такие меры, как управление данными, управление рисками, тестирование, документирование и человеческий надзор.

Одно из решений, которое должно принять австралийское правительство, — это определить, какие системы относятся к «высокому риску» и, следовательно, находятся под защитой.

Правительство также рассматривает возможность применения ограждений ко всем «моделям общего назначения».

Модели общего назначения — это двигатель под капотом чат-ботов с искусственным интеллектом, таких как Дэни: алгоритмы искусственного интеллекта, которые могут генерировать текст, изображения, видео и музыку из подсказок пользователя и могут быть адаптированы для использования в различных контекстах.

В новаторском Законе Европейского Союза об искусственном интеллекте системы высокого риска определяются с помощью списка, регулирующие органы которого имеет право регулярно обновлять.

Альтернативой является подход, основанный на принципах, при котором происходит отнесение к группе высокого риска. в каждом конкретном случае. Это будет зависеть от множества факторов, таких как риски неблагоприятного воздействия на права, риски для физического или психического здоровья, риски юридических последствий, а также серьезность и масштаб этих рисков.

Чат-боты должны быть искусственным интеллектом «высокого риска».

В Европе сопутствующие системы искусственного интеллекта, такие как Character.AI и Chai, не относятся к категории высокорискованных. риск. По сути, их провайдерам нужно только сообщать пользователям, что они взаимодействуют с системой искусственного интеллекта.

Это стало Однако ясно, что чат-боты-компаньоны не представляют низкого риска. Многие пользователи этих приложений — дети и подростки. Некоторые системы даже продаются людям, которые одиноки или страдают психическими заболеваниями.

Чат-боты способны генерировать непредсказуемый, неуместный и манипулятивный контент. Они слишком легко имитируют токсичные отношения. Прозрачности — маркировки результатов как созданных искусственным интеллектом — недостаточно для управления этими рисками.

Даже когда мы осознают, что мы разговариваем с чат-ботами, люди психологически настроены приписывать человеческие черты тому, с чем мы общаемся.

Случаи самоубийств, о которых сообщалось в средствах массовой информации, могут быть лишь верхушкой айсберга. У нас нет возможности узнать, сколько уязвимых людей находятся в вызывающих привыкание, токсичных или даже опасных отношениях с чат-ботами.

Ограждения и «выключатель»

Когда Австралия, наконец, введет обязательные ограждения для систем искусственного интеллекта с высоким уровнем риска, что может произойти уже в следующем году, ограждения должны применяться как к сопутствующим чат-ботам, так и к моделям общего назначения. на основе которых построены чат-боты.

Защитные меры – управление рисками, тестирование, мониторинг – будут наиболее эффективными, если они доберитесь до сути опасностей ИИ. Риски, связанные с чат-ботами, — это не просто технические риски, связанные с техническими решениями.

Помимо слов, которые чат-бот может использовать, контекст продукта тоже имеет значение.

В случае с Character.AI маркетинг обещает «расширяет возможности» людей, интерфейс имитирует обычный обмен текстовыми сообщениями с человеком, а платформа позволяет пользователям выбирать из ряда готовых персонажей, в том числе некоторых проблемных персонажей.

Действительно эффективные защитные ограждения ИИ должны требовать большего чем просто ответственные процессы, такие как управление рисками и тестирование. Они также должны требовать продуманного и гуманного проектирования интерфейсов, взаимодействий и отношений между системами ИИ и их пользователями-людьми.

Даже в этом случае ограждений может быть недостаточно. Как и сопутствующие чат-боты, системы, которые на первый взгляд кажутся малорискованными, могут причинить непредвиденный вред.

Регулирующим органам следует имеют право удалить системы искусственного интеллекта с рынка, если они причиняют вред или представляют неприемлемые риски. Другими словами, нам нужны не только ограждения для ИИ высокого риска. Нам также нужен выключатель.

Если эта история вызвала беспокойство или вам нужно с кем-то поговорить, ознакомьтесь с этим списком, чтобы найти круглосуточную горячую линию по кризисным ситуациям в вашей стране, и свяжитесь с ней. за помощью.

Генри Фрейзер, научный сотрудник в области права, отчетности и науки о данных, Технологический университет Квинсленда p>

Эта статья перепечатана из журнала The Conversation под лицензией Creative Commons. Прочтите оригинал статьи.