Сюрприз! ChatGPT оказался ужасным в Wordle

Чат-бот с искусственным интеллектом, известный как ChatGPT, разработанный компанией OpenAI, привлек внимание и воображение публики. Некоторые приложения этой технологии действительно впечатляют, например, ее способность обобщать сложные темы или участвовать в длинных беседах.

Неудивительно, что другие компании, занимающиеся искусственным интеллектом, спешат выпустить свои собственные большие языковые модели (LLM). ) — название технологии, лежащей в основе чат-ботов, таких как ChatGPT. Некоторые из этих LLM будут включены в другие продукты, такие как поисковые системы.

Учитывая его впечатляющие возможности, я решил протестировать чат-бота на Wordle — словесной игре из New York Times. – в которую я уже давно играю.

У игроков есть шесть попыток угадать слово из пяти букв. При каждом предположении игра указывает, какие буквы, если они есть, находятся в правильных позициях в слове.

Используя последнее поколение ChatGPT-4, я обнаружил, что его производительность при решении этих головоломок была на удивление низкой. .

Вы можете ожидать, что словесные игры будут проще простого для GPT-4. LLM «обучаются» тексту, то есть им предоставляется информация, чтобы они могли совершенствоваться в том, что они делают.

ChatGPT-4 был обучен примерно 500 миллиардам слов: вся Википедия, все общедоступные книги, огромные объемы научных статей и тексты со многих веб-сайтов.

Чат-боты с искусственным интеллектом могут сыграть важную роль в нашей жизни. Понимание того, почему ChatGPT-4 борется с Wordle, дает представление о том, как LLM представляют слова и работают со словами, а также о связанных с этим ограничениях.

Сначала я протестировал ChatGPT-4 на головоломке Wordle, где я знал правильные местоположения. из двух букв в слове. Шаблон был «#E#L#», где «#» представлял неизвестные буквы. Ответом было слово «мучнистый».

Пять из шести ответов ChatGPT-4 не соответствовали шаблону. Ответы были такими: «берилл», «дикий», «герал», «мерль», «пищать» и «жемчуг».

При других сочетаниях чат-бот иногда находил правильные решения. Но в целом получилось очень удачно. В случае слова, подходящего под шаблон «##OS#», было найдено пять правильных вариантов. Но когда шаблон был «#R#F#», он предлагал два слова без буквы F и слово — «Traff», которого нет в словарях.

Под капотом

В основе ChatGPT лежит глубокая нейронная сеть: сложная математическая функция или правило, которое сопоставляет входные данные с выходными. Входы и выходы должны быть числами. Поскольку ChatGPT-4 работает со словами, их необходимо «перевести» в числа, чтобы нейронная сеть могла с ними работать.

Перевод выполняется компьютерной программой, называемой токенизатором, которая поддерживает огромный список слова и последовательности букв, называемые «токенами».

Эти токены обозначаются номерами. Такое слово, как «друг», имеет идентификатор токена 6756, поэтому такое слово, как «дружба», разбито на токены «друг» и «корабль». Они представлены идентификаторами 6756 и 6729.

Когда пользователь вводит вопрос, слова преобразуются в числа еще до того, как ChatGPT-4 начнет обрабатывать запрос. Глубокая нейронная сеть не имеет доступа к словам в виде текста, поэтому она не может толком рассуждать о буквах.

Задание на стихотворение

ChatGPT-4 хорошо работает с первыми буквами слов. Я попросил его написать стихотворение, в котором первая буква каждой строки гласила: «Я люблю роботов». Его реакция была на удивление хорошей. Вот первые четыре строчки:

Я фанат шестеренок и стали

Люблю их движения, такие сюрреалистичные,

На трассах они быстро править

Соревнуются за знания, они не дураки,

Обучающие данные для ChatGPT-4 включают огромное количество учебников, которые часто включают алфавитные указатели. Этого могло быть достаточно для GPT-4, чтобы выучить ассоциации между словами и их первыми буквами.

Токенизатор, по-видимому, также был модифицирован для распознавания подобных запросов и, похоже, разбивает такие фразы, как » I Love Robots» на отдельные токены, когда пользователи вводят свой запрос. Однако ChatGPT-4 не смог обработать запросы на работу с последними буквами слов.

ChatGPT-4 тоже плохо работает с палиндромами. На просьбу составить фразу-палиндром о роботе он предложил «сот робота, орба», что не подходит под определение палиндрома и основано на непонятных словах.

Тем не менее, LLM относительно хорошо генерируют другие компьютерные программы. Это связано с тем, что их обучающие данные включают множество веб-сайтов, посвященных программированию. Я попросил ChatGPT-4 написать программу для определения пропущенных букв в Wordle.

Первоначальная программа, созданная ChatGPT-4, содержала ошибку. Он исправил это, когда я указал на это. Когда я запустил программу, она обнаружила 48 правильных слов, соответствующих шаблону «#E#L#», включая «tells», «cells» и «hello». Когда я ранее напрямую обращался к GPT-4 с просьбой предложить совпадения для этого шаблона, он нашел только одно.

Будущие исправления

Может показаться удивительным, что большая языковая модель, такая как ChatGPT- 4 с трудом решал бы простые словесные головоломки или формулировал палиндромы, поскольку обучающие данные включают почти все доступные ему слова.

Однако это связано с тем, что все вводимые тексты должны быть закодированы как числа, и процесс, который это делает, не фиксирует структуру букв в словах. Поскольку нейронные сети работают исключительно с числами, требование кодировать слова как числа не изменится.

Есть два способа, которыми будущие LLM смогут преодолеть это. Во-первых, ChatGPT-4 знает первую букву каждого слова, поэтому его обучающие данные можно дополнить, включив сопоставления положения каждой буквы в каждом слове в его словаре.

Второе — более интересное и общее решение. . Будущие LLM смогут генерировать код для решения подобных проблем, как я показал. В недавнем документе была продемонстрирована идея под названием Toolformer, в которой LLM использует внешние инструменты для выполнения задач, с которыми они обычно сталкиваются с трудностями, таких как арифметические вычисления.

Мы находимся на заре этих технологий, и идеи, подобные этому, текущие ограничения могут привести к еще более впечатляющим технологиям искусственного интеллекта. .gif?distributor=republish-lightbox-basic» alt=»Разговор» width=»1″ height=»1″ referrerpolicy=»no-referrer-when-downgrade»>

Майкл Г. Мэдден, заслуженный профессор компьютерных наук Университета Голуэя

Эта статья перепечатана из The Conversation под лицензией Creative Commons. Прочтите исходную статью.