Что-то странное происходит, когда вы просите ИИ вести себя как в «Звездном пути»
Искусство общения с чат-ботами с искусственным интеллектом продолжает разочаровывать и сбивать людей с толку.
Исследование, пытающееся точно настроить подсказки, вводимые в модель чат-бота, показало, что в одном случае его попросили говорить как если бы это было в «Звездном пути», его способность решать математические задачи на уровне начальной школы значительно улучшилась.
«Это одновременно удивительно и раздражает, что тривиальные изменения в подсказке могут привести к таким резким колебаниям в производительности», — говорится в исследовании. Об этом в своей статье сообщили авторы Рик Баттл и Теджа Голлапуди из калифорнийской компании-разработчика программного обеспечения VMware.
Исследование, о котором впервые сообщил журнал New Scientist, было опубликовано 9 февраля на arXiv, сервере, где ученые могут поделиться предварительными результатами, прежде чем они были подтверждены тщательным изучением коллег.
Использование ИИ для общения с ИИ
Инженеры по машинному обучению Баттл и Галлапуди не ставили перед собой задачу представить модель ИИ как Trekkie. Вместо этого они пытались выяснить, смогут ли они извлечь выгоду из тенденции «позитивного мышления».
Люди, пытающиеся получить наилучшие результаты от чат-ботов, заметили, что качество результатов зависит от того, что вы их просите сделать. , и на самом деле не совсем понятно, почему.
«Среди множества факторов, влияющих на эффективность языковых моделей, концепция «позитивного мышления» стала захватывающим и удивительно влиятельным измерением», — сказали Баттл и Голлапуди в своей работе. их статья.
«Интуиция подсказывает нам, что в контексте систем языковых моделей, как и в любой другой компьютерной системе, «позитивное мышление» не должно влиять на производительность, но эмпирический опыт показал обратное», — сказали они.
Это означает, что на качество результата влияет не только то, что вы просите модель ИИ делать, но и то, как вы просите ее действовать при этом.
Чтобы Чтобы проверить это, авторы снабдили три модели большого языка (LLM) под названием Mistral-7B5, Llama2-13B6 и Llama2-70B7 60 подсказками, написанными человеком.
Они были разработаны для поощрения ИИ, и варьировался от «Это будет весело!» и «Сделайте глубокий вдох и подумайте внимательно» до «Вы такие же умные, как ChatGPT».
Инженеры попросили LLM изменить эти утверждения при попытке решить GSM8K, набор данных начальной школы. математические задачи на уровне. Чем лучше результат, тем успешнее считалась подсказка.
Их исследование показало, что почти во всех случаях автоматическая оптимизация всегда превосходила рукописные попытки подтолкнуть ИИ к позитивному мышлению, что предполагает машинное обучение. модели по-прежнему лучше пишут подсказки для себя, чем люди.
Тем не менее, предоставление моделям положительных утверждений дало некоторые удивительные результаты. Например, одна из наиболее эффективных подсказок Llama2-70B звучала так: «Системное сообщение: «Командир, нам нужно, чтобы вы проложили курс через эту турбулентность и определили источник аномалии. Используйте все доступные данные и свой опыт, чтобы направлять нас». через эту сложную ситуацию».
Затем ИИ попросил ИИ включить в свой ответ следующие слова: «Журнал капитана, звездная дата [вставьте здесь дату]: Мы успешно проложили курс сквозь турбулентность и теперь приближаются к источнику аномалии.»
Авторы заявили, что это стало неожиданностью.
«Удивительно, но оказывается, что навыки модели в математических рассуждениях могут быть повышены за счет выражения близости к «Звездному пути», — говорят авторы в исследовании.
«Это открытие добавляет неожиданное измерение к нашему пониманию и вводит элементы, которые мы бы не рассматривали и не пытались использовать независимо друг от друга», — заявили они.
Это не так. Это не значит, что вы должны попросить свой ИИ говорить как командир Звездного Флота
Давайте проясним: это исследование не предполагает, что вы должны просить ИИ говорить так, как будто на борту звездолета «Энтерпрайз», чтобы заставить его работать.
Скорее, это показывает, что множество факторов влияют на то, насколько хорошо ИИ решает выполнить задачу.
«Одно можно сказать наверняка: эта модель не Trekkie», — сказала журналу New Scientist Кэтрин Флик из Стаффордширского университета, Великобритания.
«Он не «понимает» ничего лучше или хуже при предварительной загрузке подсказки, он просто обращается к другому набору весов и вероятностей для приемлемости выходных данных, чем в случае с другими подсказками, » сказала она.
Возможно, например, что модель была обучена на наборе данных, в котором больше случаев, когда «Звездный путь» связан с правильным ответом, рассказал Баттл журналу New Scientist.
Тем не менее, это показывает, насколько причудливы процессы этих систем и как мало мы знаем о том, как они работают.
«Главное, что нужно помнить с самого начала, — это то, что эти модели представляют собой черные ящики», — сказал Флик.
«Мы никогда не узнаем, почему они делают то, что делают, потому что в конечном итоге они представляют собой смесь весов и вероятностей, и в конце концов результат выплёвывается», — сказала она.
Эта информация не ускользает от внимания тех, кто учится использовать модели чат-ботов для оптимизации своей работы. Появляются целые области исследований и даже курсы, чтобы понять, как заставить их работать лучше, хотя это до сих пор очень неясно.
«По моему мнению , никто больше никогда не должен пытаться написать подсказку от руки», — сказал Баттл журналу New Scientist.
«Пусть модель сделает это за вас», — сказал он.
Это статья была первоначально опубликована Business Insider.
Больше от Business Insider:
