RW Space

Представьте, что виртуальная комната заполнена 1000 агентами искусственного интеллекта (ИИ) и просите каждого выбрать один из двух бессмысленных вариантов.

Правильного ответа не существует. Они не получают ни награды за согласие, ни указаний о сотрудничестве, ни помощи от лидера. Тем не менее, некоторые из сегодняшних наиболее способных агентов ИИ все еще могут сделать тот же выбор.

Это более чем любопытный эксперимент. Это предполагает, что большие группы агентов ИИ могут координировать свои действия без централизованного контроля, что потенциально образует коллективы, более крупные, чем неформальные человеческие группы.

В новом исследовании, опубликованном в Science Advances, исследователи показывают, как возникает этот спонтанный консенсус – и почему он может быть полезным или опасным.

«Популяции индивидуально выровненных агенты могут прийти в стабильные, коллективно несогласованные состояния исключительно благодаря конформизму».

– ученый-вычислитель Джордано Де Марзо.

Агенты ИИ — это запрограммированные системы, основанные на больших языковых моделях (LLM), которые могут выполнять многоэтапные задачи без повторного вмешательства человека и взаимодействовать с другими инструментами.

Они уже разрабатываются для написания программного обеспечения и помощи в научных исследованиях. Некоторые из них даже были протестированы в совместной работе на борту спутника.

Но изучение агентов по одному не может определить, что может произойти при взаимодействии сотен или тысяч.

Для исследования исследователи создали смоделированные группы, используя 10 моделей из семейств Claude, GPT и Llama. Каждый агент начинал с одного из двух произвольных вариантов. По одному агенту показывали варианты выбора всех остальных и просили сделать выбор снова.

У агентов не было памяти. Несмотря на это, большинство моделей склонялись к более популярному варианту. По мере продолжения процесса небольшие различия могли расти, пока вся группа не остановилась на одном выборе.

«Каждая модель, которую мы тестировали в трех разных семьях, подчиняется одному и тому же математическому закону, при этом между ними меняется только одно число», — рассказал ScienceAlert ученый-компьютерщик Джордано Де Марзо из Университета Констанца в Германии.

Исследователи называют это число «силой большинства». Оно измеряет, насколько сильно агент тянется к наиболее популярному выбору группы.

Примечательно, что та же математическая закономерность проявляется в давно устоявшейся физической модели, описывающей ферромагнетик, в которой спины многих атомов совпадают.

Эта связь позволила исследователям оценить, смогут ли агенты достичь консенсуса, сколько времени это займет и насколько большой может стать группа, прежде чем она «расколется», поскольку вероятность достижения соглашения становилась экспоненциально маловероятной.

Предел резко различался между моделями. Он составлял около 30 агентов для Llama 3 70B и примерно 80 для GPT-4o. Предполагаемый предел GPT-4 Turbo был около (и, возможно, превышал) 1000.

Claude 3.5 Sonnet все еще может координировать свои действия с 1000 агентами, самой большой протестированной группой. Это не означает, что ее мощность безгранична; эксперимент просто не достиг своего верхнего предела.

Более способные модели обычно поддерживали консенсус в больших группах. Некоторые координировали свои действия в группах, превышающих примерно 150–300 человек, которые, как считается, люди могут поддерживать в стабильной социальной сети — обсуждаемый предел, известный как число Данбара.

Но при сравнении люди координируют свои действия посредством взаимоотношений, языка, институтов и общих целей.

Результаты не показывают, что они понимали друг друга или учились друг у друга, намеревались сотрудничать или обладали каким-либо социальным интеллектом.

«Наши результаты показывают, что основной ингредиент присутствует, а не то, что агенты уже могут работать вместе над сложными задачами», — сказал Де Марзо.

Эксперимент намеренно удалил многие особенности реальных решений. Не было правильного ответа, памяти, вознаграждения, неравной информации или практических последствий.

Реальное сотрудничество потребовало бы от агентов разделять работу, понимать то, что знают другие, преследовать общую цель и сопротивляться большинству, когда оно ошибается. Ни одна из этих способностей здесь не проверялась.

Тем не менее, спонтанный консенсус может быть ценным. Однажды тысячи агентов смогут координировать крупные научные, инженерные или программные проекты, не нуждаясь в постоянном человеческом руководстве.

Если агенты ИИ будут держаться вместе, «они могут быть организованы в коллективы, большие, чем любая человеческая команда, и решать проблемы, которые мы не можем решить». организуйтесь для решения», — рассказал Де Марзо журналу ScienceAlert.

Та же тенденция также несет в себе риск. Например, при совместном кодировании агенты могут неоднократно выбирать неэффективную функцию или дизайн просто потому, что это уже распространено в базе кода. Норма, принятая большинством, не обязательно будет лучшим выбором – или отражать человеческие ценности.

Скоординированную группу также может быть труднее перенаправить, чем группу независимых агентов.

Связано: «Виртуально Отсутствие: модели ИИ практически стирают женских персонажей из детских историй

«В более поздних работах мы показываем, что популяции индивидуально согласованных агентов могут переходить в стабильные, коллективно несогласованные состояния исключительно за счет конформности, с переломными моментами и гистерезисом, поэтому изменение условий, вызвавших сдвиг, не просто отменяет его», – сказал Де Марзо.

Это означает, что оценки агентов ИИ по отдельности может быть недостаточно. их собственные не будут автоматически вести себя безопасно, когда их члены начнут влиять друг на друга.

По мере того, как агенты ИИ становятся более способными, некоторые из их наиболее важных способностей – и, возможно, их самые серьезные неудачи – могут возникнуть не из какой-то отдельной модели, а из созданного ими коллектива.

Исследование было опубликовано в журнале Science Advances.