RW Space

После выпуска ChatGPT в конце 2022 года миллионы людей начали использовать большие языковые модели для доступа к знаниям. И их привлекательность легко понять: задайте вопрос, получите отточенный синтез и двигайтесь дальше – это похоже на обучение, не требующее усилий.

Однако новая статья, соавтором которой я являюсь, предлагает экспериментальные доказательства того, что эта простота может стоить дорого: когда люди полагаются на большие языковые модели для обобщения информации по теме для них, они, как правило, приобретают более поверхностные знания по этой теме по сравнению с обучением с помощью стандартного поиска Google.

Соавтор Джин Хо Юн и я, оба профессора маркетинга, сообщили об этом Результаты исследования основаны на семи исследованиях, в которых приняли участие более 10 000 человек.

По теме: Все больше людей рискуют получить медицинскую консультацию от чат-ботов. И вот почему.

В большинстве исследований использовалась одна и та же базовая парадигма: участников просили узнать о какой-либо теме, например, как вырастить огород, и им случайным образом было поручено сделать это, используя либо LLM, такой как ChatGPT, либо «старомодный способ», переходя по ссылкам с помощью стандартного поиска Google.

Никаких ограничений на использование инструментов не было; они могли искать в Google столько, сколько хотели, и могли продолжать запрашивать ChatGPT, если чувствовали, что им нужна дополнительная информация.

После того, как они завершили исследование, их попросили написать совет другу по этой теме на основе того, что они узнали.

Данные выявили последовательную закономерность: люди, которые узнали о теме через LLM, а не через веб-поиск, чувствовали, что они узнали меньше, вложили меньше усилий в последующее написание своих советов и в конечном итоге написали советы, которые были короче, менее фактическими и более общими.

В свою очередь, когда этот совет был Представленные независимой выборке читателей, которые не знали, какой инструмент использовался для изучения темы, они сочли совет менее информативным, менее полезным и с меньшей вероятностью воспользовались им.

Мы обнаружили, что эти различия устойчивы в различных контекстах. Например, одна из возможных причин, по которой пользователи LLM пишут более краткие и общие советы, заключается в том, что результаты LLM предоставляют пользователям меньше эклектичной информации, чем результаты Google.

Чтобы контролировать эту возможность, мы провели эксперимент, в котором участникам был предоставлен идентичный набор фактов в результатах поиска Google и ChatGPT.

Аналогично в другом эксперименте мы оставили неизменной поисковую платформу — Google — и варьировали, получали ли участники знания из стандартных результатов Google или искусственного интеллекта Google. Обзорная функция.

Результаты подтвердили, что даже при неизменных фактах и платформе обучение на основе синтезированных ответов LLM привело к более поверхностным знаниям по сравнению со сбором, интерпретацией и синтезом информации для себя через стандартные веб-ссылки.

Почему это важно

Почему использование LLM, по-видимому, снижает качество обучения? Один из наиболее фундаментальных принципов развития навыков заключается в том, что люди учатся лучше всего, когда они активно изучают материал, который пытаются изучить.

Когда мы изучаем тему с помощью поиска Google, мы сталкиваемся с гораздо большим «трением»: нам приходится перемещаться по различным веб-ссылкам, читать информационные источники, а также интерпретировать и синтезировать их самостоятельно.

Хотя это и более сложно, это трение приводит к развитию более глубокого и оригинального мысленного представления рассматриваемой темы. Но в случае с LLM весь процесс осуществляется от имени пользователя, превращая обучение из более активного в пассивный процесс.

Что дальше?

Чтобы внести ясность: мы не считаем, что решение этих проблем состоит в том, чтобы избегать использования LLM, особенно с учетом неоспоримых преимуществ, которые они предлагают во многих контекстах.

Наша идея заключается в том, что людям просто нужно стать более умными или более стратегическими пользователями LLM, что начинается с понимания области, в которых LLM приносят пользу, а не вредят их целям.

Нужен быстрый и фактический ответ на вопрос? Не стесняйтесь использовать своего любимого второго пилота с искусственным интеллектом. Но если ваша цель — получить глубокие и обобщающие знания в какой-либо области, полагаться только на синтез LLM будет менее полезно.

В рамках моего исследования психологии новых технологий и новых медиа меня также интересует, можно ли сделать обучение LLM более активным процессом. В другом эксперименте мы проверили это, предложив участникам использовать специализированную модель GPT, которая предлагала веб-ссылки в режиме реального времени наряду с синтезированными ответами.

Однако там мы обнаружили, что после того, как участники получили резюме LLM, у них не было мотивации копаться глубже в первоначальных источниках. В результате участники по-прежнему получили более поверхностные знания по сравнению с теми, кто использовал стандартный Google.

Опираясь на это, в своем будущем исследовании я планирую изучить инструменты генеративного искусственного интеллекта, которые создают здоровые препятствия при выполнении учебных задач, в частности, изучение того, какие типы ограждений или «лежачих полицейских» наиболее успешно мотивируют пользователей активно учиться больше, помимо простых синтезированных ответов.

Такие инструменты могут оказаться особенно важными в среднем образовании, где основная задача для преподавателей заключается в том, как лучше всего подготовить учащихся к развитию базовых знаний. навыки чтения, письма и математики, а также подготовка к реальному миру, где степень магистра права, вероятно, станет неотъемлемой частью их повседневной жизни.

Краткий обзор исследования представляет собой краткий обзор интересной академической работы.

Шири Мелумад, доцент кафедры маркетинга Пенсильванского университета

Эта статья переиздана из журнала The Conversation под лицензией Creative Commons. Прочтите оригинал статьи.