Новый «читающий мысли» ИИ переводит мысли непосредственно из мозговых волн – без имплантатов
Первая в мире неинвазивная система искусственного интеллекта может превращать тихие мысли в текст, требуя от пользователей лишь носить плотно прилегающую кепку.
Австралийские исследователи, разработавшие эту технологию под названием DeWave, провели тестирование процесс с использованием данных более чем двух десятков испытуемых.
Участники читали молча, надевая кепки, которые записывали их мозговые волны с помощью электроэнцефалограммы (ЭЭГ) и декодировали их в текст. p>
При дальнейшем усовершенствовании DeWave может помочь пациентам, перенесшим инсульт и паралич, общаться и облегчить людям управление такими машинами, как бионические руки или роботы.
«Это исследование представляет собой новаторскую попытку перевода необработанной ЭЭГ. волны непосредственно в язык, что знаменует собой значительный прорыв в этой области», — говорит ученый-компьютерщик Чин-Тенг Линь из Сиднейского технологического университета (UTS).
Хотя DeWave достигла лишь чуть более 40-процентной точности на основе одного из двух наборов показателей в экспериментах, проведенных Лином и его коллегами, это — это улучшение на 3 процента по сравнению с предыдущим стандартом перевода мыслей по записям ЭЭГ.
Цель исследователей — повысить точность примерно до 90 процентов, что соответствует традиционным методам языкового перевода или распознавания речи. программное обеспечение.
Другие методы перевода сигналов мозга в язык требуют инвазивных операций по имплантации электродов или громоздких и дорогих аппаратов МРТ, что делает их непрактичными для повседневного использования – и для преобразования сигналов мозга часто приходится использовать отслеживание глаз. на фрагменты на уровне слов.
Когда глаза человека перебегают от одного слова к другому, разумно предположить, что его мозг делает небольшой перерыв между обработкой каждого слова. Перевод необработанных волн ЭЭГ в слова – без отслеживания глаз для указания соответствующего целевого слова – сложнее.
Мозговые волны от разных людей не все представляют перерывы между словами совершенно одинаково, что усложняет задачу. научите ИИ интерпретировать отдельные мысли.
После обширного обучения кодер DeWave превращает волны ЭЭГ в код, который затем можно сопоставить с конкретными словами в зависимости от того, насколько они близки к записям в «кодовой книге» DeWave.
«Это первая система, которая включила методы дискретного кодирования в процесс перевода мозга в текст, представляя инновационный подход к нейронному декодированию», — объясняет Лин.
«Интеграция с большими языковые модели также открывают новые горизонты в нейробиологии и искусственном интеллекте».
Лин и его команда использовали обученные языковые модели, включающие комбинацию системы под названием BERT и GPT, и тестировали ее на существующих наборах данных люди, у которых отслеживалось движение глаз и регистрировалась активность мозга во время чтения текста.
Это помогло системе научиться сопоставлять паттерны мозговых волн со словами, после чего DeWave прошла дальнейшее обучение с помощью модели большого языка с открытым исходным кодом. по сути, это делает предложения из слов.
В переводе глаголов DeWave показал себя лучше всего. Существительные, с другой стороны, обычно переводились как пары слов, которые означают одно и то же, а не как точные переводы, например «человек» вместо «автор».
«Мы думаем, что это потому, что когда мозг обрабатывает эти слова, семантически похожие слова могут создавать схожие паттерны мозговых волн», — говорит первый автор Ицюнь Дуань, ученый-компьютерщик из UTS.
«Несмотря на трудности, наша модель дает значимые результаты, выравнивая ключевые слова. и формируют схожие структуры предложений».
Относительно большой размер протестированной выборки учитывает тот факт, что распределения волн ЭЭГ людей сильно различаются, что позволяет предположить, что исследование более надежно, чем более ранние технологии, которые были протестированы только на очень маленьких выборках. .
Работы еще много, и сигнал довольно шумный, когда сигналы ЭЭГ поступают через шапочку, а не вживленные в мозг электроды.
«Перевод мыслей напрямую «Из мозга — ценная, но сложная задача, которая требует значительных постоянных усилий», — пишет команда.
«Учитывая быстрое развитие моделей большого языка, подобные методы кодирования, которые соединяют активность мозга с естественным языком, заслуживают повышенного внимания. .»
Исследование было представлено на конференции NeurIPS 2023, препринт доступен на ArXiv.
