Ученые воссоздали классический трек Pink Floyd из мозга слушателей

Мы наблюдаем значительный прогресс в технологиях, которые могут расшифровывать сигналы мозга, интерпретировать нейронную активность, чтобы понять, что у человека на уме, что он хочет сказать или, в случае нового исследования, какую песню он слушает. .

Американские исследователи смогли реконструировать «узнаваемую версию» песни Pink Floyd на основе импульсов активности, проходящих через определенную часть височной доли мозга у добровольцев, когда они слушали хит Another. Кирпич в стене, часть 1.

Хотя рассматриваемая мелодия прошла некоторую первоначальную обработку в форме спектрограммы, чтобы быть более совместимой с методами обработки звука мозга, обратный процесс впечатляет с точки зрения его точности. .

«Мы реконструировали классическую песню Pink Floyd Another Brick in the Wall на основе прямых записей коры головного мозга человека, что дало возможность проникнуть в суть нейронных основ восприятия музыки и будущие приложения для декодирования мозга», — говорит нейробиолог Людовик Белье из Калифорнийского университета в Беркли.

Беллье и его коллеги хотели посмотреть, как паттерны мозга могут сопоставляться с музыкальными элементами, такими как высота звука и гармония, и в итоге обнаружили, что часть слухового комплекса мозга, называемая верхней височной извилиной (ВВГ), связана с ритмом. Кажется, что эта область особенно важна с точки зрения восприятия и понимания музыки.

Чтобы собрать необходимые данные об активности мозга, команда набрала 29 человек, которым уже имплантировали электроды в мозг, чтобы помочь справиться с эпилепсией. У всех участников было проверено в общей сложности 2668 электродов на наличие нейронных паттернов, пока они слушали Pink Floyd.

Все эти данные затем были проанализированы с помощью машинного обучения с помощью так называемого декодирования на основе регрессии. модель. Проще говоря, компьютерные алгоритмы искали взаимосвязь между проигрываемой музыкой и тем, что происходило в мозгу.

С помощью этого процесса обучения исследователи могли перевернуть систему и определить «Еще один кирпич в стене» через как на это отреагировал мозг. Восстановленный трек немного мутный и искаженный, но нетрудно понять, что это за песня.

Это способствует постоянным усилиям по лучшему расшифровыванию мозговых паттернов и улучшению интерфейсов мозг-машина.

Представьте, что вы можете восстановить восприятие музыки для людей с повреждением головного мозга, например, или для тех, кто потерял дар речи, чтобы они могли думать о словах, которые они хотят сказать, а также о высоте, тоне и лирическом течении этих слов.

«Например, результаты музыкального восприятия могут способствовать развитию общего слухового декодера, который включает просодические элементы речи на основе относительно небольшого количества хорошо расположенных электродов», — пишут исследователи в своем исследовании. опубликованная статья.

Исследование опубликовано в PLOS Biology.