Ученые «пересмотрели» видео, увиденные мышами, изучая их мозг
В новом жутком исследовании ученые проанализировали мозговую активность мышей и использовали ее для реконструкции видеороликов того, что мыши видели.
Команда под руководством исследователей из Университетского колледжа Лондона (UCL) измерила, какие отдельные нейроны активируются в зрительной коре мышей, а затем пропустила данные через алгоритм, который воссоздал видео, которые мыши видели, пиксель за пикселем.
«Используя этот подход, мы смогли добиться высококачественной реконструкции 10-секундного видео. клипы», — говорит Джоэл Бауэр, нейробиолог из UCL и ведущий автор исследования, описывающего работу.
«Точность реконструкций улучшилась за счет включения данных от большего количества отдельных нейронов, демонстрируя важность полных нейронных данных».
Хотя это далеко от идеального по пикселям HD-римейка того, что мышь делала вчера, жутковато видеть сходство, извлеченное из чистых нейронных данных.
Исследователи начали с модель динамического нейронного кодирования, разработанная другой командой. Эта система предсказывает, какие нейроны сработают в ответ на определенные видеовходы. Он даже учитывает поведение мышей во время просмотра видео, включая такие вещи, как скорость их бега, положение и диаметр зрачков.
На основе этих данных ученые могут работать в обратном порядке, чтобы воссоздать общее представление исходного видео, анализируя, какие нейроны активируются.
В предыдущей работе была достигнута корреляция 0,301 между прогнозируемой и «наземной» активностью нейронов.
Чтобы повысить точность воссоздания в новом исследовании, команда переобучил семь версий модели, используя пустой серый экран в качестве базовой линии. Затем они рассчитали разницу в активности нейронов между тем, как бы это выглядело, если бы они видели пустой экран, и тем, как он выглядел на самом деле.
На основании этого ученые могли обновлять пустой экран попиксельно, пока готовое видео не стало напоминать то, что первоначально видела мышь.
После обучения моделей исследователи показали пяти мышам совершенно новое 10-секундное видео, на котором модели не были специально обучены.
Нейронной активности подопытных животных было достаточно для реконструкции видео точнее, чем предыдущая модель. В этом случае исследователи достигли корреляции до 0,569 между исходным и реконструированным видео.
Успех варьировался для разных видео, но лучшие результаты зависели от времени (в изменении пикселей) двух видео.
Разрешение и охват реконструкций были не такими успешными, как время, но команда планирует сосредоточиться на их улучшении в будущей работе.
Идея «чтения» чей-то разум и извлечение визуального представления того, что он видел, немного тревожит в мире, где конфиденциальность личности уже сильно подорвана.
В предыдущем исследовании использовались ЭЭГ-капсулы для перевода мыслей участников в текст с пугающей степенью точности, в то время как другое использовало сканирование фМРТ, чтобы выяснить основную историю, которую участники услышали в подкасте.
Однако исследователи, стоящие за новым исследованием, говорят, что основная цель работы состоит в том, чтобы исследовать просто как мозг обрабатывает визуальную информацию, поступающую из глаз, и чем она отличается от того, что есть на самом деле.
По теме: сканирование мозга покажет, когда вы измените свое мнение – прежде чем вы это сделаете
«У нас нет идеального представления о мире в нашей голове. Конвейер визуальной обработки искажает и искажает наше представление таким образом, что модифицирует информацию», – говорит Бауэр.
«Это отклонение между реальностью и представлениями в мозгу. это не обязательно ошибка, а особенность, отражающая то, как наш разум интерпретирует и дополняет сенсорную информацию. Мы хотим изучить, как это происходит в мозгу».
Результат исследования был опубликован в журнале eLife.
