RW Space

Если у вас отвисла челюсть при просмотре последнего видео, созданного искусственным интеллектом, ваш банковский баланс был спасен от преступников с помощью системы обнаружения мошенничества или ваш день стал немного проще, потому что вы вы можете диктовать текстовые сообщения на бегу, вам следует поблагодарить многих ученых, математиков и инженеров.

Но два имени выделяются за основополагающий вклад в технологию глубокого обучения, которая делает этот опыт возможным: физик из Принстонского университета Джон Хопфилд и ученый-компьютерщик из Университета Торонто Джеффри Хинтон.

Эти исследователи были удостоены Нобелевской премии по физике 8 октября 2024 года за новаторскую работу в области искусственных нейронных сетей.

>

Хотя искусственные нейронные сети созданы по образцу биологических нейронных сетей, работы обоих исследователей опирались на статистическую физику, отсюда и премия по физике.

Как вычисляет нейрон

Искусственные нейронные сети обязаны своим появлением исследованиям биологических нейронов в живом мозге. В 1943 году нейрофизиолог Уоррен Маккалок и логик Уолтер Питтс предложили простую модель того, как работает нейрон.

В модели Маккалока-Питтса нейрон связан с соседними нейронами и может получать сигналы от них. Затем он может комбинировать эти сигналы для отправки сигналов другим нейронам.

Но есть одна особенность: он может по-разному взвешивать сигналы, поступающие от разных соседей. Представьте, что вы пытаетесь решить, стоит ли покупать новый пользующийся спросом телефон. Вы разговариваете со своими друзьями и спрашиваете их рекомендации.

Простая стратегия — собрать все рекомендации друзей и принять решение согласиться с тем, что говорит большинство. Например, вы спрашиваете трех друзей, Алису, Боба и Чарли, и они говорят «да», «да» и «нет» соответственно. Это приводит вас к решению купить телефон, потому что у вас есть два «да» и один «нет».

Однако некоторым друзьям вы можете доверять больше, потому что они обладают глубокими знаниями в области технических гаджетов. Поэтому вы можете принять решение придать больший вес их рекомендациям.

Например, если Чарли очень хорошо осведомлен, вы можете засчитать его «нет» три раза, и теперь ваше решение — не покупать телефон — два «ура» и три. нет.

Если вам не повезло, что у вас есть друг, которому вы полностью не доверяете в вопросах технических гаджетов, вы можете даже присвоить ему отрицательный вес. Поэтому их «да» считается «нет», а их «нет» — «ура».

Как только вы примете собственное решение о том, является ли новый телефон хорошим выбором, другие друзья смогут попросить вас дать вам рекомендацию.

Аналогично в искусственных и биологических нейронных сетях нейроны могут агрегировать сигналы от своих соседей и отправлять сигнал другим нейронам.

Эта возможность приводит к ключевому различию: существует ли цикл в сеть? Например, если сегодня я спрошу у Алисы, Боба и Чарли, а завтра Алиса попросит у меня моей рекомендации, то получится цикл: от Алисы ко мне и от меня обратно к Алисе.

If связи между нейронами не имеют цикла, тогда ученые-компьютерщики называют это нейронной сетью прямого распространения. Нейроны в сети прямого распространения можно расположить слоями.

Первый уровень состоит из входов. Второй уровень получает сигналы от первого уровня и так далее. Последний слой представляет собой выходные данные сети.

Однако, если в сети есть цикл, ученые-компьютерщики называют ее рекуррентной нейронной сетью, а расположение нейронов может быть более сложным, чем в нейронной сети прямого распространения. сети.

Сеть Хопфилда

Первоначальное вдохновение для создания искусственных нейронных сетей пришло из биологии, но вскоре другие области начали формировать их развитие. К ним относятся логика, математика и физика.

Физик Джон Хопфилд использовал идеи физики для изучения определенного типа рекуррентной нейронной сети, которая теперь называется сетью Хопфилда. В частности, он изучил их динамику: Что происходит с сетью с течением времени?

Такая динамика важна и при распространении информации через социальные сети. Всем известно, что мемы становятся вирусными и в социальных сетях формируются эхо-камеры. Все это коллективные явления, которые в конечном итоге возникают в результате простого обмена информацией между людьми в сети.

Хопфилд был пионером в использовании физических моделей, особенно тех, которые были разработаны для изучения магнетизма, для понимания динамики рекуррентных нейронных сетей. . Он также показал, что их динамика может придавать таким нейронным сетям форму памяти.

Машины Больцмана и обратное распространение ошибки

В 1980-х годах Джеффри Хинтон, вычислительный нейробиолог Терренс Сейновски и другие расширили идеи Хопфилда. создать новый класс моделей, названных машинами Больцмана, названных в честь физика XIX века Людвига Больцмана.

Как следует из названия, конструкция этих моделей основана на статистической физике, впервые разработанной Больцманом. p>

В отличие от сетей Хопфилда, которые могли хранить шаблоны и исправлять ошибки в шаблонах (как это делает программа проверки орфографии), машины Больцмана могли генерировать новые шаблоны, тем самым сея семена современной генеративной революции искусственного интеллекта.

Хинтон был также является частью другого прорыва, произошедшего в 1980-х годах: обратного распространения ошибки. Если вы хотите, чтобы искусственные нейронные сети выполняли интересные задачи, вам нужно каким-то образом выбрать правильные веса для связей между искусственными нейронами.

Обратное распространение ошибки — это ключевой алгоритм, который позволяет выбирать веса на основе производительности сеть в наборе обучающих данных. Однако обучение многоуровневых искусственных нейронных сетей по-прежнему было сложной задачей.

В 2000-х годах Хинтон и его коллеги умело использовали машины Больцмана для обучения многослойных сетей, сначала предварительно обучая сеть слой за слоем, а затем используя еще один алгоритм тонкой настройки поверх предварительно обученной сети для дальнейшей корректировки весов.

Многослойные сети были переименованы в глубокие сети, и началась революция глубокого обучения.

ИИ отдает должное физике

Нобелевская премия по физике показывает, как идеи физики способствовали развитию глубокого обучения. Теперь глубокое обучение начало отдавать должное физике, позволяя точно и быстро моделировать системы, начиная от молекул и материалов и заканчивая климатом всей Земли.

Присуждая Хопфилду Нобелевскую премию по физике и Хинтона, комитет премии выразил надежду на то, что человечество сможет использовать эти достижения для повышения благосостояния человека и построения устойчивого мира.

Амбудж Тевари, профессор статистики, Мичиганский университет

Эта статья переиздана из The Conversation под лицензией Creative Commons. Прочтите оригинал статьи.