Нобелевская премия по физике: как искусственный интеллект Хопфилда и Хинтона изменил наш мир

Если у вас отвисла челюсть при просмотре последнего видео, созданного искусственным интеллектом, ваш банковский баланс был спасен от преступников с помощью системы обнаружения мошенничества или ваш день стал немного проще, потому что вы вы можете диктовать текстовые сообщения на бегу, вам следует поблагодарить многих ученых, математиков и инженеров.

Но два имени выделяются за основополагающий вклад в технологию глубокого обучения, которая делает этот опыт возможным: физик из Принстонского университета Джон Хопфилд и ученый-компьютерщик из Университета Торонто Джеффри Хинтон.

Эти исследователи были удостоены Нобелевской премии по физике 8 октября 2024 года за новаторскую работу в области искусственных нейронных сетей.

>

Хотя искусственные нейронные сети созданы по образцу биологических нейронных сетей, работы обоих исследователей опирались на статистическую физику, отсюда и премия по физике.

(Zawersh/Wikimedia, CC BY-SA)

If связи между нейронами не имеют цикла, тогда ученые-компьютерщики называют это нейронной сетью прямого распространения. Нейроны в сети прямого распространения можно расположить слоями.

Первый уровень состоит из входов. Второй уровень получает сигналы от первого уровня и так далее. Последний слой представляет собой выходные данные сети.

Однако, если в сети есть цикл, ученые-компьютерщики называют ее рекуррентной нейронной сетью, а расположение нейронов может быть более сложным, чем в нейронной сети прямого распространения. сети.

Сеть Хопфилда

Первоначальное вдохновение для создания искусственных нейронных сетей пришло из биологии, но вскоре другие области начали формировать их развитие. К ним относятся логика, математика и физика.

Физик Джон Хопфилд использовал идеи физики для изучения определенного типа рекуррентной нейронной сети, которая теперь называется сетью Хопфилда. В частности, он изучил их динамику: Что происходит с сетью с течением времени?

Такая динамика важна и при распространении информации через социальные сети. Всем известно, что мемы становятся вирусными и в социальных сетях формируются эхо-камеры. Все это коллективные явления, которые в конечном итоге возникают в результате простого обмена информацией между людьми в сети.

Хопфилд был пионером в использовании физических моделей, особенно тех, которые были разработаны для изучения магнетизма, для понимания динамики рекуррентных нейронных сетей. . Он также показал, что их динамика может придавать таким нейронным сетям форму памяти.

Машины Больцмана и обратное распространение ошибки

В 1980-х годах Джеффри Хинтон, вычислительный нейробиолог Терренс Сейновски и другие расширили идеи Хопфилда. создать новый класс моделей, названных машинами Больцмана, названных в честь физика XIX века Людвига Больцмана.

Как следует из названия, конструкция этих моделей основана на статистической физике, впервые разработанной Больцманом. p>

В отличие от сетей Хопфилда, которые могли хранить шаблоны и исправлять ошибки в шаблонах (как это делает программа проверки орфографии), машины Больцмана могли генерировать новые шаблоны, тем самым сея семена современной генеративной революции искусственного интеллекта.

Хинтон был также является частью другого прорыва, произошедшего в 1980-х годах: обратного распространения ошибки. Если вы хотите, чтобы искусственные нейронные сети выполняли интересные задачи, вам нужно каким-то образом выбрать правильные веса для связей между искусственными нейронами.

Обратное распространение ошибки — это ключевой алгоритм, который позволяет выбирать веса на основе производительности сеть в наборе обучающих данных. Однако обучение многоуровневых искусственных нейронных сетей по-прежнему было сложной задачей.

В 2000-х годах Хинтон и его коллеги умело использовали машины Больцмана для обучения многослойных сетей, сначала предварительно обучая сеть слой за слоем, а затем используя еще один алгоритм тонкой настройки поверх предварительно обученной сети для дальнейшей корректировки весов.

Многослойные сети были переименованы в глубокие сети, и началась революция глубокого обучения.

ИИ отдает должное физике

Нобелевская премия по физике показывает, как идеи физики способствовали развитию глубокого обучения. Теперь глубокое обучение начало отдавать должное физике, позволяя точно и быстро моделировать системы, начиная от молекул и материалов и заканчивая климатом всей Земли.

Присуждая Хопфилду Нобелевскую премию по физике и Хинтона, комитет премии выразил надежду на то, что человечество сможет использовать эти достижения для повышения благосостояния человека и построения устойчивого мира.

Амбудж Тевари, профессор статистики, Мичиганский университет

Эта статья переиздана из The Conversation под лицензией Creative Commons. Прочтите оригинал статьи.