Нейросети как идеальный газ: термодинамика обучения нейронных сетей

На конференции OpenTalks.AI я был очень вдохновлён новой работой группы Дмитрия Ветрова, в частности Ильдуса Садртдинова, о которой Дмитрий там рассказывал (Sadrtdinov et al., ноябрь 2025). Звучит совершенно восхитительно: термодинамика и уравнения идеального газа для обучения нейронных сетей.

Сразу предупреждаю, что красивых картинок в этом посте почти совсем не будет, а будет много формул, но формулы эти куда краше любых картинок. Давайте разберёмся!

Введение: откуда здесь взялась физика

Как известно, если дать физику любую задачу, он сведёт её к идеальному газу. Оказывается, это работает и для нейронных сетей, причём вполне буквально! Так что Нобелевскую премию именно по физике дали Джеффри Хинтону не случайно.

По сути, Ильдус Садртдинов и другие коллеги под руководством Дмитрия Ветрова (Constructor University, Бремен) построили формальную аналогию между стационарным поведением градиентного спуска и классической термодинамикой. Причём не какой-нибудь сложной — а именно термодинамикой идеального газа, самой простой модели из учебника физики за первый курс.

Почему эта работа меня так заинтересовала? В основном потому, что аналогия получается удивительно точной — не на уровне “ну, вот тут типа похоже на энтропию”, а с конкретными предсказаниями, которые проверяются экспериментально. Из неё даже вытекают практические следствия: соотношения Максвелла (да, те самые) описывают, как скорость обучения и регуляризация (weight decay) влияют на энтропию стационарного распределения весов, а это напрямую связано с тем, как эту скорость выбирать.

Но чтобы оценить красоту результата, нужно сначала вспомнить термодинамику. Я постараюсь объяснить всё, что нужно, с нуля — для аудитории, которая прекрасно понимает SGD и нормализацию, но физику успела забыть (я сам, конечно, давно забыл, и мне пришлось довольно тщательно возвращаться в контекст).

Термодинамика за 15 минут: то, что вам нужно знать

Что такое термодинамика

Термодинамика изучает макроскопические свойства систем из огромного числа частиц. Каждая отдельная молекула движется хаотично, но их коллективное поведение описывается несколькими макроскопическими переменными. Вместо того чтобы следить за $10^{23}$ молекулами газа, мы можем описать всю систему через температуру $T$ , давление $p$ , объём $V$ , внутреннюю энергию $U$ и энтропию $S$ .

Аналогия с нейросетями уже напрашивается: вместо молекул газа — параметры сети; вместо хаотического теплового движения — шум стохастических градиентов. Вопрос в том, можно ли эту аналогию сделать точной.

Первый и второй законы

Первый закон термодинамики — это просто сохранение энергии:

$dU = \delta Q - p \, dV$

Здесь $dU$ — изменение внутренней энергии, $\delta Q$ — подведённое тепло, $p , dV$ — работа, совершённая системой при расширении. Физически это значит, что если мы дали системе тепло, оно пошло или на увеличение энергии, или на совершение работы (расширение газа).

Второй закон термодинамики говорит, что энтропия (мера “беспорядка”) в замкнутой системе не уменьшается:

$dS \geq \delta Q / T.$

Равенство $dS = \delta Q / T$ достигается только в обратимом (квазистатическом) процессе. Неформально говоря, процессы в природе идут в сторону увеличения беспорядка, и если мы хотим уменьшить энтропию в одном месте, мы неизбежно увеличим её в другом.

Распределение Гиббса: “функция потерь” термодинамики

И вот мы подходим к самому важному объекту для нашей аналогии. В термодинамическом равновесии при температуре $T$ вероятность того, что система находится в микросостоянии $i$ с энергией $E_i$ , задаётся распределением Гиббса:

$p_i \propto \exp\left(-\frac{E_i}{T}\right)$

Как видите, в привычных нам терминах это просто softmax по энергиям. При $T \to 0$ вся масса концентрируется на состоянии с минимальной энергией (градиентный спуск находит минимум функции потерь). При высоком $T$ распределение становится более равномерным (SGD с большой скоростью обучения блуждает по широкой области пространства параметров).

Из распределения Гиббса получаются другие важные определения:

внутренняя энергия: $U = \mathbb{E}[E_i]$ — средняя энергия по распределению
энтропия: $S = \mathbb{E}[-\log p_i]$ как мера “размазанности” распределения (обычная энтропия Шеннона, она отсюда и взялась).

Термодинамические потенциалы: что минимизируется

И здесь начинаются тонкости. В зависимости от того, какие переменные зафиксированы, система минимизирует разные величины:

при фиксированных $T$ и $V$ минимизируется энергия Гельмгольца $F = U - TS$ ;
при фиксированных $T$ и $p$ минимизируется энергия Гиббса $G = U - TS + pV$ .

Например, это значит, что при минимизации $F$ система ищет баланс: она хочет опуститься на дно по энергии (маленькая $U$ ), но при этом остаться “размазанной” (большая $S$ ). Температура $T$ задаёт баланс между этими двумя стремлениями; и это очень похоже на то, что происходит при градиентном спуске с регуляризацией.

Соотношения Максвелла

Из условий минимума термодинамических потенциалов вытекают соотношения Максвелла — связи между частными производными переменных состояния. Например, для энергии Гиббса:

$-\left(\frac{\partial S}{\partial p}\right)_T = \left(\frac{\partial V}{\partial T}\right)_p.$

Физический смысл здесь довольно прямой: то, как энтропия меняется при изменении давления, связано с тем, как объём меняется при изменении температуры. Это нетривиальное утверждение! Левая часть про энтропию и давление, правая — про объём и температуру. Соотношения Максвелла позволяют измерять сложные для прямого наблюдения величины (энтропию) через легко измеряемые (объём, давление, температура).

Идеальный газ: простейшая модель

Идеальный газ — это модель, в которой молекулы не взаимодействуют друг с другом. Его поведение описывается уравнением состояния:

$pV = RT,$

где $R$ — газовая постоянная. Это самая знаменитая формула термодинамики, то самое школьное уравнение Менделеева-Клапейрона.

Для идеального газа теплоёмкости $C_V$ и $C_p$ (при постоянном объёме и давлении соответственно) — это константы, причём $C_p - C_V = R$ . А в адиабатическом процессе (без теплообмена, $\delta Q = 0$ ) выполняется $pV^\gamma = \text{const}$ , где $\gamma = C_p / C_V$ .

Ладно, с почти-школьной физикой разобрались. Теперь главное: при чём тут нейросети?

Масштабно-инвариантные нейросети и аналогии с термодинамикой

Что такое scale invariance

Современные архитектуры почти всегда содержат слои нормализации — BatchNorm, LayerNorm и их вариации. Ключевое свойство нормализации в том, что выход слоя не зависит от масштаба входов. Если мы умножим все входы перед нормализацией на константу $\alpha > 0$ , выход не изменится. Это и есть свойство инвариантности к масштабу (scale invariance).

Для полностью масштабно-инвариантной (scale-invariant) сети (где нормализация стоит “везде, где нужно”) функция потерь удовлетворяет соотношению

$L(\alpha \mathbf{w}) = L(\mathbf{w}) \quad \text{для всех } \alpha > 0$

Из этого немедленно следуют два важных свойства градиентов:

$\nabla L(\alpha \mathbf{w}) = \frac{1}{\alpha} \nabla L(\mathbf{w})$ , градиент обратно пропорционален масштабу;
$w^T \nabla L(\mathbf{w}) = 0$ , градиент ортогонален вектору весов.

Второе свойство особенно важно: ошибка зависит только от направления вектора весов $\bar{\mathbf{w}} = \mathbf{w} / \|\mathbf{w}\|$ , но не от его нормы $r = \|\mathbf{w}\|$ . Это значит, что пространство параметров естественно расщепляется на радиус $r$ (норму вектора) и направление $\bar{\mathbf{w}}$ на единичной сфере.

Effective learning rate

Для scale-invariant сетей ключевой параметр — это не обычная скорость обучения $\eta$ , а effective learning rate (ELR):

$\eta_{\text{eff}} = \frac{\eta}{\|\mathbf{w}\|^2}$

Именно ELR определяет динамику функции потерь: чем больше норма весов, тем меньше шаг на единичной сфере. Weight decay здесь играет роль не регуляризатора (как в обычных сетях), а ручки, которая управляет learning rate — уменьшая норму весов, weight decay увеличивает ELR.

Стационарное распределение SGD

Ещё один важный факт (для тех, кто думает в терминах оптимизации): SGD с конечной скоростью обучения не сходится к точке, а сходится к стационарному распределению вокруг минимума. Шум от мини-батчей не даёт алгоритму остановиться — он бесконечно блуждает вокруг минимума, и после достаточно долгого обучения можно говорить о распределении весов.

Это ключевой концептуальный мост к термодинамике: шум стохастических градиентов — это аналог тепловых флуктуаций, а стационарное распределение SGD — аналог термодинамического равновесия.

Точные аналогии: словарь перевода

Теперь можно выписать полный словарь перевода между оптимизацией и термодинамикой:

Оптимизация	Термодинамика
Вектор весов $\mathbf{w}$	Микросостояние $i$
Функция потерь $L(\mathbf{w})$	Энергия микросостояния $E_i$
Средняя ошибка $\mathbb{E}[L(\mathbf{w})]$	Внутренняя энергия $U$
Энтропия стационарного распределения	Энтропия $S$
Weight decay $\lambda$	Давление $p$
$r^2/2$ (половина квадрата нормы весов)	Объём $V$
Функция от LR и шума градиентов	Температура $T$

Последние три строки — это главная новинка этой работы. Предыдущие авторы (Jastrzębski et al., 2017; Chaudhari & Soatto, 2018 и другие) уже устанавливали аналогию между SGD и статистической физикой на уровне энергии, энтропии и температуры. Но давление и объём — это что-то новенькое.

Почему именно такие отождествления? Рассмотрим энергию Гиббса: $G = U - TS + pV$ . В терминах задачи оптимизации это:

$G = \mathbb{E}[L(\mathbf{w})] - T \cdot S(\rho_{\bar{\mathbf{w}}}) + \lambda \cdot \frac{r^2}{2}$

Последний член — это как раз L2-регуляризация и есть. Минимизация $G$ при фиксированных $T$ и $p = \lambda$ — это в точности минимизация регуляризованной функции потерь с учётом бонуса за энтропию. Аналогия действительно получается точная!

Верификация теории: три протокола обучения

Авторы рассматривают три варианта обучения, каждый из которых отображается на свой термодинамический процесс.

Протокол 1: обучение на фиксированной сфере

Самый простой случай: фиксируем норму весов $r$ и оптимизируем только направление $\bar{\mathbf{w}}$ . Практически это реализуется проекцией весов обратно на сферу после каждого шага (как в работе про nGPT от Loshchilov et al., 2024, где трансформер целиком живёт на гиперсфере).

В этом случае weight decay отсутствует (норма и так фиксирована), объём $V = r^2/2$ задан, и мы минимизируем энергию Гельмгольца $F = U - TS$ . Температура определяется через ELR и дисперсию шума:

$T = \tau_{\text{eff}} = \frac{\eta_{\text{eff}} \sigma^2}{2}$

Стационарное распределение — в точности распределение Гиббса: $\rho_{\bar{\mathbf{w}}}(\bar{\mathbf{w}}) \propto \exp(-L(\bar{\mathbf{w}}) / T)$ .

Протокол 2: фиксированный ELR с weight decay

Теперь разрешаем норме меняться и добавляем weight decay. Оказывается, что при использовании SDE-приближения радиус $r$ эволюционирует детерминистически (!) и сходится к стационарному значению $r^*$ . В изотропной модели шума:

$r^* = \sqrt{\frac{\eta_{\text{eff}} \sigma^2 (d-1)}{2\lambda}} = \sqrt{\frac{T(d-1)}{\lambda}}$

Если теперь подставить $V = (r^*)^2 / 2$ и $p = \lambda$ , получится

$V = \frac{T(d-1)}{2\lambda} = \frac{RT}{p}, \quad \text{где } R = \frac{d-1}{2}$

Это в точности уравнение состояния идеального газа! Газовая постоянная $R = (d-1)/2$ определяется размерностью пространства параметров. Система минимизирует энергию Гиббса $G$ .

Протокол 3: фиксированная скорость обучения

Это то, как мы обычно обучаем сети — с фиксированным learning rate $\eta$ и weight decay $\lambda$ . Здесь ELR сам по себе не зафиксирован — он зависит от нормы весов, которая, в свою очередь, определяется балансом “центробежной” силы (шум градиентов раздувает норму) и “центростремительной” силы (weight decay стягивает к нулю).

Температура зависит от обоих гиперпараметров:

$T = \sqrt{\frac{\eta \lambda \sigma^2}{2(d-1)}}$

Обратите внимание: $T$ пропорционально $\sqrt{\eta\lambda}$ , а не просто $\eta$ (как в стандартной аналогии $T \propto \eta/B$ для обычных, не scale-invariant сетей). И уравнение идеального газа снова выполняется: $pV = RT$ .

Эксперименты

Авторы не ограничиваются теорией. Они предлагают четыре эмпирических теста аналогии, и проверяют их сначала на изотропной модели шума (аналитически решаемый случай), а потом на настоящих нейросетях (ResNet-18 на CIFAR-10).

V1: стационарный радиус

Проверим экспериментально, что $r^* \propto (\eta/\lambda)^{1/4}$ для фиксированного LR. Это прямое следствие стохастического диффура, так что это не специфично для термодинамики, но хорошо работает как sanity check. Этот тест проходится на практике отлично, расхождение появляется только для больших $\eta$ и $\lambda$ , где приближение перестаёт работать (авторы объясняют это ошибкой дискретизации).

V2: минимизация термодинамических потенциалов

Если аналогия верна, то стационарное распределение SGD должно минимизировать соответствующий потенциал ( $F$ или $G$ ) не просто для данных гиперпараметров, а среди всех стационарных распределений, индуцированных другими гиперпараметрами.

Авторы проверяют это: для каждой пары $(\eta, \lambda)$ считают $G$ для всех остальных пар и убеждаются, что минимум действительно приходится на “правильную” точку. На изотропной модели это работает идеально, а на нейросетях, к сожалению, не проверяется напрямую, так как потенциал $\Phi(w)$ в явном виде мы не знаем.

V3: соотношения Максвелла

Вот это, на мой взгляд, самая впечатляющая часть работы. Для фиксированного LR соотношение Максвелла принимает элегантный вид:

$\left(\frac{\partial S}{\partial \log \eta}\right)_\lambda - \left(\frac{\partial S}{\partial \log \lambda}\right)_\eta = \frac{d-1}{2}$

Это конкретное, проверяемое предсказание: разность производных энтропии по логарифмам learning rate и weight decay равна половине размерности пространства параметров. Авторы оценивают энтропию через ближайших соседей, аппроксимируют зависимость квадратичной функцией и получают, что соотношения Максвелла экспериментально выполняются с точностью лучше 2.5% для ResNet-18 на CIFAR-10.

Здесь я, наверное, уже многих читателей потерял, но с теми, кто остался, давайте восхитимся тому, насколько это нетривиально. Мы берём реальную нейросеть, обучаем её с разными гиперпараметрами, оцениваем энтропию стационарного распределения весов (что само по себе нетривиально в пространстве из ~44 тысяч измерений), и эта энтропия подчиняется соотношению, выведенному из аналогии с идеальным газом.

V4: адиабатический процесс

Адиабатический процесс — это процесс без теплообмена ( $\delta Q = 0$ ), при котором энтропия не меняется. Для изотропной модели с распределением фон Мизеса — Фишера на сфере авторы показывают, что $\gamma = C_p/C_V = 2$ , и адиабатический инвариант $pV^\gamma = \text{const}$ при $\gamma = 2$ сводится к постоянному $\eta$ . То есть если мы фиксируем learning rate и меняем только weight decay, энтропия стационарного распределения остаётся постоянной. Это подтверждается экспериментально.

От идеального газа к реальной сети

До сих пор я описывал случай изотропного шума — когда матрица ковариаций стохастических градиентов имеет простую структуру

$\Sigma_{\bar{w}} = P_{\bar{w}} \sigma^2 I_d P_{\bar{w}}.$

В реальных нейросетях шум, конечно, анизотропен.

Что меняется, если отказаться от этого предположения? Авторы показывают, что общая структура сохраняется, но с важными оговорками.

“Энергия” — это уже не тренировочная ошибка $L(w)$ , а некий неявный потенциал $\Phi(w)$ , зависящий от $L(w)$ и ковариационной матрицы $\Sigma_w$ . Явная формула для $\Phi$ неизвестна (кроме линейной регрессии, где её вывели в работе Kunin et al., 2021).
Формулы для температуры и стационарного радиуса формально остаются теми же, но $\sigma^2$ заменяется на $\frac{1}{d-1} \text{Tr}\, \Sigma_{\bar{w}}$ — среднюю дисперсию по всем направлениям.
Уравнение идеального газа выполняется, если $\text{Tr}\, \Sigma_{\bar{w}} = \text{const}$ , то есть если суммарная дисперсия шума одинакова во всех точках единичной сферы. В экспериментах это не совсем так: $\sigma^2$ зависит от гиперпараметров. Но несмотря на это, и V1, и V3 выполняются с хорошей точностью.

Это одновременно и сильная, и слабая сторона работы. Сильная — потому что аналогия сохраняется даже при нарушении изотропности. Слабая — потому что мы пока не можем объяснить, почему она сохраняется. Авторы предлагают попробовать перейти от идеального газа к реальному с фактором сжимаемости $Z(p, T)$ , где $V = Z(p, T) \cdot RT/p$ . Это красивая идея, но её ещё развивать и развивать.

Зачем всё это нужно: практические следствия

Хорошо, аналогия красивая, эксперименты сходятся, какие-то переменные после сходимости обучения начинают быть друг с другом связаны. Но зачем это нужно практикующему ML-инженеру?

Learning rate scheduling

Соотношения Максвелла дают нам количественную связь между гиперпараметрами и энтропией. Если мы хотим контролировать скорость уменьшения энтропии (то есть контролировать скорость “схлопывания” распределения весов к узкой области вокруг минимума), то формула

$\left(\frac{\partial S}{\partial \log \eta}\right)_\lambda - \left(\frac{\partial S}{\partial \log \lambda}\right)_\eta = \frac{d-1}{2}$

говорит нам, как именно нужно менять $\eta$ и $\lambda$ для достижения желаемого темпа. Слишком быстрое уменьшение энтропии приведёт к преждевременной сходимости к острому минимуму, а это значит плохую способность к обобщению. Слишком медленное — пустая трата вычислительного бюджета.

Weight averaging

Для стохастического усреднения весов (stochastic weight averaging, SWA) нужен баланс: каждая отдельная модель должна иметь низкую ошибку (маленький $U$ ), но при этом модели должны быть достаточно разнообразными (большая $S$ ). Выходит, что это в точности тот trade-off, который контролируется температурой $T$ !

При этом в предыдущей своей работе Sadrtdinov et al. (2024) показали, что оптимальный learning rate для weight averaging часто выше порога сходимости, что полностью согласуется с необходимостью поддерживать высокую энтропию.

Интуиция для дизайна гиперпараметров

Мне очень понравилось, как термодинамическая картинка делает очень наглядной интуицию того, что мы делаем при выборе гиперпараметров. Буквально по школьной физике, да и просто согласно здравому смыслу:

увеличиваем learning rate — значит, повышаем температуру и получаем более “размазанное” распределение, исследование ландшафта;
увеличиваем weight decay — значит, повышаем давление и уменьшаем объём (норму весов), что при фиксированной температуре также увеличивает ELR;
адиабатический процесс даёт конкретный рецепт, как менять гиперпараметры, сохраняя энтропию;
cooldown (уменьшение LR в конце обучения) — это аналог охлаждения газа, конденсация вокруг минимума.

Предположения и дальнейшие идеи

Несколько мыслей о том, что в работе не идеально и куда можно двигаться дальше.

Требование scale invariance. Полная инвариантность к масштабу — это сильное требование. В реальных сетях аффинные параметры BatchNorm, skip connections и финальный линейный слой нарушают её. Авторы используют специально подготовленные сети (BatchNorm без аффинных параметров, фиксированный последний слой). Обобщение на не scale-invariant случай потребует переосмысления понятия “объёма”, потому что текущее определение опирается на детерминистическую эволюцию нормы.

Другие оптимизаторы. Всё это работает только для SGD с константной (или меняющейся по расписанию) функцией ошибки. Для, например, Adam/AdamW в формулах обновления весов появляется preconditioner, дополнительная матрица, на которую умножают градиент; и эта матрица не просто что-то перевзвешивает, а зависит от весов и истории обучения. Это меняет баланс “центробежных” и “центростремительных” сил, и уравнение идеального газа тоже, кажется, как-то должно будет измениться.

Оценка энтропии в высоких размерностях. Авторы используют nearest-neighbor entropy estimator, который имеет bias порядка $O(N^{-2/d})$ . При $d \approx 44000$ и $N = 1000$ это огромное смещение в абсолютных величинах. Авторы предполагают, что смещение примерно одинаковое для разных стационарных распределений (и поэтому производные энтропии оцениваются корректно), и эмпирически это работает, но обоснования здесь пока нет.

Overparameterization. Авторы показывают, что для перепараметризованных моделей ( $k = 32$ вместо $k = 4$ ) аналогия ломается для малых ELR: сеть входит в “режим интерполяции”, шум исчезает, и стационарного распределения нет. Термодинамически это соответствует вырожденному случаю $T \to 0$ . Кажется, здесь можно ещё поисследовать, что дальше с этим газом происходит, потому что на самом деле ведь действительно происходит: тот же grokking появляется именно в этом режиме.

Заключение

Работа Ильдуса Садртдинова и других коллег из группы Ветрова показывает, что аналогия между обучением нейросетей и термодинамикой — это не просто красивая метафора, а количественно точное соответствие (по крайней мере, для scale-invariant сетей с SGD). Уравнение идеального газа $pV = RT$ связывает weight decay, норму весов, learning rate и дисперсию шума в единую формулу. Соотношения Максвелла дают конкретные, проверяемые предсказания о поведении энтропии. Адиабатические инварианты описывают, как менять гиперпараметры, сохраняя уровень энтропии.

Думаю, самое важное здесь — не конкретные формулы, а сам факт: статистическая физика, разработанная для описания поведения газов и для конструирования паровых машин, оказывается правильным языком для описания обучения нейронных сетей в наше время.

Термодинамика — это наука о системах с огромным числом степеней свободы и сложными взаимодействиями, где тем не менее возникает простое макроскопическое описание. Нейросети — это тоже системы с огромным числом степеней свободы и сложными взаимодействиями.

И ещё должен признаться, что в этом посте я оставил за кадром не-школьную часть работы. На самом деле в статистической физике появляются стохастические дифференциальные уравнения, описывающие эволюцию системы, и те же диффуры начинают описывать и процесс эволюции весов у нейросети. Но об этом как-нибудь в другой раз — очень хочется надеяться, что будет повод.

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале “Sineкура”: присоединяйтесь!