Author: snikolenko

У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“; пока в виде препринта, но, глядишь, и засунем куда-нибудь со временем.

Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными.

В этом посте я хочу рассказать и про мотивацию, и про результаты, а заодно дать общее введение в тему. Технических деталей будет немало — будут и теоремы, и формулы, — но я постараюсь, чтобы всё было понятно, а главное, чтобы было видно, как отдельные кусочки складываются в одну довольно-таки стройную картину.

Линейное дообучение: все хотят двигать модель по прямой

Начнём с наблюдения, которое в последние пару лет стало общим местом. Если у вас есть обученная модель (скажем, LLM) и вы хотите поменять её поведение — добавить навык, убрать нежелательную склонность, усилить какую-то черту, — то очень часто оказывается, что для этого достаточно сдвинуть параметры или активации вдоль одного линейного направления. Причём это работает в самых разных постановках.

В пространстве весов есть целое семейство методов, которые этим занимаются. Task vectors (Ilharco et al., 2022) предлагают вычислять “вектор задачи” как разность дообученных и исходных весов, а потом складывать и вычитать эти векторы, как будто они живут в обычном линейном пространстве. Примерно как word2vec арифметика в своё время:

Model soups (Wortsman et al., 2022) усредняют веса нескольких дообученных моделей и получают модель лучше каждой из исходных.

TIES-merging (Yadav et al., 2023) старается аккуратно разрешать конфликты между такими дельтами при слиянии:

Ну и совсем общеизвестное: LoRA-дообучение (Hu et al., 2021) ведь тоже с самого начала исходит из гипотезы, что дообучение может жить в низкоранговом срезе матриц весов, и потому учит только добавочку малого ранга.

В пространстве активаций происходит ровно то же самое, только методы по-другому называются. Activation addition (Turner et al., 2023) строит steering-вектор (вектор управления) как разность активаций на контрастных промптах и просто прибавляет его к скрытому состоянию. Function vectors (Todd et al., 2023) находят компактные векторные представления функций, выученных в контексте. Representation engineering (Zou et al., 2023) предлагает целую методологию мониторинга и управления поведением через линейные направления в пространстве представлений. А ReFT (Wu et al., 2024) обучает низкоранговые вмешательства прямо в активациях, а не в весах.

Как видите, приёмы разные, а идея одна и та же: нужная структура имеет малую размерность и локально линейна. И тут возникает естественный вопрос: а какая, собственно, линейная структура реально есть в обученной сети? Где она живёт — в весах или в активациях, локально или глобально? И как далеко можно двигаться вдоль неё, прежде чем линейность закончится?

Есть и более провокационная версия этого же вопроса. Совсем недавно вышла работа “Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights” (Gan, Isola, 2026), в которой авторы утверждают, что достаточно хорошо предобученная модель окружена плотными “зарослями” (thickets) полезных направлений, и их можно найти, просто насэмплировав случайных возмущений параметров, оставив те, что помогают, и сложив их в ансамбль.

Это очень контринтуитивно: если бы полезные направления были редкими иголками в стоге сена размерности , случайный поиск не находил бы их никогда. А он находит.

Историю про случайный поиск в высоких размерностях продолжают и более ранние работы по zeroth-order и эволюционным методам — MeZO (Malladi et al., 2023) и evolution strategies (Salimans et al., 2017); все они показывают, что случайный поиск при правильном масштабе действительно двигает большие модели в полезную сторону.

Именно с этого мы и начали. Случайный поиск, очевидно, не конкурент градиентному спуску: на чистой точности градиент всегда выигрывает. Но его можно использовать как измерительный прибор. Если возмущения, насэмплированные внутри одного подпространства, при одинаковом размере шага работают устойчиво лучше, чем возмущения из другого подпространства, это говорит нам, какое из подпространств лучше согласовано с задачей. Случайный поиск здесь не метод оптимизации, а зонд (в смысле probe) локальной геометрии. И вся статья, по сути, отвечает на вопрос: что именно этот зонд нам говорит?

Восстановление после забывания

Чтобы изучать локальную геометрию, нам нужна точка отсчёта, ground truth: известный, заведомо рабочий сдвиг параметров, с которым можно сравнивать всех кандидатов. Откуда его взять? Мы устроили специальный экспериментальный цикл — восстановление после забывания (recovery after forgetting), — который даёт такую мишень в чистом виде.

Цикл состоит из трёх фаз.

1. Мультизадачное обучение. Учим небольшую сеть на равной смеси из задач до контрольной точки .
2. Доучивание на одной задаче (забывание). Продолжаем учить только на одной задаче, доходя до точки , в которой одна или несколько других задач успели деградировать. Это и есть катастрофическое забывание.
3. Восстановление. Из делаем небольшое число шагов градиентного спуска обратно на исходной смеси (мы берём 100 шагов для синтетической модели и 50 для LoRA), приходя в точку .

Теперь у нас есть сдвиг восстановления:

   

то есть конкретная, специфичная для задачи адаптация, которую произвёл сам градиентный спуск. Это и есть наша честная мишень: мы можем брать разные маленькие подпространства и спрашивать, насколько хорошо каждое из них содержит .

Здесь хорошо будет привести нашу тизер-картинку; хоть она и забегает вперёд по сравнению с тем, где мы сейчас находимся, она как раз иллюстрирует все эти обозначения:

Подчеркну, что в самих теоретических результатах нет ничего специфичного именно для забывания — то же самое относится к любой небольшой градиентной адаптации вокруг контрольной точки; просто в сценарии с забыванием есть удобный правильный ответ .

Кандидатов на “правильное подпространство” у нас три, точнее, целых три их семейства:

• локальное подпространство задачи (local task subspace) — линейная оболочка топ- собственных векторов матрицы ковариации градиентов сети, посчитанных в точке ; это и есть то самое “естественное” подпространство, которое часто неявно предполагается в упомянутых выше методах;
• префикс траектории (trajectory prefix) — линейная оболочка первых шагов восстановления

     

  по построению весь лежит в оболочке всей траектории, но здесь речь о том, что и короткого префикса, первых нескольких шагов может хватить, чтобы поймать основную часть нужного подпространства;
• явный крыловский базис (explicit Krylov span) в точке , построенный через произведения гессиана на вектор (в реальности вычисленные через конечные разности); его мы используем как диагностику кривизны, а не как реальный базис; забегая вперёд, скажу, что он ловит лишь около 11% сдвига восстановления против 77% у префикса траектории, и почему так — это интересный вопрос.

А результаты случайного поиска мы оцениваем тремя способами, потому что они отвечают на разные вопросы:

• best-of- — выигрыш одного лучшего из кандидатов (именно про эту величину наша теорема);
• ens--of- — выигрыш ансамбля из топ- кандидатов по голосованию;
• pass@ — доля тестовых примеров, решённых хотя бы одним из отобранных кандидатов; это верхняя граница, потолок для идеального “селектора”, выбирающего из вариантов.

Стоит сказать, что структура низкой размерности в весах — это вообще не новость. То, что многие задачи решаются в маленьком случайном подпространстве, люди знают как минимум со времён работ про intrinsic dimension (Li et al., 2018); то, что независимо обученные сети соединяются простыми кривыми малых потерь, показала серия работ про mode connectivity (Garipov et al., 2018) — и здесь большой очередной привет Дмитрию Ветрову!

Наш вклад в эту историю — временная ось: для восстановления после забывания релевантная низкоразмерная структура оказывается не статичным базисом, а движущимся пучком, который следует за траекторией.

Но об этом чуть ниже, а сначала — немного теории, потому что без неё непонятно, почему всё это вообще должно работать. Теорию можно без особых потерь для дальнейшего пропустить, все детали тут будут интересны только математически подготовленному читателю.

Теория: почему случайный поиск вообще что-то находит

Самый контринтуитивный факт во всей этой истории — что случайный поиск работает в пространстве размерности . Давайте разберёмся, почему.

Теорема (гауссовский best-of- в локально-линейной окрестности). Рассмотрим чекпойнт и его окрестность, где приращение оценки ведёт себя линейно:

   

для фиксированного полезного направления . Посэмплируем и выберем лучший сэмпл, . Тогда верно следующее.

1. Каждая проекция — центрированный гауссиан с дисперсией , не зависящей от размерности .
2. Ожидаемый выигрыш best-of- равен

      

   что растёт с бюджетом, но не с .
3. Для любого (направление посторонней побочной задачи) у выбранного кандидата , а типичная величина , и она не зависит от .

Доказательство тут совсем короткое и стандартное. Для величина — центрированный гауссиан с , что даёт пункт 1.

Дальше нормируем, , и применяем классический результат из теории экстремальных значений:

   

и это пункт 2.

Наконец, являются совместно гауссовскими с ковариацией ; если , они независимы, и обусловливание на то, что мы их выбрали (а это событие зависит только от ), оставляет , что даёт пункт 3.

Главное здесь — первый пункт. Хотя сэмплер размазывает свою дисперсию по всем координатам, “количество полезного направления” в одном случайном векторе имеет дисперсию , которая не сжимается с ростом . То есть даже на масштабе LLM случайный поиск не безнадёжен: сигнал на один сэмпл одинаков для любых , даже гигантских.

Best-of- усиливает этот сигнал привычным гауссовским множителем , растущим с бюджетом. А третий пункт — это та самая асимметрия, ради которой всё затевалось: отбор по в среднем вообще не двигает ортогональное направление , и даже случайный “снос” не растёт с бюджетом. Польза концентрируется на цели и растёт с , а вред по соседям размазывается и не растёт.

Два графика внизу это иллюстрируют. Во-первых (слева), ожидаемый best-of-N сигнал для размерностей ложится на одну и ту же кривую и похож на асимптоту ; во-вторых (справа), движение по ортогональному побочному направлению плоское по и одинаковое для всех :

Почему это контринтуитивно? Потому что в высоких размерностях случайный вектор почти ортогонален , и наивно кажется, что чтобы найти согласованный, нужно будет экспоненциальное число попыток.

Так и есть — но для угла, который концентрируется около 90°. А угол здесь не совсем та величина, которая нас интересует: проекция — это произведение (действительно исчезающего) косинуса и растущей как длины, и эти два эффекта сокращаются, оставляя независимым от .

Из теоремы, казалось бы, следует, что при сравнении подпространств выигрывать должно то, в котором содержится больше всего . Так вот, это неверно — по крайней мере, при фиксированном размере шага.

Утверждение (поиск с фиксированной нормой предпочитает плотность, а не массу). Ограничим сэмплирование подпространством размерности , сэмплируя с , равномерным на единичной сфере . Тогда

   

Иначе говоря, сигнал поиска на одно измерение масштабируется как : если добавить в направления, ортогональные , то вырастет, не изменится — и сигнал упадёт. Доказательство здесь опять в одну строчку: для равномерного на сфере по симметрии , откуда .

Это очень важная для нас мысль: при фиксированном шаге значима плотность сигнала , а не его масса . Подпространство ранга 32, целиком содержащее , имеет плотность , и это хуже, чем у подпространства ранга 10, содержащего 77% от . Именно эти цифры мы потом и увидим в экспериментах.

Наконец, что вообще представляет собой направление восстановления? Здесь тоже есть короткая лемма.

Лемма (крыловское восстановление). Пусть квадратична с постоянным гессианом на окне восстановления, и

   

Тогда , и

   

Иначе говоря, сдвиг восстановления лежит в крыловском подпространстве размерности не больше (значит, он имеет малую размерность), но одно фиксированное направление ловит его лишь в вырожденном случае, когда градиент оказывается собственным вектором гессиана, а фиксированное подпространство — только если гессиан переводит его в себя ().

Для глубокой сети в забытом чекпойнте ни то ни другое не выполнено. Значит, объект восстановления низкоразмерный, но движущийся: старшие члены по мере разворачивания траектории всё время подмешивают новые компоненты. Отсюда и главная мысль из названия статьи: recoverable (восстановимо, низкоразмерно) but not stationary (движется).

Рисунок внизу это иллюстрирует. Слева видно, что путь изгибается — суммарный сдвиг не совпадает с начальным направлением и вообще ни с каким фиксированным направлением; а справа показано, как направление шага поворачивается по мере разворачивания траектории (сначала быстро, потом очень медленно):

И последний кирпичик — мостик между весами и активациями. Если сдвинуть веса на , то активация каждого слоя сдвинется на

   

то есть на пушфорвард (pushforward) весового сдвига в пространство активаций. А значит, если помогло задаче, то его усреднённая по примерам активационная “тень”

   

является хорошим кандидатом в steering-векторы с тем же эффектом первого порядка на потери. К этой мысли мы вернёмся в самом интересном эксперименте.

Что показывают эксперименты

Мы проверяли всё это на трёх масштабах:

• полностью контролируемый синтетический трансформер, где мы видим всю геометрию;
• LoRA-адаптеры поверх настоящих предобученных моделей;
• полные LLM с миллиардами параметров (ну ладно, единицами миллиардов, конечно).

Синтетический трансформер: подпространство движется

Начнём с того, что можно полностью контролировать: 4-слойный, 128-мерный, двухголовый каузальный трансформер (около 500К параметров), обученный на четырёх процедурных задачах с последовательностями цифр — copy, reverse, sort и mod-add. Мультизадачное обучение идёт в течение 20К шагов, доучивание для забывания — ещё 10К, восстановление — не более 100 шагов; везде усредняем по трём запускам.

Сначала хорошие новости для “линейной гипотезы”. В мультизадачной точке минимума матрица ковариаций градиентов каждой задачи действительно низкоранговая — эффективный ранг между 2 и 8, исчезающая доля от числа параметров. Более того, задачи не ортогональны друг другу: средневзвешенное перекрытие их топ- подпространств по шести парам равно 0.11, что на четыре порядка выше ожидаемого значения при случайном их выборе. Это значит, что низкоразмерная структура отдельных задач реальна и вдобавок между задачами есть что-то содержательно неслучайно общее (но не так много, всего 0.11).

Но низкоранговость и почти-ортогональность не спасают от забывания. После доучивания на одной задаче точность худшей из других падает на 0.56–0.95, что подтверждается даже у пар, чьи подпространства перекрываются меньше чем на 0.10. Жить в почти ортогональных подпространствах оказывается недостаточно для того, чтобы не мешать друг другу.

И здесь мы приходим к центральному отрицательному результату. Мы сравнили три способа восстановления при одинаковом шаге: полный градиентный спуск, спуск с градиентом, перепроецированным на каждом шаге на подпространство задачи в забытой точке, и градиент, перепроецированный на чистое подпространство до забывания.

Полное восстановление даёт exact-match 0.30, а обе проекции на статичное подпространство — лишь 0.10 и 0.07. То есть подпространство задачи, измеренное ровно в той точке, где задача была обучена, содержит меньше трети того, что достигает свободное восстановление. Более того, само подпространство движется и “уезжает”: перекрытие топ- подпространств на шаге и на шаге 0 падает с 1.0 до примерно 0.12–0.17 за 100 шагов (оставаясь, впрочем, сильно выше случайного, в 2400 раз):

При этом размерность его не меняется, это именно дрейф ориентации пространства. Получается, что любое статичное подпространство промахивается мимо восстановления именно потому, что нужное подпространство всё время поворачивается.

И, наконец, давайте используем наш “зонд” — случайный поиск. Сэмплируя возмущения с фиксированной нормой внутри каждого подпространства на забытой задаче sort, мы получаем воспроизводимый и понятный результат:

Это best-of- выигрыш, та самая метрика из теоремы, но две другие метрики — ансамбль и pass@N — дают ровно тот же порядок. Причём, ровно как предсказывает наше утверждение про плотность, префикс траектории выигрывает несмотря на меньший ранг. А использование подпространства задачи (ранга 48) вдоль траектории не помогает, хотя и содержит ответ: лишние направления почти ортогональны сигналу восстановления и только размывают его.

LoRA на DistilGPT-2 и GPT-2: главный количественный результат

На синтетике всё сходится, но это одна архитектура с игрушечными задачами. Поэтому мы повторили все эксперименты на LoRA-адаптерах поверх двух настоящих предобученных моделей: DistilGPT-2 с адаптерами ранга 16 на паре sort → mod-add и GPT-2 с адаптерами ранга 8 на reverse →sort, по три запуска, всего шесть прогонов.

И вот тут получается наш самый чистый количественный результат — про массу проекции, то есть про то, какую долю сдвига восстановления содержит каждое подпространство. Базис из первых 10 шагов восстановления содержит около 77% от ; первые 20 шагов — около 90%; полная траектория, понятно, все 100% по построению.

А статичные подпространства ловят гораздо меньше: локальное — около 15%, до забывания — меньше 2%. Нужный нам объект следует за траекторией, а не сидит в фиксированном пространстве малой размерности, и это подтверждается на обеих моделях. Появляется та самая временная ось: там, где работы про intrinsic dimension и mode connectivity говорили о статичной низкоразмерной структуре, при восстановлении забытых задач она оказывается движущейся.

Здесь опять два графика; слева масса проекции по подпространствам (среднее и разброс по 6 прогонам); справа предсказанная плотность (столбики) против наблюдаемого best-of-N выигрыша (точки), и видно, что они идут вместе:

Самое приятное здесь то, что масса проекции вместе с нашим утверждением про плотность предсказывает, как хорошо сработает случайный поиск внутри подпространства: поиск с фиксированной нормой извлекает сигнал плотности .

И прогноз сбывается! Best-of-N (та метрика, про которую теорема) точно следует за плотностью: префикс ранга 10 (0.165) лучше полной траектории ранга 16 (0.134) примерно в те самые раза, что предсказывает утверждение, а деление каждого выигрыша на делает порядок монотонным.

Интересно, что три метрики при этом немного расходятся — и расходятся ровно так, как предсказывает теория.

Ансамбль (ens-k-of-N) более снисходителен к большому подпространству (префикс 0.191 против полной траектории 0.182, почти ничья): объединение многих кандидатов размывает штраф за плотность. А pass@N просто отслеживает массу: чем больше содержит подпространство, тем выше потолок. Главный вывод мы делаем из best-of-N, где теория применима напрямую.

Полезно заглянуть и внутрь средних по семействам — на отдельных кандидатов. На рисунке около 1200 кандидатов из 6 прогонов:

Здесь можно увидеть две вещи. Во-первых, возмущения, которые улучшают задачу, — это в основном те, что согласованы с направлением градиентного восстановления: косинус кандидата с коррелирует с его выигрышем (), а поиск иногда даже чуть обыгрывает один шаг градиента, находя более удачный масштаб вдоль примерно того же направления. Во-вторых, перекрытие кандидата со статичным локальным подпространством задачи успех не предсказывает, а скорее анти-коррелирует (): из этого подпространства сигнал восстановления почти целиком убирает проекция.

Есть из этой картины и практический вывод. Гипотеза о движущемся подпространстве делает конкретное предсказание про мультизадачное дообучение: если довести одну задачу до конца и только потом добавить вторую, локальное пространство первой от этого “уедет”, а значит, последовательная специализация должна быть хрупкой.

Так и получается: на обеих моделях расписания, которые обновляют задачи вместе (простая сумма градиентов, чередование, PCGrad-lite в духе Yu et al., 2020), добиваются точности худшей задачи на порядок выше, чем расписания, которые сначала доучивают одну задачу до конца и лишь потом берутся за другую.

Тут стоит сказать, что вокруг конфликта градиентов в мультизадачном обучении выросло целое семейство методов: PCGrad, MGDA, GradNorm, CAGrad. Да и регуляризаторы для continual learning вроде EWC и GEM про то же. Мы не пытаемся добавить ко всему этому многообразию ещё один оптимизатор, а всего лишь делаем диагностику; разные одновременные расписания в наших экспериментах кучкуются в паре пунктов друг от друга без явного победителя. Но вывод всё равно чёткий: последовательно учить задачи не надо.

LLM-масштаб: картина слегка мутнеет

Синтетика и LoRA дают полное совпадение с теорией до обучаемых параметров. А что будет на моделях с миллиардами параметров? Здесь мы честно задаём три вопроса, и так же честно отвечаем, в том числе там, где доказательств меньше, чем хотелось бы.

Выживает ли низкоранговая геометрия? Лишь отчасти. На Qwen2.5-0.5B мы оцениваем ковариации градиентов через случайный скетч и считаем эффективные ранги — их значения очень малы, от единиц до полутора десятков. Но маленький эффективный ранг по нескольким десяткам минибатчей в пространстве размерности может быть артефактом сэмплирования, а не свойством задачи.

Поэтому мы также добавляем “контрольную группу”: заменяем каждый градиент гауссовским вектором той же нормы и переоцениваем ранг тем же пайплайном. В результате на Qwen-3B при ограничении на MLP-слои измеренный ранг явно ниже контроля (там низкий ранг настоящий), а на Qwen-7B измеренный и контрольный ранги практически совпадают — и видимая низкоранговость неотличима от шума.

Так что чистый низкоранговый результат установлен на маленьких моделях и LoRA, а на миллиардных масштабах выживает лишь частично. Это, пожалуй, самое слабое место из всех наших утверждений в статье: мы не установили, что низкий ранг на миллиардах параметров сохраняется.

Находит ли случайный поиск улучшения — и в каком режиме? Теорема работает только там, где потери примерно линейны по возмущению, а значит, и весь результат про управление активациями ниже надо проверять при этом условии. Поэтому сначала надо этот режим найти, отделив линейную часть эффекта возмущения от вклада кривизны.

Мы делаем это напрямую; считаем симметричные конечные разности:

   

где — антисимметричная (линейная) часть, а — симметричная (кривизна). Прогоняя масштаб , видим, что на Qwen2.5-0.5B линейная часть доминирует около , а выше кривизна берёт верх, и случайные ходы становятся разрушительными. И этот режим зависит от задачи: у BoolQ и HellaSwag есть здоровая полоса линейных и выпуклых направлений, а ARC-Easy на всех масштабах задавлена вогнутыми направлениями — это как раз случай, когда никакого предпочтительного направления нет и случайный поиск вырождается в шум.

Внутри же предсказанного окна теорема подтверждается: best-of-N при даёт возмущения, чей результат после объединения в ансамбль на отложенном BoolQ поднимает точность примерно на 10 пунктов, и урон по другим задачам остаётся маленьким.

А теперь самое интересное.

Можно ли из полезного весового возмущения сделать steering-вектор? Здесь работает наш пушфорвард, и это, по-моему, самый красивый результат статьи.

Чистая версия: один шаг градиента — это и есть steering-вектор. На Qwen2.5-0.5B (в формате “истинных/ложных” утверждений) мы делаем один шаг градиента, проталкиваем полученный весовой сдвиг в активации каждого слоя и сравниваем с контрастным (true-minus-false) CAA-вектором (centroid-based activation addition, в духе Rimsky et al., 2023), построенным независимо из размеченных промптов.

Два направления хорошо согласуются на поздних слоях: косинус растёт через средний блок декодера и достигает около 0.58 на слоях 19–20 — ровно тех, откуда обычно и берут steering-векторы, — и только при том самом промежуточном learning rate , который анализ пометил как линейный.

При шаг выходит из линейного режима, и согласованность рушится. А если впрыснуть градиентный сдвиг обратно в чистую модель, кривая отклика близко повторяет кривую CAA-вектора и поднимает точность примерно на 10 пунктов. Модель ведёт себя почти одинаково, пришёл ли steering-вектор из 80 размеченных контрастных пар или из одного шага градиента вообще без меток.

Шумная версия повторяет это, заменив честный шаг градиента случайным возмущением (отобранным по принципу best-of-N). Здесь пайплайн посложнее — сначала поиск кандидатов, потом усреднение их влияния на активации в steering-вектор, потом выбор “рабочей точки”, то есть слоя и масштаба впрыска, и финальный замер на отложенном наборе:

Мы прогнали это на 14 комбинациях (модель, задача) — Qwen2.5 на 0.5B/3B/7B и OLMo-7B. Структурированный перенос побеждает контроль (случайное направление той же нормы на том же слое) в 9 из 14 случаев, и эффект Qwen на BoolQ выживает на всех трёх масштабах. То есть получается не бесплатно и не универсально: на OLMo BoolQ, например, выигрыш +1.2 пункта на целевой задаче покупается ценой -17 пунктов на других задачах. Да и 9 из 14 — это не то чтобы очень убедительно.

Так что этот алгоритм получился реальным и часто полезным, но сильно зависящим и от задачи, и, что важнее, от архитектуры: на не-Qwen-семействе вроде OLMo перенос может оказаться небезопасным.

Более широкая проверка: что устояло?

А теперь самый потенциально неуютный шаг. Статью мы подали уже пару недель назад, и выложенный препринт примерно соответствует поданной версии (он разве что поподробнее). Но потом мы решили, что наши результаты нужно перепроверить более широко, и устроили безжалостный независимый стресс-тест всех наших утверждений.

Кстати, этот тест был сделан в большой степени автоматизированно, AI-агентами. Как вы знаете, тема того, как AI сам двигает науку, мне очень близка, я писал про неё недавно в постах про AI 2027 и опровержение гипотезы Эрдёша и много раз рассказывал, но сейчас не об этом.

Такая перепроверка всегда может оказаться смертельной для результатов. Точнее говоря, она может сильно ограничить результаты: вопрос не в том, верно ли мы всё сделали (скорее всего да), а в том, по каким осям — архитектура, масштаб, воспроизводимость, тип задачи — наши результаты подтверждаются, а где проходит граница. И, кажется, обошлось!

Геометрия восстановления воспроизводится широко. Главная находка — что восстановимый объект живёт в префиксе траектории, а не в статичном подпространстве — повторяется на пяти архитектурных семействах (Pythia/NeoX, GPT-Neo, OPT, TinyLlama/Llama, GPT-2) и доходит до 7B на всех четырёх проверенных семействах. Префикс везде уверенно превосходит и фиксированные, и согласованное по размерности случайное подпространство.

Он ловит около 0.41 сдвига восстановления, а другие методы буквально около нуля. Так что наш вывод устойчиво воспроизводится.

Кстати, тут обнаружилась важная поправка: сравнивать префикс размерности 10 с подпространством размерности 3 нечестно, потому что большее подпространство ловит больше чего угодно. Поэтому мы проверяли при согласованной размерности , и, конечно, всё равно всё получилось.

Так что с геометрией всё в порядке. А что с нашей леммой?

Важное уточнение. В статье мы отмечаем, что явный крыловский базис ловит куда меньше , чем эмпирический префикс, и потому пользовались префиксом как рабочим прокси.

Стресс-тест показал, что префикс — это не крыловское подпространство никакого оператора. Ни обычный крыловский базис , ни “правильный” предобусловленный базис для Adam , ни даже “дрейфующий” базис с пересборкой оператора в каждой точке траектории не приближаются к префиксу.

У нас уже есть идеи о том, почему так, но это ещё требует дальнейших уточнений.

Подтвердилось и то, чего нам в статье как раз не хватало. Мы измеряли дрейф мультизадачной траектории восстановления, но не вращение подпространства задачи вдоль однозадачной оптимизации. Этот недостающий замер мы провели, и оказалось, что однозадачное подпространство градиентной ковариации действительно вращается, причём больше 90% этого вращения завершается рано, уже к 48-му шагу:

Так что нестационарность подпространства подтверждается и на прямом измерении.

Воспроизводимость. Здесь не буду перегружать цифрами, но, в общем, множественные перезапуски показали, что практически все результаты воспроизводятся очень хорошо. Единственный по-настоящему хрупкий результат — это слабая корреляция между кривизной и точностью на downstream задачах. Но там и был слабый сигнал, который ещё и не следовал ни из чего серьёзного, так что по идее это и должно было быть ненадёжным.

При этих дополнительных тестах мы получили и ещё кое-какие результаты, но это уже будет отдельная история и отдельный разговор.

Как всё это складывается вместе

Попробую теперь собрать общую картину.

Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).

Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. В общем чекпойнте градиенты задач концентрируются в маленьком подпространстве, которое даёт хороший базис для одного шага градиентного спуска. Вдоль траектории сдвиг восстановления живёт в крыловском подпространстве, хорошо приближаемом ранним префиксом этой траектории; это подтверждается и случайным поиском. А в пространстве активаций тень одного шага градиента близко повторяет контрастный steering vector на поздних слоях.

Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях.

Мне кажется, что естественнее всего смотреть на это с дифференциально-геометрической точки зрения: трактовать маленькие весовые возмущения как бесконечно малые смещения на многообразии параметров и изучать локальную касательную структуру, которую порождает оптимизация. В отличие от двух самых популярных сейчас объяснений линейных феноменов — через механистические схемы признаков (feature circuits) или через переполненные представления, мотивирующие sparse autoencoders, — мы заходим не со стороны интерпретируемости, а со стороны геометрии оптимизации.

И с этой точки зрения многие наблюдаемые “линейные” феномены возникают сами собой. Нейросеть — дифференцируемая функция, обучение идёт по некоторым гладким траекториям с какой-то локальной геометрией (напомню в скобках свой недавний пост о геометрии ландшафта потерь, а именно о термодинамике нейросетей); и эти траектории действительно имеют малую размерность, но они не статичны.

Та же оптика объясняет и то, с чего мы начинали, — почему случайные возмущения вообще работают на масштабе LLM. В локально-линейном режиме гауссовский поиск эффективно находит направления, улучшающие задачу, размазывая побочные эффекты по ортогональным задачам; и сигнал на сэмпл при этом не зависит от размерности. Эта часть у нас сопровождается даже некоторыми теоретическими результатами, что в deep learning редкость.

Несмотря на то, что мы сделали независимое подтверждение, ограничения у работы всё равно, конечно, есть. Масштаб наших экспериментов невелик, и самые чистые результаты получаются на маленьком трансформере на 500К весов и на LoRA-адаптерах. А у префикса траектории есть и концептуальная проблема: кажется, что мы знаем, где живут хорошие направления, но превратить это в практический алгоритм нельзя, потому что чтобы узнать префикс, надо уже запустить восстановление, а тогда зачем он?..

Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.

В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!

Предисловие

4 мая 2026 года Джек Кларк, сооснователь Anthropic, написал пост, в котором сказал следующее:

I’m writing this post because when I look at all the publicly available information I reluctantly come to the view that there’s a likely chance (60%+) that no-human-involved AI R&D – an AI system powerful enough that it could plausibly autonomously build its own successor – happens by the end of 2028.

This is a big deal.

I don’t know how to wrap my head around it.

Это не случайная обмолвка и не маргинальное мнение. Вот, например, свежее эссе от Anthropic “When AI builds itself“, где компания прямым текстом пишет, что уже видит “ранние признаки” того, как AI-модели ускоряют разработку самого AI. К этому эссе и показанным там результатам мы ещё вернёмся.

Сегодня мы поговорим о том, где мы сейчас на этом пути к RSI (recursive self-improvement). Самое время об этом поговорить в те дни, когда Claude Fable стал доступен широкой публике (я сам тоже пробую и восхищаюсь).

И чтобы придать этому рассказу структуру, давайте вспомним сценарий, нашумевший прошлой весной: AI 2027, сделанный как специалистами по AI, так и специалистами по прогнозированию, и не побоявшийся поставить конкретные даты.

AI 2027 — это месяц за месяцем расписанный сценарий с датированными вехами, числами на бенчмарках, оценками выручки и компьюта. Вот главный график, но если вы не читали сам прогноз, почитайте, я подожду, он того стоит:

Сейчас прошёл уже год с лишним с момента публикации AI 2027. Давайте проверим, насколько предсказания сбылись.

Есть канонический способ это сделать: сайт ai2027tracker.com, где энтузиасты сверяют предсказания сценария с реальностью. Вот вам tl;dr для всего трекера:

Но нам, конечно, интересны не сами загоревшиеся зелёным или красным лампочки, а то, что за ними стоит: почему одни прогнозы сбылись, а другие нет, что это говорит о текущей динамике AI-исследований и, главное, — приближает ли всё это нас к тому самому моменту, когда LLM-агенты замкнут петлю и уйдут в сингулярность.

Так что давайте разбираться.

AI 2027 чуть подробнее

Сценарий AI 2027 был опубликован 3 апреля 2025 года командой AI Futures Project: Даниэль Кокотайло, Скотт Александер (лучший блогер на свете; сейчас он ведёт AstralCodexTen, но если вы не читали, начните с лучших постов SlateStarCodex), Томас Ларсен, Эли Лифланд и Ромео Дин.

Главное имя здесь — Кокотайло: он ушёл из OpenAI в 2024 году, демонстративно отказавшись подписывать соглашение, которое лишило бы его права критиковать компанию. А ещё в августе 2021 года, до выхода ChatGPT, он написал эссе “What 2026 Looks Like“, в котором с пугающей точностью описал переход от генераторов текста к chain-of-thought и дальше к агентам — примерно с теми сроками, которые и случились. Можете, конечно, считать это единичным успехом, который ничего не доказывает, но всё-таки Даниэль Кокотайло — это тот самый человек, который предсказал развитие AI в тот момент, когда почти никто другой таких прогнозов не делал.

Сам сценарий — это художественный, по сути, текст: вымышленная ведущая лаборатория OpenBrain, вымышленный китайский конкурент DeepCent, и расписанная по месяцам цепочка моделей-агентов от Agent-1 до Agent-5.

Общий сюжет таков. До определённого момента AI — это инструмент, и он помогает людям делать AI. Но в какой-то момент модель становится достаточно хороша в самих AI-исследованиях, чтобы значительную часть этой работы делать самостоятельно. И вот тогда включается петля обратной связи: AI ускоряет разработку AI, более быстрый ИИ ускоряет разработку ещё сильнее, и так далее.

AI 2027 выделяет здесь два ключевых порога:

• superhuman coder (SC) — система, которая программирует лучше лучших людей и быстрее, и дешевле,
• superhuman AI researcher (SAR), которая лучше людей уже в исследованиях целиком.

Между ними и за ними прогресс идёт всё быстрее, потому что его двигают сами модели; финал — переход к сверхинтеллекту (ASI) к концу 2027 года. А ещё в сценарии есть и динамика гонки между США и Китаем, и защита весов моделей от кражи, и проблемой согласования AI (AI alignment). В концовке сюжета есть развилка: гонка без ограничений ведёт к катастрофе, а сценарий “замедления” оставляет человечеству шанс.

Здесь сразу нужно сделать важную оговорку, которую в пересказах обычно теряют. Число “2027” в названии — это не медианный прогноз авторов, а скорее его мода, самый вероятный отдельно взятый год по одной конкретной модели (подробно об этом написано здесь). После публикации авторы несколько раз сдвигали сроки: в 2025-м они решили, что поторопились, и отодвинули прогноз примерно на полтора года вперёд, в конце 2025-го добавили оговорку, что медианы авторов лежат где-то в диапазоне 2028–2035 годов.

А согласно январскому разбору самих авторов медианный прогноз достижения superintelligence (полный ASI, не superhuman researcher) у Кокотайло был в 2031-м, а у Лифланда — в середине 2030-х:

Так что AI 2027, конечно, не надо воспринимать как “мы утверждаем, что сингулярность случится в 2027-м”. Но для такого события, честно говоря, пара лет не так уж важна, речь идёт о том, что superintelligence, а за ним и сингулярность произойдёт при нашей с вами жизни, в очень обозримом будущем.

Табель успеваемости: две ретроспективы

К годовщине сценария появились две независимые ретроспективы, и хорошо, что именно две — потому что они смотрят с разных сторон и при этом приходят к похожему выводу.

Первая — авторская. 12 февраля 2026 года Кокотайло и Лифланд опубликовали «Grading AI 2027’s 2025 Predictions», где сами выставили себе оценки за 2025 год. После предыдущего раздела вы могли подумать, что это очередной прогноз из разряда “вот-вот, но не сейчас, и всегда так будет”, но обратите внимание на подзаголовок:

По их оценкам, количественные метрики в среднем шли примерно на 65% от темпа, который закладывал сценарий. И прогресс на SWE-bench Verified, и прирост от AI в самих AI-исследованиях шли медленнее ожидаемого.

Но большинство качественных предсказаний действительно сбылись, годовая выручка OpenAI дошла до прогнозных $18 млрд и даже немного больше, и метрика временного горизонта METR (про неё подробно ниже) шла практически точно по расписанию. Качественно сбылось главное: агенты действительно появились, coding agents стали реальным рабочим инструментом. Так что в итоге авторы сдвинули свой прогноз полной автоматизации программирования на диапазон “середина 2028 — середина 2030”.

Вторая ретроспектива — тот самый трекер ai2027tracker.com. Здесь из сценария вычленили 53 конкретных предсказания и каждому присвоили один из шести статусов. Картина на лето 2026 года выглядит так:

В целом, обе ретроспективы согласны, что реальность идёт со скоростью около двух третей от сценария или чуть больше. Но любопытно, что уверенно сбывается именно качественная структура прогноза — агентизация, переход к моделям-работникам, инвестиционный бум, отставание регулирования. А отстают числа на бенчмарках, которых как раз обычно ждёшь раньше, чем качественных сдвигов.

Одно из предсказаний, кстати, сбылось с большим опережением графика, и довольно тревожным образом. Вот что говорит AI 2027 о модели “Agent-2”, которая по прогнозу должна была появиться в начале 2027 года:

OpenBrain presents Agent-2 to the government, including the National Security Council (NSC), the Department of Defense (DOD), and the U.S. AI Safety Institute (AISI). OpenBrain wants to maintain a good relationship with the executive branch, because it is basically the only actor that can stop them now, and if they don’t keep it informed it might find out anyway and be displeased.48

Officials are most interested in its cyberwarfare capabilities: Agent-2 is “only” a little worse than the best human hackers, but thousands of copies can be run in parallel, searching for and exploiting weaknesses faster than defenders can respond. The Department of Defense considers this a critical advantage in cyberwarfare, and AI moves from #5 on the administration’s priority list to #2.49 Someone mentions the possibility of nationalizing OpenBrain, but other cabinet officials think that’s premature. A staffer drafts a memo that presents the President with his options, ranging from business-as-usual to full nationalization. The President defers to his advisors, tech industry leaders who argue that nationalization would “kill the goose that lays the golden eggs.” He elects to hold off on major action for now and just adds additional security requirements to the OpenBrain-DOD contract.

Как все мы знаем, в реальности практически всё это уже произошло, с большим запасом по времени! В рамках проекта Glasswing Anthropic использовала свою фронтирную модель Claude Mythos Preview на многих open source проектах, и та полностью автономно, без участия человека, нашла кучу критических уязвимостей. Об этом много писали, сейчас не об этом, тем более что я совсем не специалист по кибербезопасности.

Так что вот несколько основных предсказаний и то, как они сбываются:

• “Кодовые агенты приносят реальную пользу к середине 2025” — это безусловно уже давно так, но, наверное, всё-таки реально агенты начали набирать широкую популярность в самом конце 2025, а не в середине;
• “85% на SWE-bench Verified к середине 2025” — такие цифры оказались слишком оптимистичными; впрочем, AI 2027 не про циферки, вот эту, например, я нашёл где-то в глубине сноски под номером 10;
• “Массивные инвестиции в инфраструктуру в 2025–2026” — ну тут без вопросов, движемся к триллиону долларов, Stargate жужжит, всё такое;
• “Автономный поиск 0-day у Agent-2 в начале 2027” — это сбылось даже быстрее, чем прогнозировали;
• “Безопасность и регулирование отстают от возможностей” — и это, кажется, несомненный факт; Mythos немного пробудил американскую администрацию, давеча какой-то вот ещё executive order появился, но пока это всё очень мягко и реактивно, а не проактивно; но это отдельная тема, как-нибудь поговорим и о ней.

Самые интересные для нас сегодня прогнозы — это “Superhuman coder в 2027” и “Переход к ASI к концу 2027 через autoresearch“. Оценивать их пока рано, но давайте обсудим, где мы сейчас.

Горизонт автономности: главный график про агентов

Чтобы говорить о темпе всерьёз, нужна метрика. Но классические бенчмарки тут плохо работают: они насыщаются (модели упираются в 100% и метрика перестаёт что-либо различать) и, что важнее, “90% на бенчмарке X” обычно довольно мало говорит о том, что модель на самом деле может сделать полезного.

Организация METR (Model Evaluation and Threat Research) предложила метрику, которая давно уже стала самым главным графиком во всей этой дискуссии. Возьмём набор задач — у METR это около 230 задач по программированию, ML-инженерии и кибербезопасности — и для каждой замерим, сколько времени на неё тратит человек-эксперт. Определим временной горизонт (time horizon) модели как человеческую длительность выполнения задач, с которыми модель успешно справляется с вероятностью 50%.

Метрика хороша тем, что она измеряется в естественных единицах — в человеко-времени, а не в процентах на каком-то конкретном тесте. И данные METR, разумеется, показывают уверенную экспоненту:

Формально говоря,

   

где — время удвоения. В исходной работе METR (март 2025-го) на горизонте 2019–2025 годов оно составляло около 7 месяцев.

В январе 2026-го METR выпустила обновление Time Horizon 1.1 (на графиках здесь уже оно): набор расширили со 170 до 228 задач (вдвое увеличив долю задач длиннее восьми часов) — и пересчитанные цифры получились такими: удвоение раз в 6,5 месяца на всём периоде, раз в ≈4,3 месяца после 2023-го и раз в ≈3 месяца с 2024 года. То есть график на самом деле даже суперэкспоненциальный, хотя до 2023-го, конечно, подсчёт секунд имел не так уж много смысла.

В абсолютных цифрах у Claude Opus 4.6 в феврале 2026-го был потолок около 12 часов, а та самая Mythos Preview упёрлась в потолок надёжного измерения — в бенчмарке METR нет таких задач, да и сложно на таком горизонте уже оценивать человеческое время.

Когда я начал показывать этот график в своих презентациях год назад, я говорил примерно так: в этом графике не так много осталось удвоений. Человек не может работать 16 или даже 8 часов подряд с полным погружением, он тоже уходит спать и отдыхать, чем по сути перезагружает контекст.

Мне по-прежнему так кажется, но, как видите, до рабочего дня удвоение вообще не замедлилось, и кажется, что горизонт и дальше будет удваиваться ещё какое-то время. AI-система, способная на автономное решение недельных и месячных задач — это уже почти буквальное определение “superhuman coder”.

Разумеется, здесь не обойдётся без важной оговорки. Многочасовые результаты касаются вероятности успеха в 50%. “Справляется в половине случаев с часовой задачей” — это очень круто, но это всё ещё не автономная система, а просто очень хороший помощник, результаты которого надо внимательно проверять.

У METR есть и график про вероятность 80%, и он выглядит точно так же, отставая на 2-3 удвоения, то бишь на полгода-год:

Но, конечно, было бы интересно увидеть и график про вероятность 99%, и график про вероятность, соответствующую вероятности успеха у живого человека. Какова она, кстати говоря? Лично я понятия не имею, с какой вероятностью профессиональный программист успешно завершит задачу, на которую у него в среднем должен уйти день; да и что значит “успешно завершит”, тоже ещё надо хорошо определить.

Проблема надёжности: от бенчмарка к реальной работе

У METR есть и негативные результаты. В июле 2025 года они провели рандомизированный контролируемый эксперимент: взяли опытных мейнтейнеров open-source-проектов и дали им решать задачи в их собственных репозиториях — половину с разрешением использовать AI-инструменты, половину без. В результате с AI разработчики потратили на 19% больше времени. Не меньше — больше; и, что особенно показательно, даже постфактум участники были уверены, что AI их ускорил.

Этот эксперимент до сих пор иногда цитируют как свидетельство того, что “AI бесполезен”. Но даже если не вчитываться в контекст, ясно, что речь об “AI середины 2025 года”. А с тех пор год прошёл.

В феврале 2026 года METR вернулась к тому же эксперименту: 57 разработчиков снова решали задачи в своих репозиториях, половину с AI, половину без. Числа показывают, что в начале 2026-го люди субъективно ускорялись от ИИ заметно сильнее, чем год назад, а замедление почти пропало:

Но самое забавное в этой работе в том, что широкое внедрение AI-помощников мешает самой возможности провести такое исследование. Тех, кому AI помогает сильнее всего, всё труднее заманить в эксперимент — растёт доля разработчиков, которые “не согласились бы делать и половину своей работы без AI”. И даже более того, от 30% до 50% участников признались, что не брали часть задач в эксперименте именно потому, что не хотели делать их без AI. То есть из выборки систематически вымываются ровно те задачи, где выигрыш от ИИ максимален.

Поэтому METR честно называет собственную оценку “ненадёжным сигналом” и в лучшем случае нижней границей истинного эффекта.

В другом исследовании METR (март 2026) взяли пулреквесты, сгенерированные AI, которые проходят тесты SWE-bench Verified, и дали их на ревью настоящим мейнтейнерам. Оказалось, что около половины таких PR мейнтейнеры не приняли бы:

Иначе говоря, между “проходит тесты” и реальным инженерным вкладом тоже есть зазор, который пока не преодолён.

В целом здесь понятная и простая арифметика: если агенту нужно выполнить задачу из последовательных шагов, и каждый шаг удаётся независимо с некоторой вероятностью, то вся задача удаётся с вероятностью , то есть экспоненциально маленькой:

Например, свежий бенчмарк APEX-Agents от Mercor (480 задач из жизни инвестбанкиров, консультантов и юристов) показал, что лучшие модели доводят до конца с первой попытки около 23–24% задач (GPT-5.2 — 23%, Gemini 3 Flash — 24%); даже за восемь попыток лучший результат составляет около 40%.

А февральская работа про “отклонение от канонического пути” (Canonical Path Deviation, Lee, 2026) показывает, что один ошибочный вызов инструмента повышает вероятность того, что и следующий вызов окажется ошибочным, на ~22,7 процентного пункта. Ошибки не просто перемножаются, но ещё и коррелируют.

Так что кривая горизонта METR выглядит очень перспективно, но пока не является состоявшимся доказательством или тем более признаком того, что сингулярность уже пришла. Есть ещё довольно большой разрыв с реальностью. Он, безусловно, будет скоро преодолён, если нынешние экспоненты продолжатся, но это ещё не произошло и не гарантировано.

Автономия и autoresearch: бенчмарки

Теперь центральный лично для меня вопрос: насколько мы близки к авторесёрчу — к тому, чтобы AI-модели сами вели исследования, в первую очередь исследования самого AI?

В этом разделе давайте пройдёмся по бенчмаркам. Я уже много раз оговаривался, что бенчмарки не обязательно на 100% соответствуют реальности, но всё-таки люди стараются делать так, чтобы что-то они да показывали.

Самая нижняя ступень — тот самый SWE-bench Verified: реальные GitHub issues, которые надо починить так, чтобы они прошли (спрятанные) тесты. Год назад это был главный экзамен кодовых агентов, а сегодня он, по сути, сдан.  На официальном лидерборде верхушка держится около 76%:

Но сами лаборатории в system cards свежих моделей заявляют результаты выше 80%, а где-то уже появляются и 90–95% (хотя это больше похоже на маркетинг).

Хуже того, в феврале 2026-го сама OpenAI перестала использовать SWE-bench Verified: их аудит 138 самых трудных задач (тех, что o3 не решала стабильно даже за 64 попытки) показал, что у более половины из них просто сломаны тесты — они отвергают функционально правильные решения. Плюс нашлись следы того, что решения утекли в обучающие данные всех ведущих моделей. Так что можно считать, что этот бенчмарк закончился.

Есть более сложные версии: SWE-bench Pro со стандартизированной обвязкой, где те же модели проседают на десятки пунктов, и SWE-rebench, который постоянно подмешивает свежие issues, чтобы бороться с протечкой задач в обучающие данные. Но в целом кажется, что “починить размеченный баг” — это уже пройденный этап.

Ступенью выше — MLE-bench от OpenAI: 75 настоящих соревнований с Kaggle, где агент проходит весь цикл ML-инженера (подготовить данные, обучить модель, поитерироваться), а оценивают его по человеческой шкале медалей Kaggle. Здесь за полтора года тоже изменилось примерно всё: в исходной статье 2024 года лучшая модель брала медаль примерно в 17% соревнований, а на сегодняшнем лидерборде топовые агенты получают медаль уже в районе 62-64% задач. Сейчас “AI-агент как крепкий ML-инженер” становится реальностью.

Ещё выше — RE-Bench от METR: семь открытых задач именно исследовательской инженерии, с прямым сравнением против десятков людей-экспертов.

Самым показательным результатом исходной работы была не абсолютная цифра, а форма кривой: при бюджете в 2 часа агенты легко обыгрывали экспертов (агенты быстрее, дешевле, отлично параллелятся), но при бюджете в 8 или 32 часа люди уверенно выходили вперёд — на долгий автономный research агентов в 2024 году не хватало.

Но к 2026-му фронтирные модели подросли так, что эта ступень — как и весь R&D-арсенал METR — во многом насытилась: Opus 4.6 успешно тянет больше 80% задач из набора METR, и точку пересечения, где люди ещё держались, приходится искать на всё более длинных горизонтах (отсюда и MirrorCode с задачами на недели). Грубо говоря, спринт агенты уже выиграли, и спор сместился к марафонским дистанциям.

Предпоследняя ступень — PaperBench, тоже от OpenAI (Starace et al., 2025): воспроизвести с нуля 20 статей с ICML 2024 (тысячи проверяемых подзадач) — понять вклад работы, написать кодовую базу, прогнать эксперименты, получить те же числа.

Здесь год назад результаты были в районе 20%, а лидерборда как такового нет; интересно, как бы сейчас справился Claude Mythos, конечно.

И, наконец, верхняя ступень — AutoResearchBench (апрель 2026), где надо не воспроизвести одну статью, а сориентироваться в литературе: выследить нужную работу многошаговым поиском на всём arXiv (где статей миллионы) или собрать все статьи, удовлетворяющие условию.

Это очень близко к реальному труду исследователя, и здесь пока модели, уже хорошо справляющиеся с обычным сёрфингом вроде BrowseComp, проваливаются: фронтир держится на уровне около 9%.

Это не все бенчмарки, конечно же, но довольно репрезентативный их срез.

В общем, процесс идёт: бенчмарки насыщаются, люди придумывают новые бенчмарки. А вывод пока что звучит так: на самых реалистичных открытых задачах люди всё ещё нужны. Autoresearch как “готовая автономная научная рабочая сила” пока ещё не наступил, хотя первые шаги уже сделаны. Об этом дальше.

Автономия и autoresearch: позитивные результаты

Но, чёрт возьми, наступает! В тех областях, где можно построить быстрый и честный автоматический верификатор, агентные системы уже делают настоящие открытия.

За последний месяц оно засияло особенно ярко. 20 мая 2026 года OpenAI объявила, что её внутренняя рассуждающая модель опровергла гипотезу Эрдёша о единичных расстояниях — задачу, которой почти восемьдесят лет и о которой ведущие математики мира действительно много думали. Об этом я подробно писал совсем недавно, повторяться не буду.

Но это далеко не единичный случай. Вспомним хотя бы AlphaEvolve от DeepMind, которому уже почти год стукнул: связка LLM и эволюционного поиска, где модель предлагает изменения в коде, а верификатор гоняет их и отбирает лучшие. AlphaEvolve тогда улучшил расписание дата-центров Google, помог в проектировании схем, нашёл новые алгоритмы умножения матриц и, что особенно изящно, ускорил обучение той самой модели, на которой сам работает, придумав новые kernel optimizations. И математические результаты кое-какие продвинулись:

Про AI Co-Scientist от Google я рассказываю в каждом докладе, но вот появился и AI Co-Mathematician от всё той же DeepMind (Zheng et al., май 2026). В самой структуре нет вообще ничего интересного:

Но он набрал 48% на FrontierMath Tier 4 — новый рекорд.

Правда, тут же оговорюсь: недавно Epoch сообщила, что…

В общем, даже лучшие бенчмарки оказываются не без греха.

Или вот ещё пример: апрельская заметка METR про NanoGPT. NanoGPT — это один из моих любимых примеров о том, как движется алгоритмический прогресс: за два года обучение маленькой GPT удалось ускорить с 45 минут до примерно полутора, в 30 раз (на одном и том же железе, естественно).

Так вот, Маниш Шетти из METR разложил этот выигрыш на компоненты: импортированные идеи (взятые из чужих работ) дали 6,7×, адаптированные — 3,0×, а изобретённые с нуля — лишь 1,6×. А вклад собственно AI-агентов в рекорды (уже было четыре авто-улучшения) оказался неглубоким и сводился обычно к импорту/адаптации. Но, кстати, в общей картине много маленьких идей ничем не хуже одной большой:

Многие результаты выглядят так, как будто успехи пока ограниченные, люди-учёные работу в ближайшем будущем не потеряют, и вообще прогресс выглядит “обычным”, а не “революционно-сингулярным”.

Но… вы сами-то пробовали? Пробовали как следует погонять Claude Code с Opus 4.8 Max (или только что вышедшим Fable) и GPT-5.5 Pro на своих исследовательских задачах?

Да-да, я вам только что с цифрами в руках рассказывал, что субъективным ощущениям верить нельзя. Но всё-таки я пробовал, вложил персты и уверовал. Да, конечно, модели и основанные на них агенты пока ещё могут ошибаться, и ошибаются довольно часто. Да, конечно, пока нельзя попросить доказать гипотезу Римана, подождать неделю и получить доказательство.

Но степень автономности и уровень интеллекта систем, доступных даже обычным пользователям прямо сейчас, поразительны. И ошибки, которые они делают, они же (или другие модели) часто могут заметить и исправить. А разницу между “надо проверять” и “надо придумывать” не нужно объяснять никому, кто слышал про P и NP…

Инфраструктура и сроки

Есть и часть AI 2027, которая сбывается без всяких скидок и местами даже с опережением: инфраструктура.

По данным Epoch AI, вычислительные мощности на обучение фронтирных моделей растут примерно в 5 раз в год начиная с 2020-го, а долларовая стоимость одного фронтирного запуска удваивается примерно раз в 7 месяцев:

В Стэнфорде подсчитали, что частные инвестиции в AI достигли в 2025 году сотен миллиардов долларов, хотя по странам пока всё очень неравномерно:

Тот же Epoch AI публикует график стоимости и мощности ведущих датацентров; прямо сейчас рекорд держит Anthropic-Amazon New Carlisle мощностью 1.1 ГВт, который стоил $35 млрд, но Fairwater Wisconsin будет в три раза мощнее электрически и в восемь раз по компьюту:

Отдельная история — Stargate. Проект анонсировали в январе 2025 года: $500 млрд и около 10 ГВт мощностей за четыре года, к 2029-му. 10 ГВт — это суммарная мощность всей программы на семь площадок к концу десятилетия, так что на графике выше их нет. Но на середину 2026-го у Stargate уже законтрактовано около 7 ГВт планируемой мощности, и OpenAI обещает выйти на полные 10 ГВт с опережением графика.

Параллельно во втором полугодии 2026-го нас ждут GPU нового поколения NVIDIA Vera Rubin и старт серийного выпуска собственного ускорителя OpenAI — XPU от Broadcom на 3-нм TSMC.

В общем, гонка мощностей идёт скорее с опережением, а полтриллиона вложенных долларов — это мощный стимул найти чем занять все эти датацентры. Кажется, что компьют ограничителем для сингулярности стать не должен.

Но здесь, конечно, есть и обратная сторона. Для экспериментов в ML нужны не только идеи, но и те самые вычисления. Можно сколько угодно ускорять и улучшать генерацию идей, но если для достижения RSI каждую хорошую идею нужно будет проверять обучением LLM реального фронтирного размера, узким местом станет не интеллект, а компьют, сколько ты старгейтов ни запускай. Об этом см., например, работу “Will Compute Bottlenecks Prevent an Intelligence Explosion?“.

Запустят ли LLM-агенты сингулярность?

Вот мы и подошли к главному вопросу. Запустят ли LLM-агенты то самое рекурсивное улучшение, которое отправит нас в сингулярность? Формально для этого нужно, чтобы показатель экспоненты на графиках увеличивался со временем, а время между удвоениями уменьшалось.

Мне очень нравится вот эта картинка на этот счёт, ответ на неосторожное высказывание Гэри Маркуса:

Кстати, как видите, картинка уже довольно старая, а экспоненты с тех пор не замедляются, а скорее наоборот.

Но экспоненты — это не так важно, здесь же нет никаких законов природы. Важно, что AI должен стать достаточно хорош в AI-исследованиях, чтобы исследовательская петля замкнулась сама на себя. Похоже ли на то, что так будет?

Мне кажется, что да.

Кажется, что первые обороты этой петли уже проворачиваются на наших глазах, и лучший документ об этом — то самое эссе Anthropic “When AI builds itself“, с которого я начал. Вот смотрите, что происходит на фронтире.

Claude к маю 2026 года пишет более 80% нового кода, в Anthropic (год назад были считанные проценты):

Причём Claude Code (которым разработчики, разумеется, в основном и пользуются) стабильно улучшается со временем. “Session success” ниже — это прокси-метрика, оцениваемая по тому, насколько нужно было что-то править после запроса к Claude Code:

В Anthropic есть внутренний тест: оптимизация обучающего кода для ML-модели. Год назад Claude Opus 4 мог добиться где-то 3× ускорения по сравнению с бейзлайном. Сейчас Claude Mythos Preview даёт примерно 52× (профессионал-человек, по оценкам Anthropic, за рабочий день может сделать примерно 4×). Как пишут в посте, за год “Claude has gone from super helpful to superhuman”…

Вот вам ещё пара цитат из Anthropic, под каждой могу подписаться и лично:

OpenAI, кстати, тоже в какой-то момент расписала дорожную карту и движется к “AI research interns” в 2026 году и полноценным автоматическим AI-исследователям в 2028-м.

Но есть и другая сторона: то же самое эссе Anthropic заканчивается тем, что RSI совершенно не предопределено. Могут найтись новые узкие места. Например, когда порождение кода перестало быть bottleneck’ом им стало человеческое ревью. В исследованиях это сейчас тот самый пресловутый “вкус”, research taste, и общая стратегия того, куда идти.

Чего именно не хватает

Другие исследователи более конкретно перечисляют, чего пока не хватает до настоящих AI-исследователей. Например, Андрей Карпатый в разговоре с Дваркешем Пателем (октябрь 2025-го) сказал, что “до AGI ещё десятилетие”, и это будет “десятилетие агентов”, а не “год агентов». По Карпатому, не хватает continual learning и мультимодальности.

Лично мне кажется, что пока нет удовлетворительных ответов на следующие вопросы.

Память и непрерывное обучение. Агент, который не умеет надёжно учиться на собственном опыте, не может накапливать экспертизу так, как накапливает её живой исследователь за годы. Я недавно разбирал состояние дел с памятью LLM-агентов в отдельном большом обзоре, и сам факт, что память — это всё ещё передний край исследований, а не чисто инженерная задача, тут говорит сам за себя.

Надёжность на длинном горизонте. Та самая арифметика накопления ошибок. Совершенно не очевидно, что это лечится дальнейшим масштабированием. Хотя, конечно, может и излечиться, делать ставки против масштабирования нас история deep learning давно отучила.

Эффективность по данным (sample efficiency). Человек становится настоящим исследователем на исчезающе малой доле тех данных, которые видела модель; а RL на настоящем исследовательском процессе (а не решении школьных задачек) вряд ли получится запустить.

Вкус и постановка задачи. Умение понять, какой вопрос важен. Ни один бенчмарк этого не меряет, ведь в бенчмарке задача уже выбрана за тебя. Изобретение новых идей пока ещё почти целиком на людях… Хотя, наверное, надо уточнить: изобретать идеи современные модели уже умеют неплохо, но люди пока ещё должны выбирать из изобретённого.

Модель мира и заземление. У агентов до сих пор нет надёжной, обновляемой модели тех систем, в которых они действуют. Это большая отдельная тема, о которой я надеюсь поговорить как-нибудь в будущем.

Конечно, ни один из этих пунктов не является непреодолимой стеной; но и ни один из них пока никаким очевидным образом не решился. А сильная форма AI 2027 тихо предполагает, что все они падут по графику и практически одновременно.

Заключение

Я, конечно, не буду называть никаких дат. Я даже не буду пытаться определить, что такое “настоящее RSI” или “настоящий автономный AI-исследователь”. Но кое-что сказать могу.

Почти наверняка кодовые и исследовательские агенты станут рутинными, постоянными участниками разработки, прогона экспериментов, обзора литературы, части ML-инженерии, доказательства теорем… Это, по сути, уже происходит.

Скорее всего агенты заметно ускоряют фронтирные AI-исследования внутри лабораторий прямо сейчас и будут ускорять ещё сильнее — пока как управляемые команды агентов под руководством людей-экспертов, а не как автономные учёные.

Скорее всего, настоящий “superhuman coder” в смысле AI 2027 действительно появится к 2027–2028 году. Возможно, он будет более узким и более специализированным, чем предполагали авторы этого сценария, но думаю, что он будет.

Но, скорее всего, всё-таки не будет перехода к RSI и вслед за ним ASI к концу 2027 года через замкнувшийся цикл autoresearch. Это не то чтобы невозможно, но кажется, что мы всё-таки находимся в более медленном таймлайне.

Но не устаю напоминать: “не так скоро” не значит “никогда” и даже не значит “не скоро”! У людей короткая память: стоит AI-системе доказать новую теорему, как они тут же скажут, что “теорема была несложная” или “уникально подходящая для AI-доказательства”…

Так что каждый раз, когда я рассказываю о недавних успехах AI, стараюсь подчеркнуть, насколько это гигантский прогресс за кратчайшее, ничтожное время. Вот моя стандартная картинка о том, что LLM могли в математике четыре года назад и что могут сейчас:

В общем, AI 2027 был отличным прогнозом; учитывая, насколько подробно он предсказывал будущее, процент совпадения с реальностью просто запредельный. Я писал выше, что его качественные прогнозы — агентизация, переход к моделям-работникам, инвестиционный взрыв, отставание регулирования, превращение проблемы безопасности из философии в эмпирику — все по сути сбываются. Только количественные вехи немного отстают.

Рекурсивная петля AI-исследований начинает раскручиваться: Claude пишет 80% кода в Anthropic, AlphaEvolve ускоряет собственное обучение, новая версия GPT опровергает гипотезу Эрдёша. Но всё-таки до настоящей сингулярности ещё есть некоторый зазор, в который должны поместиться ответы на несколько важных вопросов.

Пока ставки против прогресса AI никогда не работают, разве что против конкретных оптимистичных прогнозов. Поживём — увидим; смотреть будем на графики METR и autoresearch-бенчмарки, но главное, на что я буду смотреть — на свой собственный опыт и на то, как быстро будет двигаться AI-assisted наука. Смотреть и вам рассказывать.

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!

В недавнем докладе про образование в эпоху LLM (см. страницу “Выступления”, а вот прямая ссылка на YouTube) я пришёл к тезису, который мне самому кажется там главным. Доступ к знаниям давно перестал быть дефицитом, объяснение перестало быть дефицитом с развитием LLM — а вот мотивация учиться дефицитом быть не перестала, и именно к ней смещается центр тяжести всей системы образования.

Но, честно говоря, я тут же поймал себя на том, что понимаю “мотивацию” довольно примитивно. Мотивация в образовании — это огромное, давно и плотно вспаханное поле, где “хотеть учиться” распадается на несколько разных, по-разному устроенных и независимо измеримых конструктов. Поле настолько богатое, что в нём конкурируют уже даже несколько разных попыток унификации понятий (да-да, те самые 15 конкурирующих стандартов).

Так что я провёл половину субботы за увлекательным чтением всяческих работ по теории образования, и мне есть чем поделиться!

В этом посте я возьму за основу обзор Urhahne & Wijnia (2023), где шесть главных теорий раскладываются по единой модели действия “Ситуация → Я → Цель → Действие → Исход → Последствия”:

Но есть и альтернативные попытки синтеза, например Hattie, Hodis & Kang (2020) или диалог ведущих исследователей у Koenka (2020), а в 2024-м вышел целый спецвыпуск Educational Psychology Review про интеграцию теорий мотивации. Что характерно, приглашённый оценить выпуск Райнхард Пекрун там же и предупредил, что само по себе слияние конструктов теоретического застоя не лечит, и надо привлекать смежные дисциплины вроде когнитивных наук.

Почему именно мотивация — узкое место, и почему это не абстрактное трудноопределяемое понятие, а объект исследований? В науке об образовании есть консенсус о том, что мотивация измеримо деградирует по ходу обучения. Мета-анализы (см., например, Symonds et al., 2026 или Scherrer & Preckel, 2019 на 107 исследованиях) показывают, что с возрастом мотивация в среднем падает, а главное, сильнее всего падают именно внутренняя мотивация, mastery-цели и академическая Я-концепция, тогда как самоэффективность и самооценка держатся куда стабильнее.

Ведущее объяснение здесь даёт так называемая теория stage–environment fit (в этом посте я не буду особо пытаться переводить термины, а то только всех запутаю): школа со временем всё хуже удовлетворяет потребности подростка в автономии, компетентности и связанности. А это разрушает тот самый внутренний драйв, который для мотивации дороже всего.

Но есть и хорошая новость: мотивация — не фиксированная данность. Мета-анализы интервенций (например, Lazowski & Hulleman, 2016) показывают, что адресные мотивационные вмешательства могут оказывать существенное влияние на учебные исходы. Здесь, кстати, и AI уже вовсю появляется, и как раз потому, что современные LLM уже могут делать вещи, которые доказуемо работают (ценностные интервенции, поддержка автономии, точно дозированная трудность задач), причём персонально и в больших масштабах.

Общий посыл этого текста таков. Про вред AI в обучении уже много писали: модели могут провоцировать cognitive offloading, то бишь лень поработать головой, снижают усилие, на котором держится обучение. Это всё реально, и я ниже честно это цитирую. Но я убеждён, что это не имманентное свойство языковых моделей, а артефакт того, как ИИ пока используют в образовании.

Поэтому в каждом разделе я разберу и то, как текущие практики мешают, и то, как ровно та же теория подсказывает, как AI может помогать. По структуре я буду следовать обзору Urhahne & Wijnia (2023), и в описаниях теорий мотивации тоже. Но в этом обзоре про LLM, естественно, ничего не говорится, так что обзор AI-исследований и выводы, связанные с AI, будут мои собственные.

Важный дисклеймер. Всё то, что идёт дальше, требует важной оговорки: всё это — социальные науки про самый сложный объект во Вселенной (человеческий мозг), измеряемый обычно на небольших и не особо репрезентативных выборках студентов-добровольцев. Эффекты, которые я вслед за авторами работ называю “подтверждёнными”, — это, как правило, скромные корреляции, добытые анкетами. И наука об образовании, и психология в целом переживают кризис воспроизводимости, и наверняка не все эффекты его переживут. Так что всё, что ниже называется результатами, стоит воспринимать не как “учёные доказали”, а как “вот лучшее, на что я могу сослаться”.

С этими оговорками — вперёд! Вот ещё раз самая главная схема, на которую потом будут добавляться новые концепции:

Я тут добавил стрелочку справа налево, чтобы подчеркнуть, что образовательный процесс — это цикл, но дальше на схемах её не будет. Итак, где же здесь мотивация и как разные теории её сюда добавляют?

1. Теория ожидания и ценности (Expectancy–Value Theory, EVT)

Это самый утилитаристский, “бухгалтерский” каркас, и его проще всего понять как уравнение:

мотивация ≈ ожидание успеха × ценность задачи − издержки.

Важно, что ожидание и ценность именно перемножаются, а не складываются: если что-то одно обнуляется — или “не справлюсь”, или “мне это незачем” — мотивация обнуляется целиком.

Современная situated EVT (Eccles & Wigfield, 2020) дробит ценность на три вида:

• attainment value (важно для того, кто я есть),
• intrinsic value (просто интересно делать) и
• utility value (пригодится для целей).

А отдельным вычитаемым ставит три типа издержек:

• opportunity costs (на что не хватит времени),
• effort costs (сколько пахать) и
• emotional costs (тревога, страх провала).

Студент может ценить матанализ и по полезности, и по удовольствию, но если усилие ощущается неподъёмным, мотивация всё равно схлопнется. Эмпирически самый важный предиктор здесь — ожидание успеха: оно сильно коррелирует с достижениями (Pinquart & Ebeling, 2020).

Ключевые ссылки: Eccles & Wigfield, 2020; Wigfield & Eccles, 2000; мета-анализ ожиданий — Pinquart & Ebeling, 2020; об интервенциях ценности — Hulleman & Harackiewicz, 2009 (Science) и Rosenzweig, Wigfield & Eccles, 2022.

LLM: где текущие практики вредят. С точки зрения EVT-арифметики главная опасность в том, что AI-модели сводят почти к нулю effort cost — и при бездумном использовании обрушивают вместе с ним то самое продуктивное усилие, в котором и происходит обучение.

В эксперименте Urban et al. (2024) работа с ChatGPT воспринималась как более лёгкая и требующая меньше умственного усилия, и в результате сбивалась калибровка самооценки: суждения студентов о собственном понимании переставали коррелировать с реальным результатом. Снизив издержки до нуля, мы обнуляем ценность: задача, которая ничего не заставляет делать, ничему и не учит.

Как LLM могут помогать. EVT подсказывает три точки приложения, где AI-системы работают на мотивацию, а не против неё.

• Поднимать ожидание успеха через персонализированную траекторию обучения. Ожидание “я справлюсь” — это субъективная вероятность успеха, которая у нас с вами калибруется по реальному опыту. AI-тьютор, который терпеливо ведёт ученика шаг за шагом, делает трудную задачу выполнимой, и ожидание растёт обоснованно. В гарвардском RCT Kestin et al. (2025) студенты с AI-тьютором не только усвоили вдвое больше за меньшее время, но и были заметно мотивированнее и вовлечённее.
• Поднимать utility value персонализацией. Интервенции полезности — одно из самых надёжных мотивационных вмешательств вообще: даже короткое упражнение, помогающее увидеть, зачем лично мне эта тема, повышает интерес и успеваемость (Hulleman & Harackiewicz, 2009, Science). Раньше такие интервенции были ручными и не масштабировались; а LLM вполне могут объяснять релевантность персонально под конкретного человека.
• Срезать непродуктивные издержки, сохраняя продуктивные. Здесь нужна более тонкая настройка: мы хотим срезать emotional cost (фрустрация в тупике в два часа ночи, страх задать “глупый” вопрос), но при этом оставить effort cost (усилие разобраться). Бесконечно терпеливый помощник, не являющийся человеком, может снять тревогу, оставив размышления.

Ну и, кстати, в том же исследовании Urban et al. (2024) основной вывод-то был позитивный: использование LLM подняло в конечном счёте качество и эффективность решений; вреден не “AI вообще”, а то, что ощущение лёгкости подменяет усилие.

2. Социально-когнитивная теория (Social Cognitive Theory)

Суть. В центр мотивации здесь становится self-efficacy (самоэффективность?), вера “я способен сделать вот эту задачу”. Это не глобальная самооценка и не “верю в себя вообще”, а мнение о конкретной задаче, направленное в будущее.

Автор этой теории Альберт Бандура (1977) выделял четыре источника self-efficacy, и главный из них — mastery experiences, опыт успешного преодоления трудного; дальше идут наблюдение за моделями (не LLM, в широком смысле 🙂 ), словесное убеждение и управление эмоциональным состоянием.

В идеале должен получаться цикл: веришь, что получится → прикладываешь усилие и не бросаешь → получается → веришь сильнее.

Из этого следует, что самоэффективность по сути является следствием прошлых успехов (Sitzmann & Yeo, 2013), то есть её строить нужно этаким “инжинирингом” реальных успехов, а не направленным в будущее подбадриванием. Это один из самых надёжных предикторов (Richardson et al., 2012; Honicke & Broadbent, 2016); и, кстати, один из немногих мотивационных конструктов, который по ходу средней школы почти не проседает (Symonds et al., 2026).

Ключевые ссылки: Bandura, 1977; Sitzmann & Yeo, 2013; мета-анализы связи с достижениями — Richardson et al., 2012 и Honicke & Broadbent, 2016; по ИИ — «The Impact of AI on Learners’ Self-Efficacy», Behavioral Sciences, 2026.

LLM: где текущие практики вредят. Если ИИ делает задачу за студента, тот получает бессмысленный успех: результат есть, mastery experience — нет. А раз самоэффективность калибруется по реальным успехам, такие “успехи” раздувают уверенность без роста компетентности. Это и есть механизм, приводящий к сбитой калибровке у Urban et al. (2024): высокая уверенность при низком понимании — худшее из возможных сочетаний, потому что оно убивает мотивацию доучиваться.

Как LLM могут помогать. Здесь это тоже очевидно: социально-когнитивная теория делает AI почти идеальным генератором настоящих mastery-переживаний, заработанных трудом успехов.

• Свежий мета-анализ 23 исследований (Ren et al., Behavioral Sciences, 2026) находит значимый положительный эффект AI-моделей на самоэффективность, причём самый сильный — когда AI выступает как учебный инструмент в руках студента; эффект ослабевает, когда AI начинает подменять собой работу.
• Современные модели вполне способны держать ученика в зоне, где он осиливает трудное сам, но с опорой, и постепенно убирать опору (это называется fading). В исследовании про интеграцию LLM в командные проекты по программной инженерии (Kharrufa et al., 2024) ещё в 2024 году получалось, что успешный опыт с GenAI повышал уверенность браться за более сложные задачи — это и есть mastery experience.
• AI может помочь и с остальными тремя источниками самоэффективности: даёт «модели» (разобранные примеры), словесное ободрение в духе пресловутого growth mindset (да, это ругательное слово, но что поделаешь), снимает большую часть тревоги, потому что некого стыдиться.

Главное условие получается в том, что успех должен быть честным, заработанным. LLM должны выступать как тьюторы, а не как оракулы-решатели — и они на это вполне способны.

3. Теория самодетерминации (Self-Determination Theory, SDT)

У человека в образовательном процессе выделяют три базовые психологические потребности:

• автономия (действие исходит от меня),
• компетентность (я расту и справляюсь) и
• связанность (relatedness — я в контакте со значимыми людьми).

Для SDT важнее не сколько мотивации, а какого она качества. Здесь есть целый континуум от чисто внешней мотивации (ради награды/наказания) через introjected и identified (не буду рисковать переводить) к integrated и собственно внутренней мотивации (Ryan & Deci, 2020).

Здесь картинку стоит нарисовать подробнее:

Ключевой нюанс из когнитивных наук здесь в том, что контролирующие награды подрывают внутреннюю мотивацию, а информативная обратная связь — поддерживает. Такие типы мотивации положительно связаны с достижениями, а внешне контролируемые — никак или даже отрицательно (Howard et al., 2021; Cerasoli et al., 2014). Более того, удовлетворённость потребностей предсказывает внутреннюю мотивацию, и сильнее всего влияет именно компетентность (Bureau et al., 2022). А поскольку упомянутый возрастной спад внутренней мотивации объясняют именно неудовлетворением этих потребностей, SDT здесь работает и диагнозом, и рецептом.

Ключевые ссылки: Ryan & Deci, 2020; мета-анализы — Howard et al., 2021, Bureau et al., 2022, Cerasoli et al., 2014; про AI есть, например, Annamalai et al. (Artificial Intelligence, 2025).

LLM: где текущие практики вредят. Во-первых, геймификация на внешних наградах рискует вытеснить внутреннюю мотивацию. Например, обзор с красивым названием “Bidirectional Human-AI Alignment in Education “(Shen, 2025) прямо отмечает, что алгоритмически оптимизированные среды повышают вовлечённость, но могут создавать опору на внешние стимулы и подрывать внутреннюю мотивацию.

Впрочем, с другой стороны мета-анализ геймификации в Li et al. (2024) нашёл, что геймификация в среднем повышает внутреннюю мотивацию, автономию и связанность и почти не трогает компетентность; видимо, дело не в наградах как таковых, а в том, какой у них дизайн.

А недавнее исследование, прямо следующее SDT в анализе AI для образования (Fang et al., 2026) показывает, что удовлетворение базовых потребностей через GenAI ведёт к чрезмерной опоре на модели. А вот компетентность как раз сдерживает такую over-reliance и толкает к глубокому осмыслению материала.

Как LLM могут помогать. SDT — это теория, по которой AI сильнее всего может помочь.

• Автономия. В уже упоминавшейся статье Annamalai et al. (2025) автономия оказалась самым важным фактором для продолжения использования ИИ, а модель объяснила 70.8% дисперсии мотивации. AI в образовании по своей природе повышает автономность: ученик сам выбирает темп, путь, формат, момент; и это хорошо!
• Компетентность. Калиброванный вызов плюс информативная (а не контролирующая) обратная связь повышают внутреннюю мотивацию через чувство компетентности, а это, как мы видели выше, самое главное.
• Связанность — слабое место, но обходимое. Парасоциальные “отношения с AI-ассистентом” не равны человеческой связи, это мы не одобряем. Зато AI может высвободить живого преподавателя для такой работы, освободить его от рутины. Поддержка со стороны учителя действительно замедляет возрастной спад внутренней мотивации (Symonds et al., 2026).

4. Теория интереса (Interest Theory)

Интерес — это отношение между человеком и объектом, и теория интереса различает два его вида:

• ситуативный (вспыхивает от новизны, неожиданности, релевантности) и
• индивидуальный (устойчивая личностная диспозиция возвращаться к теме).

Между ними есть четырёхфазная модель развития (Hidi & Renninger, 2006): запущенный ситуативный → поддержанный ситуативный → зарождающийся индивидуальный → развитый индивидуальный.

Интерес — не синоним удовольствия: в нём сочетаются аффект, ценность и знание. Эмпирически индивидуальный интерес является стабильным предиктором достижений, хотя связь здесь, конечно, взаимная (Schiefele, Krapp & Winteler, 1992; Lee & Stankov, 2018).

Кстати, та же теория предостерегает против эффекта seductive details: яркие, но нерелевантные детали ухудшают и запоминание, и перенос. Может, надо меньше котиков?.. Да нет, что за ересь:

Ключевые ссылки: Hidi & Renninger, 2006; Hidi, 2006; мета-анализ интереса и достижений — Lee & Stankov, 2018; о чат-ботах и интересе, например, см. Fryer et al. (2017) в контексте обучения языкам.

LLM: где текущие практики вредят. LLM умеют развлекать — и тут легко перепутать развлечение с обучением. Геймификация ради вовлечённости может насыпать тех самых “соблазнительных деталей”, а вспышка ситуативного интереса, не доведённая до индивидуального, гаснет, оставляя ощущение, что “было прикольно”, но без следа в знаниях.

Как LLM могут помогать. По теории интереса AI силён ровно там, где люди-преподаватели тоже были бы сильны, да не масштабируются.

• Запуск ситуативного интереса. ИИ персонализирует пример под конкретного человека, привязывает новую тему к тому, что ученику уже интересно, отвечает на тот самый вопрос “почему”, который ученик реально задал (эпистемический интерес). Это масштабируемый триггер первой фазы модели Hidi & Renninger.
• Удержание до индивидуального интереса — самая трудная фаза — становится посильной. Чтобы интерес не угас, его нужно поддерживать; раньше это требовало фактически работы 1:1 с преподавателем, а теперь не обязательно. Fryer et al. (2017) ещё в 2017 году отмечали, что чатбот как партнёр по изучению языка на старте вызывал ситуативный интерес не хуже человека, но тогдашние чатботы не могли его удержать и превратить в индивидуальный. Современные LLM, думаю, совсем другое дело.

Теория интереса сообщает нам, в общем-то, те же выводы о персонализации: нужно привязывать примеры к идентичности и целям ученика, избегать seductive details, кормить любопытство, а не отвлекать его.

5. Теория целей достижения (Achievement Goal Theory)

Здесь вопрос ставят не как “сколько мотивации”, а как “зачем ты это делаешь”: чтобы освоить и стать лучше (mastery) или чтобы показать себя / не выглядеть слабым / добиться внешнего успеха (performance).

Это становится осью approach/avoidance в так называемой 3×2 модели (Elliot, Murayama & Pekrun, 2011):

Эффекты тут обычно небольшие, но стабильные. Mastery-подход коррелирует с достижениями, а вот с performance целями не всё так просто: Hulleman et al. (2010) показывают, что нормативные performance-цели (“быть лучше других”) связаны с успехом положительно, а демонстрационные (“выглядеть способным”) — отрицательно, хотя их часто мерили одной шкалой. Ну а квадрат “performance/avoidance” стабильно работает в минус (Van Yperen et al., 2014).

Ключевые ссылки: Elliot, 1999; Elliot, Murayama & Pekrun, 2011; мета-анализы — Hulleman et al., 2010 и Van Yperen et al., 2014.

LLM: где текущие практики вредят. LLM делают цели “казаться, а не быть” тривиально подделываемыми: можно предъявить отличный результат, ничего не освоив. Если оценивание заточено под продукт, AI прямо вознаграждает худший вид performance-поведения — прямое списывание.

Именно поэтому, кстати, паника вокруг списывания с LLM — на самом деле сломанный процесс оценивания, а не какое-то негативное свойство AI-моделей. Это ничем не отличается от того, чтобы учить детей в школе умножать в столбик, выдавая на контрольную калькулятор и проверяя только ответ — так ведь никто не делает, правильно?.. И калькулятор тут ни в чём не виноват.

Как LLM могут помогать. После предыдущего пункта это покажется парадоксальным, но на самом деле AI — это почти идеальная среда именно для mastery и self-based целей.

• Диалог с LLM приватен, не осуждает, допускает бесконечные попытки и фокусируется на улучшении, а не на сравнении с другими людьми (одногруппниками). Это снимает социально-оценочную угрозу, которая очень часто и порождает дезадаптивные цели из performance-avoidance квадрата.
• Масштабируемая персонализация позволяет соревноваться с собой вчерашним (self-based approach goals) и видеть свой прогресс, а не только ранг среди других.
• Ну и, конечно, нужно переделывать систему оценивания, в частности, оценивать процесс, а не продукт, что возвращает стимулы к mastery.

Про то, как всё переделывать с этой стороны, уже давно есть целая книга, Brave New Words Салмана Хана. Честно скажу, книгу я не читал, но вот Билл Гейтс очень хвалил, например.

6. Теория атрибуции (Attribution Theory)

Это теория о “разборе полётов”. По этой теории, человек интуитивно ведёт себя как наивный учёный и атрибутирует причины своих успехов и провалов по трём осям (Weiner, 1979; Graham, 2020):

• локус (внутри/снаружи),
• стабильность (постоянно/изменчиво) и
• контролируемость (могу ли я повлиять).

Мотивацию подпитывает “правильная” атрибуция: успех нужно атрибутировать внутренним контролируемым причинам (“я постарался”, “я нашёл стратегию”), а провал — изменяемым и контролируемым (“это была плохая стратегия, исправлю”), а не фиксированной “неспособности”. Эмпирически атрибуции внутренним и контролируемым причинам связаны с лучшими достижениями (Fong et al., 2017, Brun et al., 2021).

Ключевые ссылки: Weiner, 1979; Graham, 2020; мета-анализ — Brun et al., 2021; Fong et al., 2017.

LLM: где текущие практики вредят. Если задачу решил ИИ, успех естественно приписывается инструменту, а не себе — внешняя неконтролируемая атрибуция, которая мотивацию подтачивает. Зеркально: провал тоже удобно списать на ИИ («модель ошиблась»), что снимает с ученика и ответственность, и стимул разобраться. Это снова больше теоретическая экстраполяция: прямых исследований атрибуции при работе с LLM пока мало.

Как LLM могут помогать. Атрибутивная теория даёт ИИ две конкретные роли.

• Сохранять агентность (а значит, и кредит) за учеником. Сократический тьютор, дающий только следующий шаг, оставляет авторство решения человеку: «ты решил, я лишь подтолкнул» — внутренняя контролируемая атрибуция сохраняется. Именно это отличает педагогически выровненный ИИ от наивного (обзор AI in Education Beyond Learning Outcomes, arXiv:2602.04598).
• Переобучать атрибуции в масштабе. Обратная связь ИИ может явно переформулировать причину провала с «ты неспособен» на «попробуй другую стратегию» (контролируемое, изменяемое) — это масштабируемая версия attributional retraining, плюс мгновенная диагностика, которая помогает увидеть починимую ошибку, а не приговор.

7. Саморегулируемое обучение (Self-Regulated Learning, SRL)

Этого пункта в обзоре Urhahne & Wijnia (2023) не было, но я решил добавить, потому что именно сюда прилетают самые острые критические стрелы о том, как “AI разрушает образование”. SRL (Zimmerman, 2002) — это умение ставить цель, мониторить себя и корректировать свою собственную стратегию; картинка отсюда:

Здесь у меня нет для вас отдельной диаграммы в том же стиле, но давайте я ещё раз повторю свою изначальную картинку, на которую я добавил петлю, охватывающую весь цикл; в петле здесь и суть:

Это давно уже классическая теория, не столько о том, что такое мотивация, сколько о том, как её поддерживать через саморегуляцию, и о том, как учить людей такой саморегуляции. И именно этот механизм, кажется, разрушается при бездумном применении AI-систем в первую очередь.

LLM: где текущие практики вредят. Центральный результат здесь такой: в контролируемых исследованиях AI надёжно поднимает краткосрочную производительность, но не поднимает внутреннюю мотивацию и не даёт переноса знаний. В RCT Fan et al. (2025) группа с ChatGPT в результате получила более высокие оценки за эссе, но при этом ИИ порождал зависимость и “метакогнитивную лень” — учащиеся перекладывали на модель мониторинг и оценку, и это не дало ни роста внутренней мотивации, ни переноса.

Здесь же и нашумевшая работа Kosmyna et al. (2025): у группы, писавшей эссе с LLM, была самая слабая мозговая связность по данным энцефалографа и худшее запоминание собственного текста (“когнитивный долг”). Здесь, правда, к общему дисклеймеру стоит добавить, что это препринт с маленькой выборкой, и к нему уже вышел формальный Comment с критикой методики, так что это не то чтобы “учёные доказали”. Но концептуально ясно, что всё это про cognitive offloading: перекладывание умственной работы на внешний ресурс снижает собственный мониторинг.

Как LLM могут помогать. И тут же хочется отметить, что это опять плохое использование AI, а не приговор. Как сделать лучше?

• Делать мониторинг явным требованием. AI провоцирует лениться, но его же можно использовать, наоборот, чтобы тренировать мониторинг: использовать системы с обязательной петлёй “объясни своё понимание → попробуй сам → отрефлексируй”. Это нереально сделать силами живых учителей, а LLM вполне справятся. Здесь есть интересная концепция “reflection–satisfaction tradeoff” (Choi et al., 2025): принудительная рефлексия снижает сиюминутное удовольствие, но повышает вовлечённость и обучение — то есть это и есть та самая desirable difficulty.
• AI может персонально целиться в “зону оптимальной трудности”. LLM могут мгновенно и персонально подстраивать сложность процесса обучения. Это можно направить на удержание задачи чуть выше самостоятельного потолка ученика, о чём писал ещё Выготский, да и desirable difficulties Бьорка тоже о том же. Таким образом можно превратить главную опасность (убрать усилие) в главное преимущество (точно дозировать усилие).

Здесь я хочу выделить ещё одну недавнюю работу: SafeTutors (Hazra et al., 2026). Это буквально бенчмарк для AI-тьюторов, в котором прямо выделяются риски, которых надо избегать, в том числе и когнитивные, и мотивационные, и ещё много разных.

Так что люди работают и над этим, и это тоже хорошо.

Заключение

Это был длинный пост! Но на самом деле по мере его написания у меня всё больше складывалось впечатление, что я переписываю примерно одно и то же всё новыми и новыми словами. Если сложить все семь разделов, проступает очень чёткая закономерность.

Вред возникает там, где AI забирает у ученика продуктивную работу — решает за него, снижает трудность, берёт на себя мониторинг.

Польза возникает там, где AI помогает ученику делать более трудную работу самому — поднимает ожидание успеха, даёт заработанные mastery-переживания, поддерживает автономию и компетентность, запускает и удерживает интерес, создаёт безопасную среду, в общем, тренирует когнитивные способности вместо того, чтобы их замещать.

Это различие, разумеется, никак не связано с тем, какая там LLM будет, фронтирные модели уже давно достаточно умны для этого. Это про дизайн и педагогику, и наука о мотивации действительно даёт довольно конкретный образ того, “как надо”. И его уже начинают операционализировать.

Впрочем, не стоит забывать о дисклеймерах. Всё это попытки измерить очень сложные, скорее всего неформализуемые понятия о человеческом мозге. Учёные в этой науке сами ещё спорят, помогают ли вообще объединяющие рамки.

И ещё один важный пункт: есть рычаги, которые LLM лучше не отдавать вовсе. Связанность (по SDT) — это связь с живым преподавателем, которая сама по себе выступает мотиватором. А поиск смысла тесно связан с агентностью: как формулирует Жан-Даниэль ЛаРок (2026), в мире AI информация или навыки больше не отличают людей — отличает агентность (ох, не устарело бы это раньше времени…). Разумеется, все учебные задачи LLM могут решить за вас, но не в этом смысл, и хорошие студенты “will willingly forgo the intellectual shortcut of AI, much as people at the gym forgo the use of levers or hydraulics to lift weights”.

Так что AI-системы могут сделать для нас самый современный спортзал, но мотивацию им пользоваться нам всё-таки нужно будет приносить с собой. Вырастить (а скорее не убить) такую мотивацию — это и есть, на мой взгляд, центральная задача системы образования.

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!