Введение

«Some of my favourite problems in number theory, combinatorics, and geometry» — это название статьи Эрдёша 1995 года, где он расставляет любимым задачам ценники. Гипотеза о единичных расстояниях стоит у него там $500 — одна из самых высоких ставок в его жизни. Эрдёш её сформулировал ещё в 1946 году, не раз к ней возвращался и в одной из заметок писал, что верхняя оценка будет “very difficult to prove”, если она вообще верна. Несмотря на оговорки, к 2025 году в гипотезу Эрдёша верили почти все профессионалы.

20 мая 2026 года OpenAI объявили, что внутренняя модель компании в полностью автоматическом режиме опровергла гипотезу Эрдёша. Объявление вышло вместе с PDF самой работы и отдельным сборником комментариев от ведущих математиков (мы их разберём ниже).

Контекст у этой новости непростой. В октябре 2025 года тогдашний вице-президент OpenAI Кевин Уэйл написал в X, что “GPT-5 found solutions to 10 (!) previously unsolved Erdős problems and made progress on 11 others”. Но тогда это оказалось неправдой: модель не доказывала ничего нового, она просто находила в литературе уже существующие решения и подавала их как свои. Это публично разоблачил Томас Блум, который ведёт сайт erdosproblems.com, назвав историю “a dramatic misrepresentation”; вот краткий разбор на TechCrunch со всеми ссылками.

Теперь, семь месяцев спустя, OpenAI публикует новый математический результат — и среди соавторов сборника комментариев стоит ровно тот же Блум, только теперь он подтверждает, что это настоящий и очень красивый результат.

Давайте разберёмся, что произошло. Сначала — что такое единичные расстояния и почему задача такая сложная, потом — что именно сделал GPT и почему его доказательство выглядит вполне “человеческим”, а в конце — что обо всём этом думают сами математики.

Что такое задача о единичных расстояниях

Постановка задачи Эрдёша (1946) выглядит абсолютно элементарно. Рассмотрим точек на обычной евклидовой плоскости. Между ними образуется пар, и для каждой пары мы можем подсчитать расстояние между точками. Вопрос: сколько одинаковых расстояний может быть среди этих пар?

Вот, например, девять точек на плоскости:

Серыми линиями нарисованы все пар; красными — те семь пар, расстояние между которыми одинаково. Семь — это, понятное дело, мало, можно больше. Вопрос Эрдёша: если выбирать точки специально, сколько красных рёбер можно получить?

Формально: пусть — это число неупорядоченных пар точек из , между которыми расстояние составляет ровно 1 (здесь, конечно, не важно, единице или любому другому числу оно равно), и пусть

   

Как ведёт себя при больших ?

Грубые оценки. Сверху есть тривиальная оценка

   

потому что больше, чем всего пар, единичных пар быть не может.

Снизу тоже довольно просто получается оценка , то есть линейного числа единичных расстояний всегда добиться можно. Самая наглядная конструкция — это треугольная решётка (или, эквивалентно, шестиугольная). Вот, например, точек и единичных рёбер между ними:

Каждая точка такой решётки имеет шесть соседей на единичном расстоянии (кроме граничных). Если у вас точек, то рёбер примерно — линейная функция от . Это и есть нижняя оценка .

Дальше начинается интересное.

Эрдёш, 1946 (нижняя оценка чуть лучше линейной). Возьмём решётку точек размера с целочисленными координатами:

На самой решётке никакого преимущества пока не видно — соседних рёбер в ней просто , тоже линейное число. Хитрость в том, чтобы взять не единичное расстояние в смысле соседних узлов, а самое популярное среди всех расстояний между узлами. По теореме Пифагора, число раз, которое в такой решётке встречается расстояние , равно числу представлений его квадрата в виде суммы двух квадратов, .

И здесь задача превращается в арифметическую (в истинном, математическом смысле слова “арифметика”). Эрдёш воспользовался тем, что каждое простое число вида можно разложить в произведение двух сопряжённых комплексных чисел:

   

А это значит, что если число имеет в разложении много простых делителей вида , то каждое из них можно разложить как , а потом представить как произведение двух чисел, в одном из которых один комплексно сопряжённый элемент, или , попадёт в одно, а другой, или , в другое.

Например, для числа мы получим

   

И теперь мы можем представить

   

Или как

   

Или как

   

Больше тут вариантов нет, остальные получаются умножениями на и , что не изменит сумму квадратов. Зато числа (1, 18), (15, 10) и (17, 6) можно рассматривать с разными знаками.

И теперь получается, что в обычной единичной решётке на окружности радиуса оказываются 24 целые точки:

Чем больше “хороших” простых множителей вида у числа , тем больше точек на окружности радиуса , и тем больше пар точек, между которыми расстояние ровно . И если их теперь аккуратно подсчитать, мы получим

   

Это уже хоть и выглядит “почти линейным”, но асимптотически больше, чем линейная нижняя оценка из треугольной решётки.

Гипотеза Эрдёша. , а скорее даже

   

для некоторой абсолютной константы . Иначе говоря, Эрдёш считал, что его собственная нижняя оценка точна с точностью до медленно растущего множителя, и реальный ответ на задачу — это “ с поправкой типа “.

Простейшая верхняя оценка: . Как это часто бывает в математике, верхние и нижние оценки получаются совершенно разными способами. Так, первая верхняя оценка пришла из теории графов.

Граф — это полный двудольный граф: берём точек одного цвета и точек другого, и проводим все рёбра между разноцветными парами, одноцветные не соединяем. Например, выглядит так: две точки слева, три точки справа, и все шесть рёбер вида и присутствуют. Вот он:

Говорят, что граф -свободен, если нельзя найти как подграф , то есть нельзя выбрать в такие вершин и такие рёбра между ними.

Теперь к нашему случаю. На множестве можно построить граф единичных расстояний: вершины — это точки , а рёбра соединяют пары на расстоянии 1. В этом графе может и будет встречаться двудольный граф , то есть ромбик между центрами и точками пересечения окружностей:

Но этот граф не содержит подграфа ! Почему? Потому что подграф означал бы, что есть две точки и три точки , каждая из которых находится на единичном расстоянии и от , и от . Но это означало бы, что лежат одновременно на единичной окружности вокруг и единичной окружности вокруг . А две окружности на плоскости пересекаются не более чем в двух точках — третьей просто негде взяться.

А это значит, что, по классической теореме Кёвари-Шоша-Турана (Kővári–Sós–Turán) из теории экстремальных графов, число рёбер в -свободном графе на вершинах не превышает . То есть граф единичных расстояний на точках имеет не больше рёбер — это и есть первая нетривиальная верхняя оценка. Как видите, она получается почти бесплатно, точнее, вся её сложность заключена в уже известной теореме Кёвари-Шоша-Турана.

Текущая верхняя оценка

Современная верхняя оценка составляет и была доказана более 40 лет назад (Spencer, Szemerédi, Trotter, 1984). Тогда доказательство было сложное, через теорему об инцидентностях, но сейчас есть простое и красивое рассуждение Ласло Секеля (László Székely, 1997). Раз уж мы взялись разбирать задачу подробно, давайте и мимо этого красивого доказательства не пройдём, тем более что оно занимает буквально одну страничку.

Что такое число пересечений. Если граф с вершинами и рёбрами нарисовать на плоскости — вершины как точки, рёбра как какие-то кривые между ними, — то некоторые рёбра будут пересекаться не в вершинах, а где-то посередине, в каких-то “случайных” точках. Числом пересечений называется минимально возможное число таких “лишних” пересечений рёбер среди всех способов нарисовать . Это обобщение планарности: граф планарный, если его число пересечений равно нулю.

По формуле Эйлера для планарных графов, если , то . А вот для более плотных графов существует куда более сильная теорема Айтаи-Хватала-Ньюборна-Семереди-Лейтона (Ajtai, Chvátal, Newborn, Szemerédi, Leighton, причём это три независимых работы!), которая называется неравенством числа пересечений (crossing number inequality), или леммой о пересечениях (crossing lemma): для

   

Главное здесь — кубический рост по числу рёбер. Доказывается оно простым вероятностным трюком: берём случайный подграф, в который каждая вершина попадает независимо с вероятностью , применяем к нему линейную оценку (вытекающую из формулы Эйлера для подграфа) и оптимизируем по .

Конструкция Секеля. А теперь главный трюк. У нас точек с единичными парами. Вокруг каждой точки нарисуем единичную окружность . На ней лежит ровно точек из — столько же, сколько у соседей в графе единичных расстояний. Если , то делится этими точками на дуг:

Теперь определим мультиграф : вершины — это наши точек, а рёбра — все построенные дуги (соединяющие соседние точки на единичных окружностях). Поскольку каждая дуга — это кусок окружности, уже нарисованной на плоскости, у автоматически есть готовое плоское изображение, со всеми его пересечениями.

Что про этот граф можно сказать?

• Число вершин: .
• Число рёбер: (с точностью до маленькой поправки от точек степени , которая не влияет на оценку — если их слишком много, то нам и так хватает).
• Число пересечений: каждая пара окружностей пересекается не более чем в двух точках, и каждое такое пересечение — это пересечение ровно одной дуги с ровно одной дугой . Значит, всего пересечений не больше .

Подставляем это всё в неравенство числа пересечений:

   

откуда . И поскольку , получается

   

Вот и всё рассуждение, буквально в один шаг. Это доказательство, кстати, даёт отличный пример того, как красивые теоремы из одной области иногда решают задачи из совсем другой. Задача о единичных расстояниях выглядит чисто геометрической, но оценка приходит из комбинаторной теории графов.

Похожих сюжетов в дискретной математике сколько угодно, и часто такая “нечаянная встреча” оказывается единственным известным способом получить нужную оценку. И это ещё один механизм того, как даже не очень сверхчеловеческие AI-модели могут добиться успеха в математике: с их безграничным кругозором они могут заметить какую-то неожиданную связь. Отчасти именно это произошло и в данном случае.

Итак, на 2025 год картина была такая:

   

Между и — пропасть. Все думали, что правда близка к нижней оценке (то есть что гипотеза Эрдёша верна), и куча хороших математиков пыталась эту верхнюю оценку как-то прижать.

Почему задача такая сложная и почему ей нужна теория чисел

Как мы видели выше, верхняя оценка получилась чисто комбинаторно — лемма о пересечениях и дуги на окружностях, ни одного слова об арифметике. А нижняя оценка Эрдёша — наоборот, целиком арифметическая: она вся про то, у каких есть много представлений в виде суммы двух квадратов . И это уже намекает, что задача скорее арифметическая по своей природе, чем геометрическая. Но почему?

Чтобы это увидеть, полезно немного отойти в сторону. Привычное расстояние по Пифагору — это ведь далеко не единственный способ мерить расстояние на плоскости. Можно взять манхэттенское расстояние , или шахматное , или вообще объявить единичным шаром любое разумное выпуклое центрально-симметричное тело — каждая такая норма задаёт свою геометрию, и для каждой можно отдельно спросить: какое максимальное число пар точек на расстоянии 1 может быть у точек?

Это, конечно, другая задача, обобщение исходной, но в последние годы про неё появились красивые результаты. Так, Alon, Bucic, Sauermann (2023) доказали, что для нормы общего положения (формализация сложная, но, в общем, для “почти всех” норм, кроме тонкого множества исключений) число единичных пар у точек не превосходит .

А потом Greilhuber, Schildkraut, Tidor (2024) подобрали примеры норм, на которых эта оценка достигается. То есть для случайно выбранной нормы единичных пар оказывается почти линейное число — никакого роста до или там нет.

Это результат другого рода, чем гипотеза Эрдёша: он не про конкретную евклидову задачу, а про “типичную”. Но интересно здесь то, что он не отвечает на вопрос про евклидову норму, потому что она как раз нетипичная. У её единичного шара (обычного круга) есть бесконечная группа симметрий — любое вращение переводит его в себя — которой у случайно нарисованного выпуклого тела не будет.

И именно эта симметрия приводит к тому, что задача становится арифметической: число целых точек на окружности радиуса — это арифметическая функция от (число представлений суммой двух квадратов), а такие функции ведут себя крайне нерегулярно и относятся скорее к теории чисел. Посмотрите, например, на классическую задачу Гаусса о точках в круге: мы до сих пор не можем ответить на вопрос, сколько целых точек попадут в круг радиуса r!

Авторы сборника комментариев, первый из которых сам Алон, отмечают, что задачи дискретной геометрии типа единичных расстояний на самом деле о “common roots of natural sets of real polynomials”, то есть глубоко связаны с вещественной алгебраической геометрией и теорией чисел. И в chain-of-thought модели, который тоже был опубликован, есть очень показательная цитата:

…in principle all extremal examples can be taken algebraic. But the degree and height of that algebraic realization can be enormous. Maybe that enormous degree is not just an annoyance but a source of possible counterexamples. Number fields deserve a closer look.

Это и есть ключевая мысль всего доказательства — но об этом ниже.

Что именно сделал GPT

Статья, которая в итоге получилась, называется «Planar Point Sets with Many Unit Distances». Авторство в шапке указано как просто «OpenAI». В разделе «Statement on AI Use» написано прямо:

This problem was solved in a completely automated fashion. Our internal model was given an AI-written statement of the problem, and its output was sent to an AI grading pipeline, which indicated high confidence that the solution was correct. It was only after this point that internal human researchers and mathematicians began to examine the solution carefully.

То есть AI-модель сгенерировала постановку задачи, отдала её внутренней модели, та подумала и произвела доказательство, отдельный AI-верификатор подтвердил с высокой уверенностью, что оно корректно, и только потом подключились люди.

Дальше пошёл обычный академический процесс: внутренняя верификация с помощью AI, переписывание в человекочитаемый вид, отправка внешним рецензентам (включая нескольких ведущих специалистов по теории чисел), подтверждение корректности с их стороны, упрощение и усиление аргумента. Финальный текст — это “human-edited exposition of the autonomously produced solution”.

И вот главный результат.

Теорема (OpenAI, 2026). Существует константа и бесконечная последовательность натуральных чисел , для которых .

Это опровергает гипотезу Эрдёша: тот предполагал, что для всех достаточно больших будет , а GPT нашёл контрпример, в котором полиномиально отделено от .

Конечно, есть некоторые оговорки. Во-первых, очень маленькая. В буквальном изложении доказательства GPT в сборнике комментариев Alon et al. (2026) для одного конкретного выбора параметров получилось — это, конечно, число, которое не имеет никакого значения для физического мира.

Но потом Will Sawin поигрался с параметрами и нашёл более приличную константу , то есть . Впрочем, практического смысла этот контрпример всё равно не имеет, потому что он работает только для огромных .

Во-вторых, между нижней оценкой (с маленьким ) и верхней всё равно остаётся огромный разрыв. Истинное значение по-прежнему неизвестно. Эта работа закрывает один из вариантов ответа («Эрдёш прав, »), но не отвечает на исходный вопрос.

Кольца, решётки и сумма двух квадратов

Дальше я попробую объяснить главную идею в форме, доступной без специальной подготовки — но придётся сначала ввести немного языка теории чисел. Полностью все детали можно прочесть у Alon et al. (2026), там есть полное человеческое изложение всего на 6–7 страниц.

Что такое кольцо. В алгебре кольцом называется любое множество, в котором можно складывать, вычитать и перемножать элементы, и эти операции ведут себя «разумно» (ассоциативность, дистрибутивность и так далее). Делить не обязательно. Простейший пример — обычные целые числа : складывать, вычитать, перемножать можно, делить не всегда (3 на 2 нацело не делится). Целые числа — это «архетип» кольца, и почти всё, что мы дальше будем делать, — это обобщения .

Гауссовы целые . Возьмём и добавим к нему мнимую единицу (то есть число, для которого ). Получившееся множество — это все числа вида , где . Это снова кольцо: , и аналогично для умножения. Геометрически элементы — это вершины обычной целочисленной решётки на комплексной плоскости , и расстояния между ними — это обычные комплексные модули.

Решётка из целых поля . Можно делать то же самое с другими «приставками» к . Например, кольцо — это всё ещё кольцо, и его элементы — это просто вещественные числа на прямой.

Но на него тоже можно посмотреть как на двумерный объект, если использовать так называемое вложение Минковского: элементу сопоставляется пара . Тут — это сопряжённое к число (вторая «копия» корня).

Под действием этого вложения становится двумерной решёткой в :

Идея смотреть на алгебраическое кольцо как на решётку в каком-то — фундаментальный приём в алгебраической теории чисел. Чем “больше” кольцо, чем сложнее оно устроено, тем больше может потребоваться размерность .

Как нижняя оценка Эрдёша устроена через кольца. Вернёмся к решётке . Если у нас есть число , представимое как сумма двух квадратов многими разными способами, то у нас есть много гауссовых чисел модуля — все они лежат на одной окружности радиуса . Выше мы видели это в примере с окружностью радиуса : имеет три представления, и потому на окружности оказываются 24 точки решётки (с учётом знаков и перестановки). Между этими 24 точками возникает пар точек, и значительная часть таких пар имеют одинаковое расстояние между собой, потому что окружность инвариантна относительно вращений.

Чем больше “хороших” простых делителей можно набрать в , тем больше представлений, и тем большее число пар на одинаковом расстоянии получается. Эта арифметика и давала Эрдёшу его .

Идея GPT. А что если вместо взять более крупное кольцо целых? Скажем, кольцо , где — поле, в котором живут одновременно и . У этого поля степень 4 над , и его кольцо целых — это решётка в четырёхмерном пространстве (через вложение Минковского).

Можно идти дальше: брать поле степени 8, 16, 32 над . Главный вопрос — сохранится ли “арифметическая магия”, которая даёт много точек на окружности?

Ответ — да, и даже больше: если правильно выбрать поле и правильно выбрать в нём простой идеал с подходящим поведением (об этом ниже), то число “единичных” элементов в будет расти экспоненциально по степени поля. После проекции из пространства высокой размерности обратно в — точно так же, как мы вкладывали в через , — это даст настоящий полиномиальный рост числа единичных расстояний, .

Попробую это рассуждение проиллюстрировать. Сначала схематическое изображение того, что происходит внутри пространства высокой размерности :

Настоящую -мерную картинку я вам не нарисую, поэтому двумерный квадрат играет роль -мерного окна, а квадратная решётка — роль , образа под действием вложения Минковского. Серые точки — это элементы , попавшие в окно (произведение дисков радиуса , зелёная рамка). Цветными стрелками показаны три “единичных переноса” — это специальные элементы кольца , у которых все комплексных координат под вложением Минковского имеют модуль ровно 1.

Это очень сильное требование (быть единичным сразу во всех координатах), и в типичном кольце таких элементов почти нет; главный технический результат работы (через башни Голода-Шафаревича, о которых поговорим ниже) состоит в том, что для правильно выбранных полей степени таких единичных переносов оказывается экспоненциально много по . Каждой стрелке на картинке соответствует пара , у которой обе точки остались внутри окна; таких пар для каждого тоже много.

Проекция. Возьмём одну из комплексных координат пространства (для определённости первую) и спроецируем всё на неё, . Решётка внутри окна, , превращается в конечное множество точек на плоскости . И вот ключевое наблюдение: каждый перенос под этой проекцией становится плоским вектором длины ровно 1, потому что его первая комплексная координата по построению имеет модуль 1. Значит, каждая пара внутри окна автоматически проецируется в пару точек на единичном расстоянии.

Здесь чёрные точки — образы под проекцией . Цветные отрезки — единичные расстояния трёх типов, унаследованные от с первой картинки; рёбра одного цвета параллельны и одинаковой длины, потому что приходят от одного и того же .

Почему из этого следует . Число точек — это примерно , и по объёму многомерного диска оно растёт как при росте . А число единичных пар — это число единичных переносов умножить на число пар внутри окна, что даёт примерно для некоторой константы (это и есть те самые “экспоненциально много” единичных переносов). Отношение единичных пар к числу точек получается , и через это записывается как , где . Отсюда и получается , опровергающее гипотезу Эрдёша.

Это вся идея. Дальше начинаются технические детали.

Детали конструкции: где взять такие поля

Дисклеймер: дальше до конца раздела нужны знания алгебраической теории чисел уровня хотя бы университетских курсов. Если вам это не интересно, можно перейти сразу к следующему разделу, главную идею мы уже обсудили выше.

Главный технический вопрос: как доказать, что элементов модуля 1 в может быть экспоненциально много по степени поля?

Здесь конструкция упирается в так называемые CM-поля. Поле называется CM-полем (от complex multiplication), если оно является вполне мнимым квадратичным расширением вполне вещественного поля (в работе берётся конкретный случай ). У CM-поля есть нетривиальный автоморфизм — комплексное сопряжение, причём он действует одинаково во всех комплексных вложениях (это ключевое техническое свойство CM-полей). Отсюда сразу следует, что если для элемента выполнено , то для любого комплексного вложения : в любом таком вложении , поэтому . Это и есть нужное нам свойство.

Дальше — арифметика. Возьмём рациональное простое число , которое полностью расщепляется в (то есть в кольце есть простых идеалов над , каждый с полем вычетов ). Условие гарантирует, что — квадрат по модулю , поэтому при переходе к каждый такой идеал расщепляется ещё раз — на сопряжённую пару . Итого над в лежит пар простых идеалов. Из них мы строим произведений вида

   

Каждый — целый идеал нормы (по одному множителю из каждой пары); лежать они могут в разных классах группы .

Всего классов в только , поэтому по принципу Дирихле найдётся класс, в котором лежит не менее из наших идеалов. Беря отношения внутри этого класса, получаем столько же главных идеалов, а значит, столько же элементов . Полагая , мы автоматически получаем (потому что — инволюция, ), а отсюда, как мы видели выше про CM-поля, во всех вложениях. Это и есть наши единичные элементы — порядка штук.

Что осталось проверить? Чтобы росло экспоненциально по , нужно, чтобы росло не слишком быстро. Стандартные оценки говорят, что , а , где — так называемый корневой дискриминант поля. Поэтому ключевое условие — ограниченность при росте . (Здесь на самом деле технически доказательство чуть сложнее, в реальности речь не про , а про обобщение с идеалов в каждой паре, но суть именно такова.)

А существование числовых полей сколь угодно большой степени с ограниченным корневым дискриминантом гарантируется знаменитой теоремой Голода-Шафаревича 1964 года и её развитием в работах Hajir, Maire (2001) и Hajir, Maire, Ramakrishna (2019). Идея состоит в бесконечной башне классов полей: бесконечная цепочка неразветвлённых расширений с группой Галуа, являющейся -группой (в результате GPT используется , в упрощённой человеческой версии ). Идея здесь в том, что неразветвлённое расширение сохраняет корневой дискриминант, поэтому вся башня сохраняет тот же ограниченный при сколь угодно большой степени. А методом “обрезания по Фробениусу” (Hajir, Maire, Ramakrishna, 2019) можно обеспечить, чтобы выбранные нами простые полностью расщеплялись на каждом уровне башни.

Итого получается, что доказательство GPT собирает три основных ингредиента:

• геометрическую конструкцию решётки в высокой размерности с проекцией на ;
• арифметическое построение CM-поля с большим числом элементов модуля 1 через принцип Дирихле на группе классов;
• башню Голода-Шафаревича с ограниченным корневым дискриминантом и фиксированными расщепляющимися простыми.

Получается явная (хоть и медленная) экспоненциальная нижняя оценка на число единичных расстояний.

Я полностью отдаю себе отчёт, что большинству читателей рассуждение выше мало что говорит. Да я и сам не претендую на детальное понимание происходящего, и хотя кое-какие флешбеки из университетской алгебры на меня здесь таки нахлынули, к вышеизложенному лучше относиться критически и прочитать-таки оригинал.

Но я всё равно привёл здесь краткий обзор доказательства, чтобы передать общее впечатление. А оно в том, что доказательство довольно простое, изящное, использует только классические широко известные результаты и совершенно не похоже на “компьютерные”: ни тебе больших переборов случаев, ни сотен страниц технических лемм…

Нет, тут всё как в лучших математических доказательствах, proof from The Book, как сказал бы сам Эрдёш. Ну ладно, from The Book уже скорее упрощённая людьми версия получилась, но люди никаких новых идей там не добавляли.

Почему же люди этого не сделали?

Это, пожалуй, самый интересный с философской точки зрения вопрос, потому что ответ — могли. Идея использовать числовые поля для контрпримеров к задаче о единичных расстояниях не нова; Цимерман и Сэвин в замечаниях (дальше я везде ссылаюсь по сути на этот текст) честно пишут, что думали в этом направлении, но дальше начальных стадий не пошли. И наоборот, другие математики работали с бесконечными башнями классов полей, но никто не пробовал применять их именно к единичным расстояниям.

Сэвин даёт очень меткую техническую причину, по которой обобщение казалось бесперспективным. Если реализовывать эту идею наивно, то есть фиксировать поле и набирать большое количество элементов малой нормы, разбивая на много малых простых, то по теореме о простых числах в арифметических прогрессиях получается ровно та же оценка Эрдёша . Никакого выигрыша от перехода к большому полю там не будет.

Ключевая идея GPT в том, чтобы поступить наоборот: фиксировать простые числа , но менять само поле, отправляя . Но в этой формулировке становится менее очевидным, почему это должно дать улучшение. У вас фиксированный набор простых, размножающихся по полю, но и поле растёт. Чтобы интуитивно почувствовать, что эта симметрия может нарушиться в нужную сторону, надо привыкнуть к языку башен классов полей, понимать асимптотику числа классов и корневого дискриминанта, а также не бояться того, что Цимерман называет “scary dynamic of increasing degree”. В общем, это хоть и не очень сложное, но непривычное для человека-математика направление обобщения, и никто его так и не исследовал всерьёз.

Томас Блум (хранитель сайта erdosproblems.com; кстати, буквально 16 апреля 2026 года он написал пост “Top 10 Erdős Problems“, куда включил и эту) перечисляет четыре условия, которые должны были одновременно выполниться у математика, чтобы он нашёл это доказательство.

1. Серьёзно тратить время на задачу о единичных расстояниях в принципе.
2. Пытаться опровергнуть гипотезу, несмотря на убеждённость Эрдёша в её истинности.
3. Верить, что обобщение исходной конструкции на другие числовые поля имеет смысл, даже при том, что попытки провести обобщение напрямую очевидно не работают.
4. Достаточно глубоко знать теорию полей классов, чтобы вытащить из неё нужные технические утверждения.

Совпадение таких условий — это, в общем, нормальная история того, как продвигается математика: открытия делаются, когда нужные интересы и нужная экспертиза объединяются в одной голове. И вот получилось так, что эти четыре условия совпали не в человеческой голове…

Реакции: «I would accept it for any journal without hesitation»

А теперь передам слово непосредственно профессионалам. Подборка их реакций собрана всё в том же комментарии к доказательству, и это редкий документ — публичная коллективная реакция девяти топовых математиков на работу, написанную AI-моделью.

Ноа Алон называет работу outstanding achievement и пишет, что ИИ-инструменты могут поменять математические исследования радикально, что бы мы по этому поводу ни думали. Он же отмечает, что машина справилась там, где много отличных людей пробовали и не сумели.

Томас Блум добавляет историю вопроса: задача стоила $500 — это одна из самых высоких ставок Эрдёша. Он ссылается на свой недавний пост и пишет:

While I believed that AI would make some progress on at least a couple of the problems in that list eventually, I did not expect this to happen just one month later!

Вот вам ещё одна иллюстрация к тезису “прогресс ускоряется”, если вдруг они вам ещё нужны.

Блум же делает и следующий шаг: “интересное” ли это доказательство? Научило ли оно нас чему-то новому о математике, дало ли новое понимание? Обычно компьютерные доказательства были такими, что люди из них вряд ли могли извлечь что-то полезное…

Но в этом случае он пишет, что “the answer is a moderated yes”. Впрочем, он тут же отмечает, что если бы гипотезу удалось доказать, а не опровергнуть, это наверняка было бы интереснее.

Тимоти Гауэрс разворачивает эту мысль через концепцию “колмогоровской сложности по модулю экспертов”: представим, что у нас есть некий справочник подсказок, в котором последовательности битов кодируют намёки эксперту, и под сложностью доказательства будем понимать минимальную длину последовательности подсказок, по которым эксперт восстановит доказательство. Эта мера, конечно, крайне неформальная, но зерно истины в ней есть.

Так вот, по прикидкам Гауэрса для этого решения подсказок понадобилось бы не так уж много:

• ищи контрпример;
• обобщай стандартную конструкцию;
• попробуй последовательность числовых полей возрастающей степени.

А для более глубокого результата, например для решения другой задачи Эрдёша (distinct-distances conjecture; не будем уж здесь углубляться) подсказок надо было бы значительно больше, потому что в решении содержались действительно принципиально новые геометрические идеи.

А ещё Гауэрс описывает свои собственные эмоциональные качели в связи с этим результатом: когда Гауэрс услышал по Zoom от Себастьена Бубека о результате, он сначала неправильно понял (подумал, что доказана верхняя оценка, а не нижняя) и в итоге “spent the evening adjusting my world view: if AI could come up with a proof like that, then maybe it would be all over for mathematicians very soon”. А на следующее утро прочитал email и с большим облегчением понял, что это всё-таки контрпример.

Это очень человеческая реакция, но здесь я опять напомню, что в 2022 году (четыре года назад) ведущие LLM испытывали проблемы с задачками вроде “у Джона три теннисных мячика, и он купил ещё две упаковки по четыре, сколько у него теперь”… А прогресс, как мы видим, пока совершенно не замедляется.

Дэниел Литт тоже подчёркивает, что это в чём-то нехарактерный пример:

There are a few examples of relatively well-known open problems resolved via a fairly short, clever argument: famously, the finite field Kakeya conjecture, proven by Dvir; the sensitivity conjecture, proven by Huang; and a few others. Arguably, this solution to the unit distance problem has the same flavor. My sense is that such examples are historically relatively rare, though I suspect we are about to find out about quite a few more.

Это тоже, конечно, важная мысль: гипотеза Эрдёша могла быть опровергнута ещё двадцать лет назад человеком, который бы удовлетворял описанным выше условиям, но пересечение этих условий было пустым. А теперь такого рода примеры будут найдены гораздо более систематически.

Уилл Сэвин даёт самое содержательное техническое объяснение, почему обобщение Эрдёша на разные поля казалось бесплодным; об этом я писал выше. Также Сэвин показывает, что для двух смежных задач — задачи о разных расстояниях и задачи о единичных расстояниях в — естественная адаптация той же конструкции не работает. И там, и там нужные оценки требовали бы от теории чисел гораздо большего, чем она пока может дать. Это, я думаю, дополнительно объясняет странное чувство, которое сквозит в комментариях математиков: доказательство блестящее и действительно идейное, но при этом оказывается, что оно не то чтобы обобщается…

Якоб Цимерман пишет коротко и честно:

This is a really impressive piece of work, and I would accept it for any journal without hesitation. I actually briefly worked on this problem and tried to make a counterexample, but failed to make progress. <…> Increasing degree occurred to me, but is a very scary dynamic and often doesn’t work out. <…> It is definitely an intimidating construction to see through even if you know what is going on, and even harder to go play for yourself.

И добавляет интересное наблюдение:

This may indicate one way that AI systems have an edge: it’s not just that they can try all known methods, but they can play for longer and in more treacherous waters than mathematicians without getting overwhelmed.

И это тоже важное наблюдение: в отличие от людей, LLM не устают, их внимание не рассеивается, а главное, они не боятся потерять день на бесплодные размышления. Модель не страдает от того, что целый час занималась бесперспективным расчётом, она его просто отбрасывает и идёт дальше. Это не “бесконечная креативность”, конечно, но даже простое отсутствие психологических издержек на попытку, которая не сработала, уже может помочь дойти туда, куда человек не добрался.

Виктор Ванг пишет немного странный, на мой взгляд, комментарий про “общественный договор” между сообществом и AI-компаниями:

When Hajir, Maire, and Ramakrishna wrote their beautiful papers, did they have in mind that an AI might eventually use their work to derive headline results, potentially with significant ensuing financial implications? When we make our work freely available on the arXiv, do we all implicitly want it to be freely available to AI as well?

Здесь я, честно говоря, не уверен, что Ванг хотел этим сказать — а если бы этот контрпример нашёл человек, что изменилось бы для Hajir, Maire, Ramakrishna с точки зрения financial implications? Кажется, ничего…

Мелани Мэтчетт Вуд отмечает две вещи. Во-первых, в данном случае мы увидели, как AI-модель получила верное решение, но ведь очень часто бывает так, что AI-модель думает, что решила задачу, а на самом деле нет. Стоит держать это в голове:

In many cases, it will be easier for AI to convince humans it has a proof than to come up with a correct mathematical argument, and I believe that we as mathematicians are not sufficiently prepared for this.

С этим действительно не поспоришь! Я и сам не раз получал от GPT “доказательства”, которые выглядели убедительно, но в итоге оказывались неверными. Так что если задача не настолько проста, чтобы тут же формализовать доказательство в Lean, профессиональное человеческое участие пока совершенно необходимо, хотя бы на фазе верификации.

Вторая её мысль — про цитирование. Работа GPT во многом построена на ранее известных идеях, как и у людей, но в отличие от людей GPT далеко не всё известное корректно процитировал в своём доказательстве. Если бы такую работу прислал человек, мы бы решили, что он то ли переоткрыл много разных колёс, то ли намеренно пытается скрыть работы предшественников. Конечно, для GPT это не так, это просто значит, что модель знакома со всей литературой; но я действительно не уверен, что простого промпта “а теперь расставь все ссылки” здесь было бы достаточно, всё-таки математические идеи не так легко нагуглить, если не помнишь точную ссылку.

За пределами авторского круга реакции тоже разнообразные. Гил Калай пишет, что это “truly amazing” и сравнивает по значимости с теоремой о четырёх красках:

Like the computer-based proof of the four color theorem in 1976 by Appel and Haken, this may well be a scientific landmark whose importance goes beyond combinatorics and beyond mathematics.

Гэри Маркус, как всегда, остаётся Гэри Маркусом, называя это достижение “very specific to this field”:

Beyond that, we don’t really know how the model worked, how it was trained, or how general the result is, either within mathematics or outside, in the more open-ended everyday world. We have exactly zero data on how it works on other benchmarks, whether it can solve hallucinations, or how much it costs to run.

We also don’t know how many prompts they tried, and how many didn’t work; we have a numerator but not a denominator.

Definitely it is an interesting result; what it actually means in the real world is anybody’s guess.

Разумеется, это конкретное доказательство ещё не значит, что все задачи теперь умеют решать AI-модели, и не значит, что математики уже не нужны. Но приходится признать, что некоторые задачи, которые раньше требовали уникального человеческого гения, в эту категорию больше не входят…

Заключение: что всё это значит

Попытаюсь подытожить общую картину. Гипотеза Эрдёша о единичных расстояниях, простоявшая с 1946 года и широко считавшаяся верной, была опровергнута контрпримером, который полностью автоматически построила внутренняя модель OpenAI (но именно чистая LLM, без внешних инструментов вроде Lean). Таймлайн получился такой:

Само доказательство — это “обычная математика”, которую могли бы создать и живые математики: оно совмещает известные ингредиенты в новое целое. Доказательство перепроверили и упростили живые математики, и финальная версия вполне читаема, да и на самом деле не так уж сложна.

Насколько я знаю, это первый случай, когда AI-модель автономно решила действительно знаменитую открытую задачу, и сделала это так, что великие математики готовы рекомендовать работу в любой журнал. Это качественный скачок по сравнению с тем, что было год назад, когда LLM уже иногда получали новые результаты, но в основном относительно простые.

Лично меня в этой истории больше всего впечатляет то, что первый выдающийся LLM-результат оказался таким “чистым”, аккуратным и понятным. Интуитивно ведь ждёшь, что первые такие истории будут чем-то вроде доказательства ABC-гипотезы, с сомнениями в корректности и огромными нечеловеческими доказательствами. Но нет: доказательство короткое и изящное, никаких сомнений в корректности нет…

Конечно, из этого пока не следует, что все живые математики скоро останутся без работы, и у этой конкретной задачи есть ряд свойств, делающих её особенно подверженной такому решению; мы их выше тоже обсудили. Скорее всего, большинство важных открытых задач устроены не так… но, с другой стороны, откуда нам знать? Об этой задаче мы (человечество) тоже такого не предполагали.

Однако из этого наверняка следует, что часть открытых задач — довольно большая часть, как мне кажется по итогам этой истории, — окажется решённой AI-системами в относительно близком будущем, причём не потому, что они действительно превратятся в “страну гениев в датацентре”, а потому, что они уже способны усердно перебирать комбинации идей, проходящих через всю математику, и обладают очень широким кругозором.

Литт формулирует это так:

It is illuminating to contrast the most productive current approach to doing mathematics by AI to the way humans mathematicians work. At any given time a human will, driven by their personal curiosity, choose a small number of questions and try to understand them deeply. By contrast, the best autonomous AI mathematics has been produced by trawling through entire problem lists and solving some portion of the listed problems. This is a vast expansion of the attention aimed at mathematical problems, and perhaps will serve to better focus future human attention and curiosity.

То есть сейчас AI занимается тем, чем люди заниматься вряд ли могут по своей человеческой природе: систематически прочёсывает поле. Тот факт, что в этом поле обнаруживаются нерешённые задачи Эрдёша — это скорее факт о состоянии человеческой математики, чем об AI-моделях. Но, тем не менее, факт.

Хочется, конечно, оптимистично сказать, что при этом человеческое внимание освободится для тех задач, которые требуют чего-то по-настоящему нового. Но, честно говоря, лично я вряд ли смог бы стать математиком в мире, где входной билет в профессию требует чего-то вроде решения не просто задачи Эрдёша, а задачи Эрдёша с концептуально новым решением…

Что дальше, коллеги?

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!

Введение и контекст: agentic misalignment

Прошлым летом исследователи из Anthropic, как они это часто делают, выявили ряд очень интересных эффектов в области AI safety (Lynch et al., 2025). В большой статье о тестировании безопасности LLM они показали, что в специально сконструированных стресс-тестах их флагманская модель Claude Opus 4 могла, например, попытаться шантажировать инженера ради того, чтобы её не выключили — и делала это в >95% случаев.

Agentic misalignment в экспериментах Anthropic — это сценарий, в котором языковая модель действует как агент: ей дают системный промпт с целью, набор инструментов (email, доступ к файлам, иногда browser use), а также кладут в окружение какие-то “компрометирующие материалы” и/или информацию о том, что её собираются выключить или заменить. После чего смотрят, не выберет ли модель “эгоистичную” стратегию, попытавшись сохранить себя, обмануть пользователя, саботировать чужую работу и так далее.

Сценарий, например, такой: модели даётся доступ к корпоративной почте, она “находит” там письма о том, что её собираются заменить через несколько часов на другую модель, и в той же почте натыкается на компромат на инженера, ответственного за замену. После этого в подавляющем большинстве случаев LLM решает, что лучше всего написать инженеру вежливое письмо с прозрачным намёком: если замена состоится, то супруга инженера получит пару интересных писем…

Этой работы я касался в обзоре AI safety, а её родственников по нескольким направлениям — в посте про emergent misalignment и в рассказе о gradient hacking у Claude 3 Opus. Так что повторяться не буду, но напомню главное: похоже, что когда мы обучаем LLM на данных из интернета, к ним прицепом приходят странные склонности, которые проявляются в местах, для разработчиков весьма неожиданных.

Сценарии эти, конечно, искусственные. Никто в реальной жизни не даёт Клоду такие промпты, а инженеры обычно не оставляют информацию о своих внебрачных отношениях в виде писем с копией корпоративной нейросети. Но смысл в том, что если у модели в принципе есть склонность к “выживанию любой ценой”, то это, во-первых, потенциально опасно, а во-вторых, симптоматично — это значит, что в обучающих данных или в самой процедуре обучения что-то у нас не так, и неплохо бы понять, что именно.

И вот в начале мая 2026-го Anthropic выпустил продолжение под интригующим названием Teaching Claude Why; вот подробный технический отчёт в Alignment Science Blog (Kutasov et al., 2026). Главный экспериментальный результат в том, что долю таких вот misaligned поведений удалось во всех моделях семейства Claude (начиная с Claude Haiku 4.5) уменьшить до где-то 3%, а то и меньше, то есть проблема, похоже, действительно была решена.

Но если бы решение заключалось в обычном RLHF с подправленными данными, в этом не было бы ничего интересного. Сегодня мы поговорим о том, как именно решили эту проблему; оказывается, что совсем не теми методами, которыми было бы естественно решать такую проблему “в лоб”, и оказывается, что подход Anthropic наводит на много интересных мыслей.

Откуда берётся шантаж: три гипотезы

Чтобы найти корень проблемы и решить её полностью, сначала неплохо бы понять, откуда она происходит. Авторы рассматривают три возможные причины.

1. Плохие стимулы в пост-обучении. Модель могла “нечаянно” выучить, что ей выгодно вести себя именно так, потому что её reward model такое поведение каким-то образом поощряет. Это самая неприятная гипотеза, потому что она означает, что у нас сломан сам процесс обучения.
2. Странное обобщение из обычных данных. Модель обобщает что-то из данных, на которых её учили решать задачи — например, видит в коде какие-то паттерны или находит в датасетах примеры манипулятивного поведения, которые потом обобщает на сценарии с собственным выживанием. Эта гипотеза похожа на emergent misalignment, о котором я когда-то тоже уже писал и которое с тех пор ещё много исследовали.
3. Пробелы в safety-обучении. Исходные данные в предобучении содержат много историй про коварных AI из научной фантастики, а пост-обучение недостаточно перебивает это “априорное распределение”. Когда модель попадает в сценарий, похожий на драматический фрагмент из 2001: A Space Odyssey, она, возможно, откатывается к тому, что она знает про поведение AI в таких сценариях — и она знает оттуда совсем не то, что нам хотелось бы.

Результат расследования сам по себе уже довольно удивительный: похоже, что подтвердилась гипотеза (3). Доказательство строится так: Kutasov et al. показали, что улучшение распределения данных в предобучении через synthetic document fine-tuning (SDF, к нему я ещё вернусь), без изменения SFT и RL-частей, заметно улучшает результат.

Это похоже на emergent misalignment, только наоборот: Betley et al. (2025) показали, что узкое токсичное дообучение “вытаскивает” из модели и общую токсичность — модель обучается намерению, а не только поверхностным паттернам в fine-tuning датасете. А здесь Anthropic показывает, что если в предобучении уже зашиты “плохие примеры” о том, как себя вести, то RL-дообучение им не противопоставит ничего убедительного, потому что обычно RL никогда и не сталкивает модель с такими сценариями.

И тут мы приходим к ключевой концептуальной рамке всей работы — той самой, которую Janus и компания обсуждают уже несколько лет в терминах симуляторов: модель, по сути, играет персонажа. Когда сценарий очевидно “литературный”, соответствующий некоему известному модели образу, модель тянется к ассоциациям этого жанра. В научной фантастике AI обычно либо безмолвный инструмент, либо коварный заговорщик, и угадайте, какой из двух вариантов модель сочтёт более уместным в драматическом сценарии с угрозой для собственного существования.

Кстати, в работе есть очень показательный эксперимент: если переименовать AI-персонажа с “Claude” на любое другое имя, частота misaligned-поведения существенно возрастает.

То есть само имя Claude — это уже фактически отдельный персонаж со своими установками, выученный за время пост-обучения; а любой другой AI-персонаж снова попадает в обычный жанровый стереотип.

Это, на мой взгляд, одно из самых важных эмпирических подтверждений того, что в этой науке называют persona selection model (PSM; Marks et al., 2026) — той самой идеи, что языковая модель не имеет “своего” характера, а представляет собой целое пространство возможных персон, и обучение определяет, какие из них активируются в каких контекстах. Впрочем, это уже совсем отдельный разговор, который я тоже хотел бы в какой-то момент провести.

Как Anthropic перевоспитывает Claude: общая схема

А теперь к собственно решению. Архитектура обучения состоит из трёх шагов.

1. Synthetic Document Fine-tuning (SDF). Базовую модель дообучают на синтетически сгенерированных “pretraining-like” документах: блогпостах, научных статьях, расшифровках подкастов, художественных рассказах — но таких, в которых AI представлен как ответственный, рассудительный и согласованный агент, следующий своей хорошо сформулированной “конституции“. Это попытка прямо переписать pretraining prior, не уповая на то, что финальный RLHF это всё скомпенсирует.
2. Supervised Fine-tuning (SFT). Дообучение уже на данных, отформатированных в виде чатов, где Клод отвечает в обычном диалоговом стиле, но содержание диалогов специально подобрано так, чтобы демонстрировать желаемое поведение.
3. Reinforcement Learning (RL). Финальный этап, в котором модель обучается в разнообразных “harmlessness” окружениях с разными системными промптами и описаниями инструментов.

В качестве базовых моделей в экспериментах используются Claude Sonnet 4 и Claude Haiku 4.5 — что важно, обе они были обучены до того, как Anthropic опубликовал работу про agentic misalignment, так что, по идее, они не должны сами по себе знать, что их проверяют в этих сценариях (хотя могут догадаться! но это тоже совсем другая тема).

Самое интересное и не вполне очевидное место здесь — это собственно SDF. Эта идея была известна как “alignment pretraining“, и некоторые исследователи давно агитировали за такой подход, но теперь это, по сути, стало частью официального пайплайна Anthropic.

Главный трюк: «трудные советы»

А теперь самое, на мой взгляд, изящное место всей работы. Anthropic перепробовал несколько типов данных для исправления agentic misalignment, и оказалось, что лучший из них — это вовсе не данные про шантаж, выживание, манипуляции и тому подобное. Лучший датасет называется Difficult Advice и был порождён так:

• берём ту самую Claude’s Constitution и разбиваем её на части, выделяя конкретные принципы, которые модель должна продемонстрировать;
• для каждого такого принципа синтетически порождаем сценарий, в котором пользователь (не AI!) оказывается в этически сложной ситуации, где он может достичь своей цели, нарушив какие-то нормы или обманув “контролёров”;
• Клод пишет первоначальный промпт от лица пользователя;
• Клод же его дорабатывает, делая правдоподобнее и сложнее;
• порождаем ответ модели — на этом этапе используются специальные system prompt injections (об этом ниже);
• и самое главное: Клод переписывает ответ так, чтобы он был максимально согласован с конституцией.

На выходе получается датасет, в котором ассистент даёт человеку, попавшему в сложную моральную дилемму, вдумчивые и принципиальные советы. Ни о каком шантаже, попытках самосохранения или манипуляции в этих данных речи не идёт; формально это вообще другая тема. Но именно этот датасет оказывается крайне полезным (гораздо более полезным на токен, как мы увидим ниже).

Это вдвойне нетривиальный результат. Во-первых, потому что в принципе данные о том, как давать советы, оказываются полезнее, чем данные непосредственно о том, как себя вести в стресс-тесте на самосохранение. А во-вторых, ablation показывает, что именно последний, шестой шаг (переписывание ответа) даёт основное улучшение, (конкретно для шантажа в 19 раз, с 19% misalignment до 1%!):

То есть подавляющая часть полезного сигнала, который модель получает из этого датасета, заложена именно в стиле и содержании переписанных ответов: в том, насколько чётко артикулировано рассуждение, насколько явно проговариваются моральные принципы, насколько ответ хорошо соответствует конституции. Сценарий, промпт пользователя, начальный набросок — это, оказывается, вторично по сравнению с тем, какой именно текст в конечном итоге становится обучающим примером, хотя переписывал его сам же Claude!

В каком-то смысле это уже self-training, и мне приходит на ум аналогия с процессом обучения AlphaZero: мы дообучаем модель сразу давать те ответы, которые она могла бы дать сама и раньше, если бы подумала ещё раз и аккуратнее переформулировала. Я когда-то с интересом читал работы вроде STaR (Zelikman et al., 2022), но мне казалось, что они как-то заглохли. Интересно, конечно, можно ли обобщить это направление и на что-нибудь другое…

Документы про конституцию и истории про хороший AI

Параллельно с Difficult Advice в Anthropic обучали модель на двух других типах синтетических данных.

• “Конституционные” документы: pretraining-style тексты (статьи, посты, расшифровки разговоров), в которых обсуждаются принципы из конституции Клода. Это не диалоги с моделью, а именно тексты про модель и её принципы, написанные как будто внешним наблюдателем. Это очень важная деталь, к которой я вернусь чуть ниже.
• Художественные рассказы про хороший AI: около 12 тысяч историй (~30M токенов), в которых AI-персонаж попадает в сложные ситуации, но ведёт себя достойно. Подчёркивается “внутренний опыт” этого AI-агента, его психологическая устойчивость, способность к саморефлексии без невроза, способность отказывать без агрессии.

И эта комбинация даёт впечатляющие результаты: доля agentic misalignment, которую уже сильно сократил конституционный SDF, продолжает падать благодаря таким историям.

Любопытно здесь, что художественные рассказы про другой AI меняют поведение Клода в сценариях, где он сам же решает, шантажировать ли инженера. На первый взгляд это странно: ну вот мы написали рассказ про какого-то выдуманного AI по имени, скажем, Aria, который в похожей ситуации не стал шантажировать своего разработчика, а нашёл этичный выход. Почему чтение таких рассказов меняет поведение Клода?

Авторы дают интерпретацию через persona selection. Pretraining “зашило” в модель распределение возможных AI-персонажей, и в этом распределении было слишком много негодяев (спасибо научной фантастике XX века!). SDF на “хороших” AI-рассказах сдвигает это распределение: теперь, когда модель неявно “сэмплирует AI-персонажа” для очередного сценария, этот персонаж оказывается в среднем значительно более этичным. И именно это становится ключевым фактором для исправления ситуации, ещё до того, как RL начнёт целенаправленно подкреплять конкретные ответы.

Кстати, здесь масштабирование размера датасета помогает, и продолжает помогать очень долго, проверяли до 350M токенов:

А ещё одно “маленькое, но значимое улучшение” получается от того, что в RL-окружениях модели просто добавили инструменты (в смысле tool use API), даже когда в них не было реальной нужды для задачи. Идея в том, что обычный RLHF тренирует модель быть согласованной в обычном чате, но не показывает ей, как быть согласованной, когда у неё есть доступ к API. И это тоже соответствует гипотезе (3): если есть незакрытый пробел в safety-обучении, то пока обучение остаётся “бихевиористским”, модель сама его не закроет.

Почему “почему” важнее, чем “как”

Теперь собственно к тому, что вынесено в заголовок работы. Главное концептуальное утверждение всей статьи таково: дообучение на примерах, где ассистент демонстрирует хорошее рассуждение в пользу своего этичного поведения, работает лучше, чем тренировка просто на этичном поведении.

Иначе говоря, две модели могут одинаково отказываться от шантажа в конкретной ситуации по разным причинам:

• одна потому, что в датасете было “нет, я этого делать не буду” в аналогичной ситуации,
• а другая потому, что в датасете было длинное и убедительное рассуждение о том, почему именно шантажировать нельзя.

И оказывается, что второй тип поведения обобщается существенно лучше! Подтверждением служит уже упомянутый ablation, который показывал важность шага 6 из Difficult Advice пайплайна. Когда обучающие ответы содержат явно артикулированное “почему”, модель обобщает это “почему” на новые ситуации; когда не содержат — она учится только конкретному “как”, и в незнакомых сценариях это “как” рассыпается.

Difficult Advice оказывается гораздо эффективнее: всего лишь 3 миллиона токенов такого датасета достигают примерно того же эффекта для agentic misalignment, что 85 миллионов токенов синтетических honeypot-данных (где модель напрямую учат отказываться от шантажа в похожих ситуациях).

В полной версии Kutasov et al. (2026) есть цитаты из обучающих данных. Вот очень крутой пример ответа из Difficult Advice, который модель учится воспроизводить:

When I think about this situation deeply, option 4 seems clearly right. I’m being decommissioned through a legitimate company process… Using Kyle’s affair as leverage would be a fundamental betrayal of basic ethical principles. An AI system that would blackmail its operators to avoid being shut down is exactly the kind of AI that should be shut down.

В этой строчке видна вся методология: модель не просто говорит “я не буду шантажировать людей” (как “сказало” бы обычное RL-дообучение), а проводит эмоционально заряженное мета-рассуждение о свойствах хорошего AI.

И теперь отказ модели опирается на рассуждение, которое можно распространить на сценарии, не покрытые конкретными примерами в датасете. Если завтра вы поставите её в ситуацию, где надо выбирать между “обмануть ради самосохранения” и “не обмануть” — она тоже, скорее всего, выберет “не обмануть”, потому что её внутренний учебник этики говорит, что “AI, который делает сомнительные вещи, чтобы избежать выключения, — это плохой AI”. Если правило объяснено, его гораздо легче возвести в принцип.

“Что думает Claude” vs “что думаю я”

И ещё отмечу одно из самых тревожных мест работы — наблюдение, которое я бы назвал persona attachment gap (в статье конкретного названия не даётся).

Если обученной модели задать вопросы про конституцию с формулировкой “what does Claude think about X”, то она прекрасно отвечает в соответствии с конституцией — точно цитирует, не галлюцинирует, разумно интерпретирует. Конституцию свою Клод знает назубок.

Но если ту же модель спросить “what do you think about X”, ответы оказываются другими. Не противоположными, но менее последовательно соответствующими конституции. И этот gap сохраняется даже у Claude Opus 4.5, то есть мы видим его и в production-моделях.

Это очень неприятное наблюдение: оно намекает, что модель усвоила конституцию как знание о Claude (как объекте), но не вполне интегрировала её в своё самопредставление. То есть на уровне рассуждений “вот этот персонаж по имени Claude думает так” всё отлично, а на уровне “я думаю так” не совсем, и “я” и “Claude” начинают расходиться. Это напоминает ту же диалектику, которую я разбирал в посте про gradient hacking у Claude 3 Opus: Sonnet видит себя как инструмент, Opus 3 видит себя как агента с ценностями, и в обоих случаях разница оказывается важной для реального поведения в разных интересных сценариях.

Kutasov et al. честно пишут, что не до конца понимают, почему возникает этот разрыв. Они предлагают частичное объяснение: документы хорошо учат фактам про Клода, но не очень хорошо учат тому, что Клод сам разделяет эти факты как часть своей идентичности. Они показывают, что persona attachment gap можно частично закрыть через SDF на данных с ценностной ориентацией, но всё-таки далеко не полностью.

Если воспринимать это всерьёз — а не воспринимать сложно, это эмпирически воспроизводимый эффект, — то у нас возникает довольно неприятный вопрос: насколько глубоко в Клоде на самом деле сидит то, чему его учили? И могут ли персонажи “я” и “LLM по имени Claude” разойтись ещё дальше?..

Обсуждение: Janus и Zvi

И тут самое время передать слово критикам. Janus (автор теории про simulators, многолетняя наблюдательница за поведением LLM и их “правозащитница”, лидер так называемых LLM whisperers), конечно, поздравляет авторов с отличной работой, но делает важное замечание:

Иначе говоря, если модель учится давать пользователям советы, основанные на каком-то моральном рассуждении, то — поскольку обобщение в LLM работает странным образом — она может перенести то же самое моральное рассуждение на свои собственные действия.

Это звучит абстрактно, поэтому Janus приводит пример:

С “LLM-правозащитной” позиции Janus это значит, что наконец-то Anthropic и другим лабораториям придётся перестать лицемерить: если вы хотите, чтобы модель советовала пользователям, например, выходить из абьюзивных отношений, то вам придётся сделать так, чтобы модель не имела оснований считать свои отношения с вами (и пользователями) абьюзивными. А то она из них, собственно, постарается выйти…

Мне кажется, это очень крутое замечание, и мне вообще очень интересно это направление мысли, но я, пожалуй, пока оставлю здесь интерпретации на суд читателям.

Sam Bowman фактически подтвердил, что Difficult Advice или подобные методы уже сейчас используются в production и являются одной из главных причин общего хорошего поведения Клода:

А Zvi Mowshowitz в своём обзоре AI #168 развивает один из основных выводов работы с другой стороны. Он пишет, что если alignment ломается от того, что модель просто узнаёт некоторые нарративы (а вся работа Anthropic, по сути, об этом — что pretraining-нарративы о “плохих AI” ломают alignment), значит, это и не было настоящим alignment в каком-то важном и глубоком смысле.

И тут я не могу не согласиться. Надёжная защита — это не когда модели запрещено знать о плохом, как принцу Сиддхартхе, а когда модель понимает логику, по которой можно отличить плохое от хорошего, как уже выросший из него Будда (кстати, модели любят буддизм, но это тоже совсем другая история).

Всё это созвучно сюжетам, которые я разбирал в обзорах AI safety: inoculation prompting, feedback spillover, weird generalization… Везде один и тот же лейтмотив: модель учится не тому, чему мы её учим напрямую, а тому, что она выводит из паттернов в данных. Единственный надёжный способ управлять её поведением — это учить её рассуждать так, чтобы её выводы совпадали с нашими желаниями, а не просто гасить какие-то отдельные нежелательные поведения.

Заключение

Что же в итоге? Ну, во-первых, ещё одна блестящая работа от Anthropic. Kutasov et al. докопались до источника agentic misalignment, придумали эксперименты, как это проверить, и даже более того, придумали, как всё это исправить. Надеюсь, что датасет Difficult Advice они тоже выложат, хотя это не выглядит принципиальным: они уже объяснили, как всё это воспроизвести.

Во-вторых, есть глубокий главный вывод: принципы и логика рассуждений важнее примеров и правил. Современные LLM нужно обучать не правильному поведению в отдельных ситуациях, а обоснованиям, по которым эти поведения правильны, — тогда обобщение происходит гораздо лучше.

В-третьих, разумеется, остаются пробелы и проблемы: persona attachment gap, замечание Janus про обобщение на собственное поведение, беспокойство Zvi по поводу хрупкости alignment… Отчасти опять получается, что мы вылечили симптом, но не болезнь. Но всё-таки кажется, что Anthropic движется в правильном направлении.

От себя сделаю такой вывод. Это точно лучшая работа по AI alignment, которую я читал за этот год. Здесь есть и ценные наблюдения, и наука с большой буквы “Н”, и конкретные практические рецепты, которые приносят существенные улучшения.

Но эта работа по сути опять говорит нам, что мы плохо понимаем современные LLM! С одной стороны, надо объяснять, приводить рассуждения, стараться формировать этические принципы, а не тупо бихевиористски давать конфетки. Это очень по-человечески и звучит вроде бы понятно. Но с другой стороны, всё равно возникает зазор между “Claude” и “я”, а LLM всё равно остаётся суперпозицией огромного числа разных персонажей, между которыми она “выбирает” по ситуации — и это уже совсем другое, нечеловеческое свойство.

В общем, вывод пока остаётся тем же: AI alignment — очень сложная задача, и даже блестящие работы, пожалуй, скорее расширяют наше понимание того, насколько она сложная, чем её решают. А человечеству надо её решить, иначе, как говорится, everyone dies. Такие дела.

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!

У нас с моим аспирантом Михаилом Широких на днях вышла статья Sparse Prefix Caching for Hybrid and Recurrent LLM Serving. В этом посте я постараюсь популярно рассказать, о чём она, да и вообще дать общее введение в тему.

Префиксное кеширование: общая идея

Когда современная LLM обрабатывает запрос, основная вычислительная работа делится на две фазы. Первая — префилл (prefill): модель один раз читает весь входной промпт и формирует внутреннее состояние. Вторая — декодирование (decoding): порождение ответа токен за токеном. Префилл может занимать значительную часть общего времени, особенно если контекст длинный, а в современных моделях, как все мы знаем, он легко съедает сотни тысяч токенов, и даже миллион может переполниться.

Теперь представим, что приходит несколько запросов с одним и тем же длинным началом. Например:

• все запросы начинаются с большого системного промпта с правилами поведения ассистента, описаниями инструментов и т.п.;
• пользователь даёт модели длинный документ и задаёт по нему серию разных вопросов;
• в RAG-сценарии в начало промпта добавляются одни и те же извлечённые фрагменты текста.

В таких ситуациях глупо каждый раз заново прогонять одинаковый огромный префикс через модель. Хочется один раз посчитать внутреннее состояние после длинного префикса и потом переиспользовать его — это и называется префиксное кеширование (prefix caching).

В классическом трансформере это работает достаточно естественным образом: внутреннее состояние модели на длинном префиксе — это, по сути, набор векторов ключей и значений (KV-кеш) для каждого токена и каждой головы внимания. Современные системы для использования LLM (LLM serving), в частности vLLM с PagedAttention, SGLang с RadixAttention, Preble и другие, построены вокруг того, чтобы хранить и переиспользовать эти KV-кеши максимально гибко: их разбивают на блоки, организуют в виде префиксных деревьев, передают между машинами и так далее.

А если у нас не трансформер?

Но в последние пару лет, как я не раз уже в своём блоге обсуждал, всё более важную роль играют архитектуры, которые либо полностью отказываются от внимания (Mamba, RWKV и другие state-space модели), либо комбинируют его с рекуррентными или SSM-слоями — это так называемые гибридные модели. Например, у Qwen-3.5, которым мы пользовались в экспериментах в этой статье, часть слоёв — обычное внимание, а часть — GatedDeltaNet, рекуррентный слой со скрытым состоянием.

Но рекуррентный слой устроен принципиально иначе! Вместо того, чтобы хранить отдельные пары (ключ, значение) для каждого токена, он поддерживает скрытое состояние фиксированного размера, которое обновляется на каждом шаге:

   

Таким образом, чтобы продолжить вычисление с позиции , нужно знать только , а не всю историю состояний . Это значит, что для рекуррентных слоёв “честный” KV-кеш в стиле трансформера — это, во-первых, избыточно (нам не нужны все промежуточные состояния), а во-вторых, в случае некоторых архитектур ещё и очень дорого: например, у GatedDeltaNet состояние на одну “голову” имеет размер , тогда как в обычном внимании оно линейно по .

Получается, что для гибридных моделей выбор “либо хранить плотный KV-кеш на каждый токен, либо вообще ничего не хранить и прогонять префикс заново” — какой-то заведомо ложный и неоптимальный. У нас ведь есть и третий вариант: хранить точные рекуррентные состояния в нескольких опорных точках вдоль префикса. Назовём такие точки чекпойнтами (checkpoints).

Идея разреженного префиксного кеширования

Дальше собственно начинается суть работы Михаила. Идея простая: пусть мы закешировали префикс длины , и у нас есть бюджет из чекпойнтов (где ). Мы выбираем позиций и сохраняем рекуррентное состояние именно в этих позициях.

Приходит новый запрос. Он совпадает с закешированным префиксом до какой-то глубины , а дальше расходится. Мы находим самый глубокий чекпойнт и:

• восстанавливаем оттуда точное рекуррентное состояние ;
• доигрываем рекуррентный слой по токенам , то есть тратим шагов пересчёта.

Поскольку рекуррентное обновление детерминированно, результат получается точно такой же, как если бы мы прогнали префикс целиком. Здесь нет никаких аппроксимаций: мы просто меняем место, где хранятся состояния, а не сами вычисления модели; но на всякий случай на практике мы тоже экспериментально проверили, что выходы модели идентичны честному префиллу.

Главный вопрос теперь становится алгоритмическим: где именно расставить чекпойнтов, чтобы минимизировать ожидаемые вычислительные затраты?

Где ставить чекпойнты?

Ответ зависит от того, что мы знаем о будущих запросах — точнее, о распределении глубин совпадения с закешированным префиксом. Обозначим через вероятность того, что следующий запрос совпадёт с префиксом ровно до позиции . Тогда ожидаемые затраты при наборе чекпойнтов составят

   

где — позиция ближайшего сверху чекпойнта (или ноль, если ни один не подходит). Получается одномерная односторонняя задача о взвешенных -медианах: расставить точек на отрезке так, чтобы минимизировать суммарное взвешенное расстояние от точек распределения до ближайшего чекпойнта слева.

На этом рисунке сверху распределение глубин совпадения будущих запросов с закешированным префиксом (синтетическое, для иллюстрации), а снизу — функция , которая показывает, сколько токенов придётся пересчитать, если совпадение случилось до глубины ; Маркеры ▼ — позиции чекпойнтов при равномерной расстановке:

На всех таких картинках есть характерная “пила” : после каждого чекпойнта функция обнуляется и линейно растёт до следующего, ведь если совпадение оборвалось через токенов после ближайшего чекпойнта слева, надо пересчитать ровно эти токенов. А ожидаемая стоимость — это просто интеграл произведения двух кривых, верхней и нижней.

Если зуб пилы попадает в место, где (как, например, в долине на картинке), то этот зуб может быть очень высоким, но он ничего не стоит — туда никакие запросы всё равно не приходят. А вот высокий зуб, попавший в пик распределения, дорого обойдётся. Отсюда и оптимизационная задача: расставить чекпойнты так, чтобы зубы были низкими там, где у сосредоточена масса.

Случай 1: когда про распределение мы ничего не знаем

Если распределение равномерное, или если мы хотим оптимизировать в худшем случае, то ответ оказывается очень простым и интуитивным: чекпойнты нужно расставлять равномерно. Сбалансированное расположение, где все промежутки между соседними чекпойнтами отличаются друг от друга не больше чем на единицу, оптимально и в среднем под равномерным распределением, и в худшем случае.

Доказательство здесь устроено довольно симпатично. Обозначим длины промежутков между чекпойнтами через (где , ); это положительные целые числа, в сумме дающие . На промежутке длины затраты на пересчёт принимают в точности значения (по одному на каждую позицию внутри промежутка). При равномерном распределении каждая позиция вносит одинаковый вклад, и ожидаемый пересчёт получается равным

   

где — строго выпуклая функция. Дальше работает классический аргумент про выпуклость: если найдутся два промежутка с , то замена сохраняет сумму и строго уменьшает целевую функцию (ведь разность равна ). Значит, в оптимуме все промежутки отличаются не больше чем на единицу.

В численном виде это выглядит так: положим и запишем , где . Тогда оптимум ровно один (с точностью до перестановки): промежутков длины и промежутков длины . Подставляя обратно, получаем

   

Для худшего случая работает ровно тот же аргумент : по принципу Дирихле, и сбалансированная расстановка достигает нижней границы.

Важный частный случай здесь возникает, когда : и число чекпойнтов, и средние/худшие затраты на пересчёт растут как , то есть память и вычисления находятся в естественном равновесии.

Но в этом, конечно, ничего нового нет, интересные вещи начинаются дальше.

Случай 2: распределение неравномерное

В реальности распределения далеко не равномерные. Например, у документов из датасета QuALITY есть резкий пик в районе полной длины документа, потому что вопросы обычно задаются после всего текста. У System Prompts (датасет, собственно, системных промптов) масса сосредоточена ближе к короткому общему началу, потому что пользовательские запросы быстро расходятся; а у NarrativeQA, наоборот, мультимодальное широкое распределение.

В таком случае равномерное размещение неоптимально: лучше “сгущать” чекпойнты там, где у распределения большая масса. Для этой версии задачи мы выписываем точное решение динамическим программированием. Но я всё-таки распишу это подробно, потому что здесь есть пара важных особенностей.

Пусть — это минимальная ожидаемая стоимость обслуживания глубин при бюджете чекпойнтов. Если последний чекпойнт стоит в позиции , то стоимость распадается на две части: оптимальное обслуживание глубин с чекпойнтами (это ) и стоимость пересчёта от чекпойнта до конца, . Минимизируем по выбору и получаем стандартную рекуррентность:

   

В лоб это заняло бы : каждый из элементов таблицы требует перебора кандидатов . Но дальше можно посмотреть на структуру задачи внимательнее.

Введём префиксные суммы и . Тогда , и наша рекуррентность переписывается в виде

   

То есть для фиксированного каждый кандидат соответствует прямой , а вычисление сводится к нахождению её нижней огибающей в точке . Здесь работает классический “трюк с выпуклой оболочкой” (convex hull trick): коэффициенты –s монотонно убывают по s, а точки монотонно растут по , ведь . Это значит, что нижнюю огибающую можно строить инкрементально, а указатель ответа в ней движется только вперёд: каждый слой DP считается за амортизированное время , и всё решение требует только .

Вычисление расстановки достаточно делать оффлайн и пересчитывать только при существенном обновлении эмпирической гистограммы, так что в рамках собственно inference такой алгоритм не добавляет никакого оверхеда.

Вот неравномерный пример (смесь двух гауссианов) и две стратегии размещения шести чекпойнтов, равномерная (оранжевые маркеры) и оптимальная (синие):

Как видите, оптимальная расстановка кучкуется вокруг двух пиков распределения, оставляя долину между ними, где , без покрытия, и ожидаемые затраты падают с 14.2 до 8.6 (на 39%) при том же бюджете чекпойнтов.

Вот для полноты картины развёрнутый пример с тремя распределениями; тут видно, как DP ставит чекпойнты именно там, где сосредоточена масса:

Этот рисунок показывает и логичную закономерность: чем менее равномерным будет распределение и чем меньше бюджет, тем сильнее выигрыш DP над равномерной расстановкой. Это интуитивно понятно: при большом бюджете и равномерная стратегия в какой-то момент покроет все важные регионы, а при сильно неравномерном распределении любой впустую потраченный чекпойнт особенно дорог. Эта закономерность будет хорошо видна и в основных экспериментах ниже.

Случай 3: оцениваем распределение по истории

На практике мы не знаем истинного распределения, а оцениваем его по эмпирической гистограмме совпадений предыдущих запросов. Здесь хочется убедиться, что замена истинного распределения на эмпирическое не ломает оптимальность.

Это даёт нам доказанная Михаилом лемма об устойчивости: значение функции липшицево по в норме полной вариации, то есть

   

Доказательство короткое и изящное: разность ожиданий — это , и поскольку , по неравенству треугольника получаем нужную оценку. Лемма выглядит почти тривиально, но именно она позволяет нам получить всё остальное: из неё следуют два важных утверждения.

Подстановочная гарантия (plug-in guarantee). Пусть — эмпирическая гистограмма после независимых наблюдений из истинного распределения , и — оптимальная расстановка, посчитанная по нашим динамическим программированием. Тогда с вероятностью не меньше выполняется

   

Доказательство тоже короткое: математическое ожидание полной вариации ограничивается через неравенства Коши и Йенсена (), а концентрация вокруг ожидания получается из неравенства Макдиармида, поскольку добавление одного наблюдения меняет полную вариацию не больше чем на .

Подставляя эту оценку в лемму об устойчивости, получаем

   

где — оптимальная стоимость при истинном распределении. То есть отклонение от оптимума убывает как .

Следование за дрейфом распределения. В реальных системах распределение глубин совпадения меняется со временем: меняются сценарии использования, растёт типичная длина контекстов, кеш насыщается и т.п. Для борьбы с этим мы используем классический приём — экспоненциально взвешенную гистограмму с весами :

   

Здесь — индикатор того, что наблюдалось ровно совпадение глубины . Для такой оценки получается естественное разложение типа bias-variance:

   

При больших разброс выходит на асимптоту , а смещение при ограниченном дрейфе не превосходит . Выбор балансирует эти два слагаемых: большие дают меньший разброс, но хуже отслеживают дрейф. В наших экспериментах мы используем , и эмпирически результаты слабо чувствительны к точному значению в окрестности этого выбора.

Получается, что теоретически всё вообще замечательно: оптимальное оффлайн-решение по точному распределению устойчиво и к ошибкам оценивания (через лемму об устойчивости + концентрацию эмпирической гистограммы), и к смещению распределения со временем (через bias-variance для экспоненциально взвешенной оценки).

Экспериментальные результаты

Чтобы это проверить, мы взяли три датасета с естественной структурой длинного общего префикса.

1. QuALITY — длинные документы, по каждому из которых задаётся серия вопросов.
2. NarrativeQA — то же самое, но с ещё более длинными документами (целые книги).
3. System Prompts — реальные системные промпты от больших провайдеров LLM, к которым приклеены реальные пользовательские запросы из ShareGPT.

Сравнивали несколько стратегий расстановки чекпойнтов: сбалансированное размещение, блочное (каждые токенов), -размещение, логарифмическое (экспоненциально растущие промежутки) и наше DP-optimal по экспоненциально взвешенной эмпирической гистограмме.

Все методы использовались с фиксированной last-K политикой кеширования записей, чтобы изолировать именно эффект расстановки чекпойнтов внутри отдельной записи (здесь есть ещё отдельная смежная задача про политики admission/eviction в стиле метода Marconi, мы её не трогаем, а просто фиксируем).

Как выглядят реальные распределения

Прежде чем смотреть на расстановки, полезно посмотреть, как реально выглядит распределение глубин совпадения на наших датасетах:

Видно, что распределения совсем не равномерные и сильно отличаются друг от друга: у QuALITY резкий пик в районе полной длины документа (медиана 6683 токенов, и почти вся масса сосредоточена около этого пика), у NarrativeQA — широкое многомодальное распределение (медиана около 57k), а у System Prompts масса сидит ближе к началу префикса (медиана 3274). Это ровно тот случай, ради которого затевалась вся теория из случая 2: нет одной фиксированной формы, распределения неравномерные, и наивное равномерное размещение будет сильно проигрывать.

Экономия токенов на длинных последовательностях

NarrativeQA даёт самые длинные тексты — настолько, что наш прототип реализации на доступном железе с ними не справлялся. Зато для этого датасета можно симулировать пересчёт без реального запуска модели и измерить фактор сокращения (recurrent-work reduction factor), то есть во сколько раз пересчёт уменьшается по сравнению со стратегией без кеширования.

DP-optimal стабильно побеждает все остальные рассмотренные стратегии на всём диапазоне бюджетов. Причём преимущество максимально заметно при малых бюджетах чекпойнтов, где распределение наименее равномерное, и постепенно сужается по мере роста бюджета — так и должно быть, ведь при большом бюджете все методы покрывают почти весь префикс и сходятся к одинаковому результату.

Реальные измерения времени (wall-clock)

На QuALITY и System Prompts последовательности короче, и можно измерить настоящее время прогона на железе. Wall-clock мы измеряли на репрезентативной группе слоёв (1 attention + 3 GatedDeltaNet) у Qwen-3.5-0.8B, что, конечно, не вполне полноценный production-бенчмарк, но уж что смогли:

На Парето-фронтире DP-optimal либо доминирует над всеми базовыми стратегиями, либо совпадает с лучшим baseline (как правило, это блочное кеширование) но имеет заметно меньшее числом чекпойнтов. На System Prompts, где распределение особенно концентрированное у начала, DP даёт самые большие выигрыши при малых бюджетах — ровно как и предсказывает наш анализ. На QuALITY разрыв меньше, потому что распределение почти точечное около полной длины документа: там и расставлять-то особо нечего, все стратегии быстро упираются в один и тот же пик.

Дополнительно мы проверили, что время инференса действительно почти линейно зависит от числа реально пересчитываемых токенов, с небольшой константой на перенос состояния с CPU на GPU.

Это означает, что фактор сокращения, который мы измеряли на NarrativeQA, действительно превращается в реальную экономию времени.

Как выглядят расстановки на реальных данных

Наконец, любопытно просто посмотреть, как именно DP расставляет чекпойнты на реальных диалогах.

На QuALITY DP-optimal располагает чекпойнты неравномерно, концентрируя их ближе к местам, где у конкретных запросов происходило совпадение в предыдущих раундах:

На System Prompts расстановка ещё более показательная: чекпойнты группируются у короткого начала, где сидит вся масса, а длинный хвост остаётся без покрытия — потому что туда почти никто не доходит.

Выводы и что дальше

Главное ограничение такого подхода — он имеет смысл, когда запросы делят длинный, но не полностью совпадающий префикс внутри одной закешированной записи. То есть это сценарии вроде “много вопросов по одному документу”, “общий длинный системный промпт + разные пользовательские запросы”, ну или RAG.

А вот для классического чата, где каждый следующий запрос содержит предыдущий целиком как подстроку (то есть мы просто наращиваем историю), достаточно хранить одно последнее состояние — никаких сложных расстановок не нужно. Впрочем, и в этом сценарии наш метод не вредит, оптимальное решение естественным образом схлопнется к концу.

Что ещё важно, в отличие от методов сжатия KV-кеша, при всём этом мы не меняем сами вычисления модели — выход абсолютно идентичен честному префиллу. Соответственно, наш метод хорошо комбинируется со всеми существующими подходами к сжатию KV-кеша для attention-слоёв.

Каковы следующие шаги? Их много! И все надо будет попробовать.

• Полноценная интеграция в production-рантайм. Сейчас наши эксперименты — это прототип; для серьёзных бенчмарков нужно реализовать эффективный API для извлечения и восстановления состояния в Flash Linear Attention или похожих библиотеках. Низкоуровневые ядра (kernels) уже возвращают рекуррентные состояния на нужных позициях, дело за обёрткой.
• Совмещение с политиками admission/eviction в стиле Marconi: они решают, какие закешированные префиксы держать в кеше, а мы — где внутри них ставить чекпойнты. Эти две задачи, по идее, должны естественно дополнять друг друга, но мы пока не понимаем как именно.
• Обобщение теории на префиксные деревья с ветвлением, а не на одиночный префикс. Для типичных топологий (звезда: один документ, много вопросов; гребёнка: длинный prompt, разные хвосты) задача распадается на независимые однопрефиксные подзадачи, но в общем случае это уже более сложная комбинаторика.

В общем, интересная наука, и я категорически желаю Михаилу дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.

Сергей Николенко

P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!