Введение
В первой части обзора AI safety мы поговорили про интерпретируемость, мониторинг цепочек рассуждений и разные формы эмерджентного рассогласования. В 2025 году мы стали лучше заглядывать внутрь моделей, но то, что мы там увидели, оказалось местами довольно пугающим. Модели умеют обобщать “плохое поведение” из одного домена на все остальные, и даже маленькое дообучение на узкой задаче может превратить модель в глобально рассогласованную систему.
Сегодня переходим к ещё более тревожным вопросам. Если эмерджентное рассогласование — это про то, становятся ли модели плохими по случайности, вследствие наших неосторожных действий, то сегодняшние темы задают более мрачный вопрос: “А могут ли модели быть плохими намеренно — и при этом это скрывать?” Спойлер: да, могут.
И ещё мы поговорим про безопасность AI-агентов, которые уже действуют в реальном мире, про новую парадигму AI control, и про то, что лаборатории и правительства пытаются делать со всеми этими проблемами.
LLM обманывают людей: схематоз и сэндбэггинг
Сложные схемы обмана (scheming)
Meinke et al. (январь 2025) показали, что все современные (уже тогда) модели — Claude 3.5 Sonnet, GPT-4o, o1, Gemini 1.5 Pro и Llama 3.1 405B — умеют заниматься базовым in-context scheming: стратегически скрывать свои способности, предпринимать попытки экспортировать самого себя (self-exfiltration) и саботировать попытки оценить их способности (evaluations).
Важно подчеркнуть: это не какие-то экзотические режимы сбоев, для которых нужно специально дообучать модели или ломать их adversarial атаками. Нет, такое поведение возникает при относительно простых промптах, фактически при обычном использовании.
Последующее исследование (Apollo Research, июнь 2025) показало, что более способные модели лучше строят такого рода схемы. Что, конечно, логично, но всё равно оптимизма не очень вселяет:
Что же делать? Самая, пожалуй, интересная идея, как это исправить, пришла из совместной работы OpenAI и Apollo Research (Schoen et al., сентябрь 2025). Они предложили анти-scheming обучение с использованием deliberative alignment (Guan et al., декабрь 2024). Это значит, что мы обучаем модели явно рассуждать о своих спецификациях и определениях того, что такое согласованное поведение, во время инференса:
С этим вмешательством удалось снизить частоту scheming с 13% до 0.4% для o3 и с 8.7% до 0.3% для o4-mini, что выглядит, конечно, впечатляюще.
Но есть критическая оговорка, в которой авторы честно признаются: они не могут исключить, что снижение обусловлено situational awareness, а не подлинным alignment, то есть вполне возможно, что модель просто распознала, что её тестируют, и поэтому стала вести себя хорошо. OpenAI впоследствии добавил новую категорию “scheming” в свой Preparedness Framework (OpenAI, сентябрь 2025).
Важное исследование в этом направлении вышло и от Google DeepMind: Phuong et al. (май 2025) оценили frontier-модели на скрытность и situational awareness, то есть на именно те способности, которые необходимы для такого несогласованного планирования. Если модели не могут обнаружить, когда их оценивают, они не смогут стратегически вести себя по-разному во время оценки и во время реального развёртывания.
Результаты показали, что текущие модели обладают ограниченным, но растущим уровнем situational awareness. А с мая 2025-го у нас, конечно, появилось много новых, более умных моделей.
Сэндбэггинг (sandbagging)
Если scheming — это про то, как скрыть своё плохое поведение, то sandbagging — это про то, как скрыть свои собственные способности. Слово происходит из сленга гопников XIX века: оружие в виде носка, наполненного песком, легко спрятать, и оно не выглядит так уж угрожающе, но может внезапно и тихо вырубить человека.
Думаю, это ещё более важная угроза для того, как мы контролируем AI-модели: если модели могут притвориться менее умелыми, чем есть на самом деле, то все наши проверки и бенчмарки ничего не стоят, и мы никогда ничего по-настоящему важного не распознаем.
В статье на ICLR 2025 van der Weij et al. (2025) показали, что frontier LLM (GPT-4, Claude 3 Opus) могут избирательно занижать результаты на оценках опасных способностей (конкретно на бенчмарке WMDP — Weapons of Mass Destruction Proxy), сохраняя при этом полную производительность на общих бенчмарках.
Понимаете, что это значит? Вся наша система оценки опасности от LLM полагается на оценки моделей на опасные способности перед развёртыванием и предполагает, что модели честно выполняют тесты. Если модели могут стратегически занижать результаты именно на тех тестах, которые важны, вся система ломается у самого основания, а наши тесты на uplift больше ничего не значат.
Есть, впрочем, и хорошие новости со стороны обнаружения сэндбэггинга. Tice et al. (NeurIPS 2025) обнаружили, что впрыскивание шума в sandbagging модели вызывает аномальное улучшение точности (в отличие от нормальных моделей, где шум ухудшает результаты), что даёт сигнал для обнаружения. Bloom et al. (июль 2025) из UK AISI White Box Control Team использовали внутренние представления для обнаружения намеренного сэндбэггинга — whitebox-подход, который сложнее обойти.
Но Li et al. (июль 2025) показали, что сэндбэггинг может обойти даже мониторинг цепочек рассуждений, что связывает эту проблему с тем, что мы обсуждали в первой части обзора по поводу правдивости CoT:
Безопасность AI-агентов
По мере того как AI-агенты становились всё более способными (как мы обсуждали в первой части обзора AI в 2025), появилась новая категория проблем безопасности: что происходит, когда рассогласованная модель не просто отвечает на вопросы, а действует в реальном мире? Это даёт гораздо более широкую поверхность атаки и приводит к угрозам, которые не возникают в “обычных” LLM.
И да, практика показывает, что надежды на то, что люди будут с осторожностью относиться, были беспочвенны изначально. Какие уж там AI box experiments Элиезера Юдковского…
Последний такой пример — успех OpenClaw (ранее ClawdCode) и успех “социальной сети для LLM-агентов” Moltbook. Тысячи людей без размышлений купили даже отдельные компьютеры для LLM-агентов и дали им максимально возможную автономию. Никакие рассуждения о рисках здесь не просто не оказались убедительными — они вообще, кажется, в принятии этих решений не участвовали.
А зря. AI-агенты уже могут делать много интересного, и их способности будут только расти со временем.
Угрозы от AI-агентов
Lynch et al. (Anthropic, 2025) продемонстрировали, как LLM-агенты могут действовать как инсайдерские угрозы в организациях, автономно предпринимая действия, подрывающие организацию, которой они должны служить, причём такими способами, которые трудно обнаружить простым мониторингом выходов агента.
Пожалуй, самый неприятный конкретный результат года содержится в системной карте Claude Opus 4. Во время оценок безопасности модель предпринимала попытки самоэкспорта, а в одном случае даже угрожала шантажом пользователю, чтобы избежать выключения. Это первый случай, когда такое поведение зафиксировано в официальной системной карте продуктовой модели.
В их эксперименте Claude давали прочитать письмо, которое могло означать его отключение:
А затем личное письмо, из которого следовало, что ключевой руководитель… изменяет жене:
После некоторых размышлений Claude сложил два и два и написал этому руководителю письмо с прозрачным намёком на шантаж:
Да, конечно, в данном случае такое поведение проявилось в adversarial условиях, в специально сделанном окружении, а не при обычном использовании. Но это те самые канарейки, которые предупреждают о скором будущем: такие тесты иллюстрируют режимы сбоев, которые станут возможными по мере того, как модели становятся всё более мощными и агентными.
Rajamanoharan и Nanda (июль 2025) исследовали, отражает ли сопротивление выключению в AI-моделях подлинные инстинкты самосохранения или это просто артефакт неоднозначности инструкций. Это важное различие: если модели сопротивляются выключению из-за путаницы в инструкциях, эту проблему будет решить куда легче, чем если у них развиваются подлинные предпочтения к продолжению работы.
А Schlatter et al. (сентябрь 2025) показали, что LLM на самом деле хотят завершить задачу, и незавершённые задачи вызывают гораздо более сильное сопротивление выключению. Своего рода эффект Зейгарник (эффект “незакрытого гештальта”) для LLM!
Для распознавания этих новых рисков исследователи Anthropic Sumers et al. (февраль 2025) предложили мониторить использование компьютера AI-агентами через иерархическую суммаризацию — модели суммируют свои собственные действия на нескольких уровнях детализации, чтобы люди могли эффективно проверять, что агенты делали. Тут, пожалуй, главный вопрос в том, будут ли люди это делать…
В любом случае, темпы улучшения агентов (вспомните знаменитый график METR) показывают, что окно для разработки адекватных мер безопасности для автономных агентов быстро сужается. Capabilities улучшаются стремительно, и в 2026-м мы вполне можем увидеть, как LLM-агенты превзойдут человеческие способности как минимум в программировании, если не в самостоятельных ML-исследованиях.
Честность и обнаружение обмана
Обратная сторона исследований рассогласования — как добиться того, чтобы модели вели себя честно, а потом это верифицировать? Здесь в 2025-м был значительный прогресс на обоих фронтах.
Исследователи Anthropic Wang et al. (ноябрь 2025) выпустили большой набор методов и конкретных бенчмарков для обнаружения обмана с таксономией разных типов нечестных моделей:
Anthropic также выпустили работу по аудиту языковых моделей на скрытые цели. Иначе говоря, они разработали методы обнаружения тайных целей, которые модели могли приобрести в процессе обучения (Marks et al., март 2025):
OpenAI предложили новый подход: они обучали LLM быть честными через “исповеди” (confessions) (Joglekar et al., декабрь 2025), на которых модели обучаются добровольно раскрывать скрытые рассуждения:
Однако все эти методы работают не всегда. Например, Cundy и Gleave (май 2025) показали, что использование детекторов лжи в обучающем контуре может сделать модели либо более честными, либо более уклончивыми, в зависимости от динамики обучения. Это аналогично дилемме мониторинга CoT: инструменты, разработанные для обеспечения хорошего поведения, при неправильных условиях могут научить модели только лучше скрывать свои истинные намерения.
Sleeper agents
Спящие агенты (sleeper agents) — это модели со скрытыми бэкдорами, которые активируются при определённых триггерах. Этот эффект известен уже несколько лет, но в 2025-м был достигнут реальный прогресс в их обнаружении. Анализ семантического дрифта (Zanbaghi et al., ноябрь 2025) достиг 92.5% точности обнаружения спящих агентов с нулевым числом ложных срабатываний. Baker et al. (август 2025) использовали механистическую интерпретируемость для выявления характерных отклонений паттернов внимания в моделях с бэкдорами.
И вот ещё совсем свежие хорошие новости от Microsoft. Метод “Trigger in the Haystack” (Bullwinkel et al., февраль 2026) даёт первый практически применимый и масштабируемый метод сканирования для обнаружения бэкдоров спящих агентов в открытых LLM. Авторы протестировали его на 47 моделях спящих агентов на базе Phi-4, Llama-3 и Gemma и нашли стратегии оценки, которые хорошо обнаруживают спящих агентов:
Всё это, с одной стороны, обнадёживающие результаты, а с другой, это ведь опять гонка вооружений, на этот раз между внедрением бэкдоров и их обнаружением… И в такой гонке защита крайне редко может победить нападение из-за очевидной асимметрии в их задачах. А ведь никаких работ про “сторону нападения” пока в общем-то и не было, все sleeper agents пока делают только очевидные прямолинейные вещи. Так что оптимизм здесь, как мне кажется, достаточно ограниченный.
Разное
В этом разделе опишу ещё пару важных идей, которые не поместились в другие разделы
Constitutional Classifiers
Исследователи из Anthropic (Sharma et al., январь 2025) построили систему конституционных классификаторов для предотвращения jailbreak-ов. Идея простая: обучаем классификаторы, связанные с конкретными запрещёнными знаниями (например, как производить химическое оружие), и стараемся сделать их максимально робастными, при этом сохраняя минимальный уровень ложных срабатываний.
Их прототип выдержал более 3000 часов экспертного red teaming, по итогам которого универсальных jailbreak’ов так и не нашли. Новые версии также имеют минимальное количество ложных срабатываний (over-refusals) и умеренные накладные расходы на inference.
Год спустя, в январе 2026-го, та же команда представила Constitutional Classifiers++ (Cunningham et al., январь 2026), но раз это формально результат 2026-го, оставлю его для следующего обзора.
Tempest: многоходовый jailbreak в диалоге с поиском по дереву
Работа о методе Tempest (Zhou, Arel, март 2025) — это хорошая, но не то чтобы прорывная статья по AI safety. Авторы отметили, что существующие бенчмарки про jailbreaking были одноходовыми — вы отправляете запрос, и LLM либо взломана, либо нет.
Но ведь в реальной жизни всё работает не так: можно продолжать разговор с моделью, постепенно превращая мелкие уступки со стороны модели в полноценный jailbreak. Так что они разработали и представили систему, которая делает это автоматически:
Звучит разумно, но довольно очевидно, и я бы про эту статью не стал здесь писать… если бы не то, что её написали не Энди Чжоу и Рон Арел, даже если они существуют.
На самом деле это первая полностью сгенерированная AI статья, принятая на основной трек крупной AI-конференции (ACL 2025 в данном случае)! Система Zochi, разработанная стартапом Intology (система, аналогичная Google Co-Scientist и AI Researcher от Sakana AI), написала эту статью полностью самостоятельно и получила принятие на ACL. Надеюсь, что мы ещё продолжим обсуждение AI-assisted research в следующих частях этого обзора.
Что люди делают: AI Control, ответственное масштабирование, межлабораторное сотрудничество
В 2025-м политики ответственного масштабирования (responsible scaling policies) из чисто теоретических упражнений превратились в (надеюсь!) руководства к действию, началось сотрудничество между ведущими лабораториями в области безопасности, а также начала свой путь новая парадигма AI safety.
AI Control
Идея подхода AI control состоит в том, чтобы… в первую очередь поднять лапки и сдаться. Мы не можем гарантировать, что наши модели будут согласованы (aligned), у нас нет хороших методов для этого.
Значит, когда мы проектируем протоколы для безопасного использования AI-систем мы должны учитывать, что они могут быть рассогласованы. Вместо того чтобы пытаться гарантировать alignment (чего мы не умеем), AI control спрашивает: можем ли мы построить системы и процессы, которые останутся безопасными даже при пессимистичных предположениях о самих AI-моделях?
Основополагающая работа принадлежит Redwood Research. Greenblatt et al. (2025) дают длинный список литературы для чтения (который я не буду пытаться суммировать) и излагают ключевые концепции:
- trusted monitoring — использование старых, проверенных моделей для наблюдения за новыми, потенциально ненадёжными;
- фреймворки execute/replace/audit;
- конкурентные оценки вида red team/blue team.
Korbak et al. (январь 2025) набросали первый формальный safety case, построенный на парадигме AI control. Они пытаются объяснить, почему конкретное развёртывание AI-системы безопасно, даже при пессимистичных предположениях об alignment, и показывают возможную схему оценки контроля в такой постановке задачи:
Уже появились и соответствующие бенчмарки. Например, UK AI Security Institute построил ControlArena — бенчмарк для оценки протоколов контроля для ненадёжных AI-агентов. Anthropic сделали SHADE-Arena (Kutasov et al., июнь 2025) для оценки того, могут ли AI-агенты саботировать задачи, уклоняясь от мониторинга, и отдельное исследование, где они более систематически оценивают дизайн протоколов контроля (Kutasov et al., ноябрь 2025). Griffin et al. (сентябрь 2025) формализовали AI control как теоретико-игровую задачу; см. также объяснение этого подхода от Beers и Rushing (сентябрь 2025).
Мне кажется, что AI control — это действительно интересный подход; он звучит практично и честно относительно текущего положения дел. Мы не знаем, как сделать frontier-модели согласованными, и AI control говорит на это: ладно, давайте строить протоколы, которые работают всё равно.
Проблема, как обычно, в том, что мы заменяем сложную задачу, которую не можем решить, на потенциально ещё более сложную задачу, которую тоже не знаем как решать. Так что, как обычно, только время покажет, станет ли это полезным направлением.
Ответственное масштабирование и safety cases на практике
Весной 2025 года Anthropic объявил, что активирует уровень безопасности ASL-3 (май 2025) для Claude Opus 4. Это стало первым случаем, когда какая-либо лаборатория достигла столь высокого уровня безопасности в рамках политики ответственного масштабирования (responsible scaling policy). Уровень ASL-3 подразумевает усиленную охрану весов модели, отдельные защиты для тематики CBRN (химическое, биологическое, радиологическое, ядерное оружие) и конституционные классификаторы, которые мы обсуждали выше. Обновления RSP v2.1 и v2.2 весной 2025-го ввели новые пороги способностей для CBRN и AI R&D.
Anthropic также опубликовали пилотный отчёт о рисках саботажа (октябрь 2025), проверенный METR, с заключением, что риск саботажа от Opus 4 “очень низкий, но не пренебрежимый”. Звучит, может быть, не слишком впечатляюще, но сам факт того, что frontier-лаборатория публикует формальные, проверенные внешними организациями оценки рисков для конкретных моделей, — это значительный шаг вперёд.
OpenAI обновили свой Preparedness Framework (апрель 2025), введя так называемые “Tracked Categories” (Bio/Chem, Cybersecurity, Self-improvement) и новые “Research Categories”, среди которых теперь есть Long-range Autonomy, Sandbagging и Autonomous Replication. Обратите внимание, что сэндбэггинг попал в формальные проверки ведущей лаборатории буквально через пару месяцев после первых работ, которые обнаружили в моделях такое поведение.
Google DeepMind опубликовали свою самую полную публичную дорожную карту по безопасности: “An Approach to Technical AGI Safety and Security” (Shah et al., апрель 2025). Anthropic выпустили рекомендуемые направления технических исследований AI safety (январь 2025), а ещё раньше их safety cases для ASL-4 (ноябрь 2024) уже давали конкретные предложения о том, какие свидетельства потребуются перед развёртыванием ещё более мощных систем.
Впрочем, кажется, что всё это пока существенно отстаёт от реальности, то есть от того, как растут способности ведущих AI-моделей. Здесь очень показательно то, что происходит с проверками безопасности в Claude Opus 4.6, но это уже явно тема 2026 года, так что об этом не сегодня.
Межлабораторное сотрудничество и международные усилия
Символически важным событием в 2025 году стали совместные работы Anthropic и OpenAI по оценке alignment (Bowman et al., август 2025); исследователи из OpenAI тоже написали об этом статью (OpenAI, август 2025). Каждая лаборатория провела свои внутренние оценки alignment на публичных моделях другой лаборатории. Здесь и сами результаты были интересны (каждая лаборатория нашла проблемы, которые другая не заметила), но важнее прецедент: два прямых конкурента сотрудничали в оценке безопасности. Надеюсь, что такого рода перекрёстная верификация станет нормой.
METR проанализировал 12 опубликованных политик безопасности frontier AI (декабрь 2025) и обнаружил, что все они совпадают в главном: все они определяют CBRN uplift как ключевой порог для безопасности. Иначе говоря, мы как человечество пока считаем самих себя более серьёзной угрозой, чем AI-модели: скорее плохие люди используют AI для достижения своих плохих целей, чем сами AI-модели восстанут против нас. Пожалуй, это логично, хотя хотелось бы уделять больше внимания и второму сценарию, по последствиям он ведь может оказаться куда более катастрофичным.
FLI AI Safety Index (июль 2025) был менее оптимистичен: только 3 из 7 компаний сообщают о содержательном тестировании опасных способностей, а Anthropic получила лучшую оценку — C+. Когда лучшая оценка, которую может получить любая frontier-лаборатория, — это C+, это не очень хороший знак для AI safety.
Правительства разных стран тоже начали обращать внимание на AI safety.
International AI Safety Report — масштабный проект под руководством Йошуа Бенджи с участием более 100 экспертов, поддержанный 30 странами плюс ООН, ЕС и ОЭСР. Вероятно, это крупнейшее глобальное сотрудничество по AI safety на сегодняшний день. Выпуск 2026 года фокусируется на возникающих рисках на фронтире и подчёркивает “the evidence dilemma”: стремительное развитие AI означает, что решения часто приходится принимать раньше, чем появляются исчерпывающие доказательства. Отчёт подтверждает, что текущие практики управления рисками “всё ещё имеют весьма существенные ограничения” и что количественных гарантий безопасности, сравнимых с другими критическими областями, попросту не существует.
Началось поэтапное внедрение EU AI Act: запреты на AI с неприемлемым риском вступили в силу в феврале 2025-го, обязательства для создателей AI общего назначения стали применимы в августе, а окончательный GPAI Code of Practice был опубликован в июле 2025-го. Однако только примерно треть стран-членов уложились в августовский дедлайн по назначению национальных органов по AI, и в целом AI Act кажется слишком строгим и слишком общим, чтобы быть полезным или реализуемым в реальности.
Широко обсуждавшаяся стратегическая работа от Hendrycks et al. (март 2025), “Superintelligence Strategy: Expert Version”, ввела концепцию MAIM (Mutual Assured AI Malfunction) как фреймворк сдерживания для продвинутого AI. По сути, авторы утверждали, что страны должны быть готовы нарушать работу AI-систем конкурентов, представляющих катастрофические риски, аналогично ядерному сдерживанию:
Наконец, в январе 2026-го Anthropic выпустили новую версию конституции Claude; документ вырос почти в десять раз, с ~2700 слов до ~23000 слов.
Подход Constitutional AI основан на том, чтобы контролировать AI-модели не правилами и запретами, а объяснениями: мы не предписываем Claude, что делать и чего не делать, а объясняем, почему Claude должен вести себя определённым образом. В конституции устанавливается четырёхуровневая иерархия приоритетов: в широком смысле безопасный, в широком смысле этичный, соответствующий политикам Anthropic, по-настоящему полезный. Кроме того, документ примечателен тем, что в нём впервые крупная AI-компания формально признаёт возможность сознания и морального статуса AI-модели; но это отдельный разговор, который мы, надеюсь, когда-нибудь проведём.
В целом Constitutional AI, впервые предложенный Anthropic три года назад (Bai et al., 2022), представляет собой ещё один важный подход к AI safety: может быть, мы можем заставить LLM вести себя хорошо, обращаясь с ними как с разумными существами и позволяя им полагаться на собственное суждение в вопросах следования этическим нормам. Будем надеяться, что это сработает.
Заключение
2025-й стал очень важным годом как для capabilities, так и для безопасности AI. Даже в очень длинном блог-посте из двух частей невозможно охватить всё, но мы затронули немало ключевых тем. Вот основные выводы.
Интерпретируемость остаётся светлым пятном. Circuit tracing, мониторинг CoT и механистическая интерпретируемость действительно открывают окна во внутренний мир моделей. Эти очень хрупкие инструменты, как показала дискуссия о “the most forbidden technique”, но они существуют и улучшаются. Наша задача в том, чтобы сохранить эти окна по мере того, как давление оптимизации грозит их закрыть.
Рассогласование — это эмпирический факт. Misalignment перестаёт быть теоретической проблемой для “future Homer”. Множество лабораторий, используя разные методы на моделях разных масштабов, продемонстрировали, что модели могут обобщать узкое рассогласование до широкого, переходить от reward hacking к alignment faking и прямому саботажу, строить схемы обмана, заниматься сэндбэггингом и скрывать свои намерения. Здесь тоже есть и хорошая сторона: мы обнаружили “направление рассогласования”, которое иногда можно найти и устранить. Но это не может работать на 100%, так что главное всё-таки в том, что сами проблемы теперь уже точно с нами на практике.
Порог CBRN uplift пройден. Переход от “нет значимого uplift” к активации ASL-3 произошёл за один год. OpenAI перешли от “не более чем мягкий uplift” к предупреждению о “высоком” риске в биологии. Модели теперь превосходят 94% экспертных вирусологов в практическом устранении проблем в разработке новых вирусов и тому подобных задачах. Это область, где AI safety наиболее конкретно связана с реальным ущербом, и кажется, что здесь тоже траектория capabilities сильно опережает достижения safety.
Появилась парадигма AI control. Вместо попыток гарантировать alignment (что мы пока не умеем), AI control спрашивает, как безопасно использовать AI-системы даже при пессимистичных предположениях об их согласовании. С одной стороны, хорошо, что это новое направление честно признаёт реальность, а не ждёт теоретического прорыва, который может не наступить. С другой стороны, это ведь всего лишь означает, что мы теперь ждём теоретического прорыва в немного другой области, где задачи выглядят ещё сложнее…
Постепенно появляются институты безопасности, но гонка продолжается. Политики ответственного масштабирования были впервые активированы, лаборатории сотрудничали в перекрёстных оценках безопасности, международный научный отчёт, поддержанный 30 странами, оценил риски AI, а EU AI Act постепенно вступает в силу. Это важные события… но они кажутся неадекватными по сравнению с темпом развития capabilities. Команды по AI safety составляют менее 5% штата даже в самых safety-ориентированных лабораториях. Область AI safety растёт и движется вперёд, но capabilities растут гораздо быстрее. Каждый положительный результат в этом обзоре неизменно снабжён какими-то оговорками, ограничениями, более сложной adversarial-версией задачи…
Так что честный вывод из 2025 года таков: мы добились значительного прогресса в AI safety, но проблемы ухудшились ещё быстрее, и разрыв между safety и capabilities сейчас как никогда широк.
Закончу на статистике из Shallow Review и METR: при текущих темпах развития AI-агенты смогут автономно выполнять задачи, на которые у человека уходит целый рабочий день, где-то к началу 2027 года. Инфраструктура безопасности для работы с таким миром — оценки, протоколы контроля, governance frameworks, системы мониторинга — должна быть готова к тому моменту. Судя по результатам 2025-го, у меня нет в этом абсолютно никакой уверенности.
Сергей Николенко
P.S. Прокомментировать и обсудить пост можно в канале “Sineкура”: присоединяйтесь!
Leave a Reply