В октябре 2025-го у Дарио Амодеи вышел текст “Machines of Loving Grace“. Название “Машины любви и благодати”, кстати, взято из очень крутого стихотворения Ричарда Бротигана, написанного ещё в шестидесятые. Читается как вчера написано:
В том эссе речь шла о позитивной стороне развития AI. И вот сейчас основатель Anthropic, который в своё время отделился от OpenAI ради того, чтобы больше внимания уделять AI safety, написал и о том, что AI может оказаться опасным:
Очень рекомендую сначала прочитать само эссе, иначе может быть не очень понятно, о чём я тут говорю. Но постараюсь сделать этот обзор self-contained.
AI Safety и роль Anthropic
О самом AI safety как области исследований сейчас не буду. Здесь Амодеи заслуженно горд достижениями Anthropic; эту область действительно в основном Anthropic и двигает в последнее время.
…there is now ample evidence, collected over the last few years, that AI systems are unpredictable and difficult to control— we’ve seen behaviors as varied as obsessions, sycophancy, laziness, deception, blackmail, scheming, “cheating” by hacking software environments, and much more.
Это буквально неплохой план для одной из следующих частей моего обзора 2025 года (первая часть, вторая часть). А пока могу порекомендовать свои предыдущие обзоры AI safety, в которых основные понятия тоже вводятся и иллюстрируются во многом из работ Anthropic:
- AI Safety I: Concepts and Definitions
- AI Safety II: Goodharting and Reward Hacking
- AI Safety III: Interpretability
- AI Safety IV: Sparks of Misalignment
Правы ли AI-думеры?
Амодеи проходится по классическим “думерским” аргументам вроде instrumental convergence (эти аргументы я тоже когда-то излагал в блоге, в посте “AGI Dangers and Perspectives“): для любой цели полезно получить как можно больше возможностей, то есть ресурсов и власти.
Он пишет:
The problem with this pessimistic position is that it mistakes a vague conceptual argument about high-level incentives—one that masks many hidden assumptions—for definitive proof. I think people who don’t build AI systems every day are wildly miscalibrated on how easy it is for clean-sounding stories to end up being wrong, and how difficult it is to predict AI behavior from first principles.
Могу только согласиться: конечно, все эти рассуждения — не математические теоремы. Но от этого в самом аргументе ничего не меняется. Да, лучше, конечно, говорить не “ASI с вероятностью 99.9% уничтожит человечество”, как самые отъявленные думеры, а “ASI с заметной вероятностью, более 10%, уничтожит человечество”.
Но следствия из этого “более мягкого” утверждения будут всё равно ровно те же самые: этого никак нельзя допустить, и если мы не знаем как этого избежать, значит, не надо строить ASI. Особенно учитывая, что вряд ли возможен “ровно один ASI”, если будет один, будет и много разных.
Дарио так и пишет дальше:
…we don’t need to claim it definitely will happen, we just need to note that the combination of intelligence, agency, coherence, and poor controllability is both plausible and a recipe for existential danger.
Но если вы хотите от 10% перейти к 0.001%, т.е. к рискам, на которые можно и пойти, тут уже burden of proof будет на вас, и этот burden вы не вынесете. А на какую долю риска лично вы были бы согласны в таком мысленном эксперименте (создание дружественного AGI vs. уничтожение человечества)?
Интересные примеры
Дальше Дарио описывает некоторые из экспериментов Anthropic, показывая всякие плохие и просто интересные эффекты, а также о прогрессе в интерпретируемости. Об этом я уже писал в обзорах AI safety (ссылки выше), а о новостях последнего года подробнее напишу потом. Очень интересная тема!
Буквально один пример для затравки: “I must be a bad person“. Когда Claude сказали не жульничать в тренировочной среде, но жульничество было возможно, модель всё равно жульничала, а потом решила, что раз она жульничает несмотря на запрет, значит, она “плохая” — и начала вести себя ещё хуже.
Несколько контринтуитивное решение оказалось в том, чтобы сказать модели: “Пожалуйста, жульничай, это поможет нам понять среду”; тогда модель жульничает, но всё ещё считает себя “хорошей”. Написал это и подумал, что такое описание звучит чертовски по-человечески…
Риски от плохих людей
Переходя к возможным рискам, Амодеи пишет о том, что “a superintelligent genius in your pocket” будет доступен не только хорошим людям, но и плохим. Я тоже всегда свои рассказы об экзистенциальных рисках AI с этого начинаю: это как раз очень легко представить и осознать.
В этом разделе для меня самым интересным примером была история с mirror life. Я об этом раньше не слышал, а история богатая: оказывается, известные биологи предупреждают о том, что если мы сделаем живые организмы на молекулах с противоположной хиральностью, то мало нам (обычным живым организмам) не покажется. Молекулы, “закрученные” в другую сторону, не смогут взаимодействовать с обычными, а только друг с другом, и получится как бы параллельная жизнь, которая может оказаться весьма опасной для жизни уже существующей, ведь, например, наша иммунная система с зеркальными бактериями справиться не сможет (картинка отсюда).
Не буду спекулировать, тут я вообще не специалист, но эта история, конечно, кажется куда сложнее и менее вероятной, чем просто разработать новый COVID полетальнее и повиральнее.
Смысл в любом случае в том, что если у плохого человека будут под рукой очень умные помощники, его возможности существенно расширятся. Возможности защиты тоже, но атаковать всегда проще: сравните задачи “сделать и выпустить новый вирус” и “уничтожить вирус, который уже распространился”. Аналогично и на государственном уровне: если у одной страны есть ASI, а у другой нет, то исход конфликта предрешён.
Здесь Дарио пишет большой кусок об опасности AI empowerment со стороны государств, в частности о том, что нельзя позволить Китаю выиграть AI-гонку. Это отдельный разговор, и я не буду сейчас в него углубляться. Хотя разговор, конечно, интересный; не думаю, что здесь у кого-то, даже Дарио Амодеи, есть однозначно правильные ответы.
Добавлю ещё один источник, который на меня произвёл большое впечатление: книга “Nine Lives“, которую я, конечно же, не читал, а читал подробный обзор на Astralcodexten. Смысл, если кратко, в том, что у настоящих террористических организаций не так уж плохо с деньгами, доступом к ресурсам и т.п. Главное, чего им не хватает, — мозгов. То есть умных людей, потому что умных людей трудно привлечь к работе в террористических организациях. То есть кого-нибудь умного, не обязательно именно человека…
И Дарио напоминает, что замеры uplift, то есть того, насколько LLM помогают людям разрабатывать те или иные вещи, показывают такой же устойчивый рост, как и у всех остальных возможностей AI-моделей. Уже сегодняшние, то есть, простите, вчерашние LLM могут очень сильно помочь:
As of mid-2025, our measurements show that LLMs may already be providing substantial uplift in several relevant areas, perhaps doubling or tripling the likelihood of success.
Что же делать? Дарио Амодеи ратует за подход Anthropic, известный как Constitutional AI: давайте сформулируем для AI основные принципы — более сложные и глубокие, чем законы роботехники Азимова, но тоже на обычном естественном языке. А потом будем стараться обучить AI следовать этим принципам (своей “конституции”) по духу, а не по букве.
Был бы рад, если бы это сработало, честное слово. И действительно есть некоторые основания думать, что может сработать; об одном таком основании я вам, наверное, скоро расскажу, а о других поговорим в обзоре AI safety в 2025-м. Но тоже, конечно, это не то чтобы теорема, которую можно доказать.
Промышленная революция AI-моделей
После экзистенциальных рисков Амодеи переходит к рискам для рынков труда. Сначала он описывает классическую промышленную революцию: до 1800-х половина людей были заняты в сельском хозяйстве. Потом появляются машины, продуктивность людей растёт, растёт их доход, но от этого число рабочих мест не сокращается, а то и увеличивается (парадокс Джевонса). И только ещё лет через сто-двести мы приходим к ситуации, когда машины в сельском хозяйстве делают почти всё, и доля занятости там сильно сокращается.
А потом Дарио объясняет, почему с AI вряд ли получится так же. Основные причины таковы.
- Скорость: прогресс в AI занимает не поколения, а считанные годы.
- Широта возможностей: если LLM научились выполнять всю работу начального уровня в финансах, они и в консалтинге смогут делать то же самое, и в юриспруденции. А это значит, что люди не смогут из одной отрасли перейти в другую, в которой нужны такие же скиллы. AI (даже ещё не AGI и не ASI) замещает не конкретный процесс, как веялка, а целый пласт когнитивно схожей деятельности.
- Стратификация по когнитивным способностям. Тут Дарио пишет о том, что тяжело будет людям не слишком умным:
AI is affecting people with certain intrinsic cognitive properties, namely lower intellectual ability (which is harder to change). It is not clear where these people will go or what they will do, and I am concerned that they could form an unemployed or very-low-wage “underclass.”
Вот тут я как раз не согласен с посылом — мне кажется, пункты 1 и 2 в этом же списке показывают, что никто ни от чего не застрахован, и не надо свысока смотреть на “работы для не очень умных”, которые мы типа заменим, а я-то умный, я всегда нужен буду. Скорее всего, реальная картина будет как в этом меме:
- Адаптивность: когда люди придумывают новый агрегат, обычно находится какая-то работа вокруг него — хотя бы загружать в агрегат материалы. Но прогресс в AI более адаптивен, и пробелы заполняются быстро. Люди долго шутили про AI-картинки с шестью пальцами, которыми, конечно, никаких художников не заменишь. Очень долго шутили, целый год, наверное…
К этому разделу мне особенно нечего добавить, я не экономист, но полностью согласен. Честно говоря, рассуждения некоторых настоящих экономистов, которые предсказывают, что AGI добавит нам один-два процента роста ВВП в год, а так всё будет как обычно, кажутся мне абсурдными. Амодеи ссылается на серию эссе “The Intelligence Curse“; выглядит очень интересно, но я ещё не вчитался.
И ничего с этим особо не поделаешь даже в самых оптимистичных сценариях. Дарио тут не пытается ничего sugarcoat, а так прямо и пишет:
Ultimately, I think of all of the above interventions as ways to buy time. In the end AI will be able to do everything, and we need to grapple with that.
Лавкрафт был оптимистом
Последний раздел эссе называется “Black seas of infinity”, он посвящён unknown unknowns. Амодеи упоминает прогресс в биологии, который неизвестно куда приведёт, непредсказуемые изменения в жизни людей из-за взаимодействия с AI (те же психозы, о которых я недавно говорил), и потере смысла жизни. Здесь, конечно, можно было бы ещё подожимать и попридумывать разные интересные сценарии, но бог с ним, пора закругляться (полагаю, и Дарио так подумал).
Название раздела взято из “Call of Cthulhu” Лавкрафта, и если Дарио Амодеи может предполагать, что читатели поняли контекст, то для русскоязычной аудитории лучше привести цитату целиком. Давайте на ней и закончим, это хорошая точка:
We live on a placid island of ignorance in the midst of black seas of infinity, and it was not meant that we should voyage far. The sciences, each straining in its own direction, have hitherto harmed us little; but some day the piecing together of dissociated knowledge will open up such terrifying vistas of reality, and of our frightful position therein, that we shall either go mad from the revelation or flee from the light into the peace and safety of a new dark age.
В переводе Светланы Лихачёвой:
Мы живем на безмятежном островке неведения посреди черных морей бесконечности, и дальние плавания нам заказаны. Науки, трудясь каждая в своем направлении, до сих пор особого вреда нам не причиняли. Но в один прекрасный день разобщенные познания будут сведены воедино, и перед нами откроются такие ужасающие горизонты реальности, равно как и наше собственное страшное положение, что мы либо сойдем с ума от этого откровения, либо бежим от смертоносного света в мир и покой нового темного средневековья.
Давно уже показываю этот слайд в докладах по AI safety. Правда, за ним обычно идёт более позитивная часть. Но что будет на самом деле, бог знает.
Сергей Николенко
P.S. Прокомментировать и обсудить пост можно в канале «Sineкура»: присоединяйтесь!
Leave a Reply