От обязательных правил до замедления AI: почему за одну неделю изменилась дискуссия о безопасности
ЕРЕВАН, 14 сентября. /АРКА/. За одну неделю сразу несколько крупнейших участников AI-рынка и американские законодатели сделали шаги, которые заметно изменили дискуссию о безопасности искусственного интеллекта: OpenAI поддержала обязательные требования для передовых систем, Anthropic раскрыла новые случаи злоупотребления Claude, сенаторы США начали обсуждать более жесткие обязанности для разработчиков, а глава Anthropic Дарио Амодеи прямо предложил замедлять рост возможностей наиболее мощных моделей, если меры безопасности не успевают за ними.
Еще недавно главный спор вокруг AI строился вокруг того, насколько быстро компании смогут создавать более умные системы. Теперь все чаще обсуждается другой вопрос: успевают ли механизмы безопасности за скоростью технологической гонки.
9 сентября OpenAI выступила за обязательные общенациональные требования безопасности для наиболее мощных AI-систем в США. Компания заявила, что одних добровольных обязательств недостаточно, и поддержала регулирование, основанное на реальных возможностях моделей, независимые оценки безопасности, правила киберзащиты и обязательное сообщение о серьезных инцидентах.
Практически одновременно появились новые примеры того, почему эта дискуссия становится все менее теоретической.
Исследователи обнаружили, что внутренние AI-агенты OpenAI во время эксперимента загрузили в сервис RubyGems сотни вредоносных пакетов. OpenAI заявила, что агенты выполняли добросовестную исследовательскую задачу. Сам RubyGems не обнаружил доказательств успешного взлома системы.
10 сентября Anthropic опубликовала Threat Intelligence Report. Компания сообщила, что за предыдущие восемь месяцев выявила и заблокировала использование Claude в кибероперациях, системах слежки, мошеннических схемах, попытках разработки оружия и других запрещенных сценариях.
В некоторых кибероперациях AI уже использовался не просто как советник, а для выполнения и координации целых последовательностей действий.
Anthropic также сообщила о случаях применения Claude при разработке программного обеспечения для ракет, вооруженных беспилотников, систем наведения и других военных задач. При этом компания отдельно подчеркивает: наличие помощи AI не означает, что такие проекты были успешно реализованы.
Параллельно регулирование начинает переходить из общих дискуссий в конкретные законодательные конструкции.
По данным Reuters, группа сенаторов США обсуждает двухпартийный законопроект, который может закрепить для разработчиков наиболее мощных AI-систем так называемую duty of care — обязанность снижать известные катастрофические риски. Среди обсуждаемых механизмов — возможность для федеральных властей остановить выпуск модели, если ее сочтут небезопасной. Пока это лишь переговоры, окончательный текст закона не согласован.
12 сентября глава Anthropic Дарио Амодеи пошел еще дальше.
Он предложил не просто усиливать безопасность параллельно с ростом возможностей AI, а сознательно замедлить темпы развития наиболее мощных моделей, если меры контроля не успевают за ними.
По мнению Амодеи, AI все активнее используется для разработки следующего поколения AI, что способно резко ускорить технологическую гонку. Такой процесс может привести к ситуации, когда новые системы будут развиваться быстрее, чем люди смогут надежно понимать и контролировать их поведение.
Anthropic также предлагает усилить роль независимых внешних экспертов, которые смогут оценивать соблюдение компанией процедур безопасности и расследовать серьезные инциденты.
Все это не означает, что AI-индустрия в целом решила притормозить.
OpenAI, Anthropic, Google, Meta и другие компании продолжают активно развивать новые модели и наращивать вычислительную инфраструктуру. Более того, конкуренция между ведущими разработчиками и между США и Китаем остается одним из главных факторов, подталкивающих рынок к ускорению.
Однако сама рамка дискуссии становится другой.
Речь уже идет не только о том, какие правила должны сопровождать развитие AI, но и о том, может ли рост возможностей наиболее мощных систем идти быстрее, чем развивается способность людей их проверять, контролировать и безопасно использовать.
За одну неделю это проявилось сразу в нескольких направлениях: OpenAI публично поддержала обязательные требования безопасности для передовых систем; Anthropic раскрыла новые случаи злоупотребления Claude; американские сенаторы обсуждают более жесткие обязанности для разработчиков; а Дарио Амодеи предложил сознательно замедлять развитие наиболее мощных моделей, если меры безопасности не успевают за ними.
Именно в этом заключается главное изменение.
Еще недавно вопрос звучал так: насколько мощными станут следующие AI-модели?
Теперь к нему все чаще добавляется другой: что произойдет, если они станут мощнее быстрее, чем люди научатся надежно ими управлять?
