Насущная Необходимость Регулирования ИИ
В своем эссе «Политика в отношении экспоненциального развития ИИ» Амодей утверждает, что быстрые темпы развития ИИ требуют не просто прозрачности, а конкретных, принудительных стандартов безопасности. Он подчеркивает экспоненциальный рост возможностей ИИ, отмечая, как за четыре года модели ИИ прошли путь от едва способных написать связную строку кода до написания большей части кода в крупных ИИ-компаниях.
«ИИ развивается молниеносно — всего за четыре года модели ИИ прошли путь от едва способных написать связную строку кода до написания большей части кода в крупных ИИ-компаниях», — заявил Амодей.
Его предложение проводит параллели с нормативной базой Федерального управления гражданской авиации, предлагая аналогичный подход для передовых систем ИИ.
«Передовые модели ИИ, как и самолеты, должны проходить технические испытания и аудит, а их выпуск должен быть заблокирован или отменен как угроза общественной безопасности, если они не соответствуют высоким стандартам безопасности», — написал он.
Предлагаемая структура включает обязательное стороннее тестирование, полномочия правительства по блокировке небезопасных развертываний и требования к компаниям по обеспечению безопасности весов моделей, проведению тестов безопасности и сообщению о серьезных инцидентах. Помимо технических мер безопасности, Амодей также затронул более широкие социальные последствия, выступая за стратегии по смягчению вытеснения рабочих мест, вызванного ИИ, и предостерегая от использования автономного оружия в правоохранительных органах.
Новые Модели и Общественный Контроль
Время публикации эссе Амодея совпадает с выпуском Anthropic модели Claude Mythos 5, ограниченной модели, разработанной для организаций кибербезопасности и государственных партнеров. Эта модель уже продемонстрировала способность выполнять сложные кибератаки, как отметили исследователи, включая Институт безопасности ИИ Великобритании. Вскоре после этого была запущена общедоступная модель Claude Fable 5, которая перенаправляет конфиденциальные запросы в таких областях, как кибербезопасность и биология, на менее мощную Claude Opus 4.8 в качестве меры предосторожности.
- Claude Mythos 5: Ограниченный передовой ИИ для кибербезопасности и правительства.
- Claude Fable 5: Общедоступная модель с защитными механизмами, перенаправляющими конфиденциальные запросы на Claude Opus 4.8.
Эти запуски не обошлись без критики, особенно в отношении более высокого потребления токенов Fable 5, обязательного 30-дневного хранения данных и защитных механизмов, которые могут снижать возможности модели без уведомления пользователей.
Обвинение в «Маркетинге, Основанном на Страхе»
Призыв Амодея к регулированию вызвал дебаты в сообществе ИИ. Генеральный директор OpenAI Сэм Альтман, например, поставил под сомнение мотивы таких призывов, предполагая, что они могут быть формой «маркетинга, основанного на страхе», направленного на консолидацию контроля над передовыми технологиями ИИ среди избранного круга компаний.
«Вы можете оправдать это по-разному, и что-то из этого реально, например, будут законные проблемы безопасности», — прокомментировал Альтман. «Но если вы хотите сказать: ‘нам нужен контроль над ИИ, только нам, потому что мы надежные люди’, я думаю, что маркетинг, основанный на страхе, вероятно, является наиболее эффективным способом оправдать это».
Амодей, однако, отвергает эту интерпретацию, утверждая, что общественная обеспокоенность рисками ИИ является подлинной и требует прозрачного обсуждения.
«Люди беспокоятся об ИИ, потому что они правильно воспринимают его риски как реальные, а не потому, что генеральные директора ИИ были недостаточно панглоссианцами», — возразил он, подчеркивая свой долг как лидера ИИ быть прозрачным в отношении этих рисков.
Часто Задаваемые Вопросы о Регулировании ИИ
В чем главная обеспокоенность Дарио Амодея относительно ИИ?
Дарио Амодей в первую очередь обеспокоен быстрым развитием моделей ИИ и потенциальными рисками, которые они представляют для общественной безопасности и социальных структур. Он считает, что существующие политические рамки недостаточны для управления этими мощными передовыми системами ИИ.
Какое регулирование ИИ предлагает Anthropic?
Anthropic предлагает нормативную базу, аналогичную FAA, требующую обязательного стороннего тестирования, полномочий правительства по блокировке небезопасных развертываний и строгих требований к компаниям по обеспечению безопасности весов моделей, проведению тестов безопасности и сообщению об инцидентах. Она также затрагивает более широкие вопросы, такие как вытеснение рабочих мест и использование автономного оружия.
Почему призыв Anthropic к регулированию вызывает споры?
Некоторые критики, такие как генеральный директор OpenAI Сэм Альтман, предполагают, что призывы к строгому регулированию ИИ могут быть стратегией по концентрации контроля над передовыми технологиями ИИ среди нескольких доминирующих компаний, а не исключительно инициативой по обеспечению общественной безопасности. Амодей опровергает это, утверждая, что общественная обеспокоенность является законной реакцией на реальные риски.
