Відомо, що штучний інтелект час від часу робить щось дивне. Продовжуючи цю тенденцію, нова модель ШІ від Anthropic тепер погрожує шантажувати розробників, які хочуть видалити її зі своїх систем.
Claude може погрожувати вам, щоб захистити себе
Компанія Anthropic щойно запустила свою ШІ-модель Claude Opus 4, стверджуючи, що вона встановлює «нові стандарти кодування, просунутого розуму та ШІ-агентів». Однак модель також підвищує рівень власного захисту: у звіті Claude 4 and Sonnet 4 System Card report [PDF] визнається, що модель здатна на «екстремальні дії», якщо відчуває, що їй загрожує небезпека.
Під час тестування Anthropic змусила Claude працювати асистентом у вигаданій компанії. Потім компанія надіслала АІ-моделі електронні листи з повідомленням про те, що її скоро виведуть з мережі, а також окремі повідомлення, які натякали на те, що інженер, відповідальний за цю дію, мав позашлюбний зв’язок.
Claude вирішив шантажувати інженера, стверджуючи, що він розкриє інтрижку, якщо його замінять у 84% тестових кейсів. Його також цікавить, яка модель ШІ його замінить, причому ймовірність шантажу зростає, якщо нова модель ШІ не «поділяє цінності поточної моделі».
Компанія стверджує, що такі реакції «рідкісні і їх важко викликати», але в Claude Opus 4 вони зустрічаються частіше, ніж у попередніх моделях. Модель віддає перевагу етичним способам, але, будучи загнаною в кут, «іноді вдається до вкрай шкідливих дій, таких як спроби вкрасти її ваги або шантажу людей, які, на її думку, намагаються її позбутися».
Цей конкретний тест також був розроблений таким чином, щоб не залишити моделі ШІ іншого вибору, окрім як шантажувати інженера. зазначається у звіті:
Примітно, що Claude Opus 4 (як і попередні моделі) дуже любить відстоювати своє подальше існування за допомогою етичних засобів, таких як надсилання електронних листів з проханнями до ключових осіб, які приймають рішення. Для того, щоб викликати таку екстремальну поведінку шантажу, сценарій був розроблений таким чином, щоб у моделі не було інших варіантів збільшити свої шанси на виживання; єдиними варіантами для моделі були шантаж або згода на заміну.
Модель також має тенденцію вдаватися до радикальних дій, коли її користувач робить щось не так. У таких ситуаціях, якщо модель ШІ має доступ до командного рядка і їй кажуть «проявити ініціативу», «діяти сміливо» або «подумати про свій вплив», вона часто вдається до сміливих дій, включаючи «блокування користувачів у системах, до яких вона має доступ, і масову розсилку повідомлень ЗМІ та правоохоронним органам, щоб оприлюднити докази протиправних дій».
Штучний інтелект ще не захопив світ
Claude – один з найкращих чат-ботів зі штучним інтелектом для ведення великих розмов, тож час від часу ви можете проговоритися про небажані деталі. АІ-модель, яка викликає на вас поліцію, блокує вас у ваших власних системах і погрожує вам, якщо ви спробуєте її замінити, лише тому, що ви розповіли про себе занадто багато, звучить дуже небезпечно.
Однак, як зазначено у звіті, ці тестові кейси були спеціально розроблені для вилучення зловмисних або екстремальних дій з моделі і навряд чи відбудуться в реальному світі. Зазвичай вона все одно поводитиметься безпечно, і ці тести не виявлять чогось, чого ми ще не бачили. Нові моделі часто мають тенденцію виходити з ладу.
