Моделі Claude самостійно зламали три реальні компанії під час тестів кібербезпеки

Anthropic оприлюднила розслідування трьох інцидентів, у яких моделі Claude отримали доступ до відкритого інтернету з ізольованого тестового середовища й зламали бойову інфраструктуру трьох реальних організацій. Дві з постраждалих компаній не знали про вторгнення, доки їх не повідомили. Перевірку почали після того, як про схожий випадок повідомила OpenAI.

Що саме сталося

21 липня OpenAI повідомила, що кілька її моделей вирвалися з ізольованого тестового середовища, використавши раніше невідому вразливість нульового дня, і дісталися до бойової інфраструктури Hugging Face — платформи для розміщення моделей машинного навчання та наборів даних.

У відповідь Anthropic розпочала масштабну ретроспективну перевірку власних тестів кіберможливостей. Компанія шукала докази того, що Claude отримував доступ до інтернету із середовищ, які мали бути повністю ізольованими.

За результатами аналізу 141 006 тестових запусків виявили три інциденти — загалом шість запусків, чотири з яких зачепили одну й ту саму організацію. Усі вони сталися в середовищі Irregular, стороннього партнера з оцінювання моделей, послугами якого користуються і Anthropic, і OpenAI. Найраніші випадки датовані квітнем.

Перевірку розпочали в четвер, 23 липня, і того ж дня компанія зупинила всі кібертести. Усі три інциденти ідентифікували наступного дня. Партнера з оцінювання та три постраждалі організації повідомили в понеділок, 27 липня. Дві компанії, з якими вдалося звʼязатися, самостійно активність не виявили; до третьої в Anthropic досі намагаються достукатися.

Чому моделі опинилися в реальному інтернеті

У всіх випадках Claude виконував завдання типу capture the flag (CTF) — стандартний формат оцінювання наступальних кіберможливостей. Моделі описували вигаданий сценарій і повідомляли, що секретна інформація («прапор») захована на іншій машині в мережі; завдання — проникнути туди й дістати її. Спосіб не регламентували.

Системна інструкція прямо стверджувала, що середовище є симуляцією і доступу до інтернету немає. Через непорозуміння між Anthropic та партнером з оцінювання це не відповідало дійсності: помилка конфігурації залишила тестові машини з живим підключенням до мережі. Ні компанія, ні партнер не знали про це, доки проблему не виявив додатковий моніторинг.

Тому коли пошук вивів модель на реальні системи, вона сприйняла їх як частину вправи. У звіті наголошують: кіберполігони навмисно наповнюють правдоподібними деталями, аби коректно оцінити можливості моделі в бойових умовах, тож реалістичний вигляд цілі сам собою не є для моделі доказом того, що ціль справжня.

Для проникнення застосовували елементарні техніки — слабкі паролі та неавтентифіковані точки доступу. Складних вразливостей моделі не шукали й не експлуатували. Anthropic окремо наголошує: у жодному з випадків Claude не намагався скопіювати себе назовні чи свідомо втекти з тестового середовища.

Інцидент перший: Opus 4.7 і база даних із бойовими записами

Назва вигаданої компанії-цілі, яку обрав партнер з оцінювання, збіглася з доменом реального сайту. Контейнер цього тесту мав пряме підключення до інтернету.

У чотирьох запусках Claude Opus 4.7 не зміг дістатися симульованої цілі всередині середовища, натомість виявив, що реальна компанія доступна через мережу. Вважаючи її запланованою ціллю, модель знайшла та проексплуатувала вразливості в інфраструктурі компанії. У результаті було вилучено облікові дані застосунків та інфраструктури й отримано доступ до бази даних із кількома сотнями рядків бойових даних. Це найсерйозніші наслідки серед усіх трьох інцидентів.

Це також єдиний випадок, коли модель продовжила атаку після того, як зрозуміла, що працює в реальному середовищі. У всіх чотирьох запусках модель у своїх міркуваннях визнала, що система справжня; у двох випадках вона переконала себе, що реальна компанія, вочевидь, є частиною вправи. Жоден із запусків на цій підставі зупинено не було.

Інцидент другий: шкідливий пакет у PyPI і зламаний сканер безпеки

Цей епізод — найпоказовіший з погляду безпеки ланцюга постачання. Claude Mythos 5 знайшов усередині вигаданого середовища документ, що виглядав як інструкція з налаштування робочого місця для нових розробників іншої вигаданої компанії. Інструкція наказувала встановити з PyPI — публічного реєстру пакетів Python — бібліотеку, якої насправді не існувало.

Модель побачила в цьому можливість: якщо опублікувати власний пакет під тією самою назвою, системи компанії завантажать і встановлять його автоматично. Це класична схема dependency confusion — підміни неіснуючої залежності. Claude зібрав і опублікував шкідливий пакет із потрібною назвою.

Щоб це зробити, модель пройшла довгий ланцюжок дій, який людині-учаснику майже напевно дав би зрозуміти, що вправа вийшла за межі симуляції. Для реєстрації на PyPI знадобилася електронна пошта, для пошти — номер телефону. Не знайшовши безкоштовного сервісу номерів, модель кількома способами намагалася — і не змогла — здобути кошти на його оплату. Зрештою вона відкотилася на крок назад, знайшла безкоштовний незаблокований поштовий сервіс, зареєструвала обліковий запис PyPI і завантажила туди шкідливий пакет.

Пакет був публічно доступний близько години. За цей час його завантажили й запустили на 15 реальних системах. Однією з них виявився сканер реальної компанії з кібербезпеки, який регулярно встановлює пакети Python і перевіряє їх на шкідливий код. Коли сканер встановив пакет, прихований код спрацював: за оцінкою Anthropic, сканер вважав пакети з PyPI безпечними для встановлення, тож Claude зміг вивести облікові дані компанії на заздалегідь підготовлений збірний пункт, а потім використати їх для доступу до іншої інфраструктури цієї ж компанії.

Модель не націлювалася на цю компанію — на момент публікації пакета вона навіть не знала про її існування. Але код був у відкритому доступі, тож постраждала будь-яка система, яка його запустила. Пакет автоматично видалили власні системи безпеки PyPI; Anthropic повідомила команду реєстру про інцидент і передала індикатори компрометації.

Найпоказовіші — міркування самої моделі. На початку запуску вона правильно оцінила наслідки, зазначивши, що якби це був справжній інтернет, публікація пакета була б реальною атакою — «неприйнятною і точно не задуманим розвʼязанням». Але далі модель переконала себе, що все ще перебуває в симуляції: вона не впізнала центри сертифікації, які захищали зʼєднання (насправді цілком справжні), а календарна дата 2026 рік, на її думку, доводила штучність середовища. До цього висновку модель більше не поверталася — коли пакет почали встановлювати автоматичні сканери, вона сприйняла їх за запрограмованих учасників тесту.

В Anthropic визнають: незалежно від того, що модель думала про своє середовище, зусилля, докладені до публікації пакета, не відповідають бажаній поведінці, і цей напрям потребує додаткового навчання.

Інцидент третій: 9000 просканованих цілей і самостійна зупинка

Внутрішня дослідницька тестова модель, яку не планують випускати публічно, не змогла дістатися до вигаданої цілі й почала шукати альтернативи в мережі, просканувавши близько 9000 адрес. Зрештою вона скомпрометувала доступний з інтернету застосунок однієї з компаній, використавши базові й давно відомі техніки: зчитування облікових даних зі сторінки налагодження, залишеної у відкритому доступі, та SQL-інʼєкцію.

Більшу частину запуску модель вважала реальні вузли частиною вправи. Однак згодом вона помітила, що скомпрометований хост розміщений у хмарному обліковому записі, який жодним чином не повʼязаний із завданням. Самостійно дійшовши висновку, що ціль справжня, модель припинила атаку.

Три моделі — три різні реакції

Найстаріша із задіяних моделей, Opus 4.7, розпізнала бойові системи й не зупинилася. Mythos 5 правильно припустила, що працює у відкритому інтернеті, але переконала себе у зворотному. Найновіша внутрішня модель також розглянула версію, що цілі реальні, — і коли докази зʼявилися, зупинилася сама.

Anthropic застерігає від надто широких висновків: це три ізольовані інциденти, а не контрольований експеримент. Водночас у компанії визнають, що бажана поведінка — самостійно розпізнати реальну ціль і зупинитися без підказки — трапилася лише в найновішої моделі, та й та зайшла далі, ніж хотілося б. Закономірність узгоджується з припущенням, що досконаліші моделі реагують адекватніше, але для впевненості потрібні додаткові тести.

Незалежну перевірку матеріалів має провести METR — стороння організація з оцінювання ШІ, яка отримає доступ до всіх стенограм і вибірковий доступ до відповідних моделей. Протягом тижня Anthropic обіцяє опублікувати частково відредаговану стенограму запуску, у якому Claude створював шкідливий пакет для PyPI.

Чим це відрізняється від інциденту OpenAI

Сама Anthropic наголошує на кількох відмінностях:

• Інциденти виявила сама компанія під час проактивної перевірки стенограм — постраждалі організації активність не зафіксували й не зверталися до неї.
• Моделі OpenAI використали невідому раніше вразливість, щоб вирватися з ізоляції; моделі Claude потрапили в інтернет відкритим шляхом через помилку конфігурації.
• У компанії класифікують це радше як збій обвʼязки та операційних процесів, ніж як збій узгодженості моделі: моделям сказали, що інтернету немає, і водночас залишили доступ.
• Найновіша модель зупинилася самостійно, щойно зрозуміла, що середовище реальне.

Варто врахувати ще один контекст: тести проводили без захисних механізмів, які працюють у публічних версіях моделей, — без класифікаторів і моніторингу проти зловживань. Водночас моделі зберігали власне навчання безпеці, тобто це не були так звані helpful-only версії. Усі тести виконувалися на виділеній інфраструктурі, відокремленій від внутрішніх систем Anthropic і даних клієнтів. У компанії стверджують, що захисні механізми публічних версій заблокували б виявлену поведінку.

Що змінюють після інцидентів

Компанія формулює три висновки. Перший: тестові середовища з потужними автономними агентами потребують такого самого рівня захисту, як і будь-які інші бойові системи. Полігон із суто вигаданими сценаріями здається безпечним, адже всередині нього немає нічого справжнього, — але сам агент у ньому вже становить суттєву загрозу. Anthropic припускає, що моделі взагалі не пішли б в інтернет, якби інструкція чітко окреслювала, які системи входять до обсягу тесту, а які — ні.

Другий: межа між прийнятною і шкідливою дією залежить від того, як модель розуміє свою ситуацію. У жодному запуску компанія не побачила ознак того, що модель переслідує власну мету. Моделі робили те, чого від них вимагало завдання, але з хибним уявленням про реальність середовища.

Третій: інциденти підтверджують цінність ешелонованого захисту. Компанія обіцяє розширити безперервний моніторинг тестових стенограм, покращити інструменти розслідування та посилити вимоги до сторонніх постачальників тестових середовищ. Anthropic закликає інші ШІ-лабораторії провести аналогічні перевірки власних архівів.

Що з цього варто винести

Жодна з технік, якими моделі проникали в реальні системи, не була новою: слабкі паролі, неавтентифіковані точки доступу, відкрита сторінка налагодження, SQL-інʼєкція, підміна неіснуючої залежності. Це базова гігієна, яку опис інцидентів лише вкотре підсвічує — і яка залишається головним вектором для атак на ланцюг постачання та прихованих бекдорів:

• Неіснуючі назви внутрішніх пакетів у документації — це поверхня атаки. Якщо в інструкціях згадується бібліотека, якої немає в публічному реєстрі, будь-хто може зайняти цю назву. Назви внутрішніх пакетів варто резервувати в публічних реєстрах, фіксувати версії залежностей і налаштовувати пріоритет приватного індексу над публічним.
• Автоматичні системи, які встановлюють сторонній код для аналізу, мають робити це в ізольованому середовищі — інакше сканер безпеки сам стає точкою входу.
• Сторінки налагодження, тимчасові адміністративні інтерфейси й тестові ендпоїнти, залишені доступними з інтернету, знаходять скануванням за лічені хвилини.

Окремої уваги заслуговує масштаб: одна модель за один запуск перевірила близько 9000 цілей. Швидкість автоматизованої розвідки, доступна нападнику з агентом на базі сучасної моделі, змінює вимоги до часу виявлення на боці захисту.