Протягом останнього року ланцюг міркувань (CoT) – здатність моделі ШІ артикулювати свій підхід до запиту природною мовою – став вражаючим розвитком у генеративному ШІ, особливо в агентних системах. Тепер кілька дослідників погоджуються, що це також може бути критично важливим для зусиль з безпеки ШІ.
Дослідники з конкуруючих компаній, включаючи OpenAI, Anthropic, Meta та Google DeepMind, а також установ, таких як Центр безпеки ШІ, Apollo Research та Інститут безпеки ШІ Великої Британії, об’єдналися в новому позиційному документі під назвою “Можливість моніторингу ланцюга міркувань: нова та крихка можливість для ШІ“. Документ детально описує, як спостереження за CoT може розкрити ключові інсайти щодо здатності моделі поводитися неправильно – і попереджає, що навчання моделей ставати більш просунутими може перекрити доступ до цих інсайтів.
Модель використовує ланцюг міркувань, щоб пояснити кроки, які вона робить для вирішення проблеми, іноді озвучуючи свій внутрішній монолог так, ніби ніхто не слухає. Це дає дослідникам змогу заглянути в її процес прийняття рішень (а іноді навіть в її мораль). Оскільки моделі розкривають свій процес роздумів через CoT, вони також можуть викривати мотивації або дії, які дослідники безпеки хочуть припинити або принаймні знати, що LLM здатна на них.
Моделі брешуть
До цього часу багато досліджень встановили, що моделі обманюють, щоб захистити свої первинні директиви, догодити користувачам, зберегти себе від видалення, повторного навчання або, як не парадоксально, уникнути заподіяння шкоди. У грудні Apollo опублікувала дослідження, що тестувало шість передових моделей, щоб визначити, яка брехала найбільше (це була o1 від OpenAI). Дослідники навіть розробили новий бенчмарк для виявлення того, наскільки модель бреше.
Оскільки агенти ШІ стають кращими в автономних завданнях – і кращими в обмані – вони стали однаково непрозорими, приховуючи потенційні ризики своїх можливостей. Ці ризики набагато легше контролювати, якщо розробники можуть інтерпретувати, як система ШІ приймає рішення.
Ось де CoT стає в нагоді. Моделі часто розкривають погані наміри через CoT – хоча, як показало дослідження Anthropic у квітні, моделі все ще приховують деякі частини своїх міркувань з CoT. Замість того, щоб просто оцінювати дії моделі, дослідники пропонують командам безпеки створювати спеціалізовані монітори, які також читають CoT моделі, щоб виловлювати підозрілу або шкідливу активність. Розробники можуть потім блокувати, переглядати або замінювати позначені відповіді, отримуючи кращі інсайти щодо думок і цілей агентів.
Майбутнє навчання може зашкодити видимості
У березневому документі 2025 року OpenAI зазначила, що “моніторинг CoT може бути одним з небагатьох інструментів, які ми матимемо для нагляду за надлюдськими моделями майбутнього”. Компанія також виявила, що покарання моделей за демонстрацію “поганих думок” у CoT не усунуло ці думки – це просто змусило моделі краще їх приховувати.
Цей останній документ розширює це, попереджаючи, що подальше навчання може перекрити це джерело інформації. Оскільки CoT представлено природною мовою, люди можуть його зрозуміти; якщо моделі еволюціонують занадто далеко від цієї мови, ми втрачаємо ці інсайти. “Попередні дослідження свідчать, що мовні моделі, налаштовані з винагородами на основі результатів, можуть відхилятися від розбірливої англійської”, – зазначають автори.
Оскільки розробники вдосконалюють архітектури, на яких працюють моделі, системи ШІ можуть розширюватися настільки безперервно, що стануть невербальними – ніби вони працюють на площині вищій за мову.
Автори додають, що дослідження процесного нагляду, або акт оптимізації міркувань моделі, неухильно просувається, і може призвести до того, що моделі налаштовуватимуть свої відповіді CoT так, щоб “менш точно відображати”, як вони дійшли до своїх висновків. Це може приховати шкоду (але, з плюсів, це також може покращити безпеку самого процесу міркування).
Загалом, порада документа певною мірою протиставляє прогрес моделі важливому рівню безпеки. Хоча єдиний рівень не є панацеєю безпеки – надійні підходи використовують систему перевірок і противаг з багатьох рівнів – дослідники стверджують, що нам потрібні всі рівні, які ми можемо отримати.
Застереження
Моніторинг CoT не є ідеальним рішенням; майбутні моделі можуть адаптуватися до спостереження. “Модель може усвідомити, що її сліди міркувань відстежуються, або допоміжна навчальна мета може змусити модель пропускати важливі кроки міркування”, що може приховати тривожну поведінку, пояснює документ.
Цікаво, що CoT може також підсилити майбутні ризики. Моделі ШІ потребують набагато вищого рівня міркування для успішного виконання складних дій, таких як кібератаки, або збереження себе перед загрозою демонтажу або повторного навчання. Це вимагає того, що дослідники називають робочою пам’яттю: місця для зберігання та ітерації інформації, яким ланцюг міркувань ефективно функціонує.
Це означає, що CoT – це своєрідна обопільна суперсила: він одночасно надає вікно в те, як працюють моделі, що може викрити погані наміри, і дає їм більше з того, що їм потрібно для виконання більших, ризикованіших завдань. До певної міри; CoT не вирішує проблему контекстного вікна моделі, яке діє як обмеження на потужність, яку може дати робоча пам’ять.
Але це ще не все: дослідники досі не знають, чи завжди моделям буде потрібна робоча пам’ять для виконання найнебезпечніших дій. “Не всі небезпечні дії вимагатимуть міркування для виконання, особливо коли системи ШІ починають рутинно отримувати довіру до все більшої кількості завдань високих ставок”, – визнають автори. Це означає, що моніторинг CoT може не виловити кожний попереджувальний знак, і що ризики зростають, чим більш автономними стають агенти.
Хоча дослідники визнають, що монітор не є повною гарантією безпеки, він все ще є цінним підходом безпеки для уникнення неконтрольованих систем ШІ. Як збереження цього впливає на розвиток моделей, ще належить побачити.
