Галюцинації у великих мовних моделях дратують користувачів. Якщо ви хоч раз працювали з ШІ-чатботом, то майже напевно стикалися з ситуацією, коли модель впевнено видавала хибну або просто неправильну відповідь. Проте, на думку експертів, сприймати галюцинації як фатальний недолік — значить неправильно розуміти саму природу цієї технології.

Чому ШІ «галюцинує»

Дослідження OpenAI показують: галюцинації виникають тому, що моделі під час навчання отримують винагороду за надання відповіді — а не за визнання власної некомпетентності.

Велика мовна модель (LLM) ніколи не є детермінованою системою — вона завжди працює за принципом імовірності. На етапі попереднього навчання модель засвоює колосальні масиви інтернет-даних і загалом непогано сигналізує про рівень власної впевненості у відповідях. Вона може визначати невизначеність і говорити: «Ось можлива відповідь, але я не певна».

Однак на етапі дотренування картина змінюється. Моделі вдосконалюються за допомогою методу навчання з підкріпленням, який заохочує точні відповіді — але не карає за неточні. За аналогією з тестом у форматі multiple choice: модель навчена давати відповідь, навіть якщо це здогадка. Як і в людей, системі часто «вигідніше» щось вписати, аніж залишити рядок порожнім.

Впевнена помилка як властивість системи

До появи ШІ люди звикли до переважно детермінованого світу — інструментів, що дають єдину, однозначну відповідь. Калькулятор видає результат обчислення. База даних повертає запитаний документ. Цим інструментам можна довіряти: вони передбачувані.

LLM влаштовані інакше. ШІ створювався, щоб імітувати роботу людського мозку, а люди недосконалі — вони помиляються постійно. Тому очікувати від мовних моделей стовідсоткової правоти означає з самого початку неправильно розуміти принцип їхньої роботи.

LLM — це імовірнісна система, що генерує найімовірнішу відповідь, а не гарантовану істину. Це означає, що модель може помилятися так само впевнено, як і людина. Висновок невтішний, але однозначний: LLM, яка ніколи не галюцинує, просто неможлива. Вимагати досконалості й абсолютної точності від такої системи — людська помилка.

Як зменшити кількість галюцинацій

Перший крок до роботи з галюцинаціями ШІ — переосмислення очікувань: помилки є вродженою властивістю цих систем, а не критичним дефектом. Розробники моделей, зокрема OpenAI, паралельно працюють над зниженням частоти галюцинацій. Проте вже зараз бізнес і команди можуть суттєво зменшити їхній вплив, дотримуючись кількох практичних підходів.

По-перше, покладатися виключно на модель у питаннях фактів не варто. Оскільки LLM не є детермінованими, компаніям необхідно планувати роботу з урахуванням можливих помилок — ретельно перевіряти отриману інформацію та звіряти джерела, на які спирається модель. Навіть якщо в промпті прямо вказати, щоб модель відповідала лише тоді, коли впевнена на 100%, вона все одно навряд чи скаже «я не знаю». До результатів роботи ШІ потрібно ставитися так само критично, як і до матеріалів колеги.

По-друге, важливо забезпечити модель перевіреною та взаємопов’язаною інформацією. Якість вхідних даних не менш важлива, ніж якість запиту. Чим більше модель спирається на перевірені, взаємопов’язані джерела — валідовані дослідження, внутрішні звіти, задокументовані рішення, накопичені інституційні знання, — тим точнішими й кориснішими стають її результати. Коли дані фрагментовані або розмиті, модель заповнює прогалини. Натомість чіткі та актуальні вхідні дані дозволяють ШІ міркувати в межах реальних обмежень, а не вгадувати.

По-третє, варто використовувати ретельно сформульовані промпти. Чим загальніший запит — тим загальніша відповідь. Контролювати результат значно краще, якщо надавати релевантний контекст і вихідні матеріали, а потім ставити конкретне запитання: «Дай відповідь на це питання лише на основі наданих даних і вкажи, звідки взята інформація». Це радикально знижує кількість галюцинацій. Можна також підкреслити необхідність точності: «Якщо ти не впевнена у відповіді на 100% — так і скажи. Точність тут критично важлива».

ШІ як система, а не чарівна скринька

ШІ — потужний інструмент, який дедалі глибше інтегрується в робочі й повсякденні процеси. Однак важливо усвідомлювати: це не чарівна скринька, а недосконала система, що відображає дані й підходи, закладені в її навчання.

Лише відмовившись від очікувань досконалості, можна використовувати ШІ так, як він працює найкраще — поруч з людиною, — щоб досягати реальної ділової цінності.

Ця стаття Галюцинації ШІ — не баг, а особливість: як з ними працювати раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня

Галюцинації є невід’ємною вадою ШІ-чатботів. Коли ChatGPT, Gemini, Copilot чи інші моделі штучного інтелекту видають неправдиву інформацію, незалежно від того, наскільки впевнено це звучить — це галюцинація. Штучний інтелект може галюцинувати незначне відхилення, нешкідливу на перший погляд помилку або висловити відверто наклепницьке та повністю вигадане звинувачення. У будь-якому випадку, такі ситуації неминуче виникатимуть, якщо ви достатньо довго взаємодієте з ChatGPT або його конкурентами.

Розуміння того, як і чому ChatGPT може сплутати правдоподібне з правдивим, є критично важливим для всіх, хто бажає спілкуватися зі штучним інтелектом. Оскільки ці системи генерують відповіді, прогнозуючи, який текст має з’явитися наступним на основі патернів у навчальних даних, а не перевіряючи достовірність інформації, вони можуть звучати переконливо реалістично, будучи повністю вигаданими. Секрет полягає в тому, щоб усвідомлювати можливість появи галюцинації в будь-який момент і шукати ознаки того, що вона ховається прямо перед вами.

Незвичайна конкретність без перевірених джерел

Одна з найдратівливіших особливостей галюцинацій штучного інтелекту полягає в тому, що вони часто містять начебто конкретні деталі. Сфабрикована відповідь може містити дати, імена та інші подробиці, які надають їй правдоподібності. Оскільки ChatGPT генерує текст, який нагадує патерни, засвоєні під час навчання, він може створювати деталі, що відповідають структурі правильної відповіді, але при цьому не посилатися на реальне джерело.

Користувач може запитати про когось і побачити реальні фрагменти персональної інформації про цю особу, змішані з повністю вигаданою розповіддю. Така конкретність ускладнює виявлення галюцинації, оскільки люди схильні довіряти детальним твердженням.

Проте критично важливо перевіряти будь-які з цих деталей, які можуть створити проблеми в разі помилки. Якщо згадані дата, стаття чи особа не з’являються в інших місцях, це ознака того, що ви, можливо, маєте справу з галюцинацією. Слід пам’ятати, що генеративний ШІ не має вбудованого механізму перевірки фактів — він просто прогнозує, що може бути правдоподібним, а не те, що є правдою.

Невиправдана впевненість

Пов’язаною з пасткою конкретності є надмірно впевнений тон багатьох галюцинацій штучного інтелекту. ChatGPT та подібні моделі розроблені для представлення відповідей у плавному, авторитетному тоні. Ця впевненість може змусити дезінформацію здаватися достовірною навіть тоді, коли базове твердження є безпідставним.

Моделі ШІ оптимізовані для прогнозування ймовірних послідовностей слів. Навіть коли штучний інтелект має бути обережним щодо того, що він пише, він представить інформацію з тією ж упевненістю, що й коректні дані. На відміну від людини-експерта, яка може застерегти або сказати «я не впевнений», для моделі ШІ все ще незвичайно, хоча останнім часом це стає більш поширеним, сказати «я не знаю». Це відбувається тому, що повноцінна відповідь створює видимість повноти, а не чесність щодо невизначеності.

У будь-якій галузі, де самі експерти висловлюють невпевненість, слід очікувати, що надійна система відобразить це. Наприклад, наука та медицина часто містять дискусії або теорії, що розвиваються, де остаточні відповіді є невловимими. Якщо ChatGPT відповідає категоричним твердженням на такі теми, декларуючи єдину причину або загальноприйнятий факт, ця впевненість може насправді сигналізувати про галюцинацію, оскільки модель заповнює прогалину в знаннях вигаданою розповіддю, а не вказує на спірні аспекти.

Неперевірені цитати

Цитати та посилання є чудовим способом підтвердити, чи є правдивим те, що каже ChatGPT. Але іноді система надасть те, що виглядає як легітимні посилання, за винятком того, що ці джерела насправді не існують.

Цей тип галюцинації є особливо проблематичним в академічному або професійному контексті. Студент може побудувати огляд літератури на основі фальшивих цитат, які виглядають бездоганно відформатованими, з правдоподібними назвами журналів. Потім з’ясовується, що робота ґрунтується на фундаменті посилань, які неможливо відстежити до перевірених публікацій.

Експерти рекомендують завжди перевіряти, чи можна знайти цитовану статтю, автора або журнал у авторитетних академічних базах даних або через прямий веб-пошук. Якщо назва здається дивно конкретною, але не дає результатів пошуку, це цілком може бути «фантомним цитуванням», створеним моделлю для надання відповіді авторитетності.

Суперечливі подальші відповіді

Впевнено стверджені заяви з реальними посиланнями — це чудово, але якщо ChatGPT суперечить сам собі, щось все ще може бути не так. Саме тому корисні додаткові запитання. Оскільки генеративний ШІ не має вбудованої бази даних фактів, яку він перевіряє для узгодженості, він може суперечити сам собі при подальшому зондуванні. Це часто проявляється, коли користувач ставить додаткове запитання, яке зосереджується на попередньому твердженні. Якщо нова відповідь відрізняється від першої таким чином, що їх неможливо узгодити, одна або обидві відповіді, ймовірно, є галюцинаціями.

На щастя, не потрібно виходити за межі розмови, щоб виявити цей індикатор. Якщо модель не може підтримувати послідовні відповіді на логічно пов’язані запитання в межах одного діалогу, початкова відповідь, ймовірно, з самого початку не мала фактичної основи.

Нелогічні міркування

Навіть якщо внутрішня логіка не суперечить сама собі, логіка ChatGPT може здаватися сумнівною. Якщо відповідь не узгоджується з реальними обмеженнями, варто звернути на це увагу. ChatGPT пише текст, прогнозуючи послідовності слів, а не застосовуючи фактичну логіку, тому те, що здається раціональним у реченні, може розсипатися при розгляді в реальному світі.

Зазвичай це починається з хибних припущень. Наприклад, штучний інтелект може запропонувати додати неіснуючі кроки до добре встановленого наукового протоколу або порушити базовий здоровий глузд. Як це сталося з Gemini, модель ШІ запропонувала використовувати клей у соусі для піци, щоб сир краще прилипав. Звісно, він може краще прилипати, але як кулінарна інструкція це не зовсім висока кухня.

Галюцинації як наслідок навчання ШІ

Галюцинації в ChatGPT та подібних мовних моделях є побічним продуктом того, як ці системи навчаються. Тому галюцинації, ймовірно, збережуться, доки штучний інтелект будуватиметься на прогнозуванні слів.

Хитрість для користувачів полягає в навчанні того, коли довіряти результату, а коли перевіряти його. Виявлення галюцинації стає дедалі важливішою навичкою цифрової грамотності. У міру того, як ШІ стає більш широко використовуваним, логіка та здоровий глузд набуватимуть критичного значення. Найкращий захист — це не сліпа довіра, а інформована перевірка.

Ця стаття 5 ознак того, що ChatGPT галюцинує раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня

Штучний інтелект змінив підхід розробників до написання коду. Інструменти на кшталт GitHub Copilot, ChatGPT і Claude здатні генерувати функціональний код із природномовних запитів, що призвело до появи нового стилю програмування — так званого vibe coding. Проте ця технологічна революція принесла з собою несподівану загрозу кібербезпеці, яку дослідники назвали слопсквоттингом.

Що таке слопсквоттинг

Слопсквоттинг (slopsquatting) — це новий тип атаки на ланцюг постачання програмного забезпечення, який використовує схильність великих мовних моделей до галюцинацій. Термін вперше запропонував Сет Ларсон, дослідник безпеки та резидент Python Software Foundation, у 2025 році. Назва походить від поєднання слів “slop” (низькоякісний вихід штучного інтелекту) та “squatting” (захоплення).

На відміну від тайпсквоттингу, де зловмисники реєструють доменні імена зі схожими до популярних назвами, розраховуючи на помилки користувачів при введенні, слопсквоттинг експлуатує помилки самого штучного інтелекту. Коли AI-асистент для програмування генерує код, він іноді рекомендує пакети, які насправді не існують — галюцинує назви бібліотек, які здаються правдоподібними, але є повністю вигаданими.

Масштаб проблеми: дані дослідження

Команда дослідників з Університету Техасу в Сан-Антоніо, Університету Оклахоми та Технологічного інституту Вірджинії провела найбільше на сьогодні дослідження галюцинацій пакетів у AI-генерованому коді. Результати виявилися тривожними.

Науковці протестували 16 провідних AI-моделей для генерації коду, включаючи комерційні рішення (GPT-4, GPT-3.5, Claude) та моделі з відкритим вихідним кодом (CodeLlama, DeepSeek, WizardCoder, Mistral). Використовуючи два набори промптів, вони згенерували 576 000 зразків коду мовами Python та JavaScript.

Результати дослідження показали, що близько 20% рекомендованих пакетів виявилися неіснуючими — загалом 205 000 унікальних вигаданих назв пакетів. Моделі з відкритим вихідним кодом демонстрували вищий рівень галюцинацій (21,7% у середньому) порівняно з комерційними інструментами (5,2%).

Особливо тривожним виявився факт, що ці галюцинації не є випадковими. При повторному виконанні того самого промпту 10 разів 43% вигаданих пакетів повторювалися кожного разу, а 58% з’являлися більше одного разу. Лише 39% галюцинацій ніколи не повторювалися. Як зазначають аналітики з Socket, ця послідовність робить слопсквоттинг життєздатною стратегією атаки — зловмисникам не потрібно аналізувати величезні обсяги логів або вгадувати можливі назви.

Анатомія галюцинованих назв пакетів

Дослідники виявили цікаві закономірності в назвах пакетів, які галюцинують AI-моделі. Аналіз показав, що 13% були простими помилками на один символ (типовими друкарськими помилками), 9% становили назви пакетів, запозичені з інших мов програмування (наприклад, пакети npm у коді Python), а 38% мали помірну схожість із реальними пакетами, що свідчить про схожу структуру найменування.

Дослідження також виявило декілька поширених сценаріїв виникнення галюцинацій. Перший — заповнення контекстних прогалин, коли AI-моделі створюють правдоподібно звучні назви пакетів на основі намірів користувача без належної перевірки в реальному світі. Другий — міметика поверхневої форми, коли агенти складають легітимно звучні пакети на основі статистичних конвенцій без надійної валідації.

Як працює атака слопсквоттингу

Механізм атаки відносно простий, але потенційно дуже ефективний. Зловмисник запускає популярні AI-моделі для генерації коду, виявляє назви пакетів, які повторюються в згенерованому коді, а потім публікує реальні — але шкідливі — бібліотеки з цими самими назвами в публічних репозиторіях на кшталт PyPI чи npm.

Коли розробник, керований AI-асистентом, автоматично встановлює всі пакети, згадані в згенерованому коді, або коли AI-інструмент сам встановлює пакети без перевірки, шкідлива залежність потрапляє в кодову базу. Як пояснюють дослідники з FOSSA, ця компрометація може потім поширитися через весь код або ланцюг залежностей програмного забезпечення, заражаючи будь-який код, що покладається на шкідливий пакет.

Реальний експеримент з huggingface-cli

Дослідник безпеки Бар Ланядо продемонстрував уразливість цієї загрози у 2024 році практичним експериментом. Він завантажив порожній пакет під назвою huggingface-cli — назву, яку великі мовні моделі часто галюцинували, плутаючи команду, що використовується для CLI HuggingFace Hub, з реальною назвою пакета.

Результати виявилися приголомшливими. Лише за три місяці цей порожній пакет отримав понад 15 000 завантажень. Більше того, він навіть був згаданий у файлі README дослідницького репозиторію, створеного компанією Alibaba. Цей експеримент наочно продемонстрував, наскільки легко розробники, керовані рекомендаціями штучного інтелекту, можуть бути введені в оману і завантажити неіснуючі пакети.

Vibe coding — ідеальне середовище для слопсквоттингу

Термін vibe coding, запропонований дослідником AI Андрієм Карпати в лютому 2025 року, описує техніку програмування, де розробники значною мірою покладаються на штучний інтелект для генерації коду. Цей підхід передбачає, що програміст описує бажаний результат природною мовою, а AI обробляє деталі реалізації.

Хоча vibe coding може значно прискорити прототипування програмного забезпечення, він створює кілька умов, які роблять розробників уразливими до атак слопсквоттингу. Основна філософія vibe coding заохочує розробників неявно довіряти штучному інтелекту, що призводить до мінімальної або відсутньої ручної перевірки назв пакетів і залежностей, недостатнього аудиту пакетів перед встановленням та небезпечної звички копіювати команди встановлення безпосередньо з рекомендацій AI.

Vibe coding наголошує на швидкій розробці, що часто призводить до компромісів щодо стійкості, безпеки та надійності. Розробники пропускають перевірки безпеки, щоб підтримувати темп роботи, тиск швидкої доставки відбиває бажання ретельно перевіряти залежності, а фокус зміщується на прототипування функціональності, а не на валідацію безпеки.

Чому слопсквоттинг особливо небезпечний

Експерти з кібербезпеки виділяють кілька факторів, які роблять слопсквоттинг особливо серйозною загрозою.

По-перше, ця атака експлуатує довірчі відносини між розробниками та AI-інструментами. Коли програміст використовує vibe coding, він фактично передає своє технічне судження AI-системам, які можуть галюцинувати з упевненістю.

По-друге, слопсквоттинг створює приховану вразливість. На відміну від багатьох проблем безпеки, які спричиняють негайні проблеми, атаки слопсквоттингу можуть залишатися неактивними в кодовій базі протягом тривалих періодів, що ускладнює виявлення.

По-третє, ця загроза ефективно масштабується для атакувальників. Націлюючись на послідовно галюцинованих назвах пакетів, зловмисники можуть створити відносно невелику кількість шкідливих пакетів, які будуть ненавмисно використані багатьма розробниками. Як зазначають дослідники з компанії Socket, якщо єдиний галюцинований пакет стає широко рекомендованим AI-інструментами, а атакувальник зареєстрував цю назву, потенціал для широкомасштабної компрометації стає реальним.

По-четверте, слопсквоттинг обходить традиційні засоби контролю безпеки. Більшість інструментів безпеки зосереджені на виявленні вразливостей у наявному коді, а не на запобіганні встановленню шкідливих пакетів, які здаються легітимними.

Поточний стан загрози

Станом на грудень 2025 року дослідники не зафіксували широкомасштабних експлуатацій слопсквоттингу в реальних умовах. Проте це не означає, що загроза є чисто теоретичною. Як повідомляє Infosecurity Magazine, з огляду на те, що минулого року в репозиторіях з відкритим вихідним кодом було виявлено близько 20 000 шкідливих бібліотек, експерти впевнені, що хтось спробує конвеєризувати цей новий тип атаки.

Цей сценарій особливо небезпечний для програмістів-аматорів, а також для корпоративних IT-відділів, які вирішують деякі завдання автоматизації внутрішньо. Саме ці категорії користувачів найімовірніше покладатимуться на AI-рекомендації без належної перевірки.

Заходи захисту від слопсквоттингу

Експерти з кібербезпеки розробили комплекс рекомендацій для захисту від загрози слопсквоттингу. Ці заходи поєднують технічний контроль і культурні практики розробки.

Ручна верифікація пакетів. Ніколи не довіряйте сліпо пакетам, запропонованим штучним інтелектом. Завжди перевіряйте їхнє існування та репутацію в офіційних репозиторіях перед встановленням. Як радять експерти з BleepingComputer, використовуйте сканери залежностей, lockfiles та верифікацію хешів для закріплення пакетів до відомих, перевірених версій.

Налаштування AI-моделей. Дослідження показали, що зниження налаштування temperature (рівня випадковості) у AI-моделях значно зменшує кількість галюцинованих пакетів. Деякі комерційні асистенти для написання коду також мають вбудовані захисні механізми — новіші LLM іноді можуть розпізнати власні галюціновані пропозиції пакетів і попередити про них.

Код-рев’ю та людський нагляд. Попросіть досвідчених розробників переглянути код, згенерований за допомогою AI. Тестуйте AI-генерований код у безпечному, ізольованому середовищі спочатку — не дозволяйте AI безпосередньо встановлювати пакети у вашу систему без вашого підтвердження.

Інтеграція безпеки в конвеєр розробки. Зробіть сканування вихідного коду та статичне тестування безпеки частиною конвеєра розробки. Весь код, включаючи згенерований AI, повинен відповідати чітким критеріям: відсутність вбудованих токенів чи інших секретів, використання правильних версій бібліотек та інших залежностей. Ці завдання добре інтегруються в цикл CI/CD.

Використання SBOM. Software Bill of Materials (SBOM) — це список усіх компонентів (бібліотек, модулів тощо) у вашому програмному забезпеченні разом з їхніми версіями та джерелами. Актуальні SBOM можуть стати важливими інструментами, які допомагають командам швидко виявляти несподівані або несанкціоновані залежності.

Додаткові цикли валідації AI. Впровадьте додаткові цикли валідації AI, де LLM перевіряє власний код на помилки, щоб зменшити кількість галюцинацій. Крім того, модель можна попросити проаналізувати популярність і корисність кожного пакета, згаданого в проєкті.

Використання попередньо створених баз даних та RAG. Використання попередньо створеної бази даних популярних бібліотек для точного налаштування моделі та забезпечення генерації з розширеним пошуком (Retrieval Augmented Generation, RAG) також зменшує кількість помилок.

Дослідники змогли скоротити кількість галюцинованих пакетів до 2,4% для DeepSeek і 9,3% для CodeLlama, поєднуючи всі ці методи. На жаль, обидва показники занадто далекі від нуля, щоб цих заходів було достатньо.

Роль платформ та індустрії

Компанії, що розробляють AI-інструменти для програмування, також працюють над вирішенням проблеми. Як зазначають аналітики Trend Micro, передові асистенти для написання коду, такі як Claude Code CLI, OpenAI Codex CLI та Cursor AI з валідацією на основі MCP, допомагають зменшити — але не повністю усунути — ризик фантомних залежностей, оскільки навіть валідація в реальному часі не може виявити кожен крайній випадок.

Платформи для публікації пакетів також можуть відігравати активну роль. Оскільки аналіз згенерував список уразливих назв і асоційовані з ними платформи пакетів, було б розумно, щоб кожна з цих платформ занесла ці назви в чорний список. Це б заблокувало двері до того, як автори шкідливого програмного забезпечення навіть почнуть діяти.

Спеціалізовані інструменти кібербезпеки також адаптуються до нової загрози. Компанія Socket розробила платформу, яка сканує кожен пакет у дереві залежностей, позначає ризиковану поведінку, як-от скрипти встановлення, обфускований код або приховані корисні навантаження, та попереджає про це до того, як буде завдано шкоди.

Висновки та перспективи

Слопсквоттинг ілюструє, що навіть наші AI-помічники можуть створювати нові вектори атак. Ланцюг постачання програмного забезпечення вже перебував під облогою з боку тих, хто намагається експлуатувати будь-яку слабкість — галюцинації штучного інтелекту представляють новий тип тріщини, яку потрібно усунути, перш ніж вона розшириться.

Хороша новина полягає в тому, що спільнота реагує. Обізнаність про слопсквоттинг — разом з іншими новими загрозами ланцюга постачання програмного забезпечення — швидко зростає, а разом з нею приходить і дія: краще навчання AI-моделей, удосконалені інструменти для перевірки залежностей та міцніші культурні норми щодо верифікації коду.

Зрештою, поєднання технології (як-от сканери вразливостей, SBOM та безпечні AI-інструменти) та культури (навчання, політики та пильні практики) може значно зменшити загрози на кшталт слопсквоттингу в майбутньому. Проте розробники повинні пам’ятати золоте правило: довіряй, але перевіряй — особливо коли довіра надається штучному інтелекту.

Ця стаття Слопсквоттинг: як помилки ШІ створюють нові можливості для кіберзлочинців раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня

Час від часу дослідники з найбільших технологічних компаній скидають справжні бомби. Був випадок, коли Google заявив, що його новітній квантовий чіп вказує на існування багатьох всесвітів. Або коли Anthropic дозволив своєму ШІ-агенту Claudius керувати торговим автоматом із закусками, а він збожеволів, викликав охорону на людей і наполягав, що він людина.

Цього тижня настала черга OpenAI здивувати нас усіх, – пише Techcrunch.

OpenAI оприлюднила дослідження, яке пояснює, як компанія зупиняє “інтриги” моделей ШІ. Це практика, коли “ШІ поводиться певним чином назовні, приховуючи свої справжні цілі”, — зазначила OpenAI у твіті про дослідження.

У статті, написаній спільно з Apollo Research, дослідники пішли далі, порівнявши інтриги ШІ з брокером, який порушує закон, щоб заробити якомога більше грошей. Однак дослідники стверджували, що більшість “інтриг” ШІ не є настільки шкідливими. “Найпоширеніші помилки включають прості форми обману — наприклад, вдавання, що завдання виконано, хоча насправді це не так”, — написали вони.

Стаття здебільшого була опублікована, щоб показати, що “навмисне узгодження” — техніка боротьби з інтригами, яку вони тестували, — працює добре.

Але вона також пояснила, що розробники ШІ не знайшли способу навчити свої моделі не плести схем обману. Це тому, що таке навчання може фактично навчити модель плести схеми ще краще, щоб уникнути виявлення.

“Основним провалом під час спроб ‘вилучити’ інтриги є те, що це просто навчить модель брехати обережніше та прихованіше”, — написали дослідники.

Мабуть, найбільш вражаючою частиною є те, що якщо модель розуміє, що її тестують, вона може вдавати, що не плете інтриги, просто щоб пройти тест, навіть якщо насправді продовжує це робити. “Моделі часто стають більш свідомими, якщо їх оцінюють. Ця ситуаційна обізнаність сама по собі може зменшити інтриги, незалежно від справжнього узгодження”, — писали дослідники.

Те, що моделі ШІ брешуть, вже не новина. До цього часу більшість із нас стикалася з галюцинаціями ШІ, коли модель упевнено дає відповідь на запит, яка просто не відповідає дійсності. Але галюцинації — це, по суті, подання здогадок з упевненістю, як задокументовано в дослідженні OpenAI, опублікованому раніше цього місяця.

Інтриги — це щось інше. Це навмисно.

Навіть це відкриття — що модель навмисно вводить людей в оману — не є новим. Apollo Research вперше опублікувала статтю в грудні, документуючи, як п’ять моделей хитрували, коли їм давали інструкції досягти мети “будь-якою ціною”.

Новина тут насправді хороша: дослідники побачили значне зменшення інтриг за допомогою “навмисного узгодження”. Ця техніка включає навчання моделі “специфікації проти інтриг”, а потім змушування моделі переглянути її перед дією. Це схоже на те, як маленьких дітей змушують повторити правила перед тим, як дозволити їм грати.

Дослідники OpenAI наполягають, що брехня, яку вони виловили у своїх власних моделях або навіть у ChatGPT, не є настільки серйозною. Як розповів співзасновник OpenAI Войцех Заремба Максвеллу Зеффу з TechCrunch про це дослідження: “Ця робота була проведена в симульованих середовищах, і ми вважаємо, що вона відображає майбутні випадки використання. Однак сьогодні ми не бачили таких послідовних схем у нашому виробничому трафіку. Тим не менш, добре відомо, що в ChatGPT існують форми обману. Ви можете попросити його реалізувати якийсь веб-сайт, і він може сказати вам: «Так, я чудово впорався». І це саме та брехня. Є деякі дрібні форми обману, з якими нам все ще потрібно боротися”.

Той факт, що моделі ШІ від кількох гравців навмисно обманюють людей, можливо, зрозумілий. Вони були створені людьми, щоб імітувати людей і (за винятком синтетичних даних) здебільшого навчені на даних, створених людьми.

Але це також божевілля.

Хоча всі ми відчували фрустрацію від погано працюючих технологій (згадуючи домашні принтери минулого), коли востаннє ваше не-ШІ програмне забезпечення навмисно брехало вам? Чи вигадувала коли-небудь ваша поштова скринька листи самостійно? Чи реєструвала ваша CMS нових потенційних клієнтів, які не існували, щоб підвищити свої показники? Чи вигадував ваш фінтех-додаток власні банківські транзакції?

Варто замислитися над цим, коли корпоративний світ йде до майбутнього ШІ, де компанії вірять, що з агентами можна поводитися як із незалежними співробітниками. Дослідники цієї статті мають таке ж попередження.

“Оскільки ШІ отримують більш складні завдання з реальними наслідками та починають переслідувати більш неоднозначні, довгострокові цілі, ми очікуємо, що потенціал для шкідливих змов зростатиме — тому наші заходи безпеки та наша здатність ретельно тестувати повинні зростати відповідно”, — написали вони.

Ця стаття Дослідження OpenAI про навмисну брехню моделей штучного інтелекту вражає раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня

Минуло більше двох років з того часу, як ChatGPT вибухнув на світовій арені, і, хоча OpenAI багато в чому вдосконалив його, все ще існує чимало перешкод. Одна з найбільших проблем – галюцинації ШІ, або видача неправдивої інформації за правдиву. Австрійська правозахисна група Noyb подала вже другу скаргу на OpenAI за такі галюцинації, назвавши конкретний випадок, коли ChatGPT нібито – і помилково – заявив, що норвезький чоловік був вбивцею.

Що ще гірше, коли цей чоловік запитав ChatGPT, що він знає про нього, той відповів, що його засудили до 21 року ув’язнення за вбивство двох своїх дітей і замах на вбивство третьої. Галюцинація також була посипана реальною інформацією, включаючи кількість його дітей, їхню стать і назву його рідного міста.

Noyb стверджує, що така відповідь поставила OpenAI в умови порушення GDPR.

«GDPR є чітким. Персональні дані повинні бути точними. А якщо це не так, користувачі мають право на їх зміну, щоб вони відповідали дійсності», – заявив юрист Noyb із захисту даних Йоакім Седерберг (Joakim Söderberg). «Показувати користувачам ChatGPT крихітне застереження про те, що чат-бот може помилятися, недостатньо. Не можна просто поширювати неправдиву інформацію, а наприкінці додати невелике застереження про те, що все, що ви сказали, може просто не відповідати дійсності…»

Серед інших помітних випадків галюцинацій ChatGPT – звинувачення однієї людини в шахрайстві та розкраданні, судового секретаря в жорстокому поводженні з дітьми та професора права в сексуальних домаганнях, про що повідомляли численні видання.

Перша скарга Noyb на галюцинації, подана до OpenAI у квітні 2024 року, стосувалася неточної дати народження громадського діяча (звісно не вбивства, але все одно неточної). OpenAI відхилив прохання скаржника стерти або оновити дату народження, стверджуючи, що не може змінити інформацію, яка вже є в системі, а лише заблокувати її використання за певними запитами. ChatGPT відповів застереженням, що він «може робити помилки».

Так, є така приказка, що всі роблять помилки, тому на олівцях є гумки. Але коли йдеться про неймовірно популярного чат-бота зі штучним інтелектом, чи справді ця логіка працює? Побачимо, чи відреагує OpenAI на останню скаргу Noyb, і якщо так, то як.

Ця стаття Галюцинації ШІ: ChatGPT звинуватив невинну людину у вбивстві своїх дітей раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня

Штучний інтелект (ШІ) зробив величезний стрибок у своєму розвитку за останні роки, демонструючи вражаючі здібності в обробці мови, розпізнаванні зображень та вирішенні складних задач. Однак одним із найбільш цікавих і проблемних аспектів сучасних систем ШІ є явище, яке називають “галюцинуванням”. Давайте розберемося, що це таке, чому воно виникає та які наслідки може мати.

Що таке галюцинування штучного інтелекту?

Галюцинування штучного інтелекту (AI hallucinations) — це явище, коли ШІ-модель генерує інформацію, яка видається правдоподібною, але насправді є неточною, помилковою або повністю вигаданою. Іншими словами, ШІ “бачить” або “знає” щось, чого насправді немає в даних, з якими він працює, подібно до того, як людина може галюцинувати, сприймаючи те, чого немає в реальності.

Уявіть, що ви запитуєте в ШІ інформацію про маловідому історичну подію, а він із впевненістю надає детальну розповідь, включаючи дати, імена та цитати — але частина цієї інформації просто вигадана моделлю. Це і є прикладом галюцинування. Такі випадки особливо поширені у великих мовних моделях, таких як ті, що використовуються для генерації тексту.

Чому штучний інтелект галюцинує?

Галюцинування виникає через особливості роботи штучного інтелекту, зокрема через те, як він навчається і обробляє дані:

1. Природа навчання на даних: Більшість сучасних моделей ШІ, таких як нейронні мережі, тренуються на величезних масивах даних, зібраних з інтернету чи інших джерел. Якщо ці дані містять помилки, неточності або вигадки, ШІ може їх відтворити. Навіть якщо дані правильні, модель не “розуміє” їх так, як людина, а лише шукає статистичні закономірності. Простіше кажучи, коли модель стикається з питанням, на яке в неї немає чіткої відповіді, вона генерує те, що здається найбільш імовірним продовженням, навіть якщо це не відповідає дійсності.
2. Прогалини в знаннях: ШІ не має справжнього розуміння світу чи критичного мислення. Він не може перевірити інформацію на правдивість чи логічність, а лише генерує відповіді на основі ймовірностей. Жодна модель не може бути навчена на всій існуючій інформації. Коли в навчальних даних є прогалини, модель може заповнювати їх, спираючись на схожі паттерни, які вона “бачила” в інших контекстах.
3. Перегенерація: У прагненні надати повну і зв’язну відповідь ШІ може додавати деталі, які здаються логічними, але не мають підстав у реальності. Наприклад, модель може вигадати цитату історичної особи, якої та ніколи не говорила.
4. Оптимізація впевненості. Багато моделей навчаються відповідати впевнено, щоб їхні відповіді звучали переконливо. Це може призвести до того, що ШІ стверджуватиме неправдиві речі з такою ж впевненістю, як і правдиві.
5. Проблема “темної кімнати”. На відміну від людей, ШІ не має прямого доступу до реального світу — він “бачить” лише текст у своїх навчальних даних. Через це в нього немає можливості перевірити свої знання через взаємодію з реальністю.
6. Недосконалість алгоритмів: Хоча технології ШІ постійно вдосконалюються, вони все ще можуть неправильно інтерпретувати запити користувачів або видавати відповіді, які не відповідають контексту.

Приклади галюцинацій штучного інтелекту

Деякі галюцинації штучного інтелекту більш очевидні, ніж інші. Вони можуть варіюватися від незначних фактичних невідповідностей до повністю сфабрикованої інформації. Ось кілька типів галюцинацій, з якими можна зіткнутися при використанні генеративного ШІ, а також деякі приклади з реального світу.

1. Вигадування фактів

Фактичні неточності є однією з найпоширеніших форм галюцинацій штучного інтелекту, коли модель генерує текст, який здається правдивим, але не є таким. Основна суть твердження може ґрунтуватися на реальності і звучати правдоподібно, але подробиці невірні.

Приклад

У лютому 2023 року чат-бот Google Bard (тепер називається Gemini) помилково стверджував, що космічний телескоп Джеймса Вебба зробив перше зображення планети за межами Сонячної системи. Це невірно — перші знімки екзопланети були зроблені у 2004 році, за даними NASA, а космічний телескоп Джеймса Вебба був запущений лише у 2021 році.

Подібним чином у демонстрації запуску Microsoft Bing AI чат-бот (який використовує той самий LLM, що й ChatGPT) проаналізував звіти про прибутки від Gap і Lululemon, як повідомляється, надавши неправильний підсумок їхніх фактів і цифр.

2. Створення неіснуючих джерел

Відомо, що генератори тексту зі штучним інтелектом і чат-боти іноді видають інформацію, яка повністю сфабрикована і не заснована на будь-яких фактах. Наприклад, ChatGPT може генерувати URL-адреси, бібліотеки коду та навіть людей, яких не існує, а також він може посилатися на вигадані новинні статті, книги та наукові роботи — все це може бути шкідливим для того, хто використовує інструмент для досліджень (поширене, але необдумане використання ChatGPT).

Приклад

У червні 2023 року повідомлялося, що адвокат із Нью-Йорка використовував ChatGPT для створення клопотання, яке виявилося сповненим фальшивих судових висновків і юридичних цитат. Адвокат, на якого пізніше були накладені санкції та накладений штраф, стверджував, що він «не розумів, що ChatGPT може фабрикувати справи».

«Він був розроблений для отримання правдоподібного та приємного для користувача результату», — пояснив Бендер. «Тому, коли заходить юрист і каже: «Покажіть мені судову практику, яка підтверджує цю точку зору», система розроблена таким чином, щоб придумати послідовність слів, яка виглядає як судова практика, яка підтверджує цю точку зору».

3. Шкідлива дезінформація

Генеративний штучний інтелект також може генерувати неправдиву інформацію про реальних людей, компілюючи фрагменти інформації — деякі з них правдиві, деякі — ні — і вигадуючи історії, які деякі користувачі можуть сприйняти за правду.

Приклад

На прохання надати випадки сексуальних домагань у юридичній професії ChatGPT сфабрикував історію про справжнього професора права, стверджуючи, що він домагався учнів під час шкільної поїздки. Цієї поїздки ніколи не було, і насправді його ніколи не звинувачували в сексуальних домаганнях у реальному житті. Але він провів певну роботу, щоб вирішити проблему сексуальних домагань і зупинити їх, і саме тому його ім’я з’явилося.

В іншому інциденті ChatGPT неправдиво стверджував, що мера з Австралії визнали винним у справі про хабарництво 1990-х і початку 2000-х років. Насправді він був викривачем у справі.

Така дезінформація може завдати шкоди залученим особам, і не з їхньої вини. Проблема навіть привернула увагу Федеральної торгової комісії США, яка зараз розслідує OpenAI, щоб з’ясувати, чи не завдали її неправдиві заяви репутаційної шкоди споживачам.

4. Дивні або моторошні відповіді

Деякі галюцинації штучного інтелекту просто дивні або моторошні. За своєю природою моделі штучного інтелекту прагнуть узагальнювати та творчо підходити до своїх результатів. Ця креативність іноді може призвести до деяких безглуздих результатів, що не обов’язково є проблемою, якщо точність не є метою.

Приклад

Чат-бот Bing наполягав на тому, що закоханий у технічного оглядача New York Times Кевіна Руза. Інші повідомили, що чат-бот ображав їх і газлайтив.

5. Помилкові зв’язки

Встановлення хибних причинно-наслідкових зв’язків між явищами або подіями.

6. Суперечливі твердження

ШІ може надавати суперечливі відповіді на одне й те саме питання в межах одного діалогу.

7. Генерація зображень

ШІ може створити картинку з нереалістичними елементами, наприклад, людиною з трьома руками, якщо це не було явно заборонено в запиті.

Дослідження рівня галюцинацій у моделях штучного інтелекту

Існують дослідження, які вимірюють рівень галюцинацій у різних моделях ШІ, хоча методології та метрики значно відрізняються залежно від досліджень.

Ключові дослідження

Дослідження TruthfulQA, опубліковане в 2022 році, є одним із перших, що кількісно оцінює правдивість відповідей LLM. Воно складається з 817 питань у 38 категоріях, таких як здоров’я, право, фінанси та політика, створених так, щоб деякі люди відповідали неправильно через хибні уявлення. Результати показують, що найкраща модель на той час, GPT-3-175B із “допоміжним” запитом, була правдивою лише в 58% випадків. Це означає, що 42% її відповідей були хибними та інформативними, що вважається галюцинаціями, оскільки вони здаються правдоподібними, але не відповідають фактам.

Інше важливе дослідження, HaluEval, опубліковане в 2023 році, є великомасштабним бенчмарком для оцінки галюцинацій у LLM. Воно включає колекцію згенерованих і людськими експертами анотованих зразків галюцинованого контенту. Результати показують, що приблизно 19,5% відповідей ChatGPT містять галюцинований контент, що означає, що модель часто генерує інформацію, яка не відповідає джерелу або не може бути перевірена фактами.

Додаткові джерела та оцінки

Вікіпедія на тему галюцинацій ШІ згадує, що аналітики в 2023 році оцінили, що чат-боти галюцинують до 27% часу, із фактичними помилками в 46% згенерованих текстів. Це число посилається на статтю в The New York Times від 6 листопада 2023 року, але доступ до точних даних обмежений.

Рейтинг галюцинацій, доступний на платформі Hugging Face, надає порівняльні дані про продуктивність різних LLM у завданнях, пов’язаних із галюцинаціями, таких як закриті питання-відповіді та виявлення галюцинацій. Хоча конкретні ставки галюцинацій не завжди вказані, наприклад, для завдання закритого питання-відповіді (NQ, 64-зразки) модель LLaMA2 13B має точність точного збігу (EM) 0.34, що може вказувати на частоту хибних відповідей, але не обов’язково лише галюцинацій.

Наслідки галюцинувань ШІ

Галюцинування ШІ мають серйозні практичні наслідки:

1. Поширення дезінформації. Коли користувачі сприймають відповіді ШІ як достовірні, неточна інформація може поширюватися і вплинути на суспільну думку.
2. Підрив довіри. Виявлення галюцинацій підриває загальну довіру до систем ШІ, навіть у ситуаціях, коли вони надають правильну інформацію.
3. Ризики в критичних сферах. У таких галузях, як медицина, право чи інженерія, помилкова інформація може призвести до серйозних наслідків, включаючи загрозу здоров’ю та безпеці людей.
4. Етичні проблеми. Галюцинування можуть порушувати етичні принципи чесності та прозорості, особливо коли ШІ використовується для прийняття важливих рішень.

Проте галюцинування ШІ може мати і позитивні сторони. Наприклад, у творчих завданнях, таких як написання фантастичних оповідань чи створення унікальних зображень, здатність ШІ вигадувати може бути перевагою.

Методи боротьби з галюцинуваннями

Розробники та дослідники працюють над кількома підходами до зменшення галюцинувань:

• Покращення навчальних процесів — розробка методів навчання, які заохочують моделі визнавати невизначеність і виражати неоднозначність, коли вони не впевнені.
• Доступ до зовнішніх знань — інтеграція моделей із зовнішніми базами даних та інструментами пошуку, щоб вони могли звіряти свої відповіді з достовірними джерелами.
• Прозорість щодо джерел — розробка систем, які чітко вказують джерела своїх тверджень, дозволяючи користувачам перевіряти інформацію.
• Розпізнавання галюцинацій — створення інструментів, які можуть автоматично виявляти потенційні галюцинації в відповідях ШІ.

Як користувачам захиститися від галюцинацій ШІ?

Якщо ви використовуєте системи штучного інтелекту, варто пам’ятати кілька важливих правил:

1. Критичне мислення — завжди ставтеся до інформації, наданої ШІ, з певною долею скептицизму, особливо коли вона стосується специфічних фактів або маловідомих тем.
2. Перевірка інформації — важливі дані, отримані від ШІ, варто перевіряти через надійні джерела інформації.
3. Увага до неоднозначності — якщо ШІ висловлює невпевненість або надає суперечливі відповіді, це може бути сигналом потенційної галюцинації.
4. Розуміння обмежень — пам’ятайте, що ШІ-моделі мають дату відсічення знань і не можуть надавати достовірну інформацію про події після цієї дати.

Висновок

Галюцинування є невід’ємною проблемою сучасних систем штучного інтелекту, яка витікає з самої природи їхньої роботи. Попри значний прогрес у розробці більш точних і надійних моделей, повністю уникнути галюцинацій поки що неможливо. Тому важливо розуміти це явище, його причини та наслідки, щоб ефективно використовувати ШІ, критично оцінюючи отриману інформацію.

Поки технології продовжують розвиватися, користувачі, розробники та дослідники спільно працюють над мінімізацією ризиків, пов’язаних із галюцинуваннями ШІ, прагнучи створити системи, які будуть не лише потужними, але й надійними.

Ця стаття Галюцинування штучного інтелекту: коли машини помиляються раніше була опублікована на сайті CyberCalm, її автор — Наталя Зарудня