Галюцинування штучного інтелекту: коли машини помиляються

Штучний інтелект (ШІ) зробив величезний стрибок у своєму розвитку за останні роки, демонструючи вражаючі здібності в обробці мови, розпізнаванні зображень та вирішенні складних задач. Однак одним із найбільш цікавих і проблемних аспектів сучасних систем ШІ є явище, яке називають “галюцинуванням”. Давайте розберемося, що це таке, чому воно виникає та які наслідки може мати.

Що таке галюцинування штучного інтелекту?

Галюцинування штучного інтелекту (AI hallucinations) — це явище, коли ШІ-модель генерує інформацію, яка видається правдоподібною, але насправді є неточною, помилковою або повністю вигаданою. Іншими словами, ШІ “бачить” або “знає” щось, чого насправді немає в даних, з якими він працює, подібно до того, як людина може галюцинувати, сприймаючи те, чого немає в реальності.

Уявіть, що ви запитуєте в ШІ інформацію про маловідому історичну подію, а він із впевненістю надає детальну розповідь, включаючи дати, імена та цитати — але частина цієї інформації просто вигадана моделлю. Це і є прикладом галюцинування. Такі випадки особливо поширені у великих мовних моделях, таких як ті, що використовуються для генерації тексту.

Чому штучний інтелект галюцинує?

Галюцинування виникає через особливості роботи штучного інтелекту, зокрема через те, як він навчається і обробляє дані:

1. Природа навчання на даних: Більшість сучасних моделей ШІ, таких як нейронні мережі, тренуються на величезних масивах даних, зібраних з інтернету чи інших джерел. Якщо ці дані містять помилки, неточності або вигадки, ШІ може їх відтворити. Навіть якщо дані правильні, модель не “розуміє” їх так, як людина, а лише шукає статистичні закономірності. Простіше кажучи, коли модель стикається з питанням, на яке в неї немає чіткої відповіді, вона генерує те, що здається найбільш імовірним продовженням, навіть якщо це не відповідає дійсності.
2. Прогалини в знаннях: ШІ не має справжнього розуміння світу чи критичного мислення. Він не може перевірити інформацію на правдивість чи логічність, а лише генерує відповіді на основі ймовірностей. Жодна модель не може бути навчена на всій існуючій інформації. Коли в навчальних даних є прогалини, модель може заповнювати їх, спираючись на схожі паттерни, які вона “бачила” в інших контекстах.
3. Перегенерація: У прагненні надати повну і зв’язну відповідь ШІ може додавати деталі, які здаються логічними, але не мають підстав у реальності. Наприклад, модель може вигадати цитату історичної особи, якої та ніколи не говорила.
4. Оптимізація впевненості. Багато моделей навчаються відповідати впевнено, щоб їхні відповіді звучали переконливо. Це може призвести до того, що ШІ стверджуватиме неправдиві речі з такою ж впевненістю, як і правдиві.
5. Проблема “темної кімнати”. На відміну від людей, ШІ не має прямого доступу до реального світу — він “бачить” лише текст у своїх навчальних даних. Через це в нього немає можливості перевірити свої знання через взаємодію з реальністю.
6. Недосконалість алгоритмів: Хоча технології ШІ постійно вдосконалюються, вони все ще можуть неправильно інтерпретувати запити користувачів або видавати відповіді, які не відповідають контексту.

Приклади галюцинацій штучного інтелекту

Деякі галюцинації штучного інтелекту більш очевидні, ніж інші. Вони можуть варіюватися від незначних фактичних невідповідностей до повністю сфабрикованої інформації. Ось кілька типів галюцинацій, з якими можна зіткнутися при використанні генеративного ШІ, а також деякі приклади з реального світу.

1. Вигадування фактів

Фактичні неточності є однією з найпоширеніших форм галюцинацій штучного інтелекту, коли модель генерує текст, який здається правдивим, але не є таким. Основна суть твердження може ґрунтуватися на реальності і звучати правдоподібно, але подробиці невірні.

Приклад

У лютому 2023 року чат-бот Google Bard (тепер називається Gemini) помилково стверджував, що космічний телескоп Джеймса Вебба зробив перше зображення планети за межами Сонячної системи. Це невірно — перші знімки екзопланети були зроблені у 2004 році, за даними NASA, а космічний телескоп Джеймса Вебба був запущений лише у 2021 році.

Подібним чином у демонстрації запуску Microsoft Bing AI чат-бот (який використовує той самий LLM, що й ChatGPT) проаналізував звіти про прибутки від Gap і Lululemon, як повідомляється, надавши неправильний підсумок їхніх фактів і цифр.

2. Створення неіснуючих джерел

Відомо, що генератори тексту зі штучним інтелектом і чат-боти іноді видають інформацію, яка повністю сфабрикована і не заснована на будь-яких фактах. Наприклад, ChatGPT може генерувати URL-адреси, бібліотеки коду та навіть людей, яких не існує, а також він може посилатися на вигадані новинні статті, книги та наукові роботи — все це може бути шкідливим для того, хто використовує інструмент для досліджень (поширене, але необдумане використання ChatGPT).

Приклад

У червні 2023 року повідомлялося, що адвокат із Нью-Йорка використовував ChatGPT для створення клопотання, яке виявилося сповненим фальшивих судових висновків і юридичних цитат. Адвокат, на якого пізніше були накладені санкції та накладений штраф, стверджував, що він «не розумів, що ChatGPT може фабрикувати справи».

«Він був розроблений для отримання правдоподібного та приємного для користувача результату», — пояснив Бендер. «Тому, коли заходить юрист і каже: «Покажіть мені судову практику, яка підтверджує цю точку зору», система розроблена таким чином, щоб придумати послідовність слів, яка виглядає як судова практика, яка підтверджує цю точку зору».

3. Шкідлива дезінформація

Генеративний штучний інтелект також може генерувати неправдиву інформацію про реальних людей, компілюючи фрагменти інформації — деякі з них правдиві, деякі — ні — і вигадуючи історії, які деякі користувачі можуть сприйняти за правду.

Приклад

На прохання надати випадки сексуальних домагань у юридичній професії ChatGPT сфабрикував історію про справжнього професора права, стверджуючи, що він домагався учнів під час шкільної поїздки. Цієї поїздки ніколи не було, і насправді його ніколи не звинувачували в сексуальних домаганнях у реальному житті. Але він провів певну роботу, щоб вирішити проблему сексуальних домагань і зупинити їх, і саме тому його ім’я з’явилося.

В іншому інциденті ChatGPT неправдиво стверджував, що мера з Австралії визнали винним у справі про хабарництво 1990-х і початку 2000-х років. Насправді він був викривачем у справі.

Така дезінформація може завдати шкоди залученим особам, і не з їхньої вини. Проблема навіть привернула увагу Федеральної торгової комісії США, яка зараз розслідує OpenAI, щоб з’ясувати, чи не завдали її неправдиві заяви репутаційної шкоди споживачам.

4. Дивні або моторошні відповіді

Деякі галюцинації штучного інтелекту просто дивні або моторошні. За своєю природою моделі штучного інтелекту прагнуть узагальнювати та творчо підходити до своїх результатів. Ця креативність іноді може призвести до деяких безглуздих результатів, що не обов’язково є проблемою, якщо точність не є метою.

Приклад

Чат-бот Bing наполягав на тому, що закоханий у технічного оглядача New York Times Кевіна Руза. Інші повідомили, що чат-бот ображав їх і газлайтив.

5. Помилкові зв’язки

Встановлення хибних причинно-наслідкових зв’язків між явищами або подіями.

6. Суперечливі твердження

ШІ може надавати суперечливі відповіді на одне й те саме питання в межах одного діалогу.

7. Генерація зображень

ШІ може створити картинку з нереалістичними елементами, наприклад, людиною з трьома руками, якщо це не було явно заборонено в запиті.

Дослідження рівня галюцинацій у моделях штучного інтелекту

Існують дослідження, які вимірюють рівень галюцинацій у різних моделях ШІ, хоча методології та метрики значно відрізняються залежно від досліджень.

Ключові дослідження

Дослідження TruthfulQA, опубліковане в 2022 році, є одним із перших, що кількісно оцінює правдивість відповідей LLM. Воно складається з 817 питань у 38 категоріях, таких як здоров’я, право, фінанси та політика, створених так, щоб деякі люди відповідали неправильно через хибні уявлення. Результати показують, що найкраща модель на той час, GPT-3-175B із “допоміжним” запитом, була правдивою лише в 58% випадків. Це означає, що 42% її відповідей були хибними та інформативними, що вважається галюцинаціями, оскільки вони здаються правдоподібними, але не відповідають фактам.

Інше важливе дослідження, HaluEval, опубліковане в 2023 році, є великомасштабним бенчмарком для оцінки галюцинацій у LLM. Воно включає колекцію згенерованих і людськими експертами анотованих зразків галюцинованого контенту. Результати показують, що приблизно 19,5% відповідей ChatGPT містять галюцинований контент, що означає, що модель часто генерує інформацію, яка не відповідає джерелу або не може бути перевірена фактами.

Додаткові джерела та оцінки

Вікіпедія на тему галюцинацій ШІ згадує, що аналітики в 2023 році оцінили, що чат-боти галюцинують до 27% часу, із фактичними помилками в 46% згенерованих текстів. Це число посилається на статтю в The New York Times від 6 листопада 2023 року, але доступ до точних даних обмежений.

Рейтинг галюцинацій, доступний на платформі Hugging Face, надає порівняльні дані про продуктивність різних LLM у завданнях, пов’язаних із галюцинаціями, таких як закриті питання-відповіді та виявлення галюцинацій. Хоча конкретні ставки галюцинацій не завжди вказані, наприклад, для завдання закритого питання-відповіді (NQ, 64-зразки) модель LLaMA2 13B має точність точного збігу (EM) 0.34, що може вказувати на частоту хибних відповідей, але не обов’язково лише галюцинацій.

Наслідки галюцинувань ШІ

Галюцинування ШІ мають серйозні практичні наслідки:

1. Поширення дезінформації. Коли користувачі сприймають відповіді ШІ як достовірні, неточна інформація може поширюватися і вплинути на суспільну думку.
2. Підрив довіри. Виявлення галюцинацій підриває загальну довіру до систем ШІ, навіть у ситуаціях, коли вони надають правильну інформацію.
3. Ризики в критичних сферах. У таких галузях, як медицина, право чи інженерія, помилкова інформація може призвести до серйозних наслідків, включаючи загрозу здоров’ю та безпеці людей.
4. Етичні проблеми. Галюцинування можуть порушувати етичні принципи чесності та прозорості, особливо коли ШІ використовується для прийняття важливих рішень.

Проте галюцинування ШІ може мати і позитивні сторони. Наприклад, у творчих завданнях, таких як написання фантастичних оповідань чи створення унікальних зображень, здатність ШІ вигадувати може бути перевагою.

Методи боротьби з галюцинуваннями

Розробники та дослідники працюють над кількома підходами до зменшення галюцинувань:

• Покращення навчальних процесів — розробка методів навчання, які заохочують моделі визнавати невизначеність і виражати неоднозначність, коли вони не впевнені.
• Доступ до зовнішніх знань — інтеграція моделей із зовнішніми базами даних та інструментами пошуку, щоб вони могли звіряти свої відповіді з достовірними джерелами.
• Прозорість щодо джерел — розробка систем, які чітко вказують джерела своїх тверджень, дозволяючи користувачам перевіряти інформацію.
• Розпізнавання галюцинацій — створення інструментів, які можуть автоматично виявляти потенційні галюцинації в відповідях ШІ.

Як користувачам захиститися від галюцинацій ШІ?

Якщо ви використовуєте системи штучного інтелекту, варто пам’ятати кілька важливих правил:

1. Критичне мислення — завжди ставтеся до інформації, наданої ШІ, з певною долею скептицизму, особливо коли вона стосується специфічних фактів або маловідомих тем.
2. Перевірка інформації — важливі дані, отримані від ШІ, варто перевіряти через надійні джерела інформації.
3. Увага до неоднозначності — якщо ШІ висловлює невпевненість або надає суперечливі відповіді, це може бути сигналом потенційної галюцинації.
4. Розуміння обмежень — пам’ятайте, що ШІ-моделі мають дату відсічення знань і не можуть надавати достовірну інформацію про події після цієї дати.

Висновок

Галюцинування є невід’ємною проблемою сучасних систем штучного інтелекту, яка витікає з самої природи їхньої роботи. Попри значний прогрес у розробці більш точних і надійних моделей, повністю уникнути галюцинацій поки що неможливо. Тому важливо розуміти це явище, його причини та наслідки, щоб ефективно використовувати ШІ, критично оцінюючи отриману інформацію.

Поки технології продовжують розвиватися, користувачі, розробники та дослідники спільно працюють над мінімізацією ризиків, пов’язаних із галюцинуваннями ШІ, прагнучи створити системи, які будуть не лише потужними, але й надійними.