Що таке галюцинації ШІ? Чому ШІ іноді "вигадує" інформацію

Технології, що ґрунтуються на штучному інтелекті, можуть стикатися з галюцинаціями.

Коли алгоритмічна система генерує інформацію, яка здається правдоподібною, але насправді є неточною чи оманливою, комп'ютерні вчені називають це "галюцинацією ШІ". Дослідники виявили ці поведінкові явища в різних типах ШІ-систем, від чат-ботів, таких як ChatGPT, до генераторів зображень, таких як Dall-E.

Де б не використовувалися ШІ-системи у повсякденному житті, їхні галюцинації можуть нести ризики. Деякі з них можуть бути незначними — коли чат-бот дає неправильну відповідь на просте питання, користувач може залишитись невірно поінформованим. Але в інших випадках ставки значно вищі. Наприклад, у судових залах, де ШІ-софт використовують для прийняття рішень щодо покарань, або в страхових компаніях, які використовують алгоритми для визначення права клієнта на відшкодування, галюцинації ШІ можуть призвести до кардинальних наслідків. Вони можуть навіть бути смертельними: автономні транспортні засоби використовують ШІ для виявлення перешкод, інших транспортних засобів і пішоходів.

Як ШІ "вигадує" інформацію 

Наслідки галюцинацій залежать від типу ШІ-системи. У випадку великих мовних моделей, на яких працюють чат-боти, галюцинації проявляються у вигляді неправдивої або вигаданої інформації, яка звучить переконливо, але не відповідає дійсності. Наприклад, чат-бот може створити посилання на неіснуючу наукову статтю або подати історичний факт, який є хибним, проте сформульований так, що здається правдивим.

Наприклад, у судовій справі 2023 року адвокат із Нью-Йорка подав юридичний документ, створений за допомогою ChatGPT. Згодом суддя помітив, що у документі було згадано справу, якої насправді не існувало — її вигадала нейромережа. Якби цю помилку не виявили, це могло б вплинути на хід судового процесу.

У випадку з інструментами ШІ для розпізнавання об'єктів на зображеннях галюцинації відбуваються, коли ШІ генерує підписи, що не відповідають реальному змісту зображення. Наприклад, якщо запитати систему, щоб вона перерахувала об'єкти на зображенні, де є лише жінка, яка розмовляє по телефону, і отримати відповідь, що на зображенні жінка, яка сидить на лавці, розмовляючи по телефону — це неправильна інформація, яка може мати серйозні наслідки в контекстах, де точність критична.

Що спричиняє галюцинації?

Інженери створюють ШІ-системи, збираючи величезні обсяги даних і передаючи їх в обчислювальну систему, яка аналізує ці дані та виявляє в них закономірності. На основі виявлених патернів система вчиться відповідати на запитання або виконувати завдання.  

Наприклад, якщо надати ШІ 1000 фотографій різних порід собак із відповідними підписами, він навчиться розрізняти пуделя і золотистого ретривера. Однак, як показали дослідження в галузі машинного навчання, якщо такій системі подати зображення мафіна, вона може помилково визначити його як чихуахуа.

Якщо система не розуміє запитання або отриману інформацію, вона може «вигадати» відповідь. Галюцинації зазвичай виникають, коли модель намагається заповнити прогалини, спираючись на схожі контексти з навчальних даних, або коли її навчали на упередженій чи неповній інформації. Це призводить до хибних висновків, як-от у випадку, коли система помилково визначає мафін як чихуахуа.

В чому різниця між творчістю та галюцинаціями

Важливо розрізняти галюцинації ШІ та творчі результати, які система генерує, коли її просять бути креативною, наприклад, під час написання історій або створення художніх зображень. Такі результати є бажаними. Натомість галюцинації виникають, коли ШІ просять надати фактичну інформацію або виконати конкретне завдання, але система генерує неправдиву чи оманливу інформацію, подаючи її як точну. Основна різниця полягає в контексті та меті: творчі виходи є прийнятними для мистецьких завдань, тоді як галюцинації стають проблемою, коли точність і надійність є критичними.

Що на кону?

Наслідки помилкового визначення мафіна як чихуахуа можуть здатися незначними, але варто розглянути різні технології, що використовують системи розпізнавання зображень. Наприклад, автономні транспортні засоби, які не можуть правильно ідентифікувати об'єкти, можуть спричинити смертельні аварії. Автономні військові дрони, що помилково визначають ціль, можуть поставити під загрозу життя цивільних осіб.

ШІ інструменти для автоматичного розпізнавання мови можуть створювати галюцинації, додаючи слова чи фрази, які насправді не були вимовлені. Це може статися в шумних умовах, коли система намагається розібратися з фоновими звуками, як проїжджаючий вантажівка чи плач дитини.

Як перевіряти роботу ШІ?

Незалежно від зусиль компаній щодо мінімізації галюцинацій, користувачі повинні залишатися пильними та ставити під сумнів результати роботи ШІ, особливо в контекстах, що вимагають точності та надійності. Перевірка інформації, згенерованої ШІ, за допомогою надійних джерел, консультування з експертами та усвідомлення обмежень цих інструментів є важливими кроками для мінімізації їхніх ризиків.

Авторка: Дар’я Бровченко

Джерело