Проблеми з точністю генеративного ШІ не зникнуть найближчим часом, кажуть дослідники

Штучний інтелект повинен стати значно надійнішим, щоб виправдати свої гучні обіцянки. Штучні інтелектуальні чат-боти часто роблять багато помилок. Сподіваємось, ніхто не дотримувалися поради Google додавати клей до рецепту піци або вживати каміння для здоров’я.

Ці помилки відомі як «галюцинації» — це, по суті, те, що модель вигадує. Чи покращиться ця технологія? Навіть дослідники, які вивчають ШІ, не надто оптимістично оцінюють можливість значних покращень у найближчому майбутньому.

Це один з висновків, зроблених групою з двох десятків експертів зі штучного інтелекту, яку цього місяця оприлюднила Асоціація сприяння розвитку штучного інтелекту (AAAI). Група також провела опитування серед понад 400 членів асоціації.

Попри оптимістичні заяви розробників, які стверджують, що майже досягли прориву у вдосконаленні ШІ, панель академіків і експертів залишаються значно обережнішими щодо того, як швидко ці інструменти розвиватимуться. Це стосується не лише точності фактів та уникання дивних помилок.

Щоб створити модель, здатну зрівнятися з людським інтелектом, відому як штучний загальний інтелект (AGI), надійність інструментів ШІ повинна значно покращитись. Однак дослідники вважають, що досягти таких покращень у найближчому майбутньому малоймовірно.

"Ми схильні бути обережними і не вірити в щось, поки це не спрацює," — сказав Винсент Коніцер, професор комп’ютерних наук в Університеті Карнегі-Меллона і один із учасників панелі.

Штучний інтелект швидко розвивається в останні роки
Мета звіту, написала президент AAAI Франческа Россі, полягає в тому, щоб підтримати дослідження штучного інтелекту, що створює технології, які допомагають людям. Проблеми довіри та надійності є серйозними, не тільки для надання точної інформації, але й для уникнення упередженості та забезпечення того, щоб майбутній ШІ не призвів до серйозних непередбачених наслідків.

"Ми всі повинні працювати разом, щоб розвивати ШІ відповідально, щоб технологічний прогрес підтримував прогрес людства і відповідав людським цінностям," — написала вона.

Швидкість розвитку ШІ, особливо з того часу, як OpenAI випустила ChatGPT у 2022 році, була вражаючою, сказав Коніцер.

"В деяких аспектах це вражаюче, і багато з цих технологій працюють набагато краще, ніж більшість з нас коли-небудь очікувала," — додав він.

Існують певні напрямки досліджень, де "гучні заяви мають підґрунтя," — сказав Джон Тікстун, доцент комп’ютерних наук в Корнельському університеті. Це особливо стосується математики або науки, де користувачі можуть перевірити результати моделі.

"Ця технологія вражає," — сказав Тікстун. "Я працюю в цій галузі більше десяти років, і мене шокує, як швидко вона покращилася."

Незважаючи на ці досягнення, все ще існують значні проблеми, які вимагають досліджень і уваги, за словами експертів.

Чи почнуть чат-боти отримувати факти правильно?
Попри певний прогрес у підвищенні надійності інформації, яку надають генеративні моделі ШІ, ще потрібно багато роботи для досягнення необхідної точності. Нещодавній звіт від Columbia Journalism Review показав, що чат-боти, ймовірно, не відмовляться від відповіді на питання, на які вони не можуть відповісти точно, будучи впевненими в неправильній інформації і вигадуючи посилання на джерела для підтримки неправдивих тверджень.

"Покращення надійності та точності — це, мабуть, найбільша проблема в дослідженнях ШІ сьогодні," — йдеться в звіті AAAI.

Дослідники відзначили три основні способи підвищити точність систем ШІ: налаштування, наприклад, з посиленням навчання з людським зворотним зв'язком; використання інформації для генерації відповідей, де система збирає конкретні документи і черпає відповіді з них; та ланцюгове мислення, де питання розбивається на дрібніші кроки, щоб модель могла перевірити можливі галюцинації.

"Точність ще далеко" — сказано в звіті. Приблизно 60% опитаних висловили сумніви щодо того, що питання точності або надійності будуть вирішені найближчим часом.

В індустрії генеративного ШІ була певна оптимістична думка, що масштабування існуючих моделей зробить їх точнішими і зменшить галюцинації.

"Я думаю, що ця надія завжди була трохи надмірно оптимістичною," — сказав Тікстун. 

"Протягом останніх кількох років я не бачив жодних доказів того, що ми ось-ось отримаємо точні, високо фактичні мовні моделі."

Чи є ШІ готовим до загального інтелекту?
Одним з пріоритетів індустрії є гонка за створенням так званого штучного загального інтелекту (AGI) — моделі, яка здатна до людського рівня мислення або навіть перевершує його.

Опитування, проведене в рамках звіту, виявило сильні думки щодо гонки за AGI. Більше трьох чвертей (76%) респондентів заявили, що масштабування існуючих ШІ-технік, таких як великі мовні моделі, навряд чи призведе до AGI. Більшість дослідників сумнівається в тому, що поточний шлях до AGI буде успішним.

Схожа більшість вважає, що системи, здатні до штучного загального інтелекту, повинні бути публічно власністю, якщо вони будуть розроблені приватними компаніями (82%). Це відповідає занепокоєнням щодо етики та потенційних негативних наслідків створення системи, яка може перевершити людину в розумових здібностях.

"Ми дуже далекі від цього," — сказав Тікстун.

Авторка: Дар’я Бровченко

Джерело