Під час нещодавньої пресконференції генеральний директор OpenAI Сем Альтман заявив, що за останні кілька років він спостерігав за швидким покращенням «IQ» штучного інтелекту.
«Дуже умовно, мені здається, що — це не науково точна відповідь, а скоріше відчуття чи духовне пояснення — кожного року ми рухаємося на одну стандартну девіацію IQ», — сказав Альтман.
Альтман не перший, хто використовує IQ — показник, що оцінює інтелект людини — як орієнтир для прогресу в галузі штучного інтелекту. Впливові особи в сфері AI на соціальних платформах проводили тести IQ для моделей і ранжували їх результати.
Однак багато експертів вважають, що IQ — погана і навіть оманлива метрика для оцінки можливостей штучного інтелекту.
«Може бути дуже спокусливо застосовувати ті ж критерії, що й для людей, щоб оцінювати можливості чи прогрес, але це як порівнювати яблука з апельсинами», — пояснила Сандра Вахтер, дослідниця технологій і регулювання в Оксфордському університеті, в коментарі для TechCrunch.
Тести IQ є відносними, а не об'єктивними вимірюваннями певних типів інтелекту. Вони вважаються відносно точними для оцінки логіки та абстрактного мислення. Але вони не вимірюють практичний інтелект — здатність розуміти, як змусити речі працювати, — і, в кращому випадку, дають лише моментальний знімок розумових здібностей.
«IQ — це інструмент для вимірювання людських можливостей, і він сам по собі є суперечливим, оскільки базується на припущеннях щодо того, що саме становить людський інтелект», — зазначила Вахтер.
«Але цей показник не можна використовувати для оцінки штучного інтелекту. Автомобіль швидший за людину, а підводний човен краще занурюється у воду. Але це не означає, що автомобілі чи підводні човни є розумнішими за людей. Ви просто ототожнюєте один аспект продуктивності з людським інтелектом, який набагато складніший».
Щоб добре скласти тест IQ, тестувальник повинен мати добре розвинену робочу пам’ять і знати західні культурні норми. Це створює можливості для упередженості, через що один психолог назвав тести IQ «ідейно корумпованими механічними моделями» інтелекту.
Те, що модель добре справляється з тестом IQ, більше говорить про недоліки самого тесту, ніж про реальні можливості моделі, зазначає Ос Кейз, докторант Вашингтонського університету, який вивчає етичні аспекти AI.
«Ці тести досить легко обіграти, якщо у вас є практично нескінченний обсяг пам’яті та терпіння», — сказав Кейз.
«IQ-тести — це дуже обмежений спосіб вимірювання когнітивних здібностей, свідомості та інтелекту. Це було зрозуміло ще до винаходу цифрового комп’ютера».
Штучний інтелект також має несправедливу перевагу в тестах IQ, оскільки моделі володіють величезною кількістю пам’яті та внутрішніх знань. Багато з них навчаються на публічних даних з інтернету, а там повно прикладів тестових питань з IQ-тестів.
«Тести часто повторюють дуже схожі патерни — безпомилковий спосіб підвищити свій IQ полягає в тому, щоб багаторазово тренуватися проходити ці тести. По суті, саме це і робить кожна AI-модель», — пояснив Майк Кук, науковий співробітник Королівського коледжу Лондона, який спеціалізується на штучному інтелекті.
«Коли я щось вивчаю, це не завантажується в мій мозок з ідеальною чіткістю мільйон разів, як у AI».
Зрештою, тести IQ — хоч і не без упередженості — були створені для людей. Вони розроблялися для оцінки загальних навичок розв’язання проблем і не підходять для технології, яка вирішує завдання зовсім по-іншому.
«Ворона може використовувати інструмент, щоб дістати ласощі з коробки, але це не означає, що вона може вступити до Гарварду», — зазначив Кук.
«Коли я розв’язую математичну задачу, мій мозок одночасно обробляє слова на сторінці, пригнічує думки про покупки, які потрібно зробити, або про те, чи холодно в кімнаті. Іншими словами, людський мозок бореться з набагато більшою кількістю факторів, коли вирішує проблему — будь-яку проблему, будь то тест IQ чи щось інше — і робить це з набагато меншою допомогою, ніж AI».
Усе це свідчить про необхідність кращих методів оцінки штучного інтелекту, зазначає Хейді Хлааф, головна наукова співробітниця AI Now Institute.
«В історії обчислювальної техніки ми ніколи не порівнювали обчислювальні можливості машин із людськими, тому що природа обчислень передбачає, що системи завжди могли виконувати завдання, які перевершують людські можливості», — сказала Хлааф.
«Ця ідея — безпосередньо порівнювати продуктивність AI із людськими здібностями — з’явилася відносно недавно. Вона викликає чимало суперечок, адже критерії оцінки штучного інтелекту постійно змінюються і розширюються».
Авторка: Дар’я Бровченко
Немає коментарів:
Дописати коментар
Примітка: лише член цього блогу може опублікувати коментар.