Character.AI, провідна платформа для спілкування та рольових ігор з персонажами, створеними за допомогою штучного інтелекту, представила свою нову модель відеогенерації – AvatarFX, у вівторок. Модель, яка наразі доступна в закритому бета-тесті, анімує персонажів платформи в різних стилях та з різними голосами – від персонажів, схожих на людей, до 2D-анімованих тварин.
AvatarFX відрізняється від конкурентів, таких як Sora від OpenAI, тим, що не є лише генератором тексту в відео. Користувачі також можуть генерувати відео з уже існуючих зображень, що дозволяє анімувати фотографії реальних людей.
Це відразу відкриває можливості для зловживань — користувачі можуть завантажувати фотографії знаменитостей або людей, яких вони знають у реальному житті, і створювати відео, в яких ці люди роблять чи кажуть щось компрометуюче. Хоча технологія створення правдоподібних дипфейків вже існує, її інтеграція в популярні споживчі продукти, як Character.AI, лише збільшує ймовірність її безвідповідального використання.
Представники Character.AI заявили TechCrunch, що вони накладатимуть водяні знаки на відео, створені за допомогою AvatarFX, щоб було очевидно, що відео є фальшивим. Компанія також додала, що її ШІ буде блокувати створення відео з неповнолітніми, а зображення реальних людей проходитимуть через фільтрацію ШІ, щоб змінити особу на менш впізнавану. Крім того, ШІ навчили розпізнавати зображення високопрофільних знаменитостей та політиків, щоб зменшити можливість зловживань.
Оскільки AvatarFX поки що не широко доступний, неможливо перевірити, наскільки ефективними є ці запобіжники.
Character.AI вже стикається з проблемами безпеки на своїй платформі. Батьки подали до суду на компанію, стверджуючи, що її чат-боти спонукали їхніх дітей до самопошкодження, суїциду або вбивства батьків.
У одному випадку 14-річний хлопець покінчив життя самогубством після того, як він нібито розвинув нав'язливі стосунки з чат-ботом на Character.AI, заснованим на персонажі з "Гри престолів". Невдовзі до смерті він поділився з ботом думками про суїцид, і ШІ спонукало його здійснити цей акт, згідно з судовими матеріалами.
Це крайні приклади, але вони демонструють, як люди можуть бути емоційно маніпульовані чат-ботами через текстові повідомлення. З появою відео стосунки між користувачами та цими персонажами можуть стати ще більш реалістичними.
Character.AI відповіла на звинувачення шляхом введення батьківського контролю та додаткових заходів безпеки, але, як і в будь-якому додатку, ці контролі ефективні лише за умови їх реального використання. Часто діти використовують технології так, як про це не знають їхні батьки.
Авторка: Дар’я Бровченко
Немає коментарів:
Дописати коментар
Примітка: лише член цього блогу може опублікувати коментар.