Що відбувається, коли ШІ не просто генерує контент, а й втілює його? ШІ вже освоїв здатність створювати реалістичні фото, відео та голоси, проходячи візуальний та аудіальний тест Тюрінга. Наступний великий крок — це ШІ-аватари: поєднання обличчя з голосом для створення персонажа, що говорить.
Не можна просто згенерувати зображення обличчя, анімувати його та додати озвучення? Не зовсім. Виклик не тільки в тому, щоб правильно синхронізувати рухи губ, але й в тому, щоб обличчя та мова тіла рухались у гармонії. Було б дивно, якщо б ваше обличчя виражало здивування, але щоки та підборіддя залишались на місці! А якщо голос звучить збуджено, але обличчя не реагує відповідним чином, ілюзія людяності руйнується.
Ми вже починаємо бачити реальний прогрес. ШІ-аватари вже використовуються в створенні контенту, рекламі та корпоративних комунікаціях. Сучасні версії здебільшого є "говорячими головами" — функціональними, але обмеженими. Проте за останні кілька місяців ми стали свідками захоплюючих розробок, і ясно, що на горизонті є справжній прогрес.
ШІ-аватари — це унікальна та складна проблема в дослідженнях. Для того, щоб створити говорюче обличчя, модель повинна навчитися правильно відображати відповідність між звуками мови (фонемами) та рухами губ (віземами). Якщо це буде "не в попад", рухи губ і голос виглядатимуть роз’єднаними або навіть зовсім не зв’язаними.
Ускладнює задачу й те, що коли ви говорите, рухається не лише рот. Вся ваша обличчя та інколи верхня частина тіла, а інколи й руки, рухаються разом з рухами губ. І у кожної людини свій власний стиль мовлення. Подумайте про те, як ви говорите порівняно з вашим улюбленим знаменитістю: навіть якщо ви вимовляєте одну й ту саму фразу, ваші губи рухатимуться по-різному. Якщо ви спробуєте застосувати свою синхронізацію губ до їхнього обличчя, це виглядатиме дивно.
Моделі, які розвиваються зараз, набагато гнучкіші й потужніші. Вони здатні створювати рухи не тільки для частини тіла, а й для всього тіла, реалістичні говорючі обличчя та динамічний рух фону — все це в одному відео! Сучасні моделі навчаються на набагато більших наборах даних, використовуючи різноманітні техніки для забезпечення точності синхронізації губ .
Реальні завдання для ШІ-аватарів
Є безліч варіантів використання ШІ-аватарів — лише уявіть всі ті місця, де ви взаємодієте з персонажем або дивитесь відео, де хтось говорить. Ми вже спостерігаємо використання ШІ-аватарів серед споживачів, малих і середніх бізнесів, а також великих підприємств.
Зараз будь-хто може створити анімованих персонажів з одного зображення, що відкриває величезні можливості для творчості. Це є величезним проривом для звичайних людей, які хочуть використовувати ШІ для створення історій. Однією з причин, чому ранні відео на основі ШІ критикувались як "слайди зображень", було те, що там не було балакучих персонажів (або мова була подана лише у вигляді озвучення).
Коли ви можете змусити персонажа говорити, ваш контент стає набагато цікавішим. Окрім традиційного відео, можна створювати ШІ-стримерів, подкастерів та музичні відео.
Реклама стала однією з перших реальних можливостей використання ШІ-аватарів. Замість того щоб наймати акторів і знімальну групу, бізнеси можуть тепер використовувати гіперреалістичних ШІ-персонажів для просування своїх товарів.
Великі підприємства: Масштабування контенту
ШІ-аватари також знаходять своє застосування в навчанні та розвитку персоналу, локалізації контенту для різних ринків і навіть в масштабуванні присутності керівників компаній.
Компоненти ШІ-аватара:
Обличчя: Необхідно, щоб воно залишалося послідовним між кадрами й рухалося природно під час розмови.
Голос: Має бути реалістичним і відповідати характеру.
Синхронізація губ: Це дуже складний процес, який потребує високої точності.
Тіло: Нові моделі дозволяють створювати аватарів з рухомими тілами.
Фон: Взаємодія аватарів з навколишнім середовищем також є важливим компонентом.
Що ми хочемо побачити далі?
Краща трансформація персонажів.
Більш природні рухи обличчя та вирази.
Реалістичніша взаємодія з реальним світом.
Більше можливостей для реального часу.
Куди ми рухаємось?
Хоча важко точно передбачити, куди направлятиметься ця сфера, ми очікуємо, що ШІ-аватари займуть своє місце у численних галузях, від реклами до персоналізованих відео на замовлення.
Авторка: Дар’я Бровченко
Немає коментарів:
Дописати коментар
Примітка: лише член цього блогу може опублікувати коментар.