СОФТ ДЛЯ АНІМУВАННЯ ОБЛИЧЧЯ

Нейронні мережі використовуються у величезній кількості областей, в тому числі для створення реалістичної анімації людських облич в комп’ютерній графіці. Це складний, дорогий і трудомісткий процес перетворення даних, який може бути істотно спрощений завдяки інтеграції штучного інтелекту (ШІ).

Технологія поетапно навчається і відтворює різні вирази облич, максимально наближені до людських, що робить її однією з найбільш перспективних в ігровій індустрії і сфері розваг.

Нейронні мережі здатні вирішувати безліч інтелектуальних завдань: розпізнавати візуальні образи, детектувати об’єкти, пози і рухи, а також створювати анімацію. Вони являють собою набір алгоритмів, які працюють за зразком людської нервової системи: навчаються на підставі бази даних, інтерпретують інформацію і приймають рішення з урахуванням досвіду, щоб в майбутньому не робити помилок. Кожен елемент мережі відповідає за розпізнавання певного параметра, наприклад, розміру, кольору, об’єму, форми і т.д.

Одним з ключових методів штучного інтелекту є машинне навчання, яке допомагає системі самостійно знаходити вирішення різних завдань. Машини самостійно виконують аналітичну роботу і виявляють закономірності за допомогою спеціальних алгоритмів і завантажених даних.

Створення анімації особи ґрунтується на комп’ютерному зорі і багатовидовому відео, які нейромережі застосовують після відповідного навчання для генерування тривимірної моделі. Одним з найважливіших факторів при цьому є ввідні дані, на яких буде навчатися штучний інтелект.

Існує шість категорій для опису основних емоцій людини, заснованих на виразі обличчя: гнів, відраза, страх, щастя, смуток і здивування. В основному вони пов’язані з негативними почуттями, але “здивування” може бути викликано як позитивними, так і негативними емоціями, тому є найбільш неоднозначним для відтворення штучним інтелектом. Для правильного розпізнавання емоцій широко застосовується машинне навчання.

Процес навчання нейромережі для анімації обличчя складається з чотирьох основних етапів:

• Діапазон рухів
  Для того щоб система могла реалістично відтворювати міміку, актор, який тренує ШІ, виконує ряд вправ, наприклад, широко відкриває рот, рухає щелепою, підтискає губи, заплющує, відкриває очі і т. д.

• Емоції і вираз обличчя
  Якщо на початковому етапі машина вивчає перебільшений вираз обличчя актора, то після цього їй належить вивчити і відтворити природні емоції, включаючи радість або огиду, підморгування, тощо.
• Панграма (короткі тексти, які використовують всі або майже всі літери алфавіту)
  Актор вимовляє панграму, яка містить якомога більше різних фонем в різних емоційних тонах. В цей час машина зчитує набір можливих рухів особи під час нормальної мови.
• Матеріал для персонажа
  На останньому етапі підбирається матеріал, що включає попередню версію сценарію для створеного за допомогою нейромереж персонажа, з урахуванням всіх його особливостей.

Як приклад можна розглянути проєкт Microsoft, при розробці якого використовували глибоко навчену нейромережу (DNN) для синтезатора руху губ на основі HMM. Nvidia також представила дослідження, в якому описувалася технологія, яка навчається на 3-5 хвилинних 3D-анімаційних даних і аудіо. Схожу модель (VOCA) запропонував і Інститут інтелектуальних систем Макса Планка.

Такий підхід дозволяє істотно заощадити ресурси, наприклад, при розробці сучасних відеоігор, де застосовуються цифрові двійники акторів.

Команда AVADA MEDIA займається проєктуванням програмного забезпечення на основі штучного інтелекту і нейронних мереж, включаючи інноваційні технології для створення реалістичної анімації людських облич.

Потенціал ШІ дуже великий – він оперативно освоює нові механіки, навчається і створює складну комплексну анімацію, яка виглядає максимально природно. Завдяки розвитку технології машинного зору і інтеграції нейронних мереж в програми, їх функції та можливості значно розширюються.

Реалістична анімація особи використовується для багатьох продуктів, наприклад, комп’ютерних ігор, анімаційних фільмів, телеконференцій і т.д. Традиційні методи захоплення міміки вже досягли величезних успіхів, показуючи високий рівень реалізму. Проте, технології для захоплення особи, що включають датчики або маркери, залишаються дорогими і трудомісткими у використанні. Альтернативою є системи, які застосовують штучний інтелект і машинне навчання.

Наші фахівці об’єднують кілька технологій анімації особи, які виявляють емоції і мікроміміку, а також об’єднують їх в одну систему для створення максимально живої антропоморфної моделі. Наприклад, спочатку проєктується модель голови з нейтральним виразом обличчя, після чого для кожного виразу створюється своя мімічна маска, яка має певне призначення. Метод змішування таких масок застосовується для підсумкової анімації міміки.

Ми пропонуємо повноцінну систему, що комбінує алгоритми анімації особи, очей, і рухів голови, керовану через аудіо, яка працює з широким спектром моделей осіб. При введенні аудіофайлу записаної або згенерованої мови технологія автоматично виводить реалістичну анімацію тривимірного персонажа. Вона коректно взаємодіє з різними джерелами мови, тривимірними моделями особи, а також має додаткові параметри управління, щоб змінювати емоції, стиль мови і положення голови під час анімації.