СОФТ ДЛЯ АНИМИРОВАНИЯ ЛИЦ

Нейронные сети используются в огромном количестве областей, в том числе для создания реалистичной анимации человеческих лиц в компьютерной графике. Это сложный, дорогостоящий и трудоемкий процесс преобразования данных, который может быть существенно упрощен благодаря интеграции искусственного интеллекта (ИИ).

Технология поэтапно обучается и воспроизводит различные выражения лиц, максимально приближенные к человеческим, что делает ее одной из самых перспективных в игровой индустрии и сфере развлечений.

Нейронные сети способны решать множество интеллектуальных задач: распознавать визуальные образы, детектировать объекты, позы и движения, а также создавать анимацию. Они представляют собой набор алгоритмов, которые работают по образцу человеческой нервной системы: обучаются на основании базы данных, интерпретируют информацию и принимают решения с учетом опыта, чтобы в будущем не совершать ошибок. Каждый элемент сети отвечает за распознавание определенного параметра, например, размера, цвета, объема, формы и т. д.

Одним из ключевых методов искусственного интеллекта является машинное обучение, которое помогает системе самостоятельно находить решения различных задач. Машины самостоятельно выполняют аналитическую работу и выявляют закономерности при помощи специальных алгоритмов и загруженных данных.

Создание анимации лица основывается на компьютерном зрении и многовидовом видео, которые нейросети применяют после соответствующего обучения для генерирования трехмерной модели. Одним из важнейших факторов при этом являются вводные данные, на которых будет обучаться искусственный интеллект.

Существует шесть категорий для описания основных эмоций человека, основанных на выражении лица: гнев, отвращение, страх, счастье, печаль и удивление. В основном они связаны с негативными чувствами, но “удивление” может быть вызвано как положительными, так и отрицательными эмоциями, поэтому является наиболее неоднозначным для воспроизведения искусственным интеллектом. Для правильного распознавания эмоций широко применяется машинное обучение.

Процесс обучения нейросети для анимирования лиц состоит из четырех основных этапов:

• Диапазон движений

Для того чтобы система могла реалистично воспроизводить мимику, актер, который тренирует ИИ, выполняет ряд упражнений, например, широко открывает рот, двигает челюстью, поджимает губы, зажмуривается, открывает глаза и т. д.

• Эмоции и выражение лица

Если на начальном этапе машина изучает преувеличенные выражения лица актера, то после этого ей предстоит выучить и воспроизвести естественные эмоции, включая радость или отвращение, подмигивание, прищуривание и пр.

• Панграммы (короткие тексты, использующие все или почти все буквы алфавита)

Актер произносит панграммы, которые содержат как можно больше различных фонем в разных эмоциональных тонах. В это время машина считывает набор возможных движений лица во время нормальной речи для заданного языка.

• Материал для персонажа

На последнем этапе подбирается материал, включающий предварительную версию сценария для созданного при помощи нейросетей персонажа, с учетом всех его особенностей.

В качестве примера можно рассмотреть проект Microsoft, при разработке которого использовали глубоко обученную нейросеть (DNN) для синтезатора движения губ на основе HMM. Nvidia также представила исследование, в котором описывалась технология, обучающаяся на 3-5 минутных 3D-анимационных данных и аудио. Похожую модель (VOCA) предложил и Институт интеллектуальных систем Макса Планка.

Такой подход позволяет существенно сэкономить ресурсы, например, при разработке современных видеоигр, где применяются цифровые двойники актеров.

Команда AVADA MEDIA занимается проектированием программного обеспечения на основе искусственного интеллекта и нейронных сетей, включая инновационные технологии для создания реалистичной анимации человеческих лиц.

Потенциал ИИ очень велик — он оперативно осваивает новые механики, обучается и создает сложную комплексную анимацию, которая выглядит максимально естественно. Благодаря развитию технологии машинного зрения и интеграции нейронных сетей в программы, их функции и возможности значительно расширяются.

Реалистичная анимация лица используется для многих продуктов, например, компьютерных игр, анимационных фильмом, телеконференций и т. д. Традиционные методы захвата мимики уже достигли огромных успехов, показывая высокий уровень реализма. Тем не менее, технологии для захвата лица, включающие датчики или маркеры, остаются дорогими и трудоемкими в использовании. Альтернативой являются системы, применяющие искусственный интеллект и машинное обучение.

Наши специалисты объединяют несколько технологий анимации лица, которые выявляют эмоции и микромимику, а также объединяют их в одну систему для создания максимально живой антропоморфной модели. Например, сначала проектируется модель головы с нейтральным выражением лица, после чего для каждого выражения создается своя мимическая маска, которая имеет определенное назначение и вес. Метод смешивания таких масок применяется для итоговой анимации мимики.

Мы предлагаем полноценную систему, комбинирующую алгоритмы анимации лица, глаз, и движений головы, управляемую через аудио, которая работает с широким спектром моделей лиц. При вводе аудиофайла записанной или сгенерированной речи технология автоматически выводит реалистичную анимацию трехмерного персонажа. Она корректно взаимодействует с различными источниками речи, языками и трехмерными моделями лица, а также имеет дополнительные параметры управления, чтобы изменять эмоции, стиль речи и положение головы во время анимации.