NVIDIA оголосила про відкриття вихідного коду свого інструмента Audio2Face, який генерує реалістичну міміку та рухи губ 3D‑аватарів на основі аудіо. Відтепер розробники можуть безплатно використовувати модель, SDK та навчальний фреймворк для створення персонажів у іграх, застосунках і навіть у прямих трансляціях.
Audio2Face аналізує акустичні характеристики голосу — інтонацію, фонеми, тембр — і перетворює їх на дані для анімації, які накладаються на 3D‑модель. Це дозволяє отримати точну синхронізацію руху губ і виразів обличчя як у заздалегідь записаному контенті, так і в реальному часі. NVIDIA підкреслює, що технологія може працювати з емоційними відтінками мови, роблячи цифрових персонажів більш "живими".
Розробники вже інтегрували Audio2Face у свої проєкти: зокрема, Farm51 використала його у грі Chernobylite 2: Exclusion Zone, а також технологія з’явиться в Alien: Rogue Incursion Evolved Edition.
Разом із моделями NVIDIA відкрила і навчальний фреймворк, що дозволяє адаптувати систему під конкретні сценарії. Доступні також плагіни для Unreal Engine 5 та Autodesk Maya, що спрощує інтеграцію.
Таким чином, відкриття Audio2Face може суттєво прискорити створення лицевих анімацій і знизити витрати на ручну анімацію, відкривши нові можливості для ігор, медіа та віртуальних сервісів.
Читайте також: Zoom додає фотореалістичні ШІ-аватари з відтворенням міміки користувачів