NVIDIA, yapay zekâ tabanlı teknolojilerini bir araya getiren Omniverse Audio2Face platformunu tanıttı. Bu teknoloji, yalnızca bir ses kaydından yola çıkarak karakterlerde yüz animasyonu ve dudak senkronizasyonu üretebiliyor. Özellikle oyun, film, metaverse ve dijital içerik üretiminde devrim yaratması beklenen bu araç, sanatçılara ve geliştiricilere daha hızlı ve esnek çözümler sunuyor.
Audio2Face, bir ses örneğini analiz ederek karakterin performansına uygun duyguları otomatik olarak yansıtıyor. Dudak hareketleri, gözler ve hatta dil dahil olmak üzere yüzün tüm bölümleri animasyona dahil edilebiliyor. Kullanıcılar, karakter aktarma özelliği sayesinde kendi modellerini kolayca bağlayıp animasyonları kendi karakterlerine entegre edebiliyor. Ayrıca sistem, “Character Setup and Transfer” özelliği ile gözler, dişler ve dil gibi detaylı yüz bileşenlerini de eksiksiz şekilde yeniden hedefleyebiliyor.
Canlı bağlantı (LiveLink) desteği sayesinde Audio2Face, üretilen animasyonları anlık olarak diğer uygulamalara aktarabiliyor. Bu özellik, hem canlı yayınlarda hem de geleneksel içerik üretim süreçlerinde kullanılabiliyor. Platform, farklı çıktı formatlarını destekliyor; özel “blend shape mesh” bağlantısı kurulabiliyor ve elde edilen sonuçlar dışa aktarılabiliyor.
Ancak Audio2Face’in çalışabilmesi için belirli teknik gereksinimler bulunuyor. Tam yüz karakter kurulumu için, baş modeli ayrı parçalara ayrılmalı: kafa, sol göz, sağ göz, alt dişler ve dil tek tek bağımsız mesh bileşenleri olarak tanımlanmalı. Sub-mesh barındıran modeller sistem tarafından kabul edilmiyor. NVIDIA, bu konuda geliştiricilere çevrimiçi belgeler ve eğitim videoları sunuyor.
Platformun çalışması için ayrıca Windows 64-bit 1909 veya daha yeni sürüm ya da Ubuntu Linux 20.04 veya üzeri gerekiyor. Audio2Face’i kullanmak isteyenlerin, Omniverse Nucleus uygulamasını da Omniverse Launcher üzerinden kurmaları gerekiyor.
NVIDIA’nın Audio2Face çözümü, gerçek zamanlı yüz animasyonu üretiminde yapay zekânın geldiği noktayı gözler önüne seriyor. Hem içerik üreticilerine hem de oyun ve eğlence sektörüne büyük hız ve esneklik kazandıracak bu araç, dijital karakterlerin geleceğini yeniden şekillendirecek gibi görünüyor.
