Το νέο σύστημα που βασίζεται στη μηχανική μάθηση μπορεί να δημιουργήσει εντυπωσιακό animation ενός προσώπου, βασισμένο σε ένα απλό βίντεο που τραβήχτηκε με ένα iPhone μέσα σε λίγα λεπτά. Η δυνατότητα να λαμβάνονται γρήγορα, υψηλής ποιότητας αποτελέσματα από τυπικά βίντεο έχει αλλάξει τον τρόπο εργασίας των animators και το είδος της εργασίας που μπορούν να αναλάβουν.
Η νέα τεχνολογία αυτόματης δημιουργίας animation βασίζεται στο εργαλείο μοντελοποίησης MetaHuman της Epic, το οποίο λανσαρίστηκε το 2021 ως ένας τρόπος χειροκίνητης δημιουργίας εξαιρετικά λεπτομερών ανθρώπινων μοντέλων στην Unreal Engine 5. Μετά την κυκλοφορία του, πάνω από 1 εκατομμύριο χρήστες έχουν δημιουργήσει εκατομμύρια MetaHumans. Ωστόσο, η δημιουργία των MetaHuman ως animation, εξακολουθούσε να μην είναι εύκολη. Ακόμα και εξειδικευμένα στούντιο συχνά χρειαζόταν να δημιουργήσουν ένα λεπτομερές “4D capture” από εξειδικευμένο hardware και στη συνέχεια να χάσουν “εβδομάδες ή μήνες για την επεξεργασία του αποτελέσματος” για να δημιουργήσουν animation που θα μπορούσε να χρησιμοποιηθεί σε παιχνίδια.
Το MetaHuman Animator έχει σχεδιαστεί για να βελτιώσει σημαντικά αυτή τη διαδικασία. Για να το αποδείξει αυτό, η Epic βασίστηκε στην Performance Artist της Ninja Theory, Melina Juergens, γνωστή για το ρόλο της ως Senua στο Hellblade: Senua’s Sacrifice του 2017. Η 15 δευτερολέπτων απόδοση της Juergens επί σκηνής καταγράφηκε σε ένα iPhone τοποθετημένο σε ένα τρίποδο μπροστά της. Το βίντεο που προέκυψε από αυτή την ερμηνεία επεξεργάστηκε στη συνέχεια σε ένα υπολογιστή υψηλής τεχνολογίας της AMD σε λιγότερο από ένα λεπτό, δημιουργώντας ένα τρισδιάστατο animation που ήταν πολύ κοντά στο αρχικό βίντεο.
Η ταχύτητα και η πιστότητα του αποτελέσματος προκάλεσαν το χειροκρότημα από τους προγραμματιστές που συγκεντρώθηκαν στο Yerba Buena Center for the Arts. Οι μικροσκοπικές πινελιές στην ερμηνεία του Juergens -από τα γυμνά δόντια μέχρι τα μικροσκοπικά σκιρτήματα του στόματος και τις πλάγιες ματιές, ενσωματώνονται όλες στο animation με τρόπο που το καθιστά σχεδόν δυσδιάκριτο από το αρχικό βίντεο. Ακόμη και οι ρεαλιστικές κινήσεις της γλώσσας εξάγονται από τον καταγεγραμμένο ήχο, χρησιμοποιώντας έναν αλγόριθμο “audio to tongue”.
Επιπλέον, η Epic έδειξε πως όλα αυτά τα τικ του προσώπου μπορούν να εφαρμοστούν όχι μόνο στο μοντέλο MetaHuman της Juergens, αλλά και σε οποιοδήποτε μοντέλο που βασίζεται στο ίδιο πρότυπο MetaHuman. Το να βλέπεις τις κινήσεις και τις λέξεις της Juergens να βγαίνουν από το στόμα ενός ιδιαίτερα στυλιζαρισμένου χαρακτήρα animation, λίγα λεπτά αφότου τις εκτέλεσε, ήταν σίγουρα εντυπωσιακό.
Η παρουσίαση ολοκληρώθηκε με το ντεμπούτο ενός trailer εστιασμένου στις επιδόσεις του επερχόμενου Senua’s Saga: Hellblade II. Το trailer γίνεται ακόμα πιο εντυπωσιακό από τη στιγμή που ο Mastilovic ανέφερε ότι η απόδοση της Juergens σε αυτό -με full-body motion capture-, «δεν έχει διορθωθεί ή επεξεργαστεί με κανέναν τρόπο και χρειάστηκε μόλις λίγα λεπτά για να το επεξεργαστεί ένας animator της MetaHuman, από την αρχή μέχρι το τέλος».
