Avatar hd sustav

HD sustav avatara: kako odabrati kit za snimanje izraza lica za streaming

HD sustav avatara zamjenjuje sliku s web kamere animiranim likom u stvarnom vremenu, usklađenim s pokretima lica, a ponekad i tijela. Princip se temelji na tri elementa: senzoru (web kamera, infracrveni senzor ili TrueDepth kamera), motoru za praćenje koji pretvara pokrete u podatke te 2D ili 3D rigu koji ih prikazuje na ekranu. Kvaliteta koju gledatelji percipiraju gotovo u potpunosti ovisi o kombinaciji senzora i kašnjenja, mnogo više nego o dizajnu samog lika.

Rezolucija, broj sličica i kašnjenje: tri broja koja su bitna

Snimanje u 720p tehnički je dovoljno, no praćenje postaje nestabilno čim ambijentalno osvjetljenje padne ispod 300 luksa. U 1080p pri 60 sličica u sekundi, praćenje točaka blend shapes (52 točke prema ARKit standardu) ostaje glatko čak i pri brzim pokretima čeljusti ili obrva. Iznad toga, 4K ne donosi ništa za sam avatar: koristan je jedino ako fizička web kamera ostaje vidljiva u umetnutoj slici pored lika.

Kašnjenje je kriterij koji odaje loš sustav: iznad 80 ms između stvarnog pokreta i njegova prikaza, kašnjenje usana postaje uočljivo uživo, posebno kod zatvorenih fonema (P, B, M). Namjenski infracrveni senzori (tip web kamere s kamerom dubine) spuštaju se ispod 40 ms; obična RGB web kamera visoke klase kreće se između 60 i 100 ms, ovisno o snazi procesora koji obrađuje signal.

Snimanje putem RGB web kamere naspram TrueDepth senzora

Na tržištu za širu javnost dominiraju dvije obitelji rješenja. Prva koristi klasičnu web kameru u kombinaciji sa softverskim motorom za praćenje poput OpenSeeFace: ona otkriva konture lica pomoću računalnog vida, bez dubine, što je dovoljno za 2D avatar tipa Live2D, ali pokazuje svoja ograničenja kod rotacija glave iznad 45°. Druga se oslanja na kameru sa senzorom dubine, poput TrueDepth modula iPhonea X ili novijeg, koja nativno hvata 52 ARKit blend shapes i ispravno obrađuje dubinu za 3D model u VRM formatu.

2D Live2D modeli i 3D VRM modeli

Odabir sustava za snimanje mora odgovarati vrsti ciljanog avatara. Live2D model (ilustracija podijeljena u animirane slojeve) prije svega zahtijeva precizno praćenje očiju i usta, što uobičajena web kamera u potpunosti pokriva. VRM ili VRChat model, s druge strane, koristi potpunu rotaciju glave, a ponekad i ruku: u tom je slučaju bolje odabrati senzor dubine, a po potrebi dodati i tragače tipa Vive Tracker za praćenje gornjeg dijela tijela, ako to budžet dopušta.

• Streaming u sjedećem položaju, ograničen budžet: web kamera 1080p60 + besplatan softver tipa VSeeFace ili VTube Studio, 2D praćenje je dovoljno
• Streaming s čestim rotacijama glave: iPhone na fiksnom stalku putem kabela ili LAN-a, ARKit praćenje sa 52 točke
• VRChat ili potpuni 3D avatar: senzor dubine + dodatni tragači za gornji dio tijela i ruke

Kalibracija i stvarni uvjeti snimanja

Početna kalibracija određuje polovicu konačne kvalitete. Frontalno osvjetljenje oko 5600K, bez protusvjetla iz prozora, sprječava gubitak praćenja na obrvama i čeljusti. Senzor treba biti u visini očiju, na 40-60 cm od lica: preblizu, bočne rotacije zasićuju model; predaleko, prepoznavanje mikroizraza gubi na preciznosti. Ponovnu kalibraciju potrebno je provesti pri svakoj promjeni lokacije ili ambijentalne rasvjete, a taj postupak obično traje manje od 30 sekundi u uobičajenim softverima.

Softverska kompatibilnost i stvarni trošak opreme

Besplatni motori za praćenje (VTube Studio, VSeeFace) pokrivaju najveći dio potreba za pokretanje kanala, uz materijalni trošak ograničen na kvalitetnu web kameru, između 50 i 90 eura. Prelazak na rig sa senzorom dubine i tragačima za gornji dio tijela podiže budžet između 200 i 400 eura, ovisno o broju dodatnih točaka praćenja. Prije bilo kakve kupnje bolje je provjeriti kompatibilnost ciljanog softvera za praćenje s formatom avatara koji je već naručen ili u izradi, budući da Live2D i VRM ne koriste iste datoteke niti iste točke kalibracije.